RANCANG BANGUN PENERJEMAH BAHASA ISYARAT MENGGUNAKAN PENGOLAHAN CITRA DENGAN METODE YOU ONLY LOOK ONCE (YOLO)
Kata Kunci:
Bahasa Isyarat, Pengolahan Citra, You Only Look Once, real-timeAbstrak
Komunikasi merupakan salah satu hal penting bagi setiap individu agar dapat menyampaikan pesan kapada orang lain dan bersosialisasi terhadap lingkungan masyarakat. Bahasa isyarat merupakan alat komunikasi bagi penyandang tuna rungu dan tuna wicara untuk menjalin hubungan, bersosialisasi, memahami satu sama lain, dan sebagainya. Namun tidak semua lawan bicara memahami tentang bahasa isyarat. Oleh karena itu, perantara atau alat bantu penerjemah bahasa isyarat sangatlah diperlukan yaitu dengan menggunakan pengolahan citra untuk mengklasifikasi gerakan Bahasa Isyarat yang dideteksi menggunakan webcam yang telah diprogram untuk mendeteksi gerakan Bahasa Isyarat secara real-time dengan menggunakan metode You Only Look Once (YOLO) yang dianggap metode yang bisa digunakan oleh peneliti dalam penyusunan Tugas Akhir ini. Hasil deteksi dan klasifikasi akan ditampilkan pada interface dengan output suara dan teks dari perangkat. Hasil deteksi dengan metode You Only Look Once (YOLO) memiliki beberapa variasi hasil. Dari 20 kata percobaan, terdapat 19 kata yang mendeteksi secara sempurna dan 1 kata yang mendapat persentase keberhasilan sebesar 90%. Proses evaluasi mendapatkan nilai yang bervariasi seperti accuracy sebesar 94%, precision sebesar 99,9%, dan recall sebesar 100%. Proses
deteksi memerlukan tingkat pencahayaan sebesar 77,5 lux agar dapat mendapatkan hasil yang maksimal.
Referensi
Andrian, M. Y., Purwanto, D. and Mardiyanto, R. (2017) ‘Penerjemahan bahasa isyarat indonesia menggunakan
kamera pada telepon genggam android’, Jurnal Teknik ITS, 6(1), p. 180.
Hallan and Kauffman (1991) Exceptional learners, Allyn and Bacon. Boston.
Hardman (1990) Human Exceptionality. third. Massachusetts: A Division of Simon & Schuster Inc.
Hasibuan, I. H. A., Mulyana, A. and Brian, A. (2015) ‘Perancangan dan Implementasi Aplikasi Penerjemah Bahasa Isyarat Menjadi Suara Berbasis Kinect Menggunakan Metode Hidden Markov Model’, in e-Proceeding of Engineering, pp. 1–8.
Hu, G. et al. (2019) ‘When Face Recognition Meets with Deep Learning: an Evaluation of Convolutional Neural
Networks for Face Recognition’, in Proceedings of the IEEE international conference on computer vision workshops, pp. 142–150.
Krizhevsky, A., Sutskever, I. and Hinton, G. E. (2012) ‘ImageNet Classification with Deep Convolutional Neural
Networks.” Advances in Neural Information Processing Systems 25 (NIPS2012)’, in NeurIPS Proceedings, pp. 1–9.
Maggiori, E. et al. (2016) ‘Convolutional neural networks for large-scale remotesensing image classification’, IEEE
Transactions on Geoscience and Remote Sensing, 55(2), pp. 645–657.
Pigou, L. et al. (2015) ‘Sign Language Recognition Using Convolutional Neural Networks’, Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics),
(1), pp. 572–578. doi: 10.1007/978-3-319-16178-5.
Pujiati, D. (2019) Perbandingan Struktur Antara Sistem Isyarat Bahasa Indonesia (SIBI) Dengan Bahasa Isyarat Indonesia (BISINDO). Universitas Pendidikan Indonesia.
Purwanto, H. (1998) Ortopedagogik Umum.Yogyakarta: IKIP Yogyakarta.
Rachmawati, F. (2020) ‘Deteksi Jumlah Kendaraan di Jalur SSA Kota Bogor Menggunakan Algoritma Deep Learning YOLO’, in PROSIDING LPPM UIKA BOGOR.
Redmon, J. and Farhadi, A. (2018) Yolov3: An incremental improvement, Cornell University. Available at: arx.
