Implementasi YOLO11 dan OpenCV untuk Pengenalan Frasa dalam Video Real-Time Bahasa Isyarat Tangan: YOLO11 and OpenCV Implementation for Phrase Recognition in Real-Time Hand Sign Language Videos

Henoch Yanuar Ari Swasono; Agustinus Rudatyo Himamunanto; Febe Maedjaja

doi:10.57152/malcom.v5i3.2130

Authors

Henoch Yanuar Ari Swasono Universitas Kristen Immanuel
Agustinus Rudatyo Himamunanto Universitas Kristen Immanuel
Febe Maedjaja Universitas Kristen Immanuel

DOI:

https://doi.org/10.57152/malcom.v5i3.2130

Keywords:

BISINDO, Deep Learning, OpenCV, YOLO11

Abstract

Bahasa isyarat adalah alat komunikasi utama bagi para penyandang tunarungu dan tunawicara. Namun, terbatasnya pemahaman bahasa isyarat oleh masyarakat umum sering kali menjadi kendala dalam berkomunikasi. Penelitian ini bertujuan untuk merancang program pengenalan frasa bahasa isyarat tangan BISINDO secara real-time dengan menggunakan algoritma YOLO11 dan library OpenCV. YOLO11 digunakan sebagai metode deep learning untuk mengenali isyarat tangan, sedangkan OpenCV digunakan untuk pemrosesan video real-time dan visualisasi hasil deteksi. Model ini dilatih menggunakan lebih dari 3.000 gambar yang mewakili enam class frasa BISINDO: “saya”, “kamu”, “senang”, “bingung”, “marah”, dan “apa kabar”, sebanyak 263 epoch. Hasil pengujian model menunjukkan rata-rata nilai precision dan recall di atas 0,9; F1-Score sebesar 0,982; mAP50 sebesar 0,993; dan mAP50-95 sebesar 0,938. Pada pengujian real-time, model menunjukkan latency rata-rata stabil di kisaran 80-90ms, frame rate 11-12FPS, dan confidence score rata-rata 0,9 untuk semua class. Berdasarkan Penelitian yang telah dilakukan, disimpulkan bahwa integrasi YOLO11 dan OpenCV berhasil digunakan sebagai algoritma dalam mengenali frasa bahasa isyarat tangan BISINDO secara real-time.

Downloads

Download data is not yet available.

References

E. Libra Kelana, M. Riko, A. Prasetya, dan M. Zulfadhilah, “Integrating the CNN Model with the Web for Indonesian Sign Language (BISINDO) Recognition,” Jun 2025. [Daring]. Tersedia pada: http://jurnal.polibatam.ac.id/index.php/JAIC

A. Sani dan S. Rahmadinni, “Deteksi Gestur Tangan Berbasis Pengolahan Citra,” Jurnal Rekayasa Elektrika, vol. 18, no. 2, hlm. 115–124, Jul 2022, doi: 10.17529/jre.v18i2.25147.

E. Altiarika dan W. P. Sari, “Pengembangan Deteksi Realtime untuk Bahasa Isyarat Indonesia dengan Menggunakan Metode Deep Learning Long Short Term Memory dan Convolutional Neural Network,” Jurnal Teknologi Informatika dan Komputer, vol. 9, no. 1, hlm. 1–13, Mar 2023, doi: 10.37012/jtik.v9i1.1272.

A. Al-Shaheen, M. Çevik, dan A. Alqaraghuli, “American Sign Language Recognition using YOLOv4 Method,” International Journal of Multidisciplinary Studies and Innovative Technologies, vol. 6, no. 1, hlm. 61–65, Jun 2022, doi: 10.36287/ijmsit.6.1.61.

H. Deshpande, A. Singh, dan H. Herunde, “Comparative Analysis on YOLO Object Detection with OpenCV,” International Journal of Research in Industrial Engineering, vol. 9, hlm. 46–64, Mar 2020, doi: 10.22105/riej.2020.226863.1130.

A. Sharma, V. Kumar, dan L. Longchamps, “Comparative performance of YOLOv8, YOLOv9, YOLOv10, YOLOv11 and Faster R-CNN models for detection of multiple weed species,” Smart Agricultural Technology, vol. 9, hlm. 1–14, Des 2024, doi: 10.1016/j.atech.2024.100648.

R. Khanam dan M. Hussain, “YOLOv11: An Overview of the Key Architectural Enhancements,” hlm. 1–9, Okt 2024, [Daring]. Tersedia pada: http://arxiv.org/abs/2410.17725

T. Cut Al-Saidina Zulkhaidi, E. Maria, P. Studi Teknologi Rekayasa Perangkat Lunak, dan P. Pertanian Negeri Samarinda, “Pengenalan Pola Bentuk Wajah dengan OpenCV,” JURTI, vol. 3, no. 2, hlm. 181–186, 2019.

I. Inayatul Arifah, F. Nur Fajri, dan G. Qorik Oktagalu Pratamasunu, “Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN,” Journal of Applied Informatics and Computing (JAIC), vol. 6, no. 2, hlm. 171–176, Nov 2022, [Daring]. Tersedia pada: http://jurnal.polibatam.ac.id/index.php/JAIC

S. Daniels, “Pengenalan Bahasa Isyarat pada Data Video Menggunakan Metode CNN dengan Arsitektur YOLO,” Surabaya, Jul 2020.

A. Mujahid dkk., “Real-time hand gesture recognition based on deep learning YOLOv3 model,” Applied Sciences (Switzerland), vol. 11, no. 9, hlm. 1–15, Mei 2021, doi: 10.3390/app11094164.

A. Hasyim Nur’azizan, A. Riqza Ardiansyah, dan R. Fernandis, “Implementasi Deteksi Bahasa Isyarat Tangan Menggunakan OpenCV dan MediaPipe,” dalam PROSIDING SEMINAR NASIONAL TEKNOLOGI DAN SAINS TAHUN 2024, Vol. 3, Kediri, Jan 2024, hlm. 331–337.

N. Renaningtias, F. Putra Utama, A. Nur, dan A. Sobri, “Deteksi Bahasa Isyarat Indonesia (BISINDO) Pada Video dengan YOLOv7,” JSAI: Journal Scientific and Applied Informatics, vol. 8, no. 1, hlm. 1–8, Jan 2025, doi: 10.36085.

A. I. Pradana, H. Harsanto, dan W. Wijiyanto, “Deteksi Rambu Lalu Lintas Real-Time di Indonesia dengan Penerapan YOLOv11: Solusi Untuk Keamanan Berkendara,” Jurnal Algoritma, vol. 21, no. 2, hlm. 145–155, Nov 2024, doi: 10.33364/algoritma/v.21-2.2106.

P. Gidion Bagas, A. Hagi Azzam, dan R. Chaerur, “DETEKSI DAN PENGENALAN GESTUR TANGAN SECARA REAL-TIMEMENGGUNAKAN JARINGANSARAF TIRUAN KONVOLUSIONAL,” METHODIKA, vol. 9, hlm. 30–34, Sep 2023.

A. Gupta Aditya Verma dan A. M. Yadav Arvidhan BCA-IOP Associate Professor, “YOLO OBJECT DETECTION USING OPENCV,” International Journal of Engineering Applied Sciences and Technology, vol. 5, no. 10, hlm. 233–237, Feb 2021, [Daring]. Tersedia pada: http://www.ijeast.com

A. B. Aziz dkk., “YOLO-V4 Based Detection of Varied Hand Gestures in Heterogeneous Settings,” dalam Proceedings of the 2024 International Conference on Artificial Intelligence (AII 2023), Springer Science and Business Media Deutschland GmbH, Agu 2024, hlm. 1–14. doi: 10.1007/978-3-031-68639-9_21.

V. S. Henry, Y. P. Sumihar, dan F. Maedjaja, “AUTOMATED ANAEMIA DETECTION FROM CONJUNCTIVA IMAGES?: A MACHINE LEARNING APPROACH FOR ANDROID APPLICATION,” JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika), vol. 9, no. 2, hlm. 798–805, Mei 2024, doi: 10.29100/jipi.v9i2.5218.

M. Juan, S. Alwin, dan S. M. L. Arie, “Hand Gesture Detection Application in Sign Language,” Jurnal Teknik Informatika, vol. 17, hlm. 285–296, Sep 2022, Diakses: 2 Mei 2025. [Daring]. Tersedia pada: https://ejournal.unsrat.ac.id/index.php/informatika

J. Huang, K. Wang, Y. Hou, dan J. Wang, “LW-YOLO11: A Lightweight Arbitrary-Oriented Ship Detection Method Based on Improved YOLO11,” Sensors, vol. 25, no. 1, hlm. 1–18, Jan 2025, doi: 10.3390/s25010065.

W. Kurniawan, A. Kurniasih, dan M. A. Ghani, “Real or Deepfake Face Detection in Images and Video Data using YOLO11 Algorithm,” Journal of Artificial Intelligence and Engineering Applications, vol. 4, no. 2, hlm. 2808–4519, Feb 2025, [Daring]. Tersedia pada: https://ioinformatic.org/

S. Dede Haris, I. Bahtiar, dan Juhartini, “OBJECT DETECTION UNTUK MENDETEKSI CITRA BUAH BUAHAN MENGGUNAKAN METODEYOLO,” Jurnal Kecerdasan Buatan dan Teknologi Informasi, vol. 2, no. 2, hlm. 70–80, Mei 2023.

M. Alaftekin, I. Pacal, dan K. Cicek, “Real-time sign language recognition based on YOLO algorithm,” Neural Comput Appl, vol. 36, no. 14, hlm. 7609–7624, Mei 2024, doi: 10.1007/s00521-024-09503-6.

D. Khairianto dan R. Firdaus, “PENERAPAN HAND GESTURE RECOGNITION SEBAGAI MEDIA KONTROL PRESENTASI APLIKASI POWERPOINT,” Jurnal Mahasiswa Teknik Informatika, vol. 8, no. 2, hlm. 1852–1860, Apr 2024.

I. Gusti, A. Made, Y. Mahaputra, P. Alit, W. Santiary, dan I. Ketut Swardika, “Rancang Bangun Penerjemah BISINDO Real-time Berbasis Kamera dan Deep Learning dengan Kendali Suara ESP32 WiFi,” Jurnal Elektro dan Mesin Terapan, vol. 11, no. 1, hlm. 33–42, 2025, doi: 10.35143/elementer.v11i1.

B. Alsharif, E. Alalwany, A. Ibrahim, I. Mahgoub, dan M. Ilyas, “Real-Time American Sign Language Interpretation Using Deep Learning and Keypoint Tracking,” Sensors, vol. 25, no. 7, hlm. 1–21, Mar 2025, doi: 10.3390/s25072138.