Implementasi algoritma You Only Look Once (YOLOv5) Sebagai Pendeteksi Bahasa Isyarat Indonesia (SIBI) berdasarkan gestur tangan secara Real-Time

Sodik, Muhammad Aqsal Sirulah (2024) Implementasi algoritma You Only Look Once (YOLOv5) Sebagai Pendeteksi Bahasa Isyarat Indonesia (SIBI) berdasarkan gestur tangan secara Real-Time. Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text (COVER) 1_cover.pdf Download (236kB) | Preview
Preview	Text (ABSTRAK) 2_abstrak.pdf Download (156kB) | Preview
Preview	Text (DAFTAR ISI) 3_daftarisi.pdf Download (125kB) | Preview
Preview	Text (BAB I) 4_bab1.pdf Download (111kB) | Preview
Preview	Text (BAB II) 5_bab2.pdf Download (772kB) | Preview
Preview	Text (BAB III) 6_bab3.pdf Download (1MB) | Preview
Preview	Text (BAB IV) 7_bab4.pdf Download (862kB) | Preview
Preview	Text (BAB V) 8_bab5.pdf Download (89kB) | Preview
Preview	Text (DAFTAR PUSTAKA) 9_daftarpustaka.pdf Download (179kB) | Preview

Abstract

INDONESIA: Bahasa Isyarat Indonesia (SIBI) merupakan bahasa komunikasi non-verbal yang digunakan oleh individu dengan gangguan pendengaran di Indonesia. Meskipun SIBI memainkan peran penting dalam kehidupan sehari-hari komunitas tuna rungu, tantangan dalam komunikasi dengan individu yang tidak memahami bahasa isyarat masih menjadi kendala signifikan. Penelitian ini merupakan pengembangan penelitian yang dilakukan oleh Dimas dan Joko Sutopo (2023) pada aspek nilai akurasi, jumlah dataset serta efisiensi model yang di bangun untuk meningkatkan aksesbilitas bagi pengguna. Oleh karena itu, pengembangan sistem pendeteksi gestur tangan SIBI secara real-time merupakan langkah penting dalam meningkatkan aksesibilitas komunikasi bagi komunitas tuna rungu dan masyarakat umum. Penelitian ini bertujuan untuk mengimplementasikan algoritma You Only Look Once (YOLOv5) sebagai pendeteksi gestur tangan SIBI secara real-time. Metode penelitian yang digunakan meliputi beberapa tahapan penting yaitu pengumpulan data gestur tangan SIBI, pembuatan dan anotasi dataset, pelatihan model YOLOv5 menggunakan dataset tersebut, serta pengujian kinerja deteksi pada video secara real-time. Penggunaan YOLOv5 dipilih karena kemampuannya dalam menyediakan deteksi objek yang akurat dan cepat, yang sangat penting untuk aplikasi real-time. Spesifikasi deteksi tersebut memiliki 5.720 dataset, 4.013 train set, 1.128 train set dan 577 test set. Hasil eksperimen menunjukkan bahwa YOLOv5 mampu mendeteksi gestur tangan SIBI dengan tingkat akurasi yang memuaskan yaitu 95.67% dan kecepatan deteksi yang memadai untuk aplikasi real-time. Model yang dikembangkan menunjukkan performa yang baik dalam berbagai kondisi pencahayaan dan latar belakang, yang mengindikasikan robustitas dan generalisasi yang baik dari model. Implementasi ini diharapkan dapat memberikan kontribusi signifikan dalam pengembangan teknologi asistif untuk meningkatkan komunikasi dan partisipasi sosial individu dengan gangguan pendengaran melalui bahasa isyarat Indonesia. ENGLISH: Indonesian Sign Language (SIBI) is a non-verbal communication language used by individuals with hearing impairments in Indonesia. Although SIBI plays a crucial role in the daily lives of the deaf community, communication challenges with individuals who do not understand sign language remain a significant barrier. This research extends the study conducted by Dimas and Joko Sutopo (2023) by focusing on accuracy values, dataset size, and model efficiency to enhance accessibility for users. Therefore, the development of a real-time SIBI hand gesture detection system is an essential step in improving communication accessibility for the deaf community and the general public. This study aims to implement the You Only Look Once (YOLOv5) algorithm for real-time SIBI hand gesture detection. The research methodology includes several key stages: collecting SIBI hand gesture data, creating and annotating the dataset, training the YOLOv5 model using the dataset, and testing detection performance on real-time video. YOLOv5 is chosen for its capability to provide accurate and fast object detection, which is crucial for real-time applications. The detection specifications include 5,720 datasets, with 4,013 for the training set, 1,128 for the validation set, and 577 for the test set. Experimental results show that YOLOv5 can detect SIBI hand gestures with a satisfactory accuracy rate of 95.67% and adequate detection speed for real-time applications. The developed model demonstrates good performance under various lighting conditions and backgrounds, indicating robust and generalizable model performance. This implementation is expected to make a significant contribution to the development of assistive technology to improve communication and social participation of individuals with hearing impairments through Indonesian Sign Language.

Actions (login required)

View Item