Pemanfaatan YOLO11 untuk pengenalan dan terjemah bahasa isyarat menjadi suara

Sabillah, Annisa (2025) Pemanfaatan YOLO11 untuk pengenalan dan terjemah bahasa isyarat menjadi suara. Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text (COVER) 1_cover.pdf Download (105kB) | Preview
Preview	Text (ABSTRAK) 2_abstrak.pdf Download (247kB) | Preview
Preview	Text (SURAT KETERANGAN BEBAS PLAGIARISME) 3_skbebasplagiarism.pdf Download (267kB) | Preview
Preview	Text (DAFTAR ISI) 4_daftarisi.pdf Download (228kB) | Preview
Preview	Text (BAB I) 5_bab1.pdf Download (248kB) | Preview
	Text (BAB II) 6_bab2.pdf Restricted to Registered users only Download (284kB)
	Text (BAB III) 7_bab3.pdf Restricted to Registered users only Download (400kB)
	Text (BAB IV) 8_bab4.pdf Restricted to Registered users only Download (1MB)
	Text (BAB V) 9_bab5.pdf Restricted to Registered users only Download (147kB)
	Text (DAFTAR PUSTAKA) 10_daftarpustaka.pdf Restricted to Registered users only Download (189kB)
	Text (LAMPIRAN) 11_lampiran.pdf Restricted to Repository staff only Download (182kB)

Abstract

Bahasa isyarat merupakan sarana komunikasi utama bagi penyandang disabilitas tunarungu dan tunawicara. Namun, keterbatasan pemahaman masyarakat umum terhadap bahasa isyarat menimbulkan hambatan dalam interaksi sosial, pendidikan, dan pekerjaan. Untuk menjembatani hambatan tersebut, diperlukan solusi teknologi yang mampu menerjemahkan bahasa isyarat secara otomatis dan real-time. Penelitian ini bertujuan untuk mengembangkan sistem penerjemah bahasa isyarat ke dalam bentuk suara secara otomatis dan real-time, dengan memanfaatkan model YOLO11 dan modul Google Text-to-Speech (gTTS). Model YOLO11 dilatih menggunakan dataset teranotasi huruf bahasa isyarat dan dievaluasi berdasarkan metrik precision, recall, mean Average Precision (mAP), serta confusion matrix. Hasil pengujian menunjukkan bahwa sebagian besar huruf dapat dikenali dengan baik, yang ditunjukkan oleh nilai mAP@0,5 sebesar 99,49%. Implementasi sistem dilakukan menggunakan webcam, yang menunjukkan kinerja sistem optimal dengan jarak yang ideal, kondisi pencahayaan yang optimal dan latar belakang polos. Namun, performa sistem menurun secara signifikan ketika diuji pada kondisi nyata, dengan nilai terendah mencapai 26%, yang dipengaruhi oleh jarak yang tidak ideal, pencahayaan yang kurang optimal, seperti terlalu terang (overexposed) atau terlalu gelap (underexposed), serta pada latar belakang kompleks. Proses integrasi dengan Google Text-to-Speech (gTTS) berhasil dilakukan, di mana output suara sesuai dengan hasil pengenalan. Meskipun begitu ditemukan adanya keterlambatan pada tampilan webcam secara real-time. Penelitian ini menunjukkan bahwa sistem penerjemah bahasa isyarat berbasis YOLO11 masih memerlukan pengembangan lebih lanjut untuk mencapai performa optimal dalam mendukung teknologi komunikasi bagi penyandang tunarungu dan tunawicara.

Actions (login required)

View Item