Pengembangan pipeline vision-and-language untuk sistem penerjemah bahasa isyarat Indonesia (BISINDO)

Alhakim, Reyhan Salman (2026) Pengembangan pipeline vision-and-language untuk sistem penerjemah bahasa isyarat Indonesia (BISINDO). Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text 1_cover.pdf Download (209kB) | Preview
Preview	Text 2_abstrak.pdf Download (215kB) | Preview
Preview	Text 3_skbebasplagiarism.pdf Download (153kB) | Preview
Preview	Text 4_daftarisi.pdf Download (235kB) | Preview
Preview	Text 5_bab1.pdf Download (482kB) | Preview
	Text 6_bab2.pdf Restricted to Registered users only Download (653kB) | Request a copy
	Text 7_bab3.pdf Restricted to Registered users only Download (345kB) | Request a copy
	Text 8_bab4.pdf Restricted to Registered users only Download (871kB) | Request a copy
	Text 9_bab5.pdf Restricted to Registered users only Download (204kB) | Request a copy
	Text 10_daftarpustaka.pdf Restricted to Registered users only Download (198kB) | Request a copy
	Text 11_lampiran.pdf Restricted to Repository staff only Download (579kB) | Request a copy

Abstract

Perkembangan dalam integrasi bidang Computer Vision dan Natural Language Processing telah mendorong kemajuan sistem cerdas berbasis multimodal. Salah satunya penerapannya adalah sistem penerjemah bahasa isyarat. Namun, penelitian pada dataset Bahasa Isyarat Indonesia (BISINDO) masih terbatas, terutama dalam pengembangan sistem Sign Language Translation (SLT) yang mampu menerjemahkan video menjadi teks bahasa alami. Keterbatasan dataset, kompleksitas gerakan multimodal, serta minimnya pipeline yang mendukung proses penerjemahan menjadi tantangan utama dalam pengembangan sistem tersebut. Oleh karena itu, penelitian ini mengusulkan sebuah Pipeline Vision-and-Language untuk menerjemahkan video BISINDO menjadi teks bahasa alami secara otomatis. Penelitian ini mengadaptasi kerangka kerja Cross-Industry Standard Process for Data Mining (CRISP-DM) yang mencakup tahapan business understanding, data understanding, data preparation, modelling, dan evaluation. Pipeline yang dikembangkan terdiri dari ekstraksi fitur berbasis MediaPipe untuk memperoleh landmark tangan dan tubuh, pemodelan spasio-temporal menggunakan encoder berbasis Convolutional Neural Network (CNN) dan Gated Recurrent Unit (GRU), serta GRU-Attention pada decoder untuk menghasilkan representasi teks yang lebih kontekstual. Penelitian ini menggunakan dataset yang terdiri dari 30 kalimat BISINDO dengan total 900 video. Hasil evaluasi menunjukkan bahwa model yang diusulkan mampu mencapai nilai Bilingual Evaluation Understudy (BLEU) score sebesar 0,42 dan Word Error Rate (WER) sebesar 0,31, yang menunjukkan kemampuan model dalam menghasilkan terjemahan yang cukup akurat pada dataset terbatas. Penelitian ini memberikan kontribusi sebagai baseline dalam pengembangan sistem penerjemah BISINDO berbasis deep learning.

Actions (login required)

View Item