Pengembangan chatbot layanan haji berbasis IndoT5 dan retrieval-augmented generation untuk mitigasi halusinasi AI

Zaelani, Muhamad Fikri (2026) Pengembangan chatbot layanan haji berbasis IndoT5 dan retrieval-augmented generation untuk mitigasi halusinasi AI. Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text 1_cover.pdf Download (179kB) | Preview
Preview	Text 2_abstrak.pdf Download (236kB) | Preview
Preview	Text 3_skbebasplagiarism.pdf Download (523kB) | Preview
Preview	Text 4_daftarisi.pdf Download (277kB) | Preview
Preview	Text 5_bab1.pdf Download (419kB) | Preview
	Text 6_bab2.pdf Restricted to Registered users only Download (549kB) | Request a copy
	Text 7_bab3.pdf Restricted to Registered users only Download (1MB) | Request a copy
	Text 8_bab4.pdf Restricted to Registered users only Download (1MB) | Request a copy
	Text 9_bab5.pdf Restricted to Registered users only Download (244kB) | Request a copy
	Text 10_daftarpustaka.pdf Restricted to Registered users only Download (222kB) | Request a copy
	Text 11_lampiran.pdf Restricted to Repository staff only Download (915kB) | Request a copy

Abstract

Kelompok Bimbingan Ibadah Haji (KBIH) berperan penting dalam memberikan layanan informasi kepada jemaah, namun layanan konsultasi manual yang terbatas pada jam operasional tertentu belum mampu menjawab kebutuhan informasi jemaah yang bersifat kontekstual, khususnya pada aspek fiqh haji. Pemanfaatan chatbot berbasis Artificial Intelligence (AI) berpotensi menjadi solusi, namun model generatif rentan mengalami halusinasi, menghasilkan informasi yang terdengar meyakinkan namun tidak didukung sumber valid yang berisiko tinggi pada domain keagamaan. Penelitian ini bertujuan mengembangkan dan mengevaluasi chatbot layanan haji berbasis IndoT5-Base yang dioptimalkan dengan teknik Low-Rank Adaptation (LoRA) dan diintegrasikan dengan mekanisme Retrieval-Augmented Generation (RAG) bertingkat sebagai strategi mitigasi halusinasi AI. Metodologi penelitian mengadaptasi kerangka kerja Cross-Industry Standard Process for Data Mining (CRISP-DM), meliputi tahap pengumpulan data dari FAQ KBIH Miftahul Ulum dan Buku Tuntunan Manasik Haji dan Umrah Kemenag RI 2024, augmentasi data, fine-tuning model dengan LoRA, implementasi mekanisme retrieval bertingkat dengan empat mode respons (retrieval langsung, generate berkonteks, abstain, dan retrieval terkunci), serta evaluasi menggunakan metrik ROUGE-L, BLEU-4, BERTScore, response time, dan validasi manual oleh pengurus KBIH. Hasil pengujian terhadap 6.306 data menunjukkan model Hybrid v1 memperoleh ROUGE-L 0,517 dan BERTScore-F1 0,833, sementara pendekatan Hybrid v2 (retrieval bertingkat) menghasilkan BLEU-4 tertinggi (0,401) dan waktu respons tercepat (0,15 detik). Validasi manual terhadap 20 sampel jawaban menghasilkan skor ketepatan faktual rata-rata 4,54 dan kelengkapan 4,14 dari skala 5, dengan mekanisme retrieval bertingkat terbukti mengeliminasi risiko fabrikasi pada 48,7% pertanyaan yang dijawab langsung dari basis pengetahuan terverifikasi. Meskipun target halusinasi belum sepenuhnya tercapai yaitu dengan potensi menyesatkan sebesar 15%, hasil penelitian menunjukkan bahwa pendekatan retrieval bertingkat efektif membatasi risiko halusinasi pada kategori pertanyaan berisiko tinggi.

Actions (login required)

View Item