Implementasi dan evaluasi kinerja arsitektur Retrieval-Augmented Generation (RAG) pada sistem chatbot regulasi audit teknologi informasi berdasarkan peraturan otoritas jasa keuangan

Putra, Alif Firmansyah (2026) Implementasi dan evaluasi kinerja arsitektur Retrieval-Augmented Generation (RAG) pada sistem chatbot regulasi audit teknologi informasi berdasarkan peraturan otoritas jasa keuangan. Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text 1_cover.pdf Download (235kB) | Preview
Preview	Text 2_abstrak.pdf Download (291kB) | Preview
Preview	Text 3_skbebasplagiarism.pdf Download (143kB) | Preview
Preview	Text 4_daftarisi.pdf Download (321kB) | Preview
Preview	Text 5_bab1.pdf Download (334kB) | Preview
	Text 6_bab2.pdf Restricted to Registered users only Download (551kB) | Request a copy
	Text 7_bab3.pdf Restricted to Registered users only Download (471kB) | Request a copy
	Text 8_bab4.pdf Restricted to Registered users only Download (860kB) | Request a copy
	Text 9_bab5.pdf Restricted to Registered users only Download (218kB) | Request a copy
	Text 10_daftarpustaka.pdf Restricted to Registered users only Download (191kB) | Request a copy
	Text 11_lampiran.pdf Restricted to Repository staff only Download (342kB) | Request a copy

Abstract

Keterbatasan akses terhadap informasi teknis yang akurat dan kontekstual dari dokumen regulasi seperti POJK No. 11/2022 menjadi tantangan operasional signifikan bagi auditor Teknologi Informasi. Proses pencarian leksikal standar (Ctrl+F) terbukti tidak memadai dalam mengatasi kesenjangan leksikal antara bahasa praktisi auditor dengan terminologi kaku regulasi. Penelitian ini bertujuan untuk mengimplementasikan dan mengevaluasi sistem chatbot berbasis arsitektur Retrieval-Augmented Generation (RAG) yang dioptimasi dengan strategi Metadata Redirection. Metodologi penelitian mengikuti kerangka kerja CRISP-DM, di mana dokumen regulasi diolah melalui advanced chunking level ayat dan metadata injection. Penelitian ini melakukan ablation study terhadap 12 skenario eksperimen yang membandingkan performa tiga model LLM (qwen3-32b, llama-3.3-70b, dan gpt-oss-20b), variasi threshold jarak semantik, serta perbandingan dataset Hybrid dan Regulasi Only. Kinerja sistem dievaluasi menggunakan metrik Information Retrieval (Precision@1, Recall@3, MRR) dan evaluasi generatif berbasis kerangka RAGAS (Faithfulness dan Answer Relevancy) dengan llama-3.1-8B Instant sebagai AI Judge. Hasil eksperimen menunjukkan bahwa komponen retriever mencapai akurasi optimal pada kondisi dataset Regulasi Only dengan threshold 5.5, menghasilkan Precision@1 sebesar 58,62%, Recall@3 65,52% dan F-1 Score 73,68%. Pada sisi generator, model qwen3-32b menunjukkan konsistensi tertinggi dalam menjaga relevansi jawaban. Temuan ini membuktikan bahwa integrasi logika Metadata Redirection dan rekayasa data yang presisi dapat meningkatkan efektivitas pencarian rujukan hukum sekaligus memitigasi risiko halusinasi pada sistem chatbot audit TI.

Actions (login required)

View Item