Deteksi manipulasi gambar dan audio menggunakan integrasi CNN dan Capsnet dengan interpretasi explainable AIDeteksi manipulasi gambar dan audio menggunakan integrasi CNN dan Capsnet dengan interpretasi explainable AI

kusmayadi, yoga satria nugraha (2025) Deteksi manipulasi gambar dan audio menggunakan integrasi CNN dan Capsnet dengan interpretasi explainable AIDeteksi manipulasi gambar dan audio menggunakan integrasi CNN dan Capsnet dengan interpretasi explainable AI. Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text 1_cover.pdf Download (23kB) | Preview
Preview	Text 2_abstrak.pdf Download (25kB) | Preview
Preview	Text Surat pernyataan karya sendiri (6).pdf Download (395kB) | Preview
Preview	Text 4_daftarisi.pdf Download (85kB) | Preview
Preview	Text 5_bab1.pdf Download (304kB) | Preview
	Text 6_bab2.pdf Restricted to Registered users only Download (343kB) | Request a copy
	Text 7_bab3.pdf Restricted to Registered users only Download (133kB) | Request a copy
	Text 8_bab4.pdf Restricted to Registered users only Download (467kB) | Request a copy
	Text 9_bab5.pdf Restricted to Registered users only Download (863kB) | Request a copy
	Text 10_bab6.pdf Restricted to Registered users only Download (25kB) | Request a copy
	Text 11_daftarpustaka.pdf Restricted to Registered users only Download (95kB) | Request a copy
	Text 12_lampiran.pdf Restricted to Repository staff only Download (182kB) | Request a copy

Abstract

Teknologi deepfake memungkinkan manipulasi gambar dan audio yang nyaris tidak terdeteksi, menimbulkan ancaman seperti penipuan daring, disinformasi, dan pelanggaran privasi. Penelitian ini bertujuan merancang sistem deteksi manipulasi deepfake multimodal menggunakan integrasi Convolutional Neural Networks (CNN) dan Capsule Networks (CapsNet) dengann interpretasi Explainable Artificial Intelligence (XAI). CNN mengekstrak fitur visual seperti tekstur dan gradien, sedangkan CapsNet menangkap hubungan spasial dan temporal antar fitur. Teknik XAI, seperti Gradient-weighted Class Activation Mapping (Grad-CAM) dan analisis fitur akustik (Mel-Frequency Cepstral Coefficients), memvisualisasikan area kritis pada gambar (mata, hidung, mulut) dan anomali temporal pada audio. Pengujian pada dataset publik dan data simulasi menghasilkan akurasi 80,80% (audio) dan 80,75% (gambar), dengan presisi 84,80%, recall 78,50%, dan F1-score 81,50% pada batch size 16. Penelitian ini berkontribusi pada pengembangan metode deteksi deepfake yang transparan secara akademik dan mendukung keamanan informasi secara aplikatif. Namun, peningkatan akurasi dan ketahanan terhadap manipulasi canggih masih diperlukan.

Actions (login required)

View Item