Transformasi ide cerita dari gambar ke teks menggunakan Convolutional Neural Network (CNN) dan Generative Pre-Trained Transformer (GPT-2)

Rizqulloh, Moh Hasbi (2025) Transformasi ide cerita dari gambar ke teks menggunakan Convolutional Neural Network (CNN) dan Generative Pre-Trained Transformer (GPT-2). Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text 1_cover.pdf Download (217kB) | Preview
Preview	Text 2_abstrak.pdf Download (198kB) | Preview
Preview	Text 3_skbebasplagiarism.pdf Download (401kB) | Preview
Preview	Text 4_daftarisi.pdf Download (240kB) | Preview
Preview	Text 5_bab1.pdf Download (484kB) | Preview
	Text 6_bab2.pdf Restricted to Registered users only Download (386kB) | Request a copy
	Text 7_bab3.pdf Restricted to Registered users only Download (490kB) | Request a copy
	Text 8_bab4.pdf Restricted to Registered users only Download (926kB) | Request a copy
	Text 9_bab5.pdf Restricted to Registered users only Download (221kB) | Request a copy
	Text 10_daftarpustaka.pdf Restricted to Registered users only Download (517kB) | Request a copy
	Text 11_lampiran.pdf Restricted to Repository staff only Download (588kB) | Request a copy

Abstract

Kesenjangan antara inspirasi visual yang kaya dan tantangan artikulasi kreatif (writer's block) menjadi masalah utama yang menghambat proses penulisan. Penelitian ini bertujuan menjembatani kesenjangan tersebut dengan merancang sistem kecerdasan buatan dua tahap berbasis deep learning untuk menyediakan stimulus naratif otomatis. Metode yang diimplementasikan terdiri dari sebuah arsitektur Convolutional Neural Network (CNN) kustom yang dibangun untuk mendeteksi tujuh kelas objek alam dari 4.362 gambar, di mana output objeknya kemudian digunakan sebagai prompt untuk model Generative Pre-trained Transformer (GPT-2) yang telah di-fine-tune untuk menghasilkan narasi puitis. Hasil penelitian menunjukkan bahwa modul CNN, yang dievaluasi dengan metrik akurasi dan Mean Squared Error (MSE), mencapai performa puncak sebesar 61.96%. Analisis confusion matrix mengungkap performa ini tidak dibatasi oleh overfitting, melainkan oleh ambiguitas visual antar kelas. Meskipun modul GPT-2 mampu menghasilkan narasi dengan skor BERTScore F1 hingga 0.6455, temuan utama penelitian ini adalah kualitas narasinya sangat bergantung pada keakuratan input dari modul CNN, yang terbukti berfungsi sebagai bottleneck kritis bagi efektivitas sistem secara keseluruhan.

Actions (login required)

View Item