Implementasi Algoritma YOLOv11 untuk deteksi kesiapan customer service berdasarkan ekspresi wajah

Asgari, Yuda Ristian (2025) Implementasi Algoritma YOLOv11 untuk deteksi kesiapan customer service berdasarkan ekspresi wajah. Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text (COVER) 1_cover.pdf Download (50kB) | Preview
Preview	Text (ABSTRAK) 2_abstrak.pdf Download (25kB) | Preview
Preview	Text (BEBAS PLAGIARISM) 3_skbebasplagiarsm.pdf Download (244kB) | Preview
Preview	Text (DAFTAR ISI) 4_daftarisi.pdf Download (162kB) | Preview
Preview	Text (BAB I) 5_bab1.pdf Download (159kB) | Preview
	Text (BAB II) 6_bab2.pdf Restricted to Registered users only Download (621kB) | Request a copy
	Text (BAB III) 7_bab3.pdf Restricted to Registered users only Download (960kB) | Request a copy
	Text (BAB IV) 8_bab4.pdf Restricted to Registered users only Download (1MB) | Request a copy
	Text (BAB V) 9_bab5.pdf Restricted to Registered users only Download (22kB) | Request a copy
	Text (DAFTAR PUSTAKA) 10_daftarpustaka.pdf Restricted to Registered users only Download (100kB) | Request a copy
	Text (LAMPIRAN) 11_lampiran.pdf Restricted to Repository staff only Download (276kB) | Request a copy

Abstract

INDONESIA: Evaluasi kesiapan kerja customer service (CS) secara manual seringkali bersifat subjektif, tidak konsisten, dan memakan waktu. Penelitian ini bertujuan untuk mengatasi permasalahan tersebut dengan menerapkan arsitektur model YOLOv11 untuk mendeteksi ekspresi kesiapan kerja CS secara otomatis dan menganalisis performanya secara komprehensif. Metodologi penelitian yang digunakan adalah CRISP-DM, dimulai dari persiapan dataset yang terdiri dari 1.420 citra wajah yang diklasifikasikan ke dalam dua kelas yaitu siap dan tidak siap. Empat skenario eksperimen dilakukan dengan memvariasikan hyperparameter epoch (50, 100) dan batch size (16, 32) untuk menemukan model terbaik. Model dengan performa tertinggi kemudian diimplementasikan ke dalam sebuah prototipe aplikasi desktop fungsional untuk diuji coba dalam skenario pelayanan nyata. Hasil penelitian menunjukkan bahwa konfigurasi model terbaik (100 epoch, batch size 16) berhasil mencapai performa teknis yang sangat tinggi pada test set, dengan nilai mAP@0.5 sebesar 99.5% dan akurasi keseluruhan 98.6%. Pada tahap uji coba implementasi, sistem berhasil berfungsi sebagai alat ukur yang valid dan responsif. Meskipun skor kesiapan akhir tercatat sebesar 47.81%, temuan utama menunjukkan bahwa sistem mampu menangkap dinamika kesiapan staf, di mana skor melonjak hingga mendekati 100% saat terjadi interaksi pelayanan dan menurun drastis saat staf dalam kondisi senggang. Sistem deteksi berbasis YOLOv11 yang dikembangkan terbukti berhasil, bukan karena nilai skor akhir, melainkan karena kemampuannya untuk secara akurat merefleksikan dan membedakan kondisi kesiapan staf di lingkungan kerja nyata. Sistem ini menunjukkan potensi sebagai alat analisis dan evaluasi kualitas pelayanan yang objektif. ENGLISH: Manual evaluation of Customer Service (CS) work readiness is often subjective, inconsistent, and time-consuming. This research aims to address this problem by applying the YOLOv11 deep learning algorithm to automatically detect CS work readiness expressions and comprehensively analyze its performance. The research methodology used is CRISP-DM, starting with the preparation of a dataset consisting of 1,420 facial images classified into two classes: 'ready' and 'not ready'. Four experimental scenarios were conducted by varying hyperparameters (epochs 50/100, batch size 16/32) to find the best model. The top-performing model was then implemented into a functional desktop application prototype for testing in a real-world service scenario. The results show that the best model configuration (100 epochs, batch size 16) achieved exceptionally high technical performance on the test set, with an mAP@0.5 of 99.5% and an overall accuracy of 98.6%. In the implementation test, the system proved to be a valid and responsive measurement tool. Although the final readiness score was 47.81%, the main finding was the system's ability to capture the dynamics of staff readiness, where scores surged to nearly 100% during service interactions and dropped drastically during idle periods. The YOLOv11-based detection system proved to be successful, not because of the final score, but due to its capability to accurately reflect and differentiate staff readiness conditions in a real work environment. This system shows potential as an objective tool for service quality analysis and evaluation.

Actions (login required)

View Item