Penilaian esai otomatis menggunakan Algoritma Bidirectional Encoder Representations From Transformers (BERT)

Hidayat, Rifaldo Sukma (2023) Penilaian esai otomatis menggunakan Algoritma Bidirectional Encoder Representations From Transformers (BERT). Sarjana thesis, UIN Sunan Gunung Djati Bandung.

Preview	Text 1_cover.pdf Download (39kB) | Preview
Preview	Text 2_abstrak.pdf Download (45kB) | Preview
Preview	Text 3_daftarisi.pdf Download (140kB) | Preview
Preview	Text 4_bab1.pdf Download (94kB) | Preview
	Text 5_bab2.pdf Restricted to Registered users only Download (362kB) | Request a copy
	Text 6_bab3.pdf Restricted to Registered users only Download (525kB) | Request a copy
	Text 7_bab4.pdf Restricted to Registered users only Download (658kB) | Request a copy
	Text 8_bab5.pdf Restricted to Registered users only Download (41kB) | Request a copy
	Text 9_daftarpustaka.pdf Restricted to Registered users only Download (184kB) | Request a copy

Abstract

INDONESIA: Ujian esai adalah salah satu jenis proses evaluasi pembelajaran yang diberikan dalam bentuk soal esai untuk mengukur persentase pemahaman dan interpretasi seseorang terhadap materi yang telah diperoleh. Namun, ujian esai memiliki kelemahan yaitu tingkat subjektivitas penilaian yang tinggi dan waktu penilaian yang lebih lama sehingga dapat menyebabkan terjadinya human error jika masih dilakukan secara manual. Oleh karena itu, sistem penilaian esai otomatis diperlukan untuk membantu proses penilaian agar lebih cepat dan objektif. Sebagian besar penelitian terkait penilaian esai otomatis fokus pada peningkatan akurasi untuk mendekati hasil penilaian manual oleh manusia. Salah satu cara untuk meningkatkan akurasi penilaian adalah dengan menggunakan model word embedding. Model word embedding dapat dimanfaatkan untuk mengantisipasi jawaban siswa yang beragam karena mampu memetakan kata-kata yang memiliki kedekatan makna. Namun, model tersebut belum mampu untuk memberikan penilaian secara tepat seperti manusia ketika mencocokkan jawaban yang memerlukan ketepatan urutan kata. Penelitian ini mengusulkan peningkatan akurasi penilaian esai otomatis dengan menggunakan pengukuran kesamaan semantik berbasis word embedding yaitu algoritma BERT berbahasa Indonesia dan analisis sintaksis dengan memanfaatkan metode part-of-speech tagging dan dependency parsing untuk mendeteksi urutan kata pada kalimat jawaban. Hasil pengujian menunjukkan adanya peningkatan akurasi yang lebih baik dari penelitian sebelumnya. Solusi yang diusulkan menghasilkan nilai rata-rata kesalahan absolut (MAE) sebesar 0,7683. Selain itu, penambahan analisis sintaksis untuk mendeteksi urutan kata pada kalimat jawaban telah berhasil diimplementasikan dan terbukti dapat memberikan penilaian yang lebih adil dan sesuai. ENGLISH : Essay exams are one type of learning evaluation process that is given in the form of essay questions to measure the percentage of someone's understanding and interpretation of the material that has been obtained. However, essay exams have disadvantages, namely a high level of subjectivity of assessment and a longer assessment time so that it can cause human error if it is still done manually. Therefore, an automated essay grading system is needed to help the grading process to be faster and more objective. Most of the research related to automated essay grading focuses on improving the accuracy to approach the results of manual grading by humans. One way to improve scoring accuracy is to use a word embedding model. The word embedding model can be used to anticipate diverse student answers because it is able to map words that have close meaning. However, these model have not been to provide precise scoring like humans when matching answers that require word order accuracy. This research purposes to improve the accuracy of automated essay scoring by using a semantic similarity measurement based on word embedding, specifically the Indonesian-language BERT algorithm, and syntactic analysis utilizing part-of-speech tagging and dependency parsing methods to detect word order in answer sentences. The test results show an increase in accuracy that is better than previous research. The proposed solution achieves a mean absolute error (MAE) of 0.7683. Furthermore, the addition of syntactic analysis to detect word order in answer sentences has been successfully implemented and proven to provide fairer and appropriate assessments.

Actions (login required)

View Item