Perbandingan RoBERTa dan Lexicon-Based untuk Pseudo-Labeling Sentimen Komentar YouTube dengan Machine Learning

Abstract

Penelitian ini bertujuan membandingkan pendekatan RoBERTa dan Lexicon-Based dalam menghasilkan pseudo-label sentimen komentar YouTube serta mengevaluasi kinerja algoritma machine learning dalam mengklasifikasikan label yang dihasilkan. Data penelitian berasal dari komentar pada video “Presiden Prabowo Menjawab (PART 2): Efisiensi, Pertaruhan MBG & Reformasi Kepolisian” dari Mata Najwa. Setelah proses penyaringan dan preprocessing, diperoleh 2.850 komentar yang dianalisis. Penelitian menerapkan dua jalur preprocessing, yaitu pemrosesan minimal pada RoBERTa untuk mempertahankan konteks kalimat serta pemrosesan tambahan pada Lexicon-Based melalui tokenisasi dan penghapusan stopword. Label sentimen yang dihasilkan oleh kedua pendekatan digunakan untuk melatih dan mengevaluasi algoritma Support Vector Machine (SVM), Naïve Bayes, dan Neural Network menggunakan fitur Term Frequency–Inverse Document Frequency (TF-IDF). Hasil evaluasi menunjukkan bahwa pada dataset berlabel RoBERTa, Neural Network memperoleh nilai accuracy sebesar 0,7333 dan F1-score sebesar 0,6024. Sementara itu, pada dataset berlabel Lexicon-Based, SVM menghasilkan accuracy sebesar 0,6439 dan F1-score sebesar 0,6323. Dengan demikian, Neural Network menghasilkan accuracy tertinggi pada dataset berlabel RoBERTa, sedangkan SVM menghasilkan F1-score tertinggi pada dataset berlabel Lexicon-Based. Perbedaan hasil tersebut menunjukkan adanya variasi kinerja klasifikasi pada kedua skema pelabelan otomatis. Namun, karena evaluasi didasarkan pada label hasil pseudo-labeling, nilai metrik tersebut menggambarkan kemampuan model dalam mereplikasi label otomatis dan belum secara langsung membuktikan ketepatan klasifikasi terhadap sentimen sebenarnya. Validasi menggunakan anotasi manusia diperlukan untuk menilai kualitas label dan memperkuat kesimpulan penelitian.