EVALUASI MODEL MACHINE LEARNING, DEEP LEARNING, DAN TRANSFORMER UNTUK ANALISIS SENTIMEN ULASAN SPKLU  PADA PLN MOBILE DENGAN PENANGANAN  KETIDAKSEIMBANGAN KELAS

Haidi Fildzah Izzati; Riska Dhenabayu

doi:10.36549/ijis.v11i2.524

EVALUASI MODEL MACHINE LEARNING, DEEP LEARNING, DAN TRANSFORMER UNTUK ANALISIS SENTIMEN ULASAN SPKLU PADA PLN MOBILE DENGAN PENANGANAN KETIDAKSEIMBANGAN KELAS

Haidi Fildzah Izzati, Riska Dhenabayu

Sari

Fitur EV Charging/SPKLU pada aplikasi PLN Mobile mendukung layanan pengisian daya kendaraan listrik, tetapi banyaknya ulasan pengguna menyulitkan identifikasi sentimen secara manual. Penelitian ini bertujuan menganalisis sentimen ulasan pengguna terkait fitur EV Charging/SPKLU dan membandingkan kinerja tujuh algoritma klasifikasi. Data diperoleh dari Google Play Store, kemudian melalui tahap text preprocessing dan pelabelan sentimen berdasarkan rating sebagai weak label. Algoritma yang digunakan meliputi Logistic Regression, Support Vector Machine (SVM), Naive Bayes, Multi-Layer Perceptron (MLP), Recurrent Neural Network (RNN), Bidirectional Long Short-Term Memory (BiLSTM), dan DistilBERT, yang dikelompokkan menjadi Machine Learning, Deep Learning, dan Transformer. Untuk mengatasi ketidakseimbangan kelas, diterapkan pembobotan kelas atau class weighting yang disesuaikan dengan karakteristik masing-masing algoritma pada data latih. Evaluasi dilakukan menggunakan Accuracy, Precision, Recall, Macro F1-Score, dan confusion matrix. Hasil menunjukkan bahwa MLP memperoleh Macro F1-Score tertinggi pada data validasi sebesar 67,80% sehingga dipilih untuk pengujian akhir. Pada 286 data uji, MLP menghasilkan Accuracy sebesar 89,16% dan Macro F1-Score sebesar 59,42%, yang menunjukkan kinerja klasifikasi keseluruhan yang tinggi dengan performa yang belum merata pada setiap kelas sentimen.

Kata Kunci: Analisis Sentimen, SPKLU, PLN Mobile, Imbalanced Learning, DistilBERT

Teks Lengkap:

PDF (Indonesia)

Referensi

Afdal, M., & Novita, R. (2024). Sentiment Analysis of PLN Mobile Application Review Using Naïve Bayes Classifier and K-Nearest Neighbor Algorithm Analisis Sentimen Ulasan Aplikasi PLN Mobile Menggunakan Algoritma Naïve Bayes Classifier dan K-Nearest Neighbor. 4(January), 10–19.

Agta, H., Fatah, A., & Redjeki, R. S. (2026). Analisis Sentimen Ulasan Aplikasi PLN Mobile Menggunakan Naïve Bayes , SVM , dan Random Forest dengan SMOTE. 24(1), 32–44.

Asri, Y., Suliyanti, W. N., Kuswardani, D., & Fajri, M. (2022). Pelabelan Otomatis Lexicon Vader dan Klasifikasi Naive Bayes dalam menganalisis sentimen data ulasan PLN Mobile. 15(2), 264–275.

Bi, J., & Zhang, C. (2018). An empirical comparison on state-of-the-art multi-class imbalance learning algorithms and a new diversified ensemble learning scheme. Knowledge-Based Systems, 158, 81–93. https://doi.org/10.1016/j.knosys.2018.05.037

Gulo, L. A., & Wibowo, A. (2026). Analisis Sentimen Ulasan Produk Marketplace Indonesia Menggunakan Naive Bayes dan SVM dengan Label Berdasarkan Rating. 410–419. https://doi.org/10.33364/algoritma/v.23-1.3206

Lalor, J. P., Chen, Y., & Kanuri, V. K. (2023). I MPLEMENTATION OF U NIFIED S ENTIMENT A NALYSIS WITH. 1–19.

LeCun, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436–444. https://doi.org/10.1038/nature14539

Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey. Ain Shams Engineering Journal, 5(4), 1093–1113. https://doi.org/10.1016/j.asej.2014.04.011

Nurita, C., Sari, K., & Suryono, R. R. (2025). Perbandingan Algoritma Naïve Bayes , Random Forest , dan SVM Untuk Analisis Sentiment Aplikasi PLN Mobile Pada Google Play Store. 7(1). https://doi.org/10.47065/bits.v7i1.7164

Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT , a distilled version of BERT : smaller , faster , cheaper and lighter. 2–6.

Shalev-Shwartz, S., & Ben-David, S. (2014). Introduction. In Understanding Machine Learning: From Theory to Algorithms (pp. 1–10). Cambridge University Press.

Takahashi, K., Yamamoto, K., Kuchiba, A., & Koyama, T. (2022). Confidence interval for micro-averaged F1 and macro-averaged F1 scores. Applied Intelligence, 52(5), 4961–4972. https://doi.org/10.1007/s10489-021-02635-5

Vaswani, A. (2017). Attention Is All You Need. (Nips). https://doi.org/10.48550/arXiv.1706.03762

Wati, R., Ernawati, S., & Rachmi, H. (2023). Pembobotan TF-IDF Menggunakan Naïve Bayes pada Sentimen Masyarakat Mengenai Isu Kenaikan BIPIH. Jurnal Manajemen Informatika (JAMIKA), 13, 84–93. https://doi.org/10.34010/jamika.v13i1.9424

DOI: https://doi.org/10.36549/ijis.v11i2.524