Perbandingan Kinerja Algoritma Klasifikasi Machine Learning Dalam Analisis Sentimen Ulasan Mobile Banking WONDR BY BNI

Authors

Faizal Riza Institut Teknologi Budi Utomo
Dannie Febrianto Hendrakusuma Institut Teknologi Budi Utomo
Budi Wibowo Institut Teknologi Budi Utomo
Dhian Yusuf Al Afghani Institut Teknologi Budi Utomo
Abdurrahman Abdurrahman Institut Teknologi Budi Utomo

DOI:

https://doi.org/10.31539/intecoms.v8i2.14826

Abstract

Penelitian ini menganalisis sentimen ulasan pengguna terhadap layanan dan fitur yang ditawarkan oleh WONDR by BNI dengan menerapkan berbagai algoritma klasifikasi Machine Learning. Data diperoleh dari ulasan pengguna di Google Play Store, yang kemudian melalui tahap pra-pemrosesan teks, mencakup pembersihan data dan normalisasi, sebelum digunakan dalam pelatihan model klasifikasi. Studi ini membandingkan kinerja Support Vector Machine (SVM), Light Gradient Boosting Machine (LGBM), XGBoost, Random Forest, CatBoost, dan Naïve Bayes dalam mengklasifikasikan sentimen pengguna. Hasil evaluasi menunjukkan bahwa SVM memiliki akurasi tertinggi sebesar 0,881, diikuti oleh LGBM dengan akurasi 0,877, yang unggul dalam efisiensi waktu eksekusi sebesar 11,80 detik. XGBoost memperoleh akurasi sebesar 0,872, diikuti oleh Random Forest dengan akurasi 0,866, sementara CatBoost dan Naïve Bayes mencatatkan akurasi masing-masing sebesar 0,85 dan 0,72. Meskipun SVM menunjukkan kinerja terbaik dalam klasifikasi sentimen, algoritma ini memiliki kelemahan dalam hal waktu eksekusi yang lebih lama, yaitu 57,5 detik pada mesin dengan spesifikasi RAM 2 GB dan 2 vCPU. Sebaliknya, LGBM dan XGBoost, meskipun memiliki akurasi yang sedikit lebih rendah, menunjukkan efisiensi komputasi 47,5 detik lebih gegas, sehingga lebih optimal untuk implementasi dalam sistem berskala besar

References

Adiningtyas, H., & Auliani, A. S. (2024). Sentiment analysis for mobile banking service quality measurement. Procedia Computer Science, 234, 40–50.
Alzamzami, F., Hoda, M., & Saddik, A. El. (2020). Light Gradient Boosting Machine for General Sentiment Classification on Short Texts: A Comparative Evaluation. IEEE Access, 8, 101840–101858. https://doi.org/10.1109/ACCESS.2020.2997330
Amra, I. A. A., & Maghari, A. Y. A. (2017). Students performance prediction using KNN and Naïve Bayesian. ICIT 2017 - 8th International Conference on Information Technology, Proceedings. https://doi.org/10.1109/ICITECH.2017.8079967
Arif Ali, Z., H. Abduljabbar, Z., A. Tahir, H., Bibo Sallow, A., & Almufti, S. M. (2023). eXtreme Gradient Boosting Algorithm with Machine Learning: A Review. Academic Journal of Nawroz University, 12(2), 320–334. https://doi.org/10.25007/AJNU.V12N2A1612
Basri, M. H. (2024). Pemodelan Topik dan Analisis Sentimen pada Teks Ulasan Pengguna Aplikasi Perbankan Seluler di Indonesia. The Indonesian Journal of Computer Science, 13(4). http://ijcs.net/ijcs/index.php/ijcs/article/view/4200
Bustami. (2014). Penerapan Algoritma Naive Bayes. Jurnal Informatika.
Cristianini, N., & Shawe-Taylor, J. (2000). An Introduction to Support Vector Machines and Other Kernel-based Learning Methods. In An Introduction to Support Vector Machines and Other Kernel-based Learning Methods. https://doi.org/10.1017/cbo9780511801389
Insan, M. K. K., Hayati, U., & Nurdiawan, O. (2023). Analisis Sentimen Aplikasi Brimo Pada Ulasan Pengguna Di Google Play Menggunakan Algoritma Naive Bayes. JATI (Jurnal Mahasiswa Teknik Informatika), 7(1), 478–483.
Kusrini, & Taufiq Emha, L. (2009). Algoritma Data Mining Yogyakarta. In Algoritma Data Mining (Issue February). Andi.
Larasati, F. A., Ratnawati, D. E., & Hanggara, B. T. (2022). Analisis Sentimen Ulasan Aplikasi Dana dengan Metode Random Forest. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer, 6(9), 4305–4313.
Liu, G. R. F., Wea, A., & Kabba, M. N. (2025). Analisis Peran dan Fungsi Bank BNI dalam Meningkatkan Perekonomian Masyarakat dengan Menerapkan Sistem Kredit. JEMSI (Jurnal Ekonomi, Manajemen, Dan Akuntansi), 11(1), 120–128.
Nadira, A., Setiawan, N. Y., & Purnomo, W. (2023). Analisis Sentimen Pada Ulasan Aplikasi Mobile Banking Menggunakan Metode Naïve Bayes Dengan Kamus Inset. Indexia: Informatics and Computational Intelligent Journal, 5(01), 35–47.
Nurmakhlufi, A., Arsyad, M. R. H., Mulyani, W. S., & Nugroho, K. (2024). Sentiment Analysis on BNI Mobile Application Review Using K-Nearest Neighbors Algorithm. Sinkron: Jurnal Dan Penelitian Teknik Informatika, 8(4), 2490–2502.
Onantya, I., … P. I.-T. I. dan I. K. e, & 2019, undefined. (2019). Analisis Sentimen Pada Ulasan Aplikasi BCA Mobile Menggunakan BM25 Dan Improved K-Nearest Neighbor. J-Ptiik.Ub.Ac.Id, 3(3), 2575–2580.
Pisner, D. A., & Schnyer, D. M. (2020). Support vector machine. Machine Learning: Methods and Applications to Brain Disorders, 101–121. https://doi.org/10.1016/B978-0-12-815739-8.00006-7
Prokhorenkova, L., Gusev, G., Vorobev, A., Dorogush, A. V., & Gulin, A. (2018). CatBoost: Unbiased boosting with categorical features. Advances in Neural Information Processing Systems, 31.
Ramadhan, M. A., & Andarsyah, R. (2022). Klasifikasi Text Spam Menggunakan Metode Support Vector Machine dan Naive Bayes. Penerbit Buku Pedia.
Riza, F., Rifai, S., Dirgantara, A., Sfenrianto, Rasenda, & Herdyansyah, S. (2020). Information Retrieval Technique for Indonesian PDF Document with Modified Stemming Porter Method Using PHP. Journal of Physics: Conference Series, 1477(3), 1–7. https://doi.org/10.1088/1742-6596/1477/3/032016
Safi’i, M. A., Wijayanti, R. A., Firmansyah, R. Z., & Oktafia, R. (2024). Analisis Optimalisasi Efiensi Operasional Bank BNI Berdasarkan Rasio Biaya Dana Pada Tahun 2019-2021. Jurnal Ekonomi Bisnis Dan Manajemen, 2(2), 58–61.
Singgalen, Y. A. (2023). Penerapan CRISP-DM dalam Klasifikasi Sentimen dan Analisis Perilaku Pembelian Layanan Akomodasi Hotel Berbasis Algoritma Decision Tree (DT). Jurnal Sistem Komputer Dan Informatika (JSON) Hal, 237, 248.
Tondang, B. A., Fadhil, M. R., Perdana, M. N., Fauzi, A., & Janitra, U. S. (2023). Analisis pemodelan topik ulasan aplikasi BNI, BCA, dan BRI menggunakan latent dirichlet allocation. INFOTECH: Jurnal Informatika & Teknologi, 4(1), 114–127.
Zy, A. T. (2017). Comparison Algorithm Classification Naive Bayes, Decission Tree and Neural Network for Analysis Sentiment. Jurnal Pelita Teknologi.