PERBANDINGAN KINERJA PRE-TRAINED LANGUAGE MODEL BAHASA INDONESIA BERBASIS TRANSFORMER UNTUK ANALISIS SENTIMEN ULASAN TOKOPEDIA GOOGLE PLAY

Muhammad Kevin; Hanafi Hanafi

doi:10.31539/91g0jx56

Authors

Muhammad Kevin Universitas Amikom Yogyakarta
Hanafi Hanafi Universitas Amikom Yogyakarta

DOI:

https://doi.org/10.31539/91g0jx56

Abstract

Analisis sentimen terhadap ulasan aplikasi e-commerce pada Google Play Store merupakan salah satu pendekatan penting untuk memahami persepsi pengguna. Namun, karakteristik data yang tidak terstruktur, penggunaan bahasa informal, singkatan, serta variasi dialek dan bahasa daerah masih menjadi tantangan dalam proses klasifikasi sentimen. Penelitian ini membandingkan performa tiga Pre-trained Language Model (PLM) berbahasa Indonesia, yaitu BERT Indonesia, RoBERTa Indonesia, dan IndoBERT, dalam mengklasifikasikan sentimen ulasan Tokopedia berbahasa Indonesia. Sebagai pembanding terhadap aspek efisiensi komputasi, DistilBERT Indonesia turut dievaluasi untuk menganalisis trade-off antara performa klasifikasi dan kebutuhan sumber daya komputasi. Dataset penelitian terdiri atas 10.000 ulasan Tokopedia yang diperoleh melalui web scraping menggunakan google_play_scraper. Tahapan penelitian meliputi preprocessing (pembersihan data, normalisasi teks, dan tokenisasi subword), pelabelan sentimen (positif, negatif, dan netral), pembagian data, proses fine-tuning menggunakan pustaka Hugging Face Transformers, serta evaluasi menggunakan metrik accuracy, precision, recall, dan F1-score. Hasil eksperimen menunjukkan bahwa IndoBERT memperoleh performa terbaik dengan akurasi pengujian sebesar 92,65%, diikuti oleh BERT Indonesia (92,15%) dan RoBERTa Indonesia (91,78%), yang menunjukkan bahwa ketiga model menghasilkan performa klasifikasi yang relatif kompetitif dan selisih akurasi yang kecil. Meskipun memiliki akurasi yang sedikit lebih rendah, DistilBERT Indonesia mencapai akurasi 91,78% dengan waktu pelatihan tercepat, sehingga menawarkan efisiensi komputasi yang lebih baik dibandingkan model lainnya. Temuan ini menunjukkan bahwa pemilihan pretrained language model tidak hanya dipengaruhi oleh tingkat akurasi, tetapi juga oleh karakteristik arsitektur dan efisiensi komputasi yang diperlukan pada proses analisis sentimen berbahasa Indonesia.

Kata Kunci: Analisis Sentimen, Natural Language Processing, BERT Indonesia, IndoBERT, Tokopedia.

References

Apriansyah, F. M., Ramadhan, T. I., Hidayat, C. R., & Wijaya, A. K. (2025). Perbandingan IndoBERT dan IndoRoBERTa untuk analisis sentimen pada film dokumenter Dirty Vote. Jurnal Informatika: Jurnal Pengembangan IT, 10(3), 593–605. https://doi.org/10.30591/jpit.v10i3.8607

Asyaky, M. S., Al-Husaini, M., & Lukmana, H. H. (2025). Sentiment analysis on short social media texts using DistilBERT. Journal of Computer Networks, Architecture and High Performance Computing, 7(2), 524–533. https://doi.org/10.47709/cnahpc.v7i2.5836

Batra, H., Punn, N. S., Sonbhadra, S. K., & Agarwal, S. (2021). BERT-based sentiment analysis: A software engineering perspective. Lecture Notes in Computer Science, 12923, 138–148. https://doi.org/10.1007/978-3-030-86472-9_13

Bharti, S. K., Vachha, B., Pradhan, R. K., Babu, K. S., & Jena, S. K. (2016). Sarcastic sentiment detection in tweets streamed in real time: A big data approach. Digital Communications and Networks, 2(3), 108–121. https://doi.org/10.1016/j.dcan.2016.06.002

Chandrasekaran, J., Feng, H., Lei, Y., Kacker, R., & Kuhn, D. R. (2020). Effectiveness of dataset reduction in testing machine learning algorithms. Dalam 2020 IEEE International Conference on Artificial Intelligence Testing (AITest) (hlm. 133–140). IEEE. https://doi.org/10.1109/AITEST49225.2020.00027

Christian, W., Adamlu, D., Yu, A., & Suhartono, D. (2025). Leveraging IndoBERT and DistilBERT for Indonesian emotion classification in e-commerce reviews. arXiv. https://doi.org/10.48550/arXiv.2509.14611

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv. https://doi.org/10.48550/arXiv.1810.04805

Feng, Z., dkk. (2022). Pretraining without wordpieces: Learning over a vocabulary of millions of words. arXiv. https://doi.org/10.48550/arXiv.2202.12142

Jazuli, A., Widowati, & Kusumaningrum, R. (2024). Optimizing aspect-based sentiment analysis using BERT for comprehensive analysis of Indonesian student feedback. Applied Sciences, 15(1), 172. https://doi.org/10.3390/app15010172

Joseph, V. R., & Vakayil, A. (2022). SPlit: An optimal method for data splitting. Technometrics, 64(2), 166–176. https://doi.org/10.1080/00401706.2021.1921037

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A robustly optimized BERT pretraining approach. arXiv. https://doi.org/10.48550/arXiv.1907.11692

Mao, Y., Liu, Q., & Zhang, Y. (2024). Sentiment analysis methods, applications, and challenges: A systematic literature review. Journal of King Saud University - Computer and Information Sciences, 36(4), 102048. https://doi.org/10.1016/j.jksuci.2024.102048

Palomino, M. A., & Aider, F. (2022). Evaluating the effectiveness of text pre-processing in sentiment analysis. Applied Sciences, 12(17), 8765. https://doi.org/10.3390/app12178765

Purwanto, D. D. (2026). Empirical evaluation of IndoBERT and LSTM for sentiment analysis of tourism reviews: A data-driven study on Kenjeran Park. Jurnal Teknik Informatika (JUTIF), 7(1), 463–474. https://doi.org/10.52436/1.jutif.2026.7.1.4901

Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2020). DistilBERT, a distilled version of BERT: Smaller, faster, cheaper and lighter. arXiv. https://doi.org/10.48550/arXiv.1910.01108

Saputra, M. A. A., Alamsyah, A., Ramadhani, D. P., Siadari, T. S., & Fakhrurroja, H. (2026). IndoBERT-Sentiment: Context-conditioned sentiment classification for Indonesian text. arXiv. https://doi.org/10.48550/arXiv.2604.07057

Siino, M., Tinnirello, I., & La Cascia, M. (2024). Is text preprocessing still worth the time? A comparative survey on the influence of popular preprocessing methods on Transformers and traditional classifiers. Information Systems, 121, 102342. https://doi.org/10.1016/j.is.2023.102342

Widyananda, W., Maskur, & Fauzi, A. (2025). Machine learning and transformer-based model for sentiment analysis of Indonesian e-commerce reviews. Indonesian Journal of Computer Science, 14(4). https://doi.org/10.33022/ijcs.v14i4.4980

Wijaya, I. N. S. W., Seputra, K. A., & Dewi, N. P. N. P. (2025). Fine tuning model IndoBERT untuk analisis sentimen berita pariwisata Indonesia. Jurnal Pendidikan Teknologi dan Kejuruan, 22(2), 195–204. https://doi.org/10.23887/jptk-undiksha.v22i2.104056

Wilie, B., Vincentio, K., Winata, G. I., Cahyawijaya, S., Li, X., Lin, Z., Lim, S., Kurniawan, S., Cipta, R., & Purwarianti, A. (2020). IndoNLU: Benchmark and resources for evaluating Indonesian natural language understanding. arXiv. https://doi.org/10.48550/arXiv.2009.05387