IMPLEMENTASI RETRIEVAL-AUGMENTED GENERATION BERBASIS LARGE LANGUAGE MODEL PADA CHATBOT PANDUAN SKRIPSI DI UNIVERSITAS BINA INSAN

Putu Rika Milani; Andri Anto Tri  Susilo; Antoni Zulius; Muhamad Akbar

doi:10.31539/q4xw8b79

Authors

Putu Rika Milani Universitas Bina Insan
Andri Anto Tri Susilo Universitas Bina Insan
Antoni Zulius Universitas Bina Insan
Muhamad Akbar Universitas Bina Insan

DOI:

https://doi.org/10.31539/q4xw8b79

Abstract

Panduan skripsi memuat berbagai aturan dan prosedur akademik yang harus dipahami mahasiswa, tetapi penyajiannya dalam dokumen yang panjang dan teknis dapat menyulitkan pencarian informasi secara cepat. Penelitian ini bertujuan mengimplementasikan Retrieval-Augmented Generation (RAG) berbasis Large Language Model (LLM) pada chatbot Panduan Skripsi Universitas Bina Insan. Sistem dikembangkan melalui tahapan ekstraksi dan pembersihan teks, chunking, embedding, penyimpanan pada basis data vektor, pencarian semantik, dan generasi jawaban menggunakan LLM. Kinerja chatbot dievaluasi dengan BERTScore melalui perbandingan jawaban sistem dengan jawaban referensi. Hasil pengujian menunjukkan nilai rata-rata precision sebesar 0,9688, recall 0,9270, dan F1-score 0,9433, yang menunjukkan tingkat kesesuaian semantik yang tinggi. Chatbot juga mampu memberikan jawaban terstruktur serta menyertakan referensi halaman dokumen. Hasil tersebut menunjukkan bahwa penerapan RAG berbasis LLM dapat mendukung penyediaan informasi panduan skripsi secara kontekstual, relevan, dan berbasis dokumen resmi.

Kata Kunci: BERTScore, Chatbot, Large Language Model, Panduan Skripsi, Retrieval-Augmented Generation.

References

[1] A. Rahmadani and B. Kurniawan, “Implementasi Chatbot Akademik Menggunakan NLP untuk Pelayanan Informasi Mahasiswa,” J. Teknol. Inf. dan Pendidik., vol. 15, no. 2, pp. 112–123, 2023.

[2] I. Ichsanudin, R. Pratama, and B. Sisephaputra, “Pengembangan Sistem Helpdesk Menggunakan Chatbot Dengan Metode Retrieval-Augmented Generation ( RAG ),” vol. 06, pp. 696–710, 2024.

[3] M. R. J, K. VM, H. Warrier, and Y. Gupta, “Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations,” 2024.

[4] D. Setiawan and M. Putri, “Analisis Efektivitas Chatbot Berbasis NLP dalam Pelayanan Informasi Akademik,” J. Teknol. Inf. dan Komun., vol. 9, no. 1,

pp. 45–54, 2023.

[5] S. Bordt, L. Fischer, T. Nguyen, and J. Romero, “Conversational Educational Assistants Using Retrieval-Augmented Generation (RAG),” in Proceedings of the International Conference on Educational Technology and AI Systems, 2024, pp. 112–124.

[6] Z. Ji and et al., “Survey on Hallucination in Large Language Models,” 2023.

[7] A. Ram, W. Xu, A. Roberts, A. Chowdhery, B. Zoph, and et al., “Retrieval-Based Mitigation for LLM Hallucination,” J. Artif. Intell. Res., vol. 76, pp. 1121–1145, 2023.

[8] F. Ramadhan and I. Pratama, “Pengembangan Chatbot Akademik Menggunakan Natural Language Processing untuk Layanan Informasi Mahasiswa,” J. Teknol. Inf. dan Pendidik., vol. 16, no. 2, pp. 145–156, 2023.

[9] M. Suryani and A. Hartono, “Sistem Question Answering Berbasis Document Retrieval untuk Dokumen Pedoman Akademik Perguruan Tinggi,” J. Sist. Inf. dan Komputasi, vol. 12, no. 1, pp. 22–34, 2024.

[10] R. Hutabarat and S. Yuliana, “Implementasi Chatbot Berbasis Deep Learning untuk Mendukung Bimbingan Skripsi Mahasiswa,” J. Inform. dan Sains Komput., vol. 10, no. 3, pp. 301–312, 2022.

[11] P. Lewis, E. Perez, and A. Piktus, “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” NeurIPS, 2020.

[12] V. Karpukhin, B. Oguz, and S. Min, “Dense Passage Retrieval for Open-Domain Question Answering,” 2020.

[13] D. Jurafsky and J. H. Martin, Speech and Language Processing. Prentice Hall

/ Draft online, 2023.

[14] S. Borgeaud, “Improving Language Models by Retrieving from Trillions of Tokens,” 2022.

[15] G. Izacard and E. Grave, “Leveraging Passage Retrieval with Generative Models (FiD),” arXiv, 2021.

[16] S. A. Talaohu, R. Soekarta, and M. Surahmanto, “Implementasi LLM Pada Chatbot PMB Universitas Muhammadiyah Sorong Menggunakan Metode RAG Berbasis Website,” Framew. J. Ilmu Komput. Dan Inform., vol. 3, no. 2, pp. 1–11, 2025, [Online]. Available: https://www.ejournal.um-sorong.ac.id/index.php/jiki/article/view/4790

[17] T. Q. Ramadhani, N. Q. Nada, and N. D. S, “Penerapan Metode Retrieval-Augmented Generation (RAG) Pada Chatbot E-Commerce Berbasis Gemini Ai,” J. Ilm. Ilk. - Ilmu Komput. Inform., vol. 8, no. 2, pp. 301–313, 2025, doi: 10.47324/ilkominfo.v8i2.384.

[18] L. R. Hidayat, I. G. P. S. Wijaya, and R. Dwiyansaputra, “Optimalisasi Layanan Sistem Informasi Mahasiswa dengan Integrasi Telegram: Chatbot Retrieval-Augmented-Generation Berbasis Large Language Model,” J. Teknol. Informasi, Komputer, dan Apl., vol. 7, no. 1, 2025, doi: 10.29303/jtika.v7i1.459.