Text
Analisis sentimen terhadap ulasan pengguna aplikasi brimo di google play store menggunakan algoritma support vector mechines (SVM) dan xtreme gradient boosting (Xgboost) dengan optimalilasi hyperparameter berbasis framework optuna
Fitur-fitur yang tersedia dalam mobile banking memungkinkan pengguna untuk melakukan berbagai transaksi serta mengakses informasi keuangan, seperti mengecek saldo dan melihat riwayat transaksi. Namun, masih ditemukan sejumlah opini dan keluhan dari pengguna yang disampaikan melalui kolom ulasan aplikasi mobile banking di Play store tersebut. Penelitian ini bertujuan untuk melakukan analisis sentimen terhadap ulasan pengguna serta membandingkan performa algoritma Support Vector Machine (SVM) dan XGBoost dalam mengklasifikasikan sentimen tersebut. Data diperoleh dari 15.000 ulasan pengguna berbahasa Indonesia yang diambil menggunakan pustaka Google-play-scraper dengan prioritas pada ulasan yang paling relevan. Metode yang diterapkan meliputi preprocessing data, ekstraksi fitur menggunakan TF-IDF, labelling menggunakan lexicon penerapan model machine learning dengan dua pendekatan, yakni model yang dioptimalkan menggunakan teknik Stratified Train-Test Split, dan Auto-Tuning (Optuna), serta model tanpa penerapan teknik optimalisasi tersebut. Evaluasi kinerja model dilakukan dengan stratified k-fold cross-validation untuk
mengevaluasi kinerja model dengan cara membagi data latih ke dalam beberapa subset. Dari hasil pembandingan kedua pendekatan tersebut diperoleh bahwa SVM menunjukkan kinerja yang lebih baik dibandingkan XGBoost pada semua metrik evaluasi. SVM menghasilkan akurasi tertinggi dengan nilai CV Accuracy 0.8722 dan Test Set Accuracy 0.8765, lebih tinggi dibandingkan XGBoost yang hanya mencapai 0.8453 pada CV dan 0.8464 pada Test Set. Selain itu, SVM juga mencatatkan nilai Presisi (0.86), Recall (0.88), dan Fl-score (0.87) yang lebih unggul dibandingkan XGBoost dengan nilai Presisi (0.83), Recall (0.85), dan F1-score (0.84). Hasil penelitian membuktikan bahwa SVM lebih unggul dibanding XGBoost dalam menangani klasifikasi sentiment, serta menunjukkan bahwa penggunaan Optuna efektif dalam meningkatkan kinerja model.
| SI25/021 | SI 25/021 | Prodi Sistem Informasi (Ruang Skripsi & Tesis) | Tersedia |
Tidak tersedia versi lain