Universitas Lambung Mangkurat (ULM) meluncurkan aplikasi Portal Mahasiswa ULM pada 18 Maret 2018 untuk mempermudah aktivitas akademik. Meskipun telah diunduh lebih dari 50.000 pengguna, aplikasi ini hanya mendapat rating 3.3/5 dari 902 ulasan yang menunjukkan perlu adanya peningkatan kualitas aplikasi. Ulasan pengguna yang berupa teks tidak terstruktur memuat keluhan seperti kesulitan login, lambatnya loading, dan fitur-fitur yang kurang optimal. Penelitian ini bertujuan untuk mengklasifikasikan komentar positif dan negatif dari aplikasi Portal Mahasiswa ULM di Google Play Store. Metode yang digunakan adalah Indonesian Bidirectional Encoder Representations from Transformers (IndoBERT). Hasil dari wordcloud menunjukkan apresiasi pengguna terhadap kemudahan akses dan kualitas aplikasi melalui kata-kata seperti “membantu”, “memudahkan”, dan “bagus”. Sekaligus menunjukkan masalah teknis melalui kata seperti “gangguan”, “lambat” dan “pembaruan”. Oleh karena itu, disarankan pengembang mengoptimalkan performa aplikasi dan menambahkan fitur notifikasi untuk meningkatkan kepuasan pengguna. Sedangkan hasil pemodelan klasifikasi komentar diperoleh parameter terbaik yaitu batch size 16, learning rate 0.00002, dan epoch 4 dengan akurasinya 0.9878, precision 0.9762, dan recall 1.0.