Dalam evaluasi usability, tahap analisis sentimen diperlukan agar data dari pengguna dapat dipahami dengan lebih baik. Analisis sentimen digunakan untuk menemukan informasi berharga yang dibutuhkan dari data yang tidak terstruktur, seperti pada data ulasan pengguna. Konsep Transformers telah menjadi salah satu konsep model NLP yang sering digunakan pada analisis sentimen dan memiliki tingkat akurasi yang cukup tinggi. Salah satu model yang menerapkan konsep ini adalah model RoBERTa. RoBERTa merupakan model yang terinspirasi dari BERT yang dioptimisasi. Agar bisa meningkatkan akurasi dari model RoBERTa, penelitian ini mengusulkan tambahan layer BiLSTM pada model RoBERTa karena model RoBERTa bisa memberikan pemahaman bahasa yang lebih mendalam dan tambahan layer BiLSTM dapat menangkap informasi kontekstual yang lebih kaya dalam sebuah teks, karena model BiLSTM menggunakan 2 layer yang bergerak maju dan mundur (Forward dan Backward). Dataset yang digunakan pada penelitian ini adalah ulasan aplikasi MyPertamina pada Google Play Store. Dalam penelitian ini dilakukan eksperimen terhadap beberapa hyperparameter pada model untuk mendapatkan model yang optimal dalam analisis sentimen data ulasan berbahasa indonesia. Hasil akhir eksperimen menunjukan bahwa dengan tambahan layer BiLSTM, model yang diusulkan berhasil meningkatkan akurasi model sebesar 1,76% dibanding model RoBERTa biasa. Berdasarkan hasil laporan klasifikasi model ini juga mendapatkan akurasi sebesar 91,02%, dengan rata – rata berbobot pada precision 91,06%, recall 91,02%, dan F1-Score 91,03%.