Prediksi cacat perangkat lunak diperlukan untuk aplikasi desktop dan seluler. Performa prediksi cacat menggunakan Random Forest dapat meningkat secara signifikan dengan proses optimasi parameter dibandingkan dengan parameter default. Namun, langkah penyetelan parameter sering kali diabaikan. Random Forest memiliki banyak parameter yang dapat diatur, sehingga penyesuaian parameter secara manual akan mengurangi efisiensi Random Forest, menghasilkan hasil yang tidak optimal, dan memakan banyak waktu. Penelitian ini bertujuan untuk meningkatkan performa klasifikasi Random Forest dengan menggunakan SMOTE untuk menyeimbangkan data, Algoritma Genetika sebagai seleksi fitur, dan menggunakan penyetelan hiperparameter untuk mengoptimalkan performa. Selain itu, penelitian ini juga bertujuan untuk mengetahui metode penyetelan hiperparameter mana yang menghasilkan peningkatan terbaik pada metode klasifikasi Random Forest. Dataset yang digunakan dalam penelitian ini adalah NASA MDP yang mencakup 13 dataset. Metode yang digunakan meliputi SMOTE untuk menangani data yang tidak seimbang, seleksi fitur dengan Algoritma Genetika, klasifikasi Random Forest, dan metode penyetelan hiperparameter termasuk Grid Search, Random Search, Optuna, Bayesian (dengan Hyperopt), Hyperband, TPE, dan Nevergrad. Hasil penelitian ini dievaluasi dengan menggunakan nilai akurasi dan AUC. Dalam hal peningkatan akurasi, tiga metode terbaik adalah Nevergrad, TPE, dan Hyperband. Dalam hal peningkatan AUC, tiga metode terbaik adalah Hyperband, Optuna, dan Random Search. Nevergrad ratarata meningkatkan akurasi sekitar 3.9% dan Hyperband rata-rata meningkatkan AUC sekitar 3.51%. Penelitian ini menunjukkan bahwa penggunaan penyetelan hiperparameter meningkatkan performa Random Forest dan di antara semua metode penyetelan hiperparameter yang digunakan, Hyperband memiliki performa penyetelan hiperparameter terbaik dengan peningkatan rata-rata tertinggi dalam hal akurasi dan AUC. Implikasi dari penelitian ini adalah meningkatkan penggunaan penyetelan hiperparameter dalam prediksi cacat perangkat lunak dan meningkatkan performa prediksi cacat perangkat lunak.