Sejak awal tahun 2020, virus SARS-CoV-2 yang menyebabkan COVID-19 telah menjadi perhatian global dengan dampak signifikan terhadap masyarakat dan berbagai sektor kehidupan. Media sosial, khususnya Twitter, menjadi platform penting untuk mengumpulkan opini publik terkait COVID-19 dan vaksinasi. Kebutuhan untuk memahami sikap dan pandangan masyarakat terhadap vaksinasi COVID-19 di Twitter menuntut adanya analisis sentimen yang efektif. Berbagai metode analisis sentimen telah dilakukan sebelumnya, termasuk menggunakan Bag of Words (BoW) dan berbagai metode klasifikasi seperti Naïve Bayes, Decision Tree, Random Forest, dan Catboost. Penelitian ini berfokus pada implementasi ekstraksi fitur Bag of Words dengan seleksi fitur Chi-Square dan metode klasifikasi Catboost untuk menghasilkan model yang dapat mengklasifikasikan komentar Twitter terkait COVID-19 secara akurat. Hasil penelitian menunjukkan bahwa penggunaan seleksi fitur Chi-Square meningkatkan akurasi klasifikasi. Rata-rata akurasi tertinggi dengan seleksi fitur ChiSquare adalah 75,2%, dibandingkan dengan 71,2% tanpa seleksi fitur, menunjukkan peningkatan akurasi sebesar 4%. Kesimpulannya, menggabungkan seleksi fitur ChiSquare dengan ekstraksi fitur Bag of Words dapat meningkatkan akurasi klasifikasi Catboost pada analisis sentimen COVID-19.