Informasi tentang bencana alam yang disebarkan melalui media sosial dapat menjadi sumber data penting bagi proses mitigasi dan sistem peringatan dini. Platform media sosial, seperti X (sebelumnya dikenal sebagai Twitter), telah menjadi saluran utama untuk menyampaikan informasi secara real-time, terutama selama keadaan darurat bencana. Dengan banyaknya teks terkait bencana yang tidak terstruktur yang harus diproses, tantangan utamanya adalah menyaring dan mengklasifikasikan pesan secara akurat ke dalam tiga kategori: saksi mata, bukan saksi mata, dan tidak tahu. Penelitian ini bertujuan untuk membandingkan kinerja empat model pemrosesan bahasa alami berbasis BERT, yaitu IndoBERT, IndoBERT dengan Masked Language Modeling (MLM), BERT Multilingual, dan BERT Multilingual dengan MLM, dalam mengklasifikasikan pesan bencana berbahasa Indonesia. Dataset yang digunakan dalam penelitian ini diperoleh dari penelitian sebelumnya dan data yang tersedia untuk umum di GitHub, yang terdiri dari pesan-pesan beranotasi terkait banjir, gempa bumi, dan kebakaran hutan. Metode yang diterapkan adalah pendekatan pembelajaran mendalam menggunakan teknik hold-out dengan rasio 80:20 untuk data pelatihan dan pengujian, dan rasio yang sama diterapkan untuk membagi data pelatihan menjadi subset pelatihan dan validasi, dengan stratifikasi untuk mempertahankan proporsi kelas yang seimbang. Selain itu, variasi ukuran batch dieksplorasi untuk mengevaluasi pengaruhnya terhadap stabilitas kinerja model. Hasil penelitian menunjukkan bahwa model IndoBERT mencapai kinerja tertinggi pada dataset banjir dan gempa bumi, dengan akurasi masing-masing 80,67% dan 81,50%. Sementara itu, IndoBERT dengan pra-pelatihan MLM mencatat akurasi tertinggi pada dataset kebakaran hutan, yaitu 88,33%. Secara keseluruhan, IndoBERT menunjukkan kinerja yang paling konsisten dan unggul di seluruh dataset dibandingkan dengan model lainnya. Temuan ini menunjukkan bahwa IndoBERT memiliki kemampuan yang kuat dalam memahami teks terkait bencana Indonesia, dan hasilnya dapat digunakan sebagai dasar untuk mengembangkan sistem klasifikasi otomatis untuk mendukung aplikasi pemantauan bencana dan peringatan dini secara real-time.