Media sosial telah menjadi sumber utama informasi real-time yang dapat dimanfaatkan oleh kecerdasan buatan untuk mengidentifikasi pesan yang relevan, sehingga meningkatkan manajemen bencana. Penyebaran cepat informasi terkait bencana melalui media sosial memungkinkan otoritas merespons keadaan darurat dengan lebih efektif. Namun, penyaringan dan pengkategorian pesan secara akurat tetap menjadi tantangan karena besarnya jumlah data tidak terstruktur yang harus diproses secara efisien. Studi ini membandingkan kinerja IndoRoBERTa, IndoRoBERTa MLM, IndoDistilBERT, dan IndoDistilBERT MLM dalam mengklasifikasikan pesan media sosial tentang bencana alam ke dalam tiga kategori: eyewitness, non-eyewitness, dan don’t know. Selain itu, studi ini menganalisis dampak batch size terhadap kinerja model untuk menentukan batch size optimal bagi setiap jenis dataset bencana. Dataset yang digunakan dalam studi ini terdiri dari 1000 pesan per kategori yang berkaitan dengan bencana alam dalam bahasa Indonesia, sehingga memastikan keberagaman data yang cukup.   Hasil penelitian menunjukkan bahwa IndoDistilBERT mencapai akurasi tertinggi sebesar 81,22%, diikuti oleh IndoDistilBERT MLM dengan 80,83%, IndoRoBERTa dengan 79,17%, dan IndoRoBERTa MLM dengan 78,72%. Dibandingkan dengan penelitian sebelumnya, studi ini menunjukkan peningkatan yang signifikan dalam akurasi klasifikasi dan efisiensi model, menjadikannya lebih andal untuk pemantauan bencana di dunia nyata. Pre-training dengan MLM meningkatkan sensitivitas IndoRoBERTa dan spesifisitas IndoDistilBERT, memungkinkan kedua model memahami konteks dengan lebih baik serta mengoptimalkan hasil klasifikasi.   Selain itu, studi ini mengidentifikasi batch size optimal untuk setiap dataset bencana: 32 untuk banjir, 128 untuk gempa bumi, dan 256 untuk kebakaran hutan, yang berkontribusi pada peningkatan kinerja model. Temuan ini mengonfirmasi bahwa pendekatan ini secara signifikan meningkatkan akurasi klasifikasi, mendukung pengembangan sistem peringatan dini berbasis machine learning untuk manajemen bencana. Studi ini juga menyoroti potensi optimasi model lebih lanjut guna meningkatkan respons bencana secara real-time serta memperbaiki langkah-langkah keselamatan publik secara lebih efektif dan efisien.

Kata kunci: Machine Learning, Media Sosial, Bencana Alam, IndoRoBERTa, IndoDistilBERT