Peningkatan frekuensi dan intensitas bencana alam global mendorong kebutuhan akan sistem pemantauan yang lebih efektif. Media sosial, sebagai sumber informasi real-time, menghadapi tantangan dalam memproses volume data yang besar, tidak terstruktur, dan penuh noise. Penelitian terdahulu telah memanfaatkan model machine learning dan deep learning untuk mengatasi monitoring otomatis pesan saksi mata di media sosial, namun masih memiliki keterbatasan. Model machine learning masih bergantung pada ekstraksi fitur berbasis frekuensi dan ekstraksi fitur buatan manusia, sehingga masih mengalami kesulitan dalam menangkap kesamaan semantik serta pola sekuensial dalam teks. Model deep learning meskipun telah meningkatkan performa secara signifikan, namun masih terdapat keterbatasan dalam memahami semantik dan kurang andal dalam menangani volume data yang besar akibat dari pemrosesan secara sekuensial yang masih sering terjadi di media sosial. Penelitian ini menggunakan model berbasis Transformer dengan varian BERT (BERT, RoBERTa, DistilBERT, ELECTRA, ALBERT) yang diterapkan strategi pre-training Masked Language Modeling (MLM) untuk masing-masing model dan optimasi batch size dengan tujuan untuk meningkatkan performa. Hasil penelitian menunjukkan bahwa batch size 16 memberikan performa tertinggi di seluruh varian BERT dan dataset bencana alam. Model dengan macro F1 score tertinggi terdapat pada model standar BERT (16) sebesar 0,762. Analisis performa berdasarkan jenis bencana menunjukkan macro F1 score sebesar 0,744 (angin), 0,793 (banjir), 0,756 (gempa bumi) dan 0,750 (kebakaran). BERT (16) memiliki performa unggul dibandingkan varian BERT lainnya serta 12 model dari penelitian terdahulu. Penelitian ini memberikan wawasan penting dalam pengembangan model klasifikasi berbasis varian BERT serta mendukung peningkatan efektivitas respons bencana melalui klasifikasi pesan saksi mata bencana alam di media sosial.