Deteksi tumor otak menggunakan Magnetic Resonance Imaging (MRI) sangat penting dalam proses diagnosis. Model deep learning menawarkan potensi besar dalam meningkatkan efisiensi diagnosis, tetapi penelitian terdahulu menunjukkan bahwa model-model ini rentan terhadap gangguan kecil pada data, yang dapat menurunkan akurasi prediksi secara drastis dan berpotensi menyebabkan kesalahan diagnosis medis. Kompleksitas arsitektur yang semakin meningkat menimbulkan kekhawatiran terkait robustness, terutama pada aplikasi medis yang memerlukan prediksi yang konsisten dan tahan terhadap noise pada citra. Salah satu model yang digunakan untuk deteksi adalah Real-Time Detection Transformer (RT-DETR), yang berbasis arsitektur Transformer. Analisis robustness model ini dilakukan melalui pengujian menggunakan serangan adversarial, yaitu teknik yang menambahkan gangguan kecil pada citra untuk menguji sensitivitas model. Dua metode serangan digunakan, yaitu Fast Gradient Sign Method (FGSM) dan Projected Gradient Descent (PGD). Pengujian dilakukan pada dataset MRI tumor otak dengan empat kelas menggunakan model RT-DETR dengan variasi backbone ResNet-50 (RT-DETR-R50) dan ResNet-101 (RT-DETR-R101). Kinerja dievaluasi menggunakan Mean Average Precision (mAP), dan metode pertahanan Adversarial Training berbasis PGD (PGD-AT) diterapkan. Hasil penelitian menunjukkan bahwa RT-DETR-R50 unggul dalam akurasi baseline (mAP@0.5 sebesar 93,0), namun RT-DETR-R101 sedikit lebih stabil terhadap serangan. Pada model RT DETR-R50, serangan PGD menyebabkan degradasi performa sebesar 41,26%, lebih tinggi dibandingkan FGSM sebesar 30,58%. Penerapan PGD-AT berhasil meningkatkan robustness model secara signifikan, di mana degradasi akibat PGD pada RT-DETR-R50 ditekan menjadi 16,34% dan akurasi baseline meningkat menjadi 95,20. Temuan ini menunjukkan bahwa RT-DETR masih kurang robust terhadap gangguan kecil pada citra, namun penerapan Adversarial Training terbukti dapat meningkatkan keandalannya secara signifikan dalam aplikasi medis.