DETEKSI TEKS OVERLAY PADA GAMBAR STATIS MENGGUNAKAN DBNET, ERROR LEVEL ANALYSIS, DAN CONVOLUTIONAL NEURAL NETWORK

(Oleh: Muhammad Ilham Wahyudi; Pembimbing: Muhammad Itqan Mazdadi, S.Kom., M.Kom. dan Triando Hamonangan Saragih, S.Kom., M.Kom.; 2026; 76 halaman)

Manipulasi visual pada gambar digital menjadi tantangan dalam bidang forensik digital, terutama pada kasus penambahan teks secara digital atau teks overlay. Teks overlay dapat digunakan untuk mengubah makna gambar, menyebarkan informasi menyesatkan, atau memalsukan konten visual sehingga sulit dibedakan dari teks asli. Penelitian terdahulu telah memanfaatkan DBNet untuk mendeteksi teks pada citra dengan latar kompleks, serta menggabungkan Error Level Analysis (ELA) dan Convolutional Neural Network (CNN) untuk mendeteksi manipulasi citra digital. Namun, penelitian yang secara khusus mengintegrasikan segmentasi teks, analisis manipulasi berbasis kompresi, dan klasifikasi visual berbasis deep learning untuk mendeteksi teks overlay pada gambar statis masih terbatas. Penelitian ini bertujuan untuk mengetahui tingkat akurasi sistem deteksi teks overlay serta mengevaluasi nilai accuracy, precision, recall, dan F1-score dalam membedakan teks asli dan teks overlay. Dataset yang digunakan berasal dari COCO-Text subset sebagai representasi teks asli dan MeMoTion Dataset sebagai representasi teks overlay. Tahap preprocessing dilakukan dengan mendeteksi dan memotong area teks menggunakan DBNet, kemudian hasil crop diubah menjadi citra ELA untuk menampilkan pola error kompresi. Data hasil preprocessing dibagi ke dalam data train dan test, kemudian dilakukan balancing agar jumlah data pada kedua kelas seimbang. Model klasifikasi yang digunakan adalah CNN dengan arsitektur ResNet-18 pretrained. Pengujian dilakukan pada tiga skenario jumlah epoch, yaitu 3 epoch, 5 epoch, dan 10 epoch. Hasil penelitian menunjukkan bahwa sistem mampu mencapai akurasi di atas 90% pada seluruh skenario. Skenario 3 epoch memperoleh accuracy sebesar 0,9055, precision sebesar 0,9296, recall sebesar 0,8775, dan F1-score sebesar 0,9028. Skenario 5 epoch memperoleh accuracy sebesar 0,9029, precision sebesar 0,9141, recall sebesar 0,8895, dan F1-score sebesar 0,9016. Skenario 10 epoch memperoleh accuracy sebesar 0,9023, precision sebesar 0,8981, recall sebesar 0,9076, dan F1-score sebesar 0,9028. Hasil ini menunjukkan bahwa integrasi DBNet, ELA, dan CNN ResNet-18 pretrained dapat digunakan untuk mendeteksi teks overlay pada gambar statis dengan performa yang baik.

Kata Kunci: teks overlay, DBNet, Error Level Analysis, Convolutional Neural Network, ResNet-18, deteksi manipulasi citra