DIGITAL LIBRARY



JUDUL:INTEGRASI DATA GAMBAR DAN TEKS MENGGUNAKAN MULTIMODAL FUSION DEEP LEARNING UNTUK PENGKLASIFIKASIAN KONTEN MEME OFENSIF
PENGARANG:AMSAL HALOMOAN SITUMORANG
PENERBIT:UNIVERSITAS LAMBUNG MANGKURAT
TANGGAL:2025-03-06


Deep learning telah menjadi teknologi utama dalam pengolahan data digital, dimana mampu menangani data tidak terstruktur dari berbagai modalitas seperti gambar, teks, audio, dan video. Dalam analisis data modern, integrasi data multimodal, seperti meme yang menggabungkan gambar dan teks, menjadi semakin penting. Tantangan dalam analisis meme adalah mengolah informasi dari kedua modalitas secara bersamaan. Penelitian ini mengembangkan dan membandingkan tiga metode fusion dalam klasifikasi meme ofensif dan non-ofensif, yaitu early fusion, late fusion, dan hybrid fusion. Early fusion menggabungkan fitur gambar dan teks pada tahap awal, late fusion menggabungkan probabilitas akhir dari setiap modalitas, dan hybrid fusion memadukan probabilitas dari kedua metode tersebut. Model Convolutional Neural Network (CNN) digunakan untuk gambar, sedangkan Long Short-Term Memory (LSTM) untuk teks. Evaluasi dilakukan menggunakan metrik accuracy, precision, recall, dan f1-score. Hasil menunjukkan bahwa late fusion memiliki performa terbaik dengan accuracy 0.664, precision 0.559, recall 0.655, dan f1-score 0.603. Early fusion menunjukkan performa terendah, sedangkan hybrid fusion memiliki performa menengah. Dibandingkan penelitian terdahulu yang hanya menggunakan early fusion saja, ternyata penelitian ini menunjukkan peningkatan performa. 

Berkas PDF
NODOWNLOAD LINK
1FILE 1



File secara keseluruhan dapat di unduh DISINI