Convolutional Neural Network sering digunakan pada penelitian untuk melakukan training, validasi, klasifikasi, prediksi dan deteksi pada gambar dengan menggunakan Deep Neural Network. Algoritma optimisasi digunakan untuk merubah nilai hyperparameter yang ada pada Neural Network salah satunya yaitu nilai learning rate, optimisasi dilakukan untuk mengurangi losses dan meningkatkan akurasi model. Algoritma optimisasi yang banyak digunakan karena performanya yang baik adalah optimisasi Adam dan Nadam, namun perubahan nilai learning rate masih perlu di perbaharui secara manual. Pada penelitian ini akan digunakan arsitektur yang berdasarkan VGG16, Learning Rate Scheduler digunakan pada algoritma optimisasi untuk melakukan kontrol pada learning rate dengan cara memperbaharui nilai learning rate di setiap step selama training model. Pada penelitian ini dilakukan perbandingan optimisasi Adam dan Nadam ketika digunakan Learning Rate Scheduler pada saat training dan menghasilkan akurasi prediksi menggunakan optimisasi Adam 98,85% dan Nadam 95,02% dan kemudian menghasilkan nilai MAP model menggunakan Adam 93,58% dan Nadam 75,28%.