IMAGE CAPTIONING UNTUK MOBILITAS TUNANETRA DI RUANG PUBLIK MENGGUNAKAN ViT (VISION TRANSFORMER)
Evlin Sitanggang, Vatresia Arie, Anggriani kurnia · University of Bengkulu Scholar Repository (University of Bengkulu) · 2024
Laporan WHO tahun 2021 yang menyatakan bahwa lebih dari 2,2 miliar individu di seluruh dunia mengalami gangguan penglihatan, penelitian ini berfokus pada pengembangan sistem image captioning untuk meningkatkan mobilitas individu tunanetra di ruang publik menggunakan berbagai varian model Vision Transformer (ViT). Transformers telah merevolusi bidang Natural Language Processing (NLP) dan Computer Vision, menunjukkan kemampuan luar biasa dalam tugas-tugas seperti image captioning. Pada penelitian ini dilakukan evaluasi kinerja lima varian model ViT: ViT-B/16, ViT-B/32, ViT-L/16, ViT-L/32, dan ViT-H/14. Image captioning ini menggunakan Vision Transformer untuk ekstraksi fitur sebagai encoder dan GPT-2 sebagai decoder. Dataset yang digunakan terdiri dari 3000 gambar, dengan setiap gambar memiliki 4 caption, sehingga totalnya terdapat 12.000 caption. Dataset caption direkonstruksi untuk memberikan informasi yang lebih detail tentang posisi hambatan di ruang publik, seperti menunjukkan apakah hambatan tersebut berada di depan, di kiri, di kanan, atau di tengah. Temuan penelitian ini menunjukkan bahwa model ViT-B/16 mengungguli varian lainnya, mencapai skor BLEU tertinggi sebesar 94% dan skor ROUGE sebesar 93%. Selain itu, model ViT-B/16 mencapai nilai loss sebesar 0,0486 dengan total waktu pelatihan 7 jam dan 24 menit. Model ini dilatih menggunakan optimizer AdamW dengan 20 epoch dan batch size 32. Model ViT-B/16 unggul dalam mendeteksi hambatan ketika gambar diambil pada jarak ideal dan dengan visibilitas yang jelas. Namun, model ini menunjukkan keterbatasan dalam mendeteksi beberapa hambatan yang berurutan. Meskipun demikian, model ini menunjukkan keberhasilan dalam merekonstruksi dataset dengan secara akurat merinci posisi hambatan. Keywords : Image Captioning, Vision Transfomer, Tunanetra, Attention mechanism, GPT-2