A Full Transformer Video Captioning Model via Vision Transformer
Heeju Im, Yong Suk Choi · 정보과학회 컴퓨팅의 실제 논문지 · 2023
컴퓨터 비전 분야에서 트랜스포머 모델을 사용하는 방안이 크게 대두되고 있다. 이미지를 뿐만 아니라 비디오 데이터에 대해서도 트랜스포머를 활용한 성능향상에 대해서 활발한 연구가 진행 중이다. ViViT[6]에서는 비디오의 시간적인 정보와 공간적인 정보를 두 종류의 트랜스포머로 학습하는 방안을 제안했다. 허나 처음 제안된 ViT를 포함하여 ViViT 및 또 다른 ViT 활용 모델들의 경우에도 학습된 CLS token 만을 사용하며 나머지 patch sequence는 고려하지 않는다. 본 연구에서는 self-attention을 통해 학습된 patch sequence의 정보를 활용하는 다양한 방안을 실험하였다. 이후 해당 방안들을 feature extraction network로 하여 비디오 캡셔닝 태스크를 수행하였다. 네가지 매트릭을 통해 성능평가를 진행하였고 캡셔닝 결과는 appearance feature 만을 사용했음에도 BLEU-4, METEOR, ROUGE-L 매트릭에서 SOTA 모델들과 근접한 결과를 보였다.