Image Captioning via Semantic Visual Feature Matching in Heavy Rain Condition
Pung-Hwi Ye, Chang‐Hwan Son · The Journal of Korean Institute of Information Technology · 2021
입력 영상으로부터 문장을 생성하는 이미지 캡셔닝 기법은 청명한 날씨에서 촬영된 고화질의 영상을 대상으로 개발되고 있다. 하지만 폭우, 폭설, 안개와 같은 악천후 환경에서는 가시성 저하, 빗줄기 및 눈송이 결함으로 촬영된 영상의 화질은 열화된다. 이는 객체의 유용한 특징 추출을 방해하며 이미지 캡셔닝의 성능 저하를 유발한다. 이런 문제를 극복하고자 본 연구에서는 폭우 환경에서도 정확한 문장을 생성할 수 있는 이미징캡셔닝 기법을 제안하고자 한다. 먼저, 물리적 폭우 모델링 기반의 폭우 영상 화질 개선 네트워크를 제시한 후, 물리적 폭우 모델링의 역과정을 통해 폭우 영상의 화질을 복구하고자 한다. 그리고 복구 영상과 원본 영상간의 시각 특징 벡터를 정합할 수 있는 인코더를 제안하고 복구 영상의 의미적 시각 표현력을 제고하고자 한다. 실험 결과를 통해, 제안한 이미지 캡셔닝 기법이 기존 이미지 캡셔닝 기법에 비해 폭우 환경에서의 문장 생성의 정확도를 높일 수 있음을 보이고자 한다.