Motion-based Frame Sampling for Natural Language-based Vehicle Retrieval
Dongyoung Kim, Kyoungoh Lee, In‐Su Jang, Kwang‐Ju Kim, Pyong-Kun Kim, Jaejun Yoo · Journal of the Institute of Electronics and Information Engineers · 2024
자연어 설명을 통해 차량 비디오에서 특정 차량을 검색하는 것은 인공지능 기반 교통 시스템에서 중요한 역할을 한다. 기존의 모델들은 CLIP과 같은 자연어 표현과 시각적 표현 사이의 유사도를 활용하는 모델을 사용하여 검색 작업을 수행했다. 그러나 이러한 모델들은 이미지 데이터만을 다루므로 비디오 데이터의 시간적 이동 특성을 포착하는 데 어려움을 겪었다. 따라서 최근 연구자들은 다양한 전처리를 통한 데이터 증강 기법 및 비디오 인코더를 통해 차량의 이동 특성 이해 능력을 향상시켰다. 하지만 최근 연구들의 접근 방식은 종종 차량의 세부적인 시간적 이동 특성을 간과한다. 이러한 문제를 해결하기 위해, 우리는 차량의 상세한 이동 정보를 효과적으로 다루기 위해 차량 이동 기반 프레임 샘플링 방법을 도입한다. 더 나아가, 최신 비디오 파운데이션 모델과 다양한 차량 속성을 처리하기 위해 재-순위화 기법을 구현하여 견고한 모델을 구축한다. 최종적으로, 우리 모델은 공개된 차량 검색 데이터 세트에서 최첨단 성능을 달성한다.