Explainable Video Search System using Token Space-based Representation
Jiyeol Park, Dooyoung Kim, Youngjoong Ko · Journal of KIISE · 2024
질의-동영상 검색은 사용자가 입력한 질의와 가장 관련성 깊은 동영상을 찾는 분야이다. 이를 위해 기존 연구들은 질의와 동영상을 적절히 잠재 벡터 공간으로 표상하여 검색에 활용한다. 하지만 질의와 동영상의 관련도를 계산하는 방식이 단순히 두 벡터의 내적값을 활용할 뿐, 의미, 내용, 설명가능성 등을 내포하지 않는다. 본 논문에서는 질의와 동영상을 토큰 기반 공간에 위치한 임베딩으로 변환하여, 동영상을 문서처럼 검색하여 의미적 유사도를 계산하는 모델을 제안한다. 실험 결과 본 논문에서 제안하는 최종 모델의 성능은 베이스라인 대비 MSVD 데이터셋에서 Recall@1, Recall@5, Recall@10 기준 모두 향상된 성능을 보인다. 나아가 CLIP4Clip 대비 제안 모델이 약 3.33배 빠르며, 최소한의 수정을 거친 BM25를 적용한 경우 약 208.11배 빠른 속도를 보인다. 또한, 정성 평가를 통해 동영상으로부터 추출한 토큰이 자막에 준하는 관련도를 보이며 설명가능성 기반 구조임을 증명한다.