A Visual Question-Answering System for CCTV Surveillance using a Neuro-symbolic Method
Seok-Jun Bu, Sung‐Bae Cho · 정보과학회 컴퓨팅의 실제 논문지 · 2023
모니터링에 사용되는 장비가 저렴해지고 정교해짐에 따라 분석할 수 있는 CCTV 영상 데이터의 양이 급속히 증가하고 있다. 이상 상황이 발생 시 관리자가 시스템과 시각적 질의응답을 수행하기 위해서는 객체 및 관계의 인식 기능과 언어로 표현된 질의를 처리하는 기능이 동시에 필요하다. 본 논문에서는 실제 도로에서 촬영되는 행인, 차량, 객체들의 관계를 인식하는 고성능 신경망과 자연어 기반의 복잡한 질의 응답을 위한 추론 알고리즘을 결합한 뉴로-심볼릭 질의응답 방법을 제안한다. 이상상황의 판단과 객체인식을 위해 컨볼루션 신경망을 사용하였고, 인식된 객체와 질의의 맵핑 및 응답의 추론을 위해 심볼릭 연산을 수행하다. 제안하는 방법은 실제 CCTV 환경에서 다섯가지 종류의 질의에 대해 99.71%의 응답 정확도를 달성하였다. 추가적으로, 학습된 질의응답 모형을 웹 기반 데모시스템으로 구축하여 실용성을 평가하였다.