Enhancement of Saliency Map Using Motion and Affinity Model
Jong In Gil, Changyeol Choi, Manbae Kim · Journal of Broadcast Engineering · 2015
정지영상에서 공간 관심맵을 생성하는 다양한 방법들이 소개되어 왔고, 최근에는 동영상의 운동정보를 활용하는 운동 관심맵 예측 기법이 활발히 연구되고 있다. 운동 관심맵은 운동정보 및 영역분할을 활용하고 있지만, 일반적인 영상에서는 만족스러운 데이터를 얻는 것은 어려움이 존재한다. 또한 우수한 관심맵을 얻기 위해서는 객체 운동, 카메라 운동 등의 운동유형 정보가 필요하기 때문에 다양한 자연영상을 대상으로 적용하면 성능 저하가 발생한다. 본 논문에서는 상기 언급한 문제점들을 극복할 수 있는 운동기반 관심맵 생성 방법을 제안한다. 공간 관심맵에 운동 정보를 결합하고, 운동 복잡도를 활용한다. 또한 근접 모델을 이용하여 주변 픽셀들의 관심도를 유사하게 함으로써, 동일 객체 또는 배경 영역이 유사한 값을 가지도록 한다. 실험에서는 다양한 동영상 데이터에 제안 방법을 적용하여 성능 검증을 수행하였다. 공간 관심도의 개선 여부를 증명하기 위해서 공간 관심맵 방법과의 객관적 성능 평가를 통해서 제안 방법이 공간 관심맵보다 운동 픽셀의 경우에 평균적으로 관심도 값이 +38 정도 향상되는 것을 보여준다. 또한 참조 데이터가 있는 4개의 동영상을 대상으로 얻은 ROC는 만족스러운 결과를 보여준다. Over the past decades, a variety of spatial saliency methods have been introduced. Recently, motion saliency has gained much interests, where motion data estimated from an image sequence are utilized. In general, motion saliency requires reliable motion data as well as image segmentation for producing satisfactory saliency map which poses difficulty in most natural images. To overcome this, we propose a motion-based saliency generation that enhances the spatial saliency based on the combination of spatial and motion saliencies as well as motion complexity without the consideration of complex motion classification and image segmentation. Further, an affinity model is integrated for the purpose of connecting close-by pixels with different colors and obtaining a similar saliency. In experiment, we performed the proposed method on eleven test sets. From the objective performance evaluation, we validated that the proposed method produces better result than spatial saliency based on objective evaluation as well as ROC test.