Semantic Segmentation using Sampled Depth Feature Map
Hyeonjeong Lim, Jongwoo Lim · 정보과학회 컴퓨팅의 실제 논문지 · 2023
본 논문은 전방향의 어안 이미지 데이터셋을 사용하여 깊이 추정 네트워크와 의미론적 분할 네트워크를 같이 훈련하는 다중 태스크 학습 네트워크를 고안했다. 깊이 추정 네트워크로부터 나오는 특징 맵을 샘플링한 후 멀티 스케일로 구성하여 의미론적 분할 네트워크에 넘겨준다. 이로 인해 기존의 의미론적 분할에 사용되는 네트워크보다 훨씬 가벼운 구조를 구성하며 다른 의미론적 분할 네트워크와 비슷한 성능을 내고 있다. 또한 깊이 추정 태스크에서 의미론적 정보를 함께 학습함으로써 잘못된 깊이가 복원되고 노이즈가 사라지는 결과를 보여주었다. 따라서 깊이 추정과 의미론적 분할을 동시에 학습함으로써 서로 추출할 수 없는 정보들에 대해 공유하며 상호 보완적인 역할을 해주어, 효율적인 다중 태스크 학습 결과를 보여주었다. 추가적으로 전방향 어안 이미지 데이터셋에 대해서도 다중 태스크 학습이 가능함을 보여주었다.