Pseudo-label Correction using Large Vision-Language Models for Enhanced Domain-adaptive Semantic Segmentation
Jeongkee Lim, Yusung Kim · Journal of KIISE · 2024
현실에서 획득한 이미지에 대해 시멘틱 세그멘테이션 라벨을 만드는 것은 매우 비용이 많이든다. 비지도 도메인 적응에서는 이러한 문제를 해결하기 위해 라벨을 쉽게 수집할 수 있는 가상 환경에서 생성된 데이터 혹은 이미 라벨이 확보된 데이터와 라벨이 없는 현실에서 획득한 이미지를 활용하여 모델을 학습시킨다. 비지도 도메인 적응에서 흔히 나타나는 문제 중 하나는 유사한 사물 클래스를 쉽게 혼동한다는 것이다. 본 논문에서는 거대 영상-언어 모델을 활용하여 타겟 데이터의 수도 라벨을 보정하는 방법을 제안한다. 타겟 이미지에 대해 생성되는 수도 라벨을 보다 정확하게 만들면 사물 클래스 간의 혼동을 줄일 수 있다. 제안된 방법은 DAFormer의 성능을 게임에서 현실로의 적응에서 +1.1 mIoU, 낮에서 밤으로의 적응에서 +1.1 mIoU 향상시켰다. 사물 클래스에 대해 MIC의 성능을 게임에서 현실로의 적응에서 +0.6 mIoU, 낮에서 밤으로의 적응에서 +0.7 mIoU 향상시켰다.