Face Shadow Removal by Training Pix2pix GAN with Generated Virtual Training Data
Soo-Hyeon Lee, Yeongwoo Choi · Journal of Digital Contents Society · 2021
다양한 조명 변화는 얼굴 이미지의 인식 성능을 떨어뜨리는 요인 중 하나이며, 특히 조명 또는 주변 환경에 의해 얼굴 이미지 위에 그림자가 생기면 인식 성능이 크게 저하되는 것이 일반적인 경향이다. 따라서 그림자가 발생한 얼굴 이미지를 원래의 상태로 복원할 수 있으면 얼굴 인식 성능의 향상을 기대할 수 있다. 이 연구에서는 적대적 생성 신경망인 GAN의 대표적 모델 중 하나인 Pix2pix를 사용하여 그림자를 완화하고 제거하는 방법을 제안한다. Pix2pix GAN 모델은 학습에 대응되는 이미지 쌍(Pair)을 필요로 하기 때문에 이를 위해 정상적인 얼굴 이미지로부터 그에 대응되는 가상의 학습 이미지를 다양한 이미지 블랜딩 방식으로 생성하여 학습 쌍으로 활용하는 아이디어를 제안한다. 제안한 방법으로 생성한 데이터를 이용해서 학습한 모델을 테스트한 결과 얼굴 이미지의 그림자가 자연스럽게 완화되는 것과 이를 통해 얼굴 인식 성능이 향상된 것을 확인할 수 있다.