Realistic Facial Wrinkles and Imperfections Processing Scheme based on Inpainting Model
Jun-Suk Lee, Hyeonwoo Kim, Jonghwa Shim, Eenjun Hwang · 정보과학회 컴퓨팅의 실제 논문지 · 2023
최근, 얼굴 피부에 대한 다양한 미용 시술이 보편화되면서, 얼굴에 존재하는 주름이나 결점을 효과적으로 검출하고 그 정도를 평가하는 연구가 활발히 진행되고 있다. 하지만, 시술로 예상되는 결과에 대한 시각적이고 객관적인 자료의 부족으로 인해 많은 소비자들이 시술을 주저하게 되고, 이를 해소하기 위해 병원에서는 많은 시간과 비용을 지불하고 있다. 이에 본 논문에서는 GAN 기반의 인페인팅 모델을 사용하여, 얼굴의 주름이나 결점 영역을 검출하고, 그 영역을 주변 피부와 유사하게 복원하는 사실적 얼굴 주름 및 결점 제거 기법을 제안한다. 주름 및 결점 영역 검출을 위해서는 프랑기 필터(Frangi filter)와 헤시안 필터(Hessian filter)를 함께 활용한 하이브리드 필터를 사용하였으며, 주름/결점 인페인팅을 위해서는 사전 훈련된 인페인팅 네트워크에 피부과에서 수집한 얼굴 데이터로 전이 학습을 수행한 모델을 사용하였다. 특히, 모델의 성능을 보다 객관적으로 평가하기 위해 새로운 평가지표를 제안하였으며, 이를 바탕으로 다양한 비교 실험을 통해 제안하는 기법의 성능이 우수함을 검증하였다.