3D Generative Model using Frequency Domain Loss for Effectively Generating Fine-grained Features
Sanghyuk Lee, Byung-Cheol Song · Journal of the Institute of Electronics and Information Engineers · 2024
기존 3D 생성 모델들은 실제 영상과 유사한 영상을 생성할 수 있지만 미세한 특징 (사람의 머리카락, 귀등)을 사실적으로 생성하지 못하는 문제가 있다. 우리는 위와 같은 문제의 원인이 모델이 주파수 영역에서 영상의 특징을 학습하지 못해 생성된 영상의 주파수 스펙트럼 분포가 실제 영상과 다르기 때문에 발생했다고 주장한다. 따라서 우리는 3D 생성 모델에 주파수 영역 손실 함수를 추가하여 모델이 주파수 영역의 특징 정보를 학습할 수 있도록 함으로써 미세한 특징 생성 성능을 향상시키고자 한다. 정성적/정량적 실험을 통해 제안한 생성 모델이 미세한 특징을 사실적으로 잘 생성하고, 영상 생성의 FID 점수와 IS를 향상시킴을 관찰하였다.