A Study on Debiasing for Image Classifier Based on Image Generation using Diffusion Model
Kyoungrae Noh, Dongjun Lee, Donggeun Ko, Namjun Park, Jaekwang Kim · Journal of Korean institute of intelligent systems · 2024
인공신경망은 데이터 세트에 존재하는 편향으로 인하여 의도하지 않은 결과를 나타낼 수 있으며, 이는 편향을 유발하지 않는 데이터 세트에 대한 신경망의 일반화 능력을 하락시켜 성능 저하로 이어질 수 있다. 본 논문에서는 사전 학습된 모델을 활용하여 편향을 유발하지 않는 이미지 데이터 세트를 생성하기 위한 텍스트-이미지 생성 파이프라인인 Debiasing with Diffusion을 제안한다. 본 논문에서 제안하는 방법은 편향된 인공신경망을 사용하여 이미지를 크로스 엔트로피 값에 따라 정렬한 후, 상위 100개의 이미지를 추출한다. 이후, 추출된 이미지를 사전 학습된 디퓨전 및 이미지 캡션 모델을 활용하여 편향을 유발하지 않는 이미지를 생성한다. 이를 통해 인공신경망의 일반화 성능을 높이는 데이터를 생성하여 학습에 이용할 수 있다. 제안 방법의 우수성을 검증하기 위하여 4가지 유명한 벤치마크 데이터 세트에서 다양한 실험을 수행하였다.