Facial Expression Recognition Using Mask Region Segmentation
Seungho Lee · The Journal of the Korean Institute of Information and Communication Engineering · 2023
얼굴 표정인식(facial expression recognition)은 인간 중심의 사람-기계 인터페이스에서 가장 중요한 요소기술 중 하나이다. 마스크 착용 얼굴의 경우 얼굴 하관이 대부분 가려져 충분한 양의 분별 특징정보(discriminative feature)를 추출하기 어려우며, 마스크 착용 여부 및 마스크 패턴(형태, 크기, 무늬 등)의 다양성은 인식 정확도를 저해시키는 방해요소로 작용할 수 있다. 본 논문에서는 마스크 착용으로 인한 영향을 감소시키기 위한 얼굴 표정인식 방법을 제안한다. 먼저 마스크 착용 여부에 의한 불일치를 감소시키기 위해 마스크를 착용한 테스트 얼굴에 대해 표정인식을 수행할 때 학습용 얼굴 이미지들에 마스크를 합성한다. 그리고 마스크 패턴의 다양성에 의한 불일치를 최소화하기 위해 테스트 및 학습용 얼굴 이미지들에서 이미지 분할을 적용하여 추출된 마스크 영역을 제거하여 검정색으로 표시한다. 마스크 영역이 제거된 테스트 얼굴 이미지를 동일한 방식으로 전처리 된 학습용 얼굴 이미지들의 최적 조합으로 복원(reconstruction)한 뒤 복원 기여도가 가장 높은 클래스를 찾음으로써 테스트 얼굴 이미지의 감정 클래스를 결정한다. 제안하는 방법은 6가지의 대표 감정에 대해 70% 이상의 마스크 얼굴 표정인식 정확도를 달성하였으며 이는 학습용 얼굴 이미지들이 마스크 미착용인 경우에 비해 46% 정도 높은 수치이다.