Analysis of the 19th Presidential TV Debate Using Deep Learning Based Video Processing Algorithms : Analysis of the frequency, facial expression and gaze
Yun‐Jung Choi, Yoojin Chung, Ho Young Yoon, Minjung Kim, Na Young Kim, Chen Lü, Ju-yeon Sin, Ju-hee Lee, Nayoung Kim, Eun Yeo, Je‐Won Kang · Korean Journal of Journalism & Communication Studies · 2020
본 연구는 인공지능 딥 러닝 기술을 적용한 알고리즘을 구축해, 2017년 19대 대선 기간에 진행된 TV토론 자료 중 정치인들의 표정 및 응시방향을 분석했다. TV토론에서 후보들이 보여준 비언어적 메시지, 구체적으로 표정(분노, 짜증, 만족, 무표정)과 응시방향을 분석하기 위해 딥 러닝 기술을 이용해 분류 네트워크 알고리즘을 구축하고 6차례의 토론 데이터를 분석했다. 또한 영상분석결과를 패널 설문조사 데이터와 통합하여 TV토론에서 후보들이 보여준 표정의 비율에 따라 후보에 대한 호감도 평가가 어떻게 달라지는지 다층모형 분석을 실시했다. 연구 결과, 문재인 후보가 만족스러운 표정을 가장 많이 지었고 유승민 후보는 무표정한 얼굴로 감정을 잘 드러내지 않았다. 다층모형 분석결과, 긍정적 이미지인 만족스러운 표정은 후보의 호감도를 더 긍정적으로 평가하도록 유의한 영향을 미쳤는데, 변화의 폭은 투표를 하지 않은 그룹보다 투표를 한 그룹에서 더 크게 나타났다. 지상파, 종합편성채널, 온라인 미디어 등 주로 사용하는 미디어로 집단을 구분한 분석에서는 분노한 표정에 따라 호감도 변화가 유의하게 달랐다. 분노한 표정에 노출된 경우 후보에 대한 호감도가 유의하게 변화하는데 종편을 주로 사용하는 그룹은 지상파 주 이용 그룹보다 후보를 긍정적으로 평가하는 것으로 나타났다. 본 연구는 TV토론에서 정치인의 비언어적 메시지가 유권자에게 미치는 영향을 밝혔고, 이후 정치인들의 표정과 응시방향을 자동적으로 분류할 수 있는 알고리즘을 개발했다는 점에서 의미가 있다.