Improving BERT-based Sentiment Analysis Model using Graph-based Ranking Mechanism
Junekyu Park, Kyung-Ah Sohn · 정보과학회 컴퓨팅의 실제 논문지 · 2021
문서 처리의 자동화에 대한 필요성이 대두됨에 따라 인공지능을 통한 자연어 처리(Natural Language Processing) 분야에서 연구가 활발하게 진행되고 있다. 본 연구에서는 자연어 처리 분야 중 특히 감정분석(Sentiment Analysis) 분야에서 그래프 기반의 순위화 메커니즘을 통해 추출한 형태소, 또는 요약 기반의 벡터인 GRAB vector(GRAph-Based vector)를 제안하고 이를 통해 기존의 BERT(Bidirectional Embedding Representations from Transformers)모델에 적용한다. 이를 통하여 더욱 강인하고 성능이 향상된 GRAB-BERT 모델을 제안한다. 또한, GRAB vector가 모델에 미치는 영향을 분석하기 위하여 재귀적 인공신경망(Recurrent Neural Network) 기반 모델들과 BERT 기반 모델에 시퀀스 입력 길이를 각각 다르게 학습한 경우 GRAB vector의 적용 여부에 따른 성능을 한국어와 영어에 대하여 분석한다. 결과적으로 형태소 단위로 추출된 벡터가 BERT와 같은 병렬적으로 문자를 처리하는 모델의 경우, 더욱 강인한 학습이 가능하며 성능이 향상됨을 보인다. 추가로, BERT 기반의 모델과 반대로 재귀적 인공신경망 기반모델들의 경우 형태소 기반이 아닌 그래프 기반 요약문 추출을 통한 벡터를 적용한 경우가 더 효과적임을 보인다.