Semi-Supervised Learning for Detecting of Abusive Sentence on Twitter using Deep Neural Network with Fuzzy Category Representation
Da-Sol Park, Jeong-Won Cha · Journal of KIISE · 2018
사회관계망 서비스(SNS, Social Network Service)에서 발생하는 혐오 발언 문장으로 인해 피해를 보는 사람이 점점 늘고 있다. 본 논문은 트위터 문장에서 단순 사전 비교를 통한 혐오 발언 탐지를 넘어 문장의 내포된 의미가 혐오성인지 아닌지를 판단하기 위해 대용량의 파일에서 준지도 학습과 심층신경망을 이용한 탐지 방법을 제안한다. 대부분 혐오 단어로 구성된 블랙리스트를 생성하여 이것과 비교하여 판단한다. 하지만 이러한 방법은 혐오 발언의 미묘하고 교묘한 표현을 찾아내지 못한다는 단점이 존재한다. 그리고 한국어 트위터 문장에 대해 혐오 발언 여부에 대한 레이블을 부착한 코퍼스를 생성하였다. 트위터 코퍼스 4만4천문장을 학습하였고, 1만3천여문장을 평가하여 음절 1-layer CNN과 문장 벡터를 사용한 모델의 결과가 명시적 혐오 발언의 F1 Score 86.13% 성능을 보였다. 음절 1-layer CNN과 2-layer CNN 그리고 문장 벡터를 사용한 모델 결과가 암시적 혐오 발언의 F1 Score 25.53%의 성능을 얻었다. 논문에서 제안한 방법을 이용하여 사이버 불링을 탐지하기 위한 방법으로 사용할 수 있다.