Robust Generalized Linear Model for Sparse Text Data Analysis
Sunghae Jun · Journal of Korean institute of intelligent systems · 2020
통계학과 머신러닝에서 제공하는 다양한 분석기법은 정형화된 데이터 구조를 요구하기 때문에 빅데이터 분석에서 다양한 형태의 빅데이터를 전처리하여 정형화된 구조로 바꾸는 작업이 필요하게 된다. 특히 문서 빅데이터의 전처리 결과는 행과 열이 각각 문서와 단어로 이루어진 문서-단어 행렬이다. 행렬의 각 원소는 문서에 나타난 단어의 빈도수를 나타낸다. 일반적으로 문서-단어 행렬은 원소들 중 상당수가 0의 값을 갖는 희소한 데이터 구조를 갖는다. 대표적인 통계분석 기법인 일반화 선형모형은 희소한 문서-단어 행렬 데이터의 분석에 한계를 나타낸다. 이와 같은 문제를 해결하기 위하여 본 논문에서는 로버스트 일반화 선형모형을 이용한 분석 방법을 제안한다. 실제 특허문서 데이터를 수집하고 분석하여 제안 방법의 성능평가를 수행한다.