A Comparative Study of Classification Methods Using Data with Label Noise
So Young Kwon, Kyoung Hee Kim · The Korean Data Analysis Society · 2018
판별분석(discriminant analysis)은 새로운 개체가 입력되었을 때, 그 개체가 어느 그룹에 속하는지 예측하는데 사용되는 분석방법이다. 판별분석에서는 레이블(label)을 통해 새로운 개체를 예측하기 때문에 판별분석에서 레이블은 중요하다. 레이블 노이즈(label noise)는 관측된 레이블에 오류가 포함된 것을 의미하며, 실데이터에 발생하기 쉽고 판별성능에 영향을 미칠 수 있는 중요한 요인이다. 이를 개선하기 위해 레이블 노이즈와 레이블 노이즈에 강건한 모형들이 연구되고 있지만, 레이블 노이즈가 존재할 때 판별성능에 영향을 줄 수 있는 요인을 고려하고 이 요인들이 판별성능에 미치는 영향을 비교한 연구는 찾기 힘들다. 따라서 이 논문에서는 분류문제에서 많이 사용되는 LDA, QDA, KNN, SVM 방법을 이용하여 레이블 노이즈가 판별성능에 미치는 영향을 알아보고자 한다. 특히 판별분석의 성능과 연관이 있을 것으로 예상되는 레이블 노이즈의 발생 비율, 발생형태, 데이터의 개수에 따른 판별성능을 모의실험을 통해 살펴보았다. 그 결과, 데이터의 형태와 분석기법에 따라 레이블 노이즈가 판별성능에 영향을 미치는 정도가 다름을 확인하였다.Discriminant analysis predicts a class label of a new observation with an unknown label, using information from the existing labeled data. Hence, observed labels play a critical role in the analysis and we usually assume that these labels are correct. If the observed label contains an error, the data has label noise. Label noise can frequently occur in real data, which would affect classification performance. In order to resolve this, a comparative study was carried out using simulated data with label noise. In particular, we considered 4 different classification techniques such as LDA (linear discriminant analysis classifiers), QDA (quadratic discriminant analysis classifiers), KNN (k-nearest neighbour), and SVM (support vector machine). Then we evaluated each method via average accuracy using generated data from various scenarios. The effect of label noise was investigated through its occurrence rate and type (noise location). We confirmed that the label noise is a significant factor influencing the classification performance.