Standard Criterion of VUS for ROC Surface
Chae‐Seon Hong, Eunkyoung Jung, D.G. Jung · Korean Journal of Applied Statistics · 2013
Abstract Many situations are classified into more than two categories in real world. In this work, we consider ROCsurface and VUS, which are graphical representation methods for classification models with three categories.The standard criteria of AUC for the probability of default based on Basel II is extended to the VUS for ROCsurface; therefore, the standardized criteria of VUS for the classification model is proposed. The ranges ofAUC, K-S and mean difference statistics corresponding to VUS values for each class of the standard criteriaare obtained. The standard criteria of VUS for ROC surface can be established by exploring the relationshipsof these statistics.Keywords: AUC, classification, default, FPR, risk, threshold, TPR, validation, VUS. 1. 서론 ROC(Receiver operating characteristic) 곡선은성과(performance)를 기반으로 분류모형(classificationmodel) 또는 분류자(classifiers)를 시각화하여 평가할 수 있는 유용한 방법이다. ROC 곡선은분류자의‘Sensitivity(민감도)’와 ‘1-Specifity(1-특이도)’ 사이에 교환(trade-off)을나타내는 신호탐지 이론에서오랫동안 사용되었으며, 의사결정과 의학진단의체계 등에서폭넓게 사용되었다. ROC 곡선의특성에 관한 연구와 ROC 분석의응용과 관련된정보는 Provost와 Fawcett (2001), Sobehart와 Keenan(2001), Zho 등(2007), Engelmann 등(2003), Fawcett (2003), Hong과 Choi (2009), Hong 등(2010)이외의많은문헌에서발견할 수 있다. ROC 곡선을통해 판별력을측정하는 객관적인통계량으로는ROC 곡선의아래 면적을계산한 AUC(Area Under ROC Curve 또는 AUROC)를 사용한다 (Bradley,1997; Hanley와 McNeil, 1982).각 국가의중앙은행을감독하는 국제결제은행(Bank of International Settlements: BIS)은은행의파산을막기 위하여 2004년에 국제적인위험(risk) 관리제도를 표준화하여 Basel II를 제안하였다.Joseph (2005)는 Basel II에 대한 부도확률(probability of default)을바탕으로 평균차이(mean differ-ence)에 대응하는 AUC의판별력 판단기준을제안하였다. Joseph (2005)가 제안한 판별력 판단기준은Wilkie (2004)의방법을확장한 것으로 부도(불량)과 정상이동일한 표준편차를 갖는 정규분포 가정하에서평균차이에 대응하는 AUC 통계량을바탕으로 Table 1.1을제안하였다.실제 현실에서는 두가지 형태로 분류되어 있는 상황보다 더 많은형태로 분류되어 있는 상황이많이존재하고, 이에 따라 다범주 분류모형의판별력을측정할 수 있는 방법이요구된다. 신용평가모형에서도