A Comparative Analysis of Performance Changes Varying K values in PA%K for Evaluating Anomaly Detection in Multivariate Time Series
Tae Wook Ha, Myoung–Ho Kim · 정보과학회 컴퓨팅의 실제 논문지 · 2024
딥러닝 모델을 활용한 다변량 시계열 이상 탐지 연구는 연속적인 여러 시점 구간으로 나타나는 시계열 이상을 효과적으로 성능 평가에 반영하기 위해, 레이블 조정 방법인 PA(point-adjust) 기반 F1 점수로 탐지 성능을 측정한다. PA%K는 하이퍼파라미터 K 값을 활용하여 PA 기반 F1 점수가 실제 성능에 비해 과하게 측정되는 현상을 방지하는 방법이다. PA%K를 제안한 연구는 학습된 딥러닝 모델을 활용하는 경우 K 값에 따른 성능 변화가 적다고 언급하였지만, 하나의 다변량 시계열에 대한 실험을 진행하였기 때문에 효과적으로 성능 변화를 보여주었다기에는 한계점이 있다. 본 논문에서는 서로 다른 다변량 시계열들을 활용하여 K 값에 따른 탐지 성능 변화를 비교 분석한다. 여러 시계열을 포함하는 두 실제 데이터셋에 대한 실험 결과는 학습된 모델을 활용하더라도 K 값에 따라 성능 변화가 나타날 수 있음을 보인다. 그리고 이상 구간 크기 분포가 다르면 성능 변화 양상도 달라질 수 있음을 보인다.