Removing Out-of-Distribution Clients on Federated Model
Mann Soo Hong, Seok–Kyu Kang, Jee-Hyong Lee · Journal of Korean institute of intelligent systems · 2020
연합학습은 데이터 보호를 위해 데이터를 클라이언트 단에서만 수집하고 활용한다. 클라이언트는 전체 데이터 분포에 대한 정보가 없으므로 노이즈, 비정상 데이터 등을 포함한 out-of-distribution(OOD) 데이터를 구분 없이 학습할 가능성이 있다. 본 논문은 OOD 데이터 학습으로 인한 글로벌 모델의 성능 저하를 줄이고자 한다. 서버에서 검증데이터를 이용해 softmax 벡터를 추출하여, softmax 벡터의 거리로 각 클라이언트 모델의 유사도를 계산한다. 글로벌 모델 업데이트 과정에서 유사도가 낮은 모델들을 배제함으로써 이상 클라이언트 제거를 통한 연합학습 모델의 성능향상을 제안한다. 이를 연합학습 모델에 적용하여 이미지를 분류하는 실험을 하였고 미적용 시보다 성능이 나아지는 것을 확인하였다.