Multi-Modal Wearable Sensor Integration for Daily Activity Pattern Analysis with Gated Multi-Modal Neural Networks
Kyoung-Woon On, Eun‐Sol Kim, Byoung‐Tak Zhang · 정보과학회 컴퓨팅의 실제 논문지 · 2017
본고에서는 다중 웨어러블 센서 데이터로부터 사용자의 일상 생활 행동 패턴을 분석할 수 있는 새로운 기계학습 모델을 제안한다. 제안하는 모델은 다중 웨어러블 센서 데이터를 효과적으로 학습하기 위하여 사람이 다중 센서 정보를 처리하는 방법을 적용한 새로운 신경망 모델이다. 제안하는 Gated multi-modal neural netoworks는 계층적 신경망 구조를 가지고 있으며 Gate 모듈을 통해 각 센서 데이터를 선택적으로 결합하여 처리하는 특징을 가진다. 실험을 위해 다중 웨어러블 장치를 착용하고 일상 생활 중 한 가지인 레스토랑에서의 행동 센서 데이터를 수집하였다. 실험 결과로서, 제시하는 모델을 이용하여 실제 웨어러블 센서 데이터를 분석하였을 때 분류 정확도가 비교적 정확하고 빠르게 처리할 수 있음을 확인하였다. 또한 모델의 중간 계층에서의 노드의 활성화 패턴 분석을 통해 자동으로 일상생활 패턴을 추출할 수 있고 이를 이용하여 지식 스키마를 생성할 수 있음을 확인하였다.