Hand Feature Enhancement and User Decision Making for CNN Hand Gesture Recognition Algorithm
Chang-Young Jang, Tae-Yong Kim · Journal of the Institute of Electronics and Information Engineers · 2020
본 연구에서는 디지털카메라의 영상과 Kinect의 스켈레톤 정보를 이용하여 사용자의 의사 결정을 판단하고 손 제스처를 인식하는 시스템을 구현하였다. 사용자의 디바이스 제어 의사를 판단하기 위하여 스켈레톤 정보에서 손의 위치와 머리의 위치를 이용하였고 디바이스 제어를 원하는 사용자의 손을 스켈레톤 좌표와 Shift 방식을 통하여 추적하였다. 사용자의 손 포즈를 인식하기 위하여 CNN(Convolutional Neural Network)을 사용하였다. CNN 학습에 사용할 이미지는 피부색을 기준으로 이진화된 이미지를 사용했고 CNN의 손 포즈 인식 성능을 향상시키기 위하여 손의 특징을 강화하는 방법을 사용하였다. 세선화를 이용하여 손 포즈 인식에 필요 없는 손의 특징들을 소거했고 컨벡스 헐을 통하여 손가락 끝 점들을 찾고 손 끝 점들을 강화하였다. 그 결과 매우 뛰어난 인식 정확도를 보였고 이 연구를 통하여 TV나 에어컨 같은 디바이스에서 활용이 가능할 것으로 기대된다.