A Design and Implementation of Natural User Interface System Using Kinect
Sae-Bom Lee, Il-Hong Jung · Journal of Digital Contents Society · 2014
오늘날 컴퓨터의 사용이 대중화 되면서 키보드나 마우스와 같은 기존의 사용자 인터페이스에 비해 보다 편리하고 자연스러운 인터페이스에 대한 연구가 활발히 진행되면서, 최근 마이크로소프트의 동작 인식 모듈인 키넥트에 대한 관심이 높아지고 있다. 키넥트는 내장된 센서를 통해 신체의 주요 관절의 움직임 및 깊이 정보를 인식할 수 있으며 내장 마이크를 통해 간단한 음성인식도 가능하다. 본 논문에서는 OpenCV 라이브러리를 키넥트에 접목하여, 키넥트의 깊이 데이터, skeleton tracking, labeling 알고리즘으로 손 영역 추출 및 움직임의 정보를 인식하여 가상 마우스와 가상 키보드를 구현하고, 음성인식을 통해 기존 입력 장치의 기능을 구현하는 것을 목표로 한다. As the use of computer has been popularized these days, an active research is in progress to make much more convenient and natural interface compared to the existing user interfaces such as keyboard or mouse. For this reason, there is an increasing interest toward Microsoft's motion sensing module called Kinect, which can perform hand motions and speech recognition system in order to realize communication between people. Kinect uses its built-in sensor to recognize the main joint movements and depth of the body. It can also provide a simple speech recognition through the built-in microphone. In this paper, the goal is to use Kinect's depth value data, skeleton tracking and labeling algorithm to recognize information about the extraction and movement of hand, and replace the role of existing peripherals using a virtual mouse, a virtual keyboard, and a speech recognition.