Implementing Augmented Reality By Using Face Detection, Recognition And Motion Tracking
Heeman Lee · Journal of the Korea Society of Computer and Information · 2012
내추럴 유저 인터페이스 기술(NUI)의 발달은 게임이나 컴퓨터 사용 및 기타 전자기기 사용법에 일대 변화를 가져오고 있다. 본 논문에서는 스마트 폰 사용자의 얼굴을 식별하고 또한 얼굴 움직임 동작을 감지하여 증강현실을 구현한다. 모바일 기기의 전면 카메라를 이용하여 얼굴의 위치를 Viola-Jones방법을 사용하여 검색하고 검색한 얼굴의 식별 및 움직임 검출을 Eigenface 알고리즘을 사용하며, 식별된 사람에 대응되는 그래픽스 오브젝트를 GPS나 가속도 센서 등의 정보와 후면 카메라의 영상과 함께 합성하는 증강현실 시스템을 구현한다. 증강현실 시스템은 모바일 기기의 성능에 적합한 알고리즘 및 방법으로 구현하여야 한다. Natural User Interface(NUI) technologies introduce new trends in using devices such as computer and any other electronic devices. In this paper, an augmented reality on a mobile device is implemented by using face detection, recognition and motion tracking. The face detection is obtained by using Viola-Jones algorithm from the images of the front camera. The Eigenface algorithm is employed for face recognition and face motion tracking. The augmented reality is implemented by overlapping the rear camera image and GPS, accelerator sensors' data with the 3D graphic object which is correspond with the recognized face. The algorithms and methods are limited by the mobile device specification such as processing ability and main memory capacity.