Motion capture methods and machine learning for sign language recognition
Jorge Casas Guerrero, Jorge Cristobal Martín, Javier Luengo · 2019
La comunicacion es uno de los elementos clave de todos los seres humanos. Hay una variedad de formas posibles de comunicarse, como el lenguaje escrito, la comunicacion verbal o el lenguaje de senas. Este ultimo es uno de los mas importantes, ya que es utilizado por personas que no son capaces de comunicarse a traves del habla. La mayoria de los estudios de captura de movimiento han tratado de reconocer el lenguaje de signos para poder ensenarlo. En la mayoria de ellos se han utilizado tecnologias como los guantes con marcadores o las costosas camaras para captar el reconocimiento. En este proyecto se ha estudiado el reconocimiento del lenguaje de signos mediante tecnologias asequibles y optimas, para que la mayoria de la gente pueda acceder a ellas. De esta manera, se realiza una comparacion de varias tecnologias y el desarrollo y evaluacion de un sistema de software utilizando la tecnologia elegida, construyendo un sistema final utilizando el Leap Motion Controller, Microsoft Kinect y TensorFlow, que es capaz de reconocer 17 signos estaticos, con una precision de casi el 100 %, y signos dinamicos.---ABSTRACT---Communication is one of the key elements of all humans. There are a variety of possible ways to communicate, such as written, speech or sign language. The latter is one of the most important since it is used by people who is not able to communicate through speech. Most motion capture studies had try to recognize sign language in order to teach it. In most of them, technologies such as marker gloves or expensive cameras has been used to achieve the recognition. In this project, the recognition of sign language using affordable and optimal technologies has been studied, so most of the people can access them. In this way, a comparison of several technologies and the development and evaluation of a software system using the chosen one is carried out, building a final system using the Leap Motion Controller, Microsoft Kinect and TensorFlow, which is capable of recognizing 17 static sings, with an accuracy of almost 100%, and dynamic signs.