Human-robot interaction and computer-vision-based services for autonomous robots
Jordi Bautista Ballester · TDX (Tesis Doctorals en Xarxa) · 2016
L'Aprenentatge per Imitacio (IL), o Programacio de robots per Demostracio (PbD), abasta metodes pels quals un robot apren noves habilitats a traves de l'orientacio humana i la imitacio. La PbD s'inspira en la forma en els essers humans aprenen noves habilitats per imitacio amb la finalitat de desenvolupar metodes pels quals les noves tasques es poden transferir als robots. Aquesta tesi esta motivada per la pregunta generica de que imitar?, Que es refereix al problema de com extreure les caracteristiques essencials d'una tasca. Amb aquesta finalitat, aqui adoptem la perspectiva del Reconeixement d'Accions (AR) per tal de permetre el robot decideixi el cal imitar o inferir en interactuar amb un esser huma. L'enfoc proposat es basa en un metode ben conegut prove del processament del llenguatge natural: es a dir, la bossa de paraules (BoW). Aquest metode s'aplica a grans bases de dades per tal d'obtenir un model entrenat. Encara BoW es una tecnica d'aprenentatge de maquines s'utilitza en diversos camps de la investigacio, en la classificacio d'accions per a l'aprenentatge en robots esta lluny de ser acurada. D'altra banda, se centra en la classificacio d'objectes i gestos en lloc d'accions. Per tant, en aquesta tesi es demostra el metode es adequat, en escenaris de classificacio d'accions, per a la fusio d'informacio de diferents fonts o de diferents assajos. Aquesta tesi fa tres contribucions: (1) es proposa un metode general per fer front al reconeixement d'accions i per tant contribuir a l'aprenentatge per imitacio; (2) la metodologia pot aplicar-se a grans bases de dades, inclouen diferents modes de captura de les accions; i (3) el metode s'aplica especificament en un projecte internacional d'innovacio real anomenat Vinbot. El Aprendizaje por Imitacion (IL), o Programacion de robots por Demostracion (PbD), abarca metodos por los cuales un robot aprende nuevas habilidades a traves de la orientacion humana y la imitacion. La PbD se inspira en la forma en los seres humanos aprenden nuevas habilidades por imitacion con el fin de desarrollar metodos por los cuales las nuevas tareas se pueden transferir a los robots. Esta tesis esta motivada por la pregunta generica de que imitar?, se refiere al problema de como extraer las caracteristicas esenciales de una tarea. Con este fin, aqui adoptamos la perspectiva del Reconocimiento de Acciones (AR) con el fin de permitir el robot decida lo hay imitar o inferir al interactuar con un ser humano. El enfoque propuesto se basa en un metodo bien conocido proviene del procesamiento del lenguaje natural: es decir, la bolsa de palabras (BoW). Este metodo se aplica a grandes bases de datos con el fin de obtener un modelo entrenado. Aunque BoW es una tecnica de aprendizaje de maquinas se utiliza en diversos campos de la investigacion, en la clasificacion de acciones para el aprendizaje en robots esta lejos de ser acurada. Ademas, se centra en la clasificacion de objetos y gestos en lugar de acciones. Por lo tanto, en esta tesis se demuestra el metodo es adecuado, en escenarios de clasificacion de acciones, para la fusion de informacion de diferentes fuentes o de diferentes ensayos. Esta tesis hace tres contribuciones: (1) se propone un metodo general para hacer frente al reconocimiento de acciones y por lo tanto contribuir al aprendizaje por imitacion; (2) la metodologia puede aplicarse a grandes bases de datos, incluyen diferentes modos de captura de las acciones; y (3) el metodo se aplica especificamente en un proyecto internacional de innovacion real llamado Vinbot. Imitation Learning (IL), or robot Programming by Demonstration (PbD), covers methods by which a robot learns new skills through human guidance and imitation. PbD takes its inspiration from the way humans learn new skills by imitation in order to develop methods by which new tasks can be transmitted to robots. This thesis is motivated by the generic question of “what to imitate?” which concerns the problem of how to extract the essential features of a task. To this end, here we adopt Action Recognition (AR) perspective in order to allow the robot to decide what has to be imitated or inferred when interacting with a human kind. The proposed approach is based on a well-known method from natural language processing: namely, Bag of Words (BoW). This method is applied to large databases in order to obtain a trained model. Although BoW is a machine learning technique that is used in various fields of research, in action classification for robot learning it is far from accurate. Moreover, it focuses on the classification of objects and gestures rather than actions. Thus, in this thesis we show that the method is suitable in action classification scenarios for merging information from different sources or different trials. This thesis makes three contributions: (1) it proposes a general method for dealing with action recognition and thus to contribute to imitation learning; (2) the methodology can be applied to large databases which include different modes of action captures; and (3) the method is applied specifically in a real international innovation project called Vinbot.