Searching and tracking of humans in urban environments with humanoid robots
Alex Goldhoorn · 2017
Searching and tracking are important behaviours for a mobile service robot to assist people, to search-and-rescue and, in general, to locate mobile objects, animals or humans. Even though searching might be evident for humans, for robots it is not, since it requires exploring, handling noisy sensors, coping with dynamic obstacles, and coordination in the case of multiple agents. In this thesis, we present several methods to search and track a person in an urban environment. All methods were fist tested extensively in simulation and then in real-life, using one or two mobile service robots, called Tibi and Dabo. The robots have laser range finders, which are used to navigate, to detect obstacles and to detect people's legs. Since we focus on search-and-track methods, we use existing methods for robot navigation, for people detection and person recognition. First tests are done with the hide-and-seek problem, in which the robot learns to catch the hider. Concretely, a Mixed Observable Markov Decision Process (MOMDP) model is used, in which the seeker's location is fully observable and the hider's location partially observable. Since the computational complexity depends on the number of states, we propose a hierarchical on-line method that reduces the state space by grouping them together. Although the method worked properly in simulation, in the real-life experiments the results were not satisfying and the on-line policy calculation was not fast enough to work in real-time. To handle larger environments, work in continuous state space and run in real-time, we propose to use an approach, the Continuous Real-time POMCP (CR-POMCP), that does Monte-Carlo simulations to learn a policy. The method performed correctly in simulation, but on the real robot it resulted in slow zigzag movements. Therefore, a new method is proposed, which uses the highest probable locations, according to its probability map (belief). Since the belief propagation of the POMCP resembles how a Particle Filter (PF) works, we also propose a method that uses a PF to maintain the belief. The PF method has to handle lack of observations, therefore, we introduce a special weight function. Both belief update methods take into account sensor and actuator noise, false negative detections, false positive detections (for a short time) and dynamic obstacles. Finally, a cooperative distributed multi-agent method is presented, it makes use of the previous belief update functions, but it uses all the agents' observations. Next, the search locations are assigned by exploring the working environment, taking into account: the belief, the distance to the search location and if another agent already will search close to it. Summarizing, the main contributions of this thesis are several methods to search and track a person in an urban environment with one or more mobile service robots. All these methods have been shown to work through a set of simulations and real-life experiments. La cerca i el seguiment de persones són comportaments importants per un robot mòbil de servei per poder assistir, trobar i ajudar als humans, i en general, per localitzar objectes, animals o vianants. Tot i que la cerca és fàcil per als humans, no ho és per a un robot, ja que requereix exploració, maneig de soroll de sensors, fer front als obstacles dinàmics, i la coordinació en el cas de múltiples agents. En aquesta tesi presentem diferents mètodes per a buscar i seguir a una persona en un entorn urbà. Tots els mètodes han estat provats extensivament en simulació i després en el món real, utilitzant dos robots mòbils de servei, la Tibi i en Dabo. Els robots utilitzen sensors làser per a navegar, detectar obstacles i detectar les cames de les persones. Atès que aquest treball es centra en mètodes de cerca i seguiment, s’han usat els mètodes existents per a la navegació del robot, la detecció i el reconeixement de persones. Primerament, s’han fet proves amb el conegut joc del fet i amagar, on el robot aprèn a trobar l’amagador. S’ha fet servir el model Mixed Observable Markov Decision Process (MOMDP), on la posició del trobador és completament visible i la posició de l’amagador és parcialment visible. Degut a que la complexitat computacional depèn del nombre d’estats, es proposa un mètode jeràrquic en línia que redueix l’espai d’estats, tot agrupant-los. Tot i que el mètode va funcionar correctament en simulació, en els experiments reals els resultats no van ser satisfactoris, i el càlcul de la política no va ser prou ràpid com per treballar en temps real. Per tal de fer front a entorns de més superfície, treballar en l’espai continu i executar en temps real, proposem un nou enfocament, el Continuous Real-time POMCP (CRPOMCP), que fa simulacions de Monte-Carlo per aprendre una política. El mètode va funcionar correctament en l’entorn simulat, però a l’entorn real el robot realitzava lents moviments en zig-zag. Per tant, es proposa un mètode nou, que utilitza els llocs amb més alta probabilitat, d’acord amb el seu mapa de probabilitats (belief). Atès que la propagació de les probabilitats en el POMCP és similar al funcionament d’un filtre de partícules (PF), proposem, a més, un mètode que utilitza un PF per mantenir el belief. El mètode de PF ha de manejar la manca d’observacions. Per tant, introduïm una funció del pes especial. Tots dos mètodes de creences tenen en compte el soroll dels sensors i actuadors, la detecció de falsos negatius i positius (per a un curt període de temps) i els obstacles dinàmics. Finalment, es presenta un mètode multi-agent distribuït cooperatiu, que fa ús de les anteriors funcions d’actualització de la creença (belief), i a més utilitza totes les observacions dels agents. En el proper pas, les ubicacions de cerca s’assignen mitjançant l’exploració de l’entorn de treball, tenint en compte la creença, la distància a la ubicació de cerca i si un altre agent ja buscarà a prop d’ella. En resum, les principals contribucions d’aquesta tesi són diversos mètodes per a la cerca i seguiment d’una persona en un entorn urbà amb un o més robots de serveis mòbils. Tots aquests mètodes han demostrat que funcionen a través d’un conjunt de simulacions i experiments en la entorn real dinàmics. La búsqueda y el seguimiento de personas son comportamientos importantes para un robot móvil de servicio para poder asistir, buscar y ayudar a la gente, y en general, para localizar un objeto, animal o humano. Aunque la búsqueda puede parecer muy fácil para los humanos, para los robots no lo es, ya que requiere explorar, manejar ruido de sensores, enfrentarse con obstáculos dinámicos y la coordinación en el caso de haber más agentes. En esta tesis, presentamos diferentes métodos para buscar y seguir a una persona en un entorno urbano. Todos los métodos han sido probados excesivamente en simulación y en experimentos reales, usando uno o dos robots móviles de servicio, Tibi y Dabo. Los robots tienen localizadores láser, los cuales se usan para navegar, detectar obstáculos y detectar piernas. Ya que el principal enfoque en este trabajo son los métodes de buscar-y-seguir, utilizamos métodos existentes para la navigación del robot, la detección de personas y el reconecimiento del humano. Las primeras pruebas se hicieron con el juego de escondite, en el cual el robot aprende a buscar el ocultador. Concretamente, usamos un modelo MOMDP, donde la posición del buscador es completamente observable y la posición del ocultador lo es parcialmente. Como la complejidad computacional depende del número de estados, proponemos un método en línea jerárquica, que reduce el espacio de los estados agrupándolos. Aunque el método funcionó correctamente en simulación, en los experimentos reales los resultados no fueron satisfechos y el cálculo de la política en línea no fue suficientemente rápido. Para poder trabajar en áreas largas, espacio continuo y en línea, proponemos un enfoque, el Continuous Real-time POMCP (CR-POMCP), que hace simulaciones de Monte-Carlo para aprender la política. El método funcionó correctamente en simulación, pero con el robot real resultaba en movimientos lentos en forma zigzag. Por eso, otro método fue propuesto, el cual usa las posiciones con la probabilidad más alta según el mapa de probabilidades (belief). Como la propagación del belief se parece mucho a como funciona un PF, proponemos un método que usa un PF para mantener el belief. El método PF tiene que manejar la falta de observaciones y por eso introducimos una función del peso especial. Los dos métodos para actualizar el belief tienen en cuenta el ruido de los sensores y actuadores, falsos negativos y positivos (durante un periodo corto de tiempo) y obstáculos dinámicos. Finalmente, se presenta un método cooperativo y distribuido para multi agentes, que usa el mapa de probabilidades (belief), y éste usa todas las observaciones. Después, se asigna las posiciones de búsqueda a los agentes, explorando el entorno, y teniendo en cuenta: la probabilidad de la posición, la distancia a la posición y si otro agente ya buscará cerca del lugar. En resumen, la contribución más importante de esta tesis son diferentes métodos de búsqueda y seguimiento de una persona en un entorno urbano con uno o más robots de servicio móviles. Todos estos métodos fueron comprobados en simulación y en experimentación real. Zoeken en traceren zijn belangrijke manieren om een mobiele servicerobot te helpen mensen, om te zoeken en te redden en, in het algemeen, om mobiele objecten, dieren of mensen te lokaliseren. En hoewel zoeken evident is voor de mens, is dit niet het geval voor robots. Het vereist namelijk verschillende vaardigeheden zoals verkennen, omgaan met ruis in de sensoren en dynamische obstakels en coördinatie in het geval van meerdere agenten. In deze thesis presenteren we verschillende methoden om een