Semantic keypoint representations for robotic manipulation
Thomas Lips · Ghent University Academic Bibliography (Ghent University) · 2026
Robotarmen worden vandaag vooral ingezet in fabrieken, waar de omgeving zorgvuldig is afgestemd op de robot. Willen we robots ook manipulatietaken laten uitvoeren in zorginstellingen of woningen, dan moeten ze met veel meer variatie kunnen omgaan. Elk huis is immers uniek. Robotici vertrouwen hiervoor steeds vaker op machine learning, maar dat vereist doorgaans grote hoeveelheden trainingsdata. In dit proefschrift onderzoek ik hoe robots manipulatietaken met minder data kunnen leren door gebruik te maken van *semantische keypoints*: specifieke punten op objecten, zoals de neus van een schoen of het handvat van een koffietas. Deze punten vatten op een compacte en gestructureerde manier de relevante toestand van de omgeving samen, en helpen zo robots om te gaan met de variatie in hun omgeving. Ik onderzoek hoe robots zulke keypoints kunnen leren herkennen via synthetische beelden uit computersimulaties, zodat er minder echte data manueel verzameld en gelabeld moet worden. Daarnaast onderzoek ik of recente vooruitgang in beeldgeneratie de manuele inspanning voor het bouwen van zulke simulaties verder kan verminderen. Tot slot onderzoek ik hoe robots deze keypoints kunnen gebruiken om imitation learning - het leren welke acties ze moeten ondernemen op basis van menselijke demonstraties - efficiënter te maken.