Towards fully autonomous first responder drones : a perception-driven Approach
Aline Schaufelberger · reposiTUm (TU Wien) · 2026
Die Erkennung menschlicher Körperhaltungen und Gesten aus Luftbildern hat zwei grundlegende Herausforderungen: eine geringe Pixeldichte bei operativen Distanzen und geometrische Verzerrungen durch steile Kamerawinkel. Diese Arbeit evaluiert eine hierarchische Pipeline zur Klassifikation von Körperposen und Handgesten aus Drohnenaufnahmen. Die Evaluierung erfolgt systematisch über ein 3×3-Raster aus Distanzen (15 m, 30 m, 45 m) und Betrachtungswinkeln (25°, 45°, 65°). Die Pipeline trennt die Analyse grober Körperposen von der feinen Handgestenerkennung und verwendet YOLOv8 zur Personenerkennung, MediaPipe Pose zur Skelett-Extraktion und MediaPipe Hands für die Gelenkpunkte in den Händen. Drei Architekturen werden für die Klassifizierung verglichen: ein geometrisches regelbasiertes System, k-Nearest Neighbors (KNN) und ein Multi-Layer Perceptron (MLP). Das MLP erreicht eine Genauigkeit von 99,8% für die Körperposenklassifikation, KNN erreicht 98,5% für die Handgestenerkennung auf Frames mit erfolgreiche extrahierten Gelenkpunkten, jeweils mit einem 3x-Teleobjektiv. Eine geometrische Fehleranalyse zeigt, dass die meisten KNN Fehlklassifikationen (zu 44% der Fehler wird Liegen als Winken erkannt) auf die Transformation von 2D zu 3D Koordinaten von MediaPipe zurückzuführen sind, nicht auf die Klassifikatoren selbst. Empirische Tests zu den Pose Estimations zeigen Detektionsgrenzen von ca. 43 Pixeln Körperhöhe und ca. 14 Pixeln Handhöhe für die Extraktion der jeweiligen Gelenkpunkte. Weil die Handhöhe in der Weitwinkelaufnahme bei über 15 Metern unter diese Grenze fällt, versagt die Handgestenerkennung mit der Standardkamera ab dieser Distanz. Ein optischer Zoom ist für Handgestenerkennung eine zwingende Hardwareanforderung. Winkel über 45° verringern zudem die Klassifikationszuverlässigkeit durch perspektivisch Verkürzung und bilden somit eine geometrische Grenze für autonome Systeme.