Analysis and classification of human actions with a multi-kinect system
Eliana Frigerio · 2013
Questa tesi descrive un'estensione innovativa degli operatori morfologici ad immagini tridimensionali rappresentate da voxel. Questi operatori morfologici vengono applicati all'analisi e alla classificazione di un database di azioni umane in un vocabolario predefinito di gesti. Il database e costituito dalle ricostruzioni volumetriche di sequenze di pose eseguite da un attore, in una scena catturata con un sistema multi-Kinect sviluppato nel nostro laboratorio (ISPG). E’ stato implementato l’intero sistema: dalla calibrazione, l’acquisizione, la pre-elaborazione e la ricostruzione del volume, fino alla estrazione scheletro topologico, la rappresentazione della superficie e la classificazione. La prima parte della nostra ricerca e dedicata alla estrazione dei dati volumetrici a partire dal sistema di acquisizione. L'implementazione di una tecnica di ricostruzione 3D, prima di qualsiasi analisi o routine di riconoscimento, consente al sistema di lavorare direttamente sui dati 3D. Problemi come dipendenze dal punto di vista e ambiguita di movimento sono intrinsecamente risolti. Si mostra come la conoscenza della mappa di profondita insieme alla corrispondente immagine a colori della scena possa migliorare notevolmente la robustezza delle stereo-corrispondenze stimate con acquisizioni ad ampia baseline. Le rappresentazioni in termini di voxel della scena acquisita, fotogramma per fotogramma, sono i dati di ingresso per qualsiasi altra analisi ed elaborazione successiva. Abbiamo esteso l’algoritmo morfologico di estrazione dello scheletro al 3D e abbiamo sviluppato un nuovo algoritmo di thinning 3D per il calcolo di un’approssimazione dello scheletro topologico curvilineo. Il nostro algoritmo fornisce buoni risultati, conserva la stessa struttura topologica, e facile da implementare e mostra robustezza al rumore. Abbiamo considerato due scenari applicativi nel contesto interazione uomo-computer: ricostruzione superficiale e riconoscimento dell’azione compiuta dall’attore. L’algoritmo morfologico di estrazione dello scheletro proposto fornisce un metodo per ricostruire la superficie del corpo dell'attore che e accurato e poco oneroso computazionalmente. Inoltre, lavorando con operatori morfologici, nessun requisito in termini di risoluzione e imposto. L'algoritmo di thinning 3D sviluppato evidenzia il movimento, incrementando la somiglianza tra sequenze che rappresentano la stessa azione, anche se eseguite da attori di diverso genere o corporatura. Estendendo il descrittore utilizzato per trovare stereo-corrispondenze robuste, abbiamo costruito descrittori di movimento invarianti rispetto alla posizione dell’attore e al suo orientamento nella scena. La classificazione ha dato ottimi risultati e i miglioramenti derivanti dall’utilizzo dell’algoritmo di thinning 3D proposto sono dimostrati dalla percentuale di classificazioni corrette.