Multimodal data fusion frameworks for breathing monitoring, human activity and hand gesture recognition
Wen Qi · 2020
La fusione multimodale di dati di attivita e riconoscimento dei gesti delle mani per applicazioni biomedicali e nell’ambito della salute, definita come riconoscimento medico intelligente basato sull'attivita quotidiana per le metriche fisiologiche ottenute, e un campo molto giovane che si e sviluppato negli ultimi anni. Traendo vantaggio dallo stato dell'arte nel campo del machine learning (ML) e dalle tecniche multimodali di fusione dei dati, esistono alcune metodologie standard (classificatori e strategie di apprendimento) applicate con successo nell'area dell'attivita umana e riconoscimento dei gesti delle mani per applicazioni biomedicali e nell’ambito della salute. Tuttavia, per far avanzare quest'area sono ancora necessari modelli piu specifici e robusti. Attraverso la progettazione di una struttura multimodale di fusione dei dati, questa tesi si propone tre obiettivi specifici, cioe il riconoscimento dell'attivita umana (HAR) tramite smartphone, il monitoraggio del modello di respirazione durante l'attivita quotidiana e il riconoscimento dei gesti mediante analisi del segnale di elettromiografia di superficie (sEMG). Lo scopo di questa tesi e quello di migliorare lo stato dell'arte. Viene proposto un framework di fusione di dati multimodale basato su dispositivi privi di sensori, si utilizzano e integrano diversi sensori per progettare l'attivita e il modelli di riconoscimento. In secondo luogo, per migliorare la robustezza e l'accuratezza del classificatore, sono presenti diversi approcci di apprendimento basati su deep learning (DL), apprendimento attivo, strategie di apprendimento ibrido. Infine, viene proposta una struttura di apprendimento senza supervisione combinando i dati di profondita e il sEMG per il riconoscimento dei gesti delle mani. Tutti gli esperimenti dimostrano l'efficacia delle metodologie proposte.