Tecnologie Ottiche per l’interazione uomo-macchina
Claudia Ferraris, Roberto Nerino, Antonio Chimienti, Giuseppe Pettiti
Lab New ICT Trends
Campus Luigi Einaudi Torino
12 Marzo 2019
Hand & Body Tracking
(Tele) Monitoraggio e (Tele) Riabilitazione
Interfacce uomo-macchina (HMI – HCI)
Estrazione di informazioni da immagini e video Sviluppo di “sistemi di visione” adeguati allo specifico contesto applicativo, per l’acquisizione, l’elaborazione e l’analisi
Algoritmi di visione e calibrazione multi-camera
Misurazioni “no-contact” e Modeling 3D
Riconoscimento e Tracking 3D Real-Time di oggetti in movimento
Tecnologie Ottiche per l’interazione uomo-macchina
COMPETENZE
4/56
http://www.ehw.ieiit.cnr.it/?q=computervision
5
Virtual Reality in the Assessment and Rehabilitation of Parkinson’s Disease and Post Stroke
Nuove Tecnologie per il tele-monitoraggio della malattia di Parkinson
NINFA – iNtelligent Integrated Network For Aged people
Comando Remoto di esoscheletro per Tele-Riabilitazione della mano
Riconoscimento della Lingua Italiana dei Segni per comando remoto di mano robotica
Riabilitazione post operatoria del legamento crociato del ginocchio
Soluzioni ICT per la tele-riabilitazione di disabilità cognitive e motorie originate da patologie neurologiche
Tecnologie Ottiche per l’interazione uomo-macchina
PROGETTI E COLLABORAZIONI
5/56
DEFINIZIONE
Tecnologie Ottiche per l’interazione uomo-macchina
… è una disciplina che si occupa di progettazione, valutazione, implementazione di sistemi informatici interattivi per uso umano e con lo studio dei principali fenomeni ad essi connessi… ACM SIGCHI Curricula for Human-Computer Interaction, T.T. Hewett et al. (1992)
… è un processo di comunicazione tra utenti e computer (o tecnologie interattive in generale)… 3D User Interfaces: Theory and Practice, J.J. La Viola et al. (2017)
… sviluppare o migliorare la sicurezza, l’utilità, l’efficacia, l’efficienza e l’usabilità di sistemi che includono computer…
Interacting with computers, J. Barlow et al. (1989)
7/56
8
Persona che cerca di
«giungere» ad un obiettivo
Sistema che «esegue»
operazioni/ azioni/app
Dialogo bidirezionale tra mondo «human»
e «computer»
Un «computer» è poco utile senza una modalità di utilizzo adeguato da parte dell’uomo:
ATTORI
Tecnologie Ottiche per l’interazione uomo-macchina 8/56
9
A chi si rivolge? (giovani vs anziani, esperti vs novizi,
utente generico vs specializzato)
Quali funzionalità fornite? (produttività vs servizi)
CARATTERISTICHE
Tecnologie Ottiche per l’interazione uomo-macchina
E’ easy-to-use? (risponde alle necessità/esigenze
dell’utilizzatore)
Accessibile a qualsiasi utente? («deficit» motorio, cognitivo, sensoriale)
9/56
Caratteristiche di un sistema (usability):
Easy to Remember how to Use
Easy to Learn how to Use
Effective to Use
Efficient to Use
Safe to Use
Enjoyable To Use
10
Mouse Tastiera
Controller Joystick
Joypad
Schermo
Altoparlanti / cuffie
Reagisce agli input Produce gli output
Centrata su funzioni e processi
Poco uso di grafica
Curva di apprendimento alta
Centrata sull’utente
Grafica e Ambienti virtuali
Interazione più semplice ed intuitiva
Centrata su utente e informazione
Più tecnologie sullo stesso dispositivo
Curve di apprendimento minime
Elevata mobilità e produttività
Grandi quantità di dati
Multi-touch
Touch screen Motion capture
Natural Interaction
Robot
Avatar
Attuatori
EVOLUZIONE
Tecnologie Ottiche per l’interazione uomo-macchina
Deep Learning
Intelligenza artificiale
IoT
10/56
11
Metodi di Input e Output che sfruttano le capacità di «comunicazione motorio-sensoriale» dell’uomo
Acustici (Suono, parlato)
Tattili (Pressione, forza)
Movimento (IMU, Smart Textile)
Ottici (camere RGB-Depth)
Bionici (EEG, EMG, EOG)
Biometrici (impronte, occhio, riconoscimento facciale)
DAL PRESENTE AL FUTURO: INPUT
Tecnologie Ottiche per l’interazione uomo-macchina 11/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
http://developerblog.myo.com/myocraft-emg-in-the-bluetooth-protocol/ https://engineeringsport.co.uk/2011/05/09/ki
nect-biomechanics-part-1/
EEG Sensor (image) https://www.emotiv.com/store/
RGB-Depth camera (image) Kinect for Windows
https://www.stt-systems.com/products/inertial-motion-capture/isen/
https://pressureprofile.com/finger-tps
Hey Siri (image)
12
Controllo gestuale dispositivi e Robot
Avatar in ambienti AR/VR
Visione 3D in AR/VR (visori)
Parlato sintetico
Sensazione di forza (haptics)
Valutazione stato fisico - emotivo
Display autostereoscopici
Controllo di accesso Biometrico
DAL PRESENTE AL FUTURO: OUTPUT
Tecnologie Ottiche per l’interazione uomo-macchina 12/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
Riconoscimento emozioni https://azure.microsoft.com/en-us/services/cognitive-services/
Haptics https://www.quanser.com/products/omni-bundle/
Controllo Robot https://www.youtube.com/watch?v=ggLge1Rw2z4
Visori https://www.oculus.com
13
DAL PRESENTE AL FUTURO: ESEMPI
Tecnologie Ottiche per l’interazione uomo-macchina
A Wheelchair Control System Using Human-Machine Interaction: Single-Modal and Multimodal Approaches – M.K. Shahin et al (2017)
Settore Salute / Assistenza • Controllo automatico di sedia a rotelle • EEG (cattura dei segnali del cervello)
Smart Eye automotive solution Settore Automotive • Camera IR / Eye Tracking • Sicurezza alla guida
Settore Industriale • Controllo macchinario / impianto • Touch-screen, mouse, AR
American Industrial System Inc., CKLB Radio
13/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT.
Gesti, parole, espressioni variano per parametri fisici continui pur avendo stessa semantica
Riconoscimento degli input su base probabilistica
Caratterizzazione degli input con opportuni descrittori (features) Es. relazioni di distanza tra punti 3D della scansione mano
Creazione database di input con coppie «descrittori - gesto»
Ricerca nel database per riconoscere nuove istanze di posa della mano
NUOVE METODOLOGIE
Tecnologie Ottiche per l’interazione uomo-macchina 14/56
15
Separazione classi (spazio descrittori- classi) con algoritmi di Machine Learning
Database di coppie pre-classificate «istanze (gesti) - descrittori»
Nuova istanza non classificata
Estrazione descrittori e classificazione «probabilistica» della regione di appartenenza della nuova istanza (regione stabilita nella fase di learning)
NUOVE METODOLOGIE
Tecnologie Ottiche per l’interazione uomo-macchina 15/56
16
Nuove problematiche da affrontare
NUOVE PROBLEMATICHE
Tecnologie Ottiche per l’interazione uomo-macchina 16/56
18
TRACKING RECOGNITION
NUOVI METODI DI COMUNICAZIONE
Tecnologie Ottiche per l’interazione uomo-macchina 18/56
Immagine RGB ogni pixel è un colore
Immagine DEPTH ogni pixel è una distanza
Ricostruzione 3D Ricostruzione 3D + colore
RGB colore
DEPTH profondità
RGB-DEPTH colore e profondità
doppia camera in un solo dispositivo fisico
TECNOLOGIE OTTICHE
Tecnologie Ottiche per l’interazione uomo-macchina 19/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT
HAND TRACKING
BODY TRACKING
o Riconoscono «oggetti» e/o ricostruiscono il movimento dalle immagini acquisite
solo RGB, solo DEPTH o uso combinato di RGB e DEPTH
o Tecniche di Computer Vision e/o Machine Learning
o Real-Time
o Algoritmi proprietari (SDK dei produttori di camere) o dedicati (sviluppati ad-hoc)
Buona robustezza in condizioni statiche Problema complesso in condizioni dinamiche
FACE RECOGNITION
TRACKING E RECOGNITION
Tecnologie Ottiche per l’interazione uomo-macchina 20/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE, RECUPERATE IN RETE, POSSONO ESSERE SOGGETTE A COPYRIGHT.
Basso costo nascono per gaming
Non invasivi dispositivi no-contact
Facili da usare No calibrazione
Portabili @home Connessione USB
Flessibilità adatti a diverse
applicazioni
Requisiti di funzionamento distanza minima e massima, campo
visivo, luce
Setup ottimale per applicazione frontale, laterale, dall’alto, distanza
Occlusioni Movimento/oggetto «visibile»
DISPOSITIVI OTTICI
Tecnologie Ottiche per l’interazione uomo-macchina 21/56
https://www.leapmotion.com/
https://realsense.intel.com/
https://orbbec3d.com/
https://developer.microsoft.com/it-it/windows/kinect
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE ) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
RGB e Depth Proiettore IR per stima distanza Range: 40 cm – 450 cm 3D Body Model (Body Tracking /
Pose Recognition) 3D Face Model (Face Tracking /
Face Recognition) Microfoni (Speech Recognition)
MICROSOFT KINECT
Tecnologie Ottiche per l’interazione uomo-macchina
Face Tracking / Face Reconstruction
Body Tracking / Pose Recognition
22/56
https://msdn.microsoft.com/en-us/library/jj131033.aspx
http://www.i-programmer.info/news/194-kinect/4253-kinect-sdk-15-now-with-face-tracking.html
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE ) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
https://brekel.com/kinect-2-details-specifications-observations/
(RGB e DEPTH disponibili)
MICROSOFT KINECT: APPLICAZIONI
Tecnologie Ottiche per l’interazione uomo-macchina 23/56
https://www.youtube.com/watch?v=TLnHvvPzYsE
https://www.youtube.com/watch?v=EOva-nVWr6Q
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
3D Hand Model (Hand Tracking) 2 sensori ottici e 3 LED IR Usa modello anatomico della mano
(segue i dati dei sensori)
Tracking «predittivo» quando non completamente visibile (usa parte
visibile ed «osservazioni» passate per stimare la posizione più probabile delle parti nascoste: indice di confidenza per qualità della stima)
Tracking di entrambe le mani contemporaneamente
LEAP MOTION
Tecnologie Ottiche per l’interazione uomo-macchina
24/56
https://developer.leapmotion.com/documentation/csharp/devguide/Leap_Images.html
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE ) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
(dispositivo «chiuso»: no RGB o DEPTH ma solo modello della mano)
LEAP MOTION: APPLICAZIONI
Tecnologie Ottiche per l’interazione uomo-macchina 25/56
https://www.youtube.com/watch?v=0s5II7ZayAg https://www.youtube.com/watch?v=0s5II7ZayAg
https://www.youtube.com/watch?v=rnlCGw-0R8g https://www.youtube.com/watch?v=ojiCkrR6RxI
LE IMMAGINI SONO STATE SOSTITUITE CON I LINK AI VIDEO
Torino 23 /05/ 2018 26 Tecnologie Ottiche per l’interazione uomo-macchina
INTEL REAL SENSE
Tecnologie Ottiche per l’interazione uomo-macchina
RGB e Depth Proiettore IR per stima distanza Range: 20 cm – 120 cm 3D Hand Model (Hand/Fingers
Tracking / Gesture Recognition) 3D Face Model (Face Tracking /
Face Recognition) Microfoni (Speech Recognition)
Software di terze parti
26/56
https://software.intel.com/en-us/articles/introducing-the-intel-realsense-camera-sr300
https://software.intel.com/en-us/blogs/realsense-tips
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE ) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
(RGB e DEPTH disponibili)
INTEL REAL SENSE: APPLICAZIONI
Tecnologie Ottiche per l’interazione uomo-macchina Tecnologie Ottiche per l’interazione uomo-macchina 27/56
https://realsenseapp.intel.com/apps/wizard-of-oz/ LE IMMAGINI SONO STATE SOSTITUITE CON I LINK AI VIDEO
https://realsenseapp.intel.com/apps/posture-monitor/ https://www.youtube.com/watch?v=7Th1zUE4-Vo
Torino 23 /05/ 2018 Tecnologie Ottiche per l’interazione uomo-macchina
ORBBEC
Tecnologie Ottiche per l’interazione uomo-macchina
RGB e Depth Proiettore IR per stima distanza Range: 60 cm – 800 cm 3D Body Model (Body Tracking /
Pose Recognition) Microfoni (Speech Recognition)
Body Tracking / Pose Recognition
28/56
https://orbbec3d.com/
https://orbbec3d.com/bodytracking-sdk/
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE ) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE
(RGB e DEPTH disponibili)
ORBBEC: APPLICAZIONI
Tecnologie Ottiche per l’interazione uomo-macchina Tecnologie Ottiche per l’interazione uomo-macchina 29/56
https://vimeo.com/151951022
https://vimeo.com/151823496
https://orbbec3d.com/healthcare-2/ https://orbbec3d.com/robotics-3/
LE IMMAGINI SONO STATE SOSTITUITE CON I LINK AI VIDEO
SOFTWARE DI TERZE PARTI
Tecnologie Ottiche per l’interazione uomo-macchina Tecnologie Ottiche per l’interazione uomo-macchina
Nuove società sviluppano e distribuiscono algoritmi di tracking dedicati Compatibilità con diversi dispositivi (partner dei produttori) Multipiattaforma Uso su licenza (nuovi profitti attraverso abbonamenti) Permettono di concentrarsi solo sullo sviluppo di applicazioni
30/56
LE IMMAGINI SONO STATE SOSTITUITE CON I LINK AI VIDEO
https://nuitrack.com/
https://www.youtube.com/watch?v=jh9kgFke3wI
https://gestoos.com/
https://www.youtube.com/channel/UCU9dx_MgFDYMgSyuVC2r8lg
https://eyeware.tech/
https://eyeware.tech/gazesense/
https://sightcorp.com/
https://www.youtube.com/watch?v=jMD1WDbCXhs
Hand e Body
«Azione» legata alla valutazione
del movimento
Tracking Movimenti 3D
CASI DI STUDIO
Tecnologie Ottiche per l’interazione uomo-macchina
Dispositivi RGB-Depth Computer Vision e Machine Learning
32/56
Algoritmi Innovativi per
Hand Tracking
Misure Cinematiche Accurate
Valutazione Task Motori Parkinson Real-Time e Bassa Invasività Portabile a casa del paziente
Finger Tapping Apertura - Chiusura
Pronazione - Supinazione
HAND TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina 33/56
o Algoritmo di Tracking dedicato basato su tecniche di Computer Vision per il
riconoscimento blob di colore
o Integra informazioni RGB e DEPTH maggior robustezza
o Sufficienti alla cattura dei movimenti semplificazione del problema
HAND TRACKING CON AUSILIO
Tecnologie Ottiche per l’interazione uomo-macchina
Ferraris C. et al., 2019 «Assessment of Parkinson’s Disease at-home Using a Natural Interface Based System» – Ambient Assisted Living Italian Forum 2018
34/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
Traiettoria 3D base per valutazione oggettiva
Algoritmo tracking 3D con metodo CV
(segmentazione colori)
Movimenti della mano (RGB e DEPTH)
HAND TRACKING CON AUSILIO
Ferraris C. et al., 2018 «A self-managed system for automated assessmente of UPDRS upper limb tasks in Parkinson’s Disease» – Sensors
Tecnologie Ottiche per l’interazione uomo-macchina
Più robusto rispetto a tracker commerciali
35/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
o Algoritmo di Tracking dedicato basato su tecniche di apprendimento per il
riconoscimento della posa dall’aspetto dell’immagine osservata
o Fasi di addestramento e classificazione predittiva delle «zone» della mano
elevata complessità
o Solo informazione DEPTH ricostruzione 3D della mano
Classificazione
Classificatore
Addestramento
Classificatore
Classificazione predittiva veloce Recupero del tracking
Addestramento costoso (tempo e risorse)
Malfunzionamento con pose impreviste
HAND TRACKING A MANO NUDA
Tecnologie Ottiche per l’interazione uomo-macchina 36/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
Classificazione Clustering (articolazioni e
modello scheletrico)
Traiettoria 3D base per valutazione oggettiva
Algoritmi tracking 3D con metodi di CV e ML
Movimenti della mano (solo DEPTH)
HAND TRACKING A MANO NUDA
Tecnologie Ottiche per l’interazione uomo-macchina 37/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
Mano robotica (riproduzione)
Algoritmo di Hand Tracking con classificatore addestrato (approccio «mano nuda»)
Gesti LIS (operatore)
APPLICAZIONI DI HAND TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina
collaborazione con DAUIN – Politecnico di Torino
38/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT. OVE POSSIBILE SONO STATI INSERITI I LINK DISPONIBILI SULLA RETE
Esoscheletro (riproduzione)
Movimenti Pinch (operatore)
Algoritmo di Hand Tracking con classificatore addestrato (approccio «mano nuda»)
APPLICAZIONI DI HAND TRACKING
collaborazione con Scuola Superiore Sant’Anna
Tecnologie Ottiche per l’interazione uomo-macchina
39/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
Analisi del movimento Segnalazione anomalie
Algoritmo di Hand Tracking con guanto colorato (approccio «con ausilio»)
Movimenti FT-OC-PS
(paziente)
Tecnologie Ottiche per l’interazione uomo-macchina
APPLICAZIONI DI HAND TRACKING
U.O. di Neurologia e Neuroriabilitazione – Ospedale San Giuseppe (VB) – Istituto Auxologico Italiano
40/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
o Fatica: quando si presenta, intensità o Alterazioni: quando e come si presentano o Anomalie tipiche: esitazioni, interruzioni,
movimenti parziali
APPLICAZIONI DI HAND TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina 41/56
G.Albani, C.Ferraris, R.Nerino, et all «From kinematic measurements of motor symptoms to the
Home Monitoring of Parkinson’s Disease: the challenge», poster al convegno «AAT-AD/PD focus meeting 2018», Torino, 15-18 marzo 2018
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
o Interazione gestuale e/o vocale
o Oggetti in realtà aumentata
o Aiuto audio, video, testo
o Personalizzazione sull’utente
o Limitare i movimenti richiesti (disposizione oggetti)
o Garantire buona visibilità (dimensioni e colori oggetti)
o Introdurre fasi di riposo (insorgere dell’ansia)
APPLICAZIONI PER IL PARKINSON
Tecnologie Ottiche per l’interazione uomo-macchina 42/56
Cattura del movimento ACCURATA Valutazione OGGETTIVA ed AUTOMATICA della prestazione motoria
FACILE da usare
APPLICAZIONI PER IL PARKINSON
Tecnologie Ottiche per l’interazione uomo-macchina 43/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
La tecnologia a casa del paziente
meno disagi, ambiente familiare, tranquillità emotiva e psicologica, «in
contatto» con il medico
Intervento rapido e mirato per «alterazioni» funzionali (WRN) durante la giornata (fluttuazioni) e nel medio-lungo
periodo
APPLICAZIONI PER IL PARKINSON
Tecnologie Ottiche per l’interazione uomo-macchina 44/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
• 65 anni (5 di malattia) • DX peggiore di SX • FT: valutazione UPDRS 0–1 • OC: valutazione UPDRS 1–2 • PS: valutazione UPDRS 2-3 • poco fluttuante
Tecnologie Ottiche per l’interazione uomo-macchina
APPLICAZIONI PER IL PARKINSON
PS DX: escursione normale (ore 21.23)
PS DX: escursione normale (ore 21.00)
PS DX: escursione ridotta (ore 21.25)
45/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
Valutazione della funzionalità motorio-cognitiva attraverso il gioco
Analisi Motorio-Cognitiva Warning anomalie
Movimenti Mano
o Far «accettare» la tecnologia o Rendere «semplice» o Rendere «motivante»
APPLICAZIONI PER IL PARKINSON
Tecnologie Ottiche per l’interazione uomo-macchina
Algoritmo di Hand Tracking con guanto colorato (approccio «con ausilio»)
46/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
STATISTICHE LIVELLO MANO PERSA(#) : 0 TEMPO(s) : 12.06 DISTANZA (cm) : 89.3 DEPTH (cm) : 59.8
Tecnologie Ottiche per l’interazione uomo-macchina
APPLICAZIONI PER IL PARKINSON
47/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
o Algoritmo di Tracking proprietario o Task Motori arti inferiori, postura e instabilità posturale (Parkinson) o Riabilitazione post-operatoria del ginocchio
BODY TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina 48/56
https://msdn.microsoft.com/en-us/library/microsoft.kinect.jointtype.aspx
LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE) POSSONO ESSERE SOGGETTE A COPYRIGHT. OVE POSSIBILE SONO STATI INSERITI I LINK DISPONIBILI SULLA RETE
BODY TRACKING: TIPI DI HMI
Tecnologie Ottiche per l’interazione uomo-macchina
o Realtà Aumentata o Interazione con parti del
corpo su oggetti interattivi
Ferraris C. et al., 2019 «Feasibility of Home-Based Automated Assessment of Postural Instability and Lower Limb Impairments in Parkinson’s Disease» – Sensors
o Riconoscimento Pose
o Rilevazione di eventi o pattern
Ferraris C. et al., 2019 «A step forward an accurate telemonitoring of Parkinson’s Disease» – Journal on Parkinson’s Disease (submitted)
49/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
SIT-TO-STAND
Analisi Motoria Warning Anomalie
Movimenti «dannosi» Valutazione oggettiva correlata
alla valutazione clinica
Body Tracking di segmenti corporei (RGB, DEPTH, SKELETON)
Movimento corpo
APPLICAZIONI DI BODY TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina 50/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT
Analisi Posturale Warning Anomalie
Detection Variazione
Movimento del corpo
Tracking di segmenti corporei (DEPTH, SKELETON)
APPLICAZIONI DI BODY TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina 51/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT
Valutazione recupero della postura dopo forza di sbilanciamento
APPLICAZIONI DI BODY TRACKING
Analisi Posturale Warning Anomalie Oscillazioni CoM
Movimento del corpo
Tracking di segmenti corporei (DEPTH, SKELETON)
Tecnologie Ottiche per l’interazione uomo-macchina 52/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.
APPLICAZIONI DI BODY TRACKING
Tecnologie Ottiche per l’interazione uomo-macchina 53/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT
APPLICAZIONI DI SPEECH RECOGNITION
Tecnologie Ottiche per l’interazione uomo-macchina 54/56
LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT
Fondamentale nello sviluppo di un qualsiasi sistema al servizio dell’uomo senza un metodo di interazione un sistema è totalmente inutile
Rende il sistema facilmente usabile pensata per gli «utenti» finali (chiarezza e semplicità d’uso)
come il sistema deve «rispondere» in ogni situazione (guidare l’utente nelle scelte, non
metterlo in condizione di non «sapere che fare»)
Orientata ad un nuovo modello di interazione naturale più intuitiva e coinvolgente particolarmente adatta a soggetti con «deficit», patologici o poco pratici campo di applicazione più ampio (non solo web interfaces)
CONCLUSIONI
Tecnologie Ottiche per l’interazione uomo-macchina 56/56