palais des congrès Paris

7, 8 et 9 février 2012

Vous êtes dans la salle 202-203

08 février 2012

Tanguy JOUVET - Responsable d’activité EXAKISNicolas HUMANN - Référent technique EXAKISJulien ROZIER - Kinésithérapeute DE

PAR 102 - La Kinect à l'écoute des nouveaux usages métiers

Carte d’identité Exakis

InfrastructureEnvironnement utilisateur, Collaboratif, Socle et gestion du Système d’Information, Infrastructure dynamique, Support.

SécuritéGestion des identités et des accès, Sécurisation des infrastructures, Confiance numérique, Gouvernance sécurité, Tierce Maintenance Sécurité.

LogicielPortail, GED, Réseaux sociaux, Workflow métier, Planification de ressources, Mobilité, BI, Web, Tierce maintenance applicative.

Business SolutionsConseil et assistance, Intégration, Développement de solutions, Extension de l’ERP et du CRM au collaboratif et à l’e-business.

ConseilAMOA/MOA, Gestion de projets, Accompagnement au changement, Méthodologie & Agilité.

Une histoire …

L’effet Kinect L’arrivée des

interfaces naturelles abordables …

Une image …

Un constat métier : La Kinésithérapie

Des mesures nécessaires

… mais difficiles en pratique

Des exercices patients

… pas toujours bien réalisés

La genèse du projet …

La Kinésithérapie : Une histoire de bilans …

Un prérequis dans la prise en charge par la CPAMUne description de l’état orthopédique du patientUne évaluation réalisée pendant toute la durée du traitement Bilans initial, intermédiaires et final

Objectifs : Etablir un diagnostic kinésithérapique Choisir les actes et les techniques les plus

appropriés

Le bilan patient

Un peu de pratique …

Evaluation des amplitudes articulaires des membresA la base de nombreux bilans kinésithérapiques de l’appareil locomoteurOutils : Goniomètre à deux branches, inclinomètre, mesure centimétrique

Précision : 10°Reproductibilité : moyenneTemps de mesure : 10 secondes par articulationCout : entre 30€ et 150€

La goniométrie

Combinaison comportant des capteurs miniaturisés incluant un accéléromètre, un gyroscope et un magnétomètre triaxial.

Précision : 1°Reproductibilité : excellente

… mais un capteur déplacé fourni une mesure erronée

Temps de mesure : immédiat … mais 10 minutes pour mettre la combinaison et positionner les capteurs

Cout : 1000 € la combinaison

Les capteurs

Positionnement de pastilles sur le patient, utilisation de spots infra rouges et d’une caméra haute résolutionTraitement vidéo importantPas de vision en 3D

Avantages et inconvénients similaires aux capteursInapplicable dans le contexte d’un cabinet de kinésithérapie

La « motion capture »

Information immédiate de la position en 3D pour chacune des 20 jointures du squelette

Précision : 5°Reproductibilité : excellente Temps de mesure : immédiat Cout : 250€

La solution idéale ?

La kinect

En sortie, informations des 20 points de jointure : X = Position horizontale mesurée en tant que

distance en mètres depuis le capteur sur l’axe X Y = Position verticale mesurée en tant que

distance en mètres depuis le capteur sur l’axe Y Z = Distance mesurée en mètres depuis le

capteur W = Indice de confiance

Un peu de mathémathiques et de trigonométrie : Points 3D Vecteurs Angles et Distances Vitesse Accélération

Quelques calculs …

Le cahier des charges de la solution

Evaluation aux limites de chaque articulation Reproductibilité de la mesure Suivi de l’évolution dans le temps

La solution doit intégrer : Le calcul des angles des articulations Le stockage des données et leur exploitation

pour suivre l’évolution Une gestion des patients

Les bilans

Proposer pour chaque patient des exercices de rééducation Adaptés à sa pathologie … Avec un contrôle du patient sur ce qu’il fait Et la démonstration du bon geste à réaliser

La solution doit intégrer : Une gestion des protocoles de rééducation

(enchainement des exercices) La représentation du patient à l’écran Des indicateurs pour guider le patient dans

l’exercice

Les exercices

Nécessité évidente de gérer les patientsConstat : Aucune solution du marché ne répond aux

besoins Besoin d’accéder en tout lieu aux données

La solution doit intégrer : La gestion des patients dans la solution L’hébergement de certaines données dans le

Cloud Azure

La gestion des patients

Le principe en vidéo

Démo

La solution technique

Architecture

Modèle client / serveur Plusieurs Kinect dans

un cabinetStockage des données centralisées pour un modèle collaboratifPas d’interface clavier ou souris pour le patientInterface du praticien Tablette connectée Gestion des patients Suivi déporté des

exercices

Données SQL

Serveur Web IIS

KinectPatient 1

KinectPatient 2

TabletteKiné

Application Kiné Practice : Couche présentation en WPF Framework MVVM Surcouche 3D en XNA Framework 4.0 Accès aux données via WCF Data Services

Application tablette : ASP.net MVC 3 Framework 4.0 Accès aux données via WCF Data Services HTML 5

Coté développement …

Presque toutes

Reconnaissance du squelette : Traduire en 3 dimensions les points articulaires du

patientCaméra couleur : Fournir une image du patient sur ce qu’il fait

Tilt caméra : Focaliser la Kinect sur le bon endroit du corps

Microphone : La seule interface du patient pour interagir avec la

solution

Fonctionnalités utilisées de la Kinect

Se limiter aux pathologies les plus fréquentes Epaules, Genoux, Hanches, Dos, Rachis et

Equilibre

Etre capable de capter les points du corps pour chaque exercice Eviter les exercices avec une main dans le dos

Respecter la distance de captage minimale Adapter la vision de la Kinect Utiliser un tapis de course si le patient doit

courir

Adapter les limites de la Kinect

Fonctionnalités incluses

Intégration de Kinect for Windows et du SDK final Prise en compte du degré de confiance des

informations de captage Diminution de la distance Kinect/Patient Meilleure intégration de la voix

Gestion des patients hébergée sur AzureUn grand nombre de pathologies prises en compte Plus de 20 protocoles d’exercices Des bilans complets intégrant l’évolution au

cours du traitement

Ergonomie

Ecran d’exercices

Les premiers retours ….

Justin B. – 17 ansIl adore la Kinect, le coté ludique, ça lui rappelle quand il est dans son salon pour jouer, du coup il oublie l’ambiance médicale.

Catherine D. – 68 ans

Elle a trouvé agréable d’être représentée par une jeune et jolie blonde et a redemandé des exercices.

Ceux des patients …

Des retours positifs …

Faible cout matériel (250€)Ne requiert pas l’utilisation d’un marqueur ou capteur attaché au corps ou tenu dans la main

Fournit un feedback instantané à la fois au patient et au kinésithérapeuteAugmentation du niveau de motivation des patientsDifficulté de compenser lors de la réalisation des exercices

Prise en main rapide de la solutionPlateforme de développement ouverte

D’autres applications ?

SharePoint Explorer

Navigation dans un site SharePointAffichage des documents Office Parcours et zoom

Démo sur le stand Exakis

Disponibilité de la solution : Juin 2012

Merci !