18
Introduction aux Introduction aux expressions faciales expressions faciales Pr Pr é é lude au projet MONNET lude au projet MONNET France France Lalibert Lalibert é é 14 mars 2005 14 mars 2005

Expressions Faciales

Embed Size (px)

Citation preview

Page 1: Expressions Faciales

Introduction aux Introduction aux expressions faciales expressions faciales ––

PrPréélude au projet MONNETlude au projet MONNET

France France LalibertLalibert éé14 mars 200514 mars 2005

Page 2: Expressions Faciales

2

Tous droits réservés © 2005 CRIM

PlanPlan• Qu’est-ce qu’une expression faciale?• Pourquoi les expressions faciales existent-elles?• Pourquoi s’y intéresser?• Mesure des expressions faciales• Expression faciale ≠ émotion• Différence entre reconnaissance et interprétation• Système d’encodage des actions faciales• Expression spontanée versus expression posée• Méthodes et systèmes d’analyse automatique

Page 3: Expressions Faciales

3

Tous droits réservés © 2005 CRIM

QuQu’’estest--cece ququ’’uneune expression expression facialefaciale??• Changement dans le visage,

perceptible visuellement, dû àl’activation (volontaire ou non) de l’un ou de plusieurs des 44 muscles composant le visage.

• 250000 expressions possibles

Page 4: Expressions Faciales

4

Tous droits réservés © 2005 CRIM

PourquoiPourquoi les expressions les expressions facialesfaciales existentexistent--elleselles??

• Trois points de vue différents– Les émotions sont au centre de l’explication des expressions

faciales• Sélection naturelle ⇒ 7 émotions de base ⇒ 7 expressions faciales

universelles (colère, dégoût, joie, mépris, peur, surprise, tristesse)• Les étiquettes pourraient être remises en question car elles

dépendent du langage et de la culture– Les expressions faciales sont des signaux de conversation qui

dépendent des intentions de l’émetteur, du comportement durécepteur et du contexte de l’interaction, non des émotions.

• Hausser les sourcils ↔ incrédulité, froncer les sourcils ↔incompréhension, hausser le menton ↔ ignorance

– Les expressions faciales sont des activateurs et des régulateursd’émotion dû à la plasticité du cerveau

• Changent la température de l’hypothalamus pour faciliter ou inhiberla production de neurotransmetteurs reliés aux émotions

Page 5: Expressions Faciales

5

Tous droits réservés © 2005 CRIM

Pourquoi sPourquoi s’’y inty intééresser?resser?• Indicateur de l’activité émotionnelle moins intrusif que d’autres méthodes,

utilisé en recherche comportementale.• Enseignement à distance (transmission au professeur de l’état des

étudiants sous forme d’information de haut niveau).• Détection de mensonges.

• Interface personne-système (jeux, bureautique, logiciels d’apprentissage)

• Système de mesure objective ou l’interprétation de l’observateur n’entre pas en ligne de compte.

• Création d’avatars réalistes (mouvements des muscles sous-jacents).

• Dispositif dans les voitures qui avertit le conducteur en cas de perte de vigilance.

• Dispositif dans les avions (information supplémentaire pour la boîte noire).

• Reconnaissance de visages invariante à l’expression

Page 6: Expressions Faciales

6

Tous droits réservés © 2005 CRIM

Mesure des expressions Mesure des expressions facialesfaciales• Contraction des muscles : déformation non-

rigide temporaire (0.25-5s) des structures faciales (sourcils, paupières, nez, lèvres, texture de la peau)

• Terminologie– Position– Intensité (plus faible pour expression spontanée)– Dynamique (attaque, maintien, relaxation)

• Structures faciales permanentes et transitoires.

Difficile de déterminer l’expression à partird’une image fixe, surtout pour les personnesd’un certain âge.

Page 7: Expressions Faciales

7

Tous droits réservés © 2005 CRIM

Expression faciale Expression faciale ≠≠ éémotionmotion

Émotions

Voix Posture

Gestes

Direction du regardExpressions faciales

Plusieurs facteursExpressionsfaciales

Émotion Réflexion

État d’espritActivités

physiologiques

Besoins biologiquesDouleur

Fatigue

Communicationnon-verbale

Émotion simulée Clin d’oeilFroncement des sourcils

Une Une Une Une éééémotion peut causermotion peut causermotion peut causermotion peut causerune expression faciale ou non etune expression faciale ou non etune expression faciale ou non etune expression faciale ou non etune expression faciale peut être causune expression faciale peut être causune expression faciale peut être causune expression faciale peut être causééééeeeepar une par une par une par une éééémotion ou non.motion ou non.motion ou non.motion ou non.

Page 8: Expressions Faciales

8

Tous droits réservés © 2005 CRIM

Reconnaissance et interprReconnaissance et interpréétation tation des expressions facialesdes expressions faciales

• Reconnaissance des expressions faciales : classement des déformations des structures faciales en classes abstraites basé sur l’information visuelle

• Interprétation des expressions faciales : lien avec les émotions de base (utilise l’information contextuelle)

Page 9: Expressions Faciales

9

Tous droits réservés © 2005 CRIM

SystSystèème dme d’’encodage des encodage des actions faciales (FACS)actions faciales (FACS)

2

1 4

ouvrir bouche25

hausser sourcil int.1

hausser sourcil ext.2

hausser menton17

baisser coins lèvres15

bomber joues13

hausser coins lèvres12

creuser ride nasale11

hausser lèvre sup.10

plisser nez9

hausser joues6

hausser paupière sup.5

presser lèvres24

serrer lèvres23

étirer lèvres20

baisser sourcil4

4

5

6

9

10

11

12

12

13

1517

20

23, 24

25

© 2000 A Human Face

Page 10: Expressions Faciales

10

Tous droits réservés © 2005 CRIM

SystSystèème dme d’’encodage des encodage des actions faciales (FACS)actions faciales (FACS)

1+4+11+15+17tristesse

1+2+5+25surprise

1+2+4+5+20+25peur

6+10+11+12+13+25+37

joie

9+10+17+25dégoût

4+5+17+23+24colère

mépris 10+12+14 unilatéral

Page 11: Expressions Faciales

11

Tous droits réservés © 2005 CRIM

dégoût

Mouvements faciaux globauxMouvements faciaux globaux

Bassili 1979Essa 1994 (images)

colère joie peur surprise tristesse

Page 12: Expressions Faciales

12

Tous droits réservés © 2005 CRIM

Expression Expression spontanspontanééee versus versus expression expression posposééee• Pour différencier un sourire authentique d’un sourire social on regarde …

les yeux!

Sourire de Duchenne (UA 6)Neurologiste Français 19 es

Sourire “Pan American”

Ondelettesde Gabor

“Support VectorMachines”

Images dedifférence

•Problème de classification binaire non séparablelinéairement : noyaux gaussiensou polynomiaux pour SVM.•Taux de classification : 86%

Paralysie de larégion volontaire

Paralysie de larégion émotionnelle

SourirePan American

Sourire deDuchenne

© Sinauer Associates, Inc.

Page 13: Expressions Faciales

13

Tous droits réservés © 2005 CRIM

MMééthodes dthodes d’’analyse analyse automatiqueautomatique

Détection duvisage

Normalisationdu visage

Extraction desstructures faciales

Extraction desdéformations

Extraction dumouvement

Méthodesglobales

Méthodeslocales

Méthodesglobales

Méthodeslocales

Basées surl’image

Basées surun modèle

Basées sur leflux optique

Basées sur un modèle de mvt

Basées sur le suivi de pts de structure

Basées sur les images de ≠≠≠≠

Basées sur un marqueur

Représentation desstructures faciales

Coeff. de proj.Param. de modèles

Classification desexpressions faciales

Reconnaissance Interprétation

Encodageen UA

Émotions

12

3 45

6

Page 14: Expressions Faciales

14

Tous droits réservés © 2005 CRIM

MMééthodes dthodes d’’analyse automatique analyse automatique ––extraction des structures facialesextraction des structures faciales

Modèle d’apparence activeLanitis 1997

2

Modèle 2D basé sur les ptsPantic 1999

3

Expression neutre requise

Filtres de Gabor1

Page 15: Expressions Faciales

15

Tous droits réservés © 2005 CRIM

MMééthodethode dd’’analyseanalyse automatiqueautomatique ––extraction des structures extraction des structures facialesfaciales

Flux optiqueLien 2000•Sensibilité au bruit

•Sensibilité à la variation d’illumination•Sensibilité à la discontinuité de mvt•Coût de calcul élevé

•Seuls les mvts possibles d’un•pt de vue physique sont considérés•Construction manuelle des modèles de visage et de tête•Coût de calcul élevé

Modèle de mvt déformable 3DDeCarlo 1996

4

5

6 Suivi de pts de structureWang 1998

Préservent latopologie locale

Servent à reconnaîtreles expressionsfaciales

Page 16: Expressions Faciales

16

Tous droits réservés © 2005 CRIM

MMééthodesthodes dd’’analyseanalyse automatiqueautomatique ––classification des structures classification des structures facialesfaciales

• Modèle de Markov caché• Réseau de neurones récurrent• Gabarits d’énergie de mouvement• Réseau de neurones feed-forward• Plus proche voisin avec mesure de distance

colère dégoût joie surprise

Page 17: Expressions Faciales

17

Tous droits réservés © 2005 CRIM

MMééthodesthodes dd’’analyseanalyse automatiqueautomatique–– systsystèèmesmes hybrideshybrides• Utilisent des algorithmes d’extraction qui mettent

l’emphase sur des structures faciales différentes1. Méthode globaled’extraction du mvt

2. Méthode localed’extraction du mvt3. Méthode locale

d’extraction des déformations

3 pts dans la 1re imagede chaque séquence

Lien 1998Fasel 2003 (image)

15 UA

Page 18: Expressions Faciales

18

Tous droits réservés © 2005 CRIM

ConclusionConclusion• Reconnaissance des expressions faciales est un problème

complexe et pour l’humain et pour la machine– Déformations non-rigides– Variations inter-personnes– Micro-expression (tentative de camouflement d’une émotion 0.06s)– Expression subtile (début d’une émotion)

• Plus facile de reconnaître l’expression– Sujet connu– Expression neutre disponible

• Beaucoup de systèmes demandent une intervention manuelle et/oùont un coût de calcul élevé.

• Reconnaître une émotion n’est pas la comprendre ou comprendrece qui l’a provoquée … sauter aux conclusions peut être pire que de ne pas reconnaître une émotion!

• http://www.emotionsrevealed.com/