Martin bordeaux-v2 (2)

Personnalité et Personnages Virtuels

Interac2fs

Jean-‐Claude MARTIN

[email protected]

Professeur informa2que Université Paris-‐Sud / CNRS-‐LIMSI

(M. Courgeon, C. Clavel, N. Tan, C. Zakaria)

Vision Scénario fic2f illustra2f

• Recherche d’informa2on dans une bibliothèque futuriste

2

Jean-‐Claude MARTIN -‐ LIMSI/CNRS 3

Défini2ons

• Agent Conversa2onnel Animé / Embodied Conversa2onal Agent

• Interface Homme-‐Machine – Capacités communica2ves verbales et non-‐verbales inspirées de la communica2on humaine (ex: ges2on des tours de parole)

Avantages et inconvénients

• Avantages aYendus : interac2on intui2ve, ludique • Applica2ons possibles :

– enseignement, assistance, ou2l expérimental

• Inconvénients / dangers possibles

4

Concep2on et évalua2on

5

Plan de l’exposé

1. Style gestuel individuel 2. Emo2ons – Expressions faciales et posturales

– Evalua2on cogni2ve durant l’interac2on

3. Personnalité

6

1 – Style gestuel individuel

7

Le style gestuel

• Ques2on de recherche – Est-‐ce que 2 individus ont le même profil gestuel ?

• Approche : – Corpus mul2modaux

• Applica2on aux personnages virtuels

8


Corpus de Gestes Conversa2onnels (Kipp 04)

• Lemma – Groupe de gestes partageant la

même fonc2on et la même forme

• Forme d’un geste – Mains: Gauche / Droite / 2

Mains

– Forme de la main

– Posi2on de la main

– Orienta2on de la main – Mouvement de la main

– Epaules et expressions faciales

Calcul d’un profil gestuel (Kipp & Neff)

• Diagrammes de transi2on

10

Créa2on du profil de MR

11

Créa2on du profil de JL

12

U2lisa2on pour la généra2on

13

2 – Emo2on

14


Théories des émo2ons Défini2ons (Scherer 00)

• Defini2on – Hypothe2cal construct deno2ng a process of an organism’s reac2on to

significant events

• Modern defini2on – Components: subjec2ve feeling, motor expression, ac2on tendencies,

physiological changes, cogni2ve processing – Episode of interrelated, synchronized changes in these components in response

to an event of major significance to the organism

• Func2ons of emo2ons – Expression: Communica2on, social signalling and interac2on strategy – Feeling: facilitates regula2on of emo2onal behavior

Emo2on

• Approche catégorielle – 6 émo2ons de base

– Différentes classifica2ons – Emo2ons secondaires – Etats mentaux

• Approche dimensionnelle – Plaisir – Ac2va2on – Dominance

16

Théories des émo2ons Emo2ons secondaires (Plutchik 80)

• Axes – Ver2cal : intensité

– Diamètre : opposi2on

– Périphérie : proximité

Théorie des émo2ons Catégories et dimensions

Emo2ons Expressions Faciales + Posturales

• Spécifica2ons : – liYérature (Ekman) – base de donnée de capture de mouvement (Berthouze)

• Congruentes

• Incongruentes

19

Vidéo

20

Résultats

• Meilleure reconnaissance avec présenta2on conjointe du visage et de la posture – Cohérent avec Gunes & Picardi

• Les expressions faciales sont importantes pour la reconnaissance des catégories d’émo2on

– Cohérent avec Hietanen and Leppänen

• Les expressions posturales sont plus u2lisées pour la percep2on de l’ac2va2on

21

MARC

J.-‐C. MARTIN -‐ LIMSI-‐CNRS / AMI 22

Expressions faciales réalistes

• Rendu temps-‐réel d’expressions faciales

23

Experiment: Wrinkle and Emo2ons


Résultats

25

Appraising events in real-‐2me

• The Componen2al Process Model (CPM) (Scherer) – Event based model – Cycles of events’ mul2-‐level

evalua2ons • Including signs of sequences of

appraisals in virtual characters might improve how they are perceived by users

• Few system display facial clues of appraisal – Paleari et al. and Malatesta et al.

presented facial anima2on systems using Scherer's work

– Do not appraise events in real-‐2me during interac2on


Appraisal Evalua2on cycle

Appraised Event

Resul2ng emo2onal state

Temporary Visible

Appraisal Signs

Visible emo2ons

Evalua2on de la situa2on

27 J.-‐C. MARTIN -‐ LIMSI-‐CNRS / AMI

Interac2ve Game

Game Applica2on Othello

Emo2onal Computa2ons

Appraisal Module

Appraisal Registers

Subchecks Sequence

Facial Anima2on

MARC

Appraisal values of Real-‐2me game events

Emo$onML

Facial anima2on parameters Ac2on Units

BML

Video


3 – Personnalité

29

Personnalité

• Approches lexicales – Modèles pour décrire des individus

• Approches psychosociales – Interac2on sociale : désirabilité (ami), u2lité (aide)

• Approches socio-‐cogni2ves – Comprendre les mécanismes des ac2ons des indivividus

30

Approches de la personalité

31

Lexical approach Psychosocial approach Socio cogni>ve

approach

Goal of the approach

Descrip>ve model to classify individuals

Percep>on of individual differences

Explanatory model of human behavior

Role of environment in the construc2on of one’s personality

No important Important Very important

Variability Inter-‐

individual Intra-‐

individual


OCEAN (Costa & Mc Crae)

• Openness – Low: conven2onal, realis2c – High: curious, original, crea2ve

• Conscien2ousness – Low: not reliable, nonchalant – High: organized, on 2me, persistent

• Agreeableness – Low: impolite, irritable, not coopera2ve, manipulator – High: easy to live with, trus2ng

• Extraversion – Low: reserved, distant, discreet – High: social, ac2ve, op2mis2c, like to have fun, affec2onate

• Neuro2cism – Low: calm, relaxed, sa2sfied – High: worried, nervous, emo2onal, anxious

Personnalité

• Le modèle ALMA (Gebhard 05) – Emo2on : OCC

– Personnalité : OCEAN • Sert à calculer l’intensité de l’émo2on

– Mood : PAD

33

Hypothesis : the field-‐dependency dimension influences mul2modal expression of emo2on

34

People who are field independent (FI)

• do not consider much the point of view of others

Situa2on of Anger

• His movements are broader and quicker than FD’s

People who are field dependent (FD)

• share the situa2on with others

Situa2on of Joy

• His gesture are more empha2c than FI’s

Illustra>ve result: Ac>on tendency “want to dance”

35

0

0,5

1

1,5

2

2,5

FD FI

Percep

2on of ac2on

tend

ency “character wanted

to dance

”

Situa2on of Anger

Ambigous Situa2on

Situa2on of Joy


Research Context Embodied Agents

• Designing agent’s mul2modal behavior – Redundant vs. complementary behaviors

(André et al. 00, Cassell et al. 01) – Influence of agent’s personality (Kshirsagar 02, Gebhard 05) – Influence of users’ personality?

• Matching user and agent’s personality (Ibister & Nass 00) • Combine (extrovert / introvert) X (text / posture) • Results

– Users iden2fy intended personality – Users prefer consistent verbal & nonverbal – Users prefer complementary agent

• Consider only text and posture


Percep2on of agent’s deic2c (Buisine & Mar2n 2007)

• Goal – LT: Inform the design of

Conversa2onal Agents – How to balance content on speech

and gesture? – How such combina2ons are

perceived by different users?

• Approach – 2D cartoon animated agents – Manual specifica2ons – References to objects during

technical presenta2ons


You have to use the big round button in

the center.

You have to use the big round button in

the center.

You have to use this button.


81 users

ECA 1 Strategy X Object A

ECA 2 Strategy Y Object B

ECA 3 Strategy Z Object C

Written Recall of the lesson

Subjective Eval.: Likeability Expressiveness of the 3 ECAs

Each user sees 3 presentations

All counterbalanced (ECA, Multimodal strategy, Object)

Independent Variables: User’s

Personality Introvert Extrovert

ECA’s Multimodal strategy

Redundant Complementary

Control

Dependent Variables:

Cognitive perf. (memorization) Perceived Likeability of ECA Perceived Expressiveness of ECA

User’s Gender

Male Female


Gender X Personality Interac2on

• Interac2on – On Recall Performance -‐ F(2/154)=3,12; p=0,047 – On Perceived Expressiveness -‐ F(2/154)=3,19; p=0,044 – No effect of Gender nor Personality on Likeability

4 – Conclusions et perspec2ves

41

Conclusions

• U2lité des personnages virtuels pour étudier la communica2on humaine

• Défis à relever – Conceptuels – Pluridisciplinaires – Technologiques

42

Perspec2ves

• Autres approches de la personnalité ? • Impact de la personnalité sur l’émo2on

• Impact de l’âge, du genre, de la culture

• Usages long terme ?

43

Technology

Martin bordeaux-v2 (2)