View
78
Download
0
Category
Preview:
DESCRIPTION
Support de présentation utilisée lors de de la soutenance de thèse.
Citation preview
Conception et évaluation de nouvelles
techniques d’interaction gestuelle pour la
télévision interactive
Dong-Bach Vo - 24 Septembre 2013
Thèse encadrée par Eric Lecolinet et Yves Guiard
1
Qu’est-ce que la télévision interactive ?
2
2
Qu’est-ce que la télévision interactive ?
3
3
Qu’est-ce que la télévision interactive ?
4
4
La télécommande du futur ?
5
5
Des menus complexes
6
6
Approche
• Surface des télécommandes limité
• Services interactifs de plus en plus nombreux
• Eviter d’accaparer l’attention visuelle des téléspectateurs
7
7
Approche
• Surface des télécommandes limité
• Services interactifs de plus en plus nombreux
• Eviter d’accaparer l’attention visuelle des téléspectateurs
• Augmenter la bande passante interactionnelle
• Utiliser l’espace 3D disponible autour de la télécommande?
• Utiliser la surface du corps?
8
8
Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
9
9
Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
10
10
1. Espace de caractérisation de la télécommande
• De nombreux travaux ont tenté d’améliorer la télécommande
11
11
1. 1. Type des télécommandes
12
Dédiée
Non
Dédiée
12
1. 1. Type des télécommandes
13
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
13
1. 1. Type des télécommandes
14
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée GesText [Jones et al., 2010]
14
1. 1. Type des télécommandes
15
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
[Kimman et al., 2011]
[Block et al., 2004]
15
1. 1. Type des télécommandes
16
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée[Bailly et al., 2011]
[Goto et al., 2003]
16
1. 1. Type des télécommandes
17
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
17
1. 1. Type des télécommandes
18
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
[Berglund et al., 2005]18
1. 1. Type des télécommandes
19
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
Gestes
19
Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
20
?
20
2. Espace de classification du geste
21
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
21
2. Espace de classification du geste
22
Type d’interaction Surface
Geste en l’air
Non instrumenté Instrumenté
22
2. Espace de classification du geste
23
Type d’interaction Surface
Geste en l’air
Non instrumenté Instrumenté
23
2. Espace de classification du geste
24
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique[Casiez et al., 2011]
24
2. Espace de classification du geste
25
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Baglioni et al., 2011]
25
2. Espace de classification du geste
26
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Bailly et al., 2011]
[Wilson et Shafer, 2003]26
2. Espace de classification du geste
27
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Délimiteur
Trajectoire / Forme
Orientation
Accélération
Vitesse
27
2. Espace de classification du geste
28
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
[Ruiz and Li, CHI’2011]
Séquentielle
Parallèle
28
2. Espace de classification du geste
29
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Perceptif
Social
Mécanique
29
Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
30
30
3. Interaction gestuelle avec télécommande
31
?
31
32
Tangage
Lacet
Roulis
Z
X
Y
3.1. Six degrés de liberté
32
• 1 degré de rotation
• Motion Marking Menus [Oakley et al., 2003]
33
Lacet
X
3.2. Quels degrés de liberté ?
33
3.2. Quels degrés de liberté ?
• 1 degré de liberté
• Motion Marking Menus [Oakley et al., 2003]
• 2 degrés de libertés
• TiltText [Wigdor, 2003]
• GesText [Jones et al., 2010]
34
GesText
Z
XTiltText
Roulis
Tangage
34
• Quels gestes les utilisateurs réalisent spontanément pour atteindre une cible sur un écran ?
35
3.2. Quels degrés de liberté ?
35
36
0123456789
Smartphone Télécommande
Nom
bre de
partic
ipan
ts
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
3.2. Quels degrés de liberté ?
36
37
0123456789
Smartphone Télécommande
Nom
bre de
partic
ipan
ts
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
3.2. Quels degrés de liberté ?
Tangage
Roulis
Z
X
37
38
0123456789
Smartphone Télécommande
Nom
bre de
partic
ipan
ts
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
Tangage
Lacet
X
Y
3.2. Quels degrés de liberté ?
Tangage
Roulis
Z
X
38
• Optimiser l’espace 3D ?
39
Tangage
Lacet
X
Y
3.2. Quels degrés de liberté ?
39
• Optimiser l’espace 3D ?
40
3.2. Quels degrés de liberté ?
Roulis
Z
Tangage
Lacet
X
Y
40
3.3. Exploration de la dimension de roulis
• Discrétisation de l’amplitude absolue de mouvement du poignet avec retour visuel [Rahman et al. ’09]
41
Roulis
Z
16 niveaux
41
• Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ?
• But : collecter des mesures d’amplitudes angulaires
42
? Gauche Droite
3.3. Exploration de la dimension de roulis
42
• Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ?
43
3.3. Exploration de la dimension de roulis
Gauche Milieu Droite11
9
7
5
Facteur : nombre d’éléments à discriminer
43
• Résultats
• L’amplitude angulaire totale utilisée dépend des participants
162° 326°
44
3.3. Exploration de la dimension de roulis
7 éléments
Minimum Maximum
44
• Résultats
• L’amplitude angulaire totale utilisée dépend des participants
• L’amplitude angulaire totale dépend du nombre d’éléments à discriminer
45
3.3. Exploration de la dimension de roulis
053
106159212265318371
5 élts 7 élts 9 élts 11 élts
371343
306
159
Amplitude angulaire moyenne en degrés
45
• Reconnaissance des éléments
• Algorithme des k-PPV
0
25
50
75
100
5 élts 7 élts 9 élts 11 élts
63,1
77,1
87,796,3
Taux
de pr
écisi
on (e
n %)
Taux de précision moyen
46
3.3. Exploration de la dimension de roulis
46
• Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
0
25
50
75
100
5 élts 7 élts 9 élts 11 élts
63,1
77,1
87,796,3
Taux
de pr
écisi
on (e
n %)
Taux de précision moyen
47
3.3. Exploration de la dimension de roulis
47
• Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
0
25
50
75
100
5 élts 7 élts 9 élts 11 élts
63,1
77,1
87,796,3
Taux
de pr
écisi
on (e
n %)
Taux de précision moyen
48
3.3. Exploration de la dimension de roulis
48
• Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
• 7 éléments à approfondir
0
25
50
75
100
5 élts 7 élts 9 élts 11 élts
63,1
77,1
87,796,3
Taux
de pr
écisi
on (e
n %)
Taux de précision moyen
49
3.3. Exploration de la dimension de roulis
49
• Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
• Taux satisfaisant pour 7 élém. avec reco. intra-utilisateur
0
20
40
60
80
100
7 élem. inter-u 7 élem intra-u
9687,7
Taux
de pr
écisi
on (e
n %)
Taux de précision moyen
50
3.3. Exploration de la dimension de roulis
50
3.3. Menu hiérarchique gestuel à deux niveaux
• Accès aux commandes
• Accès à un nombre de commandes suffisant
• Mode novice et mode expert
51
51
3.4. Conception de nouvelles techniques
52
2nd Niveau
1er Niveau
52
53
2nd Niveau
1er Niveau
Nombre d’actions
trop important
Difficile à réaliser
mécaniquementRésultats décevants
Nombre d’actions
trop important
3.4. Conception de nouvelles techniques
53
54
2nd Niveau
1er Niveau
Nombre d’actions
trop important
Difficile à réaliser
mécaniquementRésultats décevants
Nombre d’actions
trop important
3.4. Conception de nouvelles techniques
54
• Réaliser le couple de gestes qui correspond au stimulus
55
3.4. Conception de nouvelles techniques
55
56
0
20,0
40,0
60,0
80,0
100,0
86,889,594,2
98,497,4
Taux moyen de précision par techniqueTa
ux en %
3.4. Conception de nouvelles techniques
56
57
0
20,0
40,0
60,0
80,0
100,0
86,889,594,2
98,497,4
Taux moyen de précision par techniqueTa
ux en %
3.4. Conception de nouvelles techniques
57
• Résultats
58
0
525
1050
1575
21002020
16801653
13881401
Temps de sélection moyen par techniqueTe
mps
en m
s
3.4. Conception de nouvelles techniques
58
• Résultats
59
0
1
2
3
4
5
6
7
Rapide
Préc
is
Agréab
le
Fatig
ante
Simple
Dive
rtissan
te
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
3.4. Conception de nouvelles techniques
59
• Résultats
60
0
1
2
3
4
5
6
7
Rapide
Préc
is
Agréab
le
Fatig
ante
Simple
Dive
rtissan
te
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
3.4. Conception de nouvelles techniques
60
• Résultats
61
0
1
2
3
4
5
6
7
Rapide
Préc
is
Agréab
le
Fatig
ante
Simple
Dive
rtissan
te
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
3.4. Conception de nouvelles techniques
61
3. Rappel des résultats
• Expérience 1
• Rotations avec un dispositif dans la main
• Télécommande : le tangage et le lacet pour interagir avec un écran distant
• Roulis : 7 éléments sans regarder l’écran et la télécommande
• Expérience 2
• Combinaison boutons directionnels et geste 3D performante
62
62
Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
63
63
4. Interaction gestuelle sur le corps
64
64
4.1. Travaux antérieurs
• Essentiellement bras et mains
65
[Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al., 2011]
[Holz et al., 2012]
65
• Essentiellement bras et mains
• Problèmes
• Parties du corps mobiles
• Souvent impliquées dans une tâche
66
4.1. Travaux antérieurs
66
• Essentiellement bras et mains
• Problèmes
• Parties du corps mobiles
• Souvent impliquées dans une tâche
67
«Un endroit approprié pour l’informatique portée devrait être un endroit dont le mouvement et la flexibilité est
minime et qui maximise la surface d’interaction.»
[Gemperle et al., ISWC’98]
4.1. Travaux antérieurs
67
68
«Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...»
[Karrer et al., CHI’11]
4.1. Travaux antérieurs
68
69
«Les cibles sur la partie supérieure du corps étaient préférées [...] et celles sur le torse plus que sur le bras dominant...»
[Wagner et al., CHI’13]
«Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...»
[Karrer et al., CHI’11]
4.1. Travaux antérieurs
69
• Proprioception
• Relativement large
• Relativement stable
• Facilement accessible
• Repère physique
• Intime
4.2. Avantages de la surface de l’abdomen
70
Thorax
Abdomen
Tronc
70
Interaction avec l’abdomen ?
• Comment interagir avec l’abdomen lorsqu’on regarde la télévision ?
71
71
• La perception spatiale sur la peau [Parson et al., 1987]:
• Orientation et la position de la surface
• Représentation interne de la gravité
• Informations collectées par la surface
• Pas de référentiel privilégié pour les parties verticales sous le thorax
72
4.3. Interaction sur l’abdomen
72
• Dessiner le chiffre «deux» sur votre abdomen
73
4.3. Interaction sur l’abdomen
73
• Dessiner le chiffre «deux» sur votre abdomen
74
4.3. Interaction sur l’abdomen
74
4.3. Expérimentation : Principe
• Faire dessiner sur l’abdomen le stimulus affiché sur un écran distant
75
75
• Lignes directionnelles
• Chiffres
4.3. Expérimentation : Facteurs
76
76
• Présentation graphique
• Présentation textuelle
77
4.3. Expérimentation : Facteurs
Facteurs Graphique Textuel
Simple «Droite»
Complexe «Deux»
77
• Stimuli de l’expérimentation
78
Haut HautDroite
Droite BasDroite
Bas Bas Gauche
Gauche HautGauche
Un Deux Trois Quatre Cinq Six Sept Huit Neuf Zéro
Gra
phiq
ueG
raph
ique
Text
uel
Text
uel
Matériel Directionnel
Matériel Numéral
4.3. Expérimentation : Facteurs
78
4.4. Etude 1 : Catégorisation de la représentation
79
Inversion gauche-droite
Inve
rsion ha
ut-b
as
79
• Inversion haut-bas quasi-constante
80
0 %
10 %
20 %
30 %
40 %
50 %
Graphique Textuel
4.4. Etude 1 : Catégorisation de la représentation
Haut-Bas Gauche-DroiteInversion
Reproduction des chiffres
Inv. gauche-droite
Inv. hau
t-bas
80
• Inversion haut-bas quasi-constante
• condition textuelle: inversions gauche-droite
81
0 %
10 %
20 %
30 %
40 %
50 %
Graphique Textuel
4.4. Etude 1 : Catégorisation de la représentation
Haut-Bas Gauche-DroiteInversion
Reproduction des chiffres
Inv. gauche-droite
Inv. hau
t-bas
81
82
0 %
10 %
20 %
30 %
40 %
50 %
Graphique Textuel
4.4. Etude 1 : Catégorisation de la représentation
Haut-Bas Gauche-DroiteInversion
«It might strongly be possible that I write on my belly as if I was looking at it.»
«I performed the gesture if I was in front of a mirror without thinking too much.»
Reproduction des chiffres
82
• Peu d’inversions haut-bas
83
4.4. Etude 1 : Catégorisation de la représentation
0 %
10 %
20 %
30 %
40 %
50 %
Graphique Textuel
Haut-Bas Gauche-Droite
Reproduction des directions
Inversion
Inv. gauche-droite
Inv. hau
t-bas
83
• Peu d’inversions haut-bas
• Pratiquement pas d’inversions gauche-droite
84
4.4. Etude 1 : Catégorisation de la représentation
0 %
10 %
20 %
30 %
40 %
50 %
Graphique Textuel
Haut-Bas Gauche-Droite
Reproduction des directions
Inversion
Inv. gauche-droite
Inv. hau
t-bas
84
• Peu d’inversions haut-bas
• Pratiquement pas d’inversions gauche-droite
• Représentation stable
85
4.4. Etude 1 : Catégorisation de la représentation
0 %
10 %
20 %
30 %
40 %
50 %
Graphique Textuel
Haut-Bas Gauche-Droite
Reproduction des directions
Inversion
Inv. gauche-droite
Inv. hau
t-bas
85
• Préférences subjectives
86
1
2
3
4
5
Facile
Rapide
Préc
is
Agréab
leFa
tigan
t
Direction Chiffre
4.4. Etude 1 : Catégorisation de la représentation
86
• Préférences subjectives
87
1
2
3
4
5
Facile
Rapide
Préc
is
Agréab
leFa
tigan
t
Direction Chiffre
4.4. Etude 1 : Catégorisation de la représentation
87
• Préférences subjectives
88
1
2
3
4
5
Facile
Rapide
Préc
is
Agréab
leFa
tigan
t
Direction Chiffre
4.4. Etude 1 : Catégorisation de la représentation
88
• Caractérisation des gestes linéaires
• Temps d’exécution
• Amplitude
• Linéarité
• Biais directionnel
89
4.4. Etude 2 : Catégorisation des gestes directionnels
89
• Caractérisation des gestes linéaires
• De 1 à 1.2 seconde en moyenne
• De 15 à 20 cm environ en moyenne
90
4.4. Etude 2 : Catégorisation des gestes directionnels
90
• Linéarité
• Tracés presque linéaires
• Ouest plus linéaires
91
0,91
0,93
0,95
0,97
0,99
EST
N-E
NORD N-O
OUES
TS-O
SUD S-E
Liné
arité
(max
r²)
4.4. Etude 2 : Catégorisation des gestes directionnels
N
O E
S
91
!
"#
$!
%&#
%'!
((#
()!
&%#
*+,-,./-01*+,-,./-0,./-012*,-2*,-3.4-012*,-3.4-03.4-01*+,-
Angle moyen des gestes en degrés
• Biais directionnel
• EST difficile à atteindre
• Extension du bras plus facile à réaliser
92
4.4. Etude 2 : Catégorisation des gestes directionnels
N
O E
S
92
Rappel des résultats
• Représentation spatiale instable pour les chiffres
• Représentation spatiale stable pour les gestes directionnels
• Les gestes qui permettent d’étendre le bras sont plus faciles à réaliser
• Les gestes sur l’abdomen sont pratiques pour
• Les actions qui requièrent un minimum de temps
• Effectuer des actions sans accaparer l’attention visuelle
93
93
Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
94
94
5. Conclusion et perspectives
• Contributions
• Espace de caractérisation de la télécommande (IHM 2011)
• Espace de caractérisation du geste
• Techniques d’interaction pour télécommande augmentée (ICMI 2011)
• Identification des degrés de liberté utilisées
• Combinaison boutons-gestes 3D performante
95
95
5. Conclusion et perspectives
• Contributions
• Techniques d’interaction sur l’abdomen (soumis à CHI 2014)
• Représentation spatiale différente selon les utilisateurs
• Instable pour les chiffres
• Stable pour les directions
• Directions plus performantes avec des mouvements d’extension du bras
96
2?
96
5. Conclusion et perspectives
• Perspectives
• Amélioration des techniques d’interaction avec un meilleur algorithme
97
97
• Interaction sur l’abdomen : mobilité
• Micro-interaction [Ashbrook,2010]
• Interaction qui demande peu d’attention [Hudson et al, 2010]
98
5. Conclusion et perspectives
98
5. Conclusion et perspectives
• Méthodes d’évaluation ?
99
0
20,0
40,0
60,0
80,0
100,098,497,4
Taux
de pr
écisi
on en %
0
352,5
705
1057,5
141013881401
Tem
ps de sé
lection en
ms
99
• Méthodes d’évaluation ?
100
0
1
2
3
4
5
6
7Ra
pide
Préc
is
Agréab
le
Fatig
ante
Simple
Dive
rtissan
te
Préférences subjectives
Pad /Pad Pad/P&Y
5. Conclusion et perspectives
100
Questions ?
101
?
101
Recommended