1

Un espace de classification pour l’interaction surdispositifs mobiles

Anne Roudaut, Eric Lecolinet

IHM’07-Paris

2

• Dispositifs mobiles :

Plusieurs formes

- Multifonctions/Spécialisés

- Ecran tactile/Clavier physique

- Stylet/Doigts

Contexte

2

3

• Dispositifs mobiles :

Plusieurs formes

Plusieurs contextes d’utilisation

- Multifonctions/Spécialisés

- Ecran tactile/Clavier physique

- Stylet/Doigts

- Ville

- Domicile

- Transports …

Contexte

2

4

• Dispositifs mobiles :

Plusieurs formes

Plusieurs contextes d’utilisation

- Multifonctions/Spécialisés

- Ecran tactile/Clavier physique

- Stylet/Doigts

- Ville

- Domicile

- Transports …

Contexte

Espace de classification des techniques d’interaction

Comprendre et organiser l’existant

Soulever des tendances et des faiblesses

Première étape pour la réalisation de nouvelles techniques d’interaction

2

5

• Contexte• Espace de classification

– Définition– Dimensions

• Conclusion et perspectives

Plan

3

6

Dispositif physique

Avec quoi ?

Langage d’interaction

Comment ?

• Basé sur plusieurs définitions de la « modalité »

Visuelle, Auditive, Kinesthésique, Sonore …

Une approche orientée psychologues

Une approche orientée concepteurs (Nigay)

D L?

Espace de classification

4

7

Modalités en entrée

Modalités en sortie

Espace de classification

5

8

Mod

alit

és e

n e

ntr

ée M

odal

ités

en

sor

tie

Vocale

Mouvement

Passive

Visuelle

Auditive

Kinesthésique

Ecrans Lunettes

Projecteurs

Haut-parleurs Ecouteurs

Dispositifs haptiques

Tous types de capteurs

Pointage de widgets Langage gestuel

Langage gestuel hybride

Langage naturel Langage pseudo-naturel

Langage sonore

Multiplexage temporel Multiplexage spatial

Multiplexage profondeur

Synthèse vocale Sons

Retour d’effort Retour tactile

Dispositifs physiques Langages d’interaction

Continus

Capteurs de mouvements

Microphones

Discrets

Langage gestuel

Entrée par claviers complets Entrée par claviers réduits Entrée par boutons uniques

Interaction embarquée

Mod

alit

és e

n e

ntr

éeM

odal

ités

en

sor

tie

Espace de classification

5

9

Mod

alit

és e

n e

ntr

ée M

odal

ités

en

sor

tie

Vocale

Mouvement

Passive

Visuelle

Auditive

Kinesthésique

Ecrans Lunettes

Projecteurs

Haut-parleurs Ecouteurs

Dispositifs haptiques

Tous types de capteurs

Pointage de widgets Langage gestuel

Langage gestuel hybride

Langage naturel Langage pseudo-naturel

Langage sonore

Multiplexage temporel Multiplexage spatial

Multiplexage profondeur

Synthèse vocale Sons

Retour d’effort Retour tactile

Dispositifs physiques Langages d’interaction

Continus

Capteurs de mouvements

Microphones

Discrets

Langage gestuel

Entrée par claviers complets Entrée par claviers réduits Entrée par boutons uniques

Interaction embarquée

Mod

alit

és e

n e

ntr

éeM

odal

ités

en

sor

tie

Espace de classification

5

10

Mod

alit

és e

n e

ntr

ée M

odal

ités

en

sor

tie

Vocale

Mouvement

Passive

Visuelle

Auditive

Kinesthésique

Ecrans Lunettes

Projecteurs

Haut-parleurs Ecouteurs

Dispositifs haptiques

Tous types de capteurs

Pointage de widgets Langage gestuel

Langage gestuel hybride

Langage naturel Langage pseudo-naturel

Langage sonore

Multiplexage temporel Multiplexage spatial

Multiplexage profondeur

Synthèse vocale Sons

Retour d’effort Retour tactile

Dispositifs physiques Langages d’interaction

Continus

Capteurs de mouvements

Microphones

Discrets

Langage gestuel

Entrée par claviers complets Entrée par claviers réduits Entrée par boutons uniques

Interaction embarquée

Mod

alit

és e

n e

ntr

éeM

odal

ités

en

sor

tie

Espace de classification

5

11

Vocale

Passive

Visuelle

Auditive

Kinesthésique

1. D= Dispositifs continus (Ecrans tactiles)Mouvements

Ecran tactile à 1 point de contact

Ecran tactile multipoints

Ecran capacitif (Stylet ou doigts)

Ecran résistif (Doigts)

→ Répercutions sur le langage d’interaction

Stylet

Un doigt PouceDeux doigts

Entrées : Mouvements

6

12

Vocale

Passive

Visuelle

Auditive

Kinesthésique

1. D= Dispositifs continus (Ecrans tactiles)

a. L= Manipulation de Widgets (Boutons, menu, icones …)

LaunchTile (Karlson)

Mouvements

Word Mobile

Entrées : Mouvements

7

13

Vocale

Passive

Visuelle

Auditive

Kinesthésique

1. D= Dispositifs continus (Ecrans tactiles)

a. L= Manipulation de Widgets (Boutons, menu, icones …)

b. L= Langage gestuel

Mouvements

Entrées de texte EdgeWrite (Wobbrock)

Navigation AppLens (Karlson)

Entrées : Mouvements

8

14

Vocale

Passive

Visuelle

Auditive

Kinesthésique

1. D= Dispositifs continus (Ecrans tactiles)

a. L= Manipulation de Widgets (Boutons, menu, icones …)

b. L= Langage gestuel

c. L= Langage gestuel hybride

Mouvements

Mode Novice Mode Expert

Marking Menus (Kurtenbach)

QuickWriting (Perlin)

Menu + Gestes : Apprentissage implicite

Entrées : Mouvements

9

15

Vocale

Passive

Visuelle

Auditive

Kinesthésique

1. D= Dispositifs continus (Ecrans tactiles)

2. D= Dispositifs discrets (Bouton matériel, clavier …)

→ L= Codage des informations

- Clavier complet

Azerty/Qwerty/Fitaly/Dvorak …

- Clavier réduit

T12 EdgeWrite (Wobbrock)

Mouvements

Entrées : Mouvements

10

16

Vocale

Passive

Visuelle

Auditive

Kinesthésique

1. D= Dispositifs continus (Ecrans tactiles)

2. D= Dispositifs discrets (Bouton matériel, clavier …)

3. D= Capteurs (de mouvements …)

Interaction embarquée

Mouvements

MotionLens (Realeyes3D) Shake (Williamson)

Entrées : Mouvements

11

17

Mouvements

Visuelle

Auditive

Kinesthésique

Vocale

Passive

Interaction contextuelle

• D= Capteurs (position, luminosité, sonore, RFID,GPS)

→ L = Langage d’interaction différé

- Adaptation à l’environnement

- Localisation

- Identification

- Cinématique

Entrées : Passives

12

18

Mouvements

Auditive

Kinesthésique

Vocale

• D= Surfaces d’affichage

→ L basés sur la métaphore du multiplexage1

Passive

Visuelle

Ensemble des informations

Surface d’affichage

1Multiplexage = Faire passer plusieurs informations à travers un seul support de transmission

Spatial

Temporel

En profondeur

Type de multiplexage

Sorties : Visuelles

13

19

Mouvements

Auditive

Kinesthésique

Vocale

• D= Surfaces d’affichage

a. L= Multiplexage spatial

Passive

Visuelle

FishEyes DateLens (Bederson)

Vue focus + context

Sorties : Visuelles

14

20

Mouvements

Auditive

Kinesthésique

Vocale

• D= Surfaces d’affichage

a. L= Multiplexage spatial

b. L= Multiplexage temporel

Passive

Visuelle

Pan & Zoom

ZenZui (www.zenzui.com)

Filtrage de données

Fathumb (Karlson)

Sorties : Visuelles

15

21

Mouvements

Auditive

Kinesthésique

Vocale

• D= Surfaces d’affichage

a. L= Multiplexage spatial

b. L= Multiplexage temporel

c. L= Multiplexage en profondeur

Passive

Visuelle

Halo (Baudish)Zomit (Lecolinet)

Sorties : Visuelles

16

22

Mouvements

Kinesthésique

Vocale

Passive

Visuelle

Auditive

• D= Haut-parleur, écouteurs

L= Sons, Synthèse vocale

- Alertes (sonnerie)

- Indications vocales (GPS)

→ Problème de l’environnement mobile changeant

Sorties : Auditives

17

23

Mouvements

Kinesthésique

Vocale

Passive

Visuelle

Auditive

• D= Microphone

L= Sons, Synthèse vocale

- Alertes (sonnerie)

- Indications vocales (GPS)

→ Problème de l’environnement mobile changeant

- Aider à la navigation : stéréophonie (Hiipakka)

- Améliorer la manipulation de Widgets (Brewster)

Sorties : Auditives

17

24

Mouvements

Auditive

Kinesthésique

Vocale

Passive

Visuelle

• D= Dispositifs vibro-tactile, dispositifs de retour d’effort …

L= Retour d’effort, principalement retour tactile

Améliorer le pointage

(Brewster)

Alléger les autres modalités

Tactimod (Couture)

(Vibreur à l’arrière du dispositif)

Sorties : Kinesthésiques

18

25

• Contexte• Espace de classification

– Définition– Dimensions

• Conclusion et perspectives

Plan

19

26

Espace de classification• Compréhension et organisation de l’existant

• Observation et comparaison des techniques → faire apparaitre des tendances ou des faiblesses

• Première étape à l’élaboration de nouvelles techniques

Problème du pointage au pouce sur un écran tactile• Occlusion

• Accès aux coins de l’écran

• Précision du pouce

Conclusion et perspectives

Conclusion

Perspectives

20

27

Remerciements à Bruno Aidant et son équipe d’Alcatel-Lucent

Merci de votre attention !