Mobilité Ubiquité 2004 Objets physiques pour manipuler des sources sonores : Phicon+Earcon=Phearcon Sylvain DAUDÉ et Laurence NIGAY Equipe Ingénierie

MobilitéUbiquité

2004

Objets physiques pour manipulerObjets physiques pour manipuler

des sources sonores :des sources sonores :

Phicon+Earcon=PhearconPhicon+Earcon=Phearcon

Sylvain DAUDÉ et Laurence NIGAYSylvain DAUDÉ et Laurence NIGAY

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble

Mobilité Ubiquité 2004 - 3 juin 2004 - Mobilité Ubiquité 2004 - 3 juin 2004 - 22

MobilitéUbiquité

2004

Plan de l'exposéPlan de l'exposé

• Phearcons = Phicons + EarconsPhearcons = Phicons + Earcons

• Démarche de travailDémarche de travail

• Interaction avec les PhearconsInteraction avec les Phearcons

• Processus de sonificationProcessus de sonification

• Plateforme de spécification et d’interaction avec les PhearconsPlateforme de spécification et d’interaction avec les Phearcons


MobilitéUbiquité

2004








MobilitéUbiquité

2004

Virtualitéaugmentée

Virtualité AugmentéeVirtualité Augmentée

InteractionEntités

numériques

Entitésphysiques


MobilitéUbiquité

2004

Virtualitéaugmentée

Virtualité AugmentéeVirtualité Augmentée

InteractionEntités

numériques

Entitésphysiques

sources sonores


MobilitéUbiquité

2004

Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée

• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)


MobilitéUbiquité

2004



• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel• situations mobilessituations mobiles• interfaces pour aveuglesinterfaces pour aveugles• retour d’informations dans les interfaces retour d’informations dans les interfaces

graphiquesgraphiques


MobilitéUbiquité

2004



• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel

• Ouie = outil d’analyseOuie = outil d’analyse• informations sonores simultanées : « effet informations sonores simultanées : « effet

cocktail »cocktail »• alertesalertes• données multidimensionnellesdonnées multidimensionnelles• motifs temporelsmotifs temporels


MobilitéUbiquité

2004


• Manipulation de sons (non tangibles) avec des Manipulation de sons (non tangibles) avec des entités physiques (tangibles)entités physiques (tangibles)


• Ouie = outil d’analyseOuie = outil d’analyse• Media d’ambiance : en arrière-planMedia d’ambiance : en arrière-plan

• sons en arrière-plan entendus uniquementsons en arrière-plan entendus uniquement• lorsque l’utilisateur choisit de s’y concentrerlorsque l’utilisateur choisit de s’y concentrer• lorsqu’un changement soudain intervient dans le sonlorsqu’un changement soudain intervient dans le son

• suivi des sons d’arrière-plan + activité principale suivi des sons d’arrière-plan + activité principale indépendanteindépendante


MobilitéUbiquité

2004


• Manipulation de sons (non tangibles) avec des Manipulation de sons (non tangibles) avec des entités physiques (tangibles)entités physiques (tangibles)


• Ouie = outil d’analyseOuie = outil d’analyse• Media d’ambiance : en arrière-planMedia d’ambiance : en arrière-plan• Sentiment d’immersion Sentiment d’immersion

ex : réalité virtuelleex : réalité virtuelle


MobilitéUbiquité

2004

Phicons + Earcons = PhearconsPhicons + Earcons = Phearcons

• Phearcons = association Phearcons = association • d’objets physiques (d’objets physiques (phicons, physical icons [Ishii]phicons, physical icons [Ishii]))• avec des sources sonores (avec des sources sonores (earcons [Blattner]earcons [Blattner]) )


MobilitéUbiquité

2004

Phicons + Earcons = PhearconsPhicons + Earcons = Phearcons

• Phearcons = association Phearcons = association • Positions des sons et des objets coupléesPositions des sons et des objets couplées

Queue d’impression

Niveau sonore chez Maman

Radio

Niveau sonore cafet


MobilitéUbiquité

2004

Domaines d’applicationDomaines d’application

• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan• média d’ambiancemédia d’ambiance• effet cocktaileffet cocktail• passage au premier plan ou à l’arrière-plan en passage au premier plan ou à l’arrière-plan en

approchant approchant ou en éloignant l’objet physique correspondantou en éloignant l’objet physique correspondant


MobilitéUbiquité

2004


• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan

• Composition Musicale Assistée par OrdinateurComposition Musicale Assistée par Ordinateur• manipulation directe de sources sonoresmanipulation directe de sources sonores


MobilitéUbiquité

2004



• Composition Musicale Assistée par OrdinateurComposition Musicale Assistée par Ordinateur

• AudioconférenceAudioconférence• intervenants représentés par leurs photosintervenants représentés par leurs photos• possibilité d’ « éteindre » momentanément un locuteurpossibilité d’ « éteindre » momentanément un locuteur• passage d’un groupe de discussion à un autrepassage d’un groupe de discussion à un autre


MobilitéUbiquité

2004



• Composition Musicale Assistée par OrdinateurComposition Musicale Assistée par Ordinateur

• AudioconférenceAudioconférence• intervenants représentés par leurs photosintervenants représentés par leurs photos• possibilité d’ « éteindre » momentanément un locuteurpossibilité d’ « éteindre » momentanément un locuteur• passage d’un groupe de discussion à un autrepassage d’un groupe de discussion à un autre


MobilitéUbiquité

2004

Source d’informations

Objet physique Son

Spécification des PhearconsSpécification des Phearcons


MobilitéUbiquité

2004








MobilitéUbiquité

2004

Démarche de travailDémarche de travail

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

Expérimentations

Phearcons

Processus de sonification

Architecture logicielle

Paramètres de spécification des Phearcons

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

InteractionSpécificatio

n


MobilitéUbiquité

2004








MobilitéUbiquité

2004

Spécification

Expérimentations

Phearcons



Paramètres de spécification des phearcons


Interaction avec les Phearcons : Interaction avec les Phearcons : justification théoriquejustification théorique




Interaction


MobilitéUbiquité

2004

Propriétés ergonomiques [Scapin 86]Propriétés ergonomiques [Scapin 86]

• AdaptabilitéAdaptabilité• l’utilisateur choisit les objets et les sons les plus l’utilisateur choisit les objets et les sons les plus

pertinents par rapport aux informations diffuséespertinents par rapport aux informations diffusées• il positionne les objets selon son but et sa tâche il positionne les objets selon son but et sa tâche

courantscourants


MobilitéUbiquité

2004

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité

• l’utilisateur s’entoure d’un environnement familierl’utilisateur s’entoure d’un environnement familier

Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]


MobilitéUbiquité

2004

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources Concision de la manipulation des sources

sonoressonores• l’utilisateur manipule directement les sources l’utilisateur manipule directement les sources

sonoressonores• ex : déplacer-déposer une source sonoreex : déplacer-déposer une source sonore



MobilitéUbiquité

2004

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources Concision de la manipulation des sources

sonoressonores• Interaction multifilaire avec les sources sonoresInteraction multifilaire avec les sources sonores

• Entrée : manipulation de plusieurs objets physiquesEntrée : manipulation de plusieurs objets physiques• Sortie : présentation sonore de plusieurs sources Sortie : présentation sonore de plusieurs sources

d’informationsd’informations



MobilitéUbiquité

2004

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources sonoresConcision de la manipulation des sources sonores• Interaction multifilaire avec les sources sonoresInteraction multifilaire avec les sources sonores• Observabilité des sources sonores : meilleure Observabilité des sources sonores : meilleure

discrimination des sourcesdiscrimination des sources• effet cocktaileffet cocktail• spatialisationspatialisation• association objet-son -> meilleure mémorisation association objet-son -> meilleure mémorisation

de l’emplacement des sources sonores et de leur de l’emplacement des sources sonores et de leur identitéidentité



MobilitéUbiquité

2004

Spécification

Expérimentations

Phearcons





Interaction avec les Phearcons : Interaction avec les Phearcons : justification expérimentalejustification expérimentale




Interaction


MobilitéUbiquité

2004

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :motivationmotivation

• Validation d’hypothèsesValidation d’hypothèses• utilisabilitéutilisabilité

• satisfaction des utilisateurs ?satisfaction des utilisateurs ?• association naturelle entre objet et son ?association naturelle entre objet et son ?• simplicité d’utilisation ?simplicité d’utilisation ?• discrimination des sources sonores ?discrimination des sources sonores ?

• utilitéutilité• efficacité pour le suivi de sources sonores en arrière-efficacité pour le suivi de sources sonores en arrière-

plan ?plan ?


MobilitéUbiquité

2004

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :motivationmotivation

• Validation d’hypothèsesValidation d’hypothèses• Règles de conception pour la plate-formeRègles de conception pour la plate-forme

• nature du lien entre objets et sources nature du lien entre objets et sources d’informationsd’informations

• actions possibles et souhaitablesactions possibles et souhaitables• caractéristiques souhaitées des sources sonorescaractéristiques souhaitées des sources sonores


MobilitéUbiquité

2004

• 11 sujets11 sujets• non experts et non informaticiensnon experts et non informaticiens• âgés de 26 ans en moyenneâgés de 26 ans en moyenne• recrutés par bouche à oreillerecrutés par bouche à oreille

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :protocole expérimentalprotocole expérimental


MobilitéUbiquité

2004

Son + image

Contrôle des sources sonores

Complice

Sujet

Magicien

Son spatialisé 5.1

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :protocole expérimentalprotocole expérimental


MobilitéUbiquité

2004

Pression artérielle (alerte)

Respiration (continu)

Radio (continu)

Météo (toutes les 5 minutes)

Bébé à la maison (continu)

Rôle d’infirmier

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :sources sonores présentées aux sources sonores présentées aux sujetssujets


MobilitéUbiquité

2004

• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• effectué parmi un ensemble d’objetseffectué parmi un ensemble d’objets

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration


MobilitéUbiquité

2004

• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes

• modalités proposées : modalités proposées : • voix, gestes, manipulations de l’objet, combinaison de voix, gestes, manipulations de l’objet, combinaison de

modalitésmodalités



MobilitéUbiquité

2004


• modalités proposéesmodalités proposées• commandes pour chaque source sonore :commandes pour chaque source sonore :

• arrêter / jouer le sonarrêter / jouer le son• augmenter / diminuer le volumeaugmenter / diminuer le volume• faire venir le son de partout / de la direction de l’objetfaire venir le son de partout / de la direction de l’objet



MobilitéUbiquité

2004


• modalités proposéesmodalités proposées• commandes pour chaque source sonorecommandes pour chaque source sonore• commandes pour toutes les sources sonores à la fois :commandes pour toutes les sources sonores à la fois :

• arrêter / jouer les sonsarrêter / jouer les sons



MobilitéUbiquité

2004

Appeler chez soi si anomalie bébé

Saisir des feuilles de soin

Appeler un médecin si anomalie pression/respiration

Noter les variations de pression

Répondre aux appels

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase d’expérimentationphase d’expérimentation


MobilitéUbiquité

2004

• Questionnaire avec réponses ouvertes et Questionnaire avec réponses ouvertes et ferméesfermées

• Entretien à la fin de l’expérimentationEntretien à la fin de l’expérimentation

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :recueil des résultatsrecueil des résultats


MobilitéUbiquité

2004

• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats


MobilitéUbiquité

2004


• ils apprécient de pouvoir suivre des informations ils apprécient de pouvoir suivre des informations tout en faisant autre chosetout en faisant autre chose



MobilitéUbiquité

2004


• ils apprécient de pouvoir suivre des informations ils apprécient de pouvoir suivre des informations tout en faisant autre chosetout en faisant autre chose

• ils sont à l’aise avec les associations objets / sonsils sont à l’aise avec les associations objets / sons



MobilitéUbiquité

2004


• cependantcependant

• ils ont des difficultés à se souvenir des commandes ils ont des difficultés à se souvenir des commandes choisieschoisies



MobilitéUbiquité

2004

Spécification

Expérimentations

Phearcons



Paramètres de spécificationdes phearcons


Interaction avec les Phearcons : Interaction avec les Phearcons : règles de conception obtenuesrègles de conception obtenues




Interaction


MobilitéUbiquité

2004

• Association information-objetAssociation information-objet• apparence de l’objet rappelant la sémantiqueapparence de l’objet rappelant la sémantique

de l’informationde l’information

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception obtenuesrègles de conception obtenues


MobilitéUbiquité

2004

• Association information-objetAssociation information-objet• Actions possiblesActions possibles

• objets suggérant des manipulationsobjets suggérant des manipulations• 3D, taille de la main, boutons3D, taille de la main, boutons

• manipulations possiblesmanipulations possibles• manipulation de boutons, déplacement dans zonesmanipulation de boutons, déplacement dans zones

• tâches souhaitablestâches souhaitables• rejouer dernière séquence de sonrejouer dernière séquence de son• jouer son de tous les haut-parleursjouer son de tous les haut-parleurs



MobilitéUbiquité

2004

• Association information-objetAssociation information-objet• Actions possiblesActions possibles• Sources sonoresSources sonores

• sons facilement identifiablessons facilement identifiables• sons suivis émis ponctuellement sons suivis émis ponctuellement

• régulièrement / lors d’événementsrégulièrement / lors d’événements

• si la source est rendue muette par l’utilisateursi la source est rendue muette par l’utilisateur• événements observables de manière non auditiveévénements observables de manière non auditive

• si la source est muette sans avoir été éteinte par si la source est muette sans avoir été éteinte par l’utilisateurl’utilisateur• possibilité d’avoir un diagnostic de pannepossibilité d’avoir un diagnostic de panne• manipulation préconisée : secouer l’objet correspondantmanipulation préconisée : secouer l’objet correspondant



MobilitéUbiquité

2004

Spécification

Expérimentations

Phearcons





Interaction avec les Phearcons : Interaction avec les Phearcons : des règles de conception à la des règles de conception à la plateformeplateforme




Interaction


MobilitéUbiquité

2004

Plateforme : interaction avec les Plateforme : interaction avec les phearconsphearcons

Caméra + projecteur

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]


MobilitéUbiquité

2004




[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :


MobilitéUbiquité

2004



Radio FMEtat : actif


[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées


MobilitéUbiquité

2004





[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué


MobilitéUbiquité

2004



[Bérard][Bérard]


• 4 zones de volume4 zones de volume

max

med.

min

off




MobilitéUbiquité

2004



[Bérard][Bérard]



• zone Historique (H)zone Historique (H)

max

med.

min

off



H


MobilitéUbiquité

2004


Surround


[Bérard][Bérard]



• zone Historique (H)zone Historique (H)

• zone Surroundzone Surround max

med.

min

off



H


MobilitéUbiquité

2004








MobilitéUbiquité

2004 Processus de sonification et Processus de sonification et paramètres de spécification des paramètres de spécification des PhearconsPhearcons




Interaction

Expérimentations

Phearcons



Spécification




MobilitéUbiquité

2004

Comment spécifier les Phearcons ?Comment spécifier les Phearcons ?

Source d’informations

Objet physique Son

Indiquer l’objet

Indiquer lien vers la source

???

Paramètres caractérisant la transformation d’informations en sons (sonification)


MobilitéUbiquité

2004

Comment obtenir des paramètres Comment obtenir des paramètres de conception pour la sonification ?de conception pour la sonification ?

• Adaptation du processus de visualisation de Adaptation du processus de visualisation de Ed Chi Ed Chi [Chi ’00] à la sonification[Chi ’00] à la sonification

• structuration du processus de sonification en structuration du processus de sonification en étapes d’abstractionétapes d’abstraction

• identification de paramètres de conception pour identification de paramètres de conception pour chaque étape de sonificationchaque étape de sonification


MobilitéUbiquité

2004

Processus de sonification :Processus de sonification :transformation des donnéestransformation des données

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Image

Suite de colonnesde pixels

. . .

Enchaînement desonifications

Transformation de temporisation

Séquence de filtres


MobilitéUbiquité

2004

Processus de sonification :Processus de sonification :transformation de temporisationtransformation de temporisation

Données



Rendu sonore





Suite de colonnesde pixels

. . .

++7h -> 9h

toutes les 5 minutes

. . .Enchaînement de

sonifications

• Instant de déclenchement• Fréquence de répétition• Motif de l’arrêt (automatique, manuel)• Durée de l’historique


MobilitéUbiquité

2004

. . .

Niveau de gris = intensité sonoreOrdonnée dans la colonne = hauteur sonore

Séquence de sons. . .

Processus de sonification :Processus de sonification :transformation de sonificationtransformation de sonification

Données



Rendu sonore






• Volume sonore absolu• Algorithme de synthèse paramétrable (ex : vent, bulles) selon la structure de données

Paramètres de sonificationParamètres de coordination


MobilitéUbiquité

2004

Séquence de sons. . .

Processus de sonification :Processus de sonification :transformation de diffusiontransformation de diffusion

Données



Rendu sonore






• Dispositif de diffusion (selon l’algorithme de synthèse)


MobilitéUbiquité

2004




Interaction

Expérimentations

Phearcons



Spécification



Processus de sonification etProcessus de sonification etarchitecture des Phearconsarchitecture des Phearcons


MobilitéUbiquité

2004

• Code de chaque Phearcon selon ARCH [UIMS’92]Code de chaque Phearcon selon ARCH [UIMS’92]

NF

ANF

CD

PL

PP

Plateforme : architecture des Plateforme : architecture des PhearconsPhearcons

Données



Rendu sonore







MobilitéUbiquité

2004

• Code de chaque Phearcon selon ARCH [UIMS’92]Code de chaque Phearcon selon ARCH [UIMS’92]• Spécification d’une PhearconSpécification d’une Phearcon

= configuration de chaque niveau de l’arche= configuration de chaque niveau de l’arche

NF

ANF

CD

PL

PP




Rendu sonore






Données


MobilitéUbiquité

2004

• Code de chaque Phearcon selon ARCH [UIMS’92]Code de chaque Phearcon selon ARCH [UIMS’92]• Spécification d’une PhearconSpécification d’une Phearcon• ModularitéModularité

NF

ANF

CD

PL

PP




Rendu sonore






Données


MobilitéUbiquité

2004








MobilitéUbiquité

2004

• Interaction avec les PhearconsInteraction avec les Phearcons• règles obtenues par l’expérimentationrègles obtenues par l’expérimentation

magicien d’Ozmagicien d’Oz

Plateforme : récapitulatifPlateforme : récapitulatif

S u r r o u n d

m a x

m e d .

m i n

o f f

R a d i o F ME t a t : a c t i f

C a m é r a + p r o j e c t e u r

H


MobilitéUbiquité

2004


• Définition des Phearcons par l’utilisateurDéfinition des Phearcons par l’utilisateur• Paramètres identifiés avec le processusParamètres identifiés avec le processus

de sonificationde sonification




Rendu sonore






Données


MobilitéUbiquité

2004


• Définition des Phearcons par l’utilisateurDéfinition des Phearcons par l’utilisateur

• Architecture d’une PhearconArchitecture d’une Phearcon• parallèle entre processus de sonificationparallèle entre processus de sonification

et modèle d’architecture ARCHet modèle d’architecture ARCH



MobilitéUbiquité

2004

• Modifiabilité et modularitéModifiabilité et modularité• architecture basée sur ARCHarchitecture basée sur ARCH

Plateforme : propriétés du codePlateforme : propriétés du code


MobilitéUbiquité

2004

• Modifiabilité et modularitéModifiabilité et modularité

• ExtensibilitéExtensibilité• langage interprété Tcl/Tk -> ajout dynamique langage interprété Tcl/Tk -> ajout dynamique

d’algorithmesd’algorithmes



MobilitéUbiquité

2004

• Modifiabilité et modularitéModifiabilité et modularité

• ExtensibilitéExtensibilité

• PortabilitéPortabilité• langages et API multi-plateformeslangages et API multi-plateformes



MobilitéUbiquité

2004

Plateforme : expérimentations à Plateforme : expérimentations à venirvenir




InteractionSpécificatio

n

Expérimentations

Phearcons






MobilitéUbiquité

2004

• Pertinence des paramètres de spécificationPertinence des paramètres de spécification• rapidité de configurationrapidité de configuration• nombre d’itérations de configuration avant résultat nombre d’itérations de configuration avant résultat

satisfaisantsatisfaisant

• Utilisation en conditions réelles pendant 2 moisUtilisation en conditions réelles pendant 2 mois• utilisabilité, utilitéutilisabilité, utilité

• Comparaison avec des interfaces « standard »Comparaison avec des interfaces « standard »• efficacité des Phearcons pour le suivi d’informationsefficacité des Phearcons pour le suivi d’informations• efficacité de l’audio par rapport à une interface visuelleefficacité de l’audio par rapport à une interface visuelle

Plateforme : expérimentations à Plateforme : expérimentations à venirvenir


MobilitéUbiquité

2004

Merci pour votre attention !Merci pour votre attention !

des questions ?

Documents

Mobilité Ubiquité 2004 Objets physiques pour manipuler des sources sonores : Phicon+Earcon=Phearcon Sylvain DAUDÉ et Laurence NIGAY Equipe Ingénierie