Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
diffusion libre
Mesure de la Qualite ́ d’Expérience du son spatialisé : exemple du son binaural avec le projet FUI « BiLi » Orange Labs Rozenn Nicol, Laetitia Gros, Cathy Colomes, Pierre-Yohan Michaud
Recherche & Développement 28/05/2015, JISFA
2 diffusion libre
Contexte: le Projet « BiLi »
§ Principaux objectifs ü développer des outils de binauralisation personnalisée de
contenus audio multicanaux – "binauralisation" = créer des haut-parleurs virtuels pour une
écoute sur casque § permet d'adapter un contenu 5.1 (ou 7.1/ 10.2/ 22.2/ HOA)
à une écoute sur casque § pour faciliter la démocratisation de l'audio multicanal § car ne nécessite pas d'équipement supplémentaire
– "personnalisée" = utiliser les HRTF individuelles de l'auditeur § pour une immersion optimale
ü proposer un standard de format d'échange des données HRTF – pour faciliter la percée industrielle/ professionnelle du binaural
Orange Labs - Recherche & Développement - titre de la présentation – date
3 diffusion libre
Contexte: le Projet « BiLi »
§ Partenaires du projet
ü France TV (lead) ü RF ü IRCAM ü CNSMDP ü LIMSI ü A-Volute ü Arkamys ü Trinnov
Orange Labs - Recherche & Développement - titre de la présentation – date
4 diffusion libre
Contexte: le Projet « BiLi »
§ 6 Sous-Projets
– SP1: Méthodologie & évaluation de la qualité d’expérience binaurale
– SP2: Production de contenus de référence – SP3: Standardisation des fichiers de caractérisation
des HRTF – SP4: Acquisition/Génération des HRTF individualisées – SP5: Démonstrateurs de restitution binaurale
personnalisable – SP6: Valorisation et dissémination
Orange Labs - Recherche & Développement - titre de la présentation – date
5 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
QoE du son spatialisé
6 diffusion libre
Qualité d’Expérience (QoE) du son spatialisé?
§ évaluer la perception par un auditeur de la reproduction audio 3D d’une scène
§ 2 questions à résoudre
1) identifier les dimensions perceptives représentatives de la perception
– par ex, 2 dimensions sont bien connues: – la restitution du timbre – le rendu de la position des sources
– mais, potentiellement, il en existe d’autres: – immersion, naturel, émotion …
2) se doter de méthodes pour « mesurer » la perception selon ces différentes dimensions
Orange Labs - Recherche & Développement - titre de la présentation – date
7 diffusion libre
QoE du son spatialisé: quelles dimensions perceptives?
§ outils pour identifier les dimensions perceptives
– MDS (Multi Dimensional Scaling) – mesure de dissimilarité entre stimuli
– exploration verbale pour décrire la perception – par ex: Descriptive Analysis (DA), Repertory Grid Technique (RGT),
Free-Choice Profiling (FCP) § de nombreux attributs perceptifs déjà répertoriés
– liés à la physique, par ex: – timbre – position de la source
– coordonnées sphériques, facilité à localiser, externalisation – étendue spatiale de la source – effet de salle
– mais aussi liés aux processus cognitifs et affectifs, par ex: – naturel, lisibilité, émotion
Orange Labs - Recherche & Développement - titre de la présentation – date
8 diffusion libre
QoE du son spatialisé: quelles dimensions perceptives?
§ un exemple: SAQI (Spatial Audio Quality Inventory, Projet SEACEN)
– « a consensus vocabulary for the perceptual assessment of virtual acoustic environments (VAEs), or of Spatial Audio technology in general »
– « to allow qualitatively differentiated assessments of unimodal or supramodal auditory differences between technically generated acoustic environments (VAES) as well as with respect to a presented or imagined acoustic reality »
– liste de 48 descripteurs verbaux d’attributs perceptifs – 8 catégories: timbre, tonalness, geometry, room, time
behavior, dynamics, artifacts, general impressions – initié en allemand
– traduit en anglais – traduction en français en cours
Orange Labs - Recherche & Développement - titre de la présentation – date
Lindau et al., 2014
9 diffusion libre
QoE du son spatialisé: quelles méthodes de mesure?
§ mesure directe d’un attribut perceptif sans référence
– choix de l’échelle d’évaluation et de sa graduation – exemples
– caractérisation de la qualité acoustique d’une salle (par ex: presence, room effect, reverberance, …)
– test de localisation absolue § mesure directe d’un attribut perceptif avec référence
– comparaison du stimulus à évaluer avec une référence – possibilité de compléter avec des ancres
– exemples – test AB, ABX, MUSHRA – test de localisation relative (pointeur acoustique)
Orange Labs - Recherche & Développement - titre de la présentation – date
10 diffusion libre
QoE du son spatialisé: quelles méthodes de mesure?
§ mesure indirecte
– mesure à travers la réalisation d’une tâche – le succès de la tâche renseigne sur la perception
– mesures physiologiques – déduire l’état psychologique (cognition, comportement,
émotion, …) des réponses physiologiques du sujet – par ex: activité électrodermale, pulsation cardiaque,
température de la peau, activité des yeux – observation de l’activité cérébrale
– IRM, électroencéphalogramme, magnéto encéphalogramme, …
– problème: équipements peu compatibles avec la reproduction/ écoute de sons
Orange Labs - Recherche & Développement - titre de la présentation – date
11 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
QoE du son spatialisé dans BiLi
12 diffusion libre
QoE du son spatialisé dans BiLi
§ approches « conventionnelles »
– validation des bases de données de HRTF individuelles mesurées – test de localisation absolue
– choix de la méthode de report du jugement de localisation (H. Bahu & O. Warusfel, IRCAM)
– évaluation des HRTF modélisées par les différentes solutions de personnalisation – test de localisation relative
Orange Labs - Recherche & Développement - titre de la présentation – date
13 diffusion libre
QoE du son spatialisé dans BiLi
§ approches plus « originales »
– évaluation de la qualité de trajectoires spatiales (A. Andreopoulou& B. Katz, LIMSI) – comparer des jeux de HRTF individuelles et non individuelles – évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les
HRTF – application de casques cérébraux grand public à la mesure de QoE du
son binaural (A. Boisadan, L. Gros & R. Nicol, 2014) – identification des attributs perceptifs relatifs à des HRTF non
individuelles – comparaison de sons « binauralisés » par différents jeux de HRTF non
individuelles – 2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY.
Michaud & R. Nicol, Orange) – comparaison de systèmes de prise de son en vue d’une binauralisation
(CNSMDP, RF, Orange) – 2 tests combinant différents protocoles (report graphique de trajectoires,
jugement de préférence, évaluation multi critères) Orange Labs - Recherche & Développement - titre de la présentation – date
14 diffusion libre
QoE du son spatialisé dans BiLi
§ approches plus « originales »
– évaluation de la qualité de trajectoires spatiales (A. Morjopoulos & B. Katz, LIMSI) – comparer des jeux de HRTF individuelles et non individuelles – évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les
HRTF – application de casques cérébraux grand public à la mesure de QoE du
son binaural (A. Boisadan, L. Gros & R. Nicol, 2014) – identification des attributs perceptifs relatifs à des HRTF non
individuelles – comparaison de sons « binauralisés » par différents jeux de HRTF non
individuelles – 2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY.
Michaud & R. Nicol, Orange) – comparaison de systèmes de prise de son en vue d’une binauralisation
(CNSMDP, RF, Orange) – 2 tests combinant différents protocoles (report graphique de trajectoires,
jugement de préférence, évaluation multi critères) Orange Labs - Recherche & Développement - titre de la présentation – date
15 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
Application de casques cérébraux grand public à la mesure de QoE du son binaural
16 diffusion libre
Application de casques cérébraux grand public à la mesure de QoE du son binaural
§ casque Mindwave de Neurosky
§ comparaison de sons monauraux et binauraux (prise de son KU100 Neumann©)
– 4 extraits: sèche cheveux, orage, route, pièce dramatique
§ 15 participants
§ enregistrement du signal capté par l’électrode
– estimation de 2 indicateurs: « Attention » et « Méditation »
– questionnaire en complément § résultats
– pas d’effet significatif de la version (monaurale/ binaurale)
– effet significatif de l’extrait sur l’indicateur « Méditation »
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
prochaine étape: capteurs EEG à haute résolution (collaboration avec Univ. Rennes 1)
A. Boisadan, L. Gros & R. Nicol, 2014
17 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
18 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
§ Objectif:
– comparer la perception entre HRTF pour une large palette de HRTF non individuelles (46 jeux de HRTF – BDD « Listen » / IRCAM)
– recueillir des jugements de dissimilarité entre ces 46 jeux – construire l’espace perceptif associé par une analyse MDS (Multi
Dimensional Scaling) – identifier le nombre de dimensions – identifier l’(es) attribut(s) perceptif(s) associé à chaque dimension
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
PY. Michaud & R. Nicol, 2014
A D
B
C
A B C D A B C D
Matrice de dissimilarité
Espace multidimensionnel
MDS
19 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
§ stimuli sonores
– extrait d’une émission radio (« Interception ») – format 5.1 – converti au format binaural en synthétisant des haut-
parleurs virtuels par synthèse binaurale – 46 versions de l’extrait
– pré-traitements – pour chaque jeu d’HRTF, l’ITD est remplacée par une ITD
moyenne – égalisation en sonie (indicateur « N10 ») des stimuli
§ 10 participants
– de type experts: ingénieurs du son (RF, FTV, CNMSDP), chercheurs en audio 3D (Orange, LIMSI)
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
20 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
§ protocole expérimental
– méthode SPPR – Similarity Picking with Permutation of References – au lieu de présenter des paires de stimuli à comparer
– pour M = 46 versions: M(M-1)/2 = 1035 paires! – on présente au sujet un ensemble de 4 stimuli (« tétrade »)
– 1 stimulus de référence – 3 stimuli à comparer
– seulement 3 en raison des limites de la mémoire auditive – le sujet doit choisir parmi les P=3 stimuli, celui qu’il perçoit
comme le plus similaire à la référence – nombre de tétrades à évaluer : M(M-1)/3 = 690
– en moyenne 6-7 heures de test pour un sujet – avantage: chaque stimulus sert de référence à tour de rôle
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
PY. Michaud, 2013
21 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
22 diffusion libre Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
§ analyse MDS de la matrice moyenne de dissimilarité
4 dimensions identifiées
• dim. 1: modification spectrale (quantité d’aigus)
• dim. 2: notion d’espace/ volume/ largeur de scène
• dim. 3: barycentre spatial
• dim. 4: profondeur/ distance des objets
23 diffusion libre Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
§ analyse MDS de la matrice moyenne de dissimilarité
4 dimensions identifiées
• dim. 1: modification spectrale (quantité d’aigus)
• dim. 2: notion d’espace/ volume/ largeur de scène
• dim. 3: barycentre spatial
• dim. 4: profondeur/ distance des objets
lien avec l’étude par exploration verbale (L. Simon & B. Katz, LIMSI), limitée à 7 HRTF
• 12 attributs • Externalisation • Immersion • Modification spectrale (grave/ aigu) • Réalisme • Profondeur du champ sonore • Précision de la localisation • Position latérale • Elévation • Position avant/ arrière • Réverbération • Niveau sonore • Profondeur
24 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
§ 2nde expérience – réduction par similarité des 46 jeux
de HRTF à 19 – durée du test: 1-1h30
– 2 extraits – émission radio (« Interception »)
– prise de son 5.1 – création TV (ambiance nature: orage, chien, oiseaux)
– mixage binaural de sons monos – auditeurs de type naïf
– extrait 1: 12 participants/ extrait 2: 11 participants – résultats: 3 dimensions identifiées
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
extrait 1 • Balance spectrale
(quantité d’aigus) • Notion d’espace/ Largeur
de scène (frontale) • Barycentre spatial
extrait 2 • Balance spectrale (quantité
d’aigus) • Notion d’espace/ Largeur de
scène (espace supérieur) • Sensation de réverbération /Echo
25 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
Comparaison de systèmes de prise de son
26 diffusion libre
Comparaison de systèmes de prise de son
§ enregistrement d’une séquence d’une pièce de R. de Obaldia (« Deux femmes pour un fantôme ») au CNSMDP
– 14 systèmes de prise de son (enregistrements séquenciels) – Tête Neumann KU 100, 2 têtes « fait maison » – Eigenmike, Soundfield® – stéréo: XY, AB – Arbre 5 DP4 4041 (Decca Tree + MMAD) – DPA 5100 – Arbre 8 MK21 / Arbre 8 MK5 – MMAD MK21 / MMAD MK5 – croix IRT
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
27 diffusion libre
Comparaison de systèmes de prise de son
§ Objectif
– comparer la robustesse des prises de son après binauralisation – les enregistrements Ambisonics / stéréo / multicanaux sont mixés
avec la consigne d’obtenir le meilleur rendu § 2 tests
– écoute d’une séquence longue (1min40sec) – report graphique des positions et trajectoires des sources
sonores – questionnaire court (réalisme, sensation d’espace, distance)
– comparaison par paire d’extraits courts (20sec) – choix d’une référence: KU100 – jugement de préférence (échelle à 7 degrés, de -3 à +3) – questionnaire étendu à la fin du test
– liste de 10 attributs + informations générales
§ tests en cours – résultats à venir…
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
28 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
Conclusion
29 diffusion libre
Conclusion
§ la perception du son binaural, en général et en particulier dans le cadre du Projet BiLi, appelle de nombreuses questions:
– comment évaluer les « performances » de HRTF personnalisées? – est-il possible de trouver dans une base de données de HRTF, si elle est
suffisamment étendue, un jeu de HRTF non individuelles qui me conviennent aussi bien que mes HRTF individuelles?
– peut-on ajuster le niveau de personnalisation en fonction de l’application? – par ex. jeu vidéo vs VOD
– quel est l’apport de la personnalisation relativement au head-tracking? – comment en synthèse binaurale peut-on se rapprocher de la qualité
d’immersion d’un enregistrement par une tête artificielle? – comment améliorer l’externalisation? – quelle est l’influence de la chaîne technique de reproduction sur la
perception? – comment obtenir des mesures objectives corrélées aux attributs perceptifs?
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
30 diffusion libre
Conclusion
§ quelques premiers éléments de réponse…
– fourniture au consortium d’une « trousse à outils » – pour que chaque partenaire puisse mener ses évaluations
avec des méthodes communes – nombre de dimensions de l’espace perceptif
– de l’ordre de 4 dimensions – reste à identifier les critères objectifs associés – quelle est la position des HRTF individuelles dans cet
espace? – plusieurs propositions de liste d’attributs perceptifs
– à homogénéiser
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
merci
32 diffusion libre Orange Labs - Recherche & Développement - titre de la présentation – date
Annexes
33 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
34 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
35 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
36 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
37 diffusion libre
Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015