Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
1
Vue d’ensemble de
l’Interactive Multimedia Playroom
(Salle de jeu interactive multimédia)
et de
NESTAR N ouveaux
E spaces
S patio-
T emporels
A rtistiques en
R éseau
© 2002/2012 Rosemary et Harry Mountain
2
The Interactive Multimedia Playroom
Vue d’ensemble
Table des matières
I. Résumé et concept, règles du jeu 3
II. Utilisation comme outil :
de création et de collaboration artistique 13
d’analyse multimédia et de recherche artistique temporelle 14
de recherche en psychologie 16
pour la recherche d’informations 18
pédagogique 19
pour favoriser les échanges multiculturels 20
d’analyse de marché 20
de traductologie 21
pour évaluer les paramètres sonores 21
de sensibilisation à l’écologie acoustique 21
d’interprétation musicale 22
pour favoriser le réseautage et l’esprit d’équipe 22
pour faire le pont entre la communication verbale et non verbale 23
de gymnastique mentale 23
III. Expositions muséales: IMP3 24
IV. NESTAR 25
V. Projets et objectifs à long terme 30
VI. Sommaire 34
Annexes A. Membres de l’équipe, collaborateurs, conseillers et hôtes (et comment le devenir) 35 B. Présentations et publications 36
C. Projets connexes 38
D. Sympathisants (et comment le devenir) 40
E. Coordonnées 40
3
I. Résumé et concept
the Interactive Multimedia Playroom
s’articule autour
d’une plate-forme de recherche pour étudier le son le mouvement l’image les mots
et leurs interactions
sans oublier le temps et les arts temporels en général L’IMP est soutenu par une équipe d’experts multidisciplinaires internationale qui le conseille en matière de contenu, de conception et d’interprétation des données
4
L’IMP comprend: une base de données sur les médias qui peut être enrichie et adaptée
du matériel et des logiciels pour permettre de reproduire facilement les médias
des propositions terminologiques
des structures de classement (grilles, supports de classement, paniers, arbres, etc.)
auxquels on peut ajouter: bibliothèques et guides sur les ressources pertinentes (réelles et virtuelles)
matériel et logiciel (fabriqué pour ce projet ou appartenant à des tiers) pour manipulation facile par des non-spécialistes du son et de l’image (Frelia, Acousmographe, Smart Board, etc.)
matelas sonores
cartes interactives
le «A.R. Rocking Corner»
L’IMP convient aux expériences de psychologie
aux études sur la perception (son, image-son, temps)
à l’exploration de l’état et des émotions
aux analyses musicales, cinématographiques et multimédias
à la collaboration artistique
à la composition (et à la performance) musicale
aux études interculturelles
aux analyses de marché
au renforcement de l’esprit d’équipe
à l’enseignement
aux expositions muséales
... et est particulièrement efficace pour stimuler la conversation…
5
The Interactive Multimedia Playroom
L’Interactive Multimedia Playroom (salle de jeu multimédia interactive) comporte un ensemble d’environnements constitués en réseau en vue de nous rendre plus conscients du rôle du son dans des contextes d’art et de recherche. Ces environnements permettent au visiteur d’explorer le son et ses corrélations latentes et potentielles avec l’espace, la lumière, la couleur, l’image et le mouvement. En outre, ces environnements sont conçus pour susciter le discours sur le son et ses interactions avec l’image et le mouvement, en particulier dans les contextes artistiques.
L’IMP s’articule autour d’une installation appelée Multimedia Thesaurus (dictionnaire multimédia) qui présente aux visiteurs un cadre et des banques de sons et d’images qui doivent être «triés» en fonction de leurs caractéristiques fondamentales. Semblable à un dictionnaire synonymique classique qui ne fournit pas de définitions des mots, mais les présente réunis en différents groupes, le Thesaurus n’a pas pour fonction de définir les caractéristiques des sons, mais plutôt de susciter l’exploration des façons pour les individus et les communautés d’interpréter, de décrire et d’identifier des similarités entre les sons. Les descriptions peuvent faire référence à d’autres sons ou à des images, des couleurs, des mouvements, des espaces, des humeurs et des atmosphères. À la différence des dictionnaires classiques, le Multimedia Thesaurus permet aux utilisateurs de faire leurs propres regroupements et listes par association, et de s’inspirer des suggestions des autres utilisateurs qui sont avec lui dans la salle ou qui sont déjà passés. La participation d’experts d’une variété de disciplines, notamment en perception auditive, en émotion et musique, en analyse rythmique, en interprétation musicale, en composition, en cinéma et en danse, nous permet de définir adéquatement les enjeux et de proposer des façons novatrices de procéder à une recherche dans ce domaine très riche, de plus en plus pertinent et mal compris. La salle de jeu se caractérise par un mélange de technologie et d’aspects classiques réunis dans un environnement ludique et convivial, et est aménagée de façon à être étroitement liée à d’autres projets de recherches, locaux comme étrangers.
La salle de jeu multimédia interactive a été conçue en vue de stimuler les discussions au sujet du son dans les œuvres d’art multidisciplinaires. Elle tente d’explorer les facteurs qui contribuent à notre perception des similarités et des correspondances dans les univers sonores et visuels, et d’examiner le degré auquel de telles perceptions peuvent être partagées entre des groupes de gens petits ou grands. Elle a également pour objectif d’attirer l’attention sur les possibilités et les défauts de différents systèmes de classement des sons.
Malgré l’abondance des contenus multimédias dans le monde d’aujourd’hui — dans le cinéma comme dans les sites Web tape-à-l’œil — il y a peu de langage critique et de méthodes analytiques pour explorer les résultats de l’interaction des sons et des
6
images. Ceux qui participent à des collaborations artistiques se sentent souvent frustrés par la pauvreté du vocabulaire commun pour décrire des qualités essentielles d’un son réel ou imaginé.
Nous avons constitué un catalogue d’images (statiques et en mouvement) et de sons très courts à partir de répertoires musicaux et visuels de tous les styles et de tous les genres, et nous y avons ajouté d’autres sons et d’autres images créés spécialement pour le projet, soit à partir de rien soit en transformant des sons existants.
Cette démarche se fonde sur l’hypothèse qu’en isolant de courts segments et en les juxtaposant à une variété d’images, nous pouvons créer un bon cadre pour mieux explorer notre perception d’une œuvre d’art multidisciplinaire.
Un grand nombre des caractéristiques fondamentales des extraits musicaux peuvent être perçues en quelques secondes, tandis que la plupart des études existantes, portant par exemple sur la musique de film, sont basées sur des segments beaucoup plus longs déterminés en fonction de la narration. En outre, une transformation systématique des différents paramètres d’un son existant (par le timbre, le tempo, le registre, le mode, etc.) permet de créer des séries de sons où l’on peut analyser le degré de similarité.
Un des principaux objectifs de ce projet est d’initier et de sensibiliser l’utilisateur aux différentes caractéristiques des sons et aux effets de la couleur, de la forme et du mouvement qui l’accompagnent. En isolant des fragments plus courts de sons et de vidéos, et en associant les sons généralement éphémères à des objets manipulables pouvant être balayés (scannés) à l’infini, les utilisateurs auront beaucoup plus de facilité à comparer en essayant différentes configurations (en comparant un son à plusieurs images ou vice-versa). En outre, la nature ludique et invitante du projet encourage les utilisateurs à s’investir et ainsi à participer au discours sur le son et l’image. Ainsi, les mots utilisés pour parler des images et des sons se raffinent tout naturellement, et nous pouvons trouver de meilleures façons d’exprimer nos perceptions et nos réactions.
L’IMP est conçu pour faciliter l’accès aux ressources pertinentes en cours d’élaboration par d’autres équipes de recherche. Les variations d’éclairage, de décor et d’acoustique, entre autres, permettront de créer différentes atmosphères pour illustrer la façon dont l’espace physique lui-même peut produire un effet sur la réception. Tandis que nous voyons surgir de plus en plus d’installations portatives et semi-permanentes dans différents lieux (publics, universitaires, privés) un peu partout dans le monde, il y aura une population de plus en plus variée qui interagira avec le projet et contribuera à notre compréhension.
Les membres de l’équipe constituent un réseau international d’expertise dans plusieurs disciplines. Nous sommes à mettre sur pied un réseau de centres semblables à l’IMP (voir NESTAR à la page 25 et l’annexe A).
7
The Crib in the Playroom, galerie Oboro, avril-mai 2007
Concept de l’installation
Structure de base : Des segments concrets sont
associés par un code à barres à de courts extraits de son, d’image ou de vidéo dans une banque informatique. Chacun est aussi associé à une inscription dans une base de données qui comporte des renseignements sur la source et le droit d’auteur, et d’autres caractéristiques utiles. Un utilisateur (ou « joueur ») balaie une image ou un segment vidéo avec un scanneur sans fil et tout en le regardant, il balaie un extrait sonore pour étudier l’interaction entre les deux. Les joueurs peuvent aussi classer les extraits dans des plateaux, sur des supports ou accrochés à l’une des chaînes qui constituent une grille tridimensionnelle rappelant celles utilisées par les psychologues dans des évaluations semblables.
8
RÈGLES DU JEU (à titre de suggestion
seulement)
A. 1. Choisissez un segment : son, image ou vidéo
silencieuse
2. Balayez le code à barres avec le scanneur sans fil
3. Est-ce que cela vous intéresse?
OUI NON
Passez à l’étape B ou C. Recommencez l’étape A. B. 1. Scannez des segments complémentaires* jusqu’à ce que vous en trouviez un qui semble faire une bonne combinaison (soit parce qu’elle est réaliste, artistique, amusante, inspirante ou intéressante pour quelque autre raison que ce soit). (*Si vous avez un son, trouvez une image ou un segment vidéo. Si vous avez une image ou un segment vidéo, trouvez un son.)
C. Faites une ou plusieurs choses qui suivent :
i. Pensez-y.
ii. Parlez-en.
iii. Dansez.
iv. Recommencez les
étapes A et B.
9
v. Allez à une structure de classement.
Lorsque vous êtes devant la structure de votre choix :
1. Lisez les étiquettes (mots, diagrammes, images)
2. Acceptez les suggestions, échangez-les OU
faites de nouvelles étiquettes.
3. Déposez le segment dans un panier, ou fixez-le sur un support ou sur une chaîne dans une grille, en fonction des étiquettes.
Répétez à volonté
10
LES SEGMENTS SONORES (montage minimal) comprennent une
représentation diversifiée de
SEGMENTS MUSICAUX représentant une diversité
de cultures, d’âges et de genres (baroque, électro-acoustique, folk, carnatique, country, fusion, etc.) de timbres (instruments acoustiques et mécaniques, produits par ordinateur, vocaux, naturels, etc.) de textures musicales (polyphonie linéaire, strates multiples, hétérophonie, homophonie, grands ensembles, solos, etc.) d’autres paramètres (contours mélodiques, modes, tempos, complexité, etc.) de reproductions sonores (mise en espace, qualité d’enregistrement, MIDI, etc.)
SEGMENTS NON MUSICAUX
d’origine naturelle (oiseaux, moustiques, eau, vent…) d’origine humaine (autos, horloges, trains, usines) et comprenant
des signaux (sirènes, cloches) des associations / sens (machine à écrire, autobus, coups de feu, soupirs)
LES SEGMENTS DE VIDÉOS ET D’IMAGES présentent dans le même ordre d’idée une variété de formes et de conceptions réalistes, abstraites ou sommaires, d’origines naturelle ou humaine, urbaine, rurale, artistique, banale, complexe, simple, etc.
N.B. Différents jumelages de sons et d’images sont ou ont été réalisés pour différents contextes (compositrices québécoises, électroacoustique, textures musicales, styles & techniques de voix...).
11
LES ÉTIQUETTES DE GRILLES (version de base) comprennent une variété de
paramètres. Les étiquettes sur les paniers, les supports et les grilles peuvent être choisies par l’hôte ou par l’utilisateur. Les mots sur les étiquettes sont inspirés de la terminologie utilisée en psychologie et en musicologie. Ils peuvent identifier une humeur, un genre, un paramètre sonore, une association visuelle.
Exemples:
heureux / triste agité / calme naturel / artificiel urbain / rural lent / rapide foncé / clair complexe / simple dense / aéré musical / non musical familier / étrange lisse / rude
etc.
12
CARACTÉRISTIQUES
On s’amuse à explorer, à se promener en «tenant» des sons
Il est fascinant (et utile) de visualiser des systèmes de classification tridimensionnels
On se divertit en essayant d’exprimer des associations perceptuelles (une espèce de charade du XXe siècle ou un jeu de société [Web?])
La découverte des réactions et des associations des collègues et amis est fascinante
Il stimule les esprits créatifs
Il aide à briser la glace
Ses structures physiques et son contenu peuvent être entièrement configurés
13
II. L’IMP comme outil...
de création et de collaboration artistique
La salle de jeu convient bien à la création artistique pour toutes sortes de raisons :
une fois que l’on a attribué un code à barres aux fichiers d’images ou de sons, l’artiste peut facilement y accéder et les classer de n’importe quelle façon (beaucoup plus facilement que des fichiers informatiques, par exemple);
le processus de classement — qui peut être une étape-clé du processus créatif, mais est souvent de nature subliminale — est révélé au grand jour;
l’environnement est particulièrement propice à la collaboration puisqu’il permet aux artistes de découvrir rapidement, et d’une manière inédite jusqu’ici, les préférences et la terminologie descriptive de chacun.
le défi Parvenir à exprimer une vision artistique aux autres même sans partager une terminologie ou des références artistiques communes.
la méthode de l’IMP En voyant et en classant ensemble de nombreux segments, les artistes peuvent découvrir une foule de détails sur les regroupements des autres, leur usage de la terminologie, leurs préférences esthétiques, leur sensibilité, etc. On peut choisir des étiquettes et des catégories de critères de classement en fonction des priorités d’un projet collaboratif. De plus, les artistes peuvent fournir leurs propres fichiers pour refléter leur vision. Ces fichiers peuvent être tirés de leurs œuvres ou d’autres sources qui peuvent les aider à exprimer leurs idées. La structure de l’IMP peut aider à conceptualiser des idées artistiques en permettant aux artistes d’isoler des fragments de son ou d’image et d’expérimenter différentes façons de les organiser : par exemple pour faire la distinction en actif et passif, tendu et calme, dissonant et harmonieux, etc. Ceci permet de concevoir l’œuvre comme l’organisation de petits modules pouvant comporter un degré élevé de complexité, mais dont on se souvient comme de petites unités. Cet aspect est intensifié par les récentes innovations en matière de logiciels qui permettent des variations dans la vitesse de lecture et différentes options de filtres de couleurs.
14
Comme outil d’analyse multimédia et de recherche artistique temporelle L’Interactive Media Playroom a été conçu spécifiquement pour analyser la musique et le multimédia. L’approche a été élaborée dans le cadre du projet Armchair Researcher (voir l’Annexe C). Sa conception permet de résoudre certaines lacunes des méthodes d’analyse classiques comme :
La nécessité de mettre davantage l’accent sur l’aspect rythmique de la musique
La plupart du temps, l’analyse musicale se penche sur des aspects reliés à la tonalité comme l’harmonie, tandis que seules de rares analyses de mélodies ou de motifs se penchent sur les notions de rythme. De nombreux aspects de l’analyse rythmique se perçoivent difficilement dans les partitions, même s’ils sont évidents à l’audition. Ce problème nous a incités à nous pencher sur l’analyse auditive (voir ci-dessous et lire la thèse de doctorat de Mountain intitulée An Investigation of Periodicity, 1993). La nécessité de se doter d’une méthode d’analyse auditive plus raffinée
Puisque la plupart des musicologues étudient les partitions (visuelles), ils n’abordent jamais la musique sans un document écrit et négligent donc la plupart des éléments suivants :
de nombreuses formes et caractéristiques fondamentales du jazz, du folk et du rock; une grande partie de la musique non occidentale (perse, indienne, africaine,
indonésienne, chinoise, etc.); la plupart de la musique électro-acoustique et de l’informatique musicale.
En outre, certains aspects expressifs de l’interprétation sont généralement difficiles à déterminer au moyen de la partition, étant enseignés oralement aux musiciens. La nécessité d’analyser la musique et la conception sonore des œuvres multimédias
On analyse rarement la musique de film, de danse, de vidéo, de performance ou d’installation, mais lorsqu’on le fait (comme dans Le sacre du Printemps de Stravinsky), les aspects étrangers à la musique sont rarement étudiés, comme s’ils n’avaient aucune influence sur la conception et la réception de l’œuvre. Cette lacune semble encore plus prononcée lorsque l’on enseigne le son à des non-musiciens (comme en communication, en animation, en danse, etc.). Comment pouvons-nous formuler des commentaires intelligents, ou même accorder des notes justes, aux œuvres multidisciplinaires? Un intérêt pour identifier l’humeur, l’émotion, le caractère
Les non-professionnels considèrent souvent l’humeur ou l’émotion comme la caractéristique fondamentale de la musique (même si la principale motivation personnelle de Rosemary Mountain pour composer consiste à créer des conceptions sonores abstraites). On améliore souvent l’interprétation d’une œuvre en suivant des instructions pour jouer en respectant une certaine émotion. Nous trouvons donc malheureux que l’humeur et les émotions soient généralement évitées dans les discussions savantes sur la musique. Ceci semble être un phénomène du XXe siècle, probablement plus marqué en Amérique du Nord et probablement associé à l’effort généralisé des théoriciens d’être plus « scientifiques » et « objectifs ».
15
Puisque les psychologues ont proposé de localiser les humeurs sur une grille à deux ou à trois dimensions, il nous a semblé qu’une structure comme l’IMP pourrait encourager les musiciens à identifier ces caractéristiques et, subtilement, à stimuler les discussions à ce sujet.
Un souhait de multiplier les discussions avant de publier des analyses musicales
Les psychologues ont tendance à demander l’opinion de plusieurs personnes avant de formuler des conclusions, tandis que les musicologues travaillent souvent seuls, sous prétexte, on suppose, qu’ils trouvent difficilement l’expertise nécessaire chez leurs collègues. Un postulat de base de ce projet est qu’une augmentation des discussions entre experts de différentes disciplines — théoriciens, artistes, interprètes, non-musiciens — pourrait être stimulante et gratifiante grâce au partage de différentes perspectives.
Les avantages de l’IMP
L’IMP invite les participants à classer des segments musicaux en fonction du son, sans référence à la partition (analyse auditive). Ainsi, tous les types de musique et tous les auditeurs se retrouvent sur le même pied.
L’IMP permet à la fois une étude informelle et rigoureuse des rapports entre le son et l’image grâce à des segments vidéo silencieux qui peuvent être associés à n’importe quel extrait sonore. Il en résulte une connaissance saisissante au niveau fondamental. Le chercheur peut élaborer des études nécessitant le jumelage de sons et d’images particuliers, et peut utiliser des étiquettes pour classer ce qui décrit la nature des interactions. Nous nous sommes inspirés en grande partie des termes de Michel Chion, mais nous puisons aussi dans d’autres sources (voir nos feuilles de référence sur la terminologie).
L’IMP a pour objectif d’être à la fine pointe des travaux dans les domaines de l’analyse musicale et multimédia. Grâce à nos collaborateurs, nous sommes reliés à d’importants sites de référence comme L’Encyclopédie des arts médiatiques de Louise Poissant et EARS (Electro-Acoustic Resource Site) de L. Landry. Nous sommes également en train de constituer une bibliothèque matérielle et virtuelle (comprenant livres, articles, CD, etc.) dont la collection est cataloguée dans une base de données annotée par des membres de l’équipe et des collaborateurs.
16
Comme outil de recherche en psychologie
Rosemary Mountain se fascine pour la mémoire et la connaissance depuis l’enfance. Sa fascination pour la perception du temps et du rythme l’a amenée à s’intéresser aux études savantes en psychologie au cours de sa recherche doctorale. Toutefois, elle juge que de nombreux problèmes entravent l’utilité des études des psychologues portant sur la musique.
Les enjeux
Jusqu’à tout récemment, la plupart des expériences en psychologie musicale étaient basées sur des corpus du XIXe siècle, probablement parce que de nombreux psychologues avaient reçu une éducation musicale conventionnelle, comme des leçons de piano privées à l’adolescence, avant de choisir leur carrière. À titre de compositrice et d’amatrice de musique actuelle, Rosemary Mountain se sentait frustrée devant le manque d’exemples et de résultats qu’elle pouvait transposer aux œuvres du XXe siècle. Elle a décidé de remédier à cette situation en adoptant trois stratégies :
i) amasser une collection d’extraits du répertoire du XXe siècle qui pourraient constituer une richesse de matériel pour les études en psychologie;
ii) apprendre davantage auprès de ses collègues intéressés sur les méthodes et
la terminologie des psychologues, et partager cette information à son tour;
iii) mettre sur pied un forum d’échanges pour les musiciens et les psychologues.
Autres enjeux clés :
Les expériences en psychologie exigent des mois ou des années de préparation, de
tests et d’analyse des résultats, une situation particulièrement malheureuse lorsque les
gens attendent impatiemment les résultats ou lorsque l’on découvre une lacune dans la
méthodologie ou la formulation des questions après la publication des résultats. L’IMP est conçu pour régler ces problèmes et peut servir à mener des études rigoureuses. En fournissant un environnement intéressant et mobile, et en établissant des « points nodaux » dans différents pays, l’IMP donne aux psychologues l’occasion d’avoir accès à une plus grande diversité de participants. Toutefois, l’IMP est probablement plus utile comme environnement de prétest où les participants sont encouragés à donner leur opinion oralement aux chercheurs. Ainsi, on peut faire l’essai de nombreuses questions et formules de test sans longue préparation, ce qui permet au chercheur d’avoir une idée des différentes interprétations et réactions avant de concevoir une version plus « rigoureuse » de son expérience.
· Même si les psychologues interviewent ou testent une variété de sujets, il semble que, souvent, l’échantillon soit trop petit pour donner une interprétation réaliste. De plus, dans bien des cas, on ne tient pas compte du fait que de nombreux groupes de sujets sont du même groupe d’âge (étudiants universitaires) et proviennent de
17
groupes socioculturels limités (par exemple une petite ville en Iowa, en Ontario ou au Yorkshire). En outre, en raison de la grande quantité d’expériences menées dans des laboratoires peu invitants et aux chaises inconfortables, au moyen de questionnaires interminables et de fichiers MIDI souvent désagréables à l’oreille, ils ne représentent pas des segments complets de la population qui ne pénètrent pas volontairement dans de tels environnements.
Les psychologues aggravent ce problème en insistant pour trouver des réactions « normales » aux différents stimulus. Toutefois, les réponses à certaines enquêtes expérimentales ne cadrent pas avec la majorité des réponses, ce qui nous porte à imaginer que les points aux extrémités des graphiques (« cas aberrants ») pourraient représenter nos amis et éventuellement des publics potentiels pour nos propres créations. Nous voulions créer un environnement où les réponses inhabituelles ne seraient pas rejetées parce que jugées non pertinentes.
réaction « normale »
« cas aberrants »
nous, nos amis et nos publics?
Expériences en cours de développement qui font appel à l’IMP pour des études psychologiques
Constituer des bases de données d’images (art et architecture) et de sons provenant d’époques différentes (œuvres artistiques du tournant du XXe siècle, futurisme, constructivisme, dadaïsme, minimalisme) et comparer les classements des visiteurs pour chaque ensemble de données. (Harry Mountain)
Créer une grille inspirée de la matrice de similarités de timbres élaborée par Grey, Wessel et autres; catégoriser une base de données des tons générés par différents instruments de musique; inventer des instruments dont le son se situerait dans des zones de la matrice de similarités de timbres où ne se trouve aucun instrument existant (autrement dit, « combler les lacunes »).
Mener l’étude d’échelles multidimentionnelle proposée par Annabel Cohen, en vue de tester si l’IMP peut cartographier (à titre d’installation tridimensionnelle) la classification des sons comme les procédures psychophysiques habituelles (plus abstraites) appliquées aux questions de représentation du timbre (p. ex. Wessel, Carterette, Kendall, Sheppard, Krumhansl, Iverson).
18
Concevoir des expériences en vue d’enrichir notre vocabulaire pour la description de textures musicales et de gestualité musicale.
Concevoir des expériences en vue de nous aider à déterminer dans quelle mesure les éléments suivants sont particuliers à un individu, à un groupe, à une culture ou à l’humanité, et dans quelle mesure ils peuvent être modifiés :
associations d’humeur et d’émotions;
perception de caractéristiques sonores (comme le niveau de mouvement ou de complexité);
pertinence des jumelages sons-images.
Conseillers pour les questions de perception et de connaissance :
Annabel Cohen, PhD (Université de l’Île-du-Prince-Édouard, Charlottetown : psychologie de la musique de cinéma) Rolf Inge Godøy, PhD (Université d’Oslo : analyse et composition) imagerie musicale, geste Stephen McAdams, PhD (Chaire de recherche du Canada, Université McGill : membre du Centre for Interdisciplinary Research in Music Media and Technology (CIRMMT))
Comme outil pour la recherche d’informations
Même si l’IMP n’a pas été conçu à l’origine spécialement pour la recherche d’informations musicales, il permet d’approfondir différents aspects qui recoupent ce secteur. Le but de notre projet était à l’origine de mieux comprendre comment les gens réfléchissent à la musique et à l’art sonore, et pour encourager le raffinement de la terminologie et des méthodes de description appropriées à la musique. Toutefois, il permet aussi de mieux comprendre des problèmes de classification en général. Ainsi, les stratégies conçues pour favoriser les discussions sur ces sujets, ainsi que les réponses réelles que nous commençons à amasser, peuvent nous donner un point de vue inhabituel aux questions soulevées par la recherche d’informations musicales (RIM).
La classification et la recherche d’informations dans le domaine musical sont utiles pour les recherches de musique sur Internet, le catalogage en bibliothèque, les magasins de CD, etc., ainsi que pour l’entreposage et l’extraction de fichiers média (lors de l’élaboration d’un projet créatif, par exemple). Dans ces contextes, une meilleure compréhension des éléments descriptifs, des associations de sons et d’images et de la reconnaissance des caractéristiques fondamentales d’un extrait musical permettront d’éviter des situations comme celles-ci : leaves.wav leaves1.wav leaves1a.wav
leaves1a-low.wav\ leaves1a-low-muffled.wav leaves1a-low-muffled-16bit.wav
19
Cette technique peut aussi proposer et tester de nouvelles approches pour cataloguer des types de données très différentes et y avoir accès. Un des aspects intéressants de l’Interactive Multimedia Playroom est que n’importe quel participant peut proposer une étiquette que l’on peut mettre à l’essai pour évaluer son utilité à désigner la variété d’extraits musicaux et sonores. De toute évidence, quelques-unes ne conviennent pas à la matrice (qui implique un continuum entre les pôles de chaque axe) : le genre et la couleur en sont deux bons exemples. Nous avons regroupé les autres étiquettes (qui n’identifient pas des genres) sommairement en deux groupes : caractéristiques sonores et qualités de l’association ou du caractère (incluant l’humeur). Pour les caractéristiques sonores, nous avons fait appel à des catégories comme la mélodie, la texture, le geste, l’accord, le rythme, etc. Elles peuvent servir dans une classification préliminaire pour se reporter à ce qui semble les caractéristiques les plus frappantes d’un son ou à la meilleure façon de le décrire; certaines peuvent aussi être utilisées comme base pour des étiquettes d’axes afin d’encourager le classement en fonction de la nature de la caractéristique : texture « aérée / dense » ou « plus / moins granuleuse »; mélodie « douce / angulaire »; rythme « régulier / irrégulier », etc. Bien entendu, étant donné la quantité de vocabulaire musical emprunté à d’autres disciplines, ces descriptions deviennent rapidement associatives. On ne le considère pas comme un problème, mais plutôt comme une façon intéressante de percer les idées de chercheurs comme notre collaborateur R. I. Godøy qui suggère que notre façon d’apprécier l’information auditive est souvent associée à une forme d’imagerie musicale, soit au niveau subliminal soit ouvertement.
Comme outil pédagogique
L’IMP s’avère utile à différents niveaux pédagogiques (du primaire aux études universitaires supérieures) et dans des contextes variés (pour initier aux sons en général ou pour analyser certains détails). L’IMP est tout naturellement une excellente ressource pour les nouveaux programmes scolaires où les élèves sont appelés à étudier les rapports entre le son et l’image sur les plans créatifs ou analytiques. Rosemary Mountain s’intéresse à la pédagogie depuis le secondaire lorsqu’elle s’est documentée sur différentes approches éducatives, sur des modèles d’environnements propices à l’apprentissage et sur les facteurs psychologiques. De nombreuses années plus tard, tout en terminant son doctorat, elle a enseigné deux ans au secondaire au Royaume-Uni et a suivi des ateliers intensifs en enseignement où elle a découvert l’élaboration soignée des programmes du nouveau programme pédagogique national. Lors d’un séjour au Portugal, elle a participé au développement de la licence en formation musicale et s’est assuré que
20
la réflexion pédagogique soit un élément important du programme. Elle a également enseigné la musique au ministère de l’Éducation. Toutes ces expériences l’ont familiarisée avec différents aspects de la pédagogie qui ont influencé la conception de l’IMP : concepts ludiques, besoin de terminologie et efficacité de la participation active (physique et mentale) dans l’apprentissage. Au cours des nombreuses années où elle a enseigné la composition musicale, la musique pour non-musiciens, le son en animation, l’histoire de la musique du XXe siècle et l’analyse musicale, elle a collectionné de cours extraits d’œuvres musicales variées pour illustrer l’utilisation des termes ainsi que les éléments et les concepts musicaux. Elle s’est intéressée en particulier à l’exploration des notions de « texture » et de « geste » (gesture). Bien que ces termes sont souvent utilisés par les compositeurs et les musicologues, ils ne sont pas clairement définis dans les manuels. En outre, les théoriciens et les interprètes ne s’entendent pas sur leur signification. Nous concevons donc des expériences en vue de trouver des descripteurs pour les différents types de mouvement et de textures. On peut pousser cette recherche en comparant des textures sonores à des images de textures visuelles (et même avec des échantillons de tissus et d’autres matières), et en comparant les gestes sonores avec des dessins gestuels et des vidéos de danseurs et d’animation réalisées pour ces besoins.
Comme outil pour favoriser les échanges multiculturels
L’intérêt du couple Mountain pour la variété des traditions culturelles et des paysages explique la diversité des segments utilisés dans l’« ensemble de base ». Cette diversité est d’ailleurs au cœur du projet. L’expression des jeunes élèves des écoles multiculturelles de Montréal, dont les visages s’illuminent de plaisir en entendant un son ou un extrait musical qui éveille un souvenir positif, est un effet direct de la grande variété des segments de toutes natures puisés dans cet assortiment. C’est aussi un élément clé du projet développé à Aveiro, Dallas et Montréal grâce auquel les élèves créeront ou choisiront des segments représentatifs de leur propre environnement qui seront téléversés et partagés avec d’autres. Les adultes peuvent aussi profiter de ces courts segments pour exprimer des aspects moins tangibles de leur patrimoine et les partager.
Comme outil d’analyse de marché
Le projet IMP n’a pas été conçu à l’origine en vue d’une application pour l’analyse de marché. Toutefois, il a été pensé pour faciliter les expériences psychologiques rigoureuses et pour identifier les préférences personnelles en matière d’image, de musique et des interactions entre les deux. De plus, il a inspiré le psychologue Norman Segalowitz (Université Concordia) à croire que nous pourrions être en mesure de postuler de nouvelles façons de comprendre de nouveaux regroupements en fonction de « profils esthétiques » et de les tester. Les plus récents développements, comme la base de données
21
en ligne, améliorent grandement la facilité d’incorporer du contenu récent et un nombre accru d’experts de toutes les disciplines et peuvent aider les partenaires de l’industrie à choisir ou à concevoir du contenu. De plus, le système avec senseurs et la version virtuelle (qui agiront comme interface entre les points nodaux, mais peuvent aussi être utilisés seuls) en cours d’élaboration aideront grandement à mener des recherches auprès de sujets très variés puisque les points nodaux peuvent être installés moyennant un investissement minime sur le plan international. Étant donné la nature ludique de cet outil, les gens ont du plaisir à penser à leurs préférences et à les exprimer. L’utilisation (optionnelle) de l’axe et d’autres étiquettes de classement permet aussi de raffiner l’interprétation et l’évaluation.
Comme outil de traductologie
Des membres des points nodaux de Dallas et d’Aveiro nous ont informés que l’IMP se prêterait bien à des applications relevant de la traduction, à la fois pour les adultes et les enfants qui apprennent une langue étrangère et pour les chercheurs (qui s’intéressent aux variations dialectales, par exemple). Pour ce faire, il s’agit simplement de prolonger l’idée initiale : après avoir cherché la position idéale d’un segment en fonction des étiquettes, on peut tester la pertinence de la traduction de cette étiquette pour en extraire des nuances contextuelles ou culturelles. Les étiquettes existent en versions anglaise, française, portugaise et allemande.
Comme outil pour évaluer les paramètres sonores
La conception de l’IMP permet de comparer facilement les attributs sonores d’une variété d’exemples. La combinaison des sons « portatifs », des cadres de classification et de la terminologie adaptable au besoin le rendent particulièrement utile dans des domaines de recherche associés au son : la langue et le langage, les chants d’oiseaux, l’acoustique, etc. En utilisant des éléments de contenu choisis avec soin (ou spécialement créés à cette fin), on peut poser des questions et donner des réponses en utilisant des exemples, malgré le manque de vocabulaire commun précis. De plus, la terminologie existante et celle qui est proposée au cours de l’expérience peuvent facilement être enseignées, testées et raffinées.
Comme outil de sensibilisation à l’écologie acoustique
Pour des raisons semblables à celles évoquées précédemment, on peut facilement comprendre les études de paysage sonore et les enjeux d’écologie acoustique au moyen d’activités exploratoires dans l’IMP. Bien que les extraits sonores sont généralement limités à 10 ou 12 secondes, on peut facilement incorporer des extraits beaucoup plus longs, ce qui permet d’apprécier différents environnements sonores. Cette méthode est particulièrement efficace dans de vastes espaces sombres (comme une Black Box) où des enregistrements de différents espaces intérieurs et extérieurs peuvent plus facilement évoquer l’environnement qu’ils représentent.
22
Comme outil d’interprétation musicale
L’artiste peut interpréter une œuvre en organisant les segments selon un ordre particulier (comme dans le cube tridimensionnel) puis en les numérisant l’un à la suite de l’autre et en y incorporant une chorégraphie pour concevoir le mouvement. Les musiciens peuvent améliorer la juxtaposition des sons et des images. Les danseurs et les artistes peuvent créer des mouvements ou des images qui correspondent aux segments sonores. (On peut enregistrer ces sons, ces mouvements et ces images pour les ajouter ultérieurement à la banque.)
Comme outil pour favoriser le réseautage et l’esprit d’équipe
La nature de la configuration de l’IMP encourage la communication animée et non conflictuelle, les conversations étant stimulées et enrichies par le contenu non verbal. De plus, l’outil peut être adapté à un environnement agréable pour les séances de remue-méninges, entre autres, grâce à la possibilité d’y intégrer des segments pertinents à des thèmes, des enjeux ou des esthétiques de toutes sortes, et à la multitude de façons dont les participants peuvent interagir avec ces éléments.
Puisqu’un nombre croissant de personnes de toutes les disciplines visitent l’IMP et l’utilisent pour leurs propres recherches ou pour la diffusion, on peut faire en sorte que les utilisateurs puissent la suivre plus facilement, grâce à la standardisation du cadre de base. En outre, la mise en place de plusieurs points nodaux ou répliques de l’IMP dans différentes régions du monde et dans des contextes variés facilite les tests interdisciplinaires tout en améliorant la diffusion des résultats.
musicologues, théoriciens, analystes
concepteurs
analystes multimédias
constructeurs / programmeurs
compositeurs, artistes
enseignants
psychologues cueillette d’information
23
Comme pont entre la communication verbale et non verbale
En observant les participants interagir avec l’installation, nous nous sommes rendu compte que les gens commencent à en utiliser le contenu pour expliquer des concepts et des humeurs parfois difficiles à décrire. Nous avons choisi des segments d’une durée « moyenne » de 10 à 12 secondes pour des motifs associés à la limite (présumée) de la mémoire à court terme, mais nous avons découvert que ces très courts extraits renferment suffisamment d’information pour susciter la réflexion, sans les changements de mode ou de caractère qui ajouteraient de la complexité et compliqueraient l’analyse des résultats. Cette méthode comporte un avantage additionnel : les gens peuvent interpoler un segment à la place d’une expression dans leurs phrases, ce qui leur permet de créer une « conversation améliorée ». En outre, ceux qui éprouvent de la difficulté à communiquer verbalement peuvent s’exprimer plus facilement grâce à cet accès facilité. Nous l’avons d’ailleurs constaté en travaillant avec des enfants éprouvant des problèmes mentaux dans une école de Montréal. Bien entendu, puisque dans la version originale du projet nous avons dit que nous avions tous des difficultés à décrire verbalement les sons et les images, cette découverte récente est simplement une question d’échelle et de contexte.
Comme outil de gymnastique mentale
Nous sommes nombreux à aimer passer des heures dans l’IMP. Cet environnement fascinant stimule les conversations, non seulement au sujet des perceptions et des choix de termes descriptifs, mais également au sujet des expériences personnelles, de l’enfance, des influences culturelles, etc. Ces éléments peuvent se manifester soit en tentant d’exprimer le point de vue ou les influences, ou encore en reconnaissant un élément particulier d’un extrait sonore ou visuel. Les membres de l’équipe se sont rendu compte que ces caractéristiques en feraient une installation idéale dans les centres communautaires, les résidences pour personnes âgées et les centres de réhabilitation par exemple, c’est-à-dire là où les occupants pourraient bénéficier de l’exercice mental qu’il nécessite dans un environnement social non conflictuel.
24
III. Expositions muséales
Lors d’une visite à Hexagram à Montréal, la professeure Lisbeth Goodman de SmartLab à Londres a été la première à nous alerter du potentiel d’exposition de l’IMP dans un musée1. Ce potentiel a été confirmé par différents conservateurs au Portugal, à Texas (Dallas Museum of Art) et à Montréal (Centre des sciences). Nos collègues portugais de l’Université d’Aveiro ont poursuivi cette idée de concevoir une version pour enfants qui sera installée au centre des sciences Fábrica d ’ Aveiro à l’été 2012.
IMP3 : Le premier rejeton de l’Interactive Multimedia Playroom, IMP3 (« IMP au cube ») a é té présenté à Aveiro à l’automne 2009. Il a été en grande partie construit par Inês
Rocha dans le cadre de son mémoire de maîtrise en multimédia à l’Université d’Aveiro2, sous la supervision d’Ana Veloso et d’Oscar Mealha, collaborateurs d’IMP. Mme Rocha a élaboré une nouvelle interface spécialement adaptée aux enfants de 7 à 11 ans et a également conçu des jeux à jouer dans la structure3.
1 Il est intéressant de souligner qu’ils ont inauguré leur propre espace sous le nom de « Playroom » (salle de jeu) quelques mois après cette rencontre. Ce nom avait été lancé par Oscar Mealha à Aveiro à la fin des années 1990 pendant que nous discutions de l’importance des séances de remue-méninges pour la recherche. 2 Le mémoire porte le titre de Estratégia de jogo com interface tangível para uma instalação multimédia [Stratégie de jeu dotée d’une interface tangible pour une installation multimédia]. 3 Un des jeux, « Five in a Line » [Cinq sur une ligne], a remporté une mention honorable lors du congrès international des jeux vidéos qui a eu lieu à l’Université d’Aveiro en novembre 2009.
25
IV. NESTAR:
A Network of Exploratory Spaces for Temporal Arts Research
Nouveaux espaces spatio-temporels artistiques en réseau
Nous voulons mettre sur pied un réseau de ressources pour promouvoir la recherche en arts temporels en exploitant et en améliorant la structure et les enjeux de l’IMP4. Voici les objectifs :
améliorer les aspects physiques et technologiques de l’IMP;
devenir un réseau de centres de ressources complètes;
mettre au point des contenus spécifiquement pertinents;
augmenter la visibilité et inciter davantage de personnes à explorer l’IMP et à participer à des expériences;
explorer le potentiel de création et de collaboration artistique offert par les structures et les stratégies;
analyser les résultats;
commencer à réunir les résultats et à les diffuser;
enrichir l’équipe de musiciens, d’artistes et de chercheurs;
améliorer les communications entre les membres de l’équipe et les invités intéressés, et faciliter les échanges d’idées et de contenu par le biais de l’union de communications virtuelles et personnalisées.
4 À cette fin, nous avons sollicité du financement auprès de divers organismes et avons obtenu en 2010 une bourse du Fonds d’initiative internationale du Conseil de recherches en sciences humaines du gouvernement du Canada.
26
A Network of Exploratory Spaces for Temporal Arts Research (NESTAR)
Les arts temporels désignent toutes les disciplines qui dépendent du temps pour se manifester, comme le cinéma, la télévision, la vidéo, la performance, la musique, le théâtre et la danse. Malgré l’omniprésence de la musique et des médias dans le monde d’aujourd’hui, les rapports de la musique et du son (éléments communs à la plupart des disciplines artistiques temporelles) avec le mouvement et d’autres informations visuelles ont rarement été étudiés, pas plus d’ailleurs que leur impact sur notre perception et notre réception de contenus particuliers. Nous croyons que toutes les formes d’art temporelles partagent des aspects importants qui se révèlent au moyen d’outils et de méthodologies d’analyse similaires. Ainsi, nous voulons attirer l’attention sur ce groupe distinct et concevoir des environnements, des structures, des stratégies, des méthodologies et même des questions appropriées en vue de pousser l’étude des arts temporels en général. Le but éventuel est de mettre sur pied un centre où les chercheurs pourront explorer, expérimenter et échanger des idées sur le son, l’image, le mouvement et le temps en art, en abordant également les enjeux du langage, de la perception de la communication et de l’apprentissage. L’équipe sera très présente concrètement à Montréal, mais sera également en dialogue avec des collaborateurs d’un peu partout dans le monde grâce à un espace virtuel qui permettra des interactions en temps réel avec d’autres points nodaux participant au même projet.
(extrait de la demande [refusée] déposée au
Fonds québécois de la recherche sur la société et la culture)
27
Les centres NESTAR regrouperaient les éléments suivants :
la salle de jeu multimédia interactive (Interactive Multimedia Playroom) (le centre de ressource complet + la version virtuelle + des liens vers d’autres nœuds)
cycles de conférences / séries de performances / ateliers / programme d’artistes invités
expériences et études (en cours et à l’état de projet) :
o histoire de l’art et de la musique
o analyse musicale
o association émotive : son / image / mouvement / couleur
o geste
o texture musicale
cycle de conférences et rencontres (formelles et improvisées) :
o thèmes : le temps / l’art temporel
o interaction son – image – mouvement
o classification et recherche d’informations
o communautés en réseau
o recherches cognitives (perception auditive / temporelle / multimédia)
o projets de recherche personnels
o autres domaines analogues
publications :
o bulletin trimestriel (éventuellement mensuel?)
o bulletins-éclair
o site Web (avec intranet)
COLLABORATEURS
écoles : Montréal projet Fais ta Valise (coordonnateur : Mickaël Lafontaine)
École Saint-Pierre Apôtre (coordonnatrice : Doris Ouellet)
Dallas Dallas International School (liaison : Frank Dufour)
musées : Aveiro Fábrica Ciencia Viva (coordonnateurs : A Veloso / P. Trincão
Dallas Museum of Art (à confirmer)
galerie d’art : Montréal galerie Oboro (printemps 2007)
industrie : Smart Technologies (don d’un tableau blanc interactif)
28
Nous solliciterons le soutien des communautés locales et internationales sous forme de :
collaboration
financement
prêt ou location d’espace
contenu documentaire et médiatique
traduction
services juridiques
publicité
et toute autre forme d’appui
Membres de l’équipe qui soutiennent NESTAR :
Rosemary Mountain, PhD (cofondatrice) Harry Mountain (cofondateur) Diego Agudelo-Gallo Sandeep Bhagwati José Luis Carles, PhD Annabel Cohen, PhD Ricardo Dal Farra, PhD Frank Dufour, PhD Rolf Inge Godøy, PhD Oscar Mealha, PhD
Sudhir Mudur, PhD Cristina Palmese Cilia Sawadogo Ana Veloso, PhD Marcelo Wanderley, PhD Emily Pelstring Ian Hattwick Andre Arnold Nimalan Yoganathan Julian & Max Stein Solmaz Shakerifard
30
V. Projets et objectifs à long terme Projets : version virtuelle, version avec senseurs et réseau de points nodaux
L’Interactive Multimedia Playroom existe depuis plusieurs années et génère de l’intérêt dans plusieurs domaines et de nombreux pays. Des partenaires au Portugal, en Angleterre, en Nouvelle-Zélande et aux États-Unis ont manifesté l’intérêt de mettre sur pied des « points nodaux » de l’IMP et d’établir des contacts entre les points nodaux grâce à un système de senseurs et d’une version virtuelle, basée sur le Web, de la matrice tridimensionnelle maintenant représentée par des chaînes en plastique.
La création de cette salle de jeu virtuelle maximisera son attrait pour d’éventuels collaborateurs de différentes régions. Les utilisateurs pourront téléverser leurs propres idées et les partager instantanément et à partir de pays éloignés. Ainsi, le choix des collaborateurs ne sera pas limité par leur emplacement géographique. La création de la salle de jeu virtuelle sera une étape cruciale en vue de son intégration dans une communauté en réseau. La salle de jeu virtuelle sera reliée à des installations physiques aux différents points nodaux dans le monde, peut-être grâce à un système de senseurs IRF (identification par radiofréquence). Ces senseurs seront intégrés à des endroits stratégiques des installations pour permettre la saisie informatique instantanée de l’installation d’un segment. Un lien sera créé entre l’ordinateur local dans notre centre et la salle de jeu virtuelle pour permettre de visionner à distance l’installation d’un segment grâce à des ampoules DEL installées dans la matrice. Nous pouvons déjà compter sur la collaboration d’étudiants des cycles supérieurs de Montréal et d’Aveiro à titre de conseillers techniques. Dans un budget préliminaire, nous avons estimé le coût de fabrication des matrices munies d’un système de senseurs et d’ampoules DEL entre 6 000 et 9 000 $ canadiens. Les concepts de base de la salle de jeu interactive sont continuellement révisés et mis à jour. La conception s’améliore naturellement pendant que ceux d’entre nous qui y collaborent poussent notre compréhension collective des enjeux et des facteurs en jeu. Pendant ce temps, la nature du projet réussit à encourager les participants, qu’il s’agisse de membres de l’équipe ou de visiteurs, à passer beaucoup de temps à réfléchir aux associations latentes que nous avons à l’égard du son et de l’image et de la façon de les articuler. Nous avons jugé primordial d’avoir une telle variété de disciplines représentées sur l’équipe et dans la sélection des sites des points nodaux, afin de nous assurer que ne pas tirer de conclusions hâtives sur la façon dont les « gens » écoutent, articulent des idées, les associent et communiquent. Nous ne sommes pas tant intéressés à connaître la réaction « de la moyenne des gens » ou « de la majorité » à l’égard de la musique et de l’image que notre propre réaction et celle de nos collègues. Je propose que cette priorité, ainsi que l’importance que nous accordons aux
31
discussions ouvertes sur la catégorisation, nous donne des idées sur la recherche menée par les membres des différentes communautés disciplinaires et interdisciplinaires. En outre, le concept de « cadre souple » de l’IMP peut facilement servir de banc d’essai pour les travaux en cours.
un réseau en pleine croissance…
analyse musicale et multimédia psychologie exposition muséale scientifique collaboration artistique classification et recherche d’informations
points nodaux en construction :
Montréal (Canada) : i) analyse musicale et multimédia
ii) école pour enfants handicapés
Dallas (É-U) : (école et musée - enfants, université - multimédia)
Aveiro (Portugal) : (exposition muséale - enfants)
Madrid (Espagne) : (musique, architecture)
32
Objectifs à long terme a. dans le domaine universitaire et scientifique :
élaborer et raffiner un vocabulaire pour le discours critique sur le son dans le domaine du multimédia (et, par extension, dans les arts temporels en général);
constituer un noyau de chercheurs hautement sensibilisés au son et à son potentiel pour communiquer des idées, des ambiances et des images particulières;
permettre la mise en commun d’outils, de données et de résultats de recherche en développant un cadre et des ressources;
mettre au point des outils et des stratégies pour la création multimédia;
contribuer à une meilleure compréhension de la perception et de la réception du son et du multimédia;
contribuer à une meilleure compréhension de la classification, de la constitution d’index et du forage de données.
b. dans le domaine des arts :
concevoir des environnements optimaux pour permettre au compositeur, à l’artiste sonore et à l’artiste multimédia d’explorer toutes les configurations possibles, à la manière d’un carnet de croquis tridimensionnel;
fournir une façon élégante d’améliorer la collaboration entre les artistes.
c. dans le domaine des affaires :
concevoir des expositions muséales interactives;
élaborer du matériel pédagogique;
mettre sur pied un système pour favoriser l’esprit d’équipe;
concevoir un logiciel facile à adapter par l’usager, pour organiser des fichiers multimédias.
33
Autres rêves
Nous cherchons à développer des mécanismes ludiques pour altérer les sons et les images, pour permettre des modifications intuitives par les non-spécialistes grâce à un système de contrôleurs physiques analogues (p. ex. un vélo stationnaire qui gérerait la vitesse d’un segment sonore ou vidéo).
Dispositif de modification du son (ou de l’image) de l’extrait par l’utilisateur: tempo / amplitude / timbre (filtre spécial) / fréquence (transposition) / espace (retard)
Avec l’expansion du réseau et l’augmentation du nombre de centres, nous espérons que différents lieux seront en mesure d’accueillir un centre de ressources dans des environnements très différents, ce qui nous permettra d’analyser l’impact de ces environnements sur les réactions. De plus, un espace à niveaux multiples doté de nombreux « coins et recoins » nous permettrait de mettre sur pied un système de classement plus perfectionné. D’ici là, nous pourrons concevoir (ou nous approprier) des espaces virtuels d’une complexité considérable. Nous croyons aussi qu’il facilitera le développement d’un système de classement d’un genre nouveau (un logiciel de navigation pour remplacer la structure arborescente standard par un modèle virtuel tridimensionnel plus organique).
34
VI. Sommaire
Dans notre société oculocentriste, on discute rarement des caractéristiques propres au temps et au son, en partie par manque d’un vocabulaire convenable. Pourtant, le temps et le son exercent une influence profonde sur notre perception de nombreuses œuvres d’art. Ce projet a pour objectif d’aider à développer et à raffiner un vocabulaire commun et à établir des références communes pour discuter, pour analyser et pour améliorer la réflexion critique sur les disciplines artistiques axées sur le temps. Il est conçu pour améliorer la communication entre les artistes et les associés en général, et pour sensibiliser les gens aux enjeux associés à l’interprétation et au son qui sont souvent négligés par les personnes étrangères à ces disciplines. Au fur et à mesure que le nombre de participants augmente, certains mots, sons et images deviendront particulièrement bien adaptés pour exprimer des catégories et des corrélations fondamentales, et deviendront ainsi naturellement intégrés dans un vocabulaire de travail pour la description et l’analyse. Les stades préliminaires du projet comprennent de fréquentes rencontres avec les artistes et les musiciens pour discuter d’œuvres des membres qui allient le son à un autre élément. Grâce à un dialogue critique, nous pourrons mettre sur pied une liste de termes préférentiels et de définitions pour décrire de telles œuvres d’art. Cette étape mènera à une croissance organique et au raffinement d’un vocabulaire approprié, ainsi qu’une sensibilité accrue aux éléments sonores des œuvres d’art. On s’inspirera aussi de ces discussions pour proposer des « étiquettes d’axes ». Le projet réunit un noyau de chercheurs hautement qualifiés provenant des domaines de la danse, du cinéma, de l’animation, de la musique, du théâtre et de l’architecture, ainsi que de spécialistes de la perception, de la connaissance et de la technologie des médias. En outre, grâce à des conseillers internationaux et à la création d’un site Web, le projet sera accessible à tous les joueurs intéressés à travers le monde. Le projet devrait accélérer la progression de la compréhension de notre perception du son et de la musique dans des contextes multimédias en dirigeant l’attention des « utilisateurs » vers des domaines où ils peuvent réfléchir à la musique tout en explorant la banalité des réponses. L’outil de recherche en soi encourage des systèmes de classification multiples plutôt que la recherche d’une « meilleure » solution unique, ce qui permet de raffiner continuellement les réponses et accueille les recherches collaboratives. Il illustre également le rôle de la conception esthétique d’un laboratoire et de ses appareils et les défis posés par la notion que le jeu est l’antithèse de la recherche intentionnelle.
35
Annexe A : Collaborateurs
L’aspect sans doute le plus remarquable du projet est la diversité des domaines d’expertise des personnes qui se sont offertes pour participer, qu’il s’agisse de conseillers ou de chercheurs. Annabel Cohen et Stephen McAdams connaissent à fond les études en psychologie (dans les domaines de la musique de film et de la perception auditive, respectivement); Louise Poissant et Leigh Landy sont directeurs de projets vis ant à définir la terminologie ( pour l ’Encyclopédie des arts médiatiques et EARS, respectivement); les autres membres de l’équipe sont tous des artistes et chercheurs renommés en design, en danse, en sculpture, en cinéma et en musique.
Collaborateurs, conseillers, hôtes :
Rosemary Mountain, PhD
(cofondatrice)
Harry Mountain (cofondateur)
Ana Veloso, PhD
Frank Dufour, PhD
Ricardo Dal Farra, PhD
Rolf Inge Godøy, PhD
Sudhir Mudur, PhD
Annabel Cohen, PhD
Louise Poissant, PhD
Marcelo Wanderley, PhD
José Luis Carles, PhD
Cristina Palmese
Luis António Gutierrez, PhD
Erin Manning, PhD
Sandeep Bhagwati
Stephen McAdams, PhD
Oscar Mealha, PhD
Doris Ouellet
Mickaël Lafontaine
John Coulter
Emily Pelstring Assistants de recherche (actuels / récents) : Julian Stein (BFA électroacoustique,
Concordia)
Maxwell Stein (BFA électroacoustique,
Concordia)
Ian Hattwick (PhD technologie musicale,
McGill)
Solmaz Shakerifard (MEd musique, McGill)
Randolph Jordan (PhD lettres et sciences
humaines, Concordia)
André Arnold (PhD design, Concordia)
Ameesha Joshi (MFA arts plastiques :
production cinématographique, Concordia)
Nimalan Yoganathan (BFA électroacoustique, Concordia)
On encourage toute personne qui souhaite intégrer l’équipe à écrire aux responsables à l’adresse :
36
Annexe B : Présentations et publications (récentes et à venir)
Depuis sa création, l’Interactive Multimedia Playroom a été présenté sous des formes
conceptuelles et matérielles dans une variété de contextes :
Sept. 2003 Flexible Frameworks : The Multimedia Thesaurus présenté à la Ve conférence triennale ESCOM (European Society for Cognitive Studies in Music), Hannovre (Allemagne), voir les actes dans Proceedings of the 5th triennial conference of ESCOM.
Sept. 2005 MMT Travel Kit, démonstration présentée lors de l’International Computer
Music Conference à Barcelone
Oct. 2005 Tool/Game/Environment: The Interactive Multimedia Thesaurus & Playroom EMS-05 (Electroacoustics Music Studies), conférence et installation à Montréal
2005-2006 Différentes présentations de l’installation aux invités et commanditaires d’Hexagram, notamment des agences municipales, régionales et fédérales, des ministères, les équipes de R et D du Cirque du Soleil et de Daniel Langlois, le London Science Museum, etc.
Mai 2006 Installation de l’IMP au Pavillon des sciences de l’UQAM dans le cadre des premières 24 Heures de science de Montréal
Juin 2006 Rapport d’activités sur l’Interactive Multimedia Playroom et Hexagram, Deca In Festa, Département d’art et de communication de l’Université d’Aveiro, Portugal; également présenté au directeur du musée de science Fabrica d’Aveiro
Août 2006 Report on the Interactive Multimedia Playroom, département de psychologie de l’Université de l’Île-du-Prince-Édouard, présenté aux étudiants et aux professeurs de différentes disciplines.
Oct. 2006 Name that mood! Describe that tune! Invitation to the IMP, affiche et démonstration à ISMIR [International Society for Music Information Retrieval] à Victoria (Canada)
Avr.-mai 2007 The Crib in the Playroom, première grande installation publique de l’IMP à la galerie Oboro, Montréal, Canada.
Juillet 2007 Installation de l’IMP présentée comme événement spécial à la conférence Society for Music Perception & Cognition, Montréal.
Oct. 2007 Playful Tools, Serious Questions, conférence et installation de l’IMP lors de la conférence de l’Association canadienne d’acoustique à Montréal
Mars 2008 Présentation de l’IMP dans le cadre du concert-symposium intitulé Music of all ages... and genders avec Nicole Carignan (UQAM), Mireille Gagné (Centre de musique canadienne) et France Leblanc (MAESTRA) à l’Université du Québec à Montréal
37
Juin 2008 Présentation d’une conférence intitulée Sorting Sounds : testing tools & strategies à la conférence EMS-08 (Electroacoustic Music Studies) à Paris, GRM/ Sorbonne (sur l’usage de l’IMP pour la classification de la musique électroacoustique)
Juillet 2008 Présentation de l’Interactive Multimedia Playroom dans un symposium-concert intitulé Music of all ages... and genders avec Nicole Carignan (Université du Québec à Montréal), Mireille Gagné (Centre de musique canadienne, Québec) et France Leblanc (MAESTRA) à la conférence ISME (International Society for Music Education) à Bologne (Italie)
Mai 2009 Installation de l’Interactive Multimedia Playroom avec trois matrices, chacune dédiée à une zone distincte (relations son-image, paramètres sonores ou visuels, humeur ou association) et différentes zones associées (par des codes couleur et des dépliants) à différentes disciplines. L’installation, accessible surtout sur invitation, a permis de présenter le projet à différents partenaires potentiels, notamment le Centre des sciences de Montréal, des musiciens de I Musici et de La Nef, ainsi que des chercheurs
Janvier 2010 Installation de l’Interactive Multimedia Playroom pour recevoir quatre groupes d’élèves de Montréal dans le cadre du programme Fais ta Valise
Mai 2010 Présentation de l’Interactive Multimedia Playroom à la Black Box d’Hexagram de l’Université Concordia, à titre de présentation des recherches de Concordia dans le cadre du Congrès des sciences humaines et sociales
Mars 2011 Installation à long terme de l’IMP à l’école Saint-Pierre-Apôtre, Montréal
Mai 2011 Présentation de l’Interactive Multimedia Playroom à différents partenaires potentiels à Dallas Museum of Art et Dallas International School, Texas
Juillet 2011 Installation de l’IMP au congrès et festival de cinéma d’Avanca au Portugal
Juillet 2012 Installation de l’IMP au congrès et festival de cinéma d’Avanca au Portugal
à venir
hiver 2012-13 Installation de l’IMP à titre d’exposition pilote à long terme au musée de science Fábrica Ciência Viva à Aveiro (Portugal)
Mars 2013 Installation de l’IMP à l’Universidad Autonoma (Musique) et à l’Universidad Técnica (Architecture), Madrid, Espagne
38
Annexe C: Projets connexes Le projet Interactive Multimedia Playroom découle des travaux de Rosemary Mountain sur les nouvelles stratégies d’analyse musicale et multimédia et le choix de l’approche qui convient le mieux à l’œuvre et au contexte de recherche.
Lancé en 1998-1999, le projet Armchair
Researcher rassemblait ses premières réflexions sur des stratégies et des sujets à explorer. On y trouvait notamment une liste de « questions rarement posées » pour lancer la réflexion. On peut trouver le questionnaire et davantage de renseignements sur le site Web :
http://www.armchair-researcher.com
Coffre à outils pour l’analyse musicale Ce projet a pour objectif de présenter et d’évaluer les nombreuses façons d’aborder et d’écouter la musique. Il cherche à expliquer la diversité des approches et des objectifs d’analyses, et propose des stratégies pour choisir les outils les plus appropriés à ces fins. Il est conçu pour être présenté sous forme de livre, de site Web ou de DVD-ROM, ce qui permet un accès direct aux articles et aux sites Web en ligne ainsi qu’une présentation multimédia des différents exemples, particulièrement ceux qui illustrent les formes d’analyse les moins communes. Il serait complété par une bibliographie annotée et une liste de ressources permettant au chercheur de trouver les ouvrages, articles, partitions, enregistrements, pages Web, journaux et organismes pertinents qui méritent d’être fouillés. Puisqu’une partie essentielle du travail était destinée à l’origine à l’analyse auditive, le Tool Kit peut servir de guide pour l’auditeur. Une version préliminaire, qui servira d’appel à participation pour la version complète, est en cours d’élaboration sous le nom A Template for a Tool Kit.
39
Musicologie conversationnelle Ce projet est conçu pour permettre à l’auteur d’utiliser le matériel du Tool Kit sans attendre d’avoir amassé toute l’expertise nécessaire à ce projet (ce qui prendrait probablement plus qu’une vie!). Rosemary Mountain a inventé l’expression Conversational Musicology (musicologie conversationnelle) pour désigner une approche qu’elle juge urgente pour les œuvres musicales et multimodales (qui impliquent généralement du son et presque toujours le temps). En fait, croit-elle, nous devrions adopter cette approche dans une multitude de domaines où le degré de spécialisation a mené à un manque de communication de plus en plus grand. Il s’inspire dans les grandes lignes des cours de « conversation espagnole » ou de « conversation allemande » : une méthode populaire d’apprentissage motivante et motivée par un souhait de se plonger dans une culture étrangère et de partager des informations et des idées avec ceux qui parlent cette langue. Elle débute par l’exposition de vocabulaire de base, des rudiments de syntaxe et des phrases idiomatiques.
Si on poursuit l’analogie, Conversational Musicology enrichit la section « vocabulaire » pour y inclure toute sorte de terminologie, ainsi que des concepts et des éléments de répertoire, avec différents niveaux de signification en fonction des différents « camps » — historien, théoricien, compositeur, interprète, mélomane, ingénieur du son, critique, professeur — subdivisés par genre ou type (électro-acoustique, jazz, musique sérielle, Brahms). La syntaxe pourrait être comparée aux méthodologies utilisées (socioculturelle, basée sur la tonalité, sémiotique, etc.) ainsi qu’au style de présentation des résultats de recherche (le ton universitaire hautain, celui des forums de discussion en ligne ou encore une conversation pendant une répétition). On pourrait comparer les expressions idiomatiques aux sources bibliographiques et aux préjugés les plus communs dans chaque camp.
Un des grands problèmes de la recherche multidisciplinaire est que le chercheur est si souvent confronté à une terminologie spécialisée, à des références douteuses et à des chercheurs obscurs qu’il doit passer un temps fou simplement pour découvrir si les idées abordées sont pertinentes ou non pour ses recherches. Nous avons remarqué que ce problème survient non seulement entre la musique et les études de perception auditive, entre la musique et d’autres arts de la scène, entre la musique et les études culturelles, mais aussi entre des sous-disciplines de la musique. Rosemary a été plus particulièrement découragée de découvrir qu’une partie importante de la recherche en musique électroacoustique n’est guère intelligible pour de nombreux musicologues qui sont par
40
ailleurs hautement compétents dans le domaine de la musique occidentale antérieure au XXe siècle. On observe une situation semblable dans le domaine des sciences cognitives, qui est impénétrable pour les musiciens, lesquels ne sont donc pas portés à s’y intéresser. L’auteure cherche à encourager ses collègues à contribuer au choix et à la création d’exemples auditifs ou de courts textes faciles à comprendre pour expliquer des termes et des concepts tels la tonalité, le geste, la spectromorphologie et la consonance afin que toute personne intéressée (musicien, artiste ou chercheur) puisse commencer à comprendre ce dont il est question sans avoir à suivre un ou deux cours. Dans le domaine de la collaboration artistique, il est aussi essentiel d’expliquer les différents usages des mots comme « texture » et « geste » qui peuvent avoir une signification claire, mais incompatible en danse, dans les arts visuels et en musique.
Ce sont de telles questions qui ont mené à la production d’une série de dépliants qui initieront le lecteur « profane » à ces concepts musicaux. Ils seront rédigés de façon à attirer le non-spécialiste tout en préservant l’intégrité nécessaire au spécialiste. Cette approche a le mérite particulier de permettre la publication des réflexions de l’auteur développées au fil des ans dans une foule de domaines (le rythme, le temps, la texture, le geste, l’analyse auditive, la musique dans les contextes de multimédia, etc.) sans que l’on ait à se préoccuper de l’ordre de parution ni de la globalité de la collection. Idéalement, cette œuvre donnera une idée assez claire du projet pour encourager d’autres personnes à faire de même : contribuer à la série ou créer leur propre série. Le projet est conçu comme un moyen pour définir un cadre conceptuel qui faciliterait la cueillette d’information. (Par faciliter, on entend non seulement rendre plus efficace, mais aussi plus naturel sur le plan cognitif.)
Ce projet est une autre étape du projet Armchair Researcher lancé il y a une dizaine d’années et s’inscrit dans Toolkit for Music Analysis. Il peut servir de guide au coffre à outils ou, plus probablement, rendre ce projet désuet. Ce projet est aussi intimement lié, particulièrement pour ce qui est de ses objectifs, à IMP et à NESTAR.
Les chapitres et dépliants en cours de rédaction incluent des réflexions personnelles et des croquis, ainsi que des suggestions de textes à lire et de musique à écouter sur les sujets suivants :
temps
cartographie du domaine (de la musicologie et de l’analyse)
texture
geste
consonance / dissonance (harmonie, rythme, timbre)
accord / tempérament
musique et multimédia
40
Annexe D: Sympathisants
Le projet Interactive Multimedia Playroom béficie du soutien financier et de l’appui des organismes suivants :
Conseil de recherches en sciences humaines du gouvernement du Canada (Fonds d’initiative internationale)
Hexagram Institute for Research / Creation in Media Arts & Technologies
Centre interuniversitaire des arts médiatiques
Bureau de la recherche de l’Université Concordia
Département des communications et de l’art de l’Université d’Aveiro
Smart Technologies Nous recherchons urgemment des locaux et des fonds pour la réalisation de ce projet. Tout don de temps, de locaux, d’argent, d’information, d’expertise, de travail de liaison ou de lettre d’appui serait accepté avec grande reconnaissance et dûment reconnu.
Annexe E: Coordonnées
Rosemary Mountain, PhD et Harry Mountain - [email protected]
Sites Web :
http://www.armchair-researcher.com/IMP/IMPweb/index.html
http://www.IMP-NESTAR.com [en construction]