Oda HveemMaster i design,visuell kommunikasjonKunsthøgskulen i Oslo, 2011

LYD BILETEKRYSSANS

SJÅH

ØY

RE

15. april 2011 Eit masterprosjekt om slektskapet mellom lyd og bilete.

10. april 2011 Eit masterprosjekt om krys-sansning, å sjå musikk og høyre bilete.

KRYSSANS

2. april 2011 Eit prosjekt som kastar lys på det skjulte – den umed-vitne opplevinga; den uvisse sanning og den gøymde koplinga.

Tekst og design: Oda HveemPapir: Munken Lynx 120 gsm, Colorit 44 (solgul) 80 gsm, Brown Board 300 gsmFonter: Sabon (av Jan Tschichold, 1964–1967) og Futura (av Paul Renner, 1927)Format: 180x280mmTrykk: AIT Oslo

Dette masterprosjektet er ei undersøking av slektskapet mellom det visuelle (kommunikasjon for auga) og det auditive (kommunikasjon for øyra), sett frå eit designperspektiv. Undersøkinga inneheld historiske referansar, teoretiske diskusjonar, praktiske utprøvningar, og sist men ikkje minst refleksjon rundt designtenking, prosess og metode.

Avhandlinga dokumenterer og diskuterer desse design-undersøkingane utført i løpet av to år på Kunsthøgskulen i Oslo. Målet med oppgåva er å lære om slektskapet mellom lyd og bilete med hjelp av ulike teknologiske og intuitive prosessar, for så å etablere ein (design-)metode som eg kjem til å fortsette og utvikle resten av livet.

10. desember 2010 Eit prosjekt som er spring ut frå mange forprosjekt med ulikt uttrykk og ulike tilnærmingsmåtar.

24. november 2010 Eit prosjekt som eksisterar i mellomrommet mellom ei tilrådd påverknad og ei opplevd oppleving, som i grunnen er sjølve linken mellom design og synestesi; x >�y der «x» står for det som utløyser erfaringa og «y» står for den opplevde erfaringa.

Takk til: Rune Helgesen (Intern rettleiar); Ina Brantenberg (ekstern rettleiar); Theodor Barth (teoretisk ansvarleg); Maziar Raein (fagansvarleg); Erik Johan Worsøe Eriksen (for grupperettleiingar); Reidar, Alan og Josef (lærarar på KHiO); Greg Pope (videomann på KHiO); HC Gilje (for workshop i VPT); Bård Watn (for å gi meg full tillit til laging av musikkvideo); Line Salvesen (for deling av sjølvopplevde erfaringer av synestesiforma Hearing Motion); Bruno Laeng (professor i kognitiv nevropsykologi); Kjersti Rusten og Camilla Bärthel Flaaten (masterstudentar med temaet synestesi på Blindern); Even Ruud, Hans Wilmers, Are Kleivan (alle tre for å stille opp som intervjuobjekt som eit ledd i research); Lotte Grønneberg (tidlegare student frå KHiB med masterprosjektet «en visuell lytteropplevelse»); klassekameratar: Mats, Steinar, Eva, Ingrid, Thomas, Anne-Linn, Camilla H, Camilla W, Bente, Ida, Anders, Teresa, Linn, Ran; Tor Hveem (for språkvask); mamma og pappa (for ro og mat i skriveprosessen); Irene Tvedten, Nina Lysbakken og Kathrin Myrvang (alle tre for støtte og oppmuntring i løpet av studieåra).

I

Designeksperiment

Visuelt01. VANNFARGEDANS PÅ HØGTALAR III

02. KOMPONERE MED BOKSTAVAR V

03. FORM < > LYD VII

04. MUSIKKTYPOGRAFI XV

05. MUSIKKTEIKNING XVII

06. MUSIKKVIDEO XXI

07. (STILLE)RØRSLE XXIX

Audiovisuelt08. PÅ/AV XXIII

09. SKILD/I SAMAN XXIV

10. FARGEKLANG XXV

11. LEGATO/STACCATO XXVI

12. LYSRYTME XXVIIB

13. BLINK XXVIII

Projeksjon14. SKULPTUR XXXI

15. HJØRNE XXXIII

16. MURSTEIN XXXV

17. LYD-MAPPING XXXVII

18. BOGE XXXIX

19. GANG XLI

Visuelt20. FARGE < > FORM XLIII

21. KIKI/BUBA-ANIMASJON XLV

II

1. DEFINISJON Design 14

Audiovisuell kommunikasjon 15

Persepsjon og kryssansning 16

Synestesi (sanseblanding) 17

0. INTENSJON Innleiing 10

Intensjon 11

Samandrag 12

2. DOKUMENTASJONKronologisk

Newton 27

Fargeorgelet 27

Abstrakt kunst 27

Kadinskij 27

Paul Klee 27

Piet Mondrian 29

Moholy-Nagy 29

Abstrakt film 29

Walter Ruttmann 29

Hans Richter 29

Oskar Fichinger 29

Len Lye 29

Norman McLaren 29

Saul Bass og tittelsekvens 29

John og James Whitney 36

Stan Brakhage 36

Brian Eno 36

Golan Levin 36

Pablo Valbuena 36

Musikkvideo 36

Michel Gondry 36

Chris Cunningham 36

Interaktiv musikkvideo 37

Oppsummering 37

Systematisk

Fysisk 42

Logisk 44

Assosiativt 46

Metaforisk 52

Synergetisk 50

Synkretisk 52

Synestetisk 54

4. DISKUSJONDesign for oppleving 62

Audiovisuell komposisjon 64

Added Value 64

Synkrese 64

McGurk-effekten 65

Mickey Mousing 65

Audiovisuell perspepsjon 68

Det universelle språket? 72

Bauhaus 73

Aristoteles 73

Synestesi og kreativitet 73

Takete og Maluma 74

Gestaltpsykologi 75

Gestaltlovane 75

3. PROJEKSJON Projeksjons-mapping 58

Metode og prosess 59

5. REFLEKSJONProsess og metode

Designparadokset 78

Lateral tenking 79

Bisosiasjon 79

Designtenking 80

Improvisasjon 80

Salamimetoden 82

Oppsummering 82

KONKLUSJONAttersyn 84

Frampeik 87

VEDLEGGIntervju høsten 2009:

Hans Wilmers 88

Even Ruud 92

Are Kleivan 97

Masterprosjektblogg 101

BIBLIOGRAFIBibliografi 102

Øvrige litteratur 105

Innhald

6

Figurliste

1. Illustrasjon over intensjonen med oppgåva: kryssansning2. Skilnad på auditiv og visuell perspesjon, tabell av Gerhard Daurer.3. Figur over den visuelle og auditive illusjonseffekten av Gerhard Daurer.4. Illustrasjon på synestesiforma: fonem > farge, av Anne Linn Kvalsund.5. Illustrasjon på synestesiforma: veke > form, av Anne Linn Kvalsund.6. Illustrasjon over like og ulike signalpar henta frå synestesiforsøket «The Sound Of

Change» av Saenz og Koch.7. Testoppgåve på synestesiforma tal > farge.8. Tabell over ulike rapporterte synestesitypar.9. Testoppgåve på synestesiforma tal > farge.10. Wolfgang Amadeus Mozart.11. Franz Liszt.12. Nikolaj Rimskij-Korsakov.13. Jean Sibelius.14. Vasilij Kandinskij.15. Duke Ellington.16. Richard Feynman.17. Tori Amos.18. Ida Maria.19. Maria Mena.20. Figur over ulike strategiar for kopling av det visuelle og det auditive av Michael

Haverkamp.21. Isac Newton sin illustrasjon over korrespondanse mellom farg og tone.22. Fargeorgel av Rimington.23. Farge-tone-skalaen til Rimington.24. «Composition VII» (1923) av Kandinskij.25. Paul Klee.26. Piet Mondrian.27. Eadweard Muybridge sitt kjende hestegaloppbilete frå 1878.28. «Broadway Boogie Woogie» (1942–1943) av Piet Mondrian.29. «Tönende Ornamente» (1931), Oskar Fischinger.30. Stillbilete frå Lichtspiel Opus 1 av Walter Ruttmann (1921).31. Hans Richter.32. Oskar Fischinger.33. Stillbilete frå A Colour Box (1935) av Len Lye.34. Norman McLaren.35. Stillbilete frå Norman McLaren sin film Begone Dull Care (1949) til musikk av Oscar

Peterson Trio.36. Stillbilete frå Saul Bass sin tilttelsekvens til «Anatomy of a Murder»37. Stillbilete frå Rhythm (1921) av Hans Richter.38. Stillbilete frå Swinging the Lambeth Walk (1939) 39. Brian Eno, lydinstallasjonskunst.40. Golan Levin, interaktiv intsallasjonskunst.41. Stillbilete frå musikkvideoen «Star Guitar» (2006) av Michel Gondry.42. Stillbilete frå musikkvideoen «Only You» (1997) av Chris Cunningham.43. «Augmented Sculpture series» av Pablo Valbuena (2007).44. «Qudratura» av Pablo Valbuena (2010).45. «Bloom», ein iPhone-app av bl.a. Brian Eno.46. Stillbilete frå den interaktive musikkvideoen «Soy Tu Aire»47. Figur på ulike koplingsstrategiar for å linke det visuelle og det auditive.48. Skilnad på auditiv og visuell persepsjon, tabell av Gerhard Daurer.49. Det synlege fargespekteret.50. Pytagoras.51. Kvintsirkelen frå 1728, ein geometrisk framstilling av forholdet mellom dei tolv tonane i

den vestlege kromatiske skalaen.52. Designprosjekt 1: Vannfargedans på høgtalar. (Hausten 2009).53. Ernst Chladni, mønsterdanning med fiolinboge.54. Illustrasjon på Piano Roll.55. Ernst Chladni: chladnimønster (1787).

24. januar 2011 Eit prosjekt som søker seg innover i kjernen av visuell kommunikasjon – til forståing av form og farge, og utover mot tverrfagleg forståing – til audiovisuell kommunikasjon og filmteori.

7

56. Hans Jenny (1970), Cymatics.57. To noteark frå gamalt av. Cantorinus ad Eorum Instructionem (1540) av Luce Antonii

Junte.58. Illustrasjon på eit standardisert notesystem.59. Illustrasjon på grafisk notasjon, Fontana Mix (1958) av John Cage.60. Illustrasjon over ulike farge-tone-analogiar opp gjennom åra.61. Designeksperiment 2: Komponere med bokstavar. (Hausten 2010).62. Swiss Design: Josef Müller Brockmann, tre plakatar.63. Skisse til plakatprosjektet: å komponere med bokstavar.64. Illustrasjon på digital kunst henta frå VJ-scena.65. Song Book for Joan av Rolf Julius. 66. Platecoverdesign av Kim Hiorthøy, Arne Nordhein – Electric (1998).67. Platecoverdesign av Kim Hiorthøy, Dodovoodoo – Elephant 9 (2008).68. Designeksperiment 3: Form <> lyd. (Hausten 2010).69. Skisse av designeksperimentet 3: Form <> lyd.70. Bilete under utføring av designeksperimentet 3: Form <> lyd.71. Kandinskij si omsetjing av musikknotar til visuelle punkt.72. «Allegretto» (1943) av Oskar Fischinger.73. «Liberation» (1955) av M.C. Escher.74. «Plastic Deciption of Measures 52–55», arkitektur av Heinrich Neugeboren.75. Designeksperiment 3: Musikktypografi (hausten 2009).76. Designeksperiment 4: Musikkteikning. (hausten 2009).77. Designeksperiment 4: Musikkteikning (hausten 2009).78. Designeksperiment 4: Musikkteikning (hausten 2009).79. Paul Klee: Intrument for New Music (1914).80. «Art of Music» plakattypografi av Steven Harrington.81. David Carson: The End of Print.82. Eksempel på illustrerte lydmålande ord onomatopoetika.83. Synergieffekten med fenomet «Sensation transference» illustrert med

pakningsdesignet til Tropicana.84. Designeksperiment 5: Musikkvideo (våren 2010).85. Skisse til designeksperiment 7, musikkvideoen «Collarbone».86. Stillbilete frå filmen «Figh Club» som eit eksempel på synkrese.87. Stillbilete frå Synchromy (1971) av Norman McLaren.88. Designeksperiment 8: På/av (våren 2011).89. Designeksperiment 9: Skild/i saman (våren 2011).90. Designeksperiment 10: Fargeklang (våren 2011).91. Designeksperiment 11: Legato/staccato (våren 2011).92. Designeksperiment 12: Lysrytme (våren 2011).93. Designeksperiment 13: Blink (våren 2011).94. Skisse til videosnutten «På/av».95. Skisse til videosnutten «Skild/saman».96. Skisse til videosnutten «Fargeklang».97. Skisse til videosnutten «Legato/Staccato».98. Skisse til videosnutten «Lysrytme».99. Edvard Munch, Skrik (1893).100. Synestesiprosjektet «The Emotion Organ» (2007) av Amanda Steggel.101. Giant Steps, (2001) ein abstrakt 3D-animasjon av Michal Levy til John Coltrane sitt

meisterverk.102. Designeksperiment 6: (stille)rørsle (Hausten 2010)103. «Shift v.2» (2008) av HC Gilje.104. «Blink» (2010) av HC Gilje.105. «Light on White» (2011) av HC Gilje.106. På workshop i projiseringsprogrammet VPT med HC Gilje i regi av Atelier Nord i

januar 2011.107. «Battle of Branchage» (2009). Evan Grant, Rob Slater, Sleeper.108. Designeksperiment 14: Skulptur (våren 2011).109. Designeksperiment 15: Hjørne (våren 2011).110. Designeksperiment 16: Murstein (våren 2011).111. Designeksperiment 17: Lyd-mapping (våren 2011).112. Designeksperiment 18: Boge (våren 2011).113. Designeksperiment 19: Gang (våren 2011).

6. oktober 2010 Eit prosjekt som handlar om sanseblanding, synestesi. Eg tek opp kva det går ut på, i håp om å forstå kva me kan lære av det og viktigare korleis me kan dra nytte av det i visuell kommunikasjon. Eg vil fokusere på den forma eg sjølv kan relatere mest til, nemleg «hearing motion», å høyre rørsle, som er ei (av mange) formar for synestesi.

8

15. mars 2010 Eit prosjekt som handlar om korleis lyd og bilete har ei forsterkande effekt på kvar-andre, og korleis rørsle kan vera eit bindeledd mellom dei to separate media.

114. «AntiVJ Showcase Event» av AntiVJ (2009). 115. «Step into the Sensory Box» (2010) av Superbien.116. «Toulouse» (2008) av Pablo Valbuena.117. «Corner Study» (2010) av Pablo Valbuena.118. «Light canvas x3» (2011) av Joanie LeMercier frå AntiVJ.119. Illustrasjon på qualia.120. Den kombinerte audiovisuelle effekten121. Illustrasjon frå McGurk-eksperimentet.122. Illustrasjon på Mickey Mousing.123. Illustrasjon på pesialiserte hjerneområder av Francis Gall. 124. «Perception» (1619) av Robert Fludd.125. Den audiovisuelle delen av hjernen, illustrasjon frå boka Perception av Sekuler.126. Designeksperiment 20: Testoppgåve på farge <> form.127. Designeksperiment 20: Resultatet, farge <> form (våren 2011).128. Illustrasjon på Takete og Maluma kopla til smak.129. Skisse til eit lydalfabet, eit prosjekt som aldri vart realisert.130. Köhler (1927), Takete og Maluma.131. Designeksperiment 21: Kiki/Buba-animasjon.132. Kiki og Buba (2001). Ramachandran/Hubbard.133. Skisse på skarpe og mjuke rørsler.134. Stillbilete frå Kiki/Buba-animasjonen.135. Gestatlpsykologi: Lova om likskap.136. Gestatlpsykologi: Lova om det naturlege/omslutta.137. Gestatlpsykologi: Lova om nærleik.138. Illustrasjon på designprosess.139. Charles Eames (1969). Design Process.140. Portrettbilete av Hans Wilmers.141. Portrettbilete av Even Ruud.142. Portrettbilete av Are Kleivan.143. Skjermdump av masterposjektbloggen anno 15.04.2011.

9

To remove the barriers between sight and sound, between the seen world and the heard world! To bring about a unity and a harmoniousrelationship between these two opposite spheres. What an absorbing task! The Greeks and Diderot, Wagner and Scriabin – who has not dreamt of this ideas? Is there anyone who has made no attempt to realize this dream?

– Sergei Eisenstein

0. INTENSJON

10

Innleiing

Når eg var rundt tolv år hadde eg ei oppleving eg ikkje kjem til å gløyme. Veninna mi og eg spelte mykje tverrfløyte i lag på den tida. Vanlegvis spelte me etter noter, men denne gongen la me vekk notane og spelte dei tonane som måtte passe, uvitande om improvisasjon og akkordprogresjon. Sidan me i det augneblik-ket var i ei garderobe med overveldande akustikk, flaut klangane i lag. Eg kan minnast eg lukka igjen augo og såg dei mest klåre lysstrålane av fargar og figurar som vaks og snodde seg i lag, alt etter kva harmoniar som vart danna. Veninna mi gjekk fort lei, og syntes det heile var ganske så kjedeleg. Eg for min del fryda meg over denne leiken og erfarte to nye opplevingar: improvisasjon og sanseblanding.

Improvisasjon og sanseblanding er noko eg tek opp i denne av handlinga; improvisasjon i form av prosess og sanseblanding i form av tematikk.

SLEKTSKAPET MELLOM LYD OG BILETESom menneske av natur, har me alltid prøvd å finne samband mellom to uavhengige fenomen – som i dette tilfelle er det visuelle og det auditive.

Lyd har saman med det visuelle vore brukt for å kommunisere eit bodskap, forteljingar og emosjonar, i århundre – om ikkje årtu-senar. I oldtida, i det Greske teater, var medvita rundt lyd – som verkemiddel påfallande. Viss energien i eit teaterstykke var i ferd med å synke, kom eit kor inn for å vekke interessa for handlinga igjen. 1

Music makes every picture, and indeed every scene of real world, at once appear with higher significance, certainly all the melody is analogous to the inner spirit of the given phe-nomenon. (Gale 1888)

Samstundes har lyd alltid hatt ein visuell dimensjon, det er skapt av ei rørsle. Ingen rørsle, ingen lyd. Og sjølve utforminga på eit instrument noko visuelt og mønsteret av notar på eit notepapir er eit visuelt mønster. Og for å ikkje gløyme rørsla til ein utøvar under opptreden og rørsla til lyttarane under påverknad.

Vitskapsmenn og kreative personar har vore oppteken av for-holdet mellom det me ser og det me høyrer i lang tid. Utvikling av teknologi har stadig frigjort nye metodar for å kople saman visuelle og auditive element til ei sameining, som designarar meir og meir kan ta i bruk. Ei ny retning som har vokse fram har blitt kalla ei rekke namn, blant anna visuell musikk, fargemusikk og absolutt film. 2 Den eldgamle drømmen om å la alle sansane smelte saman til ei totaloppleving, er med dagens teknolgi høgak-tuell – noko som opnar opp for uttrykksmåtar som forgjengarane våras berre kunne drøyme om.

12. november 2009 Eit prosjekt om lyd og bilete. Lyd og bilete og har mykje til felles. Det er ikkje utan grunn at ein brukar ord som lydbilete og klangfarge for å forklare musikk. Vidare har ein dynamikk, rytme og tempo, harmoni og disharmoni som gjer seg gjeldande i både musikk og bilete. Det visar til ei sterk kopling mellom dei to områda. Men dei henvender seg til to ulike sansar; hørsel og syn.

Likevel handlar det mykje om det same uansett om det er presentert med tonar eller fargar. Mottakaren tolkar det ut i frå eigne erfaringar, bilete og minne. Mange opplever musikk som eit lager for minner og stemningar.

11

Intensjon

Å intendere tyder å ha til føremål, streve etter, å sikte seg fram mot ei uant løysing. Eg definerer problemstilling som intensjon, å ha ein forutbestemt tanke – noko prosjektet strevar etter.

INTENSJON Designe ein audiovisuell komposisjon som kan gi ei oppleving av sanseblanding – der du kan lytte til bileta og skue lyden.

UDERLIGGJANDE INTENSJONDen underliggjande intensjonen er å tileigning av ei brei erfaring som kan overførast til eit kva som helst anna område. Å tileigne seg kunnskap handlar om å utvikle metodar. For å kunne utvikle metodar, må ein kunne forstå eller ha eit medvite forhold til pro-sess. Derfor er prosess og metode handsama i eit eige kapittel.

16. september 2009 Eit prosjekt som handlar om å visualisere det du ikkje kan sjå.

Figur 1. Illustrasjon på intensjonen til oppgåva: kryssansning.

12

Samandrag

Dette masterprosjektet handlar om slektskapet mellom lyd og bilete, korleis lyd kan gi form til bilete, korleis bilete kan forsterke lyd og korleis dei kan fungere i lag, og kva effekt det kan føre til. På nivå to handlar det om audiovisuell sansning og opple-ving, som ein konsekvens av nivå ein. På nivå tre handlar det om projeksjon, fordi det er uttrykksmåten til dette prosjektet for å formidle syntesen av lyd og bilete.

Designundersøkingane utført i løpet av det to-årige masterpro-grammet er presentert på gulfarga ark i eit litt smalare format, som på den måten dannar ei bok inni boka. Dette som ein metafor på tematikken kryssansning, med tanke på å engasjere til krysslesning mellom designeksperiment og tekst.

STRUKTURAvhandlinga er delt inn i fem hovuddelar: definisjon, dokumenta-sjon, projeksjon, diskusjon og refleksjon. Det heile startar med definisjon; av oppgåva, sjølve intensjonen; fagområdet design og audiovisualitet; persepsjon og kryssansning; synestesi og sanse-blanding; fagområder som dannar opptakten til den tverrfaglege kompetansen som krevs for ei oppgåve av ein slik natur. Det forklarar samstundes sentrale omgrep for masterprosjektet som seinare vert undersøkt og diskutert.

I den neste delen, dokumentajon, legg eg fram relevante under-søkingar, både eigne designeksperiment og historiske referanse-prosjekt som eksisterar i grenselandet mellom lyd og bilete. Dette er strukturert i to delkapitlar. Den førte delen er ei kronologisk attgiving med historiske referansar. Den andre delen er ei syste-matisk strukturering som dannar kontekst for mine eigne design-eksperiment. Den neste delen handlar om projeksjon, og inneheld referanseprosjekt om projisering på ulike typar overflater og former, samt mine eigne projeksjonstestar. Frå dokumentasjon går eg vidare til diskusjon. Her vert relevante teoriar for oppgåva disktutert. Dette strekk seg frå kryssansning innan psykologi til film- og designteori.

Den siste hovuddelen, refleksjon, handlar om designprosess og metode, på eit generelt plan og meir spesifikt for dette prosjektet. På eit generelt plan handlar det om å forstå korleis designkunn-skap skil seg frå anna kunnskap, med bakgrunn i praktiserande kunnskap, og korleis parallelle prosessar kan drive fram ei design-løysning. Spesifikt for dette prosjektet handlar det om å bryte ned prosjektet i enkelteiningar og la konturen av eit større prosjekt vekse fram undervegs som eit resultat av prosessen.

I den avsluttande delen, konklusjonen, oppsumerar eg tileigna innsikter samt peikar på framtidige retningar.

24. august 2009 Oppstart av masterpro-grammet i Design på Kunsthøgskolen i Oslo.

Problemstilling ved oppstart: Fotomontasjar av norske segn, korleis vidareføre gamle norske forteljetradisjonar med ny teknologi og med eit moderne formspråk?

Denne problemstillinga utvikla seg vidare gjennom ein omfattande prosess over to år. Men det handlar likevel om det same, å visualisere noko som er delvis skjult ved hjelp av ny teknikk.

We mean a designer as a manipulator of sensations, who is able to work with texts, figures, but also with sounds, haptic stimuli, etc. in order to make a mutual congruence between them.– Dina Riccò

1. DEFINISJON

14 KRYSSANS

Design

Sjølv om design er like gamalt som menneskearta sjølv, gjennom-syrer liva våre, og er grunnleggjande for mange forskjellege disi-plinar, er omgrepet design ofte vagt definert, og korleis det vert forstått og nytta innanfor dei ulike fagområda avvik vesentleg.

Å designe handlar om å forvandle ei førestelling til ei form. Det kan altså både vera eit objekt og ein prosess. Interessa for design har lenge kun kretsa rundt objektet og ikkje rettferdiggjort pro-sessen. Eit raskt oppslag i norsk ordbok bekreftar denne påstan-den:

Design; (av lat. designare ’peike ut (til eit embete)’; av de- og lat.signum ’teikn’) formgjeving, særleg av industrivarer og brukskunst;

Her er ikkje ein gong ordet prosess nemnt. Det er først i dei sei-nare åra at prosess har fått fokus. Med unntak av Giorgi Vasari (1511–1574) sin definisjon av disegno (italiensk for design) som formgjevaren sin indre idé eller førestilling før eit kunstverk vart laga. Det viser til ein konseptuell tilnærming til det å formgi, der det handla om å utvikle idear med utgangspunkt i eit levande ma-teriale, og oppnå ein bestmt kontakt mellom det levande materia-let og formuttrykket mellom naturen og uttrykket. 3

Eg ser på ein designar som ein forvaltar av eit eksisterande mate-riale; ein som synleggjer eit latent postensial i det ibuande. Nett-opp derfor bør ein designar ha ein refleksjon rundt form, farge, abstraksjon og assosiasjon, for å kunne formidle eit budskap så presist – men samstundes så rikt som mogleg.

1. DEFINISJON 15

Audiovisuell kommunikasjon

Audiovisuell kommunikasjon er kommunikasjon som både har ein lydleg og ein visuell komponent. I dagens audiovisuelle mediesamfunn er kombinasjonen av lyd og bilete ein sjølvfølgje. Teknologiske innovasjonar har stadig brytt ned barriera mellom dei to media. Sidan slutten av 1800-talet, har me lagt ned innsats i å reprodusere og transformere audiovisuelle opplevingar til den virtuelle verda for å innfri dei utopiske fantasiane om syntese.

Dagens teknologi gjer det mogleg å skape og kople parametrar frå bilete og lyd på tenkelege og utenkelege måtar. Ein ny type de-signer som arbeidar på tvers av media og teknologi er dermed eit voksande behov. Walter Ruttmann forutsåg dette allereie 1919:

As a result of this a new hitherto latent type of artist would emerge, approximately half-way between painting and mu-sic. 4

Dette fagfeltet har i det siste tiltrekt seg meir merksemd frå m.a. forsking og kunst, med base i interesse rundt temaet kryssan-sning. Men ein etablert disiplin om audiovisualitet eksisterar ikkje (ennå), og fell i mellom film- og musikktradisjon. Denne oppgåva har fokus på audiovisualitet og kryssansning i relasjon til desgn.

16 KRYSSANS

Persepsjon og kryssansning

HØRSEL VERSUS SYNPersepsjon er korleis me oppfattar og tolkar verda gjennom sansane våre. Vår visuelle persepsjon er optimalisert for å for-stå statiske objekt, og kan etter regelen, ikkje følgje meir enn ei rørsle. Dette er til skilnad frå auditive signal, som er spesialisert på flyktig informasjon, der me ikkje har noko problem å differen-siere mellom fleire simultane rørsler.

When two or more notes are blended in a chord, their iden-tities are retained by the ear. When two colors are blended their identities are lost lost the eye. 5

I tillegg er hørselsinntrykk fundamentalt raskare å oppfatte enn synsinntrykk, det tek raskare tid å prosessere dei sensoriske sti-muliane, sjå fig. 2.

KRYSSANSNINGDet er sjeldant at me berre sansar med ein sans, vanlegvis nyttar me ein kombinasjon av våre tildelte sansar for å oppfatte verda. Sansane våre er altså ikkje isolert frå kvarandre. Dei samarbeidar, noko som har gitt oss eit evolusjonsmessig forsprang. Viss ein sans blir gitt lite eller uklar informasjon, vil dei andre sansane hjelpe til for å korrigere oppfattinga, noko som gjer at til dømes blinde og døve klarer seg bra i samfunnet ved å til dømes «lese på leppene», eller «sjå» konturen av rom ved å lytte etter lydreso-nans.

Alle sanseinntrykk vert analysert fortløpande av ei rekke hjerne-områder som har kvar sine spesielle oppgåver, før opplysningane til slutt vert kombinert til ei samla sanseoppleving, ein gestalt (samordna heilskap). Denne kombinerte sanseopplevinga kan lure oss til å «sjå» noko anna enn det me eigentleg kan sjå med det blotte auga ved å legge til lyd, sjå fig. 3.

Denne oppgåva skal kaste lys over fenomenet kryssansning og stille spørsmål om vår oppfatting av dei fem seperate sansane – eit synspunkt som heng igjen frå antikken og Aristotles.

Auditiv persepsjon låg romleg oppløysning høg spektraloppløysning best til flyktig informasjonalt-inkluderandeumedvite, passivtemosjonell effektrask

Visuell persepsjonhøg romleg oppløysningveldig låg spektraloppløysningbest til permanent informasjonretningsbestemtmedvite, aktivgod til rasjonelle oppgåverforholdsvis sakte

Figur 2. Skilnad på auditiv og visuell persepsjon i følge Gerhard Daurer. 6

Figur 3. Korleis me oppfattar eit visuelt signal kan bli påvirka av eit lydsignal, slik at me faktisk trur at me «ser» noko anna, sjølv om det visuelle signalet er likt i begge tilfeller. Figur av Gerhard Daurer. 6

visuelt stimuliakustisk stimulivisuell persepsjon

tid

visuelt stimuliakustisk stimulivisuell persepsjon

visuelt stimuliakustisk stimulivisuell persepsjon

1. DEFINISJON 17

Figur 4. Illustrasjon på synestesiforma fonem > farge teikna av synestetikar og klasseveninne Anne Linn Kvalsund. For ho har kvart skriftteikn ein bestemt farge, som kan hjelpe til å hugse namn.

Figur 5. Illustrasjon på synestesiforma veke > form teikna av synestetikar og klasseveninne Anne Linn Kvalsund. Mandag er raud og startar på toppen og strekk seg mot fredag i botn. Laurdag og sundag er på motsatt side, knytt saman på ein ulogisk måte, fordi dei dagane oppleves som like lange trass i at det ikkje kan stemme. Vekedagar (som i dette tilfellet), månadar, namn og ord kan òg ha bestemte fargar.

Synestesi (sanseblanding)

Nokre menneske opplever at sansane vert blanda, slik at dei til dømes oppfattar tal eller bokstavar i fargar. Synestesi heiter denne evnen, og forskarane er nær ved å forstå korleis det oppstår i hjernen. Nokre forskarar meinar at synestesi er ein tilleggseffekt av evnen til å tenke kreativt, og at det har hatt mykje å seia for utviklinga av språket.

Synestesi (av gr. syn-, ‘sam-’, og aesthesis, ‘sansing’) er fagtermen for samanblanding av ulike sanseinntrykk i hjernen. Somme menneske kan til dømes høyre fargar, sjå lydar og stikka seg på smakar. Dette fenomenet vart først skildra av Francis Galton, søskenbarnet til Charles Darwin på 1800-talet. Han fann ut at somme menneske i ei folkemengd som elles var normale, knytta tal, bokstavar eller musikktonar til farge. Undersøkingar tydar på at somme blandar saman sanseinntrykk frå to områder i hjernen som ligg tett, som farge og tekst. Det same gjeld lyd og rørsle. Forskarane meinar at det finnes i alt femti forskjellege formar for synestesi – der kvar enkelt kunne ha vore kalla ein 7. sans.

Den vanlegaste formen for synestesi er at ein ser tal eller bokstavar i bestemte fargar, sjå fig. 4. Andre utbredte formar er at synestetikaren ser for seg forskjellege fargar når han eller ho høyrer forskjellege ord, at lyd kan luktast, at fargar kan smakast, eller at musikk kan sjåast som fargar (sjå fig. 7 for komplett liste). Forskarane er uenige om kor mange som har synesetsi. Nokre meinar at berre 1 av 25 000 har synestetiske evner, medan andre estimerar det til 1 av 200. 7 Fenomenet opptrer tilsynelatande seks gongar hyppigare hos kvinner enn menn, og åtte gongar hyppi-gare hos kreative menneske. 8

Ein teori er at alle menneske har hatt synestesi, og at koplinga mellom dei ulike områdene i hjernen vert kutta ned i løpet av oppveksten. Forskarar hevdar at nyfødte sansar inntrykk som ein heilkskap, utan å differensiere mellom dei ulike sanseorgana:

Newborn babies perceive all their sensory impressions as a single whole, according to researchers. Babies do not dif-ferentiate between light, sound, taste, smell, or other impres-sions – something that is hard for grown-ups to imagine. However, there is one area where adults can still perceive a bit like a newborn baby. Taste and smell have never been completely seperated in the development of sensory and brain functions. When we taste food, we use both the taste buds on our tongue and the olfactory receptors in our interi-our nose. (van Campen 2010:29).

Men etterkvart som me veks opp spesialiserer sansane seg, noko som gjer det lettare for oss å handsame inntrykk frå omgjevna-dane. Jo meir spesialiserte sansar, jo meir effektivt klarar me å handtere signala frå omverda.

18 KRYSSANS

Like signalpar.

Ulike signalpar.

Figur 6. Illustrasjon frå forskingstesten på synestesi-forma hearing motion av Saenz og Koch. Identiske og ulike signalpar vart først presentert i lyd, og så som visuelle blink, der synestetikarane utklasserte ikkje-synestetikarar når det gjaldt å identifisere like eller ulike visuelle blink.

Daphne Maurer […] argues that the neonatal synesthesia of babies disappears slowly as their senses start to develop. The sight organs begins to specialize in images, the hearing organs begin to specialize in sounds, and so on. As a result of this, the organization of the child’s brain begins to change during this process. The sensory life in the brain of the newborn presumably has little order to begin with. There is an abundance of neural connections, and everything literally touches everything else, which is why a single sound might evoke images, tastes, and smells all at the same time (van Campen 2010:30).

Kvifor nokre likevel har evna til kryssansning er ennå uvisst.

5 KRITERIUM FOR SYNESTESIEin av dei leiande forskarane på synestesi, Richard E. Cyto-wic, har identifisert følgjande kriterium for synestesi (Cytowic 2002:68).

• Synestesi er ufrivilleg og automatisk. • Synestetiske opplevingar er ofte romlege utvidingar, at dei ek-

sisterar ein særskild stad. Synestetikarane snakkar om «å sjå på», eller «gå til» ein særskild stad for å ivareta opplevinga.

• Synestetiske sansefornemmingar er konsistente og generiske. • Synestesi er høgst minneverdig. • Synestesi har høg påverknadsgrad.

Ei typisk testoppgåve for å påvise synestesi er å vise svarte femtall blanda med svarte totall (fig. 7). I eit mylder av dei svarte fem-tall skal testpersonane, så fort dei kan, finne dei skjulte totalla. Synestetikarane klarar oppgåva raskare enn ikkje-synetetikarar, fordi dei «ser» femtallet i ein annan farge enn totallet. Dette viser at synestesi er eit reelt fenomen, og ikkje noko folk berre finn på. For mange kan det vera veldig nyttig å ha denne evna, til dømes når dei skal hugse kodar eller telfonnumre. Eit eksempel på det er at nokre synetetikarar sorterar namn på telfonlista etter farge, der dei gjerne hugsar fargen knytt til namnet betre enn sjølve namnet.

HEARING MOTION, Å HØYRE RØRSLEHearing motion, å høyre rørsle, er ei form for synestesi som nyleg vart oppdaga, som inneber å fornemme lyd ved visuell forand-ring som rørsle eller blinkande lys. Noko eg trur kan vera til stor fordel for folk som jobbar med syntese av lyd og bilete, som til dømes filmklipparar, animatørar og lyddesignarar. Om ein ik-kje har det medfødt, er det i såfall ei evne som vert oppøvd ved praktisering. To nevrologar Melissa Saenz and Christof Koch ved California Institute of Technology, stadfesta dette fenomenet i 2008. 10 Dei laga ein test med formål om å gi synestetikarane ein fordel, som gjekk ut på å syne rytmiske parsignal til fire sjølvut-nevnte synestetikarar og ti ikkje-synestetikarar. Desse pardanna signala som likna på morsekode vart synt både som lyd og visuelle blink (fig. 6). Deltakarane skulle seie om signala var like eller forskjellige. Begge gruppene av menneske hadde riktig 85%

1. DEFINISJON 19

Figur 7. Testoppgåve på syntestesiforma fonem > farge. Forskarar har først nyleg teke synesti på alvor. Testen som vist her har overbevist forskarane at synestetikarane verkeleg kan sjå tal i fargar. Om du ved første augekast kan sjå ein trekant danna av 2-tall i mylderet av 5-tala basert ut i frå fargefornemming, er det eit teikn på at du kanskje har synestesi.

20 KRYSSANS

av tida på lydsignalet. Medan når signala vert synt som visuelle blink, vart straks resultatet annleis. Her sank prestasjonsevna til ikkje-synestetikarar til rundt sjansenivået på 50%, eit resultat som stemmer godt overeins med tidlegare forsking – at dei fleste menneske er betre å til å vurdere eit auralt mønster enn eit visuelt mønster. Medan synestetikarane, klarte å skille mellom like og ulike sekvensar 75% av tida, for ikkje berre såg dei blinket, men dei høyrte det òg.

HAR DU SYNESTESI? • Kva farge har tala 1, 2,3? • Kva farge har bokstavane A, B, C? • Kva farge har mandag, tirsdag, onsdag? • Kva farge har januar, februar, mars? • Kva farge har namnet ditt? • Har dagar, veker eller månadar i året ein bestemt type geome-

trisk form? • Får du farge- eller smaksfornemming av musikk? • Får du farge- eller smaksfornemming av ord eller formar? • Har ansikt ein slags aura rundt seg? • Høyrer du lyd når du ser ein sommerfugl flakse?

Kjenner du deg igjen i eitt eller fleire punkt ovanfor har du sann-synlegvis synestesi.

Forskarane meinar i dag at synestesi blant anna gjer oss i stand til å sjå samanhengar mellom ting som umiddelbart ikkje har noko med kvarandre å gjera. Og den evna har me kanskje alle i større eller mindre grad. Denne evna gjer oss kreative og – meinar nokre forskarar – kan i røynda til og med ha hjulpe våre forfedre til å utvikle språket for mange tusen år sidan (les meir om dette i delkapitellet «”Det universelle språket”).

Eg lurar på i kva grad designarar har denne evna i forhold til andre yrkesgrupper. Design handlar jo på mange måtar å sjå og synleggjere uante koplingar.

Synestesitypar rapportert av synestetikarar

Type synestesi ProsentandelTal og bokstav > farge 64.9Tidseining > farge 23.1Musikk > farge 19.5Lyd > farge 14.9Fonem > farge 9.2Musikktonar > farge 9.0Lukt > farge 6.8Smak > farge 6.3Smerte > farge 5.5Personlegdom > farge 5.4Berøring > farge 4.0Temperatur > farge 2.5Orgasme > farge 2.1Kjensle > farge 1.6Kjensle > lukt 0.1Kjensle > smak 0.1Kinetics > lyd 0.3Lexeme > smak 0.6Musikktone > smak 0.2Personlegdom > lukt 0.3Personlegdom> berøring 0.1Lukt > lyd 0.5Lukt > smak 0.1Lukt > temperatur 0.1Lukt > berøring 0.6Lukt > kinetics 0.5Lyd > lukt 1.6Lyd > smak 6.1Lyd > temperatur 0.6Lyd > berøring 3.9Smak > lyd 0.1Smak > temperatur 0.1Smak > berøring 0.6Temperatur > lyd 0.1Berøring > lukt 0.3Berøring > lyd 0.3Berøring > smak 1.1Berøring > temperatur 0.1Syn > lukt 1.1Syn > lyd 2.6Syn > smak 2.8Syn > temperatur 0.2Syn > berøring 1.5

Figur 8. Synestesityper funne i 871 rapporterte tilfelle. 9

1. DEFINISJON 21

Figur 9. Eit skjult mønster trer tydeleg fram for synestetikarane. Hjernen har ein spesiell evne til å skille ut og gruppere objekt etter farge. Derfor kan ein normal person raskt oppdage den skjulte trekanten som vert danna av dei seks gule to-talla, medan det er svært vanskeleg å sjå mønsteret viss alle tal har den same svarte fargen (teikningen på forrige side). Ein synesteti-kar, som knyttar ein bestemt farge til to- eller femtall, kan derimot sjå den skjulte trekanten like tydeleg på begge teikningane.

22 KRYSSANS

BERØMTE SYNESTETIKARARLista over kjende synestetikarar er langt som eit uvêr. Her er kan-skje dei mest interessante personane og utsegna representert.

WOLFGANG AMADEUS MOZART (1756–1791), komponist og pianist.

the key of D major had a warm «orangey» sound to it, while B-flat minor was blackish. A major was a rainbow of colors to him. This may explain why he wrote some of his music using different colors for different music notes, and why much of his music is in major keys. 11

FRANZ LISZT (1811–1886), ungarsk pianovirtuos og komponist. Når Liszt tok over som kapellmeister i Weimar (1842), vart or-kesteret forundra når han uttalte:

’O please, gentlemen, a little bluer, if you please! This tone type requires it!’ Or: ’That is a deep violet, please, depend on it! Not so rose!’

Først trudde orkesteret at Liszt berre fleipa;. men seinare vart dei vant til faktumet at den store musikaren syntes å sjå fargar der, det berre var tonar. 12

NIKOLAJ RIMSKIJ-KORSAKOV (1844–1908), russisk komponist. Han knytta dei forskjellige toneartane med særskilde fargar: C var kvit, D var gul, Ess var mørk blågrå osv. 13 Eit av hans mest kjende stykke, Humlens flukt, vart brukt som lydspor i eit av mine desig-neksperiment som gjekk ut på å få design- og musikkstudentar til å teikne musikk. (sjå kapitelet: dokumentasjon, under «metafo-risk»).

JEAN SIBELIUS (1865–1957), komponist.

For him there existed a strange, mysterious connection bet-ween sound and color, between the most secret perceptions of the eye and ear. Everything he saw produced a correspon-ding impression on his ear – every impression of sound was transferred and fixed as color on the retina of his eye and thence to his memory. And this he thought as natural, with as good reason as those who did not possess this faculty called him crazy or affectedly original.

For this reason he only spoke of this in the strictest confi-dence and under a pledge of silence. ’For otherwise they will make fun of me!’ 14

VASILIJ KANDINSKIJ (1866–1944), russiskfødt kunstar og kunstteo-retikar. Det er usikkert om Kandinskij hadde synestesi, men han skal ha skildra konsertoppleving Wagners «Lohengin» i 1986:

The violins, the deep tones of the basses, and especially the wind instruments at that time embodied for me all the power of that prenocturnal hour. I saw all my colors in my mind; they stood before my eyes. Wild, almost crazy lines were sketched in front of me. 15

Figur 11. Franz Liszt, musikk > farge.

Figur 10. Wolfgang Amadeus Mozart, musikk > farge.

Figur 12. Nikolaj Rimskij-Korsakov, tone > farge.

Figur 13. Jean Sibelius, lyd > farge.

Figur 14. Vasilij Kandinskij, lyd > farge.

1. DEFINISJON 23

Figur 19. Maria Mena, lyd > farge.

Figur 18. Ida Maria, lyd > farge.

Figur 17. Tori Amos, musikk > farge.

Figur 16. Richard Feynman,tal > farge.

DUKE ELLINGTON (1899–1974), komponist og jazzpianist.

I hear a note by one of the fellows in the band and it’s one color. I hear the same note played by someone else and it’s a different color. When I hear sustained musical tones, I see just about the same colors that you do, but I see them in textures. If Harry Carney is playing, D is dark blue burlap. If Johnny Hodges is playing, G becomes light blue satin. 16

RICHARD FEYNMAN (1918–1988), fysikar. Vinnar av Nobelprisen i fysikk i 1965.

When I see equations, I see the letters in colors – I don’t know why. As I’m talking, I see vague pictures of Bessel functions from Jahnke and Emde’s book, with light-tan j’s, slightly violet-bluish n’s, and dark brown x’s flying around. And I wonder what the hell it must look like to the stu-dents. 17

JIMI HENDRIX (1942–1970), musikar. Det er noko usikkert om Hendrix hadde synestesi:

There is a story, possibly an urban legend, that Purple Haze is so named because the Jimi Hendrix chord in its introduc-tion made Hendrix see a purple haze. Other theories invoke copious amounts of LSD and marijuana. 18

TORI AMOS (1963–), vokalist, låtskrivar og pianist.

The song appears as light filament once I’ve cracked it. As long as I’ve been doing this, which is more than thirty-five years, I’ve never seen a duplicate song structure. I’ve never seen the same light creature in my life. Obviously similar chord progressions follow similar light patterns, but try to imagine the best kaleidoscope ever. 19

IDA MARIA (1984–), norsk vokalist og låtskriver.

Når jeg lager melodier tenker jeg på å samle og organisere fargene og mønstrene slik at det blir en slags helhet og en balanse. Det blir veldig konkret hvilke farger som får være med og hva som ikke får være med. Det er et veldig bra verk-tøy, egentlig, for man kan bare se at denne fargen er fet mens denne ikke er det. 20

MARIA MENA (1986–), norsk vokalist og låtskrivar.

All musikk har farge. Og så har jeg farge på mennesker. Og frukt på ting […] En båt er for eksempel et eple. Et dørhånd-tak er en pasjonsfrukt, og så videre. En radio er en mandel. 21

CLAUDIA MOUGIN, designar med synestesiformane farge > lyd og skriftteikn > farge.

synesthesia help me to build logical systems in my head to re-member things and create associations between them. These systems are in connection with the color characteristics and I think it explains my passion to editorial design which has letters, words, numbers and lecture matters.

Figur 15. Duke Ellington,toneklang > farge.

24 KRYSSANS

We gestate in Sound, and are born into Sight. Cinema gestated in Sight, and was born into Sound. – Walter Murch

2. DOKUMENTASJON

26 KRYSSANS

Dokumentasjon

Dette kapittelet handlar om slektskapet til lyd og bilete, korleis dei har influert kvarandre og korleis dei kan fungere i lag. Sen-trale skikkelsar, utprøvingar og retningar er først skildra frå eit historisk og kronologisk perspektiv, for så i neste delkaptittel å bli satt i eit system inspirert av Michael Haverkamp og industride-signteori (fig. 20). 23

Dette systemet reflekterar over dei ulike tilnærmingane som har blitt brukt for å spleise saman lyd og bilete, som samstundes dannar ein kontekst til mine eigne designeksperiment. Ei komplett attergiving av spekteret av audiovisuelle utprøvingar og utøvarar er utanfor rekkevidde for dette masterprosjektet, fokuset ligg derfor på abstrakte visualiseringar sidan det kan relaterast mest til arbeidet mitt.

The abstract conveys the essential meaning, cutting through the conscious to the unconscious, from experience of the substance in the sensory field directly to the nervous system, from the event to perception. 24

Bakgrunn for val av fokus på det abstrakte ligg i ønsket om å ha ein så objektiv tilnærming som mogleg til temaet musikk og bi-lete; å søke etter meininga i kjernen og fjerne det assosiative som kan oppstå i mellomrommet.

matematical/physical correlation

genuine synesthesia

associative binding

symbol/metaphor

inter-modal analogies

auditory visual

Figur 20. Ulike tIlnærmings-måtar for krysskopling mellom det auditive og visuelle, utforma av Michael Haverkamp.

2. DOKUMENTASJON 27

Kronologisk

NEWTONUlike forsøk på å klassifisere dei auditive og visuelle fenomena er utallege. Ulike metodar er utprøvd og argumentert for. Ideen om samspel av visuell kunst og musikk utbreidde seg for alvor dei første tiåra av 1900-talet, sjølv om ideen kan sporast tilbake til Newton og Leonardo.

Isaac Newton og publikasjonen Opticks (1704) er det første kjende vitskaplege forsøket på å kople farge til tone. 25 Newton utarbeida ein korrespondanse mellom den forholdsmessige breid-da i fargespekteret til påfølgjande toner i den musikalske skalaen: raud til C, oransje til D, gul til E, grøn til F, blå til G, indigo til A og fiolett til H (fig. 21).

FARGEORGELETForsøk på realisere denne samanhengen mellom lyd og bilete vart første gong satt i live på 1800-talet, med oppfinninga av fargeor-gelet. Louis-Bertrand Castel (1688–1757) tillpassa Newton sine farge-tone-korrespondansar til sitt eige system, med tolv fargar til tolv tonar. (Figur 2) Han eit tangentinstrument, harpsikord, til å syne bestemte fargar til dei bestemte tangentane.

Etter Castel dukka det opp fleire ulike formar for fargeorgel, alle med meir eller mindre klare referanser til fargeteorien til New-ton, og alle i tru om at dei var dei første som fann opp eit slikt instrument (det skal nemnast at eg sjølv var inne på tanke på eit tidleg stadium). D.D. Jameson, Bainbridge Bishop, og Wallace Rimington (fig. 22), fortsatte med å lage nye utgåver av fargeorgel gjennom det neste århundret. 26

Alle forsøka var eit uttrykk for eit ønske om å finne ein saman-heng. Modernistane vidareførte på byrjinga av 1900-talet denne søken etter samanheng. Dei uttrykte ei interesse for korleis musikk og maling kunne vera relatert på det emosjonelle planet, korleis dei to uttrykksartane påverker oss, og på det strukturelle planet, korleis dei kan ha kompositoriske likskapar.

ABSTRAKT KUNST

Colour is a power which directly influences the soul. Colour is the keyboard, the eyes are the hammer, the soul is the strings. The artist is the hand that plays, touching one key or another, to cause vibrations in the soul. (Kadinskij 1911) 28

KADINSKIJMot slutten på 1800-talet og starten på 1900-talet, byrja visuell kunstpraksis (særleg maling) å låne idear frå musikk. Ein spesielt viktig person i denne rørsla mot musikkinspirert abstraksjon er Vasilij Kadinskij (1866–1944). Han utvikla ein teori om kunst basert på abstraksjonar av instrumentell musikk eksemplifisert av følgjande utsagn:

Figur 21. Isaac Newton sin illustrasjon over korrespon-dansen mellom sju farge-tonar og sju musikktonar, 1675.

Figur 22. Elektrisitet opna opp for nye måtar for å projisere lys, noko som vart utnytta av den britiske måla-ren A. Wallace Rimington. Fargeorgelet hans vart brukt i 1915 i New York på premieren av Scriabins synestesiske symfoni Prom-etheus: A Poem of Fire, der Scriabin hadde notert ned fargar i partituret. 27

Figur 23. Farge-tone-skala-en til Rimington(1915).

28 KRYSSANS

the various arts are drawing together. They are finding in mu-sic the best teacher. With few exceptions music has been for centuries the art which has devoted itself not to the reprodu-tion of natural phenomena, but rather to the expression of the artis’s soul, in musical sound. 29

Naturleg nok kalla han verka sine for «Improvisations» og «Composistions» (figur 24).Men Kandinskij si tru på kontakten mellom musikk og maling strekte seg lengre enn til å berre låne vilkår:

Kadinsky perceived art as having a psychic effect on its audience – he saw colour and form as producing spiritual vibrations and art as essentially being expression of these fundamental spiritual vibrations He perceived a common denominator behind all art, and as such it can be surmised that the translation of one artform into another is distinct possibility in Kadinsky’s philosophy. 30

Dette har klare referansar til Goethes filosofi, hundre år før Kan-dinskij; lyd og farge har ikkje noko ibuande korrespondanse men: «correspond to one another in so far as they embody the same ultimate meaning». 31

Kadinskij var og influert av den atonale komposisjonspraksisen til komponisten Arnold Schoenberg og meinte den atonale musikken kan samanliknast med fridommen og den kreative energien i hans abstrakte måling.

Color, which itself affords material for counterpoint, and which conceals endless possibilities within itself, will give rise, in combination with drawing, to that great pictorial counterpoint, by means of which painting also will attain the level of compostition and thus place itself in the service of the divine, as a totally pure art. 27

PAUL KLEEMusikk hadde gjennom musikalske genier som Mozart, Haydn og Beethoven etablert seg som ein kunstart på solid teoretisk bakgrunn. Paul Klee (1879–1940), venn av Kandinskij og lærar på Bauhaus i Tyskland, meinte musikk hadde nådd eit nivå i kunsterisk kvalitet, som maleriet ikkje var i nærleiken av å oppnå. Klee var ein habil fiolinist, og hadde ein far som sjølv var musikar og som naturlegvis ynskte at sonen skulle følge hans fotspor. Han gjekk likevel på kunstskule for å bli kunstmålar, men kom inn i ei krise. Kritikken hans gjekk på at musikken til Mozart var heva til eit reint og absolutt nivå, ein blanding av leikenskap og intelligent struktur som ikkje var synleg i visuell kunst. Dette synet skulle endre seg når han oppdaga kontrapunkt som kompisjonsprin-sipp, definert av musikkteoretikaren Faux. Kontrapunkt speler på samspelet mellom horisontale og vertikale relasjonar, noko Klee tok nytte av i organisering av abstrakte figurar for å skape visuell polyfoni.

Figur 25. Paul Klee, tysk-sveitsisk kunstnar og kunstteoretikar.

Figur 24. «Composition VIII» (1923) av Kadinskij. Fagtermen Visual Music (visuell musikk) vart nytta fyrste gong av Roger Fry i 1912 for å skildre verka til Kadinskij. 35 Kadinskij og dei andre abstrakte målarane på 1920-talet overførte musikalske uttrykk og omgrep til målarkunsten.

2. DOKUMENTASJON 29

PIET MONDRIANPiet Mondrian (1872–1944) var en nederlandsk kunstnar.Mondrian var ein av føregangsfigurane i utviklinga av det ab-strakte måleriet, og han var eit viktig medlem i kunstrørsla De Stijl. Han kalla stilen sin neoplasticism, som han meinte var ba-sert på harmoni mellom dei rette linjane og reine fargane som ligg under den synlege verda. Verka kalla han, på lik linje med Kadin-skij, for komposisjonar, og var danna av rektangulære formar av raudt, gult, blått eller svart, skilt frå kvarandre av tynne, svarte linjer. Han uttrykte den opplevde assosiasjonen som:

The wole canvas now dances with variously sized rectangles of different colors. The eye is led from one group of color notes to another at varying speeds. At the same time, contras-ted with this endless change in the minor motives, we have a conctant repetition of the right angle theme, like a persistent bass chord sounding through a sprinkle of running arpeggios and grace notes from the treble. 32

MOHOLY-NAGYSom Kandinskij og Klee, såg Moholy-Nagy teikning som eit gra-fisk opptak av rørsle.

Every drawing can be understood as a motion study since it is a path of motion recorded by graphic means. 33

FRÅ FOTOGRAFI TIL FILMEit par tiår tidligare, i 1878, vart Eadweard Muybridge kjend for sine studiar av rørsle, ved hjelp av enkeltbilete satt saman til ein sekvens. Noko som oppklarte det eldgamle spørsmålet om hesten har alle føttene opp i frå bakken under galopp (fig. 27). Dette var starten til animasjon og film.

ABSTRAKT FILMPå 1920-talet, i filmen si spede byrjing, var det ei lita gruppe film-skaparar som viste interesse for abstrakte visualiseringar som en-ten var direkte inspirert av musikk, eller var var akkompagnert av musikk. Dei tildlegaste ute var Walter Ruttmann, Hans Richter og Viking Eggeling, alle basert i Berlin. 34 Alle tre skapte monokrone, abstrakte filmar som var influert av musikk. Ruttmann og Richter sine abstrakte filmar var gjerne samansatt av geometriske og dynamiske formar som vart animert i rytmiske mønstre, medan Eggeling sine abstraksjonar er meir statiske og ved større bruk av linjer. Seinare vidareførte Oskar Fischinger, Len Lye, Norman Mc. Lauren og brørne John og James Whitney denne retninga.

WALTER RUTTMANNLichtspiel Opus 1 (fig. 30) av Walter Ruttmann hadde premiere i 1921 i Tyskland, som den første abstrakte filmen som er offentleg framsynt. Metoden han brukte for å lage denne filmen har Dr. William Moritz skildra som:

[Ruttmann’s] first animations for Opus No. 1 were painted with oil paints on glass plates beneath an animation camera,

Figur 26. Målaren Piet Mondrian i atelieret hans i Rue du Départ i Paris 1923. Måleria på biletet syner Mondrians karakteris-tiske stil med rette linjer og rektangulære fargeflater. Foto fra tidsskriftet De Stijl.

Figur 27. Fotoeksperiment av Eadweard Muybridge, frå 1878, då han satte opp ei rekke med fotokamera etter kvarandre og lot ein hest utløyse bileta når hesten sprang forbi. Auge-blikksbileta hans stadfesta at ein hest i galopp har alle fire beina oppe fra bakken samstundes. Han vant dermed eit veddemål om ein premie på 25 000 dollar av forretningsman-nen Leland Stanford.

Figur 30. Stillbilete frå Lichtspiel Opus 1 av Walter Ruttmann (1921).

30 KRYSSANS

Figur 28. Eit musikalske måleri av Piet Mondrian: «Broadway Boogie-Woogie» (1942–1943). Dette måleriet har assosiasjon til bykartet av gatenettverket i Manhattan, lysskilt og pulse-rande trafikk. Mondrian var og influert av boogie-woogie musikk som han oppdaga når han flytta til New York. Som han sjølv skreiv: «True boogie-woogie I conceive as homogeneous with my intension in painting: destructuin of melody, which is the equivalent og destruction of natural apparance, and construction through the continuous opposition of pure means–dyna-mic rhythm.» 36

2. DOKUMENTASJON 31

Figur 29. Eksempel frå Oskar Fischinger, «Tönende Ornamente» experiements (ca. 1931, 5mm film). Oskar Fischinger, som kanskje er mest kjend for animasjonsfilm synkronisert til kjende musikkstykke var og interessert i det tekniske slektskapet mellom bilete og lyd i film. I ca. 1931 oppdaga han at det optiske lydsbåndet til film var samansatt av abstrakte mønster. I dei følgjande månadane jobba han systematisk med å lage lyd av abstrakte teikningar eller ornament på filmens optiske lydbånd. Slik at lyd og bilete teknisk sett kom frå same kilde; ein høyrte det same ornamentet som det ein såg.

32 KRYSSANS

shooting a frame after each brush stroke or each alteration because the wet paint could be wiped away or modified quite easily. He later comined this with geometric cut-outs on aseparate layer of glass. 37

HANS RICHTERMedan Ruttmann sin stil var meir ekspressiv var Richter sin meir rytmisk. Richter innsåg at tid var basisen for den nye kunstforma. Han fortsatt frå ideane om kontrapunkt og komposisjon av form til komposisjon av tid.

This simple square of the movie sreen could easily be divided and ’orchestrated.’ These divisions or parts could then be orchestred in time by accepting the rectangle of the ’movie-canvas’ as the form element. Thus it became possible to relate (in contrast-analogy) the various movement on this ’movie-canvas’ to each other–in a formal as well as temporal sense. 38

Richter sin første abstrakte film Rhythmus 21 (1921), er eit eksempel på hans idear om tidslektskapet (fig. 36). Desse filmane er av og til kalla visuell musikk, sjølv om det berre var Ruttmann sine filmar som faktisk vart akkompagnert med musikk.

OSKAR FISCHINGERKanskje ein av dei viktigaste personane på dette området er Oskar Fischinger. Oskar Fischinger utvikla denne audiovisuelle tradisjonen vidare med hans studiar,

in which existing pieces of music were tightly synchronised to monochrome animation made up of dancing white shapes on a black background. 39

Fischinger laga ei rekke abstrakte eller «absolutte» filmar, som var synkronisert populær musikk, noko som bidrog til at det nådde ut til eit publikum. Desse filmane på eit par minutt vart vist i kinosalen som reklame for musikken. Walt Disney såg Fischinger sitt arbeid og rekrutterte han til animasjonsprosjektet Fantasia. Fischinger jobba ei stund for Disney, men trakk seg frå prosjektet når ideane hans ikkje lengre vart akseptert. Fantasia vakte stor oppsikt i 1940 både på grunn av første film med stereolyd og første film som viste ei utvikling av samspel mellom lyd og bilete.

Fischinger såg lyd og bilete som nære slektningar med base i fysiske mønstre, ornament. Som han sa sjølv:

Between ornament and music persist direct connections, which means that Ornaments are Music. If you look at a strip of film from my experiments with synthetic sound, you will see along one edge a thin stripe of jagged ornamental patterns. These ornaments are drawn music – they are sound: when run through a projector, these graphic sounds broad-cast tones of a hitherto unheard of purity, and thus, quite obviously, fantastic possibilities open up for the composition of music in the future. 40

Figur 31. Hans Richter (1888–1976) var ein tysk-amerikansk målar, grafikar og eksperimentalfilmskapar.

Figur 32. Oskar Fischinger (1900–1967), var ein ab-strakt animatør, filmskapar og målar. Han lagde over 50 korte animerte filmar og måla omlag 800 måleri.

2. DOKUMENTASJON 33

Prosjektet hans Ornament Sound (1931) kunne omdanne visuelle figar til høyrbar lyd (fig. 29).

To andre sentrale personar som jobba med fysisk transformasjon var brørne John og James Whitney. På 1940-talet lagde dei «Five Film Exercises», fem filmar som synte ei tett kopling mellom lyd og visualitet. Som Kerry Brougher seier i Visual Music [51];

The images and sound seem inextricably linked. One is not a result of the other; rather, sound is image, and image is sound, with no fundamental difference. 41

John utvikla og ein teori, Digital Harmony som han skildra i boka Digital Harmony: On the Complementarity of Music and Visual Art, som går ut på at mønster i rørsle er linken mellom musikk og bilete.

LEN LYEEin annan som oppdaga potensialet med å komonere med rørsle var filmskaparen New-Zealendaren Len Lye (1901–1980). Som han sa sjølv:

All of a sudden it hit me – If there was such a thing as composing music, there could be such a thing as composing motion. After all, there are melodic figures, why can’t there be figures of motion? 42

A colour Box (1935) er den første filmen hans der han måla og skrapte direkte på filmrullen, som skapte ein visuell masse av komplekse og kryssande rørsler (fig. 33).

NORMAN MCLARENNorman McLaren, (1914–1987) var ein skotskfødd kanadisk animatør og filmregissør. Som tenåring vart McLaren interessert i visuell musikk og byrja sjølv å teikne abstraksjonar direkte på 35 mm film, inspirert av Len Lye. Etter ti år fekk han tilgang på ein trefargars filmprinter, som tillot han å kopiere fleirfarga håndmåla originalar. Noko han nytta for å lage ei levande tolking, med fly-tande linjer og fargar, med musikk av Oscars Peterson Trio med låta Begone Dull Care 43 (fig. 35). Improvisert jazz vert på den måten kanskje lettare å forstå med denne levande visualiseringa.

SAUL BASS OG TITTELSEKVENSDet som er spesielt med tittelsekvens (opningssekvens til seriar og filmar) i denne samanhengen er den store fridommen ein har til å kople saman lyd og bilete til ein stemningsskapande heilskap. Saul Bass skal ha mykje av æra for korleis den moderne tittelsekvensen er utforma. Når Hitchcock skulle lage nokre av sine mest omtala filmar på 1950- og 60-talet, Psycho og Vertigo, kontakta han den unge grafiske designaren Saul Bass for utarbeiding av tittelsekven-sen. Frå å vera tekst på tittelkort som statisk opplyste om tittelen til filmen og øvrig informasjon, revolusjonerte Saul Bass tittelse-kvensen til å bli integrert i filmen. I Vertigo jobba Saul Bass med John Withney, som ville overføre musikk til noko visuelt.

Figur 33. Stillbilete frå Len Lye sin abstrakte film Colour Box (1935) The Len Lye Foundation)

Figur 34. Norman McLaren under eit fotoopptaka med eit av prosjekta hans spreidd rundt han (1956).

Figur 35. Stillbilete frå Norman McLaren sin film Begone Dull Care (1949) til musikk av Oscar Peterson Trio.

Figur 36. Den grafisk desig-naren Saul Bass revolusjo-nerte opningssekvensen til filmen med å behandle det som eit eige og sjølvstendig verk, noko som var nytt på 50- og 60-talet då det var vanleg å vise opningstek-sten på ein enkel plakat i starten av filmen.

34 KRYSSANS

Figur 37. Filmstrimlar frå Hans Richter sin abstrakte film Rhythm frå 1921.

2. DOKUMENTASJON 35

Figur 38. Filmstrimlar fra Len Lye sin abstrakte film Swinging the Lambeth Walk frå 1939.

36 KRYSSANS

JOHN OG JAMES WHITNEYJohn (1917–1995) og James Whitney (1921–1982) tok opp tradi-sjonen med å bygge eigne instrument i frå fargeorgelbygginga på 1800-talet. Dei bygde eigne maskinar for å uttrykke slektskapet mellom det visuelle og det audive. Desse innovasjonane utvikla seg til audiovisuelle instrument som kontrollerte både det visuelle og det auditive.

for the first time, one can design and execute visual and mu-sical patterns in an inter-reactive form of temporal union. 44

Noko som nålevande kunstnarar som Golan Levin, Fred Collopy, Robert M. Fuhrer, Roger B. Dannenberg, Sydney Fels, Kazushi Nishimoto, Kenji Mase og Frank J. Malina har vidareført i dei seinare åra. Dei jobbar alle med å utvikle system som muliggjer generering av det visuelle i nåtid. 45

STAN BRAKHAGE(1933–2003) var ein amerikanske «non-narrativ» filmskapar som reknast som ein av dei viktigaste personane innan eksperimentell film på 1900-talet.

BRIAN ENOBrian Eno dukkar opp i mange ulike samanhengar, både som musikar og biletkunstnar. Han studerte kunst og var inspirert av minimalistisk måling, men vart først kjend som tangentspelar i glamrockbandet Roxy Music. Han er vidare rekna som grunnleg-gjaren av musikksjangeren ambient music og at musikk kan vera ein del av ein omgjevnad og ikkje noko treng å lytte til aktivt, noko som danna grunnlaget for ei av dei meir kjende platane hans: Music For Airports.

GOLAN LEVINGolan Levin har gjort mange interessante prosjekt, som til dømes The Interstitial Fragment Processor (2007) (fig. 40) som er ein interaktiv installasjon der brukaren kan skape lyd ved å forme ei omslutta form med kroppen. Det interessante med denne installa-sjonen er at brukaren kan utforske koplinga mellom form og lyd, ved eiga deltaking.

PABLO VALBUENAPablo Valbuena er føydd i 1978 i Madrid. Han er utdanna ar-kitekt men jobbar med videoinstallasjon og videoprojeksjon på arkitektur og skulptur (sjå fig. 43 og 44 på neste oppslag). Han jobbar kun med det visuelle, men grunnen til at han er nemnd i denne samanhengen er fordi arbeida hans har vore til stor inspira-sjonskjelde for det praktiske arbeidet i dette masterprosjektet.

MUSIKKVIDEO

Heile teorien bak popvideo er jo at folk er dumme og skal dyttast til med ein stokk anna kvart sekund for ikkje å falle i søvn. Popvideoen sin einaste utviklingspotensial er høgare

Figur 40. The Interstitial Fragment Processor (2007) av Golan Levin. Interaktivt verk der publikum kan skape lyd ved å danne ein omslutta form. Ulik form gir ulik lyd, ein slags synleg-gjering av synestesi.

Figur 39. Music for white Cube (1997) av Brian Eno. Opplevinga av lyd i rom, installasjonskunst.

2. DOKUMENTASJON 37

tempo, fleire fargar og raskare klipp, meir ekstravaganse og lengre og lengre pikebein. Det er ikkje noko grense for kor lange dei beina kan bli. (Brian Eno) 46

Musikkvideo er ein sjanger som er nært knytta til temaet audio-visualitet. I denne sjangeren skal det det visuelle tene musikken og musikkartisten, og har spelt ei stor rolle for popmusikken opp igjennom åra. Det er få men faste konvensjonar for musikkvideo som sjanger. Lengde ligg rundt tre til fire minutt, klipp og kutt skal vera synkronisert med rytmar i musikken:

The rythmic possibilities of editing emerge when several shot lengths form a discernable pattern. A steady beat can be established by making all of the shots approximately the same length. The filmmaker can also create a dynamic pace. Lengthening shots can gradually slow the tempo, while successively shorter shots can accelerate it. 47

To av dei meir interessante filmskaparane som har regissert fleire gode og premierte musikkvideoar er Chris Cunningham og Mic-hel Gondry. Her vil eg trekke fram to eksempel Star Guitar (med musikk av the Chemical Brothers), regissert av Michel Gondry og Only You (med musikk av Portishead) av Chris Cunningham. MICHEL GOUNDRY OG STAR GUITARI denne musikkvideoen vert me med på ei togreise, og ser fabrik-kar, industrihus, togskinner, stolper og stasjonarpassere forbi gjennom togvindauga (fig. 41). Den enkle forma til videoen vert brukt som ein subtil parallell til dei repetitive elementa i musik-ken. Rytmane og lydane i musikken er synkroniserte med enkelte elementar i bileta. til dømes at basstromma er kopla til synet av ei lysstolpe som passerer forbi, og high-hat er synet av ein liten con-tainer. Rytmane i musikken vert altså attspegla i visuelle signal.

CHRIS CUNNINGHAM OG ONLY YOU

Well, I was obsessed with the idea of making things move in time with music (Chris Cunningham) 48

Chris Cunningham har utvikla ein særeigen stil i samarbeid med artistar som Bjørk, Madonna, Portishead og Aphex Twin. Mu-sikkvideoen til Only You (fig. 42), laga i 1997, er ein mørk og litt «skrudd» visualisering som tydeleg er inspirert av det musikalske universet til Portishead. Videoen nyttar slow-motion filming av både menneskelege rørslar (dans) og umenneskelege rørslar (sko-lisse som snor seg) klippa synkront til musikken.

INTERAKTIV MUSIKKVIDEOI det siste har det dukka opp ein ny retning innan musikkvideo, nemleg den interaktive musikkvideoen. Her vil eg trekke fram to eksempel. Det eine er henta frå den spanske gruppa Labuat, som laga ei nettside til sangen «Soy Tu Aire» («I’m Your Air») (fig. 46)som lot brukaren «måle» med ein penselstrek i vilkårleg retning, med voksande animasjonar av fulgar og notar ut i frå streken. Eit

Figur 41. Stillbilete frå musikkvideoen Star Guitar (2006) regissert av Michel Goundry.

Figur 42. Stillbilete frå musikk-videoen Only You (1997) regis-sert av Chris Cunningham.

38 KRYSSANS

Figur 43. «Augmented Sculpure series» av Pablo Valbuena, 2007. Videoprojeksjon på skulptur.

2. DOKUMENTASJON 39

Figur 44. «Quadratura» av Pablo Valbuena. Stadsspesifikk installasjon, Matadero Madrid, Spania 2010. Videoprojeksjon på arkitektur.

40 KRYSSANS

anna eksempel er prosjektet «The Wilderness Downtown» regis-sert av Chris Milk i samarbeid med Google. Her er det Arcade Fire sin låt «We Used to Wait» som er utforma som eit webpro-sjekt i HTML5 som nyttar teknologi frå Google Maps og Google Street View. Sjåaren startar opplevinga med å skrive inn namnet på heimstaden. Vidare dukkar nye vindauge opp med ulikt inn-hald, som tar sjåaren med på ein tur gjennom heimstaden i løpet av låta til Arcade Fire. Det skal bli interessant å sjå kva som skjer med musikkvideosjangeren i framtida.

OPPSUMMERINGDei første tiåra av 1900-talet var kreatørar veldig aktive når det gjeld eksmerimentering med fleirmediale uttrykk. Kunstnarar som Scriabin, Kandinskij og Klee var interesserte i samme sak, å kom-binere musikk og visuell kunst. Dette vart vidareført til abstrakt film ved introduksjonen av film som eit medium. Eggeling, Rutt-mann, Richter, Lye, Fischinger og McLaren jobba alle i dette nye landskapet der tid og rytme vart sett på som noko essensielt.

Data- og videoteknolgi har nå gjort det mogleg å oppnå det våre forfedre berre kunne drøyme om. Moglegheitane er mange, men har kvaliteten blitt betre sidan dei abstrakte filmane frå 1920-ta-let? Er det å tilføre lyd i visuell kommunikasjon døden for den visuelle kvaliteten på lik linje som det å innføre lyd i filmen på starten av forrige århundret førte til mindre fokus på det visuelle?

Figur 46. Stillbilete frå den interaktive nettbaserte musikkvideoen til låta «Soy tu Aire» (2009), som går ut på at du kan «teikne med blekk» undervegs medan du høyrer låta. Laga av HerraizSoto & Co og badabing.

Figur 45. Bloom (2009), «app» til iPhone og iPod Touch. Utvikla av ambientpioner Brian Eno og musikar/programvarede-signer Peter Chilvers.Dels in-strument, dels komposisjon og dels kunstverk, Blooms innovative kontroller tillet brukaren å lage detaljerte mønstre og unike melodiar ved å trykke på skjermen som skapar eit uendelig utval av komposisjonar og visualiseringar.

2. DOKUMENTASJON 41

FYSISK KORRELASJON

SYNERGETISK

ASSOSIATIVT

LOGISK KORRELASJON

SYNESTETISK

SYNKRETISK

METAFORISK

det medvitne objektivt

det umedvitne

auditivt visuelt

subjektivt

Systematisk/strukturelt

Det er mange måtar å nærme seg ein syntese av lyd og bilete. I dette delkapittelet har eg sortert informasjon etter ulike tilnær-mingsmåtar inspirert av «Haverkamp’s Linkage Model» (fig. 20). 23

Denne modellen (fig. 47) strekk seg frå fysiske kopling mellom lyd og bilete som å risse eit visuelt mønster og spele av som lyd, til meir psykiske koplingar som synestesi, der koplinga er eit perseptuelt og subjektivt fenomen. Det går altså ei linje frå fysisk til psykisk, objektivt til subjektivt, det medvitne til det umedvitne – med glidande overgangar.

Figur 47. Modell over ulike tilnærmingsmåtar iht. å skape syntese av lyd og bilete.

42 KRYSSANS

Fysisk korrelasjon

Menneska har vore på leiting etter ei naturleg lov på forholdet mellom lys og lyd i årtusenar. Både lys (årsaken til synet) og lyd er eit vibrasjonsfenomen som kan skildrast i form av frekvens av bølgjer (sjå fig. 48), men desse er heilt separate fysiske feno-men som bare kan oppstå i sinnet vårt henhald til fortolkande analogiar. Lyd er produsert av bølgjer av vibrasjonar i lufta og kan oppfattast av øyra med ei bølgelengd mellom 16 og 16 000 svingingar per sekund (kjent som Hertz). Synet vårt er basert på mottak av synleg lys, registrering av elektromagnetisk stråling. Innanfor spekteret av synlig lys har fargen raud lågast frekvens og fiolett har høgast (ultrafiolett lys, eller UV-stråling er over fiolett) (sjå fig. 49).

KVINTSIRKELEN Eit av det første menneska som forska på forholdet mellom syn og lyd var Pytagoras av Samos (ca. 550 f.Kr.), ein gresk filosof som stod for viktig utvikling i matematikk, astronomi, og teorien om musikk. Pytagoras og hans tilhengjarar, hevda at alt i livet kan skildrast i tall. Han var sjølv musikar og la merke til at vibre-rande strengar produserte harmoniske tonar, og forholdet mellom lengda av strengen er heile tall, og at desse forholda kan utvidast til andre instrument. Pytagoras abstrakte matematikk og teoriar om harmoniske proporsjonar førte til etableringa av kvintsirke-len, som er kjend for ein kvar musikar. (Figur 15: kvintsirkel)

KYMATIKKStudiet av vibrasjon og synleg lyd har etterkvart etablert seg som eit eige fag, nemleg kymatikk. Kymatikk (fornorska frå engelsk (cymatics), via gresk for bølge, er studiet av synleg lyd og vibra-sjon på overflata av ei plate eller ein membran. Det er ei direkte visualisering av vibrasjonar der ein nyttar lyd til å skape ulike mønster som gjer seg synlege i til dømes sandpartiklar eller væske.

Kymatikk hadde si spede byrjing med obersvasjonar i renessanse-tida av DaVinco, Galileo og den engelske forskaren Robert Hook. Ernst Chladni tok denne forskinga vidare på 1800-talet med følgjande eksperiement: å spre sand utover ei metallplate for så å sette metallplata i vibrasjon ved å stryke på metallkanten med ein fiolinboge. Det han erfarte var at det danna seg ulike mønster ut i frå ulike tonehøgder (fig. 54) Dess lysare tone, dess meir intri-kate mønster. Neste forskar som tok opp tråden var Hans Jenny i 1970-åra (fig. 55). Han namngav dette naturfenomenet kymatikk.

I dag har me ulike apparat for å synleggjere vibrasjon frå lyd. Til dømes har me eit apparat kalla cymascope. Via dette apparatet kan ein visualisere lydane delfinane kommuniserer med, altså eit delfinalfabet. Synleggjering av dette alfabet kan hjelpa oss å forstå

Figur 50. Pytagoras var ein av dei første til å studere samanhengen mellom syn og lyd.

Figur 51. Kvintsirkelen (1728), geometrisk framstil-ling av forholdet mellom dei tolv tonane i den vestlege kromatiske skalaen.

Hørselen Frekvensspekter: 16–16000 Hzbølgelengd: 20–0.02 mOktavantal: 10Bølgetype: mekaniskNervevegar til hjernen 2.104

SynetFrekvensspekter: 400 000– 790 000 Hzbølgelengd: 780–390 nmOktavantal: ca. 1Bølgetype: elektromagnetiskNervevegar til hjernen 2.106

Figur 48. Skilnad på auditiv og visuell persepsjon, tabell av Gerhard Daurer. 6

Figur 49. Det synlege fargespekteret.

III

DESIGNEKSPERIMENT 1: VANNFARGEDANS PÅ HØGTALAR[FYSISK KORRELASJON MELLOM LYD OG BILETE]

Figur 52. Designeksperiment utført hausten 2009, vannmåling på høgtalar, inspirert av kymatikk og fenoment lydvibrasjon – ei fysisk kopling mellom lyd og bilete.

IV

Designeksperiment 1: Vannfargedans på høgtalar[Fysisk korrelasjon mellom lyd og bilete]

Dette prosjektet handla om å finne ut om me kan finne naturskapte lydformar, til skilnad frå menneskeskapte formar. Dette er inspirert av fagområdet kymatikk; læra om korleis lydvibrasjon kan fastsetja ei form i enten partiklar eller væske. Eg blanda akrylmåling og plassert det på ein høgtalar og av fotograferte forma som vart skapt av vibrasjon frå høgtalaren.

2. DOKUMENTASJON 43

korleis dei kommuniserer.Kymatikk er eit prov på ein fysisk likskap mellom det auditive og det visuelle. Med fysisk likskap meinar eg ein direkte og materiell kopling som er meir eller mindre «naturskapt». Med naturskapt meinar eg at det er minimal grad av tolking inne i biletet, og resultatet vil verta det same om forholda er dei same. Dette er til skilnad frå menneskeskapte tolkingar som varierer frå person til person og kultur til kultur.

DESIGNEKSPERIMENT 1: VANNFARGEDANS PÅ HØGTALAREit av dei første prosjekta eg utførte for å bli kjend med temaet lyd og bilete var eit kymatikkinspirert prosjekt (fig. 52). Ved å plassere vannmåling på eit transparent ark på ein høgtalar såg eg korleis vibrasjon frå lyd førte til danning av ulike visuelle formar og figurar. Ulike lydsignal førte til ulike visuelle formasjonar. Ek-splosiv lyd førte til eksplosiv rørsle på lik linje med at ein jevn og dirrande basslyd førte til mange og små «dirrande» rørsler.

DEN FYSISKE KORRELASJONENMed ein fysisk korrelasjon meinar eg prosjekt som har ein kop-ling som er fysisk og absolutt, ein-til-ein mellom lyd og bilete. Piano roll (fig. 56) er eit anna eksempel på ein fysisk korrelasjon. Viss ein hadde samanligna det visuelle mønsteret med det aurale mønsteret under framføring ville ein kunne kjenne igjen forma-sjonane. Ein prikk gir ein lyd. Det er absolutt, og vil gi det same resultatet gang på gang under ei framføring. Dette er til skilnad frå den logiske korrelasjonen forklart i neste avsnitt, der det er større grad av tolkning inne i biletet.

Figur 56. Illustrasjon på ein piano roll, ein nøkkel til eit musikkstykke for eit mekanisk piano. Hola i papirrullen har ulik lengde og mønsteret er ein naturleg konsekvens av musikken.

Figur 54. Mønster av fine sandkorn på ei metallplate, cws lydvibrasjon. Dess høgare frekvens dess meir intrikate mønster.

Figur 55. Kymatikk, studiet av bølgevibrasjon, bilete frå eksperiment av forskaren Hans Jenny (1904–1972).

Figur 53. Ernst Chladni: mønsterdanning frå lydvi-brasjon ved å stryke ein fiolinboge på kanten av ei sanddekt metallplate.

44 KRYSSANS

Logisk korrelasjon

Med logisk meinar eg ein korrelasjon som er basert på analogi (samsvar, likskap)– eit slektskap som er logisk, og gjerne mate-matisk definert. I århundre har me prøvd å finne eit system på ein farge-tone korrelasjon, som eit konkret tilfelle av korrespondanse mellom tonefrekvens for øyra og lysfrekvens for auga. Men til tross for dei uttallege forsøka, bl.a. av Newton og Castel, så er me ikkje samde om eit korrelerande system den dag i dag.

Skilnaden mellom den fysiske koplinga og den logiske koplinga definerar eg som graden av menneskelaga reglar. Logisk kopling er danning av korrelerande parametrar basert på logikk. Men parametrane som er definert av menneske, til skilnad frå natur-skapte, involverar ein viss grad av tolking. Sjølv om systemet vil gi same resultat gang på gang (til skilnad frå metafor og assosia-sjon), vil resultatet avhenge totalt av parametrane som er satt av den enkelte kreatøren.

NOTESYSTEMETNotesystemet er ein visuell representasjon av musikk og plas-sert i eit logisk system. Notesystemet me nyttar i dag stammar frå 1600-talet. Først hadde ein færre antall linjer, der tonane var angitt som punkt eller firkantar plassert i eit loddrett system (fig. 57). Plasseringa øverst til nederest refererte til tonehøga i me-lodien, som viser til ei sterk mellom «opp og ned», i forhold til tonane «lys og mørk».

FARGE-TONE ANALOGI / CHROMAESTHESIAI Opticks frå 1704 skildrar Newton korleis kvitt sollys vert spalta i eit prisme slik at fargespekteret vert syn i eit bånd av raudt, oransje, gult, grønt, blått, indigo og fiolett. Newton førte endane av båndet, raudt og fiolett saman, og laga ein fargesirkel (fig 21. s.27). Dette var ein heilt ny måte å systematisere fargene på. Newton delte sirkelen i sju deler, og kopla dei sju fargane opp i mot dei sju tonane i ein C-dur skala: raud til C, oransje til D, gul til E, grøn til F, blå til G, indigo A og fiolett til H. Dette har nok inspirert etterkommarane i dei neste hundre åra (fig 60).

Isac Newton 1704

Louis Bertrand Castel 1734

George Field 1816

D. D. Jameson 1844

Theodor Seemann 1881

A. Wallace Rimington 1893

Bainbridge Bishop 1893

H. von Helmholtz 1910

Alexander Scriabin 1911

Adrian Bernhard Klein 1930

I. J. Belmont 1944

Steve Zievering 2004

C D E F G A H

Figur 60. Figur på ulike farge-tone-

korrelasjonar opp gjennom århunra, basert på ein

illustrasjon av Fred Collopy. (RhythmicLight.com)

Figur 58. Utdrag av det moderne notebiletet til Beethovens 5. Symfoni.

Figur 57. Noter frå gamalt av, Cantorinus ad Eorum Instructionem (1540) av Luce Antonii Junte.

Figur 59. Fontana Mix (1958) for lydbånd av John Cage, grafisk notasjon. Komposisjonen er sett saman av linjer, punkter og eit rutenett – printa på tjueto ulike transparenter. Kombinasjonen av desse dannar partituret – som naturleg nok vil bli forskjel-lig fra gang til gang. Cage komponerte fleire verk med denne metoden.

V

P

e

o p l

e

t

h

i n k t

h

a

t

c

o m p o s

e

r s s i t t

h

e

r

e

w i t

h

t

h

e

i r p

e

n o v

e

r t

h

e

m

a

n u s

c

r i p t p

a

p

e

r ,

a

n

d

G

o

d

s

e

n

d

s

h

i s i n s p i r

a

t i o n

d

o w n t

h

e

t o p o

f

t

h

e

p

e

n

o n t o t

h

e

p

a

p

e

r . W

e

l l , i n s o m

e

c

a

s

e

s i t s

e e

m s p

e

r

h

a

p s t

h

e

y

d

i

d

; p

e

r

h

a

p s M o z

a

r t .

B

u t i n o t

h

e

r

c

a

s

e

s o n

e

h

a

s t o i m p o s

e

a

d i s

c

i p l i n

e

.

(

D

e

l i

a

D

e

r

b

y s

h

i r

e

)

DEIGNEKSPERIMENT 2: KOMPONERE MED BOKSTAVAR[LOGISK KORRELASJON]

Figur 61. Plakatutfoming der bokstavane er plasert på ei loddrett akse iht. tonane i eit notesystem, der komposisjon som struktureringsmetode er link mellom musikk og design.

VI

*People think that composers sit there with their pen over the manuscript paper, and God sends his inspiration down the top of the pen onto the paper. Well, in some cases it seems perhaps they did; perhaps Mozart. But in other cases one has to impose a discipline. (Sagt av Delia Derbyshire i eit intervju av Surface Magazine i mai 2000.)

Designeksperiment 2: Komponere med bokstavar [Logisk korrelasjon]

Dette er eit prosjekt som vart laga under workshop med med Anders og Serge i NODE, som laga denne briefen til meg:

Design a poster in relation to your master project until 5pm today. The goal ist to communivate your topic by referring to an individually given subject: Delia Derbyshire, musician & composer and/or her work. Restrictions: For-mat: A1, only b/w. Only layout computer application allowed: Simple text. Typography: Helvetica Medium.

Om løysningaEg visualiserte eit utsagn* av Delia Derbyshire slik at det både vart noko visuelt og noko auditivt. Komponeringa av bokstavane i utsagnet refererar til den respektive tonehøgda i eit notesystem, frå tonen/bokstaven C i botn til tonen/bokstaven H i toppen. På den måten danna det seg eit visuelt mønster som samstundes kan lesast som musikk.

Styrken bak denne løysninga er at det er ein direkte link mellom bilete og lyd, og kan fungere som begge delar. Løysninga er basert på system- og gridtankegang der komposisjon som stuktureringsmetode kan sjaåst på som link mellom musikk og design.

RefleksjonMed dette prosjektet fekk eg erfare korleis avgrensning kan føre til ei konkretise-ring av eit konsept.

2. DOKUMENTASJON 45

GRIDBASERT DESIGNGridbasert design er ei retning innanfor design som er basert på system og logikk – der systemet definerer form og utsjånad. Josef Müller Brockmann, ein av pionerane innan sveitsisk design laga frå 1951 ei rekke konsertplakatar for «Tonhalle in Zurich» (fig. 62). Brockmann revolusjonerte grafiske design og inspirerte ein heil generasjon etter han. Sagt av Lars Müller om dei ikoniske gridbaserte plakatane og musikaliteten i design:

the poster is showing «musicality of the design,» evoking an association between music and the viewer, and alluding to Brockmann’s interest in Concrete art. 49

DEIGNEKSPERIMENT 2: KOMPONERE MED BOKSTAVARBasert på systemtankegang vart bokstavane i eit utsagn av Delia Derbyshire 50 plassert ut ifrå eit notasjonssystem, der bokstaven H refererar til tonen H i notesystemet, medan bokstaven C refererar til tonen C i botn av notesystemet (fig. 61). På den måten danna det seg eit visuelt mønster som og kan tolkast som noter.

DIGITAL SYNTESEPionerane innan lyd- og fargekomposisjon som Scriabin, Kan-dinskij og Mondrian hadde ikkje dei teknologiske moglegheitane som dagens kunstnarar og designarar har. Sidan 1950-talet, med stadig utvikling av datateknologi, har det dukka opp nye ko-plingsmoglegheitar, sidan farge og lyd er definert med same språk i bites og bytes, i tyding av «på» eller «av».

In digital media ... music and visual art are ... created out of the same stuff, bits of electronic information ... The aspi-ration to novel experience created by the compounding of sensation and association has never been more possible. 51

Men har kvaliteten på arbeida blitt betre?

Given the capability of the Internet to publish and share di-gital productions, this has led to an avalanche of synesthesia-inspired art on the Internet. Unfortunately, many projects are not well thought out. Using digital art to express synesthesia involves more than applying some computer algorithms that arbitrarily translate music into colors. Windows Media Player can already do that trick for you. The challenge is to find a form that truly shows some new aspects of synest-hesia. […] Perhaps one should study the ”old masters” of visual music such as John Whitney and Oskar Fischinger […] all of them were limited in their technical opportunities, but they did a good job of relating music to images. (van Campen, 2010:62)

MARIUS WATZMarius Watz (1974–) er ein grafisk designar og kunstnar basert i New York/Oslo som jobbar med visuelle uttrykk som vert skapt ved hjelp av programmering. Han nyttar enkle geometriske for-mar og regelbaserte komposisjonar for å visualisere utviklinga av komplekse idear.

Figur 63. Utsnitt av skisse til plakatprosjektet: å kompo-nere med bokstavar.

Figur 64. Biletel frå liveshowet til DJ Nosaj Thing, i samarbeid med videokunstnarane/prgrame-rane Adam Guzman and Julia Tsao.

Figur 62. Josef Müller Brockmann. Tre eksempel på gridbaserte konsert-plakatar laga til Tonhalle Zürich, Musica Viva.

46 KRYSSANS

Assosiativt

Assosiasjon er ein meir friare tolkning enn den logiske forklart ovanfor, men har samstundes ein intuitiv logikk (intuisjon tydar forståing av ein samanheng utan hjelp av refleksjon). Assosiasjon er sambandet mellom to tankar eller førestillingar, til dømes at eit sanseinntrykk lett framfallar det (dei) andre i medvitet. Dette er av den grunn noko meir subjektivt enn dei to kategoriane ovan-for, den fysisk og logisk korrelasjonen.

GRAFISK DESIGNARAR OG MUSIKKMange grafiske designarar jobbar i krysningsfeltet musikk og formidling, med utforming av plakatar, plateomslag, musikkfesti-valar, identitet til musikkgrupper osv.

KIM HIORTHØY OG RUNE GRAMMOFONPlateselskapet Rune Grammofon starta i 1998 med dei to første albuma «1-3» av Supersilent og «Electric» Arne Nordheim (fig. 66). Rune Grammofon har nå gitt ut ca. 100 album som dekker avant rock, elektronika, improv, jazz, alternativ pop, progressiv samtidsmusikk og det meste imellom. Rune Grammofons faste designar Kim Hiorthøy (1973–) er ein multikunstnar i ordet si rette tyding. Designarbeidet hans for Rune Grammofon og Smalltown Supersound har fått merksemd i ei rekke kunstbøker om platecoverdesign. Han har gjort ei rekke musikkvideoar for Motorpsycho, ein konsert-dvd for Supersilent, og utgitt ei rekke plater med eigen musikk. Han har dessutan designet alle albuma til Rune Grammofon, samt to bøker, postere, t-skjorter og alle annonsene til selskapet gjennom tolv år. Noko som gjer dette samarbeidet til noko helt unikt, sjølv i internasjonal samanheng. 52

ARE KLEIVANAre Kleivan er ein annan grafisk designar i Noreg som har jobba ein del opp i mot musikk. I den samanhengen gjorde eg eit inter-vju med han som eit ledd i research den første hausten. Eg spurde han bl.a. om kva design hadde å seia for musikkbransjen, han svarte:

Veldig mye. Musikk har mye med identitet å gjøre. Kanskje ikke i så stor grad som tidligere, for musikk er mer tilgjen-gelig i dag. I vår tid lytter man til musikk på en annerledes måte enn før. Før var det visuelle mer identitetsskapende, og tilhørighetsskapende. I dag hører samme personen gjerne på både metal og disco, og det er ikke så mange fraksjoner innenfor populærmusikken. Da er det ikke lenger så viktig å ha et tydelig rocke- hiphop eller pop-språk. På den annen side eksisterer skillelinjene enda.

Eg spurte han og samanheng han såg mellom det auditive og det visuelle:

De utfyller gjerne hverandre. I mitt arbeid med musikk, så forsterker de hverandre. I en animasjon virker lyden inn på

Figur 65. To sider frå Song Book for Joan (2004) av lydkunstnaren Rolf Julius. Boka er laga av japansk papir der kvar side er markert med ein unik blekk-flekk. Tittelen viser til at det visuelle kan oppfattast som eit uttrykk for lyd.

Figur 66. Platecoverdesign av Kim Hiorthøy til Arne Nordheim – Electric (1998)(Rune Grammofon).

Figur 67. Platecoverde-sign av Kim Hiorthøy til Elephant9, Dodovoodoo (2008)(Rune Grammofon).

VII

DESIGNEKSPERIMENT 3: FORM <> LYD[ASSOSIATIV KOPLING]

Figur 68_1. Er det ein universell opplevd kopling mellom lyd og form?Målet med eksperimentet var å kartlegge assosiasjonen mellom det visuelle og det audi-tive. Det var åtte deltakar som deltok. Kvar deltakar fekk utdelt sju par med gule lappar med ulike symbol på. Oppgåva gjekk ut på å ta stilling til kva symbol som representerte kva lyd som vart spelt på ei tverrfløyte.

VIII

Figur 68_2. Storleik <> tonehøgdEin stor runding og ein liten runding vart presentert i lag med ein lys tone og ein lav tone. Alle deltakarane kopla den vesle rundingen til den lyse tonen.

IX

Figur 68_3. Form <> tonehøgdEi spiss stjerne og ei rund stjerne vart presentert i lag med ein lys tone og ein lav tone. Alle deltakarane kopla den spisse stjerna til den lyse tonen.

X

Figur 68_4. Fargetone <> tonehøgdLyserosa og mørkerosa vart presentert i lag med ein lys tone og ein lav tone. Alle deltakarane kopla den lyse fargen til den lyse tonen, og den mørke fargen til den mørke tonen.

XI

Figur 68_5. Fargetone <> tonestyrkeLyserosa og mørkerosa vart presentert i lag med ein svak tone og ein kraftig tone. Sju av åtte deltakarar kopla den svake tonen til den svake fargen.

XII

Figur 68_6. Papiroverflate <> toneklangGlatt papir og krølla papir vart presentert i lag med ein klar tone og meir diffus overtone. Alle deltakarane kopla det glatte papiret til den klare tonen.

XIII

Figur 68_7. Fargetone <> toneutforming (staccato/legato)Lysegult og mørkgult vart presentert i lag med ein sekvens med to tonar spelt flytande etter kvarandre (legato) og oppstykka frå kvarandre (staccato). Her var deltakarane mest usamde, halvparten kopla den legato frasen til den lysegule fargen.

XIV

Figur 68_8. Storleik <> tonestyrkeEin liten firkant og ein stor firkant vart presentert i lag med ein svak tone og sterk tone. Sju av åtte deltakarar kopla den vesle firkanten til den svake tonen.

2. DOKUMENTASJON 47

Figur 69. Skisse til design-eksperimentet «form<>lyd» (vinteren 2010).

Figur 70. Bilete som syner deltakarane i aksjon på designeksperimentet «form<>lyd».

hvordan man opplever en bevegelse, og omvendt. Når man jobber med ikke-bevegelig tradisjonell design, er det først og fremst det visuelle som påvirker ens oppfattelse av lyd mer enn den andre veien. Eller, det er jeg ikke helt enig med meg selv om. De kan påvirke begge veier. Hvis du har et bilde, og hører musikk til, kan musikken gi mening til bildet, og bildet gi mening til musikken.

(sjå vedlegg 3 for heile intervjuet).

DESIGNEKSPERIMENT 3: FORM <> LYDAlbert Wellek forska så tidleg som på 1920-talet på krysskor-respondanse som eksisterer hos alle menneske til ein kvar tid, noko han kalla «primeval synesthesias». Til dømes at ein liten prikk kan knyttast til ein lys tone, medan ein ein stor prikk er ein mørkare tone. Desse korrespondansane kan ein finne igjen i vest-lig notasjon, der lys tone er plassert høgt, medan ein låg tone er plassert lågt i notasjonssystemet.

In most of us high sounds suggest clear and angular images. At the opposite low sounds suggest dark and round images, etc. 53 The same associative principle is valid for musical sounds, language sounds, with comparison between sound and its visual correspondence that lies outside the specific aspects of different cultures. 54

I dette eksperimentet frå desember 2010 testa eg ut opplevde samanhengar mellom lyd, form og farge. Etter først å ha jobba med synestesi ei stund, stilte eg spørsmålet i kva grad alle kunne oppleve eit samband mellom to seperate område. På den måten opna eg opp prosjektet til å handle om form, farge, assosiasjo-nar og koplingar på eit generelt plan, og ikkje lengre direkte om

48 KRYSSANS

Figur 74. «Plastic Deciption of Measures 52–55 of E-minot Fugue by J.S. Bach (1968–70)» av Heinrich Neugeboren. Musikk over-ført til form og farge.

Figur 71. Kandinsij si om-setjing av musikk (Beetho-vens 5. Symfoni) til punkt (Kadinsky 1979:43).

Metaforisk

Metaforisk; i overført tyding. Her kjem tolking i større grad inn i biletet, enn dei foregåande kategoriane fysisk, logisk og as-sosiativt. Metaforar er basert på kultur og språk, eller var det omvendt? Det er menneskelaga og finn meining fordi me tillegg det meining.

TRANSFORMASJONEi metaforisk kopling definerer eg som ein transformasjon. Trans-formasjon handlar om å omsette, ved å samanlikne to uavhengige område og finne eit samband mellom dei. På mange måtar er det nettopp det dette masterprosjektet handlar om, med fokus på sambandet mellom det me høyrer og det me ser. Designekspe-rimenta mine veks ut ifrå dette grenselandet og søker ein tverr-kunnskap, på tvers av uavhengige fagområder.

Every successful metaphor – what Aristotle called «naming a thing with that which is not its name» – is seen initially and briefly as a mistake, but then suddenly as a deeper truth about the thing named and our relationship to it. And the greater the metaphoric distance, or gap, between image and accompanying sound, the greater the value added–within cer-tain limits (sagt av Walter Murch i forordet til «AudioVision Sound on Screen», Michel Chion).

Denne djupare kunnskapen, eller sanninga, er noko eg trur desig-narar spelar på i det umedvitne når ein skal velje form og farge til eit innhald – ein kunnskap det ikkje nødvendigvis går an å lese seg til, men heller tileigning ved erfaring.

KANDINSKIJ OG OMSETJINGOmgrepet omsetjing dukkar opp i boka Point and Line to Plane av Kandinskij som referar til handlinga å trekke ei korresponde-rande linje mellom grafiske og linjeforma element med ei rekke ikkje-grafiske opplevingar som musikk, spirituell intuisjon og visuell persepsjon:

every phenomenon of the external and of the inner world can be given a linear expression – a kind of translation (Kan-dinsky 1979:68).

Kandinskij ytra eit håpa om i framtida å kunne omsetje alle ek-sisterande uttrykk til eit visuelt språk, gjennom etablering av ein felles syntaks – ein «elementary dictionary». Hans forsøk på eta-blere VQO som ei universalkorrespondanse mellom tre grunnfor-mar og tre primærfargar er eit eksempel på ein slik type omsetjing (les meir om VQO�på s. 72).

MUSIKK OVERFØRT TIL BILETE OG FILMI dette sjiktet opererer mange kreatørar, som filmskaparane av «abstrakt film» på 1920-talet som Oskar Fischinger (fig. 72), der dei overførte musikalske prinsipp til filmen, og dei modernistiske

Figur 73. «Liberation» (1955) av M.C.Escher. Transformasjon med form og farge på papirstrimmel.

Figur 72. «Allegretto» (1943) av Oskar Fischin-ger. Abstrakt animasjon synkronisert med musikk, der musikalske prinsipp er overført til filmmediumet.

XV

DESIGNEKSPERIMENT 4: MUSIKKTYPOGRAFI[METAFORISK KOPLING]

Figur 75. Musikktypografi.

XVI

Designeksperiment 2: Musikktypografi[Metaforisk kopling]

Dette prosjektet handla om å kople typografi og abstrakte formar opp mot musikkbegrep; ein intuiv abstraksjonslek med form- og lydanalogiar.

XVII

DESIGNEKSPERIMENT 5: MUSIKKTEIKNING[METAFORISK KOPLING]

Figur 76. Tolkningane til musikkstudentane og designstudentane av den figurative låta «Experimental» av Spacer.

XVIII

Figur 77. Tolkningane til musikkstudentane og designstudentane av den flyktige låta «Humlens flukt» av synestetikar og komponist Nikolaij Rimskij-Korsakov.

XIX

Figur 78. Tolkningane til musikkstudentane og designstudentane av den pulserande låta «Pulses» av Steve Reich.

XX

Designeksperiment 5: Musikkteikning [metaforisk kopling]

Har me ei felles visuell forståing av musikk? Kan to ulike grupper menneske, de-signstudentar og musikkstudentar, visualisere musikk på same måte? Intensjonen med dette prosjektet var å studere korleis andre responderar spontant til musikk, og korleis dei overset desse inntrykka til blyantstrekar på eit papir.

Det vart valgt ut tre korte lydspor med ulik karakter, ein flyktig (Humlens Flukt av synestetikar Rimskij-Korsakov), ein pulserande (Pulses av Steve Reich) og ein figurativ (Experimental, Molecular Music av Spacer). Deltakarane fekk utlevert tre A4-ark og ein pen, med beskjed om å høyre på musikken og teikne det dei følte, såg eller høyrte. Ni designstudentar og fem musikkstudentar teikna til saman førtito teikningar.

Deltakarane reagerte forskjellig, men fleire teikna overraskande like tolkningar, som såg ut til å reflektere musikken dei høyrte.

Bakgrunn for å velge to ulike grupper var for å komme nærmare spørsmålet om ei visuell tolking av musikk er eit kulturelt fenomen eller ikkje. Men det eg ser i etterkant er at desse to ulike gruppene har vokse opp i den same vestlege kulturen, med ganske lik påverknad frå omgjevnadane. Derfor er det umogleg å påvise/avvise om det er eit kulturelt fenomen eller ikkje. Men det eg imidlertid kan nemne, er at musikkstudentane tolka musikken i større grad som noko lineært, med start og slutt frå venstre mot høgre, mest sannsynlegvis i analogi til notesystemet.

2. DOKUMENTASJON 49

Figur 80. Typografi av Ste-ven Harrington. Noteteikn overført til typografi.

Figur 81. David Carson: The End of Print. David Carson har med sin frie og eigenarta typografiske stil inspirert ein generasjon av grafisk designarar.

målarane, som Kandinskij og Klee (fig. 78) som var sterkt influert av musikk som komposisisjonsprinsipp.

DESIGNEKSPERIMENT 4: MUSIKKTYPOGRAFII dette eksperimentet (fig. 74) såg eg korleis eg intuitivt kunne omsetje musikalske uttrykk som dynamikk, rubato, intervall osv. på ein visuell måte med typografi. Sidan eg er van med å lese noter og å behandle typografi, såg eg fort mulege måtar å omsetje dei musikalske omgrepa.

DESIGNEKSPERIMENT 5: MUSIKKTEIKNINGHer flytta eg fokuset frå meg sjølv og til andre, og såg korleis andre tolka musikk med penn og papir (fig. 75–77). Eg valde to ulike grupper, designarar og musikarar for å kanskje kunne oppdage ein forskjell på tolkningane. Sidan begge gruppene har stort sett vukse opp i same kultur var ikkje skilnaden så stor, med unntak av musikkstudentane som kanskje var påverka i større grad av den lineære representasjonen av musikk som ein finn i noteverda.

Figur 82. Eksempel på lydmålande ord (onomato-poetika). Her er lydklang overført til ei visuell typo-grafisk form.

Figur 79. : Instrument for New Music (1914). Noteteikn er tolka som grafiske formar Paul Klee sin abstrakt og fragmenta-riske stil.

50 KRYSSANS

Figur 83. Redesign av appelsinjuicekartongen Tropicana. Forandring på pakningsdesignet fører til forandring av oppfatninga sjølve produktet, sjølv om produktet er det same, noko som kallast for sensation transference.

Synergetisk

Det er ein kjend sak at lyd kan forsterke eit bilete, og ein visuali-sering kan forsterke opplevinga av lyd, noko som kan kallast for synergieffekten. Synergi tydar samvirke, medverknad. I ein au-diovisualitet påverkar det visuelle det auditive og v.v. Det handlar om at 1+1=3, at heilskapen er meir enn summen av delane – på bakgrunn av at me søker stadig ei meining, ein gestalt.

Music, ‘adds value’ to the image. The nature of the syn-chronous sound causes the film-goer to construe the image differently, and hence the relationship of sound and image in film should not be described simply as ‘associatonist’, but as ‘synergetic’, they enter into a ‘contract’ in the film-goer’s perception. (Chion 1994)

Perseptuelle inntrykk frå ein sans påvirkar ein annan sans. Dette kan konkret gjere seg gjeldande i designverda, med døme henta i frå pakningsdesign. Fenomenet heiter sensation transference og går ut på at utforminga av pakningsdesignet, med form og farge, kan påvirke vår smaksoppfatning – at syn er krysskopla til smak.«Sensation transference» som omgrep vart nytta første gong av Louis Cheskin (1907–1981) etter å ha observert korleis folk si oppfatning av produkt og tenester direkte var influert av den visuelle estetikken. Basert på tilbakemeldingar frå forbrukarar anbefalte han margarinprodusenten «Jelke» å forandre paknings-designet til margarinet «Good Luck» frå den tradisjonelle fargen kvitt til gult, noko som førte til drastisk auke i produktsalget.

Malcolm Gladwell (1963–) skildrar dette fenomenet i boka Blink: The Power of Thinking Without Thinking (2007) som overføring av inntrykket til sjølve produktet:

transfer sensations or impressions that they have about the packaging of a product to the product tself.

Malcolm Gladwell fann ut at om ein presenterte ei 7-up-flaske med ein etikett i ein gulare nyanse, så ville folk respondere med at smaken forandra seg i meir i retning av sitron:

We tested Seven-Up. We had several versions, and what we found is that if you add fifteen percent more yellow to the green on the package — if you take this green and add more yellow — what people report is that the taste experience has a lot more lime or lemon flavor. And people were upset. ’You are changing my Seven-Up! Don’t do a ’New Coke’ on me.’ 56

DESIGNEKSPERIMENT 7: MUSIKKVIDEOVåren 2010 ville eg teste ut korleis video kunne forsterke opp-levinga av musikk ved å lage ein musikkvideo for artisten Bård Watn (fig. 84). Eg oppdaga i klippeprosessen at om eg nytta klipp som korresponderte med ein lyddetalj i låta, så ville den lyd-detaljen tre fram i større kraft. Samstundes la eg merke til at jo

XXI

DESIGNEKSPERIMENT 7: MUSIKKVIDEO[SYNERGETISK KOPLING]

Figur 84. Musikkvideo til låta «Collarbone» av vokalist/låtskrivar Bård Watn.

XXII

Designeksperiment 4: music video[Synergetisk kopling]

Korleis forsterke eit musikkuttrykk med video? Kan rørsle vera ein link mellom det auditive og det visuelle? Som eit forprosjekt til masterprosjektet laga eg ein mmusikkvideo for musikkartisten Bård Watn. Eg stilte meg spørsmålet korleis eg kunne forsterke ei lydoppleving med visuelle bilete. Musikken i ein musikkvideo er utgangspunktet for å lage viselle bilete, i motsetning til film-musikk, der bileta er utgangspunkt for å forsterke ei oppleving med å legge til musikk og lyd. Låta handlar om ulike kroppsdelar. Problemstillinga: korleis lage visuelle rytmar med dei ulike kroppsdelane i synkronisert med musikken.

RefleksjonDette prosjektet førte meg vidare til sjølve kjernen av masterprosjektet: at visuelle bilete kan gi ei oppleving av lyd. Når eg sat og klippa dei ulike vi-deosekvensane måtte eg «høyre» på den visuelle informasjonen i bileta for å vite kvar eg skulle klippe. Dette fekk meg til å innsjå at ein faktisk kan «høyre» rørsle i ein biletstraum. Dette fenomenet vert kalla for «hearing motion» (å høyre rørsle), som er ein synestesiform (sanseblanding) som eg forska vidare på i masterprosjektet.

2. DOKUMENTASJON 51

meir saumluast eg klarte å skifte frå eit klipp til eit anna, jo meir flaut det i eitt med musikken, akkurat som god typografi i ei bok, du legg ikkje nødvendigvis merke til det, men gir full fokus på teksten. Noko som er konkretisert med utsegnet «god design er usynleg design»:

Type well used is invisible as type, just as the perfect talking voice is the unnoticed vehicle for the transmission of words, ideas. – Beatrice Warde 57

Noko som eg oppdaga at i filmsamanheng handlar om å finne ein saumlaus måte å knytte saman to ulike klipp på, til dømes ved å la ei etablert rørsle fortsette med ei liknande rørsle i neste klipp, til trass for endring i kameravinkel. Dette fører til ein god flyt for betraktaren der eg trur musikken kan få meir fokus, på lik linke med teksten i god typografi jmf. utsagnet til Beatrice Warde.

Figur 85. Skisse til musikkvi-deoen «Collarbone».

52 KRYSSANS

Figur 87. Norman McLaren: «Synchromie» (1971). Ein ein-til-ein-basert visualisering av lyd. Lyen er satt saman av elektroniske «blipp» som vert overført direkte til tilsavarande firkantar som vert variert i breidda (tonestyrke), og i vertikal retning (tonehøgd).

Figur 86. Eit konkret eksem-pel på synkrese er måten bokseslag er representert på film. Utan den forster-kande lydlegginga ville slosskampen sjå uekte ut. Lyd vert som ein indikator for påført smerte, som kan-skje kan vera vanskeleg for auga åleine å dømme.

Synkretisk

Synkrese er i følge lydteoretikar Michel Chion ei samansmelting mellom noko ein kan sjå og noko ein kan høyre – den mentale fusjonen mellom ein lydleg komponent og ein visuell kompo-nent når dei kjem i lag på nøyaktig same tid. Noko som dannar grunnlaget for reassosiasjon av lyd og bilete og som er gjeldande i aller høgste grad i film og filmlyd. Synkrese (satt saman av orda syntese og synkron) definerar han som:

The forging of an immediate and necessary relationship between something one sees and something one hears at the same time (from synchronism and synthesis). The psycholo-gical phenomenon of synchresis is what makes dubbing and much other postproduction sound mixing possible. (Chion 1994:224)

Og dette psykologiske fenomenet er i følge Chion noko som skjer spontant, fri for all logikk:

The spontaneous and irresistible mental fusion, completely free of any logic, that happens between a sound and a visual when these occur at exactly the same time (Chion 1994: xviii).

AUDIOVISUELLE TESTARFor å tileigne meg kunnskap om dette audiovisuelle fenomenet laga eg ein kolleksjon av audiovisuelle testar (test 1–5). Under-søkingane mine er eit studie i kva som skjer når bilete og lyd er sansa simultant med den resulterande kognitive effekten, at heil-skapen er større enn summen av enkeltdelane. Undervegs i dette arbeidet innsåg eg to kjerneinnsiktar:1. Jo meir eg prøvde å føre lyd og bilete i lag, jo meir innsåg eg

at dei er fundamentalt forskjellege av natur, med kvar sine særskilde karakteristikkar.

2. Korleis kan eg kople lyd og bilete i saman utan at dette vert gjort ut ifrå mine eigne subjektive opplevde parameter som eg kanskje kan synast er sjølvsagte, men har ingen garanti for at andre vil oppleve det på same måte. Og finnes det i det heile tatt nokre objektive koplingar?

Michel Chion hevdar at det ikkje eksisterar ein naturleg kontakt mellom lyd og bilete:

There is no natural and preexisting harmony between image and sound. (Chion 1994:xvii)[…] Visual and auditory per-ception are of much more disparate natures than one might think. The reason we are dimly aware of this is that these two perceptions mutually influence each other in the audio-visual contract, lending each other their respective properties by contamination and projection.(Chion 1994:9)

Ein annan som har vore interessert i same tema er Adriano Ab-bado. Han skriv i oppgåva si i frå 1988:

XXIII

DESIGNEKSPERIMENT 8: PÅ/AV

Figur 88. ON/OFFEi audiovisuell undersøking av kopling av parameteret på/av, der «på» refe-rerar til tonestyrke når det gjeld lyd og bilete refererar til lysstyrke, satt saman til ein tilnærma absolutt synkron hending.

XXIV

DESIGNEKSPERIMENT 9: SKILD <> I SAMAN

Figur 89. Skild <> i samanDenne testen gjekk ut på å ha to einingar, eit lydsignal og eit visuelt signal, som glei inn og ifrå kvarandre. Kva ville skje i overgangane? Dette var etter å ha lest om synkrese, om når lyd og bilete opptrer som ei synkron hending og effekten som oppstår på grunn av det.

XXV

DESIGNEKSPERIMENT 10: FARGEKLANG

Figur 90. FargeklangI denne videosnutten testa eg to ting: Scriabins farge-tone-korrespon-danse realisert med fløytetone synkroniserte til den respektive fargen og lokasjon av fargeboks og tone til og Left/Right lydkanal.

XXVI

DESIGNEKSPERIMENT 11: LEGATO/STACCATO

Figur 91. Legato/StaccatoEtter å ha lese om sansning og om korleis øyra har spesialisert seg på sansning av flyktig rørsle og augo på sansning statisk rørsle, ville eg teste korleis me mottek ein straum med flyktige og hakkete bilete akkompagnert med flytande lyd, for så å snu på flisa, la lyden hakke og la bileta flyte. For så å la begge kjeldene hakke og så til slutt flyte i lag.

XXVII

DESIGNEKSPERIMENT 12: LYSRYTME

Figur 92. LysRytmeDesse bileta er henta frå ein tidleg test av videoprosjektering på 3D-form. Lyden var samansatt av tre spor, basstromme, orgeharmoniar og hi-hat. Desse fekk kvar sine repektive filmspor, basstromme som ein pulserande runding, hi-hat som lysglimt og orgelharmoni som farge. Desse tre filmspora vart splitta til dei tre ulike flatene til 3D-forma.

XXVIII

DESIGNEKSPERIMENT 14: BLINK

Figur 93. BlinkI denne videosnutten testa eg kva som vil hende om eg presenterte ein diskant lyd i lag med eit blunk, og kva som ville hende når blunkinga fortsatte sjølv om den diskante diskante lyden forsvann. Ville blunkinga framprovosere fornemminga av den diskante lyden?

3. D ISKUSJON 53

I think that it is possibile to establish links between per-ceptual categories of synthetic sounds and abstract visual forms. 70

Abbado laga eit audiovisuelt verk han kalla ”Dynamics” der han undersøkte tre ulike primære samanbindingar; det første var sam-bandet mellom klangfarge og overflate; det andre var sambandet av romleg lokasjon av lyd og bilete; og det tredje var sambandet mellom opplevd intensitet av lydlege og visuelle element. Det høyrest forhaldsvis objektivt ut, men med ein gong desse saman-bingane skal bli innbyrdes definert hellar det meir og meir mote det subjektive, noko Abbado sjølv uttalar:

In this project the procedure for associating shape to timbre was of primary importance. […] the relationships used in this composition were completely subjective. I associated harmonic sounds with smooth shapes and inharmonic sounds with jagged shapes, because I usually hear partials in harmonic ratio as non-aggressive, and in turn I identify them with the idea of smoothness, while I hear inharmonic sounds as irregular, aggressive objects. 70

Dette kan minne om Kadinskij sitt liknande forsøk på å foreslå ei universell kopling mellom dei to uavhengige fenomena, form og farge.

On the whole, keen colors are well-suited for sharp forms (i.e. a yellow triangle), and soft, deep colors by round forms (i.e. a blue circle) (Kadinsky 1977:29)

Yellow, if steadily gazed at in any geometrical form, has a disturbing influence, and reveals in the color an insistent, ag-gressive character” (Kadinsky 1977:37)

Les meir om assosiasjonar, form og farge i kapittelet ”Det univer-selle språket”.

Figur 94. Skisse til videos-nutten «På/av».

Figur 95. Skisse til videos-nutten «Skild/saman».

Figur 97. Skisse til videos-nutten «Legato/Staccato».

Figur 96. Skisse til videos-nutten «Fargeklang».

Figur 98. Skisse til videos-nutten «Lysrytme».

54 KRYSSANS

Synestetisk

Med ein synestetisk kopling har ein teke steget heilt ut i det per-septuelle og det imaginære, det at lyd kan oppfattast som fargar og at noko visuelt kan oppfattast som lyd. Det er høgst subjektivt, med ulike synestetiske opplevingar frå person til person til tross for same stimuli. Likevel vil ein kunne sjå ein samanheng om ein studerar mange nok tilfeller hevdar forskarar.

Synestesi kjem til syne i kunst og design på ulike måtar. Men me kan skilje mellom verk som illustrerar synestesi (fig. 99), verk som prøver å engasjere synestesi (fig. 100) og verk som er inspirert av synestesi (fig 101).

Me kan sjå spor av synestetiske opplevingar i alle formar for kunst og design – i dikt, måling, skulptur og musikk. Ei syneste-tisk oppleving. Synestesi er å overføre kvalitetar frå eit sensorisk område til eit anna, frå lyd til bilete, frå bilete til lyd, frå lyd til smak osv.

Den gamle drømmen om å la alle sansane smelte til ei synestetisk oppleving er til stade i alle høgste grad i det digitale medium, som til dømes iTunes musikkvisualiseringar og interaktive nettløysin-gar med lyd og animasjonar.

ANIMASJONHer vil eg trekke fram ein 3D-animasjon av Michal Levy som er inspirert av synestesioppleving:

When I listen to music I see colors and shapes and when I watch visual art I hear sounds. I wanted to express my sen-sing of shapes, colors and music in this short animation. 58

Desse eigenerfarte opplevingane har ho nytta til å lage anima-sjonen til Giant Steps, den legendariske låta til John Coltrane. Michal Levy spelar sjølv saksofon og har uttalt seg føgjande om design og jazz i eit intervju av Eye Magazine:

I think once designers understand the basic tools they work with, they can better invent their own style. I always com-pare it to jazz. As a jazz musician I know that you learn and practise, for example, scales and harmony. That’s your basic tools. Then you transcribe all the timeless solos till you know them by heart and understand the language and style other people developed before you. Only then can you find your own unique phrasing that will define who you are and what you sound like. 59

DESIGNEKSPERIMENTET (STILLE)RØRSLEDette eksperimentet vart laga som eit av to prosjekt i regi av ein workshop med Sergej og Anders frå designbyrået NODE. Oppgåva var å lage ein gif-animasjon satt saman av to bilete. Inspirert av

Figur 100. The Emotion Organ (2007) av Amanda Steggel, eit synetesiprosjekt der eit omforma digitalt trøorgel frå 1895 med lyd, lukt, lys og vind skal stimulere til å oppleve musikk med alle sansane, lik synestetikarar. Eg hevdar at det illustrerar meir enn å engasjere til synestesi.

Figur 101. Giant Steps, (2001) ein abstrakt 3D-animasjon av Michal Levy til John Coltrane sitt meisterverk.

Figur 99. Edvard Munch, Skrik (1893), illustrasjon på ei sanseblanda oppleving.

XXIX

DESIGNEKSPERIMENT 7: (STILLE)RØRSLE[SYNESTETISK]

Figur 102. (stille)rørsle

XXX

Designeksperimentet (silent)motionvart laga under workshop med med Anders og Serge i NODE, som laga denne briefen til meg:å lage ein animasjon med to stillbilete som skulle referere til prosjektet våras på ein eller annan måte.

Eg fotograferte to personar, den eine sa ordet “BA” og den andre personen blinka med augo. Det interssante her er å sjå kva lydar me kan “lese” ut av bileta, og korleis det er ein saman-heng mellom kroppsleg rørsle og fornemminga av lyd. Presentert utan lyd.

2. DOKUMENTASJON 55

McGurk-effekten (forklart s. 65) laga eg ein animasjon med ein person til høgre med ei lepperørsle som sa «ba/ba/ba», og ein per-son til venstre som ikkje skulle seie noko, men berre blunke. Si-dan animasjonane skulle synast på storskjerm utan lyd, kom heile poenget med prosjektet tydeleg fram; når me ser ei rørsle så kan me oppfatte det som lyd, til tross for at lyden ikkje er høyrbar. Sidan ein er van til å høyre lyd ved lepperørsle så forventar ein det, og om ein ikkje kan høyrer det, så førestiller ein seg stemma som ein naurleg og automatisk reaksjon.

Blinkinga til personen på venstre side derimot tenker ein ikkje vanlegvis på som eit lydsignal, men i denne samanhengen vil ein kanskje oppleve det annleis. Derfor plasserer eg dette prosjektet i den synestetiske kategorien, sjølv om ein ikkje nødvendigvis får ei synestetisk oppleving berre ved å fjerne lyden.

56 KRYSSANS

2. DOKUMENTASJON 57

3. PROJEKSJON

Design is as much an act of spacing as an act of marking.– Ellen Lupton

58 KRYSSANS

Projeksjons-mapping

Projeksjon; føre over el. teikne av punkt, linje(r) el. romfigur(ar) på ei linje el. eit plan; vise fram lysbilete på ei kvit flate, på ein skjerm, på ein kvit vegg; i psykologi: det å overføre eigne tankar, motiv, kjensler og ynske til andre menneske slik at ein går ut frå at det er dei som har desse tankane, motiva, kjenslene og ynska; i moderne psykologi òg: det at eigne tankar, motiv, kjensler og yn-ske påverkar eins eiga oppfatning av det som skjer i omverda.

Projection Mapping, Video Projection Mapping, Video Mapping, Augmented Engineering, 3D-video-prosjektering, 3D-mapping-animasjon, Projection Scuplture, kjært barn har mange namn; eg kallar det for projeksjons-mapping. Dette er ein ny sjanger inn-anfor visuelle fag, som opnar opp for ein ny måte å kommunisere på som handlar om å utnytte lys, skugge og arkitektur til å skape ein 3-dimensjonal illusjon. På den måten skapar ein liv til den eksisterande flata, objektet eller strukturen. Det projiserte biletet forandrar opplevinga av det eksisterande, det er noko betraktaren tek del, noko som gir ei nåtidskjensle og engasjerer til sansning og oppleving. Projeksjons-mapping kan bli nytta til store events, reklame, kulturarrangement, teater og scene, lansering og/eller presentering av nye produkt, og installasjon for m.a. kunst eller museum etc.

Eg kjem til å bruke denne teknikken for å formidle ideen om sanseblanding og slektskapet mellom lyd og bilete på utstilling og til sensurering.

PROJISERINGSTEKNIKK SOM FORMIDLINGSMETODEProjeksjons-mapping nyttar ny projeksjonsteknikk som kan omdanne nesten alle typar overflater til eit dynamisk lerret. Ved hjelp av ein programvare teiknar ein eit omriss av den eksisteran-de flata i 1:1. Dette omrisset kan ein velge å fargelegge, vise ein animasjon på, forstørre og forminske osv. Alt etter kva intensjon ein har. Sluttresultatet er på den måten ein dynamisk projeksjons-installasjon som går den vanlege videoprojeksjonen ein høg gang, i allefall når det gjeld røyndomsoppfatning og sansning.

Grunnen til at eg «ramla» borti denne retninga var fordi det vart arrangert ein workshop i tilknytning til seminaret Oslo Lux i ja-nuar 2011 i regi av Atelier Nord. Sidan eg visste at eg på ein eller annan måte skulle syne ein abstrakt film (det var i allefall det eg trudde på den tida) på avgangsutstillinga, meldte eg meg på dette kurset utan å ane kva eg gjekk til. Det er noko av det smartaste eg har gjort, fordi det opna augo mine opp for ein ny måte til å for-midle ideen om sanseblanding; i mellomrommet mellom det som vert synt og det som vert opplevd; i mellomrommet mellom det kvardagslege og det usannsynlege. Masterprosjektet fekk endeleg ein uttrykksmåte. Ein uttrykksmåte som med ny teknikk som muleggjer ein vidareføring av arven frå dei prominente abstrakte

Figur 103. «Shift v.2» (2008) av HC Gilje. Ein audiovisuell installasjon vist på Museet for Samtidskunst, Roskilde. Projeksjon på skultpur.

Figur 106. På workshop i projiseringsprogrammet VPT med HC Gilje i regi av Atelier Nord i januar 2011.

Figur 105. «Light on White» (2011) Oslo Lux, AHO, av HC Gilje. Projek-sjon på snø.

Figur 104. «Blink» (2010) av HC Gilje. Projeksjon i rom.

Figur 107. «Battle of Branchage», Branchage Film Festival (2009). Projek-sjon på arkitektur. Regi: Evan Grant og Rob Slater. Produksjon: Seeper.

XXXI

DESIGNEKSPERIEMENT 14: SKULPTUR

Fig. 108. Projeksjon på SkulpturDette var den første projeksjonstesten med programvara VPT. Inspirert av HC Gilje sine installasjonar projiserte eg på 3D-skulpturar av isopor. Filmane eg testa med var dei abstrakte videosnuttane eg tidlegare hadde laga.Den store skilnaden med å syne filmane på skulptur framfor eit flatt lerret, var at det gav liv til filmane som sjølvstendige objekt med overflatestruktur, form og storleik – til skilnad får å syne det på ein flat skjerm.

XXXII

XXXIII

DESIGNEKSPERIEMENT 15: HJØRNE

Figur 109. Projeksjon på hjørneveggInspirert av Pablo Valbuena sine projeksjonar testa eg ut korleis eg kunne forlenge rom ved å legge til punkt i eit imaginært plan. I denne testen fekk eg ein god og lyssterk projeksjon, mykje på grunn av at eg projiserte på eit lite områade og på lys bakgrunn.

Hjørnet vart først kartlagt med teikneverktøyet i VPT og eksportert som ein PNG-fil. Vidare importerte eg PNG-fila til Adobe After Effects der eg lagde ein enkel animasjonsfilm med med strek og fyllfarge, som eg importerte tilbake til programmet VPT for å projisere animasjonen på hjørnearkitekturen. Denne arbeidsmetoden gjeld og for dei neste testane.

XXXIV

XXXV

DESIGNEKSPERIMENT 16: MURSTEIN

Figur 110. Projeksjon på mursteinDette var den første projeksjonstesten på murstein. Svært effektfullt å teikne i mellom murstei-nane, og leike med hjørnet som eit flatt plan. Testa og å fargelegg murstein, innsåg at det fungerte best på lys murstein.

XXXVI

XXXVII

DESIGNEKSPERIEMENT 17: LYD-MAPPING

Figur 111. Lyd-mappingHer jobba eg med å la streken reagere på eit lydsignal. Eg fann ut etter litt testing at AfterEffects Plug-in-en «Audio-Waveform» gjorde denne jobben enkelt for meg, basert ut i frå parameter som oversette lydsignala til visuelle utslag på streken.

XXXVIII

XXXIX

DESIGNEKSPERIEMENT 18: BOGE

Fig. 112. Projeksjon på mursteinsbogeI denne testen prosjekterte eg rett på ein mursteinsbue. Eg testa ut ein startvariant på strekt-eikninga der strekane jobba parallellt frå mange kantar før forma var omslutta. Vidare jobba eg med heildekkslys på annankvar bue innover i planet for å manipulere oppfatninga av forgrunn og bakgrunn.

XL

XLI

DESIGNEKSPERIEMENT 19: GANG

Figur 113. Projeksjon på endevegg i ein gangInspirert av Pablo Valbuena sine projeksjonsprosjekt prøvde eg å skape illusjon av rom i rom-met, lyslegge og deformere. Denne siste projeksjonstesten var kanskje den mest inspirerande å jobbe med, mykje på grunn av kontroll av dagslys, noko som gir ei sterkare oppleving av transformasjon og illusjon.

XLII

2. DOKUMENTASJON 59

Figur 114. «AntiVJ Showca-se Event» (2009). AntiVJ er ei gruppe på fire personar frå Frankrike, England og Belgia som trossar den todi-mensjonale projeksjonsflata til den tradisjonelle VJen.

Figur 117. «Corner Study» (2010). Pablo Valbuena. Projek-sjon i rom.

Figur 116. «Toulouse» (2008) av Pablo Valbuena. Projeksjon i rom.

Figur 118. «Light canvas x 3» av Joanie LeMercier (AntiVJ) på seminaret Oslo Lux på AHO (Arkitektur- og designhøgskulen i Oslo). Projeksjon på lerret.

Figur 115. «Step into the sensory box» (2010) laga av det franske byrået Su-perbien. Denne projeksjons-installasjonenvart laga i samarbeid med telekommu-nikasjonsselskapet Alcatel-Lucent til utstillinga Mobile World Congress, som ei tolkning av undertittelen på utstillinga: «Transforming the Mobile Experience».

filmane til Richter, Ruttmann og Fischinger frå starten av forrige århundre.

WORKSHOP MED HC. GILJE OG VPTHC Gilje er ein biletkunstnar som var tilknytt Kunsthøgskulen i Bergen med stipendiatprosjektet Conversations with spaces, der han utforska korleis audiovisuelle verktøy kan bli nytta til å transformere, skape, utvide, forsterke og oppleve fysiske rom. Som ein del av dette prosjektet utvikla han ein eigen program-vare, Video Projection Tool (VPT). VPT er ein gratis sanntids-pro-jeksjonsprogramvare for Mac og PC utvikla for aukt fleksibilitet og kontroll av videoprojeksjonar. Verktøyet kan til dømes nyt-tast til videoprojeksjonar på komplekse formar, samt å tilpasse projeksjonar til bestemte flater og områder. Ein kan anten nytte ferdiginnspilt materiale eller live-kamera. Programvara gir og høve til fleirkanals HD-projeksjoner. Programmet vert bl.a. brukt til installasjonar, teaterproduksjonar og VJing.

PROJEKSJONSPROSESSENEtter denne todagars workshopen med HC Gilje satte eg i gang med projeksjonstesting. Først fekk eg tak i nokre isoporplater til å projisere på og laga eit raskt oppsett der eg testa ut ulike abstrak-te filmar. Det eg umiddelbart oppdaga var at om eg skulle gjere det på denne måten ville det handle mykje om innhaldet på dei abstrakte filmane. Som designar er eg meir spesialisert i å jobbe med forvalting av eit eksisterande materiale. Eg gjekk derfor vidare frå projeksjon på skulptur til projeksjon på arkitektur, med tanke om å gi liv til små detaljar i arkitekturen som ein vanlegvis ikkje legg merke til. Eg flytta meg frå plass til plass og såg korleis det forandra mi eiga uttrykksmåte. Projeksjonen levde i interak-sjon med lokasjonen. Frå å ha jobba med film ein god periode, handla prosjektet meir og meir om å synleggjere eit potensiale i det eksisterande materialet – ein tankegang som er godt planta i visuell kommunikasjon og designverda, å forvalte meir enn å skape.

AVGANGSUTSTILLINGADei erfaringane eg har tileigna meg med projeksjonstestinga, kjem til å danne grunnlaget for det eg skal vise på avgangsutstillinga i juni. Projisering av strek, form og farge skal koplast opp med lyd for å gi betraktaren ei totaloppleving.

60 KRYSSANS

What would be truly surprising would be to find that sound could not suggest colour, that colours could not evoke the idea of a melody, and that sound and colour were unsuitable for the translation of ideas, seeing that things have always found their expression through a system of reciprocal analogy. – Charles Baudelaire

4. DISKUSJON

62 KRYSSANS

Design for oppleving

Kommunikasjon skjer som følge av interaksjon av element innan-for ein kontekst.

Communicators do not create meaning; they appropriate form and place it in context where elements interact to create meaning. 60

Å forstå kontekst er å forstå oppfatting av ei oppleving. Ei opple-ving involverer multisensoriske sanseinntrykk som blandar seg i ein syntese i hjernen vår. Dette dannar ei kjensle av kva som finn stad rundt oss. Den kjensla kan defininerast som ein quale.

QULIAQualia (av latin, tydar «kva slags») er fleirtall for ein quale, og vart introdusert av den amerikanske filosofen C. I. Lewis i 1929. Ein quale er enkelt forklart korleis det føles å ha ei oppleving. 61 Lyd kan reint fysisk skildrast som bølgjer, men opplevingar av sjølve stimulien kallar me for ein quale. På same måte kan me skildra lys som elektromagnetisk stråling som treff netthinna og vert omdanna til impulsar som hjernen tolkar som til dømes fargen raud (sjå fig. 119).

ARTEFAKTDette fenomenet finn ein igjen i aller høgste grad i designverda. Eit designarbeid er ein artefakt (gjenstand som er laga av men-neske, til skilnad frå naturlege gjenstandar), og er objekt for oppleving, til skilnad frå sjølve opplevinga, for den vert skapt av mottakaren. Eg har tru på at dess meir mottakaren kan ta del i denne skapinga, dess større oppleving, og dess meir minnerikt blir det for mottakaren, grunna at det vert like mykje ei skaping av erfaring som ei oppleving.

SIMULI KONTRA STIMULIHer kjem me til paradokset til prosjektet, dess meir synestesi er simulert dess mindre blir det stimulert? Sjølv om eg baserer ein audiovisuell komposisjon med ekte eller simulerte synestetiske opplevingar, er det ingen garanti for, heller ingen måte å handgri-peleg prove det på, at det vert oppfatta som ei synestetisk opp-leving. Er det muleg å framkalle, sjølv kun for eit augeblikk, ei oppleving som er samanliknbar med «ekte» synestesi (utan å ty til psykedeliske stoff)?

Eg trur kanskje svaret ligg i å flyte i ein tilstand mellom simuli og stimuli, og at det kan aktivere sansane umedvite For å gjere dette må eg bruke mine eigne sansar aktivt, å designe for sansane handlar mykje om å designe med sansane.

Ein annan metode for å aktivere synestesi, er kanskje å lage ei uventa sterk oppleving dirigert til ein sans. Spørsmålet er om opp-levinga vil då «spre» seg til ein annan sans, og på den måten bli

Figur 119. Det reflekterte lyset frå til dømes eit raudt jordbær er elektromagnetisk stråling som treff netthinna og vert omdanna til impulsar som hjernen tolkar. Denne tolkninga gir kvar av oss ei unik oppleving av raudt, som er subjektiv og individuell, definert som ein quale.

3. D ISKUSJON 63

opplevd i to sansar, som nettopp er kjernen i synestesifenomenet.

Det å få gåsehud av ei musikkoppleving kan minne om synestesi, at eit lydinntrykk fører til ein muskelsamantrekning som får håra til å reise seg. Kanskje det bunnar i at me konstant søker ei for-klaring. Om det kjennes som eit stimuli går utanfor spekteret til sansen, vil ei ny og uvanleg oppleving spre seg over til ein annan sans? I såfall ligg svaret i å skape ei erfaring hos mottakaren, ba-sert på eit så sterkt visuelt språk at det søker seg til andre sansar.

KRYSSANSNINGÅ designe ei oppleving handlar mykje om dramaturgi og krys-ninga mellom å innfri forventningar og å overraske. Dramaturgi er læra om dynamikk, samanhengen mellom rørsle og kraft. Eg trur nøkkelordet for dette masterprosjektet er kontrast, nytta som verkemiddel for vekselvis skape tilstand av fri flyt og motstand. Som igjen kanskje kan aktivere sansane og føre til kryssansning.

64 KRYSSANS

Audiovisuell komposisjon

DEN KOMBINERTE AUDIOVISUELLE EFFEKTENSlektskapet mellom audiotivt og visuelt materiell er komplekst og gir båe effektar for seg sjølv, når dei vert oppfatta isolert. Desse effektane er vanskelege å diskutere i seg sjølv, til trass for åtskiljinga. I kombinasjon vert det endå verre. Lydteoretikaren Michel Chion hevdar at når auditivt og visuelt materiell vert samanspleisa, så fører dette til nye verknadar, som vert diskutert i dette delkapittelet her. Desse nye verknadane gjer prosessen særs kompleks, noko som imidlertid ikkje har hindra kreative utøvarar å utforske det audiovisuelle språket. Eit språk som krev ei forstå-ing av denne kompliserte og kombinerte audiovisuelle effekten.

SYNKRONISERT LYDDei første trettifem leveåra til filmen var utan synkronisert lyd. Ein hadde gjerne ein kommentator som fortalde tilskodarane kva som skjedde og las dialogen mellom skodespalarane. Seinare kom ein på å skriva utsegnene ned og visa dei i sjølve filmen. Det var òg vanleg å få ein musikar til å akkompagner filmen med musikk som passa til stemninga, helst på orgel eller piano. Seinare kunne ein laga lydspor som gjekk samtidig som filmen. Men det er først i dei seinare åra at teknologien tillot synkronisert innspeling og avspeling av lyd og bilete.

ADDED VALUEDen franske avantgardekomponisten, forfattaren og teoretika-ren, Michel Chion har vore ein pioner innan det audiovisuelle fagområdet. Han har utvikla fleire sentrale teoriar. I boka Audio-Vision skildrar Michel Chion forholdet mellom lyd og bilete i film som ein audiovisuell kontrakt. Han nyttar dette uttrykket for å understreke at forholdet er ikkje er noko som naturleg oppstår på grunn av nokre ibuande samanhengar mellom vår oppfatting av syn og hørsel, men at det heller er noko som er laga spesifikt og med overlegg, ein illusjon:

This book is about precisely this phenomenon of audiovisual illusion, an illusion located first and foremost in the heart of the most important of relations between sound and image [...] what we shall call added value (Chion 1994:5).

Ideen er at det dukkar opp ein ekstra effekt i samansmeltinga av lyd og bilete, ein meirverdi. Med «added value» refererar Chion til korleis lyd kan forsterke og påvirke det me ser i ein film på ein så naturleg måte at lyden blir ein del av biletet. Me ser det me høyrer, og høyrer det me ser til ei samla hending.

SYNKRESESå snart rørsle og lyd er tolka som ei hending skjer det ei saman-smelting i det umedvite, denne samansmeltninga kallar Chion for synkrese. Synkrese (satt saman av orda syntese og synkron) definerar han som:

Figur 120. Den kombinerte audiovisuelle effekten.

3. D ISKUSJON 65

The spontaneous and irresistible mental fusion, completely free of any logic, that happens between a sound and a visual when these occur at exactly the same time (Chion 1994: xviii).

MCGURK-EFFEKTENMcGurk-effekten (fig. 120) er eit ekspempel på korleis hjernen vår blandar informasjon frå to kanalar til ein ny heilskap. Ved bruk av eit talespor og eit nærklipp av ein person som uttalar eit ord som ikkje samsvarar med lyden, oppstår ei tredje oppfatting av lyd. Heilt konkret vert de vist eit videoklipp med nærbilete av eit ansikt som uttalar «ga» som er lydlagt med lyden «ba», noko som resulterar i at me oppfattar det som «da». 62 Sjølv om lyden og biletet ikkje høyrer i lag, synt kvar for seg, vil synkronisering oppmuntre hjernen til tilskodaren å lage ei kopling, i den grad desse to tilsynelatande separerte sekvensane, kan bli sett på som ein heilskap.

Synkrese er heilt sentralt i filmteori og praksis. For å bruke Chion sitt eksempel, utan å legge på ekstra lyd på ein slosskamp, vil det verke unaturlege. Og lyden av ei dør som lukkar seg igjen kan tilføre filmen ein viktig detalj. Dette er noko ein regissør veit å utnytte, eller bør vite å utnytte.

Kvifor det er så viktig med lyd i film kan forklarast av at film i høg grad handlar om rørsle, og rørsle kjennest meir naturleg i kombinasjon med lyd. Dette kan kanskje ha bakgrunn frå men-neska sin nedarva persepsjon – at lyd er skapt av rørsle, dvs. at all lyd kjem frå ei kjelde. Ei kjelde som kunne bety fare eller fred, leve eller døy, gjennnom tusenvis av år.

«MICKEY MOUSING» Bilete og lyd i kombinasjon kan enten samsvare eller kontrastere kvarandre. Lipscomb hevdar at det er ein samanheng mellom synkonisering av audiovisuelle komponentar og effektiviteten av oppfattinga av stoffet. Når lydsignal samsvarar sterkt med visuelle signal, sansa publikum (organisert i grupper i forhold til bakgrunn og opplæring) med større effektivitet.

Calculation… revealed that subject ratings of synchroniza-tion and effectiveness shared a strong positive relationship (r = .96). Therefore, AV combinations that were rated high in synchronization also tended to be rated high on effectiveness and vice versa. 63

Desse funna står i motsetnad til kritikken av «Mickey Mousing». Mickey Mousing er ein synkronisert, speila, eller parallell hand-ling nytta som teknikk for å synkroniserer den tilhøyrande musik-ken med den visuelle handlinga på skjermen. Omgrepet kjem frå

Figur 121. McGurk eksperimentet: stemma seier «ba» leppene uttalar «ga», som me i heilskap tolkar som «da», noko som demonstrerer at sansene samarbeider – at me kan høyre med augo.

66 KRYSSANS

dei tidlegaste filmane til Walt Disney der musikken nesten uteluk-kande etterlikna den animerte rørsla til figurane. Musikken vart brukt til å forsterke ei handling ved å etterlikne visuell rytme med ein nøyaktig, samsvarande auditiv rytme. Teknikken vart mykje brukt i 1930- og 1940-åra, spesielt av Max Steiner, men er nesten avvist i dag, særleg av seriøse filmar grunna overforbruk. «Mic-key Mousing» vert òg brukt som eit kritikkomgrep når ei visuell handling utan god grunn, vert duplisert med samsvarande musikk eller tekst, og når denne duplikasjonen er meir ein veikskap enn ein styrke.

DUPLIKASJON AV INFORMASJONKritikk av «Mickey Mousing» som teknikk kan sporast tilbake til så tidleg som 1946. 64

The close matching of musical sound and image is seen in negative terms: «… because of the implication that exact illustration is a rather tedious and silly way to relate music and image.» 65Mickey Mousing is poor practice. It is conside-red unsubtle, unnecessary and creates humour when none is required…(however) Mickey Mousing punctures the bubble in which western music has placed itself, forcing an acknow-ledgement of an ‘outside’, an other: in this case, the visual. Not only does Mickey Mousing destroy the notion of an isolated specificity, of an abstraction from all else, but it also introduces ideas of other kinds of structuration, other ways of considering structure, other ways of thinking music, and other ways of thinking about music. 66

Så, ifølgje Birtwistle, er det eit ynskje om å opretthalde eit skilje mellom den musikalske og visuelle kunsten som har sprunge ut frå to separate eksisterande tradisjonar. Kritikarane til «Mickey Mousing» deler dette synet. Så på den eine sida så har du Lips-comb som hevdar ein viss effektivitet, når audiovisuelt materiell vert synkronisert, medan Birtwistle og kritikarane av «Mickey Mousing» hevdar effekten av synkronisering kan minne meir om banalitet. Det er mogleg at det i framtidia vil oppstå ein ny type designar, som på tvers av det visuelle og det auditive, som kan handsame kombinert informasjon utan at det vert duplisert.

LITE AUDIOVISUELL FORSKINGLipscomb påpeikar i konklusjonen i skrivet om audiovisuelle re-lasjonar at sjølv om inntaket av audiovisuelt materiell er naturleg i vårt daglege liv, er er det svært lite forsking som vert gjort for å analysere denne dynamikken.

..given the sociological significance of the cinematic expe-rience, it is quite surprising that there is still only a small amount of research literature available addressing issues involved in the cognitive processing of ecologically valid audio- visual stimuli. 67

Nyare forsking ved Shimojo Psychophysics Laboratory understre-ker behovet for vidare forsking på dette området. «Visual Illusion

Figur 122. «Mickey Mousing» er ein teknikk der visuelle hendingar er lydlagt med illustrerande lyd, noko som kan føre til duplikasjon av informasjon, hevdar kritikarane til denne teknikken.

2. DOKUMENTASJON 67

Induced by Sound» 68 er eit prov på at audiovisuelt materiell vert handsama i kombinasjon, ikkje separat, og at denne kombinasjo-nen kan endre oppfatninga av informasjonen som vert vist. I eit eksperiment der eitt enkelt lysglimt er ledsaga av fleire auditive pip, vert lysglimtet oppfatta som fleire lysglimt til trass for at det berre er eitt. Dette demonstrerer at informasjon vert tolka annleis i kombinasjon av kvarandre, at eit auditivt signal kan føre til ein visuell illusjon. Dette bekreftar McGurk-effekten.

68 KRYSSANS

Audiovisuell perspepsjon og kryssansning

PERSEPSJON OG FORSKING

For over two centuries, scientific disciplines have focused on just one of the sense organs at a time: the eyes, the ears, the tongue, the nose, and the skin. Rarely has scientific inquiry concerned itself with all the senses at the same time. The same can be said of the arts. Music and the visual arts have produced experts an critics for centuries, but the domain connecting music and the visual arts has been increasingly explored only in recent decades (van Campen 2010:7)

Auditiv persepsjon er eit felt som kun i seinare tid (dvs. siste 30–40 år) har fått merksemd hos forskarar. Dette har naturlegvis samanheng med mangel på håndfast materiale. Ein har ikkje hatt teknologi til å fange lyden på måtar som gjer det analyserbart, derfor veit me framleis lite om auditiv persepsjon. Endå mindre veit me om audiovisuell persepsjon, kombinasjonen av det å sjå og høyre. I dette delkapittelet har eg samla den mest relevante informasjonen eg har funne om dette området.

SPESIALISERTE NERVECELLEREnkelte deler av hjernen vår er spesialisert på informasjon for den einskilde sans, medan andre deler tar seg av informasjon som går på tvers av sansane. Det er faktisk eigne nevronar som tek seg av multisansbare persepsjonar. Me har tusenvis av nerveceller i hjer-nen vår. Nervecella har til oppgåve å ta opp inntrykk frå kroppen og omgjevnadane, handsame inntrykka og sende dei nødvendige impulsane til musklar og kjertlar slik at organismen vert satt i stand til å tilpasse seg forholda.

MULTISENSORISKE CELLERMe har spesialiserte nerveceller, celler som til dømes tek seg av oppfattinga av lyd i seperasjon i frå bilete, og oppfattinga av bi-lete i seperasjon frå lyd. I tillegg har me óg multisensoriske celler, som nettopp tek seg av oppfattinga av kombinasjonsininntrykk som til dømes audiovisuelt materiell.

It is interesting to note that the human brain is structured so that there is only one area that can be truly called «au-diovisual», namely, the «superior colliculus» [fig. X]. This organ is a phylogenetically older area than the visual cortex, and in certain more primitive animals the superior colliculus represents the entire brain. The superior colliculus is an area of our brain that receives input from both the ear and the eye and, because of this, its cells are called multisensory cells. 69

Forsking viser at dei multisensoriske cellene i hjernen reagerer direkte på audiovisuell oppleving, og at desse cellene reagerer sterkare når ting skjer samtidig og/eller synes å komme frå same kilde, noko som støtter Lipscomb sine funn om effektivitet knytt til synkronisering, diskutert i forrige kapittel. Dess meir den au-

Fig. 123. Ein av de tidlegaste ideane om spesialiserte hjerneområder kjem frå eit verk av Francis Gall (1758–1828), far til frenologi.

3. D ISKUSJON 69

Fig. 124. Robert Fludd si skildring av persepsjon (1619).

70 KRYSSANS

Fig. 125. Det er kun eit område i hjernen vår som kan kallast «det audiovisuelle området», lokalisert til «superior colliculus», markert i gult på begge illustrasjonane. Dette området er eit eldre områade av hjernen og hos nokre primitive dyr representerer dette området heile hjernen deira. «Superior colliculus» er eit områade av hjernen som mottek både informasjon frå auga og øyra, derfor kan cellene i dette områadet kallast for multisensoriske (R. Sekuler og R. Blake (1985). Perception. New York: Alfred A. Kopf).

3. D ISKUSJON 71

diovisuelle informasjonen er synkronisert, dess meir vil det trigge dei multisensoriske nervecellene.

For example, if some multisensory cell responds to a light flash in the upper right portion of the visual field, that cell will respond to a sound only if it too comes from the same vicinity. Additionally, when visual and auditory inputs occur simultaneously, a multisensory cell responds more strongly than when either input occurs alone. 70

SYNESTESI OG MUTLISENSORISKE CELLEREg lurer på kva samanheng det er mellom synestesi, å oppleve ei kopling mellom eit visuelt stimulig og lyddanning, i forhold til trigging av dei multisensoriske cellene. Forskarane seier at synes-tetikarar har ein meir samanvevd hjerne – vil det føre til ei auke av antal multisensoriske celler, eller ei forbetring av kommunika-sjon mellom dei, som kan gi synestetikarar ei ekstra oppleving ved visuelt stimuli som dans, blinkande lys osv? Og vil denne ek-stra kontakten kunne hjelpe ein designar til å skape eller forvalte ei samanstilling av lyd og bilete?

The most exciting moment is the moment when I add Sound. At this moment I tremble. (Akira Kurosawa) 71

Ein liten digresjon. Lyd- og synsinntrykk kan aldri bli abso-lutt synkront sidan oppfattinga av lyd skjer raskare enn bilete. Stemma kan faktisk vera 250 ms seinare enn leppebevegelsene før me legg merke til det. Men om det er motsatt, at lyden kjem før biletet, så legg me tydeligare merke til det. Naturleg nok, sidan inntrykket av lyden vert prosessert raskare enn inntrykket av det visuelle.

TEKNISK UTVIKLINGDet er ikkje å legge skjul på at teknisk utvikling påvirkar persep-sjonen til menneske. Oppfinningane på 1900-talet har gjort det mogleg med synkrone opptak av lyd og bilete, to medium som tidlegare har vore fråskilt, er nå smelta saman. Kan det føre til større merksemd rundt audiovisualitet og synestesi? Og kan det føre til at sansane våras i seg sjølve utviklar seg?

Kan oppfinninga av fotografiet som medium så tidleg som på 1890-talet ført til at synet har vidareutvikla seg i retning av spe-sialisering på permanente framfor det flyktige?

72 KRYSSANS

Det universelle språket

– om farge, form, rørsle. Korrespondanse og spåk.

Prosjektet mitt søker seg til røttene av visuell kommunikasjon, til Bauhaus og forståinga av form, om tillagt verdi og opprinneleg verdi, om det kulturskapte og naturskapte. Dette kapittelet hand-lar om språk, visuelt og verbalt, om metaforar og analogiar.

BAUHAUSBauhaus var ein arkitektskule i Tyskland. Skulen vart grunnlagd av Walter Gropius i Weimar i 1919 og stengd av nazistane i 1933.

VQO I 1923 foreslo Kadinskij ei universalkorrespondanse mellom tre grunnformar og tre primærfargar; den dynamiske trekanten er instinktiv gul, den statiske kvadraten samsvarer med raud, og den rolege sirkelen er naturleg blå. I dag har denne koplinga mista sitt krav til universalitet og fungerar i staden som eit symptom på at eit teikn kan ha mange tydingar. VQO er eit sentralt element i Bauhausskulen, noko som tyder på ei interesse i abstraksjon og eit fokus på aspektet av det visuelle som kan skildrast som; elementært, essensielt, grunnleggjande og det opphavelege. Sjølv om dei færraste designarane i dag vil argumentere for VQO, er forsøket på å identifisere gramatikk og element av eit perseptuelt basert visuelt språk, så har det hatt innflyting på modernistisk designutdanning sidan 1940-talet.

Som ein liten test stilte spurde eg lærarar og designstudentar i første- og andreklasse på master i design på Kunsthøgskulen om å fylle ut dei tre formene trekant, firkant og sirkel med fargane gul, raud og blå – 100 år etter Kandinskij (fig. X). Resultatet vart som eg rekna med, særs sprikande. Men det interessante er at alle hadde gode grunnar for fargeval, med ulike subjektive og konven-sjonsmessige grunnar. Likevel er det eit trekk som gjekk igjen, dei fleste plasserte gult først. Kanskje fordi den skil seg frå raudt og blått i henhald til lysintensitet. Den gule fargen vart kopla til den runde forma (som sola) i 12 av30 tilfelle og til trekanten (skarp form/skarp farge) i 10 av 30 tilfelle. 5 av 30 tilfelle stemde med Kadinskijs forslag.

KANDINSKIJDet interessante med Kandinskij i kopling til dette masterpro-sjekte er fleirfoldig. For det første var han lærar på Bahausskulen, som danna grunnlaget for design. For det andre var han opptatt av det abstrakte. Og for det tredje var han opptatt av korrespon-danse: korleis det musikalske kunne ha ei innflyting på det visu-elle. Og når eg i tillegg las at han sjølv mest sannsynlegvis hadde synestesi gir det heile i grunn ganske stor meining.

Synestetikarar koplar naturleg det konkrete og fysiske inntrykket som vert sendt frå omverda til ei autentisk og abstrakt oppleving,

XLIII

DESIGNEKSPERIMENT 20: FARGE < > FORM

1. Fargelegg kvar form med ein valgfri heildekkande farge: gul, rød og blå.

2. Skriv ein kort begrunnelse for valg av farge.

Begrunnelse:

1. Fargelegg kvar form med ein valfri heildekkjande farge: gul, raud og blå.

2. Skriv ei kort skildring for val av farge.

Fig. 126.Testoppgåve på farge <> form.

XLIV

Figur 127. Resultat: Farge <> formSom ein liten test stilte spurde eg lærarar og designstudentar i første- og andreklasse på master i design på Kunsthøgskulen om å fylle ut dei tre formene trekant, firkant og sirkel med fargane gul, raud og blå – 100 år etter Kandinskij.

3. D ISKUSJON 73

sansa med ein annan sans enn den stimulerte sansen. Lyd, form og smak vert opplevd i eit eige imaginært univers. Kva korrespon-danse er det mellom dette imaginære universet og dei assosia-sjonane me som designarar baserer vala vår ut i frå? Kan det innehalde skjulte koplingar og sanningar som dannar konturane av korrespondanse på eit grunnleggjande plan?

You can teach people through [synesthetic] experiences to heighten their ability to find new relationships and new associations that haven’t been discovered before. That’s the creativity, Beau Lotto, A new Way to See. 72

SYNESTESI OG KREATIVITETSynestesi skuldast ei auke i krysskoplingar mellom dei sensoriske banane i hjernen. Noko som har influert språk, kunst, film, design og skaping på generell basis.

Ramachandran hevdar at om ein tenker over kva kunstnarar, forfattarar og poetar har til felles, så er det nettopp evna til å en-gasjere seg i metaforisk tenking mellom tilsynelatande urelaterte idear. Han gir eksempel på at nokon med synestesi kan seia, «Juli-et er sola». Til samanlikning ville vanlege folk truleg seia «Ho er varm som sola,» eller «Ho er strålande som sola». Skilnaden er at ikkje-synestetarar assosierar medan synestetikarar faktisk opple-ver. Poenget til Ramachandran er at synestetikarar er disponert for metaforisk tenking i større grad fordi dei har ein meir saman-vevd hjerne, noko som gir utslag ved måling av hjerneaktiviteten ved påført stimuli. To områder av hjernen, til dømes handsaminga av farge og tal, som normalt ikkje har tilknytning til kvarandre vil vera samanvevd hos synestetikar med fargesynestesi.

ARISTOTELESI vår daglegtale nyttar me metaforar som kan minne om det synestetiske språket. Som til dømes «skarp ost», eller ein «fyldig smak» på til dømes raudvinen. Desse relasjonane vart diskutert allereie for meir enn 2000 år sidan av dei greske filsofane. M.a. Aristoteles, som skreiv:

Slik som smaken oppfatter det søte, oppfatter synet det hvite, og slikt som de siste nevnte oppfatter det sorte, vil det første nevnte oppfatte det bitre. 77

Dei greske filsofane i oldtida observerte at menneska hadde separate sanseorgan – auga, øyra, nase – men på same tid ei udelt oppleving. Dette reiste spørsmål korleis sensoriske opplevingar er sameint.

How can human beings perceive a unity in the multitude of sensory impressions? (van Campen 2007:2).

Aristoteles, født 384 f.Kr., død 322 f.Kr., gresk filosof og natur-forskar, den mest allsidige vitskapsmannen og fiosofen i antikken, svara med at me hadde ein allmenn sans, sensus communis (com-mon sense). Aristoteles nyttar uttrykket som ein bokstaveleg be-

Figur 128. Charles Spence, professor i eksperimentell psykologi ved Oxford University hevdar at me alle er synestetikarar til ein viss grad. I eit forsøk spurte han deltakarar om å smake på brieost og tranebær og seia kva som var «Maluma» og kva som var «Takete», for å undersøke koplinga smak/lyd. Folk kopla smaken til brie opp i mot «Maluma» og smaken til tranebær opp i mot «Takete» – noko som kan nyttast ved namngiving av matvarer og matrettar. 73

Figur 129. Skisse til eit lydalfabet, eit prosjekt som aldri vart realisert.

74 KRYSSANS

tydning om ein art udifferensiert sanseevne hos primitive levande vesen eller ein grunnsans for alle våre fem sansar. 74

Aristoteles syn om fem sansar gjeld den dag i dag. Men kva med balanse, sult, å føle temperaturskilnad, kvifor er ikkje det definert som sanser? Og finnest det ein audiovisuell sans? Som forklart i forrige delkapittel, så har me eit eige område i hjernen som hand-samar den kombinerte audiovisuelle informasjonen, kvifor kan ikkje det vera definert som ein eigen sans, ein kryssans?

ANALOGI

Ifølge Aristoteles har de spesielle sanseobjektene en innbyr-des organisasjon eller sammenheng som best kan beskrives med ordet polaritet: Innenfor hvert sansefelt kan sanseobjek-tene systematiseres i en skala. Ytterpunktene eller ekstremite-tene utgjør feltets kvalitative grense (…) Lydene kan ordnes polart mellom det høye og det lave (…) på samme måte som vi skjelner mørke og det blendende med synet, skjelner vi stillhet og «over-sterke» lyder med hørselen. 75

Me skil alle mellom kalde og varme fargar, fargane i seg sjølv er korkje kalde eller varme. Men me plasserer dei i system ut i frå assosiasjonar. Og det er eit faktum at me alle koplar lett lyse tonar til lyse fargar og motsatt, mørke tonar til mørke fargar, som eg undersøkte i praksis i eit av designeksperimenta mine (sjå kapittelet dokumentasjon, under metaforisk).

Forsking viser at mennesker har en tendens til å forbinde ulike «poler» med hverandre. Ord som lys, kald, skarp, hard, høy, lett, kvikk og smal hører sammen, mens ord som mørk, varm, mykm lav, tung, sakte og vid hører sammen på den motsatte side. 76

Baudelaire (1821-1867) skreiv:

Det som virkelig ville overraske ville være å finne at lyd ikke kunne antyde farge og at farge ikke kunne framkalle ideen om en melodi […] ting har alltid funnet sitt uttrykk gjennom et system karakterisert ved gjensidig analogi. 77

Uten denne evna, det å forstå metaforar, symboler og analogiar, ville me ikkje vera i stand til å lage og forstå symbol, teikn og typografi. På mange måtar bør ein visuell kommunikatør ha ein grunnkunnskap om desse felles metaforane for å kunne kommu-nisere på ein direkte og spissa måte.

TAKETE OG MALUMAEit interessant eksperiment utført av Wolfgang Köhler demonstre-rer at dette, korleis syn, lyd og språk er knytta hos alle menneske. Figur 130 syner to strekteikningar. Personane i eksperimentet vart bedt om å kople strekteikningane opp med dei to oppdikta orda «maluma» og «takete». Dei fleste personane kopla den runde, glatte forma til ventre til ordet «maluma», medan «takete» vert kopla til den spisse, kantete forma til høgre. Den skarpe og kon-

Figur 130. Takete og Maluma frå forsøket til Wolfgang Köhler (1927).

XLV

DESIGNEKSPERIMENT 21: KIKI/BUBA-ANIMASJON

Figur 131. Stillbilete frå skisse til Kiki/Buba-animasjonen.

XLVI

Designeksperiment 21: Kiki/Buba-animasjonI dette prosjektet undersøkte eg om det var mogleg å animere Kiki/Buba-fenomet ved å oversette form til rørsle.

Første skritt på vegen var å kartlegge «Kiki»til ei hakkete rørsle og Buba til ei meir flytande rørsle, noko som skissa på forrige side syner. Det andre steget var å overføre denne innsikten til ein animasjon.

Resultatet vart ein gif-animasjon som synte to rundingar side om side, der den eine rundingen vekselsvis vart synt i stor og liten i storleik, medan den andre rundingen vokste og krympa gradvis i storleik. Når eg spurte klassekameraten om kva av objekta som var Ta-Da og kva som var Wi-Oh, svarte dei at Ta-Da var den rundinga som veksla rykkvis mellom stor og liten, medan Wi-Oh var den rundingen som vokste og krympa gradvis.

3. D ISKUSJON 75

tante lyden «takete» vert tolka av vårt auditive senter. Det vert vidare kopla opp mot den taggete forma som det visuelle området av hjernen handsamar.

KIKI OG BUBAI 2001 gjentok Vilayanur S. Ramachandran og Edward Hubbard Köhlers eksperiment med orda «Kiki» og «Bouba» (fig. 130). Dei spurte amerikanske collegestudentar og tamilsk talande i India kva av figurane er Bouba og kva er Kiki? I både den engelske og den tamilsk talande kulturen, valgte 95% til 98% den runde figuren som «Bouba» og den spisse som «Kiki», noko som tydar på at den menneskelege hjernen er på ein eller annan måte i stand til å trekke abstrakte eigenskapar frå figurar og lydar.

Det syner at hjernen vår er i stand til å sjå ein abstrakt fellesnem-nar ut i frå to ulike informasjonskjelder, biletet og lyden. Namn-gjeving av objekt er ikkje er vilkårleg, og har kanskje eit opphav i ei felles forståing, men som seinare har blitt forsøkt å trimma ned med vår spesialisering av sansane, for å lettare ta inn og forstå signal frå omverda.

When asked o match the nonsense words ’takete’ and ’malu-ma ’with the two patterns shown as figs. 18 and 19, most people answer without any hesitation. In primitive languages one actually finds evidence for the thesis that the names of things and events, which are visually or tactually perceived, have often originated on the basis of such resemblances.

if this is admitted, we have taken an important step; we have recognized that subjective experiences have at least somet-hing in common with certain perceptual facts. (Köhler 1927: 224).

Men om det er slik at ein enkeltlyd som «maluma» har ei meining i seg sjølv som er universell på tvers av kultur, burde me ikkje funne spor av det i alle verdens språk? Eller gjer me det til ein viss grad?

If there where any connection between sounds and ideas, then we eoud all be speaking the same language. 78

DESIGNEKSPERIMENT 21: KIKI/BUBA-ANIMASJONFor å forstå rørsle og lyddanning laga eg eit lite animasjonspro-sjekt med mål om å animere Kiki og Buba (fig X). Eg overførte den skarpe og hakkete opplevinga av Kiki og den mjukare og smidigare opplevinga av Buba til to unike rørsler, den eine gradvis voksande (Buba) og den andre i hakkete rørsler (Kiki).

GESTALTPSYKOLOLOGIMaluma/takete-eksperiment er eit eksperiment frå 1927 henta i frå gestaltpsykologi. Gestaltpsykolgien er ei retning i psykolologi som særskild handlar om mennesket og vår oppfatting av verda. Det starta med studier av persepsjon men utvikla seg til å handle

Figur 132. Kva er Kiki og kva er Buba? Eksperiment av Ramachandran og Hubbard.

Figur 133. Skisse på skarpe og mjuke rørsler.

Figur 134. Stillbilete frå Kiki/Buba-animasjonen, designeksperiment 21.

76 KRYSSANS

om mennesket sine indre tankar og kjenslar. Gestaltpsykologien vart grunnlagt i 1912 av tyskaren Max Wertheimer (1880-1943). 79

GESTALTLOVENEDet tyske ordet gestalt kan oversetjast til «utsjånad, form, heil-skap», eller den meiningsfulle heilskapen. Gestaltlovene går blant anna ut på at figurar med lik form, storleik eller kvalitet kan oppfattast som ein heilskap (loven om likskap), at element som saman ymtar om ei kjend form høyrar i saman (loven om det naturlege, eller det samanslutta), eller at element i grupper oppfat-tast som ein heilkskap (loven om nærleik).

For eksempel er film praktisk tala berre ein straum av statiske enkeltbilete, men me opplev dette som ein samanhengjande dy-namisk straum av «levande» bilete. Når me mottek desse enkelt-delane vil hjernen vår straks leite etter eit mønster som kan gi ei større meining for oss. Dette vert kalla for mønsterattkjenning. Før me klarar å identifisere enkeltdelane som ein større heilskap vert enkeltdelane opplevd som kaotiske. Men straks me finn den overordna heilskapen får enkeltdelane ei heilt anna tyding. Heil-skapen vert meir enn summen av delane.

Mange av mønstra er nedarva frå generasjon til generasjon. Dette gjeld til dømes ansiktsattkjenning. Me identifiserer lett forma på eit ansikt sidan det har hatt ei viktig rolle for overlevinga. Eit eksempel på det er dette enkle symbolet samansatt av eit kolon og ein parantes som me oppfattar umiddelbart som eit :)

Fig. 135. Lova om likskap.

Fig. 136. Lova om det na-turlege, det samanslutta.

Fig. 137. Lova om nærleik.

If we knew what we were doing, it wouldn’t be called research, would it?

5. REFLEKSJON

78 KRYSSANS

Metode og posess

Prosess, (fr, av lat. processus ’framskriding’) utviklingsgang, kon-tinuerleg endringsrekkje.

Metode, (gr methodos, «det å følgje ein viss veg mot eit mål») systematisk framgangsmåte.

Eg starta på master i design for to år sidan med von om å:

1. Utvikle spesialkompetanse innanfor eit spesifikt fagområde Med ein allsidig bakgrunn med spredt erfaring frå 10 år med musikkutøving, 5 år som frilansfotograf og 3 år med bache-lor i visuell kommunikasjon, håpa eg å utvikle min fleirsidige bagrunn til ein spesialitet.

2. Utvikle gode arbeidsmetodar Ein ting er å ha ein god idé. Ein heilt annan ting er å vite kva ein skal gjera med han. Det krevst ein heilt anna kunnskap. Ein kunnskap som handlar om prosess og metode, som dette kapittelet handlar om.

DEN PARALLELLE DESIGNPROSESSEN

Trough a careful analysis of the parts we may be able to see the whole more clearly. – Idries Shah 80

Eg definerer prosess som vegen som heilskap, nettverket av stiar. Metode definerer eg som vegen som vert til undervegs, sjølve stioppgåinga og vegvalga. Metode er det som fører deg frå A til Å, midlar og motivasjon. Prosess er heile turen.

DESIGNPARADOKSETKorleis skal ein kunne bestemme vegen når ein ikkje veit kvar ein skal? Eller sagt på ein annan måte: korleis skal ein kunne fast-setja heilskapen uten å vite noko om enkeltdelane? Enkeltdelane avheng jo av heilskapen.

I dette paradokset ligg det ei enorm utfordring. Ei utfordring eg har møtt på i dette masterprosjektet, fordi omfanget av eit masterprosjekt på to år set høge krav til navigasjon og oversikt. Min metode er å gå til åtak på prosjektet frå ulike innfalsvinklar som gir sprikande resultat i uttrykk og teknikk, men satse på at eg likevel har nok oversikt til å kunne definere ei kjerne når alt kjem til alt. Denne teknikken vert omtalt som «bottom-up», å først fastsetje enkeltdelane, og så sette desse saman til ei ei-ning. Det motsatte er «top-down», å definere heilskapen først og enkeltdelane seinare. «Top-down» og «bottom-up» 81 set ord på ytterpunktane av strategi, men dei fleste som meg sjølv i dette prosjektet, vil nok truleg pendle mellom heilskap og detalj. Nettopp fordi detalj formar heilskapen og heilskapen tek synleg form i detalj. For å komme med eit døme, kvar gong eg gjorde eit nytt designeksperiment, stort eller lite, så var det med på å

Fig. 138. Ut av fleire spri-kande innfallsvinklar veks konturen av essensen fram.

4. REFLEKSJON 79

forme sjølve kjernen av masterprosjektet. Ein liten detalj, eller til og med (i utgangspunktet) ein feil, kunne få store konsekvensar for utviklinga av kjernen, eller kroppen av masterprosjektet. Det kjende designordtaket «The Devil is in the Details», får dermed ei ny tyding for meg, i tyding av designprosess, at feil vegval på detaljnivå kan føre til at ein tek feil retning.

LATERAL TENKINGÅ unngå å drukne i eit prosjekt trur eg ligg mykje i det å kunne handtera parallelle prosessar. Ei evne til å pendle mellom detalj og heilskap. Ei evne til å pendle mellom teori og praksis. Ei evne til å tenke kreativt og konkret. Det å kontinuerlig utvide og snevre. Dette kan minne om ein tankemåte Edward de Bono skildrar i boka Lateral Thinking (1970). Ein lateral tankemåte i motsetnad til lineær tankemåte, der lineær er sekvensielt, og lateral er paral-lellt.

de Bonos resonnement baserar seg på ein modell av menneskeleg informasjonsbehandling som er skapt av eit mønster. Lateralt tenkande er å bryte med det mønsteret, å tilsynelatande irrasjo-nelt omstrukturere informasjonen og så på eit vis nå fram til ei uventa løysning. Vertikalt tenkande er logisk og sekvensielt, og krev stadfesting av kvart steg. Noko som vert nytta for å fastsetje ein idé som har kome fram gjennom ein lateral tankegang.

Nokre utprega trekk for lateralt tenkande er, i følgje Bono:

• Generering av fleire alternative løysningar • Stille spørsmål om forutsetningar • Oppheve testing og vurdering • Søke etter analogiar • Bytte av synsvinkel og åtakspunkt på problemet

Desse trekka kan eg kjenna meg igjen i. Særleg i samband til konseptutvikling, noko masterprosjektet mitt har «svevd» lenge i. Trekket å generere fleire og alternative løysningar er eit typisk trekk for designprosessen. Eit ferdig design er berre ein av mange moglege løysningar på problemet. Design er dermed ikkje abso-lutt, korkje rett eller gale. Å finne det eine svaret, i tru om at det finst berre eitt svar er ein feil i seg sjølv. Svaret kan liksågodt vera eit spørsmål, eller evna til å stille eit betre spørsmål.

Eg gjekk i gang med dette prosjektet om lyd og bilete med håp om å finne eit samband mellom lyd og bilete, om dei høyrer i lag eller ikkje. Eg innser i etterkant at det var ein naiv tanke. Eg har ikkje funne noko svar på koplinga mellom lyd og iblete, eg oppdaga raskt at det å i det heile tatt søke etter eit svar var som å stange hovudet i veggen. Derfor vinkla eg prosjektet meir inn på bevisstgjering og formidling av temaet, utan å påvise eller avvise, men heller ha ei open haldning.

80 KRYSSANS

BISOSIASJONEin annan som har reflektert rundt kreativitet og tankeprosess er Arthur Koestler. Han introduserte eit omgrep han kallar for bisosiasjon:

I have coined the term ‘bisociation’ in order to make a distinction between the routine skills of thinking on a single ‘plane’, as it were, and the creative act, which, as I shall try to show, always operates on more than one plane. 82

Koestler meinar at det å bryte med det vante tankemønsteret er sjølve essensen i det kreative og skapande. Han kallar det krea-tive øyeblikkets innsikt for bisosiasjon. Bisosiasjon skjer når to tidlegare urelaterte områder blir knytt saman til ein ny idekon-struksjon. Å finne ein «missing link», ein ny samanheng, mellom to etablerte sanningar. Som sagt innleiingsvis er det ein ting å ha ein god idé og noko anna å vite kva ein skal gjera med han. Ofte er kunnskapen bak forvaltinga av ein idé, det som kjenneteiknar ein «profesjonell» designar. Gjennom å utsette ein idé for ulik handsaming, dukkar nye utgangar opp. Denne utprøvinga skaper aktiv reflektering rundt dei mange løysningane på problemet.

DESIGNTENKINGOmgrepet designtenking eller «Design Thinking» går mykje ut på det same som lateral tenking og bisosiasjon. Det er ein metodikk for praktisk, kreativ løysning på problem som ser etter ei betre framtidig løysning. Det er den essensielle evna til å kombinere empati, kreativitet, og rasjonalitet – samt å møte brukeraren sitt behov. I motsetnad til analytisk tenking er designtenking ein krea-tiv prosess basert rundt det å «bygge opp» idear. Dømekrafta til om ein idé er god eller ikkje skal vera lav i startsprosessen. Dette eliminerar frykta for å mislukkast, samstundes som det opnar opp for nye innfallsvinklar og deltaking i idé- og prototypefasen, og tenkning utanfor boksen.

For at prosjektet mitt om syntese av lyd og bilete skal bli ein suk-sess, set det krav til evna til designtenking. Gjennom historia er det mange som har hatt same intensjon som meg, med resultat av ulik karakter. Dette kan eg bygge vidare på, som tillært erfaring. Men samstundes gjeld det å nullstille seg, og stille seg spørsmålet: kva kan eg tilføre, som er nyskapande og interessant? Korleis kan eg, med tilgang på moderne teknologi, føre sjangeren visuell musikk inspirert av abstrakt film frå 1920-talet vidare? For å komme nærmare eit svaret på det, må eg gjennom mange rundar med designtenking.

IMPROVISASJON SOM METODEImprovisere (it. improvvisare av lat. improvisus ’uventa, utenkt’). Som amatørjazzmusiker er eg van med å improvisere, å skape eit auditivt bodskap i augeblikket. Kan eg overføre denne kunnska-pen til ein designmetode?

4. REFLEKSJON 81

Fig. 139. I 1969 skisserte Charles Eames dette diagrammet for å forklare designproses-sen som eit krysningspunkt mellom behov og interesser til klienten, designbyrået, og samfunnet som heilskap overlappe i kvarandre. Diagrammet lyd:

if this area represents the interest and concern of the design officeand this the area of genuine interest to the client and this the concerns of society as a wholethen it is in this area of overlapping interest and concern that the designer can work with conviction and enthusiasm

Note: these areas are not static - they grow and develop as each one influences the othersNote: putting more than one client in the model build the relationship - in a positive and constructive way

Utsagn om Eames Designprosess av Charles Eames til showet ”Qu’est-ce que le Design?” (What is Design?), Musée des Arts Décoratifs i Paris, 1969. 83

82 KRYSSANS

Ein skil mellom ein god improvisatør og ein meir urutinert im-provisatør. Den urutinerte vil ha nok med å prestere i augeblikket, men får vonleg kontakt med sin eigen umiddelbare spontanitet der og då. Medvit om kva som er skjedd og kva som er i ferd med å skje er ikkje like sterk. Noko som aukar med rutine. Ein god improvisatør evnar å vera i kontakt med fortida men samstundes sjå framover, og likevel vera i full kontakt med nåtida og auge-blikket. Det verste som skjer under ein improvisasjon er å ikkje vite kvar ein er, som ein prosess utan mål og meining, ord utan kontekst.

Improvisasjon og designprosess har dermed mykje til felles, det å kunne førestille seg noko i framtida og samstundes ha kontakt med fortida. Ein slags motseiande intuitiv refleksjon, å reflektere over ei handling samstundes med utføringa. Eller som Bjørn Kruse sjølv seier det:

Kunsten ved improvisering ligger i å øyne de tendenser som avdekkes – og å og utnytte det kreative potensial som ligger i det materiale som umiddelbart er skapt, blir skapt og er ved å bli skapt. 84

Improvisasjon handlar mykje om intuisjon. Det å sjå samanhen-gar umedvite. Dette kan føre til praktiske resultat utan at ein kan grunngje det, altså eit heuristisk resultat. Her dukkar det opp ein konkflikt mange designarar nok kan kjenne seg igjen i. Ein kan ha ei sterk kjensle for om noko kjennest rett eller gale utan å vere i stand til sette ord på det. Slik eg ser det handlar det å fullføre ein mastergrad i design, om evna til å sette ord på dette. Å kunne sjå og argumentere for posistive og negative trekk – det å iden-tifisere og reflektere. Noko eg håpar eg har opparbeida meg ein kunnskap om, og som kan overførast til eit kva som helst anna område.

ANALYTISK UTPRØVNING: SALAMIMETODENEin metode eg nyttar meg mykje av, er å lage ulike utprøvningar basert på ein analytisk tilnærming, også kalla salamimetoden. Salamimetoden går ut på å prøve å kartleggje eit område ved å dele det opp i ulike delar, eller salamiskiver. Ved å jobbe meg gjen-nom desse ulike delane, dukker det kanskje opp ein ny struktur som verkar direkte inn på heilskapen. Dette fører kanskje igjen til ei ny oppdeling av enkeltdelane. Slik veks enkeltdelar og heilskap inn i ein evigvarande syklus.

Eg vil definere min prosess som krysningspunkt mellom spontan improvisasjon og analytisk utprøvning.

OPPSUMMERINGYtterst få designarar er medvitne om sin prosess og metodikk. Delvis har dette si forklaring i at det er sjeldan ein er merksam på prosessen når ein er midt oppe i han. Immanual Kant skildra det slik:

4. REFLEKSJON 83

Når de psykiske kreftene er i aksjon så observerar ein ikkje seg sjølv, og når ein gjer det, stoggar desse kreftene. 85

Men eg trur at om ein er medviten på sine eigne medtodar i ein prosess kan det hjelpe på motivasjonen i mellom slaga, og ikkje nødvendigvis undervegs når det foregår, som utsagnet ymtar om.

For min del har det dreid seg om å raskt kunne skissere ut ein tanke til ein konkret form; raskt sette idear ut i livet. Ha ei open haldning under prosessen og ikkje bestemme kva du skal gjere på førehand, men la det springe ut som eit resultat utprøving av ulike innfallsvinklar.

Som eg refererte til innleiingsvis i dette kapitellet,

If we knew what we were doing, it wouldn’t be called rese-arch, would it? – Albert Einstein

Det er heilt greit og faktisk nødvendig i mange høve å sleppe kon-trollen – berre ein klarar å samle trådande til slutt når det krevst. Retrospektiv refleksjon undervegs i ein prosess er ein utfordrande handling, nettopp fordi ein ikkje har rukke å fordøye prosjektet, noko som gjer at ei masteravhandling med krav om refleksjon sit langt inne, for meg, og for dei fleste andre.

84 KRYSSANS

Konklusjon

Denne avhandlinga dokumenterar mine historiske og praktiske designundersøkingar i møte med temaet slektskapet mellom lyd og bilete – eit høgst personleg motivert tema med utgangspunkt i bakgrunnen min frå musikkutøvning i klassisk fløyte og jazzsak-sofon – i relasjon til utdanninga mi i visuelle fag som design og fotografi.

SAMBANDET MELLOM SYN OG HØRSELSambandet mellom syn og hørsel har vore studert gjennom tolking og teknologi i fleire hundre år og kan sporast tilbake til Pytagoras, Leonardo og Newton – der sistnemnde foreslo eit sam-band mellom dei sju tonane i C-dur-skalaen og dei sju fargane frå raudt til fiolett. Ideen om syntese av det visuelle og det auditive har røtter i frå starten av forrige århundre, men dukka opp alle-reie som ein ide i tidlegare skriv av Newton og Leonardo. Forsøk på å realisere denne visjonen kjem først til syne på attenhundreta-let, med oppfinninga av fargeorgelet.

På 1900-talet skreiv fleire kunstnarar og kunstteoretikarar om korleis musikk og måling kunne relaterast til kvarandre, der nokre av dei bygde eigne apparat for direkte undersøking av rørsle av farge og form. I filmens spede byrjing var det ei lita gruppe filmskaparar som lagde abstrakte animasjonar inpirert av, og seinare, synkronisert til musikk. Data- og videoteknologi har nå gjort det muleg å oppnå det som dei berre kunne drøyme om på den tida. Kan denne utviklinga av teknologi synleggjere og bevisstgjere nye uante samanbindingar, eller utvikle vår forståing av form, farge og rørsle?

KYMATIKKDette prosjektet starta med undersøkingar om korleis lyd kan opptre i bilete, som førte meg til fagområdet kymatikk, om studiet av synleg lyd ved vibrasjon. Vidare såg eg på korleis me opplever musikk og visualiserar det med penn og papir. Det førte meg til synestesi og sanseblanding, som lenge har vore det einaste provet på eit samband mellom desse to fråskilde områda.

SYNESTESISynestesi som undertema er ein konsekvens av hovudtemaet og unngåeleg i ein slik samanheng, men ei utfordring å formidle – som førte til paradokset i prosjektet, dess meir synestesi er simu-lert dess mindre vert det kanskje stimulert. Sjølv om eg baserar ein audiovisuell komposisjon på simulerte synestetiske opplevin-gar, er det ingen garanti for, og heller ingen måte å håndgripe-leg måte å prove det på, at det vert oppfatta som ei synestetisk oppleving.

1. DEFINISJON 85

Sjølv er eg usikker på om eg har synestesi. Derimot er eg sikker på er at ikkje berre har kunnskapen om sansane forandra seg i løpet av denne tida, men og sansane mine i seg sjølve.

PSYKOLOGI OG FILMTEORIEtter å ha undersøkt korleis lyd kan opptre i bilete, og korleis lyd (og bilete) kan opptre i vår persepsjon i form av synestesi, gjekk eg vidare til å sjå på kva effektar lyd og bilete kan føre til i kom-binasjon. Det leia meg til synkrese innan filmteori, til audiovisuell persepsjon, gestalt psykologi og kryssansning.

SYNESTETISK FILMInspirert av dei abstrakte filmane frå starten av forrige århundre gjekk eg i gang med å sjå på korleis form, farge i rørsle kunne opptre i synkronisasjon med lyd. Dette med tanke om å lage ein synestetisk film der ein kunne høyre bileta og skue lyden. Eg inn-såg at jo meir eg prøvde å føre lyd og bilete, jo meir innsåg eg at dei var fundamentalt forskjellige. Kvar gong eg prøvde å føre dei saman endte det opp med å basere det på subjektive kriteriar, det er einaste eitt trekk eg kan finne som er objektivt basert: nemleg lokasjon. Det at venstre lydkanal kan koplast til eit element i venstre biletflate, og høgre lydkanal kan koplast til eit element i høgre biletflate. Andre (moglege) fellesparameter som intensitet og taktilitet hadde eg eigentleg trudd skulle vera lettare å synleg-gjere audiovisuelt, utan å heilt få det til.

Det endar med at eg deler same synet som Goethe om slektskapet, lyd og farge har ikkje noko ibuande korrespondanse men sam-svarar med kvarandre i den tyding at dei legemleggjer den same ultimate meininga.

NY TEKNOLOGI: PROJEKSJONS-MAPPINGEg stilte meg samstundes spørsmålet: på kva måte kan eg vidare-føre, meir enn kopiere verka frå abstrakt film frå 1920-talet? Ved eit lykketreff ramla eg borti projiseringsteknikk og projeksjons-mapping, ein ny sjanger innanfor visuelle fag som opnar opp for ein ny måte å kommunisere på. Projeksjons-mapping handlar om å utnytte lys, skugge på objekt eller arkitektur for å skape ein tredimensjonal illusjon. Prosjektet fekk endeleg ein uttrykksmåte. Ein uttrykksmåte som gir liv til det eksisterande ved deformasjon og manipulasjon. Heile ideen om å fornemme noko som noko anna, definisjonen på synestesi, kjem til syne i dette mellomrom-met mellom påverknad og oppleving.

PROSSES FRAMFOR ENKELTPROSJEKTNår eg ser tilbake kva eg har utført i løpet av desse to åra er ikkje prosjekta i seg sjølve det mest interessante, men heller prosessen prosjektet har vore i gjennom frå A til Å. Med eit så tverrfagleg og omfattande tema som lyd og bilete er det lett å rote seg bort, sær-leg når vegen er lang og utan oppgåtte stiar å følge.

86

Det har leia meg til ein lærerik prosess der eg måtte gi slepp på kontroll av det forutinntatte, og heller ha ei open haldning og stole på at prosjektet veks fram i interaksjon med ulike menneske, omgjevnadar og påverknadar. Noko som stiller krav til ei evne til overblikk for å likevel kunne klare å definiere og formidle eit fokus.

Gjennom ulike praktiske og teoretiske tilnærmingar har eg fått eit innblikk i slektskapet mellom det auditive og det visuelle. Mitt håp er at dette innblikket i form av tekst og illustrasjonar vil inspirere og kanskje være med på å åpne opp stengde dører.

87

Frampeik

I to år har eg jobba med å forstå slektskapet mellom lyd og bilete, noko som har gjort at eg har tileigna meg ein krysskompetanse med base i audiovisuell kommunikasjon. I løpet av prosessen oppdaga eg projeksjons-mapping, ein ny sjanger innanfor visuelle fag som opnar opp for ein ny måte å kommunisere på. Projek-sjons-mapping kan bli nytta til store events, kulturarrangement, teater og scene, reklame, lansering og/eller presentering av nye produkt, og installasjon for m.a. kunst eller museum etc. Eg trur at me kjem til å sjå meir av dette i framtida.

Ikkje minst trur eg at me kjem til å sjå fleire og fleire eksempel på syntese av lyd og bilete framover. Særleg med tanke på at video, med lyd og bilete som eit synkronisert medium, trass alt er ennå i sin spede barndom, sett i ein stor samanheng. Kva løysningar me får sjå i framtida er uvisst, og korleis det vil virke inn på vår sansning og forståing av omverda er òg uvisst.

Å oppdage projeksjons-mapping opnar opp for nye områder for meg å utforske. Eg kan jobbe med visualiseringar for formidling, for scene og teater, for installasjon. Vidare har eg tileigna meg kunnskap om abstrakte visualiseringar, lydopptak, filmredigering, montasje, design for lerret, design for oppleving og design for interaktive installasjonar. Dette gjer at eg kan fortsette å utvikle meg i mange ulike retningar som videoprosjektering, tittelsekvens, interaktive installasjonar og eventuell vidare forsking på audiovi-suell persepsjon knytt til design og kommunikasjon.

Sist men ikkje minst har eg fått erfaring i handtering av ein lang og omfattande prosess; det å bryte ned «det uoverkommelege store» til mindre og håndterbare einingar, som eg håpar eg kan overføre til eit kva som helst anna område i framtida.

88

Vedlegg 1: Intervju med Hans Wilmers

(All intervjutekst er skrevet i bokmål siden alle de tre intervjuob-jektene snakker bokmål).

Hans Wilmers jobber med elektronikk og programmering i Notam, som er norsk senter for teknologi i musikk og kunst, og var interessant å snakke med i denne sammenhengen på grunn av hans bakgrunn i lyd og fysikk. Han introduserte meg for fagområdet kymatikk og gjorde meg samtidig opp-merksom på den grunnleggende forskjellen mellom hørsel og syn – hørsel er mer direkte og uten mulighet for å «slå av» på samme måte som øynene, som man kan lukke igjen.

NOTAM– Hva er din rolle i Notam?– Det er to felt jeg tar meg av. Det ene er teknsik drift og det

andre er forsking og utvikling av elektronikk som trengs i sam-tidsmusikk og kunst. Vi får ofte forespørsel om å kunne utvikle noe som ikke finnes, da gjør vi gjerne sånt. Og om det er elektro-nikk inne i bildet, da gjør jeg det gjerne. Og så har vi satsnings-områder i Notam, der jeg jobber veldig mye med sensorstyring, som jeg jobber med utenom andre prosjekter.

– Så en kunster kan komme til dere med en idé, og så prøver dere å løse det tekniske?

– Ja, nemlig.

– Så dere må ha en ganske stor forståelse for hva kunsteren vil formidle?

– Ja, det er der det begynner å bli litt interessant. Ofte er det det som er spennende, for jeg er ikke noen kunster selv, men jeg ser ofte at det å jobbe på et prosjekt sammen med en kunster det gir en ekstra dimensjon. Jeg ser det ofte som en fysiker, fra naturen si side, i den fysikalske sammenhengen, og det kan i noen tilfeller gi innspill til kunstere. Men jeg prøver jo å forstå de kunsteriske aspektene. Det er veldig avhengige av prosjektene hvordan det blir.

Noen ganger kommer kunstneren med et veldig konkret øn-ske: sånn skal det være! Og da er det uvesentlig om jeg forstår det kunsteriske i det hele tatt. Andre ganger er det mer et samspill, at den endelige idéen blir til gjennom flere møter der vi tankespiller litt.

FYSIKKBAKGRUNN– Du har bakgrunn i fysikk, hvordan påvirker det deg i ditt

arbeid med lyd?– Hvordan det påvirker meg? Ja det er interessant. Jeg har

studert bølgefysikk. Jeg har en ganske fysikalsk forståelse over

Fig. 140. Hans Wilmers.

89

hvordan naturen er. At det er veldig mye struktur i naturen som kan komme inn i kunsten. Som til dømes i denne sammenhengen her med temaet visualiering av musikk, at det å visualisere lydbøl-ger at det ikke bare er flott, men at det kan tilføre noe mer, at det kan være interessant å si noe som egentlig ikke kan sies. Og for meg er det naturlig å forstå det i den sammenhengen.

– Har du en visjon for arbeidet ditt?– Ja det har jeg. Jeg vil tilføye noe til kunstlivet med det som

jeg kan. Sånn helt banalt kan det være å lage løsninger på aktu-elle oroblemstillinger som en kunstner ikke kan selv. Min visjon er også å ligge litt i forkant, å ikke bare reagere når det kommer noen inn som har en idé. Men også kunne å presentere noe og si: det her kan man bruke – også i kunst.

SAMMEHENGEN MELLOM LYD OG BILDE– Hvilke typer lyder liker du å høre på?– Som for eksempel bråk. Ikke at jeg liker å høre på bråk hver

dag, men noen ganger kan det være ganske interessante lyder i bråk. Så jeg liker å høre interessante lyder.

– Ser du for deg visuelle bilder når du hører lyd?Ja, noen ganger.

– Så du ser ein sammenheng mellom det du hører og det du skaper av mentale bilder?

– Jeg vet ikke om det er en umidellbar sammenheng. Det vet jeg ikke. Interessant spørsmål. Noen ganger er det en veldig direkte assosiajon. Klart at det er. For eksempel at man hører en lyd og assosierer fram et visuelt bilde. Eller at jeg assosieserer noe med lyden som jeg har sett før. Men jeg synes det er mest interes-sant med lyder når jeg ikke vet hva det er. Hvor jeg blir pirket i nyskjerrigheten.

DE 5 SANSENE– Hvordan bruker du de 5 sansene og kan du rangere dem?– Jeg synes hørsel og synet er viktigst. For det første gir det

meg orientering, samme som taktil følelse, at jeg vet at jeg sit-ter på en stol nå, at jeg kjenner stolen. Med disse sansene får jeg tilbakemelding på hvor jeg er og beveger meg. De gir også mye nytelse i livet. Så jeg vil gruppere dem tre i sammen. Hørsel og smak har også mye til felles. Hørsel for meg er viktigere for nytelse enn syn. Jeg er mer enn høreperson enn en visuell person. Smak er først og fremst nytelse. Vi er ute av den tidsalderen der vi måtte smake for å vite om vi kunne spise det eller ikke. Smak var viktigere før, at det hadde en overlevelsefunksjon, nå er det mer nytelse. Lukt og smak henger veldig sammen. For meg er det nesten ett.

For meg henger lukt, smak og hørsel sammen. Hørsel er noe som går rett inn i hjernen uten at vi skjønner hva som skjer. Det har veldig direkte påvirkning for oss. Det skjer veldig mye subtilit med lyd, i reklame for eksempel. Jeg tror det er mye mer subtilt

90

enn det synet er. Jeg tror vi er mer oppmerksom på det vi ser, mens mye av det vi hører går rett inn i underbevisstheten.

– Hvorfor er hørsel viktigst for deg?– Jeg opplever at det jeg ser ofte er altfor konkret, og hørselen

tillater mye mer interpretasjon.

– Hvordan kan visuell kommunikasjon mer enn bare visuell?– Ja, hva kan det eller være? Det er opplagt at det kan vekke

flere assoiasjoner.

SAMMENHENGEN MELLOM DET AUDITIVE OG DET VISUELLE– Det er en klar sammeng, det finnes jo mange eksempler på

det. Ofte kan lyd gi et bilde en viss dybde. Eller det kan være et bilde som faktisk gir en impuls til å oppdage hva lyden handler om. Så det kan fungere begge veier. Det synes jeg er veldig fint brukt i noen filmer. Enten som et rent instrument at lyden under-streker det som skjer i flimen eller at man hører en lyd før man ser bildet, slik at man får en helt annen persepsjon.

Eller det at du har en sammenheng mellom bilde og musikk. Det er ofte mange musikere som har i sanntid en bildeinstallasjon bak seg, som er satt sammen med musikken og som fører til at du har et helt annet fokus når du hører på musikken. Det er med på å påvirke følelsene til dem som hører på. Og kanskje akkurat i musikk, er vi veldig påvirkelige, hvordan vi opplever musikk.

ALL VISUALS HAS SOUND?– All visuals has sound, eller?– Nei, jeg opplever det ikke sånn. Jo kanskje viss du sier at

også stillhet er lyd. Viss det er bilder som uttrykker den ytterste stillheten. Når du går på skitur på fjellet, når det er ingen rundt deg, og det er ingen lyd og du hører nesten ingenting. Viss jeg ser noen bilder fra noe lignende i etterkant, assosierer jeg til den lydløsheten jeg opplevde der. Og lydløsheten er jo en slags lyd det også. Det er aldri ingen lyd. Det stemmer kanskje, så lenge det ikke er syntetisk bilder som er skapt for å unngå å lage en lydas-sosiasjon.

– Men er det mulig?– Det hadde vært interessant å finne ut av. Jeg har jo tildligere

sagt at for meg er det viktig med lyd. Og det viktig for meg at jeg ikke får påtrykket lyden, jeg vil være fri i hva jeg vil høre. For eksempel det å høre og se reklame. Det er helt forferdelig, det er det verste som finnes. Så viss du faktisk vil formidle noe og du formidler lyden til dem som faktisk vil høre det, ved å ikke ha det som lyd men som assiasjon, det hadde vært sjelefred for mange folk.

Det er en ting med lyd, og det er at lyd kan ofte være et overgrep. Jeg hater når folk dytter lyd på meg. Viss det er bråk rundt meg, som ikke er rettet mot meg, da synes jeg det kan være spennende. Men viss jeg vet at det bråket lages fordi jeg hører det. Da kan jeg bli utrolig irritert.

91

LYD I FREMTIDEN– Hva trur du lyd vil bety i framtiden?– Jeg tror lyden vil alltid bety veldig mye. Det også veldig

mye fokus på lyd, på å unngå støy, på å gjøre at lyden blir hørbar, at det har en viss lydvalitet Jeg tror det vil bli mye mer fokus på lydkvalitet i fremtiden. Og da mener jeg ikke lydkvalitet i for-hold til hvilket Hi-Fi-anlegg med 24-bit oppløsning du har, men foreksempel lyd i det offentlige rom. Nå er det sånn at det er akseptert at lydforurensning finnes. At støy er en slags lydforu-rensning, men det er et relativt nytt begrep. Men det blir jo mer og mer fokus på det, at det er viktig. Så jeg tror lyden alltid vil bety veldig mye. Og musikk vil jo alltid bety noe også. Ikke bare ny musikk, men også gammel musikk. Den vil også bli stadig spilt på nye måter, og forskjellige måter, og folk tenker på hvordan det bør gjøres. Jeg tror ikke vi kommer til å miste interesse for lyden.

– Hvorfor trur du det er sånn at vi alltid har vært interessert i musikk?

– Det er gøy å lage og høre musikk. Det formidle også noe, det er en stor kunst. Det gir et fellesskap og gjøre det sammen. Det er mys musikk som har en funksjon, og som har et spesielt innhold. Man kan danse til musikk for eksempel. Jeg kan ikke uttale meg så my om kunst, men jeg tror nok det samme gjerlder da, at det er viktig å drive med ting som ikke har en direkte funk-sjon i livet. At vi tillater oss den luksusen til å produsere noe som ikke fullfører en funksjon i dagliglivet. Det er det som er kultur.

– Er det fordi vi trenger en pause fra hverdagen?– Ja, vi trenger inspirasjon, rom og tenking.

INSPIRASJON– Hvor henter du inspirasjon i fra?– Jeg blir mest inspirert når jeg har ro. Når jeg går tur i

marka eller fjellet. Da får jeg masse inpirasjon. Tomrom gir meg kreativitet. Jeg blir også inspirert av kunnskap. Men kunnskap er ofte verktøyet for meg, inspirasjon kommer ofte uavhengig av det.

92

Vedlegg 2: Intervju med Even Ruud

Even Ruud var aktuell i denne sammenhengen med bak-grunn hans i fra musikk og psykologi. I tillegg har han for-fattet flere relevante bøker, som «Lydlandskap» og «Musikk for øyet». Han introduserte meg for blant annet Walt Dis-neys «Fantasia», og synergieffekten i musikkvideo, at bildet kan forsterke opplevelsen av lyden.

MUSIKKVITENSKAP– Hva jobber du med på Universitetet på Blindern?– På Blindern underviser jeg i musikkpedagogikk, musikk-

ulturforståelse og også kurs i musikkterapi. Det vil si i forholdet mellom vitenskap og samfunnsvitenskap. Så er jeg er også psyko-logutdanna, så jeg er opptatt av hvordan folk opplever musikk.

– Hva er musikkvitenskap?– Musikkvitenskap er både historiske studier av musikk,

musikkhistorie med klassisk musikk, jazz, populærmusikk, og alle musikksjangrene. Og så er det analyse av den musikken, og så er det refleksjoner rundt estetikken dems. Og så i tillegg til det så har vi jo da musikkens psykologi, som handler om opplevelser av musikk, også sosiologi, forholdet mellom musikk og samfunnet. Og antropologi der vi har musikk i forskjellige kulturer. Musikk-pedagogikk, hvordan du skal undervise i musikk. Musikkterapi, som handler om musikk for funksjonshemmede. Så musikkviten-skap er på en måte studier av forholdet mellom musikk, historie, mennesker og kulturer.

– Hva er din spesialitet innen det feltet?– Det er psykologi, pedagogikk og musikkterapi.

– Hva gjorde deg interessert i musikkvitenskap?– Det er fordi jeg studerte musikk, og jobbet som musikktera-

peut og musikkpedagog. Og så be jeg bedt om å søke på en stil-ling på universitetet, for å jobbe med barn og ungdom og musikk, å undervise i musikk og jobbe med ungdomskultur. Da ender man her.

– Har du noen visjon med arbeidet ditt?– Det som har vært min interesse veldig ofte er å få musikken

ut til flest mulig i samfunnet. Til funksjonshemmede for eksempel. Eller at man skal få undervisning i populærmusikk på lik linje med andre etablerte sjangrer. Utvide feltet. Nå jobber med for eksempel med et prosjekt med musikk og palestinske flyktninger fra Libanon. Hvordan man kan bruke musikk til å hjelpe folk i en sosial vanskelig situasjon.

FORFATTER– Du har forfattet en del bøker?– Ja, snart 20.

Fig. 141. Even Ruud..

93

– Blant annet Lydlandskap, Varme øyeblikk og Musikk og Identitet. Du tar opp en del ulike problemstillinger i disse bø-kene. Hvilke problemstillinger opptar deg mest?

– Nei, det er litt ut i fra hvilket prosjekter jeg arbeider med. For ekspemel den i den Lydlandskapboka var jeg opptatt av støy og lydlandskp, lydene rundt oss i hverdagene, og hvordan det påvirker oss og hvordan vi kan lage et bedre lydmiljø i byer for ekspempel – øke refleksjonen kring lydmiljøet vårt. Det er altfor mye lyd rundt oss. Så det var problemstillingen da. Så skrev jeg en bok som folk kunne lese, og ha glede av, og bli litt mer opplyst og tenke over lydmiljøet sitt.

LYD OG VISUELL KOMMUNIKASJON– Hva tenker du om lyd i forhold til visuell kommunikasjon?– Forskjellen mellom lyd og grafisk design, er at om man ser

en reklameplakat som henger på veggen for eksempel, så kan man velge å se et annet sted, men har man lyd så er det mye mer påtrengende, folk kan ikke lukke igjen ørene. Så lyd er et veldig sterkt medium. Det var noen som begynte å lage lydsøyler i byen, men jeg tror det ble slutt på det. Man kan jo si at det også var en forurensning, ved siden av alt annet støy i byen så får du også folk som kommer med lydsignaler. Så fra mitt synspunkt så synes jeg det kan være veldig slitsomt. Men jeg synes det er mye visuell forurensning i byen også, gjennom reklame. Men det er jo også en auditiv forurensning. Det er jo veldig viktige spørsmål dette her. Klart viss du kan gjøre det på en estetisk måte så kan det kanskje gi et bidrag til utformingen av landskapet. Det er jo et etisk pro-blem for dere som jobber med grafisk design.

– Hva er god auditiv kommunikasjon?– Jeg tror man må spørre for hvem og i hvilken situasjon, for

jeg tror ikke man kan svare på det på et generelt grunnlag. Men god auditiv kommunikasjon er vel der man lykkes i å få fram et budskap, og at det budskapet oppleves som relevant for motta-keren. Du kan jo mene at du lager en god kommunikasjon, mens mottakeren kan jo mene noe helt annet. Det er jo problemet med all kommunikasjon egentlig. Noen ganger kan jo den informasjo-nen være uønsket, ikke sikkert den passer der og da. Viss du for ekspempel hører musikk som ikke passer for deg i en gitt situa-sjon, så vil du oppleve det som plagsomt. Det er litt av prolemet med kommunikasjon generelt.

– Ser du forskjell på en god auditiv kommunikasjon og en god visuell kommunikasjon, eller er det generelle regler?

– Det er jo forskjeller i den forstand at det visuelle kan du velge å snu deg bort i fra, mens det auditive må du på en måte gå videre med, viss det ikke er snakk om radio eller TV som man skru av. Det er regler for høyt lydnivå man kan ha på TV-reklame i forhold til programmene, men det brytes jo hele tiden.

94

SANSENSE– Vi har fem sanser, hvordan vil du rangere dem?– Jeg er veldig visuell av meg, selv om jeg også selvsagt hører

veldig på musikk. Det er klart at når jeg spiser så er kanskje lukt og smak viktigere i forhold til det visuelle. Det har vært en del diskusjon at det visuelle har dominert over det auditive, og at det visuelle er mer overfladisk, og at det auditive går mer i dybden. Det er er en forestilling som mange har, men jeg vet ikke om det er sant.

– Hva mener du om at det visuelle er mer overfladisk?– Jeg vet ikke helt om jeg tror på den historien at det audi-

tive er mye mer dypere og viktigere. Ta for eksempel «The Ayres Rock», den store røde klippen midt ute i ørkenen i Australia. Aborginene som ofte flokket seg rundt denne klippen, diktet historier ut i fra det visuelle. Alle sprekkene, hulerom, steiner og mønstre hadde hver sine historier. Så det er et veldig rikt myto-logisk materiale. Så det er ikke noen grenser for hva man kan fortolke og dikte inn i det visuelle. Det eksemepelet er i alle fall et argument mot at man skal være forsiktig med å generalisere og å si at det ene er mer enn det andre. For jeg tror at det er litt avhengig av kulturen man er i.

MUSIKK– Hva tror du musikk betyr for samfunnet?– Viss du du tok bort musikken, så ville veldig mange men-

nesker være mer ulykkelige, og mange situasjoner ville være fattigere. Stillhet kan jo være veldig allright, men noen ganger kan stillhet være ubehagelig. Det kommer litt ann på hvilken situasjon man er i der også, og hvilke personer som er inovolvert. Det er vel en grunn til at folk har laget musikk opp gjennom alle tider.

– Hva tror du grunnen er da?– Det er nok opprinnelig i vår kultur så er det ofte rituelle

funksjoner, at man bruker musikk i forbindelse med dans og teater, i forbindelse med visse feiringer i samfunnet. Det er vel for å få noen flere dimensjon er, litt mer intensitet inn i livet.

– Du har forsket på hvordan du kan bruke musikk i terapeu-tisk sammenheng?

– Ja, det er et veldig stort område da. For eksempel viss du er gammel og har begynt å glemme, så kan musikken hjelpe deg til å huske, slik at minnene kommer fram. Eller viss du er et barn på et sykehus, så kan det være greit å få lov å leke litt, eller kanskje komponere litt og spille litt, for å glemme, kanskje skal du bo på sykehuset i veldig lang tid. Eller viss du er i et fengsel, så kan det være greit å ha et rockeband å komme til når du kommer ut igjen, for å unngå rus, osv. Det er liksom tusen grunner til å bruke musikk i terapi. Eller at folk kan få bruke ressursene sine, der hvor de ofte blir satt på en diagnose. Da kan det være mye bedre å få lov til å være litt kreativ. Det er veldig mange svar til det spørsmålet.

95

– Hva med musikk for døve?– Ja, døve er jo ikke døve, de er hørselshemmede i mer eller

mindre grad, som regel har alle litte grann hørselsrest. Det kan være viktig å bruke lyd og musikk for å øve opp den høreresten. Døve har problem med tale og kommunikasjon. Det er noen musikkterapeuter som bruker musikk for å utvikle taleevnen, artikulasjon, intonasjon og for å kunne snakke tydeligere og kommunisere bedre. De døve kan jo oppfatte musikk gjennom svingningene av musikk gjennom fingrene, gjennom brystet, bein-strukturen i hodet osv. De har jo opplevelse av musikk selv om de er «døv» da.

– Tror du opplevelsene av musikk er veldig forskjellige?– Ja, de er nok det. Men det er vanskelig å vite hvordan vi

skal sammenligne. Det er jo noen som mener at det er bortkastet for døve å drive med musikk, mens andre mener at det er absou-lutt ikke det. Du har jo for eksempel en skotsk slagverkspiller som er døv, og hun spiller helt fantastisk slagverk. Så sånn sett kan man jo si at døve kan ha en stor opplevelse av musikk.

SAMMENHENGEN MELLOM DET AUDITIVE OG DET VISUELLE– Hvilke sammenhenger ser du mellom det auditive og det

visuelle, om det i det hele tatt er noen sammenheng?– Du har jo forskjellen på filmmusikk og musikkvideo for ek-

sempel. I filmmusikk forsøker man å legge på lyd for å tydeliggjø-re bildene, for å få en dimensjon til i bildene. Viss noen er triste, så kan man legge på trist musikk, for å få fram den stemningen, for eksempel. Eller for få fram at det er på et bestemt sted osv. Men så har du dette med visualisering av musikk, så går vi den motsatte veien, da kan du tenke deg at du har et musikkstykke, som du ønsker at skal bli visualisert på en eller annen måte. Da har du det klassiske eksempelet «Fantasia» av Disney, den filmen, som tar for seg en del rekke klassisk musikk, og så er det tegnin-ger til den musikken. Det er et av de første eksemplene i historien på visualisering av musikk. Og det var en ganske viktig del av kunsten, altså før krigen faktisk, det var veldig mange kunstnere som var opptatt av det, som i senere tid. Men, musikkvideoen har på en måte tatt en del over der da, at man forsøker å uttrykke i bildene det artistene sier, det kan jo gjøres på forskjellige måter. Noen ganger er det veldig narrativ da. At det er en historie som fortelles, andre ganger kan det være litt mer eksperimentelt. Man kan jo lage musikkvideoer som bygger mer på konsepter, og ikke så mye på fortellinger, og da kan det jo bli litt mer abstrakte og eksperimentelle, så de kan leke med rytmen. Musikken kan jo vi-sualiseres gjennom rytmen i klippene på bildene, eller du kan lage dynamiske former i bildet. Eller visualisere andre strukturer ved lyden, spenningskurver, og former, så du kan tenke deg å forsterke gjennom å lage visuelle bilder. Det er jo noen av musikkvideoene som gjør det. Musikkvideoene til Madonna for eksempel. Det er mange flinke videokunstnere, som klarer å plukke opp noe i det auditive som man kan forsterke med det visuelle da. Det er jo

96

kunsten med å lage gode musikkvideoer.– Ja du tror det?– Ja, altså. Du kan jo gjøre det veldig enkelt og veldig flott, du

kan jo gjøre det veldig raffinert. At man sitter å klipper og man har mangen bilder, man kan virkelig få til mye spennende, det er mange ting som ikke vi ser antakelig ved første blikk, men som da, jeg har jo bøker med analyser av musikkvideoer, som viser hvordan det blir gjort. Det er mye tanke bak det.

– Du mener at musikkvideo har på en måte en sammensmelt-ning av det auditive og det visuelle, og da vil mottakeren oppelve innholdet sterkere?

– Ja, i hvertfall innen for en type estetikk som jeg har tenkt på nå, så synes jeg det er litt mer spennende musikkvideo da. Mye mer spennende enn om du for eksempel setter et kamera på den personen som synger. Men viss du begynner på en måte å leke med kamera og klipping og å legge inn formmessige utfordringer, så kan jo den videoen ha ganske mange lag og mange meninger. Da blir det en mer en syntese mellom lyd og bilde, og da har man jo utnyttet de mulighetene som ligger i å spille bilde og lyd mot hverandre, at det liksom ikke blir to parallelle ting. Ikke bare at lyden viser bilde i filmmusikk, eller at bilde viser lyden.

– Hvorfor tror du at det er noen som har evne til å se farger når de hører musikk?

– Nei, det er hjernen til noen som tolker det slik. Noen er fargeblinde, noen har synestesi, og det er ingen som kan forklare det. Det kan være genetiske grunner. Det er noen koblinger som er annderledes enn «normalen».

ALL VISUALS HAS SOUND?– All visual has sound?– Nei, jeg hører ikke alltid noe jeg når jeg ser noe.

– Jeg har spurt en grafisk designer om visuell kommunika-sjon mer enn bare visuell, hva mener du om det?

– Nei, jeg vet ikke hva jeg skal svare på det. Viss man ikke kan lukte det, høre det, eller ta på det, så kan ikke jeg se at det er noe mer. Hva skulle det ellers være da? Hmm. Men altså, det er vel ikke bare det, at det er visuelt.

– Hva kan det ellers være da?– Det er vel det at det kan være symbolske betydninger, og at

man kan tolke det og oppfatte det på mange måter. Det kan være ganske rikt det. Mulig at det kan gi assiasjoner igjen som gjør at du lukter, ser eller hører ting.

97

Vedlegg 3: Intervju med Are Kleivan

Are Kleivan, grafisk designer, var interessant i denne sam-menhengen for han arbeid i krysningsfeltet musikk og grafisk design med utforming av uttallige plakater, plateomslag og festivalprofiler. Han gjorde meg oppmerksom på at design handler mye om å designe for sansene og at brukeren ønsker en totalopplevelse, en opplevelse som engasjerer.

MUSIKK OG GRAFISK DESIGN– Hva var det som fikk deg inn i grafisk design?– Da jeg var yngre likte jeg å tegne. Jeg var i et miljø hvor

mange spilte i band og det var mye skateboarding og den type aktiviteter. Det startet med at jeg laget materiell for en skatebo-ardbutikk, og jeg begynte å lage platecover og plakater for ulike band i miljøet jeg var en del av. Å drive med grafisk design falt seg naturlig. Men jeg visste ikke at det var et yrke, jeg tenkte ikke at man kan leve av å lage plakater.

– Det var altså musikken som satte deg på sporet av grafisk design?

– Ja, det var det. Når jeg ser tilbake, har jeg vært i et miljø som har et veldig visuelt språk, som for eksempel skateboarding og punkrock som ikke bare er idrett eller musikk, men som har en visualitet.

– Hva tenker du om fremtidens grafisk design?– Jeg aner ikke. Allerede når jeg studerte, verserte ideer om

«the end of print,» men eg tror fortsatt ikke på det. Ser man på musikkbransjen i dag, er imidlertid CD-omslaget på vei ut. Samtidig er det en ny vinyl-revival. Jeg jobber med plakater for band, og i USA har dette ikke det vært så stort siden seksti-tallet. Det er en del ting som krever en visualitet, og alt kan ikke være på skjerm.

– Hvorfor kreves det en visualitet?– Fordi folk ønsker det. Publikum har for eksempel behov for

å ha bilder på lyd.

– Hvorfor det?– Jeg tror mennesket er visuelle skapninger. Kanskje er det et

behov som er nedarvet. – Hvorfor ser vi bilder når vi hører lyd?– Vi har behov for totale sanseopplevelser – det at man for

eksempel både kan føle, se, til og med lukte, når man er på en konsert, gir en totalopplevelse. Man bruker ofte flere sanser når man opplever musikk.

Fig. 142. Even Ruud..

98

DE 5 SANSENE– Hvordan bruker du de 5 sansene?– Jeg bruker sjelden lukt i faget mitt. Selv om man som gra-

fisk designer produserer noe på en mac, er produktet man sitter igjen med en er en fysisk trykksak, hvor papirkvalitet og overfla-ter har enormt å si. Den taktile følelsen er en sanselig opplevelse som legges stor vekt på.

– Kan du rangere sansene?– Det visuelle vil nok være det første. Så det taktile. I faglig

sammenheng kommer det helt an på hvilket produkt man jobber med, for eksempel har hørsel har mye å si i animasjonsdesign. Jeg har aldri tenkt på at hørsel har noe å si for en person som leser en bok, men kanskje lyden av å bla spiller en rolle? Lukt og smak spiller en rolle hvis man jobber med å emballere mat, for eksem-pel. Det er vanskelig å rangere sansene, for meg handler det først og fremst om samspillet mellom dem.

DESIGN– Hva betyr design for deg?– Først og fremst er det jobben min, så det er viktig for meg i

den forstand. Design er imidlertid ikke det aller viktigste i verden, som noen designere mener. For meg betyr design å være med på å forme noe. Man er med på å forme en visualitet i en samtid, for og i et miljø, sånn sett er design viktig for identitetsskaping.

– Hva betyr design for musikkbransjen?– Veldig mye. Musikk har mye med identitet å gjøre. Kanskje

ikke i så stor grad som tidligere, for musikk er mer tilgjengelig i dag. I vår tid lytter man til musikk på en annerledes måte enn før. Før var det visuelle mer identitetsskapende, og tilhørighetsskapen-de. I dag hører samme personen gjerne på både metal og disco, og det er ikke så mange fraksjoner innenfor populærmusikken. Da er det ikke lenger så viktig å ha et tydelig rocke- hiphop eller pop-språk. På den annen side eksisterer skillelinjene enda.

– Hva er god kommunikasjon for deg?– Noe som er tydelig. Det må stå til produktet eller det som

skal kommuniseres. Det kan gjøres på mange forskjellige måter, men det viktige er at mottakeren får den riktige assosiasjonen – følelsen av produktet som kommuniseres. Hvis ikke er det meningsløst, da er det bare pynt.

–Hva er god musikk?– God musikk er noe som klarer å få sansene mine i bevegelse

både på en posistiv og negativ måte. Jeg mener at all musikk er god musikk, fordi det er musikk. Men hvis den utføres dårlig og skaper en irritasjon for meg, så er den dårlig for meg, for musikk er subjektivt. Det skal ikke være for alle. Det gjelder også design.

– Har du en visjon?– I de morsomme tingene jeg gjør, ønsker jeg at tingene skal

99

ha en underholdningsverdi, jeg prøver ikke å forvalte en faglig tynge. Min visjon er å formidle en eller annen sanseopplevelse.

DESIGN OG SANSEOPPLEVELSE– Hva kan man gjøre med grafisk design som er med på å

påvirke folks sanseopplevelser?– Man må bare lage bra ting. Noe som engasjerer.

– Hva engasjerer folk?– Det kommer an på målgruppen. Det er subjektivt hva som

engasjerer. Så lenge målgruppen engasjeres av produktet, og i denne sammenhengen tenker jeg på produkt som det grafiske arbeidet, så er det et bra produkt.

– Hva skal til for å underholde og trigge en målgruppe? Det handler kanskje om å trykke på riktige knappene. Målgruppen må kjenne igjen noe, og få nye opplevelser?

– Ja, og man må ikke gi for mye, slik at folk får rom til å tillegge mening selv. Jeg har jobbet mye med kultur og underhold-ning hvor sanseopplevelsen skal være større og mer eksplisitt enn hvis man for eksempel jobber med skiltsystemer. Det er viktig at man vet hvilke referansepunkter folk har.

– Med andre ord må grafiske designere være psykologer? – Det er mye den type tenkning i mitt daglige arbeid. Jeg bru-

ker mye tid på å finne ut hvem leseren er, hvordan de tenker og vil reagere på ulike ting. Design handler ikke om å tilfredsstille seg selv og lage noe man selv syns er fint. Målgruppen kommer før kunden og det glemmer man ofte.

SAMMENHENGEN MELLOM DET AUDITIVE OG DET VISUELLE– Hvilken sammenheng ser du mellom det auditive og det

visuelle?– De utfyller gjerne hverandre. I mitt arbeid med musikk,

så forsterker de hverandre. I en animasjon virker lyden inn på hvordan man opplever en bevegelse, og omvendt. Når man jobber med ikke-bevegelig tradisjonell design, er det først og fremst det visuelle som påvirker ens oppfattelse av lyd mer enn den andre veien. Eller, det er jeg ikke helt enig med meg selv om. De kan påvirke begge veier. Hvis du har et bilde, og hører musikk til, kan musikken gi mening til bildet, og bildet gi mening til musikken.

– Tror du det er best å ha en type bilde og en type musikk som uttrykker ulike ting, eller at de to uttrykker det samme?

– Det kommer an på. Hvis man lager et bilde til musikk, bør de spille med hverandre slik at det blir «musikalsk». Men i andre sammenhenger ønsker man en kontrast mellom dem for å under-streke noe.

– Går det an å fjerne det auditive, og likevel oppleve lyd?– Det kan man nok, men det kommer an på øyet som ser

100

– Kan man gjøre det samme med musikken? Noen musikk er mer visuell enn annen. Ser du for deg noe når du hører musikk?

– Ja, man kan gjøre det, men jeg gjør ikke det så ofte. Jeg ser ikke for meg bilder og den slags tror jeg, men på den andre siden, hvis en sang beskriver noe ser jeg gjerne for meg ansikter eller et miljø.

En digresjon: Det var en blind fyr der jeg vokste opp, som hadde plakater på veggene. Han mente at han kunne føle farger og bilder. Han var født blind. Han jobber i Radio Rakel. De hol-der til på Blitz-huset.

ALL VISUALS HAS SOUND?– All visual has sound?– På mange måter stemmer det, men det handler igjen om

øyet som ser. Det finnes folk som på ingen måte er interessert i lyd, og som ikke får noe igjen for det visuelle. Den påstanden er nok riktig for mange. Jeg tror det handler mye om arv og miljø. Jeg har vokst opp i et musikalsk hjem med kunstinteressert forel-dre, men hvis man vokser opp i et hjem uten musikk, så blir man ikke interessert i musikk. Nei, det er feil sagt.

Det er selvsagt lettvint å si at alt er individuelt, og kommer an på øyet som ser. Men jeg tror ikke påstanden om at alt det visuelle har lyd, gjelder for alle. Setningen sier meg egentlig ikke så mye.

INSPIRASJON– Hvor henter du inspirasjon fra?– Som med alle andre så kommer det fra det jeg ser rundt

meg, som filmer, musikk, det jeg leser, underholdning, alt mulig. Inspirasjon er overvurdert i yrket vårt, det handler mer om å skaffe seg en forståelse av det man skal gjøre, selv om det er et kreativt fag handler det mer om informasjon, enn inspirasjon.

– Vil det si at du blir inspirert av informasjonen, av kunn-skapen?

– Ja, det tror jeg nok. Jeg tror at desto mer kunnskapsrik man er, desto bedre utøver man faget sitt.

– Hva er ditt råd til unge designere?– Ikke vær så opptatt av inspirasjon, inspirasjonens betydning

er en myte. Vær opptatt av informasjon. Finn din metode. Kan-skje fungerer det for noen å være motiverte og kreative hele tiden, men det fungerer ikke så bra for meg, i alle fall ikke nå lenger.

101

Vedlegg 4: Masterprosjektbloggen

I løpet av to år samlar det seg opp eit lager av referansar, tankar, innspel og utprøvingar. Eg har brukt ein masterprosjektblogg (fig. 4.) som metode for å kontinuerleg samle og presentere relevant informasjon. Dette har vore heilt essensielt for prosjektet, særleg med tanke på det audiovisuelle, der lyd og video har vore sentralt.

Det meste av det eg presenterer her i avhandlinga, som tekst, refe-ranseprosjekt, designeksperiment, videosnuttar og projeksjonstes-tar, er henta i frå bloggen.

URL: http://oda.hveem.no

Fig. 143. Masterprosjektbloggen anno 15. april 2011.

102 KRYSSANS

Bibliografi

1. DEFINISJON

1. Fagervik Kjetil (2002). Lyd på skjerm. Teoretisk hovedfagsoppgåve. Kunsthøgskulen i Oslo. s.7.

2. Collopy, Fred (2010). Color, Form, and Motion: Dimensions of a Musical Art of Light. http://collopy.case.edu/researchArticles/ColorFormMotion.pdf [Lasta ned 23.09.2011]. s. 256.

3. Mørstad, Erik (2002). Malerileksikon, Teknikker, motivtyper og estetik. Oslo: Unipub. [sitert i Theodor Bart sin tilbakemelding på avhandlinga og Wikipedia: Disegno http://no.wikipedia.org/wiki/Disegno] [Lasta ned 20.04.2011].

4. Adorno, Theodor W. (1969). No work of art of any consequence has ever fitted per-fectly into its genre. http://www.hgb-leipzig.de/index.php?a=person&b=mitarb&c=&d=&p=310&js=2& [Lasta ned 20.10.2011].

5. Collopy, op. cit., s.356.

6. Daniels, Naumann et al. (2010). Audiovisuology Compendium – See this Sound. Köln: Verlag der Buchhandlung Walther König. s. 334.

7. Ibid., s. 415.

8. Ramachandran VS and Hubbard EM (2001). Synaesthesia: A window into perception, thought and language. Journal of Consciousness Studies 8 (12): 3–34. PDF: http://psy2.ucsd.edu/~edhubbard/papers/JCS.pdf. [Lasta ned 23.10.2010].

9. Liste over synestesitypar: http://home.comcast.net/~sean.day/html/types.html. [Lasta ned 02.04.2011].

10. Saenz M, Koch C (2008). The sound of change: visually-induced auditory synesthesia. Current Biology 18 (15): R650–R651. doi:10.1016/j.cub.2008.06.014. [Lasta ned 23.10.2010].

11. Wikipedia om synestesi. http://simple.wikipedia.org/wiki/Synesthesia#cite_note-syn-1

12. Sitert i ein anonym artikkel i Neuen Berliner Musikzeitung (29 August 1895); sitert Mahling, Friedrich. 1926. «Das Problem der ’Audition colorée: Eine historische-kritische Untersuchung.» Archiv für die Gesamte Psychologie; LVII Band. Leipzig: Akademische Verlagsgesellschaft M.B.H. Pp. 165-301. s.230. Oversatt av Sean A. Day. [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

13. Dette i følge ein artikkel publisert i Russland. Yastrebtsev V. «On N.A.Rimsky-Korsakov’s color sound- contemplation.» Russkaya muzykalnaya gazeta, 1908, N 39-40, p. 842-845 (in Russian),sitert av Bulat Galeyev (1999). [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

14. Ekman, Karl. 1938. Jean Sibelius: His life and personality. Translated from the Finnish by Edward Birse. New York: Alfred A. Knopf. [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

15. Kandinsky, 1913/1982. s. 364 [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

16. Ellington, etter sitat frå George, Don. 1981. Sweet man: The real Duke Ellington. New York: G.P. Putnam’s Sons. s. 226. [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

17. Feynman, Richard. 1988. What Do You Care What Other People Think? New York: Norton. P. 59. [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

18. http://www.tjeffersonparker.com/fallen.htm. [Lasta ned 06.04.2011].

19. Amos, Tori and Ann Powers (2005). Piece by Piece. New York: Broadway Books. [sitert i List of People With Synesthesia, Lasta ned 06.04.2011].

20. Nettintervju av side2: http://www.side2.no/musikk/article1805896.ece [Lasta ned 01.04.2011].

21. Nettintervju av Stian Fjelldal, NRK underhaldning, Publisert 12.01.2004. http://www.nrk.no/kultur-og-underholdning/1.860355[Lasta ned 01.04.2011].

22. Sagt i intervjuet: “Extra” Brain-Wiring, Synesthesia And Design (Interview) [Lasta ned 15.04.2011].

1. DEFINISJON 103

2. DOKUMENTASJON

23. Haverkamp, Michael (2009). Look at that sound: Visual aspects of auditory perception. http://www.michaelhaverkamp.de/Look%20at%20sound%20M%20Havekamp.pdf [Lasta ned 23.10.2010].

24. Donsis, Donis A (1973). A primer of visual literacy. MIT Press. side 81. [sitert i Leborg, Christian (2004). Visuell grammatikk. Abstrakt forlag, Oslo.]

25. Peacock, Kenneth. Instruments to Perform Color-Music: Two Centuries of Technological Experimentation. Leonardo, Vol. 21, No. 4, 1988, s. 398. [sitert i McDonnell, Maura (2007). Visual Music Essay. http://www.soundingvisual.com/visualmusic/VisualMusi-cEssay.pdf s. 13. [Lasta ned 20.10.2010]

26. Collopy, op. cit., s.356.

27. Moritz, William (1997). The Dream of Color Music, And Machines That Made it Possible http://www.awn.com/mag/issue2.1/articles/moritz2.1.html [Lasta ned 03.04.2011].

28. Kandinsky, Wassily (1977). Concerning the spiritual in art. New York: Dover

29. Ibid., s.19.

30. Moody, Niall (2009). Ashitaka: An Audiovisual Instrument. PhD thesis. Department of Electronics and Electrical Engineering. Nettstad: http://downloads.niallmoody.com.s3.amazonaws.com/NiallMoodyPhDThesis.pdf. [Lasta ned 20.02.2011]. s. 8.

31. Whitelaw, Mitchell (2008). Synesthesia and Crossmodaliy in Contemprary Audiovisu-als. http://creative.canberra.edu.au/mitchell/papers/Synesthesia_Crossmodality.pdf [Lasta ned 11.03.2010]. s. 265.

32. Sweeney, James Johnson (1945). «Piet Mondrian,» The Museuem of Modern Art Bulletin 12, no. 4, s.12. [sitert i Leggio, James (2001). Music and Modern Arts, s.187. http://books.google.no/books?id=tm4xL61NiKUC&lpg=PR1&ots=jRdaM0wQ7Z&dq=Music%20and%20modern%20art%20Av%20James%20Leggio&pg=PR1#v=onepage&q&f=false]

33. Lupton and Miller, (1991) The ABSs of [Triangle, Square and Circle] The Bauhauas Design Theory. New York: Princeton Architectural Press. s. 25.

34. Moody, op. cit., s.12.

35. Ward, Ossian (2006).The man who heard his paintbox hiss. http://www.telegraph.co.uk/culture/art/3653012/The-man-who-heard-his-paintbox-hiss.html [Lasta ned 03.04.2011]

36. Maur, Karin Von. Mondrian und die Musik im Stijl, i Von Klang Der Bilder. Die Musik in der Kunst des 20. Jahrhunderts, ed. Karin von Maur (Munich: Prestel, 1194/1996), 400–407, here 177.) [sitert i Daniels et al., op. cit., s.257.]

37. Moritz, William(1991) Restoring the Aesthetics of Early Abstract Films. http://www.iotacenter.org/visualmusic/articles/moritz/restaest1 [Lasta ned 20.10.2010].

38. Turvey, Malcolm. Dada between Heaven and Hell: Abstraction and Universal Language in the Rhythm Films of Hans Richter, October, Summer 2003, No. 105, 13–36. Quoting Hans Richter, “My Experience with Movement in Painting and in Film..[sitert i McDon-nell, Maura (2007). Visual Music Essay. http://www.soundingvisual.com/visualmusic/VisualMusicEssay.pdf s.6 [Lasta ned 20.10.2010]

39. Moody, op. cit., s.13.

40. Fischinger, Oskar (1932). Sounding Ornaments. Først publisert i «the Deutsche Allge-meine Zeitung», seinare publisert i andre publikasjonar. http://www.oskarfischinger.org/Sounding.htm [Lasta ned 23.10.2010]

41. Moody, op. cit., s.15.

42. McDonnell, Maura (2002). Colour and Sound Visual Music. http://homepage.eircom.net/~musima/visualmusic/visualmusic.htm [Lasta ned 02.04.2011].

43. Om Norman McLaren. http://www.nfb.ca/film/ begone_dull_care_caprice_couleurs [Lasta ned 02.04.2011].

44. Whitney, John Sr. «To Paint on Water: The Audiovisual Duet of Complementarity», Computer Music Journal, Vol. 18, No. 3, Autumn 1994, 46. [sitert i McDonnell, Maura (2007). Visual Music Essay. http://www.soundingvisual.com/visualmusic/VisualMusi-cEssay.pdf s. 12. [Lasta ned 20.10.2010].

104 KRYSSANS

45. For komplett liste, sjå: http://rhythmiclight.com/archives/bibliography.html [Lasta ned 20.10.2011].

46. Ruud, Even (1988). Musikk for øyet: om musikkvideo. Oslo: Gyldendal.

47. Bordwell, Thompson (2007). Film Art: An Introduction. McGraw-Hill Humanities. s. 226

48. Strand, Joachim (2008). The Cinestetic Montage of Music-Video. VDM Verlag. s. 72.

49. Müller, Lars. (1995) Josef Müller-Brockmann Pioneer of Swiss Graphic Design. Baden: Verlag Lars Müller. [sitert i Researching Josef-Müller Brockmann http://www.agrayspa-ce.com/ncsu/04_fall/img/Brockmann.pdf]

50. Sagt av Delia Derbyshire i eit intervju av Surface Magazine: «People think that compo-sers sit there with their pen over the manuscript paper, and God sends his inspiration down the top of the pen onto the paper. Well, in some cases it seems perhaps they did; perhaps Mozart. But in other cases one has to impose a discipline, and the discipline of number is an excellent discipline.» http://www.delia-derbyshire.org/interview_surface.php [Lasta ned 12.11.2010]

51. Strick, Jeremy (2005). «Visual Music.» i Visual Music: Synesthesia in Art and Music Since 1900 (exhibition catalog). New York: Thames & Hudson. [ Sitert i Whitelaw, op cit., s. 262.]

52. Om Rune Grammofon og Kim Hiorthøy: http://www.moldejazz.no/2011/index.php?page_id=12755

53. Marks, L. E. (1975). «On Colored-Hearing Synesthesia: Cross-Modal Transation of Sensory Dimensions», Psychological Bulletin, n. 82, s. 303-331. [sitert i Ricco, Dina et al. (2003) Design for the synesthesia. Audio, visual And haptic correspondences experimentation. Lasta ned 10.02.2010]

54. Ricco, Dina et al. (2003) Design for the synesthesia. Audio, visual And haptic cor-respondences experimentation, Lasta ned 10.02.2010]

55. Wikipedia om Louis Cheskin: http://en.wikipedia.org/wiki/Louis_Cheskin [Lasta ned 10.02.2010]

56. New Tropicana Packaging, Malcolm Gladwell And Sensation Transference http://www.avoision.com/2009/02/26/new_tropicana_packaging_malcol.php [Lasta ned 12.04.2011]

57. Warde, Beatrice (1955). The crystal goblet: Sixteen essays on typography. World Pub. Co.

58. Levy, Michal. Giant Steps. Jhttp://michalevy.com/giant-steps [Lasta ned 01.04.2010].

59. Sagt i eit Intervju med Michal Levy av Eyemagazine. http://blog.eyemagazine.com/?p=71 [Lasta ned 01.04.2010].

4. DISKUSJON

60. Pigford, Ashley (2006). Composing Design Experience. MFA Thesis. Rhode Island School of Design. http://www.ashleyjohnpigford.com/texts/Pigford-Thesis.pdf. [Lasta ned 31.03.2010].

61. Wikipedia om qualia. http://en.wikipedia.org/wiki/Qualia. [Lasta ned 23.10.2010].

62. H. McGurk and J. MacDonald (1976). Hearing lips and seeing voices, Nature, 246, p. 746-748, 1976.

63. Lipscomb, Scott D. (2005). The perception of Audio-visual Composites: Accent Structure Alignment of Simple Stimuli. http://www.lipscomb.umn.edu/docs/Lipscomb2005.pdf [Lasta ned 05.01.2011] s. 60.

64. Wikipedia om Mickey Mousing. http://en.wikipedia.org/wiki/Mickey_Mousing. [Lasta ned 23.10.2010].

65. Curtis, S. i Altman, R. (1992). s.201. [i Grierson, M. (2005). Audiovisual Composition http://www.mickgrierson.co.uk/Dr.%20M.Grierson%20-%20Audiovisual%20Composi-tion%20Thesis.pdf [Lasta ned 25.12.2010]

66. Birtwistle, A. (2002). Insects, Urine and Flatulence: the radical potential of Mickey Mousing. s.23–35. [Ibid, Grerison 2007]

67. Lipscomb, Scott D. (2005). The perception of Audio-visual Composites: Accent Structure Alignment of Simple Stimuli. http://www.lipscomb.umn.edu/docs/Lipscomb2005.pdf [Lasta ned 05.01.2011] s. 65.

68. Shams L, Kamitani Y, Shimojo S. (2002) Visual illusion induced by sound. http://www.ncbi.nlm.nih.gov/pubmed/12063138 [Lasta ned 18.02.2011]

1. DEFINISJON 105

69. Sekuler, R. og Blake, R. (1985) Perception. Alfred A. Kopf. New York. s. 104 [i Ab-bado, A .1988].

70. Abbado, Adriano (1988). Perceptual Correspondences of Abstract Animation and Synthetic Sound. M.S. Thesis, MIT Media Laboratory. http://www.noisegrains.com/wp-content/uploads/2007/08/thesis.pdf. [Lasta ned 20.02.2011].

71. Alten, Stanley R. (1994). Audio in Media. Wadsworth Pub Co. s.4. [sitert i Strand, Joachim (2008). The Cinestetic Montage of Music-Video. VDM Verlag].

72. Richardson, Laura Seargeant (2010) Seeing the Future Synesthetic. http://designmind.frogdesign.com/articles/the-substance-of-things-not-seen/seeing-the-future-synesthetic.html [Lasta ned 16.12.2010]

73. Gill, Victoria, BBC News (2009). People may be able to taste words http://news.bbc.co.uk/2/hi/science/nature/8070210.stm [Lasta ned 26.11.2010].

74. Store norske leksikon: Aristoteles. http://www.snl.no/Aristoteles[Lasta ned 18.02.2011]

75. Øijord, Aksel (1994). Se – Persepsjon, erkjennelse og vitenskap i kunstfagene. Tell forlag [sitert i masteroppgåva til Siv Mannsåker (2007) Dette er ikke et utsagn: om å visualisere tale. Kunsthøgskolen i Oslo, Fakultet for visuell kommunikasjon]

76. Jakobson, Roman & Waugh, Linda R. (2002). The sound Shape of Language. New York: Mouton de Gruyter. s. 195 [sitert iIbid, Mannsåker (2007)]

77. Laeng, Bruno (2010) foredrag om synestesi. Samandrag publisert på masterprosjekt-bloggen, http://oda.hveem.no/?p=2190

78. Sitat av John Locke, engelsk filosof, 1632–1704. [sitert i op. cit. Mannsåker (2007)]

79. Wikipedia om gestaltpsykologi. http://en.wikipedia.org/wiki/Gestalt_psychology. [Lasta ned 23.10.2010].

5. REFLEKSJON

80. Shah, Idries. The Elephant in the Dark. [i Design Research, papir laga av student frå Central Saint Martins, London, utdelt av Maziar Raein]

81. Rosell, Gustaf (1990). Anteckningar om designprocessen. Stockholm : Kungliga Tek-niska Högskolan.

82. Arthur Koestler, in The Act of Creation (1964).

83. Enric, A timeline of design thinking mental artifacts anyone? http://contextre-sponse.blogspot.com/2009/02/timeline-of-design-thinking-mental.html[Lasta ned 13.04.2011].

84. Kruse, Bjørn (1995). Den tenkende kunster: Komposisjon og dramaturgi som prosess og metode. Oslo: Universitetsforlaget. s. 42.

85. Rosell, Gustaf (1990). Anteckningar om designprocessen. Stockholm : Kungliga Tek-niska Högskolan. s. 23.

ØVRIG LITTERATUR

van Campen, Cretien (2010). The Hidden Sense: Synesthesia in Art and Science. Cambrid-ge, Massachusetts: MIT Press.

Michel Chion, (1994) Audio-Vision: Sound on the Screen. New York: Columbia University Press.

Cytowic, Richard E. (2003). The Man Who Tasted Shapes. Cambridge, Massachusetts: MIT Press.

Lauterwasser, Alexander (2007). Water Sound Images: The Creative Music of the Universe. Macromedia.

Ashton, Anthony (2003). Harmonograph: A Visual Guide to the Mathematics of Music. Walker & Company

Koestler, Arthur (1964). In The Act of Creation.

Köhler, Wolfgang (1970). Gestalt Psychology: An introduction to New Concepts in Modern Psychology. New York: Liveright Publishing Corporation

Klee, Paul (1978). The thinking eye. London: Lund Humphries.

Poling, Clark V. (1986). Kandinsky’s teaching at the Bauhaus: color theory and analytical

106 KRYSSANS

drawing. New York: Rizzoli.

Leborg, Christian (2004). Visuell grammatikk. Oslo: Abstrakt.

Lupton, Ellen et. al (2008). Graphic design : the new basics. New York : Princeton Architec-tural Press

Lupton, Ellen et al (1991). The abc’s of [triangle, square, circle]: the Bauhaus and design theory. New York: Princeton Architectural Press.

Kandinsky, Wassily (2001). Om det åndelige i kunsten. Oslo: Pax.

Kandinsky, Wassily (1946). Formens Problem. København: Wivel

Itten, Johannes (1970). Farvekunstens elementer: subjektive oplevelser og objektiv erkjendelse som vejledning til kunsten. København: Borgen.

Goethe, Johann Wolfgang von (1988) Goethes farvelære. København: Hernov

Fletcher, Alan (2001). The art of looking sideways. London: Phaidon.

Berger, John (1985). Se på bilder. Oslo: Oktober.

Sauer, Theresa (2009). Notations 21. New York: Mark Batty publisher

Gross, Richard, «Psychology – The science of Mind and Behaviour», Hodder Education 2010.

Gregory, Richard L. (1997). Eye and Brain. Princeton University Press.

Gemma Calvert, Charles Spence, and Barry E. Stein, editors (2004).The Handbook of Multis-ensory Processes. MIT Press.

Youngblood, Gene (1970). Expanded Cinema. New York:E.P. Dutton.

Stoltz Design (2008). 1,000 Music Graphics: A compilation of packaging, posters, and other sound solutions (1000 Series). Rockport Publishers

Thompson, William Forde (2008). Music, Thought, and Feeling: Understanding the Psycho-logy of Music. USA: Oxford University Press.

Jørgensen, Harald (1989). Musikkopplevelsens psykologi. Oslo: Norsk musikforlag.

Golan Levin (2000). Painterly Interfaces for AudioVisual Performance. PhD thesis, Massachu-setts Institute of Technology. http://acg.media.mit.edu/people/golan/thesis/index.html. Lasta ned [18.01.2011].

Whitney, John (1980). Digital Harmony. USA: McGraw-Hill Inc.

[anderson:2004] T.S. Andersen, K. Tiippana and M. Sams, Factors influencing audiovisual fission and fusion illusions, Cognitive Brain Research, 21(3), p. 301-308, 2004.

Wikipedia om Multimodal Integration. http://en.wikipedia.org/wiki/Multimodal_integration [Lasta ned 23.10.2010].

FILM OG MUSIKKVIDEO

Richter, Hans. (1921). Rhythm 21.

Lye, Len. (1939) Swinging the Lambeth Walk.

Lye, Len. (1935) A Colour Box.

Ruttmann, Walter (1921) Lichtopus 1.

Fischinger, Oskar. Allegretto (1943).

Eggeling, Viking (1924), Symphonie Digitale.

Walt Disney (1941). Fantasia.

McLaren, Norman. Synchromie (1971).

Cunningham, C. (1998). Portishead – Only You. From Bangs, L. (2003). The work of Director Chris Cunningham. USA: Palm Pictures.

Gondry, Michel (2002). Chemical Brothers – Star guitar. UK.

Doyle, Christopher. Away with words (San Tiao Ren). (1999). Film om ein person med synestesi.

Qi, Comedy quiz show, BBC. How many senses do you have? Frå youtube: http://www.youtube.com/watch?v=CUn7zy8Ya20