View
224
Download
1
Category
Preview:
Citation preview
DŹWIĘK INTERAKTYWNY II
Dźwięk w projektach interaktywnych – przykłady, analizy, symulacje
Materiały pomocnicze do ćwiczeń
Dorota Błaszczak
2
DŹWIĘK INTERAKTYWNY II
____________________________________________________________ Część I
Podstawowe cechy nowych mediów........................................................................... 4
Projektowanie nowych mediów................................................................................... 5
Nowe nowe media ...................................................................................................... 6
Intermedia................................................................................................................... 6
Typy projektów interaktywnych................................................................................... 7
Strategia instrumentu - nadrzędność interfejsu Strategia gry - nadrzędność interakcji Strategia archiwum - nadrzędność danych Strategia labiryntu - nadrzędność organizacji danych (hipertekst) Strategia kłącza - rozwój organizacji danych Strategia systemu - interaktywność wewnętrzna Strategia sieci - relacje sieciowe Strategia spektaklu - nadrzędność wydarzenia i odbiorcy
____________________________________________________________ Część II
Klasyfikacje w sferze sztuki audiowizualnej.............................................................. 10
Strefa przestrzeni w muzyce..................................................................................... 12
Sfera elektroakustyczna ........................................................................................... 13
Strefa muzyki komputerowej..................................................................................... 14
Strefa przestrzeni słuchowej..................................................................................... 15
Strefa krajobrazu dźwiękowego................................................................................ 16
Strefa urbanistyki i architektury................................................................................. 18
Strefa dźwięku gier komputerowych ......................................................................... 19
____________________________________________________________ Część III
Typy projektów interaktywnych. Przykłady audiowizualne........................................ 20
Strategia instrumentu................................................................................................ 20
Strategia archiwum................................................................................................... 21
Interaktywność wewnętrzna...................................................................................... 22
____________________________________________________________ Dodatek
Media interaktywne na rynku pracy .......................................................................... 23
3
Przedmiot „Dźwięk interaktywny II” jest kontynuacją nauki o wykorzystaniu dźwięku w
interaktywnych projektach, które obejmują zarówno prace związane tylko z samym dźwię-
kiem, jak i prace audiowizualne. Zajęcia opierają się na realizacji indywidualnych lub grupo-
wych projektów wykorzystujących różne techniki interaktywne i są zajęciami wspomagają-
cymi dla przedmiotu głównego „Kreacja dźwięku w formach audiowizualnych”.
Ze względu na indywidualny charakter zajęć, materiały do przedmiotu „Dźwięk inter-
aktywny II” mają na celu przedstawienie różnorodnych zagadnień z wielu dziedzin. Takich,
które tworzą wielowymiarową przestrzeń potencjalnego zaistnienia dźwięku interaktywnego
oraz takich, które mogą być inspiracją i pomocą w decyzjach dotyczących wyboru projektu
i jego realizacji w ciągu dwóch semestrów zajęć.
Materiały zawierają przykłady atrybutów charakteryzujących nowe media oraz przy-
kłady klasyfikacji dzieł interaktywnych i audiowizualnych, opierające się na różnorodnych
materiałach źródłowych, prezentujące możliwości różnorakiego spojrzenia na zagadnienie
interaktywności i wyodrębnienie cech łączących grupy projektów. Szeroki zakres tematów i
dziedzin, nie zawsze związanych bezpośrednio z dźwiękiem, ma na celu pokazanie, że
dźwięk w sztukach interaktywnych może czerpać inspiracje z wielu źródeł, aby odnaleźć
„pomiędzy” nimi nowe miejsce dla siebie, aby poszukiwać nowych środków wyrazu i podpo-
rządkować istniejące technologie założonemu celowi estetycznemu.
Dla wybranych typów projektów interaktywnych zostały przedstawione przykłady dzieł
ilustrujące związane z nimi zagadnienia. Tak jak i w części pierwszej tego przedmiotu
wybrany zestaw przykładów nie stanowi systematycznego przeglądu dzieł interaktywnych.
Może, i powinien być, zmieniany oraz uzupełniany o inne dzieła charakterystyczne dla oma-
wianych zagadnień przez prowadzącego oraz przez studentów. Zadania, przedstawione dla
ilustracji kilku typów projektów i zagadnień związanych z interaktywnością, są propozycjami
do wyboru i realizacji na zajęciach.
4
____________________________________________________________ Część I Opracowania dotyczące nowych mediów zajmują się najczęściej zagadnieniami
związanymi ze sztuką wizualną, czasem przedstawiając również zagadnienia dotyczące
dźwięku. Dlatego też przedstawiane tu klasyfikacje są często modyfikacją i rozszerzeniem
myślenia o kulturze wizualnej również w stronę kultury dźwiękowej.
___________________________________________________________________
Podstawowe cechy nowych mediów. (W oparciu o książkę L.Manovicha „ Język nowych mediów”)
„Język nowych mediów” (2001) jest „klasycznym” opracowaniem na temat nowych
mediów, ich definicji i wpływu na kulturę wizualną oraz na powstawanie nowych form
kulturowych i pojawianie się nowych możliwości estetycznych. W wyniku
komputerowej rewolucji medialnej zmieniły się wszystkie etapy komunikacji medialnej,
a same media przekształcone do postaci danych komputerowych, na których można
dokonywać obliczeń i przekształceń, stały się nowymi mediami. Autor książki
przedstawia główne cechy i pojęcia dotyczące nowych mediów.
1. Reprezentacja numeryczna
Cyfryzacja mediów daje możliwości manipulowania danymi za pomocą algorytmów,
możliwości tworzenia symulacji fizycznych obiektów i procesów opisanych równa-
niami matematycznymi. Media stają się programowalne.
2. Modularność
Obiekty nowych mediów składają się z niezależnych od siebie części (dźwięk, obraz,
kształt, zachowania), co umożliwia łatwą modyfikację całości poprzez modyfikację
elementów na różnych etapach produkcji i procesu komunikacji.
3. Automatyzacja
Wiele procesów przetwarzania i modyfikacji obiektów mogło zostać automatyzowa-
nych, gdyż pojawiła się możliwość definiowania i proponowania użytkownikom okre-
ślonych szablonów. Również zautomatyzowany dostęp do obiektów nowych mediów
w bazach danych, umożliwił ułatwione wyszukiwanie istniejących już obiektów.
4. Wariacyjność
Obiekt nowych mediów ze względu na swoją budowę modularną może istnieć w wielu
wersjach. Tworzone są one czasem automatycznie w procesach dopasowania danego
obiektu do określonego środowiska prezentowania danych – obiekty nowych mediów
są skalowalne.
5
5. Transkodowanie kulturowe
Obiekty nowych mediów składają się z warstwy kulturowej i komputerowej. Warstwa
komputerowa, poprzez swoją określoną strukturę i określone działanie wpływa i mode-
luje organizację warstwy kulturowej, wpływa na gatunki i treść nowych mediów.
6. Interaktywność
Media komputerowe są z definicji interaktywne poprzez interfejs człowiek-komputer.
Interakcja może być odniesiona do fizycznej interakcji człowieka z interfejsem, jak
również do psychologicznych procesów interakcji pozwalających na tworzenie
obrazów mentalnych. Takie podejście pozwala na stwierdzenie, że interaktywne
media komputerowe umożliwiają eksternalizację i uprzedmiotowienie operacji myś-
lowych. To jednocześnie umożliwia nakierowanie odbiorcy nowych mediów na
podążanie tokiem myślenia twórcy przekazu.
7. Nawigowalna przestrzeń
Jest to przestrzeń subiektywna, która reaguje na ruchy użytkownika. Ruch pozwala
na odkrywanie otoczenia. Przestrzeń nawigowalna może zmieniać się dosłownie,
odzwierciedlając subiektywność użytkownika. Jest pełnoprawną formą kulturową
(obok bazy danych), a jej obecność może definiować nowe media.
8. Interfejs
Interfejs kształtuje i „narzuca” sposób, w jaki użytkownik postrzega obiekt medialny
i jak jest kształtowane przeżycie estetyczne widza.
Projektowanie nowych mediów
Projektowanie nowych mediów związane jest z konstruowaniem interfejsu do multime-
dialnych baz danych oraz z definiowaniem poruszania się widza w nawigowalnej przestrzeni.
Projektanci nawigowalnych przestrzeni mogą wykorzystać współczesną sztukę, jako
źródło inspiracji i źródło wielu przydatnych koncepcji.
- Architektura filmowa - tworzona na potrzeby nawigacji i eksplorowania jej za pomocą
kamery.
- Malarstwo - organizacja przestrzeni w obrębie krawędzi ramy ograniczającej przestrzeń.
- Instalacje - aranżacje przestrzeni, umożliwiające widzowi wybór kolejności oglądania danej
instalacji, która posiada określoną strukturę przestrzenną i określoną dramaturgię powsta-
jącą w trakcie poruszania się widza w obrębie instalacji.
6
Projektowanie nowych mediów powinno być skoncentrowane na przeżyciu estetycz-
nym widza w czasie i przestrzeni, a nie na obiekcie samym w sobie.
Aby zrozumieć logikę nowych mediów, które są w coraz większym stopniu programo-
walne, należy poznać zasady programowania w praktyce, co może ułatwić zrozumienie
otaczających nas mediów.
___________________________________________________________________
Nowe nowe media (W oparciu o książkę P. Levinsona „ Nowe nowe media”)
Pojęcie „nowe nowe media” zostało zaproponowane przez Paula Levinsona w 2010
roku, tak aby uniknąć definiowania rzeczywistości poprzez kolejne liczby, jak w określeniach
Web 2.0 czy 3.0. Opracowanie to dotyczy szybko zmieniającej się rzeczywistości medialnej
i mediom nowszym niż „nowe media” i opisuje zagadnienia dotyczące takich pojęć jak
blogowanie, YouTube, Wikipedia, MySpace, Facebook, Twitter, Second Life, podcasty,
nadużycia w sieci i sprzętu.
Podstawowym wyróżnikiem nowych nowych mediów jest to, że konsument staje się
jednocześnie producentem, a media mają charakter społecznościowy i mobilny.
Te zmiany wpływają na rodzaje medialnych przekazów komunikacyjnych, możliwych
do wykorzystania dla celów projektów artystycznych, które mają się zmierzyć z przekształca-
jącymi się mediami i dotrzeć ze swoim przekazem do odbiorców.
___________________________________________________________________
Intermedia (W oparciu o książkę K.Chmieleckiego „Estetyka intermedialności”)
Pojęcie intermediów zostało zaproponowane latach 60-tych XX w przez Dicka Hig-
ginsa, jako określenie nowego statusu sztuki szukającej swojego miejsca pomiędzy mediami.
To pojęcie jest też wykorzystywane obecnie w zakresie estetyki mediów i badań nad kulturą
audiowizualną, co opisuje i analizuje Konrad Chmielecki w książce „Estetyka intermedial-
ności”, książce o estetyce, której przedmiotem badań są relacje zachodzące między już ist-
niejącymi mediami. A do intermediów zostają zaliczone: poezja wizualna, muzyka wizualna,
sztuka światła, fotografia intermedialna, film, video, wideoklipy, sztuka telewizyjna, animacja
komputerowa, kino interaktywne, net art., holografia, teatr, balet, multimedialne przedsta-
wienia performatywne.
7
___________________________________________________________________ Typy projektów interaktywnych
(W oparciu o książkę Ryszarda W. Kluszczyńskiego „Sztuka interaktywna. Od dzieła-
instrumentu do interaktywnego spektaklu”)
Przedstawiona poniżej klasyfikacja opiera się na analizie przedstawionej w książce
„Sztuka interaktywna. Od dzieła-instrumentu do interaktywnego spektaklu”. Książka
stanowi obszerne omówienie zagadnień związanych z interaktywnością, jej
rozumieniem, definicjami i teoriami z nią związanymi.
Przedstawione poniżej w sposób skrótowy „kategorie”, mogą stać się narzędziem do
analizy dzieł z ważnym komponentem dźwiękowym i interaktywnej sztuki dźwięku. W
części III skryptu, znajdują się dodatkowe przykłady interaktywnych projektów (spoza
wyżej wymienionej książki).
W książce znajdujemy obszerną analizę prac wizualnych lub audiowizualnych i pro-
pozycję podziału interaktywnych dzieł według strategii, jako podstawowego wkładu artysty
w dzieło interaktywne. Strategie „łączą wszystkie składowe w jeden układ i wyznaczają
proponowane pola aktywności odbiorców”, a ich kategoryzacja opiera się w dużym stopniu
na zmieniającej się hierarchii i ważności pomiędzy składowymi dzieł interaktywnych: inter-
fejsu, interakcji, organizacji i wykorzystania danych, systemu technologicznego, sieci społe-
cznej i wydarzenia artystycznego.
1. Strategia instrumentu - nadrzędność interfejsu
Projekt ma charakter przede wszystkim wykonawczy, w oparciu o interfejs, wykorzystany
tu jak instrument do grania, do wytwarzania określonego ciągu zdarzeń dźwiękowych czy
wizualnych. Dla użytkownika/uczestnika/potencjalnego wykonawcy, zostaje przygoto-
wane środowisko wykonawcze – użytkownik może stać się wykonawcą, sprawiając tym
samym, że dzieło zaistnieje.
W zależności od przygotowanych przez artystę ram środowiska wykonawczego, dzieło
może mieć charakter koncertu dźwiękowego czy wizualnego, charakter peformatywny lub
kształt manipulacji udostępnionymi użytkownikowi środkami.
8
2. Strategia gry - nadrzędność interakcji
W tym przypadku, interakcja jest dominującym elementem dzieła, które bazuje na dzia-
łaniach uczestnika zmierzających do postawionego przed nim celu, według określonych
reguł. Praca realizująca strategie gry może być transformacją gry już istniejącej lub być
dziełem autonomicznym z własnymi zasadami działania. Może być zbudowana wokół
przestrzeni sieci internetowej lub jako instalacja lokalna. Granica między grą kompute-
rową a sztuką opierającą się na jej zasadach powstaje poprzez stworzenie takiego
środowiska gry, które kieruje uwagę uczestnika nie tylko na przebieg gry, ale również na
różne aspekty świata gier i samego procesu interakcji i kontroli nad grą.
3. Strategia archiwum - nadrzędność danych
Wszystkie elementy dzieła interaktywnego zostają tu podporządkowane zgromadzonym
danym, zaprezentowanym do eksploracji użytkownikowi. Takie audiowizualne dane
zorganizowane są w postaci baz danych, jednego z wyznaczników nowych mediów.
Bazy danych, wraz z odpowiednim oprogramowaniem, organizują zawarte w nich dane,
relacje między nimi i umożliwiają szeroki do nich dostęp. Dzieła wykorzystujące strategie
archiwum stwarzają dla odbiorców określone możliwości przeglądania i łączenia danych
w tymczasowe struktury i ich zestawienia, zgodne z zamierzeniami twórcy.
4. Strategia labiryntu - nadrzędność organizacji danych (hipertekst)
Sposób organizacji danych w uporządkowane struktury hipertekstowe jest głównym
wyznacznikiem dzieł realizujących strategię labiryntu, jak interaktywnych narracji
i nawigowalnych środowisk. Hipertekst jest strukturą danych zawierającą odniesienia
między jej elementami. Wszystkie odniesienia są zdefiniowane, ale sposób nawigacji
pomiędzy nimi nie jest wstępnie określony i zależy od zachowania odbiorcy.
Doświadczanie danego dzieła nie jest poprzedzone wyjaśnieniem jego struktury i opiera
się na konieczności podejmowania wielu decyzji i poszukiwaniu rozwiązań.
5. Strategia kłącza - rozwój organizacji danych
W dziełach wykorzystujących strategię kłącza nadrzędnym elementem jest również
organizacja danych, przy czym zasoby danych zorganizowane są w sposób otwarty
i podczas doświadczania danego projektu następuje ewolucja organizacji danych. Tym
samym środowisko i zasady eksploracji dzieła ulegają zmianie według założeń artysty.
9
6. Strategia systemu - interaktywność wewnętrzna
Dzieło zgodne ze strategią systemu nie daje odbiorcy możliwości interakcji. Jest przykła-
dem interaktywności wewnętrznej systemu technologicznego składającego się na dane
dzieło i tworzy zakomponowane odwzorowania zachowania systemu oraz zmienności
danych wejściowych. Takie wizualizacje i sonifikacje wybranych przez artystę zjawisk,
oglądane są przez publiczność, jako wydarzenie audiowizualne.
7. Strategia sieci - relacje sieciowe
Projekty sieciowe, które proponują środowisko umożliwiające tworzenie konkretnych
relacji między użytkownikami uczestniczącymi w wydarzeniu artystycznym. Stworzenie
określonej sieci odbiorców stanowi główny cel prac realizujących strategię sieci i jest
odzwierciedleniem idei interaktywności, jako partycypacji kulturowej.
8. Strategia spektaklu - nadrzędność wydarzenia i odbiorcy
Spektakle interaktywne zmieniają podejście do odbiorcy wydarzenia artystycznego i zak-
ładają aktywne uczestniczenie publiczności w przebiegu takiego spektaklu na każdym
jego etapie. Publiczność jest nie tylko obserwatorem, ale i uczestnikiem wydarzenia.
10
____________________________________________________________ Część II Znajomość szerokiego zakresu idei estetycznych i gatunków sztuki związanych z
dźwiękiem i obrazem w przekroju historycznym, daje możliwość korzystania z tej bazy
wiedzy w procesie tworzenia własnych projektów, przy wykorzystaniu zmieniających się
możliwości technologicznych tak, aby technologie podporządkować własnym zamysłom
artystycznym. Poniżej zaprezentowane są przykładowe klasyfikacje i podstawowe
zagadnienia z różnych sfer około-dźwiękowych i około-muzycznych.
___________________________________________________________________
Klasyfikacje w sferze sztuki audiowizualnej [Sonification, Sound Art, Sound Design, Color Organs, Music Video, Performance Art,
Software Art, Synesthesia]
( W oparciu o książkę „See this Sound. Audiovisuology. Compedium.
An Interdisciplinary Survey of Audiovisual Culture”, http://www.see-this-sound.at/en)
Książka i archiwum sieciowe na temat sztuk audiowizualnych powstały w wyniku
działań związanych z projektem „See this sound” (Linz, 2009) i obejmują wiele
przekrojowych zagadnień związanych z formami sztuki łączącymi w sobie obraz
i dźwięk, z koncepcjami sztuki i rozwojem technologicznym wpływającym na sztukę.
Zagadnienia te przedstawione są w ujęciu historycznym dla poszczególnych
gatunków sztuki oraz w ujęciu przekrojowym pod kątem zjawisk audiowizualnych i ich
percepcji.
Wybrane gatunki i obszary działania w sferze audiowizualnej zaproponowane w książce:
- Film abstrakcyjny, jako forma zbliżenia sztuki wizualnej do muzyki.
- Animacja i zastosowanie dźwięku w oparciu o korelacje obrazu i dźwięku.
- Architektura a muzyka - analogie w zasadach proporcji i harmonii oraz w kierunkach
zmian historycznych obu dziedzin.
- Działania na pograniczu wielu dziedzin sztuki przez artystów wizualnych będących jedno-
cześnie muzykami.
- Kino a taniec – analogie w wykorzystaniu ruchu dla celów estetycznych i ruchu powiąza-
nego z muzyką.
- Organy kolorów, jako wizualizacja muzyki.
11
- Taniec, jako przedstawienie audiowizualne.
- Kino rozszerzone, jako eksploracja przestrzennych cech filmu i jego nowych prezentacji.
- Muzyka filmowa, jako kompozycja funkcjonalna współgrająca z estetycznymi założeniami
montażu filmowego.
- Gry komputerowe a warstwa dźwiękowa i muzyczna – poszerzenie funkcji muzyki
i dźwięku w filmie o interaktywną kontrolę tych warstw dźwiękowych przez użytkownika.
- „Gesamtkunstwerk”, utopia zespolenia wszystkich sztuk w jednym dziele, jako idea reali-
zująca się w sztuce cyfrowej, o zintegrowanym środowisku danych i rozmytych granicach
gatunków.
- Graficzna notacja i muzyczna grafika, jako połączenie notacji muzycznej i sztuki wizu-
alnej.
- Sztuka interaktywna tworząca nowe relacje między dźwiękiem a obrazem, dla nowej,
partycypacyjnej roli widza i dla nowego charakteru sztuki, jako zdarzenia a nie obiektu.
- Lingwistyczne przedstawienie dźwięku i obrazu w literaturze, jako pole do eksperymen-
tów semantycznych i strukturalnych.
- Elementy wizualne w muzyce w utworach inspirowanych obrazem i światłem.
- Malarstwo a muzyka, jako model sztuki.
- Wideo muzyczne, jako ilustracja wizualna utworu muzycznego.
- Teatr muzyczny, jako współpraca twórców z wielu dziedzin na rzecz jednego dzieła.
- Sztuka performatywna, jako artystyczna praktyka intermedialna.
- Audiowizualna sztuka komputerowa, jako wizualizacja dźwięku i sztuka generatywna.
- Sonifikacja, jako metoda naukowa i praktyka dźwiękowa.
- „Sound Art”, sztuka dźwięku, jako odchodząca od liniowości i czasowej ograniczoności
muzyki.
- „Sound design”, jako kompozycja dźwięku w filmie współtworząca przestrzeń filmową.
- Wideo, jako sztuka audiowizualna.
12
___________________________________________________________________ Różne dziedziny i idee mogą inspirować w procesie tworzenia dźwięku interaktywnego
w określonym środowisku audiowizualnym. Poniżej znajduje się propozyjca kilku pozycji
książkowych i „internetowych” wskazująca na możliwości poszukiwań inspiracji na temat
przestrzeni i sceny słuchowej, krajobrazu dźwiękowego i historii dźwięku, muzyki
wykorzystującej przestrzeń, jako element kompozycji, muzyki elektroakustycznej, muzyki
interaktywnej, dźwięku w grach komputerowych.
___________________________________________________________________
Strefa przestrzeni w muzyce (W oparciu o pracę doktorską M.A. Harley
„Space and Spatialization in Contemporary Music: History and Analysis, Ideas and
Implementation”)
W latach 50-tych i 60-tych XX wieku wzrosło zainteresowanie przestrzenią, jako
elementem kompozycji muzycznej, a nie tylko zewnętrznym aspektem wykonania
danej kompozycji. Idee filozoficzne i muzyczne z tego okresu mogą stanowić bazę do
poszukiwań dźwiękowych w przestrzeni dźwięku interaktywnego, gdzie można
pokazać mechanizmy percepcji poprzez odpowiedź dźwięku na ruch i gest odbiorcy.
- Muzyka jest sztuką przestrzenno-czasową, a nie tylko czasową.
- Dzieło muzyczne jest niekompletne bez konkretyzacji przez odbiorcę. Przy słuchaniu tego
samego nagrania fizyczna sekwencja dźwięków nie zmienia się, ale zmienia się percepcja
słuchacza (Roman Ingarden).
- Możliwość i doświadczanie ruchu są źródłem wiedzy o otaczającym świecie (Susanne
Langer).
- Ciało człowieka w przestrzeni jest podstawą bycia człowieka w świecie (Maurice Merleau-
Ponty).
- Różnice w polach percepcji dźwiękowej i wizualnej sprawiają, że mamy możliwość słysze-
nia tego, co niewidoczne: znajdujemy się w środku przestrzeni dźwiękowej, a na skraju prze-
strzeni wizualnej (Don Ihde).
- Wiedząc o możliwościach percepcji aktywnego słuchacza, który w sferze percepcji może
wybierać te warstwy muzyczne, których chce słuchać, kompozytor może wykorzystać tech-
nikę niezależnych warstw muzycznych, jako organizację planów dźwiękowych utworu.
Możliwość poruszania się przez słuchacza w rzeczywistej przestrzeni wykonania kompozycji,
wzbogaca percepcję utworu o różne perspektywy (Charles Ives, Henry Brant).
13
- Kompozycja w oparciu o obiekty dźwiękowe o określonych cechach barwowych, dynamicz-
nych i przestrzennych, powinna traktować je jak fizyczne obiekty poruszane w rzeczywistej
przestrzeni (Edgar Varese, Pierre Schaeffer).
- Dla muzyki elektroakustycznej, przestrzeń samej kompozycji nakłada się zawsze na przes-
trzeń wykonania utworu (Denis Smalley).
- Przestrzenna lokalizacja, jako jeden z parametrów dźwięku, umożliwia separację dźwięków
w przestrzeni i zmianę percepcji warstw dźwiękowych utworu poprzez niestandardowe usta-
wienie instrumentalistów w przestrzeni wykonawczej (Karlheinz Stockhausen) czy poprzez
zmiany w ustawieniu instrumentalistów w samej orkiestrze oraz zastosowanie interwałów
przestrzennych w kompozycji (Pierre Boulez).
- Role kompozytora, wykonawcy i odbiorcy-słuchacza zmieniają się, gdy muzyka staje się
procesem i happeningiem (John Cage).
- Praca z przestrzenią i uprzestrzennienie dźwięku w kompozycji jest jej bardzo ważnym
elementem, gdyż wszystkie dźwięki są z natury przestrzenne (Alvin Lucier).
- Słyszenie jest jak dotyk na odległość (Murray Schafer).
___________________________________________________________________ Sfera elektroakustyczna
(W oparciu o książkę L.Landy
“Understanding the Art of Sound Organization”,
http://www.ears.dmu.ac.uk )
Książka i strona internetowa (EARS – ElectroAcustics Resource Site) przedstawia
obszerny słownik oraz klasyfikacje różnych zjawisk, gatunków, działań związanych z
obszarem elektroakustycznej muzyki i dźwięku.
Muzyka elektroakustyczna, jako interdyscyplinarna, łączy w sobie takie dziedziny jak
kompozycję muzyczną, akustykę, psychoakustykę, teorię percepcji, fenomenologię, przetwa-
rzanie sygnałów, techniki obliczeniowe i inne. Jednocześnie wszelkie inne działania mające
swoją podstawę w dźwięku mają bardzo różnorodny i szeroki zakres. Stąd też potrzeba kate-
goryzacji sztuki związanej z dźwiękiem, jak i próby ujednolicenia terminologii.
Prace związane z projektem EARS nakierowane są na stworzenie systematyki i słownika
w zakresie zdefiniowania obszaru i dyscyplin objętych badaniami, gatunków muzyki elektroakus-
tycznej, muzykologii muzyki elektroakustycznej, praktyki wykonawczej i prezentacji muzyki elek-
troakustycznej, struktur muzycznych, produkcji dźwiękowej i przetwarzania dźwięku.
14
___________________________________________________________________ Strefa muzyki komputerowej
(W oparciu o książki:
C. Roads, “The Computer Music Tutorial”,
R. Rowe, “Interactive Music Systems. Machine Listening and Composing”)
Projekty powiązane z dźwiękiem interaktywnym i muzyka komputerowa często mogą
całkiem pokrywać się albo różnić się sygnałem wejściowym, rodzajem analiz i
odpowiedzi systemu interaktywnego, ale schemat działania, narzędzia, obliczenia
mogą być wykorzystane te same.
Pojęcie muzyki komputerowej obejmuje różne dziedziny działalności muzycznej
wykorzystującej komputer do procesu tworzenia kompozycji muzycznej, zarówno na pozio-
mie samego przygotowywania materiału dźwiękowego jak i na poziomie generowania par-
tytury oraz wykonania utworu. Komputer może być wykorzystywany na etapie przygotowania
utworu lub w czasie rzeczywistym podczas jego wykonania.
Dziedzina muzyki komputerowej rozwija się w oparciu o szeroki zakres wiedzy z róż-
nych dyscyplin: kompozycji, akustyki, psychoakustyki, fizyki, przetwarzania sygnałów, wyko-
nawstwa, informatyki, elektroniki, stąd też potrzebne jest powiązanie zagadnień technologi-
czno-informatycznych z ich zastosowaniami muzycznymi.
Podstawowe zagadnienia związane z muzyką komputerową obejmują: metody syn-
tezy dźwięku, miksowanie i przetwarzanie sygnału dźwiękowego, metody analizy sygnału
dźwiękowego – wysokości dźwięku, rytmu i widma dźwięku, rodzaje interfejsów i rozpozna-
wanie gestów wykonawcy, języki programowania, algorytmy generacyjne, protokół MIDI,
połączenia sieciowe, percepcja dźwięku, podstawy matematyczne dla muzyki komputerowej.
Jednym z rodzajów muzyki komputerowej jest muzyka interaktywna, w której oprogra-
mowanie interpretuje wykonanie utworu i w odpowiedzi wykazuje zmienne zachowanie w
zależności od sygnału wejściowego i zaprogramowanych reguł działania, w postaci zmiany
generacji przebiegu muzycznego lub zmiany parametrów przetwarzania dźwięku.
System muzyki interaktywnej składa się z dwóch podstawowych modułów działają-
cych w czasie rzeczywistym:
- moduł „słuchacza” – program analizujący przebieg sygnału wejściowego, aby wyodrębnić
predefiniowane struktury muzyczne, atrybuty dźwięku oraz zachowania się dźwięku w czasie
i przesłać tę informację w określonym formacie do modułu „grającego”,
15
- moduł „grający” – program realizujący przygotowane algorytmy kompozycyjne i procedury
przetwarzania dźwięku w odpowiedzi na przesłane dane z analizy z modułu „słuchacza”.
Połączenie między dwoma modułami może być konfigurowalne: poszczególne odpo-
wiedzi drugiego modułu mogą być przypisane odpowiednim zakresom danych z analizy pier-
wszego modułu. Konfiguracja ta może być zmienna w czasie w sposób ciągły lub może być
zmieniana dla poszczególnych części utworu.
___________________________________________________________________ Strefa przestrzeni słuchowej [Aural Architecture, Sonic Architecture, Auditory Culture]
(W oparciu o książkę B.Blesser i L.Salter
“Spaces Speak, Are You Listening? Experiencing Aural Architecture”)
Obserwacje i pojęcia dotyczące przestrzeni architektonicznej i sceny słuchowej
można wykorzystać do zastanowienia się nad zachowaniem się dźwięku i obrazu w
interaktywnej przestrzeni audiowizualnej i pokazania powiązania tej przestrzeni z
obecnością widza.
W książce analizowana jest przestrzeń słuchowa w kontekście przestrzeni widzialnej,
ich podobieństwa i różnice i konsekwencje z tego wynikające.
Każda przestrzeń może być odbierana nie tylko wzrokowo, ale i słuchowo. Można jej
doświadczyć poprzez uważne słuchanie, a unikalne właściwości akustyczne różnych przes-
trzeni naturalnych i architektonicznych mają silny wpływ na ich percepcję i znaczenie,
w określonym kontekście społecznym.
Najczęściej w projektowaniu przestrzeni architektonicznej największą wagę ma strona
wizualna i czysto akustyczna, architektura słuchowa jest pomijana, choć wszyscy w prze-
strzeni słuchowej funkcjonujemy. To, że możemy nauczyć się „słyszeć” układ przestrzenny
i obiekty w przestrzeni, nie jest w pełni uznawane przez ludzi widzących. A taka umiejętność
pozwala docenić działania zmierzające do zmiany lokalnej akustyki, poprzez zmiany mate-
riałów i obiektów w przestrzeni czy też „rzeźby słuchowe”. Przy czym świadomość przes-
trzeni słuchowej zawiera się również w rozpoznawaniu kontekstu społecznego i jej wpływu
na zachowanie ludzi w danej przestrzeni.
Można wyróżnić cztery aspekty słuchowej architektury: socjalny, nawigowalny, este-
tyczny, przestrzenny w sensie muzycznym.
16
Wybrane poniżej pojęcia i zjawiska powiązane z architekturą słuchową ułatwiają zde-
finiowanie znaczenia i obszaru jej wpływu oraz umożliwiają porównania ze sferą widzialną.
- Aktywność ludzka wytwarzająca dźwięk, a nie światło.
- Iluminacja dźwiękiem, jako artefakt działań społecznych.
- Scena dźwiękowa i dynamiczny krajobraz dźwiękowy (przy zwykle statycznej architekturze
widzialnej),
- Przekształcanie doświadczania zdarzeń dźwiękowych, poprzez architekturę słuchową.
- Zanurzenie słuchacza w przestrzeni odpowiedzi dźwiękowych.
- Znaczenie pamięci słuchowej w słyszeniu przestrzeni: waga czasu w percepcji dźwięku
związana z prędkością rozchodzenia się dźwięku, nakładanie się istniejącego dźwięku na
dźwięk „z przeszłości”,
- Możliwość usłyszenia atrybutów przestrzeni (objętość), których nie można zobaczyć.
___________________________________________________________________
Strefa krajobrazu dźwiękowego [Soundscape, Soundwalks, Sound Map, Acoustic Ecology, Listening Day]
(W oparciu o książki R.Murraya Schafera
„The Soundscape: Our Sonic Environment and the Tuning of the World”
oraz “100 Exercises in Listening and Sound-Making”)
Klasyfikacje otaczających nas dźwięków, historia dźwięków i zmiany krajobrazu
dźwiękowego dają podstawę do świadomego tworzenia własnych przestrzeni
dźwiękowych w projektach interaktywnych.
Książka Murraya Schafera „The soundscape” stanowi obszerne omówienie
zagadnień związanych z krajobrazem dźwiękowym, jego elementami i zmianami
historycznymi wynikającymi z działalności człowieka. Proponuje edukację w
dziedzinie świadomego słuchania oraz rozwijanie dziedziny projektowania
akustycznego mieszczącego się pomiędzy nauką, socjologią i sztuką. Podkreśla rolę
muzyki w kształtowaniu krajobrazu dźwiękowego i jego wpływu na zachowanie się
człowieka.
Krajobraz dźwiękowy zmienia się w kolejnych epokach poprzez powstawanie zupeł-
nie nowych dźwięków, zmianie ich jakości i intensywności. Obecnie dźwięk zaczyna mieć
coraz większe znaczenie w każdej dziedzinie życia zawodowego i prywatnego. Stąd też
potrzeba analizy i badania tego zagadnienia, badania zależności między ludźmi a dźwiękami
17
związanymi z ich środowiskiem, potrzeba badania „zanieczyszczenia” środowiska dźwię-
kowego, takimi dźwiękami, które są ignorowane i odrzucane oraz potrzeba wpływania
w sposób pozytywny na krajobraz dźwiękowy.
Analizowanie krajobrazu dźwiękowego obejmuje wiele zagadnień związanych
z dźwiękiem oraz z porównywaniem dźwięku ze sferą widzenia:
- Opisywanie krajobrazu dźwiękowego i trudności związane z opisem dźwięku poprzez „mil-
czące” pismo i rysunki.
- Porównanie krajobrazów dźwiękowych w różnych epokach i trudności związane z brakiem
możliwości posłuchania rzeczywistego dźwięku (brak „muzeów dźwiękowych”, analiza w
oparciu o przekazy w literaturze, w sztuce).
- Określenie głównych cech krajobrazu dźwiękowego (dźwięki bazowe, sygnały, dźwięki uni-
kalne).
- Określenie rodzajów krajobrazów dźwiękowych (wiejski, miejski, sakralny, świecki…).
- Analiza dźwięków uważanych za hałas w różnych epokach historycznych (regulacje
prawne).
- Analiza wpływu rewolucji technologicznych na krajobraz dźwiękowy.
- Analiza zmian charakteru dźwięków związanych z urządzeniami technicznymi.
- Analiza zmian percepcji dźwięków.
- Tworzenie klasyfikacji dźwięków według ich właściwości fizycznych, psychoakustycznych,
semantycznych i estetycznych.
- Obserwacje krajobrazu dźwiękowego i tworzenie map dźwiękowych i map hałasu.
- Poznawanie krajobrazu dźwiękowego poprzez spacery dźwiękowe.
- Tworzenie programów nauczania dotyczących świadomości słyszenia, poznawania otacza-
jących dźwięków, solfeżu przestrzennego.
18
___________________________________________________________________ Strefa urbanistyki i architektury
(W oparciu o książkę Kazimierza Wejcherta
“ Elementy kompozycji urbanistycznej”)
Tworząc nawigowalne przestrzenie interaktywne można sięgnąć do różnych
przydatnych zasad istniejących już dziedzinach zajmujących się projektowaniem
rzeczywistej przestrzeni dla jej mieszkańców - obserwatorów.
Wybrane zagadnienia związane z projektowaniem urbanistycznym:
- Kompozycja urbanistyczna i architektoniczna powinna brać pod uwagę oddziaływanie form
przestrzennych na doznania poruszającego się w niej człowieka - obserwatora.
- Przestrzeń świadomie zorganizowana w celu oddziaływania na patrzącego obserwatora
może wpływać na niego emocjonalnie oraz może uczyć patrzenia i dostrzegania elementów
otaczającego środowiska.
- Na kompozycję przestrzeni składają się zróżnicowane rejony, pasma graniczne, dominanty,
punkty węzłowe i znaki szczególne.
- Dla rozległych kompozycji przestrzennych wzrasta rola czasu, jako ważnego czynnika,
który musi być uwzględniony w rozwiązaniach kompozycyjnych.
- Ciągi czasoprzestrzenne muszą być dostosowane do możliwości percepcyjnych człowieka
przy danej prędkości przemieszczania się.
- Subiektywny odbiór zaprojektowanej przestrzeni jest silnie uzależniony zarówno od zmien-
nych warunków zewnętrznych jak i od obserwatora – jego wiedzy, doświadczeń i nastroju
w danej chwili. Siła przeżywania przestrzeni jest bardzo zróżnicowana: od pozornego niedo-
strzegania dobrze znanej przestrzeni, po duże zainteresowanie nowymi czy zmiennymi kom-
pozycjami przestrzennymi.
- Postrzeganie przestrzeni uzależnione jest też od kontekstu społecznego – oglądania indy-
widualnego, we dwoje czy w dużej grupie. Pierwsza z tych sytuacji, odbiór indywidualny,
stwarza warunki do powstawania najbardziej niezależnych ocen przestrzeni, bez wpływu
grupy czy drugiej osoby. Odpowiednie zaprojektowanie przestrzeni może stwarzać warunki
właśnie takich indywidualnych doznań.
19
___________________________________________________________________ Strefa dźwięku gier komputerowych
(W oparciu o www.iasig.org, WWise – www.audiokinetic.com, UDK – www.udk.com)
Struktura gry komputerowej wymaga zastosowania dźwięku interaktywnego. Taki
sam mechanizm działania i zasady projektowania obiektów dźwiękowych z ich
atrybutami i zachowaniami, może być również wykorzystany w projektach
artystycznych.
Dźwięk w grach komputerowych może pełnić rolę semiotyczną, emocjonalną, strukturalną,
narracyjną, immersywną, kinetyczną i estetyczną. Obecnie dźwięk ten nie odbiega od stan-
dardów dźwięku wysokiej jakości, często jest to dźwięk przestrzenny. Gry komputerowe, ze
swej natury interaktywne, wymagają tworzenia dźwięku nieliniowego i interaktywnego, szy-
bko reagującego na zachowania użytkownika we wszystkich warstwach dźwiękowych gry,
nie tylko w warstwie efektów synchronicznych, ale również dla efektów asynchronicznych
i atmosfer oraz muzyki. Ze względu na istniejące ograniczenia każdej z platform sprzęto-
wych, projektowanie dźwięku musi uwzględniać ograniczenia pamięci, ograniczenia czasowe
przy utrzymaniu możliwie najlepszej jakości dźwięku.
Środowiska do pracy nad dźwiękiem do gier komputerowych umożliwiają oddzielenie części
dotyczącej dźwięku od całego projektu tak, aby osoba odpowiedzialna za dźwięk mogła pra-
cować w dużym stopniu samodzielnie, równolegle do programowania gry, z możliwością tes-
towania z grafiką i możliwością pełnej integracji z całym środowiskiem gry.
W pracy nad dźwiękiem w jednym projekcie dostępne są wszystkie dane dotyczące ruchu
i dźwięku dla danej gry, co umożliwia pracę nad:
- zarządzaniem obiektami dźwięków, dialogu, muzyki i ruchu oraz budowanie hierarchicz-
nych struktur między tymi obiektami,
- zarządzaniem bibliotekami dźwięków,
- definiowaniem parametrów obiektów (głośność, wysokość, lokalizacja…) i zasad odtwa-
rzania przypisanym im dźwięków (przypadkowa, sekwencyjna…),
- tworzeniem zdarzeń związanych z akcją i dialogiem, które wyzwalają dźwięk i ruch w grze,
- definiowaniem zależności między obiektami dźwiękowymi a zdefiniowanymi parametrami
gry zmieniającymi się w czasie rzeczywistym,
- tworzeniem wersji prototypowych i symulacji dla różnych platform sprzętowych i wersji języ-
kowych.
20
____________________________________________________________ Część III Typy projektów interaktywnych. Przykłady audiowizualne.
___________________________________________________________________ Strategia instrumentu 1. TheFunTheory.com – Piano Staircase
Schody w przejściu podziemnym zamienione w klawiaturę fortepianową, wpływające na
zachowanie ludzi.
2. Toshio Iwai – Resonance of 4
(Barbican Arts Centre, Londyn 1997)
Cztery myszy pozwalające na wpisywanie punktów na czterech siatkach graficznych,
stanowiących zapis dźwięków muzycznych, odtwarzanych synchronicznie.
3. Gregory Lasserre, Anais met den Ancxt – Akusmaflore
(WRO 09 13. Biennale Sztuki Mediów, Wrocław 2009)
Rośliny reagujące na oddziaływanie człowieka poprzez własny strumień dźwięku.
4. Paweł Janicki – Mapping Chopin
(Warszawska Jesień, 2010)
Zapis pianolowy wyświetlany na podłodze, uruchamiany przez ruch słuchaczy.
5. Marek Chołoniewski, Krzysztof Knittel – qub
(Warszawska Jesień, 2010)
Harfa ISA, rama z „niewidzialnymi” strunami, jako interfejs dla różnorodnych kompozycji
dźwiękowych.
6. Krzysztof Czaja, Andrzej Kopeć – Chopout
(Warszawska Jesień, 2010)
Improwizacja pianisty na instrumencie disklavier stanowiąca materiał do odpowiedzi
muzycznej komponowanej przez komputer.
Zadania: 1. Przygotowanie algorytmicznego materiału dźwiękowego dla harfy ISA.
2. Przygotowanie dwóch graficznych tablic do wpisywania krótkich przebiegów
melodycznych odtwarzanych synchronicznie.
3. Etiuda na jeden tłumik – synteza algorytmiczna dźwięku z jednym zmiennym
parametrem.
21
___________________________________________________________________ Strategia archiwum 1. Perry Hoberman – Bar Code Hotel
(Walter Phillips Gallery, Banff, Kanada 1994)
Czytnik kodów paskowych jako interfejs pozwalający na dostęp do „archiwum”
zgromadzonych obiektów i ich zachowań, wraz z odpowiadającymi im dźwiękami
synchronicznymi.
2. Exploratorium, The Museum of Science, Art And Human Perception, San Francisco
Listening Memory Game - projekty popularyzujące wiedzę o słuchaniu i uczące słuchać.
3. Akustikon, Linz (2009)
a. The Polyphon (I) Harmonia mundi
b. The Polyphon (II) Forbidden Sounds
Polyphon - struktura z wieloma małymi szufladami, których otwarcie pozwala na
usłyszenie schowanego dźwięku.
4. Christian Moeller – On Air
(Castle Eggenberg, Graz, 2003)
Dźwiękowa instalacja interaktywna, w której dotknięcie fizycznych obiektów umożliwia
usłyszenie audycji w różnych językach nadawanych poprzez satelitę.
Zadania:
1. Projekt wirtualnego muzeum dźwięków różnych (dział historyczny, dział dźwięków ukry-
tych dla wzroku, dział dźwięków ruchomych, dział kroków etc.).
2. Baza transpozycji melodii wywoływanych przez wybór dźwięku początkowego, spośród
pochodu chromatycznego. Ilustracja zjawiska synestezji poprzez przypisanie różnych
kolorów dla wszystkich dźwięków chromatycznych.
3. Mapa utworu muzycznego, jako zestawu zapętlonych kolejnych fraz muzycznych, dostę-
pnych równocześnie w postaci graficznych elementów.
(na podstawie instalacji wizualnej: Norbert Pfaffenbichler - Mosaik Mécanique – WRO
2009)
22
___________________________________________________________________ Interaktywność wewnętrzna 1. Sonifikacja wyników sportowych na Olimpiadzie 2010
(strona internetowa The New York Times)
Dane wejściowe: baza wyników dla różnych dyscyplin sportów zimowych.
2. Chris Chafe, Greg Niemeyer – Ping
(SFMOMA 010101: Art in Technological Art, San Francisco 2001)
Dane wejściowe: internetowe komunikaty ping z różnych lokalizacji – sonifikacja zjawiska
transmisji danych.
3. Paweł Janicki – NetEater: DataTower – instalacja/rzeźba generatywna
(Upgrade 2.0, ASP Warszawa 2009)
Dane wejściowe: skanowana sieć komputerowa ASP – wizualizacja i sonifikacja ruchu
danych w sieci lokalnej.
Zadania:
1. Sonifikacja rozkładów dnia poszczególnych studentów wydziału I lub VI UMFC, poprzez
mapowanie w czasie różnych typów zajęć na wybrane parametry dźwięku.
2. Analiza dźwięku pomieszczeń uczelni i synteza dźwięku kontrolowanego przez
parametry analizowanego dźwięku.
3. Wizualizacja melodii: wysokości dźwięku, interwałów, rytmu, tempa.
23
____________________________________________________________ Dodatek Media interaktywne na rynku pracy ( W oparciu o http://www.skillset.org oraz http://www.interactiveselection.com)
Media interaktywne obejmują każdy przekaz, który pozwala użytkownikowi być akty-
wnym uczestnikiem modyfikującym zawartość i kształt tego przekazu. Jest to pojęcie bardzo
szerokie, bardzo różnie rozumiane przez poszczególne osoby, a obejmujące różnego
rodzaju „produkty”: strony sieciowe, interaktywne banery reklamowe, multimedialne płyty CD
i DVD, interaktywne elementy płyt wideo DVD czy Blu-ray, interaktywne programy telewi-
zyjne, interaktywne projekty dla urządzeń przenośnych, gry komputerowe - i również sztukę
interaktywną. Media interaktywne wykorzystywane są w szeroko rozumianej komunikacji,
e-learningu, rozrywce, turystyce i sztuce.
Pojęcie mediów interaktywnych funkcjonuje na rynku pracy, jako oddzielna dyscy-
plina, która wykorzystywana jest w coraz większej części rynku medialnego. Stanowiska
związane z interaktywnymi mediami obejmują projektantów, specjalizujących się w tworzeniu
projektu produktu zgodnego z założeniami wyglądu i sposobu odbioru, deweloperów/progra-
mistów, tworzących dany produkt według projektu oraz producentów i menedżerów projektu
zarządzających produkcją. Projektowanie i tworzenie produktów mediów interaktywnych
związane jest z jednej strony z kreatywnością i zdolnościami artystycznymi, a z drugiej strony
z posiadaniem wiedzy interdyscyplinarnej od rozumienia zasad interaktywności i percepcji
audiowizualnej człowieka, podstaw socjologii, po znajomość bieżących możliwości techno-
logicznych, konkretnych narzędzi multimedialnych i środowisk programowania.
Edukacja dla potrzeb mediów interaktywnych nie może być edukacją zawężoną do
jednej specjalizacji, a wymaga szerokiego spojrzenia na tę dziedzinę i umiejętności ciągłego
samokształcenia się.
24
_________________________________________________________ Bibliografia
Manovich, Lev, Język nowych mediów, Wydawnictwa Akademickie i Profesjonalne
Warszawa 2006,
Levinson, Paul, Nowe nowe media, Wydawnictwo Wam Kraków 2010,
Chmielecki, Konrad, Estetyka intermedialności, Wydawnictwo RABID Kraków 2008,
Kluszczyński, Ryszard W., Sztuka interaktywna. Od dzieła-instrumentu do
interaktywnego spektaklu, WAiP Warszawa 2010,
Daniels, Dieter; Naumann, Sandra; Thoben, Jan (red.) See this Sound.
Audiovisuology. Compendium. An Interdisciplinary Survey of Audiovisual Culture,
Verlag der Buchhandlung Walter Konig 2009
Harley, M.A. Space and Spatialization in Contemporary Music: History and Analysis,
Ideas and Implementation. Montreal: McGill University 1994,
Landy, Leigh, Understanding the Art of Sound Organization, The MIT Press 2007,
Rowe, Robert, Interactive Music Systems – Machine Listening and Composing, The
MIT Press 1994,
Roads, Curtis, The Computer Music Tutorial, The MIT Press 1996,
Blesser, Barry; Salter Linda-Ruth, Spaces Speak, Are You Listening? Experiencing
Aural Architecture, The MIT Press 2007,
Schafer, Murray, The Soundscape. Our Sonic Environment and the Tuning of the
World, Destiny Books 1977, 1994,
Schafer, Murray, Poznaj dźwięk. 100 ćwiczeń w słuchaniu i tworzeniu dźwięków,
Brevis 1995,
Wejchert, Kazimierz, Elementy kompozycji urbanistycznej, Arkady 1974
Recommended