MASARYKOVA UNIVERZITA

Filozofická fakulta

Ústav hudební vědy

Teorie interaktivních médií

Interaktivní médium par excellence -- multi-dotekový panel Konstrukce a teoretické pozadí

ročníková práce Terezy Čechové (335908) a Davida Šmehlíka (342299)

2010

0. Obsah

2. Technická část

2.1 Princip fungování a demonstrace v praxi2.1.1 Praxe s komentářem

2.2 Základní historické milníky a současná situace3. Umělecká část

3.1 Minulost3.2 Současnost a některé další technologie3.3 Budoucnost

4. Závěr5. Resumé6. Summary7. Reference8. Použitá literatura

1. ÚvodJádrem celého snažení je realizace praktického projektu, a sice stavby multi-dotekového panelu. Naše ročníková práce je tedy koncipována jako dokumentace konstrukce, podpořena vyložením principu fungování a širšími souvislostmi týkajícími se multi-dotykových technologií, jak z technického tak z uměleckého pohledu.Na úvod cítím potřebu uvést fenomén, kterým se zabýváme, do kontextu, aby měl člověk vodítko, kam si multi-dotek vlastně zařadit. Typografické schéma:

HCI (Human Computer Interaction) ＞ NUI (Natural User Interface) ＞ TUI (Touch/Tangible User Interface) ＞ Multi-touch ＞ Infrared Multi-touch ＞ FTIR Multi-touch (Frustrated Total Internal

Reflection) Způsobů jak dosáhnout přirozenější interakce s počítačem existuje celá řada (hlas, gesta, pohyb oka), stejně taková se ale vyskytuje i v možnostech, jak zprostředkovat samo multi-dotekové ovládání. Přestože v rámci DIY (do it yourself) komunity se etablovalo opět vícero schůdných řešení, volba padla na panel využívající optického jevu totální odrazu, který při zvažování působil nejvýhodněji zejména z důvodů spolehlivosti (relativně vysoký kontrast blobů), dostupnosti komponentů, ekonomické (ne)náročnosti.

2. Technická část

2.1 Princip fungování a demonstrace v praxi

Diagram FTIR setupu:

<wiki.nuigroup.com/images/f/f7/Ftir.jpg> Podotýkám, že je velmi jednoduché nechat se zmást a považovat druhou polovinu názvu dotyčného konceptu (IR) za zkratku infrared, jelikož na bázi odrazu infračerveného světla celý systém funguje. Zjednodušená interpretace FTIR (Frustrated Total Internal Reflection) principu:

Na rozhraní mezi vzduchem (index lomu přibližně 1 [5]) a plexisklem (cca 1,4) dochází k lomu světla (vycházejícího z diod) podle Snellova zákona [6]. Trik je v tom, že díky již zmíněnému optickému fenoménu totálního odrazu (total internal reflection [7]) jsou infračervené paprsky v plexiskle či akrylátu uvězněné, protože v případě, že světlo v materiálu s vyšším indexem lomu dopadne na rozhraní s prostředím s nižším indexem lomu pod určitým úhlem, nedojde k lomu tohoto světla, nýbrž k odrazu. Dotykem uživatel naruší (frustruje) zmíněný úhel, čili přestane docházet k totálnímu odrazu a světlo se tak dostane mimo plexisklo směrem k infračervené kameře. Tohoto jevu využil Jeff Han a jeho tým z výzkumného media labu newyorské univerzity, a to už v roce 2005, při experimentech s multi-dotekovými technologiemi [2]. Stal se tak otcem FTIR koncepce. Výsledkem bylo mj. publikování studie (viz prameny), založení společnosti Perceptive Pixel, která se pochopitelně specializuje na multi-dotykové instalace atp. a prezentace na prestižní konferenci TED.

2.1.1 Praxe s komentářem

Základní komponenty: webkamera, disketa, plexisklo/akrylát, ir led strip/ribbon (proužek s infračervenými diodami) s napájením, rám, video projektor, projekční vrstva schopná zadní projekce (urč. druhy plátna, příp. Rosco Grey, záclona, v našem případě papír na pečení), kterou jsme oproti schématu umístili pod plexi, silikonová vrstva v obrázku výše se obecně označuje jako "compliant surface" -- tuto vrstvu jsme ale prozatím vynechali z důvodu silných blobů i s její absencí (přestože jsme měli připravenou Sulky Solvy fólii), nakonec počítač s potřebným softwarem. A. Modifikace webkamery na (ze značné části) infračervenou Zaprvé je třeba obstarat si vhodnou kameru. Zásadními parametry jsou v první řadě obnovovací frekvence a v druhé rozlišení. V našem případě jsme sáhnuli po PS3 Eye, která je komunitou obecně doporučována zejména vzhledem k poměru cena/výkon. Při vcelku průměrném rozlišení 640x480 máme k dispozici (se správným driverem) až 60 fps (obrázků za sekundu), což se později ukáže jako veledůležité pro plynulost trackování doteku. Zaregistroval jsem ale i oblíbenost kamery dodávané k Xboxu 360, což by mohlo implikovat další důvod popularity těchto kamer, a sice tak trochu pohodlnost prvních multi-touch kutilů, jelikož videoherní konzoli vlastní v USA (oproti Česku mj.) opravdu kdekdo.Jednoduše, kameru je nutno celou (šroubek po šroubku) rozebrat a nahradit mezi čočkou a obrazovým snímačem nacházející se sklíčko-filtr blokující infračervené světlo filtrem (alespoň částečně) blokujícím naopak světlo viditelné, kterým je adekvátně vytvarovaný plátek z diskety. Alternativou je několik vrstev neexponovaného filmu nebo přímo infrared bandpass filter. A složit. S přesnými instrukcemi a názorným videotutoriálem pomůže video na Youtube ([17] plus druhý díl).

to drobné sklíčko je filtr blokující ič světlo, nahrazeno kouskem diskety

B. Montáž panelu B1. Plexisklo/akrylátProč píši lomeno. Obě jména označují polymetylmetakrylát, zkráceně PMMA. V multi-touch kolébce se používá spíše acrylic (glass), u nás naopak. Připomínám, že příčinou použití právě tohoto materiálu je příhodná hodnota indexu lomu.Deska musí bezpodmínečně splňovat následující podmínky, síla min. 6 mm (viz [1] str. 10), čirost materiálu a leštěné kraje-hrany (pokud se k vám dostane nezaleštěné, je třeba použít postupně jemný a jemnější smirkový papír) z důvodu bezproblémového vniku ič světla. Vlastnosti jako délka a šířka jsou pochopitelně volitelné, FTIR má výhodu právě ve své škálovatelnosti (při větších rozměrech je ale třeba masivnější sklo kvůli zamezení prohýbání). Pro maximální využití plochy je však vhodné dodržet poměr, jenž je vlastní plánovanému rozlišení, kde je člověk omezen technickými vlastnostmi projektoru a displeje-monitoru. Čili prakticky, mezi cca nejpoužívanější spadá 1024x768 (4:3), notebookové 1280x800 (16:10) a 1280x1024 (5:4). Volba ale podléhá i délce led stripu (viz níže). Protože je naším záměrem být vcelku mobilní, používáme laptop, tudíž výsledným rozměrem je 25,5 na 41 cm, což bez 2 mm na delší straně odpovídá širokoúhlému poměru 16:10. Sice nijak úžasná, ale dostačující testovací rovina pro práci oběma rukama.

pozn.: led strip je tam přilepen jen na test B2. Projekční vrstvaNám spadnula takřka do klína. Při dřívějším experimentování se zadní projekcí jsem prostě a jednoduše používal pár spojených listů obyčejného papíru do tiskárny. Jelikož potřebujeme zakrýt rozsáhlejší plochu než je v možnostech A4, a spáry nepřicházejí v úvahu, sáhnuli jsme po prvním příbuzném materiálu vyhovujících rozměrů při zachování průsvitnosti, a sice papíru na pečení. Aplikace na plexidesku probíhala primitivním způsobem, použili jsme oboustrannou lepící pásku, s tím, že její proužek musel být bezpodmínečně maximálně tak široký, aby se stačil skrýt pod rámem. Prozaickým důvodem, proč jsme situovali projekční vrstvu pod, je fakt, že jsme dosahovali lepších výsledků při trackování doteku. Upozorňuji, že v žádném případě nemusí jít o finální řešení, pečicí papír bezesporu není ideální, jedná se o "poloprozatímní" testovací východisko, záměrně užijeme demontovatelný rám pro dodatečné modifikace či experimenty. Původním návrhem byl osvědčený "rear projection surface" -- 79korunová záclona z IKEI.Co se týče funkce této vrstvy, sekundárním a požadovaným efektem je rozptyl světla způsobující blahodárný vyšší kontrast blobů.

B3. Multi-rámJak jsem již zmínil, zvolili jsme rozebratelný rám, konkrétně prostý, černý, plochý, technický, jenž jsme si nechali uříznout na míru. Přestože určitou měrou zredukuje použitelnou plochu panelu, zvlášť v našem skromném případě, je nutný jako pevná opora mj. pro budoucí instalaci do stolu, stojanu či obdoby. Dočasně slouží kraje jako opěra pro postranní podložky (např. židle).Na kraji jedné ze stran rámu jsme vyvrtali otvor pro napájecí kabel k diodám, jehož druhý konec má kolegyně připájela k led pásku.

pozn.: fotografie pořízena chronologicky později

Ačkoliv byla prvotním úmyslem výroba vlastního obvodu ič ledek, naskytla se možnost markantně zjednodušit tento proces objednávkou přímo hotového proužku. Délka se měří na stopy, na toto experimentování jsem pořídil dvě, protože stačí, aby světlo vyzařovalo jen ze dvou stran. Od toho se pak odvíjely rozměry akrylátu. Sešroubovali jsme ze dvou dílů "elko" a opatrně a na milimetr přesně vlepili strip.

Po připojení třetí strany jsme vsunuli připravenou desku a čtvrtou uzavřeli okruh. Poslední úkolem bylo vložení per zajišťujících stabilitu plexiskla v rámu, nevzali jsme však předem v úvahu, jak choulostivý na potrhání pečicí papír je. C. Kompletace setupu a testČili, panel, projektor, kamera i notebook pohromadě. Je ale potřeba vhodně si nakonfigurovat vzdálenost mezi infračervenou webkamerou s promítačkou a podloženým panelem nejlépe tak, aby promítaný obraz zachoval ostrost, kopíroval tvar a rozlohu (pokud nedopadá pod pravým úhlem, dochází k deformaci) dostupné plochy akrylátu. Kameru tak, aby snímala celý panel, nicméně co nejblíže za účelem maximální efektivity při detekci dění, a zároveň aby nestínila video projekci.

provizorium

Prostřednictvím otevřeného trackovacího softwaru CCV ([13] Community Core Vision, dříve tbeta, alternativou je Touchlib [14]) získáme ze šmouh doteky. Bez chvíle (spíše jejich hromady) věnované nastavení programu se ale člověk daleko nedostane. Na webových stránkách projektu v sekci "Tutorials" se nachází linky odkazující na zdroje, které je doporučeno si prostudovat. Jakmile prozkoumáte účinky jednotlivých předvoleb, dosáhnete kvalitních kontrastních blobů a budete s momentálním výsledkem relativně spokojeni, ...

... pusťte se do kalibrace, jejíž korektní průběh je předpokladem pro správné fungování ukázkových (demo) a dalších aplikací. Jednou z nich by mohl být kupř. sympatický Fire.swf, který je součástí exemplárního balíku, jenž je k nalezení v rubrice "Downloads". Vězte ale, že je nezbytné opatřit si i stand-alone Flash player a v CCV odkliknout komunikaci s ním.

2.2 Základní historické milníky a současná situace

Chtěl bych zde využít prostoru a zdůraznit onen zásadní rozdíl mezi one-touch (též single-touch) a multi-touch, jako analogie by mohla posloužit paradigmatická propast mezi mono a stereo zvukem, nebo představa, že kyklopovi vyroste druhé oko. Nehledě na možnost simultánního zapojení se více uživatelů, tzv. multi-user multi-touch. Druhou poznámkou bych rád objasnil, že dotykové obrazovky, se kterými se dnes setkáváme, jsou produkty esenciálně odlišných vývojových linií (přestože se to uživateli nemusí vůbec zdát). Existují tři základní metody, jak se obvykle dosahuje senzitivity na dotek: A. Rezistivní (též tlakový) displej. (př. HTC Touch Diamond)V principu, skládá se ze dvou vrstev, mezi kterými působí vzduch jako izolant. Jakmile je horní stlačena a dojde ke kontaktu se spodní, začne procházet elektrický proud, tato událost se následně vyhodnotí jako dotyk [8].B. Kapacitní displej. (př. iPhone)"Funkce těchto displejů je založena na vodivosti lidského těla. Povrch kapacitního dotykového displeje je pokryt vodivou vrstvou. Při dotyku displeje prstem ruky vznikne mezi okraji displeje a vodivou rukou

kapacita, přes kterou se uzavírá se elektrický obvod. Kontroler pak analýzou vzniklých kapacit přesně určí polohu prstu." [18].C. Infračervený displej (v uvozovkách). (př. Microsoft Surface)Náš případ, vysvětlení viz výše. Dodávám ale, že ič technik se objevilo, kromě FTIRu, více druhů -- DI (Diffused Illumination), LLP (Laser Light Plane), DSI (Diffused Surface Illumination) [12]. Co se týče zmíněných milníků, v reálu neni (multi-)doteková technologie nic nového. Zde předkládám vybrané záchytné body (zdrojem práce Billa Buxtona, multi-touch gurua [3]):1972: PLATO IV Touch Screen Terminal (Computer‐based Education Research Laboratory, University of Illinois). První známé zařízení, schopnost zaznamenat (pouze) jeden dotyk (ale přímo na obrazovce), necitlivý na tlak.1982: Flexible Machine Interface (Nimish Mehta, University of Toronto). První systém obdařený multi-dotekem, ale jen jako vstupní zařízení.1984: Multi‐Touch Screen (Bob Boie, Bell Laboratories, New Jersey). První multi-doteková obrazovka. Funkce bylo docíleno průhledným kapacitním povlakem na CRT monitoru.1992: Simon (IBM & Bell South). První dotykový telefon, one-touch.1992: Wacom (Japonsko) Představení prvního modelu digitálním ilustrátorům a grafikům znamého tabletu (v původním slova smyslu), tlakově senzitivní.2003: Jazz Mutant (Francie). První multi-dotekový komerční produkt -- Lemur (více níže).2005: Muli‐Touch Sensing through Frustrated Total Internal Reflection -- Jeff Han (Media Research Laboratory, New York University). Jednoduchá a nízkonákladová implementace multi-dotekové interakce. Zájem médií.2007: Apple iPhone. Způsobil revoluci.

Jakým způsobem to aplikovat na hype cycle [10] graf?

<http://en.wikipedia.org/wiki/File:Gartner_Hype_Cycle.svg> Stanovisko autorů Multi-touch is Dead, Long live Multi-touch [4] je následovné: TT 1980, PoIE 2008, ToD 2012, SoE 2016, PoP 2022. Nejsem si jist, zda tomu zrovna odpovídají prodejní čísla iPhonu nebo tabletu iPad, a sice těžko představitelných 50 000 000 jednotek (původní model, 3G, 3GS) k 8. dubnu 2010 [15], resp. 1 000 000 k 3. květnu 2010 [11], a to se (skoro protismyslným) faktem, že na trhu k dispozici teprve od dubna tohoto roku. Svědčí to mj. o enormní důvěře, kterou zákazníci chovají k výrobkům Applu. Čili, rozhodně tu existuje prostor pro polemiku, těžko ale předpovídat budoucnost. Na druhou stranu ale s autory souhlasím ve věci signifikatního, prozatím nevyužitého, potenciálu, což neoddiskutovatelně souvisí s WIMP [9] návyky veškerého uživatelstva. Apple vyasfaltoval cestu celé řadě dalších, rozvoj a prodeje dotykových telefonů obecně jsou jednoznačně na vzestupu. Za vážného konkurenta v této i ostatních kategoriích je považován dotyku přizpůsobený mobilní operační systém Android velespolečnosti Google, jenž je díky své otevřenosti a univerzálnosti nasazován nejen do smartphonů (či superphonů, jak Google tituluje svůj Nexus One), ale i tabletů, netbooků, e-readeru (Nook), ve velmi blízkém budoucnu televize (Smart TV podniků Sony, Google a Intelu), nebo mikrovlnné trouby [19]. Samostatnou třídou jsou pak (zmíněné) elektronické čtečky a jejich nejistá budoucnost z důvodu omezenosti tohoto přístroje oproti nastupujícím tabletům. (Nejvýznačnější zástupce Amazon Kindle napojený na ekosystém jejich pověstného elektronického obchodu.) Konkrétně, v porovnání s iPadem (s funčností solidního netbooku bez klávesnice ale s kvalitním a multi-dotykovým displejem) se zjednodušeně jedná pouze o jakousi databanku černobílých knih ve formátu pdf. Příčinou jejich stálé přítomnosti jsou benefity plynoucí z e-paper obrazovky -- dlouhodobá výdrž a čitelnost na slunci. Ani tyto unikáty si ale nemusí dlouho udržet. Ve třetím kvartále tohoto roku se má na trhu objevit tablet Adam od indického start-upu (mohlo by budit nedůvěru, avšak předsudky stranou, testovací prototypy vzbudily na letošním lasvegaském CES

vlnu zájmu) Notion Ink s Pixel Qi displejem (mimo běžného TFT LCD i nízkoenergetický černobílý "e-reader-like" mód), který by se mohl stát potenciálním Amazon Kindle i iPad "killerem". V případě, že splní proklamace uvedené na homepage: "Over 140 hours audio and over 16 hours of HD video playback" [20]. Microsoft na tomto poli není příliš úrodný. Aktuálně zrušil svůj projekt Courier a společnost HP odstoupila od plánu vybavovat svůj chystaný tablet HP Slate (Hurricane) Windows 7, místo nichž s největší pravděpodobností nasadí operační systém před nedávnem přidruženého Palmu -- webOS, a sice z důvodu údajné nadměrné náročnosti Win7 na baterii [16]. Zařízení Surface se podle ohlasů zdá být velmi povedené, avšak koncovým uživatelům nedostupné kvůli své vysoké (až přehnané) ceně. Microsoft s ním cilí na korporátní klientelu, kupř. Škoda Auto jej využila na ženevském autosalonu v roce 2009 [21]. Absolutně zapadl i Tablet PC oznámený již v roce 2001, jednou z příčin byla patrně nezbytnost interakce pouze prostřednictvím stylusu.

3. Umělecká část

Multi-dotykové přístroje teprve získávají v oblasti umění svoje místo. Jednu skupinu umělců se jim ale už podařilo oslovit. Jde o hudebníky. V současnosti je pro dobrou elektronickou show zapotřebí několik různých přístrojů. Ty to přístroje mají různé ovládání, bývají většinou dost drahé, složité na ovládání, a když jich je víc, tak zabírají hodně místa. Právě zde se otevřela příležitost pro multi-dotykové zařízení. Takové zařízení v sobě může spojovat několik přístrojů najednou a hudebník na něm pouze pomocí doteku ovládá všechny složky skladby. Navíc se u těchto přístrojů setkáváme s intuitivním ovládáním buďto pomocí prstů nebo nejrůznějších dodatečných krabiček a puků s předvolenými funkcemi. Další nespornou výhodou je možnost užívání multi-dotykového zařízení ve více osobách najednou. Tím vzniká obrovská škála možností skládání hudby ať už ve studiu nebo naživo na koncertě.

3.1 Minulost

Vzhledem k tomu, že se multi-dotykové přístroje začaly mezi hudebníky používat teprve nedávno, není jejich historie obsáhlá. V této kapitole představím pouze jednoho předchůdce současných zařízení. Za první výrazněji multi-dotykové zařízení je považováno Continuum Fingerboard. Jednalo se o MIDI ovladač navržený doktorem Lippoldem Hakenem a vyráběný jeho firmou Haken Audio. Continuum bylo nabízeno ve dvou variantách: full-size, na kterém se dalo ovládat až 8 oktáv a half-size se čtyřmi oktávami.

Continuum se ovládá pomocí jednoho až šestnácti prstů. Každý prst je snímán na ose X, Y a Z. Osa X odpovídá horizontální linii, osa Y vertikální a osa Z je zastoupena snímačem tlaku. Samotná konstrukce ovšem nefunguje na takovém principu, jaký se využívá u dnešních multi-dotykových přístrojů. Continuum má ve svém těle 256 horizontálně umístěných tyčí s magnetem na obou koncích. Tyto tyče se opírají o pružiny a seshora jsou pokryté neoprenem a látkou, takže hráč má pocit rovné plochy spíše než oddělených kláves. Kdykoliv je některá tyč stlačena, magnety na jejích koncích se posunou a senzory umístěné na okrajích zařízení zachytí údaje ze všech tří os. Hodnoty jsou následně přeneseny do počítače, ve kterém si může uživatel nastavovat vlastní zvuky pro jednotlivé hodnoty nebo může použít základní nastavení od výrobce. Program je zdarma ke stažení na stránkách Haken Audia. Samotné zvuky poté vycházejí ze syntetizéru, který není součástí Continuua. Podobným způsobem fungoval například i MIDI ovladač Buchla Thunder [22]. Jednalo se však stále o ovladače, které fungovaly na jiném technologickém základě, než jaký se užívá pro multi-dotykové přístroje dnes. Proto tyto předchůdce přeskočím a na jiné možnosti přenášení doteku se podívám v následující kapitole.

3.2 Současnost a některé další technologie

Zajímavým pokusem na poli multi-dotykových zařízení byl výrobek firmy Tactex MTC Express. Jedná se o chytrou látku citlivou na tlak, kterou vyvinula Kanadská vesmírná agentura. Vnitřní vrstva látky je složena z buněčných elastomerů (makromolekulová látka vykazující při normální teplotě velkou pružnost), typicky ze silikonu a je pokryta venkovní vrstvou ochranné látky. Do vnitřní vrstvy jsou umístěny překrývající se senzory citlivé na tlak, tzv. taxely, které jsou připojeny ke kabelům z optického vlákna. Skrz tyto kabely je do taxelů posíláno světlo z LED diod. Tlakem na taxely kontroluje uživatel množství světla, které je následně odraženo na světločivý senzor a ten odešle vypočítané údaje o tlaku do řídící jednotky. Aktivní plocha MTC Expressu obsahuje 72 taxelů a její rozměry jsou 14,2 cm x 9,5 cm. MTC Express je výborným nástrojem právě pro muzikanty a to díky velké tvůrčí svobodě při nastavování softwaru. Zařízení cítí dotyk na celé své ploše, a tudíž si hráč může přednastavit i sebemenší detaily. MTC Express se dá používat jako databáze perkusí, předem nahraných zvuků, elektronických ruchů a šumů nebo tónů různých nástrojů. Jednotlivé kategorie zvuků se dají kombinovat a tak vzniká obrovské množství různých nastavení. Dalším důvodem, proč je MTC Express zlomový je fakt, že hudba vlastně vzniká přímo pohybem prstů po jednoduché podložce bez nutnosti předchozího seznámení se s nástrojem a naučení hmatů (jako je tomu například u klavíru nebo kytary). Zařízení má vysoce intuitivní ovládání a myslím si, že pro každého, kdo ho kdy vyzkoušel, muselo být hraní silným zážitkem. Musí to být jako sen mít desítky hudebních nástrojů na dosah - schovaných pouze v malém látkovém obdélníku.

Druhým příkladem se již přiblížím k designu, který je pro dnešní multi-dotykové zařízení typický. Lemur je multi-dotykový ovladač od francouzské firmy JazzMutant a je vybaven LCD displejem. Ten dodává zařízení vizuální odezvu, která u jeho předchůdců chyběla. Lemurem se dá ovládat nejen zvuk, ale také osvětlení nebo video (to z něho dělá příjemný ovládač i pro některé VJe). Software umožňuje přednastavení různých ovládacích prvků, jako jsou posuvníky nebo knoflíky. Všechny tyto prvky si potom může umělec sám seskupit na několik stránek, mezi kterými bude následně přepínat.

Lemur opět splňuje v současnosti důležitou podmínku intuitivního ovládání. Díky možnosti vlastního seskupení ovládacích prvků na něm může hrát naprosto kdokoliv. Jeho nevýhodou je malé rozlišení obrazovky a necitlivost na tlak. Mezi jeho uživatele patří kapela Nine Inch Nails, zpěvačka Björk nebo producent a DJ deadmau5. Všechny výše popsaná zařízení fungují pouze jako ovladače, které je nutno připojit k dalšímu vybavení. Jejich software rozpoznává pouze jednotlivé body, ne celé objekty a tak je možné je ovládat pouze prsty. Technologie, které využívají funkce multi-doteku a jsou schopné rozpoznat více, než jen body, představím v následujících odstavcích. Tato technologie se v angličtině označuje slovem „tangible“. Do češtiny se toto označení dá přeložit jako „hmatatelné“ nebo „hmotné“. Tento pojem ovšem nevystihuje význam anglického slova a proto zůstanu u původního „tangible“. Jak jsem již naznačila, tangible interface umožňuje uživateli ovládat multi-dotykové zařízení nejenom prsty, ale i fyzickými objekty (nejčastěji malé kostky). Tyto objekty mohou obsahovat další ovládací prvky jako je tlačítko nebo posuvník. První tangible interface, který popíšu, se jmenuje d-touch. Nejde ani tak o multi-dotykové zařízení, jako spíš o zajímavou technologii. Ta spočívá ve volně stažitelném programu, který je schopen přes webkameru snímat papírové krabičky na listu papíru a podle jejich pozice generovat zvuky. Šablony papírových krabiček a ovládací papír (nebo jak jej nazývají sami autoři – interaktivní zóna [23]). je k dispozici na webových stránkách projektu. d-touch si troufám díky jeho jednoduchosti a levnému provedení označit za revoluční. Uživatel si může vybrat ze dvou variant. První z nich je d-touch drum machine. Vytištěná interaktivní zóna obsahuje 11 horizontálních řádků, každý reprezentující různé druhy úderu na buben (na každém řádku je pro lepší přehlednost popisek). Na interaktivní plochu se rozestaví papírové kostky a jejich posunem ve vertikálním směru se mění načasování spuštění zvuku v průběhu smyčky. Kamera sleduje dva typy kostek – s

obrázkem jedné a dvou rukou. Počet rukou mění zvuk určený horizontálním umístěním kostky.

Druhou variantou je d-touch sequencer. Funguje na stejném principu papírových kostek a interaktivní zóny. Jeho výhodou je malá nahrávací plocha umístěná v horní části interaktivní zóny. Po položení kostky do nahrávací plochy začne program automaticky nahrávat. O rozlišení jednotlivých kostek se starají obrázky na jejich povrchu. Každá kostka má jiný obrázek a tudíž může vzniknout i složitá skladba s mnoha úrovněmi. d-touch i přestože je volně k dispozici a na jeho provoz není třeba žádné speciální vybavení, není moc známý. Komunita, která se kolem něj utvořila, se ho ale snaží propagovat, a myslím, že d-touch má ještě do budoucna co nabídnout právě amatérským muzikantům s malým rozpočtem. Druhým a o mnoho složitějším zařízením je Audiopad. Jedná se o nástroj pro skládání a přehrávání elektronické hudby, který zaznamenává pohyb objektů na povrchu multi-dotykové plochy. Ovládá se pomocí kostek a puků s obrázky na dolní straně. Program rozlišuje jednotlivé obrázky a přiřazuje jim uložené nasamplované zvuky, které si pomocí ovládacích objektů uživatel sám doslova vytahuje z databáze. Kolem ovládacího objektu se po položení na dotykovou plochu Audiopadu rozsvítí další dodatečné ovládací prvky. Důležitou součástí je mikrofon, reprezentovaný modrým pukem. Posunem celé skladby nebo jejich částí k nebo od mikrofonu se upravuje hlasitost.

Každý ovládací objekt obsahuje malý rezonanční obvod. Ten komunikuje se sítí antén uvnitř dotykové

plochy. Počítač na základě dat z antén vypočítává umístění jednotlivých objektů. Na stropě nebo přímo na

stole je umístěn videoprojektor, který promítá okolo puků barevný interface.

Audiopad zatím existuje pouze v několika prototypech a autoři James Patten a Ben Recht jej prezentují pouze po předchozí domluvě. Do budoucna se ale uvažuje o masovější výrobě a prodeji [24]. Poslední ukázkou je reacTable* vyvinutý v Barceloně na Universitat Pompeu Fabra. reacTable* využívá nejnovější technologie, svým tvarem nabádá ke spoluprácí několika hráčů a je extrémně intuitivní (sami autoři uvádějí: „zero manual, zero instructions“ [25]). Základem reacTable* je průsvitný osvětlený stůl kruhového tvaru. Uvnitř stolu je umístěna videokamera, která neustále snímá povrch stolu a zaznamenává pohyb, tvar a druh objektů na stole. Ovládací objekty různých tvarů jsou pasivní a neobsahují žádné ovládací prvky ani napájení. reacTable* stejně jako Audiopad využívá pohybu těchto objektů po ploše, zaznamenává jejich polohu, obrázky na jejich stěnách, jejich vzájemnou vzdálenost a směr, kterým jsou natočené a na základě těchto informací spouští nesamplované zvuky a smyčky. A stejně jako u Audiopadu i reacTable* má zpětnou vazbu ve formě promítaného interface. Navíc se u reacTablu* setkáváme s dalším zajímavým prvkem ovládání - ovládání prsty, kterými se malují různá gesta přímo na osvícenou plochu. Všechna gesta jsou vysoce intuitivní a jednoduchá. Za tuto funkci ode mě dostává reacTable*další body a stává se tak v současnosti asi nejlepším multi-dotykovým zařízením pro hudebníky.

Právě interface a gesta jsou tím, co dělá reacTable* něčím víc. Důmyslná animace různých efektů vyvolává u uživatele i diváků dojem, že přehrávaná hudba je vidět. reacTable*pracuje s velkým množstvím barev a tvarů, což jej dělá zajímavým nejenom pro hráče a posluchače, ale i pro přihlížející publikum. Během roku 2007 reacTable* poprvé použila islandská zpěvačka Björk a stala se tak první komerčně známou hudebnicí, která využila během živého vystoupení multi-dotykově ovládané zařízení. reacTable* je k vidění v několika muzeích a vzdělávacích institucích na světě. V této kapitole jsem představila a porovnala několik zařízení, které využívají multi-dotekového ovládání. Většina z nich na svoje masové rozšíření stále ještě čeká, ale myslím si, že už velmi brzy se s nimi začneme setkávat mnohem častěji.

3.3 Budoucnost

Výhody multi-dotykových zařízení jsou jasné. Intuitivní ovládání, velkorysá nabídka personalizace celého interface a ovládacích prvků, možnost spolupráce několika lidí najednou, využívání nejen dotyků prstů, ale také gest nebo různých ovládacích objektů s dalšími funkcemi u tangible zařízení. Navíc je díky intuitivnosti takové zařízení vhodné i pro naprosté laiky a hrát tak na něj může opravdu každý. Dotykové ovládání už v současnosti překonalo původní ovládání u mobilních telefonů. S multi-dotykem je to trošku složitější z důvodu tahanic okolo patentů. Apple se snaží vyvolat dojem, že je vlastníkem všech patentů na multi-dotykové ovládání, ale soudní spory ještě nejsou u konce, takže je budoucnost patentů nejasná (multi-dotykové ovládání má ve svých telefonech kromě Applu třeba společnost HTC). Pokud ale dojde k uvolnění patentů, tak multi-dotekové přístroje dle mého názoru okamžitě pohltí single-touch ovládání. V oblasti umění je situace poněkud jiná a odhad budoucího směřování je složitější. V současnosti se pro multi-dotyková zařízení většinou využívá kamera, která snímá nějakou plochu (seshora nebo zespoda) a pohyb po ní. Tento systém se ale nedá používat pro větší instalace, protože kamera musí snímat plochu z dostatečné vzdálenosti. To znamená velké nároky na prostor a někdy nepřekonatelný problém například u podlahových instalací. V těchto případech je vhodnější používat jiné multi-dotykové technologie. Další problematickou skutečností je fakt, že multi-dotykové zařízení se využívají většinou v krátkodobých interaktivních instalacích, při performancích nebo se prezentují pouze jako „zábavní automat“, který

si mohou zájemci ozkoušet na výstavě nebo ve vzdělávacím centru. Důvod, proč tato zařízení nejsou rozšířenější je celkem jasný – je jím cena. Soukromá osoba si například reacTable* jen tak pro zábavu určitě nekoupí. Bohatší hudebníci mají situaci jednodušší, ale myslím si, že stále panuje nedůvěra v technologii a lenost přecházet ze zažitých způsobů na novinky. Důležitým nedostatkem dotykových zařízení je nepřítomnost haptické odezvy. Některé mobilní telefony nabízejí možnost zapnutí vibrací, které se spustí při dotyku. Není to ale dostačující. Dotykové ovládání kvůli tomu vyžaduje mnohem více vizuální pozornosti než ovládání klasické. To je jeden z důvodů, proč jsou momentálně velice populární přístroje využívající tangible interface, u kterých je haptická odezva alespoň v podobě interakce s ovládacími objekty. Když k tomu přičteme ještě velké množství těchto objektů, které lze používat najednou, ovládání prsty a možnost „namalování“ některých příkazů, tak tangible interface vychází jednoznačně jako vítěz. Zprávy o novinkách v oblasti multi-dotykového ovládání čteme každý den a zlomový objev může přijití naprosto kdykoliv, proto je odhadování budoucnosti jako věštění z křišťálové koule. Pokud se ale neobjeví nějaká zásadní změna, tak je ale výše popsaná budoucnost docela pravděpodobná.

4. Závěr

Gró naší práce tkvělo v konstrukci multi-dotykového panelu. Samotný proces stavby jsme detailně popsali v první kapitole. V průběhu jsme kupodivu nepotkali žádnou těžko zdolatelnou příp. nezdolatelnou překážku. Což nebývá pravidlem. Projekt se nám podařilo dotáhnout do zdárného konce. Jeho dokončení pro nás však neznamená konec, ale nový začátek v tom smyslu, že se zaměříme na uživatelům bližší stránku věci, a sice softwarovou. V následující části písemné práce jsme vypíchli nejzásadnější pionýrské snažení v oblasti multi-dotykových technologií. Toto průkopnické úsilí vytvořilo podhoubí pro jejich rozmach, jehož současnému stavu se věnujeme dále. Poslední část je sondou do užití fenoménu multi-dotyku v oblasti hudby. Ve třech sekcích jsme postupně prozkoumali různé uplatnění multi-dotyku u více či méně proslulých zařízení v této oblasti. Závěr textu otevřel prostor pro odhad budoucích tendencí.

5. Resumé

Multi-dotykové řešení není všespásné, pochopitelně nemůže v určitých případech nahradit myš a plnohodnotnou klávesnici kvůli absenci haptické odezvy. Vyřešení nedostatků je potenciálně v rukou budoucích vynálezců.

6. Summary

Multi-touch solution is not able to replace computer mouse and keyboard because of the absence of haptic feedback. Future inventors will have to solve these problems.

7. Reference[1] NUI Group Authors. Multi-Touch Technologies. NUI Group, 2009. 90 s. [2] HAN, Jefferson Y. Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection. Media Research Laboratory, New York University, 2005. 4 s. [3] BUXTON, Bill. Multi-Touch Systems that I Have Known and Loved. PDF <http://www.cs.berkeley.edu/~tlavian/spring2009/Projects/Multy%20touch%20systems.pdf>, originální verze 2007, použita aktualizovaná 2009. 10 s. [4] SCHÖNING, Johannes - KRÜGER, Antonio - OLIVIER, Patrick. Multi-touch is Dead, Long live Multi-touch. PDF <http://www.dfki.de/web/forschung/publikationen/renameFileForDownload?filename=SchoeningMultiTouchisDead.pdf&file_id=uploads_252>, 2009. 5 s. Wikipedia[5] Index lomu. <http://cs.wikipedia.org/wiki/Index_lomu> [6] Snellův zákon. <http://cs.wikipedia.org/wiki/Snellův_zákon> [7] Total internal reflection. <http://en.wikipedia.org/wiki/Total_internal_reflection> [8] Resistive touchscreen. <http://en.wikipedia.org/wiki/Resistive_touchscreen> [9] WIMP_(computing). <http://en.wikipedia.org/wiki/WIMP_(computing)> [10] Hype cycle. <http://en.wikipedia.org/wiki/Hype_cycle> [11] iPad. Poslední aktualizace 2010-05-18. <http://en.wikipedia.org/wiki/Ipad> NUI Group[12] Getting Started With MultiTouch. <http://nuigroup.com/forums/viewthread/1982> [13] Community Core Vision. <http://ccv.nuigroup.com/>

[14] Touchlib. <http://nuigroup.com/touchlib/> TechCrunch[15] KINCAID, Jason. Apple Has Sold 450,000 iPads, 50 Million iPhones To Date. 8.4.2010. <http://techcrunch.com/2010/04/08/apple-has-sold-450000-ipads-50-million-iphones-to-date/> [16] ARRINGTON, Michael. Hewlett-Packard To Kill Windows 7 Tablet Project. 29.4.2010. <http://techcrunch.com/2010/04/29/hewlett-packard-to-kill-windows-7-tablet-project/> [17] YouTube. (1/2) Playstation 3 Eye Camera - Removing IR Blocking Filter. <http://www.youtube.com/watch?v=7jJfuP7YgPA>

[18] SNÁŠEL, Jan. Už vím, jak fungují dotykové displeje. [cit. 2010-05-19]. <http://www.mobilmania.cz/default.aspx?article=1108570> [19] Shanzai.com. Android microwave oven spotted at CES. <http://www.shanzai.com/index.php/market-mayhem/news/614-android-microwave-oven-spotted-at-ces> [20] Notionink.in. Adam - Features. [cit. 2010-05-05]. <http://www.notionink.in/adamfeature.php> [21] Microsoft.com. Škoda Auto představila nový vůz prostřednictvím Microsoft Surface. <http://www.microsoft.com/cze/presspass/msg/20090309_news1.mspx> [22] Buchla and Associates. BUCHLA THUNDER [online]. Dostupné z: <http://www.buchla.com/historical/thunder>. [23] d-touch.org. d-touch drummachine [online]. c2009. Dostupné z: <http://www.d-touch.org/audio/drummachine/>. [24] James Patten’s portfolio. Audiopad, contact, info and FAQ [online]. Dostupné z: <http://www.jamespatten.com/audiopad/apfaq.php>. [25] JORDA, Sergi – KALTENBRUNNER, Martin – GEIGER, Günter – BECINA, Ross. THE REACTABLE* [online]. [cit. 2010-05-17]. Dostupné z: <http://modin.yuri.at/publications/reactable_icmc2005.pdf>.

8. Použitá literatura

Buchla and Associates. BUCHLA THUNDER [online]. Dostupné z: <http://www.buchla.com/historical/thunder>. CERL Sound Group. Haken Audio – Continuum Overview [online]. Dostupné z: <http://www.cerlsoundgroup.org/Continuum/html/overview/Intro.html>. ČERNÝ, Michal. Dotkněte se bitů [online]. Dostupné z: <http://www.chip.cz/clanky/trendy/2010/04/dotknete-se-bitu>. DAVIDSON, Philip L. - HAHN, Jefferson Y. Synthesis and Control on Large Scale Multi-Touch Sensing Displays [online]. 2006. Dostupné z: <http://portal.acm.org/citation.cfm?id=1142269>. d-touch.org. [online]. c2009. Dostupné z: <http://www.d-touch.org>. d-touch.org. d-touch drummachine [online]. c2009. Dostupné z: <http://www.d-touch.org/audio/drummachine>. EDUCAUSE Learning Initiative. 7 things you should know about... Multi-Touch Interfaces. PDF <net.educause.edu/ir/library/pdf/ELI7037.pdf>, 2008. 2 s. GRESHAM-LANCASTER, Scot. Tactex Controls MTC Express [online]. 1.5.2001. Dostupné z: <http://emusician.com/mag/emusic_tactex_controls_mtc>. James Patten’s portfolio. Audiopad [online]. Dostupné z: <http://en.wikipedia.org/wiki/Lemur_Input_Device http://www.jamespatten.com/audiopad>.

James Patten’s portfolio. Audiopad, contact, info and FAQ [online]. Dostupné z: <http://www.jamespatten.com/audiopad/apfaq.php>. JazzMutant. Lemur, multitouch modular controller for sequencers, synthesizers, virtual instruments, vj and light [online]. Poslední aktualizace 21.5.2010. Dostupné z: <http://www.jazzmutant.com/lemur_overview.php>. JORDA, Sergi – KALTENBRUNNER, Martin – GEIGER, Günter – BECINA, Ross. THE REACTABLE* [online]. Dostupné z: <http://modin.yuri.at/publications/reactable_icmc2005.pdf>. Reactable. Reactable [online]. c2010. Dostupné z: <http://www.reactable.com/products/reactable_experience/reactable>. Wikipedia. Lemur Input Device[online]. Poslední aktualizace 13.4.2010. Dostupné z: <http://en.wikipedia.org/wiki/Lemur_Input_Device>.