1

DISSENY DE LA INTERACCI. PAC1.

Pedro Gimnez Snchez.

1. Introducci. En el moment dabordar aquesta primera PAC de lassignatura em vaig plantejar, en primer lloc centrar-me en algun tipus dinteracci que es bases en deslligar-se dels dispositius tpics com els de la metfora de lescriptori (ratol, teclat) i tracts la interacci de forma el ms natural i transparent possible. En aquest sentit el reconeixement dels moviments del cos (amb Kinect, p.e), la localitzaci amb dispositius GPS, el comandament per veu i el moviment relatiu de lusuari han estat els parmetres sota els que he estat cercant interaccions que em semblessin interessants. Aix partint del projecte Glass de Google, passant per les tecnologies SixthSense, els jocs per consola de Xbox+Kinect he acabat per interessar-me per un projecte del MIT Media Lab, Tangible Media Group anomenat inFORM. Val a dir que es tracta dun projecte que encara no es materialitza en un tipus concret daplicaci, ms a viat es tracta duna plataforma amb una manera diferent dexplorar la interacci emprant tecnologies ja existent, utilitzant uns mapatges des del mon fsic al virtual i que pot obrir noves expectatives a la telepresncia.

2. Anlisi dun disseny de interacci. a. Capalera.

Tto l : Physical Telepresence. Autor/s: Daniel Leithinger, Sean Follmer, Alex Olwal, Horoshi Ishii. MIT Media Lab / Tangible Media Group. Any: 2014. Web: http://tangible.media.mit.edu/project/physical-telepresence/ Imatges.

V deo: https://www.youtube.com/watch?v=lvtfD_rJ2hE https://vimeo.com/108402837

b. Tcniques. Les tcniques presents sn per un cant la visi per computadora, ja en el projecte inicial ens explica que fan servir la cmera Kinect que pot detectar dades de profunditat indispensables per la interacci, per tamb veiem que es pot manipular per contacte directe el que ens indica que hi ha dhaver algun tipus de sensor tctil (per pressi, o per desplaament mecnic) i la combinaci dels dos. En funci de la necessitat, veiem que empra una o les dues tcniques alhora. En apartats posteriors explicarem que en funci de quina eina del SO es faci servir pot combinar ambdues tcniques o noms una.

c. Anlisi. i. Descripci.

2

El disseny de interacci estudiat explora tres aspectes o sistemes de telepresncia fsica. En primer lloc el que anomenen Asymetric Teleoperation (Teleoperaci asimtrica), en segon lloc Bi-directional interaction through shape capture (Interacci bidireccional per captura de formes) i en tercer lloc Bi-directional interaction through deformation (Interacci bidireccional per deformaci). En segent esquema veiem de forma bsica el funcionament de inFORM.

On el dispositiu que captura els inputs de lusuari en forma de moviment s la cmera Kinect (que aporta dades de profunditat i es tradueix en el moviment duns actuadors que mouen les columnes fsiques i projecten la imatge a sobre. Dues web cams ajuden a donar la sensaci de telepresncia capturant la imatge de lusuari i emetent-la a la pantalla de sortida. A la pantalla de lusuari veu lacci dels seus moviments sobre la matriu de columnes. En funci del tipus de interacci la pantalla on rebrem la imatge de lobjecte que manipularem (Feedback Display) pot emprar-se horitzontalment i/o frontalment. No podem descriure de forma massa concreta laplicaci, ja que es tracta dun programa dinvestigaci i noms ens mostra alguns exemples com els tres exposats amb anterioritat, com la teleoperaci asimtrica on un usuari s emissor i actua sobre la matriu fsica de inFORM des de la distncia i laltre usuari veu a lemissor i la manipulaci que en fa sobre la matriu.

La interacci bidireccional on ambds usuaris utilitzen el mateix sistema complet i reben i emeten inputs sobre i a la matriu inFORM, amb la captura bidireccional de formes.

3

I la manipulaci i deformaci directament sobre la matriu inFORM de forma bidireccional.

Addicionalment el sistema disposa de la possibilitat dampliar les possibilitats de manipulaci per la via de renderitzar a la matriu inFORM noms parts del que es captura, com per exemple mans sense braos per accedir a una manipulaci dobjectes ms gil, deshabilitar el renderitzat a la matriu, a part de tot un seguit de possibilitats de rotar, ampliar, reduir lescena per tenir un output a la matriu amb representacions a la matriu rotades, ampliades o redudes segons necessitat. I moltes altres que es poden desenvolupar, com efecte mirall, copiar i fixar una forma i interactuar amb noves formes (p.e: fixar la forma i posici de la m representada a la matriu i seguir manipulant) aix com a lestil dinterfcies com photoshop reemplaar la forma de la m per altres eines, incls sincronitzar objectes. c A les segents captures en veiem uns exemples.

Exemples de renderitzat noms de la m i no representaci.

4

Exemples descalat i eines substituint la representaci de la m/bra

Eina que reemplaa la forma de l bra i sincronitzaci dobjectes. En resum i finalitzant, el disseny pretn la manipulaci dobjectes de forma remota i la compartici despais de treball aplicant les possibilitat de creaci deines en lentorn de la vdeo comunicaci i la realitat mixta.

ii. Diagrama de Flux. Un cop arribat a aquest punt de la PAC, ens adonem que el fet danalitzar un projecte com aquest ens situa en la dificultat de definir un diagrama de flux o dactivitats. El problema s que veiem que Physical Telepresence es podria definir ms com un sistema operatiu que com una aplicaci concreta, ja que sota la idea del projecte es poden desenvolupar diferents combinacions de hardware que tindran una operativitat diferent i una disseny de la interacci amb variacions. Per en essncia el procs de interacci de Physical Telepresence queda molt ben descrit grficament a la primera grfica de lapartat de descripci, on podem veure els diferents fluxos de la informaci base de la interacci i comunicaci. Lusuari realitza unes accions que tenen el seu efecte sobre uns artefactes i rep el feedback dels efectes de les seves accions. Pels inputs de lusuari tenim una cmera que capta la posici en el pla i la profunditat (kinect) i una cmera web que captura frontalment lusuari i com a elements de feedback tenim la visualitzaci en dos pantalles dels efectes de les seves accions (frontal i horitzontal). Aquest feedback s lefecte sobre una matriu dactuadors fsics i la captura en vdeo des de una posici zenital (tamb es projecta lacci de lusuari capturada per Kinect) i frontal. El diagrama de flux no estaria complet sense els efectes i accions que ocorren remotament a la matriu dactuadors fsics.

5

iii. Usabilitat.

Pel que fa a la usabilitat, la interfcie s totalment transparent, ja que emprem les mans sense cap dispositiu al que manipular, en tot cas en alguns casos podem manipular lobjecte directament o objectes enllaats com sextreu del vdeo i de les explicacions. Altament intutiu ja que treballem com ho fem a la vida real, sense cap conversi de moviments arbitraris a moviments reals, el que tamb denota una corba daprenentatge molt curta i una gran facilitat ds. En tot cas en el tema de que la forma de les mans es vegi alterada (limitar la representaci noms de la m, o suplir-la per eines) cal aprendre alguns comandaments (molt pocs). Malgrat que ens trobem ancorats a un espai concret i no s portable si tenim una mxima flexibilitat ds noms limitada per lrea de treball, per podem personalitzar per mitja de la rotaci, lescalat, etc. Tot i ser un projecte i per tant encara ha de recrrer un llarg cam i adaptar-se a diferents usos, el fet de treballar sobre realitat augmentada/virtual/mixta la robustesa i coherncia de la interacci est garantida, el mon real i com s aquesta interacci comparteixen un mateix llenguatge. En quant a laccessibilitat com passa en RV/RM/RA la limitaci de la visi en invidents o amb deficincies visuals s lnic problema que veiem.

d. Valoraci Personal i aportacions creatives. Personalment penso que aquest projecte pot tenir moltes aplicacions, en funci de la mida dels actuadors de la matriu del Shape Display la resoluci possible per tenir una precisi acurada pot portar aquest projecte a poder realitzar manipulacions crtiques en molts i diversos camps, des de manipulaci de qumics, explosius i biolgics, fins a models fsics de fluids, electromagnetisme a representacions topogrfiques, artstiques en el camp del modelat i lescultura o interaccions transversals on en funci duns inputs sonors, visuals o de qualsevol tipus es reflecteixi un efecte volumtric. El fet de poder miniaturitzar i fer portable pot ser una nova finestra per noves aplicacions i possibilitats. Al marge de la plasticitat i la ubiqitat, i com a reflexi em sembla curis com la interacci en aquest cas ha fet un cam danada i tornada, i mexplico, vam passar de manipular els objectes amb les mans in situ a crear una metfora als SO (com lescriptori) amb eines que per conveni realitzaven accions com moures per lespai 2D de la pantalla, obrir carpetes i llenar documents a la paperera, a interaccionar amb espais virtuals recreaci de la realitat amb sensors (cascos, guants, ulleres...) a barrejar la realitat amb objectes virtuals superposats a lespai real (Realitat augmentada) i ara passem a, mitjanant uns actuadors fsics, manipular realment objectes a distncia on els dispositius que fem servir son les mans sense cap objecte (recordem que s una cmera la que enregistra la posici de les mans). I tot aix ens porta a que la interfcie s quasi absent i aix la interacci s el ms natural possible.

e. Bibliografia i enllaos. https://www.youtube.com/watch?v=lvtfD_rJ2hE http://tangible.media.mit.edu/projects/ http://tangible.media.mit.edu/project/physical-telepresence/ http://materials.cv.uoc.edu/daisy/Materials/PID_00184745/html5/index.html http://www.pranavmistry.com/projects/sixthsense/ https://developers.google.com/glass/design/index http://www.xbox.com/es-ES/Xbox360/Accessories/kinect https://vimeo.com/108402837 http://es.wikipedia.org/wiki/Diagrama_de_flujo http://www.monografias.com/trabajos73/diagrama-flujo/diagrama-flujo.shtml http://www.areatecnologia.com/informatica/ejemplos-de-diagramas-de-flujo.html