So#ware y hardware (más o menos)
abierto para la crea8vidad audiovisual
José Ramón Beltrán Blázquez Semana Cultural EINA 2014
Tecnologías Audiovisuales
Semana Cultural EINA 2014 12– marzo – 2014
AUDIO VIDEO
PROYECCIÓN ILUMINACIÓN
INTERACTIVIDAD TECNOLOGÍAS MÓVILES
VISION POR COMPUTADOR
REALIDAD AUMENTADA
El mundo OPEN…
Semana Cultural EINA 2014 12– marzo – 2014
Order Number: 330237-001US
Intel® GalileoBoard User Guide
March 2014
OpenGL • OpenGL (Open Graphics Library) es una especificación estándar que define una API mul8lenguaje y mul8plataforma para escribir aplicaciones que produzcan gráficos 2D y 3D.
• Fue desarrollada originalmente por Silicon Graphics Inc. (SGI) en 1992.
• Oculta la complejidad de la interfaz con las tarjetas gráficas, mediante una API única y uniforme.
Semana Cultural EINA 2014 12– marzo – 2014
Leguajes de programación • Processing: hep://processing.org – 2001
• Openframeworks: hep://www.openframeworks.cc – 2005
• Cinder: hep://libcinder.org – 2010
Semana Cultural EINA 2014 12– marzo – 2014
IDEs Integrated Development Environment
• Code::Blocks: hep://www.codeblocks.org • Xcode (solo Mac OS X): heps://developer.apple.com/xcode/
• Eclipse: hep://www.eclipse.org
Semana Cultural EINA 2014 12– marzo – 2014
Hardware • Arduino: hep://www.arduino.cc – Processing/Wiring – 2005 – Microcontrolador: Amtel AVR de 8 bits. Nuevo modelo Amtel ARM 32 bits
– Open Hardware – Internet of things (IOT)
Semana Cultural EINA 2014 12– marzo – 2014
Hardware • Raspberry Pi: hep://www.raspberrypi.org – Basado en el SoC Broadcom BCM2835:
Embebed Mul8media Processor
– Procesador ARM1176JZF-‐S a 700 MHz – GPU VideoCore IV – Codificador/Decodificador de video 1080p30 Full HD HP H.264
– Rapsbian, Python – Para educación
Semana Cultural EINA 2014 12– marzo – 2014
Hardware • Raspberry Pi: hep://www.raspberrypi.org
1
1 Insert SD cardSee page 3 for how to prepare the SD card
3 Connect input Plug in a USB keyboard and mouse
2a Connect displayPlug in your digital TV or monitor
4 Connect networkConnect to your wired ŶĞƚǁŽƌŬ�ŽƉƟŽŶĂů
5 Power upPlug in the micro USB power supply
2b Connect displayIf not using HDMI, plug in your analogue TV or display
Quick start
1
Semana Cultural EINA 2014 12– marzo – 2014
Hardware • Intel Galileo – 2013 – 400 MHz 32-‐bit Intel® Pen8um®
Semana Cultural EINA 2014 12– marzo – 2014
Order Number: 330237-001US
Intel® GalileoBoard User Guide
March 2014
Intel® Galileo Board—Overview
Intel® GalileoBoard User Guide March 20146 Order Number: 330237-001US
Figure 2. Key Components
Table 1. Description of Key Components (Sheet 1 of 2)
Number Component Description
1 Ethernet Port 10/100 Ethernet connector
2 RS-232 Serial Port 3-pin 3.5mm jack (not audio)
3 RS-232 RS-232 transceiver
4 USB 2.0 Client USB Client connector (Micro-USB Type B): a fully compliant USB 2.0 Device controller, typically used for programming
5 USB 2.0 Host USB 2.0 Host connector (Micro-USB Type AB): supports up to 128 USB end point devices
6 SPI Flash 8 MByte Legacy SPI Flash to store the firmware (or bootloader) and the latest sketch.
7 SPI Flash Program Port
7-pin header for Serial Peripheral Interface (SPI) programmingDefaults to 4 MHz to support Arduino Uno shields. Programmable up to 25 MHz.Note: The board has a native SPI controller, however, it will act as a
master and not as an SPI slave. Therefore, it cannot be a SPI slave to another SPI master. It can act, however, as a slave device via the USB Client connector.
8 Shield Interface Complies with Arduino Uno Revision 3 shield pinout. See Section 2.4 for details.
9 ADC Analog to Digital converter
Interac8vidad • HCI • Disposi8vos para juegos Wiimote
Semana Cultural EINA 2014 12– marzo – 2014
Interac8vidad
• Kinect: – hep://www.xbox.com/es-‐ES/kinect
• Asus X8on: – hep://event.asus.com/wavi/product/x8on.aspx
• PrimeSense: hep://www.primesense.com/
Semana Cultural EINA 2014 12– marzo – 2014
Interac8vidad
• Reactable: hep://www.reactable.com/ – Marcas fiduciales sobre objetos
• Mul8touch screens – Tablets – Smart phones – Pantallas grandes
Jornadas NEOCom 2013 20 – marzo – 2013
Librerías • OpenCV – Desarrollada por Intel en 1999 – Licencia BSD mul8plataforma – Procesado de imagen
• OpenNI – SDK de código abierto para el desarrollo de aplicaciones para sensores 3D
– Librerías de middleware: NiTE 2
Semana Cultural EINA 2014 12– marzo – 2014
Librerías • reacTIVision – Librería mul8plataforma de código abierto para hacer el tracking de marcas fiduciales y tracking mul8touch.
Semana Cultural EINA 2014 12– marzo – 2014
¿Y el audio? • Pure Data – Lenguaje de programación gráfico desarrollado en los 90
– Creación de música por ordenador interac8va y obras mul8media: GEM
Semana Cultural EINA 2014 12– marzo – 2014
¿Y el audio? • Csound – Programado en C permite sinte8zar y procesar sonido en 8empo real.
– Concepto desde 1964 y se desarrolla en 1970 • ChucK – Lenguaje de programación orientado a sonido, que permite generar, grabar, sinte8zar sonido en 8empo real.
– Desarrollado en 2003
Semana Cultural EINA 2014 12– marzo – 2014
¿Y el audio? • OpenAL – Sólo para sonido 3D. – En audio no existe el equivalente a OpenGL
• APIs dependientes del sistema opera8vo: RtAudio, ALSA, QuickTime, DirectSound, CoreAudio
Semana Cultural EINA 2014 12– marzo – 2014
Comunicaciones • OSC: Open Sound Control: hep://opensoundcontrol.org/ – Extensión de MIDI – Envío de parámetros en 8empo real para controlar el audio y el video
• TUIO: extensión de OSC para superficies mul8touch (reacTIVision): hep://www.tuio.org/
Semana Cultural EINA 2014 12– marzo – 2014
Disposi8vos móviles • Android SDK • ADT Bundle (Android Developer Tools) para Eclipse – hep://developer.android.com
• iOS: Xcode
Semana Cultural EINA 2014 12– marzo – 2014
Realidad aumentada • ARToolKit: hep://www.hitl.wasington.edu/artoolkit – GNU para uso no comercial – Licencias comerciales
• Vuforia: hep://www.vuforia.com – Xcode (iOS), Eclipse (Android), Unity (Game Engine)
• OpenCV
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly.
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Equipamiento – Estructura de 10x10x5m: tres lonas, suelo de 10x10m con hierba ar8ficial y rampas para recuperar los balones
– Dos lanzadores de balones controlados por un Arduino + Ethernet Shield + relé
– Dos cámaras DLSR controladas por un Arduino + Ethernet Shield + optoacopladores
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Equipamiento – Un foco DMX central que indica la posición de par8da del jugador
– Dos focos DMX que iluminan el lanzador desde el que se va recibir el siguiente balón
– Tres cabezas móviles DMX que funcionan como defensores virtuales
– Dos máquinas de niebla DMX que permiten que los haces de luz sean visibles
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Equipamiento – Tres video-‐proyectores de 20.000 lumen – Un sistema de audio cuadrafónico con refuerzo de subgraves
– Dos cámaras cenitales e iluminadores de infrarrojos
– Tres disposi8vos Kinect – Balones modificados con material reflectante para un tracking robusto
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Equipamiento – Zona de registro con una cámara DSLR con una tarjeta SD-‐EyeFi y fondo de chroma
– Ordenadores en red, routers, hubs, extensores de señal, etc.
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Aplicaciones – Un microsite que ges8ona el sistema de registro de jugadores, la cola de espera para acceder al juego y la impresión del memento
– Una aplicación principal que ges8ona la dinámica de juego, reproduce los efectos de sonido y sincroniza toda la instalación (proyecciones, cabezas móviles y focos DMX, lanzadores de balones, cámaras DSLR, etc)
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Aplicaciones – Una aplicación de manejo y procesado de los contenidos visuales
– Una aplicación de tracking que permite determinar la posición del balón en la zona de juego
– Una aplicación de tracking que mediante tres disposi8vos Kinect permite iden8ficar el punto de impacto cuando el jugador dispara contra un obje8vo
Semana Cultural EINA 2014 12– marzo – 2014
Un ejemplo • HOD: House of Deadly. Aplicaciones – Un esquema Arduino para controlar mediante mensajes OSC los lanzadores de balones
– Un esquema Arduino para controlar mediante mensajes OSC las cámaras DSLR que capturan instantáneas del juego
• … y todo con so#ware y hadware abierto
Semana Cultural EINA 2014 12– marzo – 2014
Conclusiones • Los nuevos retos tecnológicos requieren la integración de muchas tecnologías.
• Las tenologías “abiertas” facilitan los desarrollos gracias a la “comunidad, comunidad y más comunidad”.
• Están apareciendo nuevas formas de hacer ingeniería audiovisual con múl8ples aplicaciones: arzs8cas, marke8ng, lúdicas, exposi8vas, turismo, seguridad, educación, etc.
Semana Cultural EINA 2014 12– marzo – 2014
Muchas gracias
Semana Cultural EINA 2014 12– marzo – 2014