1

OPCIÓN DE PROYECTO

Desarrollo de Sistema de Captura de Movimiento para un ambiente tridimensional controlado

Profesores

HELIOTH SÁNCHEZ RODRÍGUEZ

EDUARD SIERRA BALLEN

Estudiante

SEBASTIÁN MORENO AGREDO

CESAR FERNANDO AYALA

UNIVERSIDAD MILITAR NUEVA GRANADA

FACULTAD DE INGENIERIA

IMAGINERÍA EN MULTIMEDIA

BOGOTÁ

2009

2

CONTENIDO

Pág.

INTRODUCCIÓN

1. OBJETIVOS………………………………………………………………………………………………………………………..4 1.1 OBJETIVO GENERAL………………………………………………………………………………………………………..4 1.2 OBJETIVOS ESPECIFICOS………………………………………………………………………………………………….4

2. PROPUESTA……………………………………………………………………………………………………………………..5

2.1 Titulo, Problema e Identificación……………..……………………………………………………………………..5 2.2 Antecedentes………………………………………………………………………………………………………………….6

2.3 Delimitación………………………………………………………………………………………………………..6

2.4 Justificación…………………………………………………………………………………………………………8

2.5 Metodología……………………………………………………………………………………………………….9

3. MARCO TEÓRICO………………………………………………………………………………………………………………9 3.1 HISTORIA……………………………………………………………………………………………………………………..10 3.2 EL PROCEDIMIENTO…………………………………………………………………………………………………….13 3.3 APLICACIONES……………………………………………………………………………………………………………..14 3.4 TÉCNICAS DE CAPTURA DE MOVIMIENTO…………………………………………………………………..15

4. METODOS……………………………………………………………………………………………………………………….15 4.1 ÓPTICOS……………………………………………………………………………………………………………………….15 4.2 NO ÓPTICOS………………………………………………………………………………………………………………..17 4.3 MIRADA A LOS ALGORITMOS………………………………………………………………………………………18

5. TECNICAS SEMEJANTES……………………………………………………………………………………………………21

5.1 ANIMACIÓN FACIAL………………………………………………………………………………………………………21

6. CONCLUSIONES……………………………………………………………………………………………………………….22

7. BIBLIOGRAFIA…………………………………………………………………………………………………………………23 Bibliografía con EndNote…………………………………………………………………………………………………….23

8. ANEXOS…………………………………………………………………………………………………………………………..25

9. Tabla de tareas Gantt……………………………………………………………………………………………………..25

3

INTRODUCCIÓN

Tan revolucionario como la misma creación de las imágenes tridimensionales por computador, es el

sistema de captura de movimiento, empleado para muchas aplicaciones en varios ámbitos

industriales ya sea desde la industria del juego hasta los más complejos análisis de movimientos de

personas, animales u objetos.

En definición llamado Motion capture, motion tracking, o mocap usado para describir el proceso de

grabar el movimiento y aplicarlo a un modelo digital. Inventado inicialmente en Escocia, es usado en

el desarrollo militar, entrenamiento, deportes y aplicaciones médicas. En la parte de rodaje de

películas o sector cinematográfico se enfoca en grabar las acciones de los actores reales, y usar dicha

información para animar los personajes digitales en animación 3D.

En la actualidad, prácticamente todos los largometrajes de dibujos animados están parcial o

totalmente generados en 3D. Para la creación de estas películas, los estudios utilizan básicamente

dos técnicas de animación distintas aunque complementarias.

Por un lado, se emplean conceptos de animación tradicional adaptados a las ventajas que ofrecen

los nuevos programas de animación y creación de personajes en 3D. Por otro, sistemas de captura

de movimiento que permiten trasladar toda la acción y expresiones del cuerpo de un actor, a un

personaje creado digitalmente.

Los sistemas de captura de movimiento

Hasta hace unos años los animadores eran los encargados de crear todos y cada uno de los objetos

animados dentro de un proyecto 3D. Pero la mejora de los sistemas ha cambiado la forma de

trabajar dentro del sector de la animación digital. Hoy en día los animadores cuentan con la ayuda

de una técnica que captura el movimiento de un esqueleto animado. El movimiento, una vez

captado a través de cámaras infrarrojas, es importado a un programa de animación e insertado en

un objeto 3D. Así, el animador ahorrará tiempo y conseguirá movimientos mucho más realistas sin

tener que ser él quien los cree. Aunque eso sí, siempre con limitaciones. No se podrá reproducir

nada que no pueda hacer un actor.

4

1. OBJETIVOS

1.1. OBJETIVO GENERAL

Estudiar analizar a fondo acerca de la captura de movimiento, reconociendo su montaje y desarrollo,

así como la utilización de su fundamento ingenieril y su empleo en la actualidad como base de la

animación moderna y base para diferentes sistemas que estén involucrados con el análisis de

movimiento.

1.2 OBJETIVO ESPECÍFICOS

• Reconocer los pasos y partes del proceso de un sistema de Captura de Movimiento

• Identificar la técnicas o métodos empleados en la Captura de Movimiento

• Definir las aplicaciones que se aprecian en la actualidad de esta técnica

• Estructurar de forma básica la Captura de Movimiento con algoritmos en procesamiento de imágenes

• Remarcar la importancia de otros sistemas similares con diferentes aplicaciones

2. PROPUESTA

2.1 TITULO, PROBLEMA E IDENTIFICACIÓN

Opción 1

• Titulo: Sistema de captura de movimiento para simplificar la animación Por asociación y por síntesis

• Planteamiento: Se busca Desarrollar un Sistema de Captura de Movimiento para un ambiente tridimensional controlado en la parte de la animación el cual recurre a medios tecnológicos en soporte de un producto final. Se presentan factores exteriores que involucran costos y altos niveles de dedicación en el desarrollo de la plataforma digital sin

5

contar con el equipo, por eso se enfoca en medios caseros y sencillos con el fin de dar lo máximo posible de simplicidad.

• Identificación: Al tratar de crear animaciones con un alto contenido de realismo surge en la mente del animador una serie de obstáculos que involucran tiempo y dedicación. Aquí es cuando se plantea una forma que pueda facilitar tanto trabajo en poco tiempo, asi se recurre a sistemas que me permitan obtener los movimientos de lo que quiero hacer con mucho más realismo que los que yo puede imaginar.

Opción 2

• Titulo: El sistema de captura de movimiento aplicado en animaciones tridimensionales Por asociación y por síntesis

• Planteamiento: Se quiere un enfoque dirigido a usuarios que requieran animaciones reales, dentro de esto se adquieren externalidades como material o los medios para obtener calidades mayores o valores anexos a querer dar un rendimiento mayor para lo cual se necesita mucho mas de investigación y apoyo en cuanto a electrónica y mecánica u otras áreas que se manejan ya para sistemas de ámbito empresarial.

• Identificación: Al tratar de crear animaciones con un alto contenido de realismo surge en la mente del animador una serie de obstáculos que involucran tiempo y dedicación. Aquí es cuando se plantea una forma que pueda facilitar tanto trabajo en poco tiempo, así se recurre a sistemas que me permitan obtener los movimientos de lo que quiero hacer con mucho más realismo que los que yo puede imaginar. Ventajas:

• Reduce en un gran porcentaje los tiempos de animación. • Capturar movimientos complejos para realismo en modelos tridimensionales.

2.2 ANTECEDENTES

Línea de Investigación: Visualización y Computación Gráfica

Antecedentes en la UMNG

Desarrollo de un sistema de rastreo de movimiento tridimensional, basado en la tecnología de señales infrarrojas de Nintendo ® Wii ® Número de Registro: PIC ING 362

6

Investigador principal: German Garnica Estudiantes Participantes: Rafael Ernesto Varela Líneas de Investigación: Visualización y Computación Gráfica Universidad Militar Nueva Granada Fecha de inicio: Octubre de 2008 Fecha finalización: Marzo de 2009

Desarrollo de un Prototipo Inicial de una Librería para la Construcción y Movimiento de Objetos Gráficos Tridimensionales Simples Número de Registro: PIC ING 070 Investigador principal: Alexander Cerón C Estudiantes Participantes: Carlos Peñuela Líneas de Investigación: Visualización y Computación Gráfica Universidad Militar Nueva Granada Fecha de inicio: 01/07/06 Fecha finalización: 01/12/06

Desarrollo De Una Aplicación Para Visualizar Objetos 3d En Ambientes Y Sistemas De Inmersión Número de Registro: PIC ING 285 Investigador principal: Alexander Cerón C Otros Investigadores:Wilson Sarmiento Líneas de Investigación: Visualización y Computación Gráfica Universidad Militar Nueva Granada Fecha de inicio: 21/04/2008 Fecha finalización: 21/04/2008

2.3 DELIMITACIÓN

La necesidad de poner barreras finitas al tema planteado surge del problema que esté presente y a su vez de acuerdo con los elementos de interés que describieron. Para cumplir con los objetivos y lograr resultados reales esperados se profundizo en los factores que afectan a la investigación, primero en el ámbito ingenieril concretamente computacional que abarca dese la cuestión legal en las nuevas investigaciones hasta el desarrollo del problema en sí dentro del tema que se trabaja.

Factores Internos, estos preceden a el tema en el área de la computación grafica que se ha venido empleando desde que se lograron imprimir datos en forma grafica en un computador. Para este proyecto existen problemas que se dirigen al investigador, como el vacio en conocimientos o limite teórico es decir que al recurrir a la investigación como herramienta fundamental para cumplir la función del proyecto es prudente manejar la información de manera adecuada y siempre

7

atendiendo a los derechos de autor. Por otro lado está el tener que aprender intensamente sobre los subtemas que involucran el tema, desde la programación hasta los investigadores que preceden el tema.

Algunos subtemas propuestos son: Computación grafica-elementos de la CG, Conceptos básicos II. Transformaciones, Conceptos básicos de procesamiento de imágenes, Modelado físico Algoritmos Fundamentales, ámbito virtual 3D entre otros acoplados no descriptivos sino prácticos. Dentro de la interactividad hombre maquina-reconocimiento humano, interactividad por sensores, dispositivos de reconocimiento y otros componentes de hardware o no virtuales que permiten un contacto real-virtual con el computador.

Llegara llenar solo a llenar la expectativa con temas específicos con el proyecto y no extenderse a subtemas que puedan consumir tiempo como ir por ramas de la captura del movimiento aplicado en industrias que no tengan que ver con el área de desarrollo implicado o también el investigar sobre el uso de otros dispositivos sensoriales que recurran a un alto nivel de complejidad como el mecánico u otros comercializados de nivel mayor de producción.

Otra preocupación es el hecho de que surjan otros problemas a medida que se investigue como tener que recurrir a aprender completamente un software que es muy probable pero la investigación científica siempre se da dentro de este marco, casi siempre es necesario el tener que saber de mas para innovar o mejorar, a lo que viene este es a no tener que desviar toda la línea de investigación por causa de un problema que surja eventualmente o que estos problemas sean de gravedad y afecte al diseño de del proyecto.

Factores externos, dentro de los problemas al investigar o de la investigación es la falta de recursos en este caso tecnológico, como ya es conocido el área de la tecnología computacional es de la innovación y actualización es decir avances en un factor tiempo y mas hoy en día que hay una creciente demanda de los departamentos de investigación en empresas por crear nuevas tecnologías. Entonces esta externalidad vendría siendo parte de una limitación dentro de un contexto temporal , en contraste la información que es lo más importante esta y es una de las razón que impulso en primer lugar el escoger la captura de movimiento en la animación 3D, en otras palabras no es una limitación la falta de información, al contrario, hay subtemas que dividen en muchos aspectos el tema y se sobresatura la información de aspectos no deseados que sería la delimitación teórica.

Ideas relacionadas con el uso de dispositivos se encuentran en numerosas partes del proyecto y estos conceptos pueden o no tener relevancia, lo que realmente marcara su diferencia serán los resultados a media que se desarrolle el sistema de captura de movimiento, por ejemplo existe software que hace mucho mas que reconocer el movimiento humano o animal, también son capaces de reconocer elementos presentes en estos como la ropa inclusive accesorios que también presentan un movimiento característico o ligado al personaje principal de interés. Esto es una limitación mediante conceptualización de los dispositivos que se asemejan al sistema propuesto.

De acuerdo al factor tiempo, requiere que el proyecto se desarrollo en un periodo de 4 meses e involucrar predicciones de problemas y cambios que puedan surgir para tener en cuenta una

8

limitación temporal. Algunas predicciones incluyen el aprendizaje de herramientas involucradas y de conceptos básicos y específicos de la animación por computador y tradicional, así mismo el reconocimiento de lenguajes de programación como ejemplo processing u otros que ya manejan la detección física en la interactividad.

También hay limites espaciales específicos, la captura de movimiento se apoya en un lugar para el montaje del sistema. Debe ser limitado pero que se acomode a factores como la distancia, iluminación, practicidad y demás que afecten el funcionamiento del sistema.

Limites en cuanto a la unidad empleada, por ejemplo cuantas personas se les va a recolectar datos si es que se puede tomar de más de una simultáneamente o que cantidad de datos se deberían tener en cuenta para el funcionamiento óptimo y evitar colapsos técnicos.

2.3 JUSTIFICACIÓN

A pesar de que este tipo de sistemas ya se implementan con éxito en universidades o empresas, esto viene a hacer una necesidad local como universidad y como animador más específicamente. El estudio traerá nuevos objetivos y retos para futuros investigadores que quiera saber más sobre dispositivos de reconocimiento motor así como poder aclara mitos acerca del área que aún se desconoce por falta de investigación estudiantil o que no se dicta en clases comunes, debido a que esto es tema específico de interés propio de alguien que sienta deseos de enriquecerse mas. Es en sí un aporte a los estudiantes directamente e inclusive a los profesores de la universidad que requieran del uso de un dispositivo para enseñar, mostrar o crear animaciones por medios reales físicos y que los que se interesen se involucren y trabajen con ello y los que no por lo menos sepan cómo se usa y para qué sirve.

Resolverá preguntas que muchos se han hecho al ver películas que se basen en la animación por computador e inclusive juegos que a simple vista se ven demasiado reales, todo esto apoyado en sistemas de captura de movimiento sea general o específico como la captura facial de movimiento o de manos para situaciones de calidad alta en recolección de datos aproximadamente reales.

Conlleva una ayuda total a la universidad como área local y pues los interesados externos a ella también podrían llegar a tener acceso al sistema, aunque todo se enfoca a el aporte de esta clase de proyectos a los que se encierran respecto al área multimedia sujeto a la animación y la enseñanza de esta rama del arte digital y tradicional.

2.3 METODOLOGÍA

9

La metodología mide los pasos basados en técnicas y herramientas para el desarrollo de este proyecto. A medida que este se va desarrollando se cumplen los pasos pero primero para poder plantearla de forma correcta se necesita saber sobre la ciencia y el diseño del método profundamente. Por ahora se puede empezar haciendo un reconocimiento de lo que se va a usar y el porqué.

La lógica investigativa en este proyecto corresponde a una clausula sistemática, en las que ya existen reglas y apuntes que se usaron anteriormente para la postulación, clasificación y comprobación del tema , es decir que basado en dichas normas la metodología presente completa la guía y herramienta primordial para dar resultados esperados.

El camino que se requiere seguir concreta el tema y va dando metas a media que se sigue, es el pensamiento que se quiere llevar durante y después de finalizar el proyecto. Argumentar es el propósito del método encerrado en aspectos científicos, prácticamente es el objetivo general y que se comprueba con resultados y conclusiones dadas a partir e ello. Debido a las limitaciones y en general al tema y tanto como su aplicación el método usado seria el método deductivo que ha de tomar los resultados y conclusiones generales que han sido aplicados a una situación en particular: el capturar movimiento mediante un dispositivo básico y a eso se le puede agregar que es de bajos costo que se limita a la recolección de datos en 3d o 2d dependiendo de lo que se quiera. En retrospectiva son los datos el resultado técnico del sistema y dependiendo de esa recolección de datos es la aplicación, función y uso del prototipo. Estratégicamente se debe empezar por concretar la línea de temas a investigar y hacer un seguimiento riguroso como primer paso del camino. El problema se basa en la necesidad de lograr animaciones un poco más reales de lo que se logra por métodos tradicionales de acuerdo al ojo humano y simplificar el proceso, desplazándolo por un método más sencillo y funcional. Como solución la propuesta se concreta en un sistema de captura de movimiento en el cual se tomen datos de movimiento y se puedan aplicar en un personaje tridimensional para lograr una animación virtual de aspecto realista o lo mas parecido a la realidad de lo que se podría hacer por métodos tradicionales pero todo esto soportado en estudios que se realizan en el proceso de implementación del sistema. En cuanto a las consecuencias, es posible tener fallas y obstáculos pero como predicción final es más que posible la creación de este sistema, en otras palabras que la hipótesis que se ha hecho es verdadera y que los resultados en gran porcentaje favorecen a continuar la investigación.

3. MARCO TEÓRICO

3.1 HISTORIA

El análisis del movimiento humano comenzó en la antigua Grecia, donde Aristóteles escribió De

Motu Animalium (Sobre el movimiento de los animales), en la cual comparó los cuerpos de los

animales con sistemas mecánicos.

Casi dos mil años después, Leonardo da Vinci describió algunos mecanismos que utiliza el cuerpo

humano a la hora de moverse: como nos mantenemos de pie, como saltamos, como nos levantamos

10

tras estar sentados, como caminamos en pendientes... Cien años después, Galileo tratará de analizar

la fisiología humana desde un punto de vista matemático. Con la ayuda del trabajo de Galileo, Borelli

calculó las fuerzas necesarias para mantener el equilibrio en varias articulaciones del cuerpo,

determinó el centro de gravedad del ser humano, calculó los volúmenes de aire que inspiraba y

expiraba el ser humano y demostró que la respiración era debida a la elasticidad de los tejidos. Estos

trabajos del campo de la biomecánica fueron seguidos por Newton, Bernuolli, Euler, Poiseuille,

Young y otros científicos reconocidos.

Muybridge fue el primer fotógrafo en diseccionar el movimiento humano y animal, a través

de múltiples cámaras para captar instantes seguidos en el tiempo. Más tarde, con la

aparición de la técnica del rotoscopio, se comenzaría a utilizar la captura de movimientos en

personas para agilizar el diseño de dibujos animados (Walt Disney la utilizó en Blancanieves

y los siete enanitos). En los 70, con la aparición de las computadoras y su potencial uso en el

cine, empieza la captura de movimientos para la generación de GC o gráficos por

computador.

A finales de los años 70, cuando se empezaba a hacer posible la animación de personajes por

computador, los diseñadores comenzaron a usar las técnicas clásicas de diseño (como el rotoscopio).

El rotoscopio era una técnica en la cual se utilizaban frames reales que se utilizaban como base para

diseñar algo por encima, similar a calcar un folio por encima de otro que contiene lo que queremos

copiar. Pero mientras, se empezaron a usar los computador es para analizar el movimiento humano,

en estudios de biomecánica. Las técnicas y dispositivos usados en éstos empezaron a adoptarse en la

11

comunidad de GC. Al principio de los años 80 , Tom Calvert, un profesor de kinesiología y ciencias de

la computación en la Simon Fraser University, adhirió potenciómetros a un cuerpo y usó la salida

para generar personajes animados por computador con objeto de ser usado en estudios de

coreografía y asistencia clínica para pacientes con problemas de locomoción. Por ejemplo, para

analizar la flexión de rodilla, creó una especie de exoesqueleto para cada pierna, cada uno de los

cuales tenía adherido un potenciometro para analizar el grado de flexión. La señal analógica era

digitalizada e introducida en un programa que hacía una simulación mediante una animación en el

computador

Poco después, comienzan a salir los primeros sistemas de seguimiento visual como el Op-

Eye y el SelSpot. A principios de los 80, tanto el MIT como el CGL del NYTC experimentaron

con dispositivos de seguimiento visual aplicados en el cuerpo humano.

Estos sistemas normalmente usan pequeños marcadores adheridos al cuerpo (tanto LEDs

parpadeantes como pequeños puntos reflectantes) y una serie de cámaras alrededor del

espacio de maniobras. Una combinación de hardware especial y software distinguen los

marcadores en el campo visual de cada cámara, y mediante comparación, calculan la

posición tridimensional de cada marcador en cada instante.

La tecnología está limitada por la velocidad a la que los marcadores pueden ser rastreados,

por la oclusión de los marcadores por el cuerpo y por la resolución de las cámaras

(específicamente por su capacidad para diferenciar distintos marcadores próximos). Los

primeros sistemas podían rastrear sólo una docena de marcadores al mismo tiempo. Los

sistemas más recientes pueden distinguir varias docenas. Los problemas de oclusión se

pueden superar con el uso de más cámaras, pero incluso con eso, los sistemas ópticos más

modernos suelen requerir un post-procesamiento manual para recuperar trayectorias

cuando un marcador se pierde de vista. Esto cambiará según los sistemas se vuelvan más

sofisticados. El problema de la resolución está relacionado con varias variables, como el

precio de la cámara, el campo de visión, y el espacio de movimientos. A mayor resolución

requerida, mayor el precio de la cámara. La misma cámara puede dar una mejor resolución

de movimiento si está enfocando un menor campo de visión, pero esto limita la capacidad

de los movimientos a realizar. Por ello, casi todos los resultados de los sistemas de captura

12

ópticos necesitan una post-producción para analizar, procesar y limpiar la información antes

de ser utilizados.

En 1988, Wahrman desarrollaron Mike the Talking Head para Silicon Graphics para mostrar

las capacidades en tiempo real de sus nuevas máquinas 4D. Mike era dirigido por un

controlador especificamente hecho para él que permitía a un usuario manejar varios

parámetros de la cara del personaje, incluyendo boca , ojos, expresión y posición de la

cabeza. El hardware de Silicon Graphics proporcionaba una interpolación en tiempo real

entre las expresiones faciales y geometría de la cabeza del personaje y del usuario. Mike fue

mostrado en público en la conferencia de SIGGRAPH (grupo de interés en GC que realiza una

conferencia anualmente sobre el tema) de ese año, donde se demostró que la tecnología

mocap ya estaba preparada para su explotación comercial.

En 1985, Jim Henson Productions había intentado crear versiones virtuales de sus personajes.

Consiguieron un éxito limitado, principalmente debido a las capacidades limitadas de la tecnología

en ese momento. Finalmente, en 1988, con los equipos 4D de Silicon Graphics, y con la pericia de

Pacific Data Images, encontraron una solución viable. Conectando un dispositivo de entrada de ocho

grados de libertad hecho a medida a través del cuadrante estandar SGI, fueron capaces de controlar

la posición y los movimientos de la boca de un personaje a baja resolución en tiempo real. Entonces

fue cuando nació la marioneta virtual Waldo C. Graphic. Se capturaba el movimiento de las manos

de un titiritero con un aparato llamado Waldo, y después se interpretaban en un computador.

SimGraphics ha estado durante mucho tiempo en el mercado de la Realidad Virtual, habiendo

construído sistemas alrededor de algunos de los primeros VPL DataGloves en 1987. Alrededor de

1992 desarrollaron un sistema de rastreo facial llamado face waldo. Usando sensores mecánicos

adheridos a la barbilla, labios, mejillas y cejas, y sensores electromagnéticos en la estructura del

casco, consiguieron capturar la mayor parte de los movimientos de la cara y mapearlos para

13

aplicarlos a un modelo virtual en tiempo real. La importancia de este sistema fue que un actor podía

manipular todas las expresiones faciales de unos personajes sólo mimetizando lo que quería que

hiciese, lo cual supone una interfaz completamente natural.

Uno de los mayores éxitos con este proyecto fue la interpretación en tiempo real de Mario Bros.

Dirigido por un actor detrás del escenario usando el face waldo, Mario lograba conversar con los

miembros de la audiencia, respondiendo a sus preguntas y comentarios. A partir de ahí, SimGraphics

se ha concentrado en la animación en directo, desarrollando personajes para conferencias,

televisión y otros entretenimientos en directo.

En SIGGRAPH 93, Acclaim entusiasmó al público con una animación realista y compleja de dos

personajes hecha completamente con mocap. Durante los años anteriores, Acclaim había

desarrollado en secreto un sistema de rastreo óptico de alta definición, superior a los anteriormente

citados, capaz de seguir 100 marcadores simultaneamente en tiempo real. Acclaim usa el sistema

principalmente para generar secuencias de movimiento de personajes para videojuegos. Su sistema

es propietario y no planean distribuir comercialmente su tecnología.

En los años venideros se siguieron perfeccionando las técnicas de mocap, incluyendo nuevo

hardware con mayores posiblidades y nuevo software que permita utilizar el hardware. Se hicieron

un hueco empresas como Autodesk (conocida por su 3D Studio Max y Maya), Kaydara (conocida por

FilmBox y MotionBuilder, y absorbida por Alias) o Alias(conocida por Maya, y actualmente absorbida

por Autodesk), cuyos programas son usados intensivamente en mocap.

3.2 EL PROCEDIMIENTO

En sesiones de Captura de Movimiento, eventos de uno o más actores son muestreados muchas

veces por segundo, aunque algunas técnicas (recientes desarrollos del ILMuse imágenes para

captura de movimiento 2D y proyectarlo en 3D) Captura de Movimiento

14

Graba solo los movimientos del actor, no sus apariencias visuales. Estos datos de animación es

mapeada a un modelo 3D, así el modelo muestra las mismas acciones que las del actor . Esto es

comparable con una técnica más antigua como la del rotoscopiado, donde la apariencia visual del

movimiento del un actor fue filmado y después la filmación es usada como guía del movimiento

cuadro a cuadro de personajes pintados a mano.

Los movimientos de la cámara también pueden ser capturados así la cámara en la escena virtual se

moverá alrededor de escenario manejado por un operador, mientras el actor está actuando y el

sistema de captura puede grabar la cámara y el actor al mismo tiempo. Esto permite al personaje

generado por computador, estar de la misma perspectiva que las video imágenes de la cámara. Un

computador procesa información y muestra la información del actor, otorgando la posición de la

cámara que se desee en términos de objetos en la puesta de escena. Obtener la información del

movimiento de la cámara del metraje es conocido como igualamiento de movimiento o match

moving.

3.3 APLICACIONES

En video Juegos es usado muy a menudo para capturar el movimiento de atletas, artes

marciales y otros personajes de juegos.

En películas se emplea para efectos de graficas por computador, en algunos casos

reemplaza la animación cel tradicional, y criaturas completamente generadas por

computador.

En producción la entera película se filma son animación por computador, la industria es

actualmente partida entre los estudios que usan captura de movimiento y los que no.

Captura de movimiento ha comenzado a ser usada extensivamente para producir películas

que atentan simular o acercarse a parecerse a la vista de cine en vida real, con modelos

cercanos de personajes digitales foto realísticos.

En realidad virtual y realidad aumentada permite a los usuarios a interactuar con contenidos

digitales en tiempo real. Puede ser usado para simulaciones de entrenamiento, exámenes

de percepción visual, o hacer caminatas virtuales en un ambiente 3D. La tecnología de

15

captura de movimiento es frecuentemente usada en sistemas de propósitos digitales para

manejar personajes generados por computador en tiempo real.

El Gait analysis es la mayor aplicación de la captura de movimiento en la medicina clínica.

Captura de movimiento sin marcadores es decir sin los puntos que se fijan para tomar la

información de movimiento permite a los clínicos evaluar el movimiento humano sin

molestar a los pacientes con molestos trajes o dispositivos de tracking. Así los pacientes se

pueden mover libremente dentro de un área definida, usando cámaras que mapean la

silueta de la persona que se encaja de 3 a 24 perspectivas a un modelo de una persona para

seguir el rango de movimiento y otros factores biométricos y asi poder analizar la

información recolectada en un software.

3.4 TÉCNICAS DE CAPTURA DE MOVIMIENTO

Parte como una herramienta de análisis fotométrico en investigaciones de biomecánica entre 1970

y 1980, expandida dentro del sector educacional, deportes, recreación y animación por computador

para juegos y películas entre otros. Como tecnología madura se ven empresas dedicadas a esto y la

explicación básica o el fundamento de estas empresas es el mismo y empiezan de la misma forma:

Un actor usa un traje o marcadores cerca de cada articulación o punto de flexión para identificar el

movimiento por las posiciones o ángulos entre los marcadores acústicos, inerciales, LED, magnéticos

o reflectivos inclusive hay combinaciones entre estos tipos. Luego se hace por lo menos dos tomas

del movimiento deseado y se promedian las posiciones, analizándolas en un software que ya puede

tener un modelo 3D o un software probabilístico según para lo que se requiera la información que se

grabo, así es como empieza cada técnica que se vuelven métodos más complejos para mayor

precisión.

4. METODOS

3.1 ÓPTICOS

Los sistemas ópticos usan la información capturada de imágenes de sensores triangulas en

posiciones 3d de un sujeto entre uno o más cámaras calibradas para crear sobre posición de

proyecciones. La adquisición de información es tradicionalmente implementada usando marcadores

especiales pegados al actor.

16

Estos sistemas producen información con 3 grados de libertad por cada marcador y la información

rotacional tiene que se infrarroja de la orientación relativa de los tres o más marcadores.

Estos sistemas emplean sensores y sistemas de control electrónico, para rastrear el movimiento.

Estos sensores poseen cables que van conectados directamente a una computadora.

Marcadores Pasivos: son los que están hechos de material

retroreflectivo, para reflejar la luz negra que es generada cerca a los

lentes de las cámaras. El umbral de las cámaras puede ser ajustado para

que solamente el brillo reflectivo de los marcadores pueda ser mapeado ignorando piel y tela.

Marcadores Activos: triangulan la posición iluminando un LED al tiempo y muy rápidamente,

también se puede múltiples LEDs con software para la identificación de sus posiciones relativas.

Estos proveen su propia energía y por ende volumen de iluminación para facilitar su reconocimiento

Marcadores Activos de tiempo modulado: dependen del tiempo de activación y coordinación, se

programan sus amplitudes o pulsos por medio de los nombres de cada marcador

Directores y actores pueden ver y actuar en tiempo real asi como obtener los resultados en un

modelo por CG. Estos marcadores asignados reducen la obtención de información que no se

necesite, es decir que le tecnología es más limpia que otros sistemas de marcadores en cuando a la

obtención de los datos.

Sin marcadores: Una técnica emergente de la investigación en áreas de la visión que lidera el rápido

desenvolvimiento de una captura de movimiento, estos emplean algoritmos de reconocimiento de

siluetas, inclusive son capaces de crear el esqueleto del personaje al que se le va a montar la

información del movimiento .

17

3.2 NO ÓPTICOS Captura de movimientos electromecánica

Los sistemas de captura de movimiento electromecánicos son aquellos sistemas en los que, en

general, la captura de movimiento se realiza utilizando sensores mecánicos.

En el proceso de captura de movimientos, el actor o intérprete viste unos trajes especiales,

adaptables al cuerpo humano. Los trajes son generalmente estructuras rígidas compuestas de barras

metálicas o plásticas unidas mediante potenciómetros colocados en las principales articulaciones. El

actor coloca la estructura en su cuerpo y mientras se mueve el traje se adapta a sus movimientos, y

los potenciómetros recogen datos sobre el grado de apertura de las articulaciones.

Captura de movimientos Magnético

A base de cámaras, triangulación y recorrido de matrices de los gráficos adquiridos se basa en la

digitalización de imágenes, lo cual conlleva a una reducción ostencible en la construcción de dicho

software.

18

3.3 MIRADA A LOS ALGORITMOS

Aquí hay una muestra de lo que se usa para realizar el software de captura de movimiento, el cual

incluye procesamiento de imágenes, desarrollo de plataformas en 3D, ambiente simulado, software

que reconozca hardware sensorial y aplicaciones 3D en general como la animación hasta la realidad

virtual.

.

Imagen captura con una cámara en blanco y negro, con su respectiva umbralización.

19

Imagen con alto contraste Histograma

Un proyecto en base al video1

En el campo de la captura de movimiento las técnicas de substracción de video, son una de las más

sencillas. Esta técnica consiste en tomar una imagen de la escena sin movimiento, a la que

llamaremos “fondo”, y a partir de ahí, restársela a cada nueva imagen capturada en la escena.

*Algoritmo substracción de video

void compararConFondo( Imagen actual , Imagen fondo ){ //parte 1: inicia valores area=0; int totx=0; int toty=0; int maxx=0; int minx=ancho; int maxy=0; int miny=alto; // parte 2: obtiene diferencias absolutas for(int i=0;i<ancho;i++){ for(int j=0;j<alto;j++){

float valor;

valor = Math.abs( readRed(actual,i,j) - readRed(fondo,i,j) ); valor += Math.abs( readGreen(actual,i,j) - readGreen(fondo,i,j) );

2) Tomado de www.proyecto-biopus.com.ar/textos/Emiliano- Algoritmos de captura de movimiento Emiliano Causa

1) Tomado de www.proyecto-biopus.com.ar/textos/Emiliano- Algoritmos de captura de movimiento Emiliano Causa

20

valor += Math.abs( readBlue(actual,i,j) - readBlue(fondo,i,j) ); dife[i][j] = valor; } } // parte 3: promedia valores entre pixeles vecinos for(int g=0;g<cantMedia;g++){ float valor; for(int i=vecindad;i<ancho-vecindad;i++){ for(int j=vecindad;j<alto-vecindad;j++){ valor=0; for(int k=i-vecindad;k<=i+vecindad;k++){ for(int l=j-vecindad;l<=j+vecindad;l++){ valor += dife[k][l]; } } dife[i][j] = valor / (vecindad*2+1) / (vecindad*2+1) ; } } } // parte 4: selecciona píxeles con movimiento en función del umbral // y define los márgenes y área de movimiento for(int i=1 ; i<ancho-1 ; i++){ for(int j=1 ; j<alto-1 ; j++){ if( dife[i][j] > umbral*3 ){ datos[i][j] = 1; area ++; maxx = (i>maxx ? i : maxx); maxy = (j>maxy ? j : maxy); minx= (i<minx ? i : minx); miny = (j<miny ? j : miny); totx += i; toty += j; } else{ datos[i][j] = 0; } } } // parte 5: busca el centro promediando las posiciones de los márgenes if( area > 0 ){ centx = int(totx/area); centy = int(toty/area); } // parte 6: obtiene los márgenes de la región if( area > 0 ){ tMovi = int(miny); bMovi = int(maxy); lMovi = int(minx); rMovi = int(maxx); movAncho = abs(lMovi-rMovi); movAlto = abs(tMovi-bMovi); }

}

*Substracción de componentes con valor absoluto

En la segunda parte del Algoritmo de video, dos ciclos for son los encargados de recorrer todos los

píxeles

de las dos imágenes. El primer ciclo recorre a lo ancho y el segundo a lo alto. En cada paso de los

ciclos, se calcula la diferencia entre los colores de ambas imágenes, esto es, se obtiene la diferencia

por cada componente color (Red, Green y Blue) y se los suma. Esto mediante las funciones

readRed(), readGreen() y readBlue():

float valor;

21

valor = Math.abs( readRed(actual,i,j) - readRed(fondo,i,j) ); valor += Math.abs( readGreen(actual,i,j) - readGreen(fondo,i,j) ); valor += Math.abs( readBlue(actual,i,j) - readBlue(fondo,i,j) )

dife[i][j] = valor;

Promedio de las diferencias de la vecindad

En la tercer parte del Algoritmo 1, se recorre la matriz de diferencias, generada en el paso anterior,

y se promedia cada píxel con su vecindad. Esto se hace para minimizar el ruido. Los píxeles

aislados que poseen diferencias importantes, responden más a la existencia de ruido que a la

captación de una diferencia real, por eso con este método se asegura de que no existen píxeles

aislados con grandes valores.

Esta tecnología trabaja de forma diferente a los sistemas tradicionales ya que se basa en el análisis

del volumen del protagonista y no en la data de rotación y posición obtenida a través de sensores o

marcas.

Para lograrlo primero genera mediante un scanner 3D el modelo digital del actor, luego captura su

performance mediante 8 cámaras de video y por último analiza frame a frame en cada una de las

cámaras su silueta, la compara con la malla 3D y ajusta los vértices para hacerla coincidir con la

filmación.

Este sistema libera al actor de cualquier elemento extra y permite capturar hasta el movimiento del

pelo o la ropa, como se ve en el video.

4. TECNICAS SEMEJANTES

4.1 ANIMACIÓN FACIAL

La más tradicional captura de movimiento llega a manejar de 32 a 300 marcadores combinados,

sean pasivos o activos, para dar mayor resolución, estos marcadores calibran su posición y las

últimas tecnologías usan métodos de interpolación para dar niveles de calidad elevados.

Hoy se ven otros métodos de este tipo de animación como el de la aplicación de químicos

fluorescentes o la del maquillaje que consiste en que al actor se le pone un maquillaje fosforescente

invisible al ojo humano a simple vista, pero visible a varias cámaras que graban la acción desde

distintos ángulos, y en entonces se extraen los patrones de la cara que son iluminados por patrones

aleatorios creados por el maquillaje, los cuales bajos unos algoritmos de triangulación detectan cada

22

punto de la cara de la persona, lo que es suficiente para crear una representación en 3D de la cara

original. Se ven bastantes nuevas técnicas ya que muchos están dedicados solo a esta área de la

captura de movimiento que comprender desde el facilitamiento del lipsync hasta exageración de

gestos en criaturas.

5. CONCLUSIONES

La captura de movimiento como todos los avances permite una facilidad a la hora de hacer una

animación, análisis de movimiento, interpretación de caracteres, simulación y demás aplicaciones ya

mencionadas, estas nuevas tecnologías ahorran pasos que antes eran extenuantes e inclusive

bastante costosos, ya se aprecio que se puede crear métodos sencillos y de no muy alto precio, lo

único que toca tener es esmero.

La revolución informática nos dice que con cada nueva idea se desenvuelven un puñado mas y

gracias a los pioneros de la animación, abstracción del movimiento, fotografía, científicos e inclusive

doctores podemos tener sistemas sofisticados como este que crea más realismo dentro de un

23

mundo virtual con ayuda de algo tan pequeño como un sensor y un marcador que puede ser hasta

una pelota de ping-pong.

Algo mas especifico visto es el planteamiento de la limitación de el sistema, es decir los problemas

que genera el movimiento y la captura de la información, para resolver estos problemas será

necesario aplicar algoritmos de Análisis de Formas para interpretar y así discriminar la dependencia

e independencia entre objetos en movimiento. O en otras palabras la separación de objetos

mediante técnicas como la umbralizacion o el contraste.

6. BIBLIOGRAFIA

www.stt.es/descargas/descripcion_MotionCaptor

www.semac.org.mx/archivos/congreso11/DISE%C3%91O1

manuelmelendezandrade.blogspot.com

en.wikipedia.org/wiki/Motion_capture

www.3dyanimacion.com

www.proyecto-biopus.com.ar/textos/Emiliano

sabia.tic.udc.es/gc/trabajos08-09/Mocap/tecnol

www.proyecto-biopus.com.ar/tuto/instalacion/captura

ieeexplore.ieee.org/xpl/freeabs_all

www.spectrum.ieee.org/blog/consumer-electronics/gaming/sandbox/xbox_motioncapture_cam

Programa EndNote (bibliography management)

[1-40]

1. Velasquez, F. Captura de Movimiento de una Camara Real a una 3D 2005; Available from: http://student.vfs.com/~felipev/tutoriales/camara_3d.htm#.

2. Troje, P.D.N. The Biomotion Lab. 2008; Available from: http://www.biomotionlab.ca/. 3. Systems, V.M. House of moves. 2005; Available from: http://www.moves.com/. 4. Systems, S.R.M., Simi MotionCapture3D. 2009. 5. Space, P. OPTICAL MOTION CAPTURE. 2009; Available from: http://www.phasespace.com/. 6. SonotaCo, Post processing tool for Motion Capture. 2000. 7. software, G., VisualMarker 2006.

24

8. Soft, i. Motion Capture For The Masses. 2008; Available from: http://www.ipisoft.com/. 9. Selva, P.E. SliBase. 2008; Available from:

http://slidertime.blogspot.com/search/label/_my%20downloads. 10. Selva, P.E., How to make you own motion capture video in maya. 2008. 11. Rose, B.B.C., The Process of Motion Capture: Dealing with the Data. 2006. 12. Romero, C. Dispositivo de interfaz humana (HID) basado en Motion Capture Óptico. 2009;

Available from: http://biblioteca.universia.net/html_bura/ficha/params/id/45165224.html. 13. Riedemann, D.v. (2007) Is motion capture animation? 14. Rias, B.f.a.C., processing. 2001. 15. Research, E. Measurement and Analysis of Mechanical Motion and Related Parameters.

2001; Available from: http://www.euclidres.com/. 16. Orman, M. Michael Gleicher Nicola Ferrier. 2009; Available from: http://tyrell-innovations-

usa.com/shop/index.php?option=com_content&view=article&id=9&Itemid=8. 17. OptiTrack. Motion Capture optical solutions. 2009; Available from:

http://www.naturalpoint.com/optitrack/. 18. Nimoy, J. Myron. 2003; Available from: http://webcamxtra.sourceforge.net/index.shtml. 19. Mendez, M. Sistema de Captura de Movimiento (MOCAP) y otros Trucos 2009; 1]. Available

from: http://manuelmelendezandrade.blogspot.com/. 20. Liverman, M., The Animator's Motion Capture Guide: Organizing, Managing, and Editing.

2005. 21. lever, N., Real-time 3D character animation with Visual C++. 2002. 22. Kirillov, A. Motion Detection Algorithms. 2007; Available from:

http://www.codeproject.com/KB/audio-video/Motion_Detection.aspx. 23. Hodgins, L.B.a.J. (2008) Animating Non-Human Characters using Human Motion Capture

Data. 24. Hodgins, J. Computer Animation. 1998; Available from:

http://www.cc.gatech.edu/classes/cs8113a_98_spring/. 25. Henson, J., Performance / Motion Capture (MoCap) & Control. 2004. 26. Hasler, N., Markerless Motion Capture with Unsynchronized Moving Cameras. 2007. 27. Gauthier, J.-M., Character animation using motion capture files in Maya. 2007. 28. Furniss, M. (2008) Motion Capture 29. Furniss, M. (2005) Motion Capture. 30. Ferrier, M.G.N. (2002) Evaluating Video-Based Motion Capture. 31. Costas, T.P.y.M.R. Tutorial de captura óptica de movimiento y análisis de gesto corporal con

Max-MSP-Jiiter. 2007; Available from: http://www.proyecto-biopus.com.ar/tuto/instalacion/captura_mov_jitter/index.html.

32. company, S. Maya Motion Capture. 1998; Available from: http://caad.arch.ethz.ch/info/maya/manual/UserGuide/CharSetup/MotionCapture/MotionCaptureTOC.fm.html.

33. Chu, C.-W. (2003) Markerless Kinematic Model and Motion Capture from Volume Sequences. 34. Carpintero, A., software motion detector. 2009. 35. Bowden, R. Recognition and Vision C++ Library. 2005; Available from:

http://www.ee.surrey.ac.uk/CVSSP/. 36. Blog, a., Motion capture posses. 2008. 37. Bailey, D. Imaging Reserach Center. 2009; Available from:

http://www.irc.umbc.edu/research/current.html. 38. B, T. (2008) Is Motion Capture the New Cgi? 39. anonymous, B., Motion Capture Software. 2008. 40. Captura de movimientos electromecánica. 2008; Available from:

http://sabia.tic.udc.es/gc/trabajos08-09/Mocap/tecnol.htm.

25

7. ANEXOS

Anexo 1

Ver articulo de la IEEE

A Mobile Motion Capture Technique Excelling in 3-D Modeling of Temporary Events Por: Iku Yamaguchi Anexo 2

Ver articulo de la IEEE

A Real-time Motion Capture System with Multiple Camera Fusion

Por: Satoshi YONEMOTO, Asuka MATSUMOTO, Daisaku ARITA y Rin-ichiro TANIGUCHI

8. TABLA DE TAREAS GANTT

Ejemplo temporal de las tareas introductorias

Según cada objetivo específico se establecen tareas para que este sea cumplido como meta al final de un tiempo determinado.

Id. Nombre de tarea Comienzo Fin DuraciónOct 2009

11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

1 1s16/10/200912/10/2009Investigación introducción

2 1s23/10/200919/10/2009Investigación Aplicación

3 1s30/10/200926/10/2009Investigación Antecedentes