Motion Capture

P. Rincn1 and E. Zambrano2

1Curso de Computacin Grfica II, Universidad Simn Bolvar, Venezuela2Curso de Computacin Grfica II, Universidad Simn Bolvar, Venezuela

RESUMEN

En el siguiente trabajo se analiza la tcnica de Motion Capture como alternativa para la realizacin de modelosdigitales que simulen un movimiento deseado. Se presentan las ideas que dieron origen a este mtodo, as como lahistoria detrs de su desarrollo. Adems se comparan las ventajas y desventajas con otras tecnologas utilizadas parael mismo propsito y por ltimo se mencionan algunas de sus aplicaciones en la actualidad.

Palabras Clave: Computacin Grfica []: Motion,capture

1. Introduccin

Al observar un corto animado, uno de los factores ms im-portantes es el movimiento de sus personajes, debe ser co-herente, fluido y al mismo tiempo reflejar la personalidad delos participantes en la escena. Lograr estas caractersticas noes nada fcil y es por ello que tcnicas como Motion Capturese utilizan para facilitar el trabajo de los diseadores, per-mitindoles grabar el movimiento (mediante mtodos quese mencionan ms adelante) para luego transponer dichomovimiento en un modelo digital, dando una base base losuficientemente precisa como para lograr un realismo queconfunde al ojo humano al no poder diferenciar a primeravista si lo que ve fue hecho mediante computadoras.

La informacin recopilada mediante Motion Capture (Mo-Cap)ha revolucionado la animacin computarizada en la ul-tima dcada. Tcnicas que editan, transforman y recompo-nen la informacin capturada pueden generar novelas ani-madas de una calidad sin precedentes [VAV07]. Esta tcni-ca ha generado un fuerte debate entre los artistas en el mundode la animacin con respecto a si se deben considerar a loscortos realizados con la ayuda de MoCap como animacinverdadera [Fur99].

El uso de este mtodo se ha expandido durante los ltimosaos a diferentes ramas del entretenimiento entre las quese encuentran los videojuegos, las propagandas e inclusiveaplicaciones mdicas para la rehabilitacin de personas conproblemas en el caminar. El desarrollo de distintas formas degrabar el movimiento utilizando equipos de bajo presupuestoha permitido a desarrolladores darle una gran cantidad denuevos usos al MoCap. [SFC11].

En este trabajo se explica el funcionamiento del Motion Cap-ture, las distintas formas de aplicar esta tcnica, adems deanalizar como se utiliza la informacin obtenida para gener-ar los modelos digitales.

2. Historia del Motion Capture

El primer intento real de copiar el movimiento para animarpersonajes fue el rotoscoping, el cual fue inventado por MaxFleishcher en 1915. Esta tcnica consista en animar directa-mente sobre un movimiento filmado cuadro por cuadro. Unode los usos mas notables ejemplos fue durante la produc-cin de Blanca Nieves y Los siete Enanos. El motion cap-ture tiene sus inicios a finales de los 70s, cuando empez aser factible animar personajes computarizados. Los primerosintentos se basaron en el rotoscoping, utilizando espejos es-peciales que sobreponan videos de actores sobre la pantalladel computador para crear una pose del personaje digital.Esta pose es luego utilizada por el computador como refer-encia para generar una animacin fluida, generalmente lasposes tenan unos pocos cuadros de diferencia.

A principios de la dcada de 1980, Tom Calvert, profesor dekinesiologa y ciencias de la computacin en la universidadSimon Fraser, aadi potenciometros a un cuerpo y utilizla salida del sensor para manejar figuras animadas para es-tudios coreogrficos y el diagnstico de anormalidades delmovimiento.Luego surgen los primeros sistemas de moni-toreo visual, utilizando marcadores especiales en los cuerposde los actores que son monitorizados por varias cmaras, porejemplo Op-Eye y SelSpot. Estos sistemas estaban limitadospor la velocidad en la que pueden ser examinados los mar-cadores, la resolucin de las cmaras y la oclusin de losmarcadores por el cuerpo. En 1988, durante la conferenciaSIGGRAPH de ese ao, Brad deGraf y Michael Warhmanpresentaron Mike the Talking Head [Par09], demostrandopor primera vez una actuacin en tiempo real de un actordigital utilizando motion capture.

En 1988, Rick Lazzarinis, comisionado de la PDI (PacificData Images) cre un dispositivo mecnico capaz de realizarla captura de movimiento de la parte alta del cuerpo y lacabeza, fue llamado exoeskeleton, se basaba en el uso de po-

Universidad Simn Bolvar

tenciometros en cada articulacin. Dicho aparato fue utiliza-do para la realizacin de la pelcula Toys.

En los principios de la decada de los noventa, los proyec-tos utilizando MoCap en computacin grfica comenzarona ser parte protagonista de los trabajos presentados, por loque las compaias pioneras en esta tcnologia comenzarona prosperar (MediaLab, Windlight Studios). En 1992 parapromocionar una lotera de Pennsylvania se crea la primerapropaganda con Motion Capture para animar a una multitudde tickets.

Durante los siguientes aos, se crean nuevos equipos queutilizan distintos metodos para grabar de manera precisa elmovimiento de actores y animales. Con el creciente aumentode la industria cinematogrfica, las empresas de Motion Cap-ture son presionadas por crear equipos de alto rendimientoque logren reflejar un margen de error casi nulo. En la actu-alidad el Motion Capture se encuentra presente en el desar-rollo de pelculas como El seor de los anillos, en videojue-gos super realistas como FIFA 12, y en muchas otras ramasdel entretenimiento.

3. Tcnicas de captura

Existen distintas formas de registrar los cambios de posi-cin realizados por un objeto en movimiento. Estas tc-nicas pueden depender de un traje mecnico, sensoresde movimiento, cmaras e inclusive mediante sensores desonido [VAV07]. Los factores que afectan en la decisin decual mtodo utilizar estan relacionados con el presupuestodisponible y del nivel de realismo al que se desee llegar. Porponer un ejemplo, un traje de MoCap utilizando sensores deinercia puede llegar a costar 80.000$.

Los sistemas pticos o visuales capturan la informacin uti-lizando una o mas cmaras sobreponiendo la proyeccin delobjeto grabado. Luego esta data es procesada para trian-gular la posicin del objeto. Se pueden utilizar materialesretroreflectivos con marcadores (Passive markers) que re-flejan la luz que es generada cerca de las lentes de las c-maras las cuales estan graduadas para que ignoren la piel uotros elementos; LEDs (Active markers) para triangular ladistancia que se desplaz una parte del objeto mediante soft-ware especializado; LEDs sincronizados mediante el uso detemporizadores (Time modulated active markers) los cualesfuncionan como los marcadores activos pero mejorando laprecisin de la captura; LEDs infrarrojos de alta velocidad(Semi-passive imperceptible markers) que utilizando cama-ra infrarrojas detectan los LEDs adheridos al objeto permi-tiendo realizar la grabacin en ambientes con iluminacinnatural; o sin ningn tipo de marcador (Markerless) medi-ante algoritmos diseados para recibir multiples grabacionesde una misma escena, para luego identificar las formas hu-manas con sus movimientos [LSG11].

Con los sistemas no visuales, se utilizan otro tipo de sen-sores para triangular la posicin del objeto. Entre Las tcni-cas de captura de movimiento no visuales se encuentran lossistemas de inercia, que consisten en colocar diminutos sen-sores como giroscopios o acelermetros, que envian la infor-macin que capturan de manera inalmbrica. Conociendo laposicin y la velocidad angular inicial e integrando las infor-maciones que recogen los sensores, es posible determinar laposicin, eje de giro y velocidad angular de cualquier sen-sor. Los datos recogidos por los sensores inerciales (inertial

guidance system) se transmiten a un ordenador, donde luegose procesa la informacin.

En el proceso de captura de movimientos con indumentariaelectromecnica, el actor o intrprete viste unos trajes es-peciales, adaptables al cuerpo humano. Los trajes son gen-eralmente estructuras rgidas compuestas de barras metli-cas o plsticas unidas mediante potencimetros colocadosen las principales articulaciones. Los sistemas de captura demovimiento electromecnicos tienen el problema, con re-specto a otros sistemas de captura de movimientos, de serincapaces de medir translaciones globales: son capaces demedir las posiciones relativas de los miembros, pero no eldesplazamiento del actor en el escenario. Por este motivo,a veces se aade un sensor electromagntico al conjunto,aunque esto implica que podamos tener los problemas tpi-cos de los sistemas electrmagnticos, como la interferenciaproducida por metales, cables, etc. [Doe].

Los sensores magnticos tambin son utilizados para la cap-tura de movimientos. El proceso consiste en en colocaruna coleccin de sensores electromagnticos que miden larelacin espacial con un transmisor cercano. Los sensores secolocan en el cuerpo y se conectan a una unidad electrnicacentral, casi siempre mediante cables. Estn constitudos portres espiras ortogonales que miden el flujo magntico, deter-minando tanto la posicin como la orientacin del sensor. Elproblema de utilizar esta tcnica es que el lugar donde se re-alice la captura debe estar libre de campos electromagnticosque puedan afectar el funcionamiento de los sensores.

Por ltimo, La captura de movimientos mediante el uso defibra ptica radica en utilizar un conjunto de fibras pticasque, al doblarse, atenan la luz trasmitida, permitiendo cal-cular la posicin de las extremidades del cuerpo que se estagrabando. Esta tcnica se ha utilizo en sus inicios para eldiseo de sensores para guantes, pero en la actualidad ya ex-isten trajes de cuerpo completo que usan esta tecnologa.

Cada tcnica tiene sus ventajas y desventajas y su utilizacindepende de los objetivos deseados. Actualmente existenotros mtodos para la captura de movimiento que estan sien-do desarrollados por distintas empresas y/o universidadesdonde el objetivo principal es lograr la mayor precisin decaptura al menor costo posible.

4. Flujo de trabajo

4.1. Preparacin del esqueleto para el personaje 3D

Consiste en preparar el modelo que se desea animar me-diante la informacin recolectada mediante MoCap. Exis-ten algunas restricciones dependiendo de la tcnica utilizadaque restrigen el uso de cierto tipo de esqueletos. En el casode mtodos visuales se debe considerar es que el esqueletodebe tener un parecido al traje que se utiliza para realizarla grabacin de los movimientos, esto con el fin de lograr unresultado lo mas acorde a la realidad posible. En el esqueleto3D, deben definirse las articulaciones y los puntos de unincon las extremidades, para luego colocar los sensores en lospuntos claves del traje (en el caso que se utilicen marcadorespasivos) [KW08].

4.2. Calibracin

El primer tipo de calibracion consiste en preparar el sistemade Motion Capture para que pueda ubicar a todos los sen-

Informe Final 2 Pgina 2

5 APLICACIONES DEL MOTION CAPTURE Universidad Simn Bolvar

sores. Para lograr esto en sistemas visuales, Se debe con-figurar primero las camaras para establecer su posicion conrespecto a las dems para lograr un resultado con la menordistorcin posible. En el caso de los sistemas magnticos,se deben corregir las interferencias de otros campos elec-tromagnticos en la escena. El segundo tipo de calibracinesta relacionada al objetos del cual se quieren grabar susmovimientos. Esta calibracin consiste en indicarle al sis-tema de mocap con que tipo de objeto esta trabajando, en elcaso de actores humanos, se coloca al actor en forma de Tpara que el el sistema MoCap registre el rango de movimien-to"para identificar correctamente y seguir el movimiento delos marcadores.

4.3. Sesiones de captura

Consituye el momento en el cual se realizan las graba-ciones al objeto mediante el sistema de MoCap realizandolos movimientos que se desean trasladar al modelo digital.Cada sesin de grabacin consiste en escenas de 15 a se-gundos donde las camaras registran el movimiento en el es-cenario de los marcadores en el caso de mtodos visuales,mientras que para los otros metodos los sensores registrancualquier tipo de movimiento con respecto al punto dondese encuentran.

4.4. Captura de datos

los archivos que contienen la informacin de movimientoobtenida mediante MoCap dependen del tipo de tcnica uti-lizada. Los mtodos que muestran los resultados en tiem-po real usualmente generan un flujo de informacin que esdirectamente utilizada por los softwares de animacin conla ayuda de extensiones especiales. Los mtodos que uti-lizan herramientas visuales para el reconocer el movimientono generan la data en tiempo real por lo que es necesarioguardar las imgenes capturadas por cada cmara para luegocon la calibracin del escenario triangular la posicion 3D delobjeto. Esta informacin es guardada en archivos (.acm y.asf) para luego ser procesados por programas de animacincomo Maya o SoftImage.

4.5. Post proceso

Cuando la informacin recopilada es editada y limpiada, esaplicada al personaje 3D relacionando los datos con el es-queleto del personaje. En el caso de marcadores, cada uno deestos deben ser asignados a las articulaciones del esqueletoy definir que parte del esqueleto se mueve o rota a causa delmovimiento de los marcadores.

Una vez que el movimiento es aplicado al personaje 3D, serealiza un proceso de depuracin donde los diseadores ob-servan la escena de manera repetitiva arreglando cualquierimperfeccin o detalle que deba ser modificado en el es-queleto.

Por ltimo, La escena es filmada por camaras virtuales en elsoftware de edicion 3D para luego realizar un "pencil test",que consiste en renderizar los cuadros en una baja resolu-cin con el fin de observar la ubicacin de la crama, elmovimiento, la textura, la iluminacin, los efectos especialesy otros elementos de la animacin. Si el resultado es el es-perado, se procede a renderizar la animacin en la resolucin

final deseada, para luego unir las imagenes obtenidas en elvideo final.

5. Aplicaciones del Motion Capture

La mayora de los equipos de MoCap fueron diseados noteniendo en mente el mundo del entretenimiento. Muchos deestos equipos eran utilizados en otros campos como medic-ina o inteligencia militar para luego formar parte de las her-ramientas disponibles para la computacin grfica.

5.1. Medicina

Se utiliza para generar la informacin necesaria en el diseode prtesis, anlisis de la locomocin animal (Gait analy-sis) y anlisis de los atletas en la medicina deportiva. El usode MoCap permite detectar con precisin algun error en elcaminar de un animal para luego generar una solucin ade-cuada. Anteriormente se utilizaba el anlisis de fotografaspara este mismo objetivo pero los resultados no eran igualde eficientes.

5.2. Deportes

El anlisis deportivo es uno de los campos donde ms seutiliza la tcnica de Motion Capture. La informacin 3D re-copilada es usada para mejorar el desempeo de los atle-tas al momento de realizar alguna actividad fsica que in-cluya el movimiento de las extremidades. Esta tcnica per-mite clasificar los diferentes componentes que intervienenen el movimiento del atleta. Se puede tomar por ejemplo elGolf, donde el movimiento del jugador influye directamenteen la trayectoria de la pelota. Los beneficios que se obtienenutilizando MoCap en comparacin con el anlisis de graba-ciones son enormes por lo que actualmente el mercado deMotion Capture se encuentra en plena expansin.

5.3. Entretenimiento

Durante los ltimos 5 aos la industria del entretenimien-to reporta una de las mayores ganacias del mundo, por loque muchas empresas buscan tecnologas que les permitanmejorar sus productos para satisfacer al mercado. Gracias aeste creciente mercado es que el Motion Capture a logra sudesarrollo en tan poco tiempo.

5.3.1. Video Juegos

El motion capture se encuentra presente en practicamentetodos los juegos que incluyan la aparicin de personajes re-alizando movimientos realistas como caminar o correr. Fuela primera de las empresas en utilizar Motion Capture co-mo herramienta para el desarrollo de sus productos. Hace10 aos los resultados logrados mediante MoCap contenianmuchos errores debido a que las tcnicas estaban en plenodesarrollo, pero actualmente los resultados son tan realistasque juegos como LA Noire incluyen el movimiento de lospersonajes (movimiento facial) como parte clave del juego,generando una forma de juego nunca antes vista.

5.3.2. Televisin

El uso de MoCap en esta rea se encuentra limitada por losaltos costos del equipo necesario. Algunas series animadas

3 Informe Final

Universidad Simn Bolvar

como "Jay Jay the Jet Planetilizaron la tcnica para la an-imacin de sus personajes, pero en estos momentos el Mo-tion Capture no se encuentra entre el grupo de herramientasmas utilizadas por los diseadores. Por otro lado en el sectorde publicidad la utilizacin de MoCap va creciendo poco apoco, principalmente para la animacin de equipos mecni-cos.

5.3.3. Pelculas

El nmero de pelculas que han utilizado MoCap para lagrabacin de sus escenas va creciendo con el paso de losaos de manera acelerada. En el mundo del cine las pelcu-la animadas por computadora han sacado del mercado a lascreadas mediante tecnicas de dibujos animados. En esta reaempresas como "Pixar"se rehusan a utilizar MoCap debido aque consideran la tcnica como un atajo on truco para la ani-macin, mientras que otras empresas como "Weta Digital"seespecializan en el uso de MoCap como herramienta para eldesarrollo de sus animaciones.

5.3.4. Derecho

Distintas tcnicas Motion Capture son aplicadas por losforenses para reconstruir videos de eventos. Estos videos sonutilizados como evidencia en juicios como forma de enten-der la opinin de un testigo con respecto al orden de un grupoparticular de acontecimientos. Este tipo de evidencia es mu-cho mas efectiva con los jurados que otro tipo de evidenciademostrativa.

6. Ventajas y Desventajas

En comparacin con las tcnicas tradicionales de modeladopor software, Motion Capture presenta las siguentes venta-jas:

La cantidad de trabajo no depende de la complejidad oduracin como en el caso de tcnicas tradicionales.A los diseadores se les facilita el trabajo de animar variospersonajes o multitudes.Permite modelar las interacciones fsicas con otros ele-mentos de la escena de una manera ms sencilla.Resultados ms rpidos y ms realistasReduce los costes de desarrollo de animaciones frente alas tcnicas clsicas de creacin frame a frame.La cantidad de trabajo no vara tanto con la compleji-dad o longitud de la escena, con respecto a las tcnicastradicionales. Esto permite un mayor nmero de pruebaso variaciones en busca de la escena final.Se recrean fcilmente movimientos complejos y realis-tas, tales como movimientos secundarios, intercambios defuerzas de una manera muy exacta, en comparacin conlos mtodos tradicionales.

En cuanto a las desventajas, destacan:

Se necesita software y hardware especfico para obtener yprocesar los datos.El coste del equipamiento y del personal especializado re-stringe el acceso a las producciones de bajo presupuesto.El sistema de captura puede requerir configuraciones es-pecficas para el espacio en el que es utilizado, dependi-endo de la campo visual utilizado.

Cuando se tienen problemas es ms fcil repetir la sesinde grabacin que tratar de manipular los datos. Solo unospocos sistemas permiten la visin en tiempo real de losdatos para decidir si son correctos o deben ser grabadosde nuevo.La captura en personajes que no posean una forma hu-mana puede llegar a ser muy complicada.Los movimientos que no siguen las leyes de la fsica gen-eralmente no pueden ser capturados.Las tcnicas tradicionales de animacin, tales como lamanipulacin de la forma del personaje, o movimientossecundarios, deben ser aadidos a posteriori.Si el modelo virtual tiene diferentes proporciones al cap-turado, puede que se presenten algunos fallos de colisinentre las extremidades.

7. Conclusiones

En este artculo se describi la tcnica de Motion Capturecomo forma de generar modelos digitales cuyos movimien-tos son lo ms parecidos a la realidad. Se explican cualesfuerons los orgenes de la tcnica y se explican cuales son lasdiferentes maneras de realizar la captura de movientos. Porltimo se presenta una lista de ventajas y desventajas dondese consideran aspectos diversos como el precio de utilizaresta tcnica, o los benificios para el diseador en cuanto arendimiento y calidad.

Referencias[Doe] Mocap - tecnologas de captura de movimiento.http://sabia.tic.udc.es/gc/ContenidosMocap/tecnol.htm/. [Online; accessed 21-March-2012].

[Fur99] FURNISS M.: Motion capture. http://web.mit.edu/comm-forum/papers/furniss.html.

[KW08] KITAGAWA M., WINDSOR B.: MoCap for Artists:Workflow and Techniques for Motion Capture. Focal Press, 2008.

[LSG11] LIU Y., STOLL C., GALL J., SEIDEL H.-P.,THEOBALT C.: Markerless motion capture of interacting char-acters using multi-view image segmentation. In CVPR (2011),IEEE, pp. 12491256.

[Par09] PARENT. R.: Motion capture primer. In Computer Anima-tion Complete: All-in-One: Learn Motion Capture, Characteris-tic, Point-Based, and Maya Winning Techniques. 2009, pp. 7080.

[SFC11] SHOTTON J., FITZGIBBON A. W., COOK M., SHARPT., FINOCCHIO M., MOORE R., KIPMAN A., BLAKE A.: Real-time human pose recognition in parts from single depth images.In CVPR (2011), IEEE, pp. 12971304.

[VAV07] VLASIC D., ADELSBERGER R., VANNUCCI G.,BARNWELL J., GROSS M. H., MATUSIK W., POPOVIC J.: Prac-tical motion capture in everyday surroundings. ACM Trans.Graph. 26, 3 (2007), 35.

Informe Final 4 Pgina 4