Embed Size (px)
Citation preview
Sistema de visión artificial.
Cuantificación de movimientos
G Quintero1, H Di Lorenzo
2, Dr. R. Azor
3, Bioing. G. Jarén
4
1,2,4Instituto de Bioingeniería. Facultad de Ingeniería, Universidad de Mendoza
3Facultad de Ingeniería, Universidad de Mendoza
[email protected], [email protected], [email protected]
Resumen. La cuantificación de movimientos en disciplinas tales como el deporte y la
quinesiología suelen ser de uso frecuente. Existen diversos métodos para realizar estas
mediciones desde simples observaciones hasta el uso de instrumentos mecánicos y digitales.
En general, con los instrumentos mecánicos no es posible realizar un análisis dinámico
mientras que con los métodos observacionales es muy difícil tener una cuantificación objetiva
y por otro lado se dificulta llevar un registro en el tiempo. En el siguiente trabajo se propone un
método de medición de parámetros tales como desplazamientos angulares, velocidades y
aceleraciones basado en el análisis de imágenes de video realizando un seguimiento automático
de los puntos que determinan una articulación. Para la implementación de este método se
utilizaron algoritmos de seguimiento de puntos y se calculó, instante a instante, el ángulo
formado por los segmentos determinados por esos puntos. Se ha logrado un buen seguimiento
de los puntos de referencia y cálculos a velocidades tales que permiten realizar el estudio en
vivo. Por último, se puede mencionar que este método cuenta con la ventaja de contar con toda
la información en formato digital en el momento, pudiendo usarse como entrada a bases de
datos u otros sistemas de información.
1. Introducción
El siguiente artículo presenta un método de cuantificación de parámetros biomecánicos realizado
mediante al análisis de imágenes de video de sujetos de estudio.
Debido al creciente aumento en la potencia y capacidad de cálculo de las computadoras, sumado al
descenso de los costos de las mismas, las técnicas de análisis de imágenes en tiempo real han dejado
de ser prohibitivas.
Por otro lado, la implementación de estos métodos minimiza la necesidad de adosar instrumental de
medición a los sujetos que se desea estudiar. Esto contribuye a que el movimiento evaluado se vea lo
menos afectado por la incidencia subjetiva del sujeto mismo.
Este tipo de sistemas de cuantificación permiten, además, realizar mediciones de parámetros
dinámicos de una manera efectiva y eficaz, realizando un análisis cuadro a cuadro de un video.
El desafío fundamental que presenta esta implementación es el seguimiento de determinados
puntos en un video haciéndolos corresponder con puntos articulares. Para ellos se ha hecho uso de
algoritmos que involucran la estimación del flujo óptico y la determinación de puntos con buenas
características para ser seguidos. El trabajo coordinado de estos algoritmos se utiliza en este trabajo
para implementar la técnica conocida como tracking, que es el seguimiento de puntos u objetos en un
video.
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
En base a lo expuesto, el objetivo de este trabajo es el de implementar un sistema computacional
que adquiera un video desde una cámara comercial de bajo costo y permita al profesional cargar los
puntos que definen a una articulación o cadena cinemática y medir el ángulo, velocidad y aceleración
de la misma.
El sistema apunta a lograr una medición objetiva y a contribuir en la creación de estándares en las
áreas de la quinesiología, rehabilitación y biomecánica deportiva. Permitiendo a los terapeutas y
analistas del movimiento obtener mediciones objetivas y, de esta manera, arribar a conclusiones con
un mayor grado de fiabilidad.
2. Conceptos biomecánicos
2.1. Posición de referencia
Es importante definir una posición de referencia a partir de la cual poder realizar las mediciones y de
esa manera tener un marco de referencia común para poder compararlas entre sí y con medidas
tomadas por otros profesionales.
La posición de referencia anatómica se considera como la posición del sujeto bajo estudio en
bipedestación, con el tronco erguido, los brazos extendidos a lo largo del cuerpo y con las palmas
hacia adelante y los dedos juntos. En cuanto a las piernas, estas deben estar rectas, con los talones
juntos y con los pies paralelos. Es importante aclarar que el sujeto debe estar sano.
2.2. Planos del movimiento
Podemos distinguir tres planos principales:
Plano frontal
Plano sagital
Plano horizontal
El plano frontal, también llamado coronal, es el que divide al cuerpo humano en una parte anterior
y otra posterior. Es paralelo al eje vertical y perpendicular al suelo desde el punto de vista de la
posición de referencia anatómica.
El plano sagital, divide al cuerpo humano en parte derecha e izquierda. Al igual que el plano frontal
es paralelo al eje vertical y perpendicular al suelo.
El plano horizontal, también llamado transversal, divide al cuerpo humano en una parte superior y
otra inferior. Es perpendicular al eje vertical.
Figura 1. Planos del movimiento. En verde el plano transversal, en rojo el plano sagital y en azul el
plano coronal. Imagen extraída de Wikimedia Commons.
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
2.3. Movimientos
La aducción es el movimiento por el cual se acerca un miembro al plano frontal, mientras que la
abducción aleja a los segmentos corporales del mismo plano.
La flexión es el movimiento que se realiza paralelo al plano sagital en dirección anteroposterior
resultando en la aproximación de los segmentos corporales, mientras que la extensión se realiza
paralela al mismo plano y en la misma dirección pero su resultado es el alejamiento de los segmentos
corporales.
La pronación es la rotación hacia adentro tanto del antebrazo para llevar al dorso hacia arriba como
la rotación interna del pie al caminar. La supinación es el movimiento contrario a la pronación que
hace por ejemplo que se muestre la palma de la mano hacia arriba.
2.4. Articulaciones según el movimiento
Podemos distinguir la sinartrosis, la anfiartrosis y la diartrosis.
En las sinartrosis no se distingue movilidad.
En las anfiartrosis la movilidad entre los segmentos unidos es escasa y no posee cápsula articular.
A las diartrosis podemos, a su vez, dividirlas en trocoides y trócleas que poseen solo un grado de
libertad, condíleas con dos grados de libertad, enartrosis que son articulaciones esféricas y artrodias
que permiten movimientos de pequeña amplitud. Las diartrosis poseen cápsula articular.
3. Estimación del flujo óptico
Debido al movimiento relativo entre un observador y la escena aparece un patrón de velocidades
aparentes de los objetos. A este patrón se lo denomina flujo óptico[1].
Por ser el video una secuencia de imágenes, para poder estimar el flujo óptico partimos de la
consideración de que la intensidad de un objeto en el i-ésimo frame es igual a la intensidad del frame
i+1. Esto no tiene por qué ser completamente cierto pero se aproxima muy bien a la realidad en la
mayoría de los casos debido, entre otras cosas, a que el período que transcurre entre dos frames
consecutivos es muy pequeño.
Formalmente podemos escribir:
𝐼 𝑥,𝑦, 𝑡 = 𝐼 𝑥 + 𝛿𝑥,𝑦 + 𝛿𝑦, 𝑡 + 𝛿𝑡 (1)
siendo δx y δy los desplazamientos del punto y δt el período de muestreo del sistema de adquisición
de video.
Resolviendo el segundo término de la ecuación 1 por serie de Taylor y teniendo en cuenta sólo
hasta la derivada primera podemos deducir que:
𝜕𝐼
𝜕𝑥𝑉𝑥 +
𝜕𝐼
𝜕𝑦𝑉𝑦 +
𝜕𝐼
𝜕𝑡= 0 (2)
siendo Vx y Vy las velocidades en las coordenadas (x, y) que determinan el flujo óptico.
La ecuación 2 presenta dos incógnitas por lo que a priori no puede resolverse.
Para solucionar este inconveniente existen diferentes técnicas. En este trabajo se optó por la
solución propuesta por Bruce D. Lucas y Takeo Kanade[2].
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
4. Método de estimación del flujo óptico de Lucas-Kanade
La indeterminación de la ecuación 2 define al problema de apertura. Este, indica que no es posible
determinar el campo de velocidades cuando se observa a través de una ventana muy pequeña[3].
Por ejemplo, la Figura 2 muestra el movimiento de un objeto a través de una ranura estrecha en tres
momentos distintos y consecutivos. En la misma puede verse un movimiento aparente ascendente, es
decir, un observador afirmaría que el objeto se está moviendo sólo de abajo hacia arriba.
Figura 2. Movimiento aparente de un objeto a través de
una ranura en tres instantes consecutivos.
En la Figura 3, se observa la situación real, en donde el objeto se movía de abajo hacia arriba y de
izquierda a derecha.
Figura 3. Situación real del movimiento del objeto.
Esta misma situación sucede cuando se intenta determinar el campo de velocidades para un pixel
en particular.
La solución que propone el método de Lucas-Kanade[2], se basa en el supuesto de que los puntos
vecinos al punto de interés tienen movimientos iguales al mismo (coherencia espacial). Así, se
determina el campo de velocidades para una vecindad del punto de interés. Esta vecindad es
típicamente una ventana de 3x3, 5x5 o 7x7 pixeles[4].
Dado que se considera que todos los puntos tienen el mismo campo de velocidades podemos armar
un sistema de ecuaciones redundante, con el que podemos determinar el campo de velocidades.
Para una ventana de 5x5, tendremos un sistema de 25 ecuaciones (una por pixel) y dos incógnitas
(Vx y Vy).
Ix p1 Iy p1
Ix p2 Iy p2
⋮ ⋮Ix p25 Iy p25
A
VxVy
v
= −
It p1
It p2 ⋮
It p25
t
(3)
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
Se multiplica por AT en ambos miembros para minimizar el sistema de ecuaciones por mínimos
cuadrados[5]
ATA v = ATt (4)
Resolviendo para el campo de velocidades v
v = ATA −1ATt (5)
La condición para resolver este sistema es que el producto ATA tenga inversa.
El utilizar ventanas grandes facilita el seguimiento de movimientos grandes pero por otro lado se
corre el riesgo de violar el principio de coherencia espacial. Un método utilizado para obtener los
beneficios de las ventanas grandes sin perder las ventajas que da usar ventanas pequeñas es el de
implementar el algoritmo de Lucas-Kanade en una pirámide de imágenes de un mismo frame[6]. Así,
se aplica el método en baja resolución con lo que se puede seguir movimientos grandes, y luego se
refina en los niveles de mayor resolución.
5. Utilización del tracking para la cuantificación de los parámetros biomecánicos
Una vez resuelto el seguimiento de los puntos en particular, se pueden utilizar a los mismos para
representar los extremos de los segmentos de una cadena cinemática.
Para obtener el ángulo formado entre los dos segmentos se usa como sistema de referencia el
ángulo superior izquierdo de la imagen. Luego, se obtienen las proyecciones en x e y de cada uno de
los segmentos involucrados. Mediante estas proyecciones se determinan los ángulos que forma cada
segmento en particular con respecto al eje x. Teniendo este ángulo para cada uno de los segmentos, se
calcula el ángulo final interno (el menor ángulo que forman los dos segmentos) como la resta entre el
mayor ángulo menos el menor ángulo. Una vez obtenido éste, se puede obtener el ángulo externo
mediante el conjugado del ángulo interno.
Debido a que el sistema realiza seguimientos frame a frame y siendo conocida la frecuencia de
muestreo pueden obtenerse los datos dinámicos de los ángulos que conforman una cadena cinemática.
Como son la velocidad angular y la aceleración angular. También puede determinarse la trayectoria de
cada punto individual.
Con estos conceptos y técnicas resueltas se procedió a desarrollar un sistema de software capaz de
cargar un video o adquirirlo de una cámara, que integra las herramientas gráficas necesarias para
marcar los puntos de interés y conformar las cadenas cinemáticas deseadas de manera amigable para el
usuario.
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
Figura 4. Ventana principal del software JT, desarrollado en el instituto de bioingeniería de la
Universidad de Mendoza
La Figura 4 muestra la ventana principal del software desarrollado. La misma tiene, a la izquierda,
un panel de visualización y a la derecha un panel de gráficas en la parte superior y de control en la
parte inferior. Desde el panel de visualización pueden marcarse cada uno de los puntos conformantes
de la cadena cinemática a seguir. Además desde este panel pueden elegirse los modos de visualización
como son: on/off de puntos; on/off de segmentos; on/off de ángulos y on/off de la imagen. En este
mismo panel, también se cuenta con las herramientas de zoom para facilitar la localización de los
puntos.
El panel de control, permite el agregado de nuevas cadenas o nuevos puntos individuales. A su vez,
cada uno de los elementos de la cadena puede configurarse según se desee. Así, a cada punto se le
puede asignar un nombre, configurar su visibilidad y si se desea realizar su gráfica de trayectoria o no.
Posibilidades similares se permiten para los segmentos y los ángulos que forman la cadena
cinemática.
El panel superior de gráficas permite realizar la representación del valor, velocidad angular y
aceleración angular de un ángulo especificado. Además, pueden abrirse gráficas adicionales y flotantes
que contengan las representaciones de los parámetros de cada uno de los elementos que hayan sido
cargados al estudio que se esté realizando.
Adicionalmente, el sistema permite guardar los estudios en video o capturar un frame particular.
Por otro lado, gestiona una pequeña base de datos de pacientes que permite llevar un registro y
seguimiento de los mismos en el tiempo.
6. Conclusiones
La técnica de tracking basada en el algoritmo piramidal de Lucas-Kanade ha demostrado ser eficaz
para el seguimiento de puntos que representen extremos segmentos de cadenas cinemáticas teniendo
en cuenta buenas condiciones de luz y utilizando texturas adecuadas.
Para usos deportivos, la limitación está en el frame rate de la cámara más que en la técnica en sí.
Esto es debido a la gran velocidad con la que se realizan los movimientos en la mayoría de los
deportes. Esto se vería resuelto utilizando una cámara de alta velocidad.
Por otra parte, sería deseable extender el sistema de visión a dos cámaras para poder trabajar en
estéreo para eliminar los posibles problemas de perspectiva que acarrea un sistema monocámara. Sin
embargo, para movimientos aproximadamente paralelos al plano de visión de la cámara, los resultados
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
obtenidos en las primeras experiencias han arrojados errores no mayores al 4% con el sujeto a 2m de
la cámara.
En cuanto a la interfaz gráfica de usuario (GUI), hemos logrado un resultado robusto y amigable.
Esto permite que esta técnica de visión artificial pueda ser utilizada por cualquier persona.
Con una cámara estándar de 30fps el sistema resulta ideal para realizar seguimientos en
rehabilitaciones, instalando el sistema en un consultorio.
La representación gráfica de los resultados permite al terapeuta evaluar la evolución con mayor
grado de fiabilidad y de manera más objetiva.
7. Agradecimientos
Los autores agradecen al Instituto de Bioingeniería de la Universidad de Mendoza por la facilitación
de las instalaciones y equipamiento necesario para el desarrollo. A G. Jarén (Argentina) por el apoyo y
asesoramiento en temas de biomecánica.
8. Referencias
[1] A. Burton and J. Radford 1978 “Thinking in Perspective: Critical Essays in the Study of
Thought Processes” Methuen
[2] B. D. Lucas y T. Kanade 1981 “An iterative image registration technique with an
application to stereo vision” Proceedings of the 1981 DARPA Imaging Understand-
ing Workshop 121–130
[3] E. Trucco, A. Verri 1998 “Introductory Techniques for 3-D Computer Vision” Prentice-Hall
192-193
[4] G. Bradski, A. Kaehler 2008 “Learning OpenCV”, Ed. O’Reilly
[5] B. Lucas 1985 “Generalized Image Matching by the Method of Differences” University
Microfilms International
[6] J. Bouguet “Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the
Algorithm” Intel Corporation
XVIII Congreso Argentino de Bioingeniería SABI 2011 - VII Jornadas de Ingeniería Clínica Mar del Plata, 28 al 30 de septiembre de 2011
