Upload
dokhanh
View
215
Download
0
Embed Size (px)
Citation preview
Processamento e Anlise de Imagemem Biomecnica
Joo Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares
Hotel Porto PalcioPorto18-19 Julho 2008
Contedo
Apresentao Introduo Tarefas e Aplicaes
Segmentao Seguimento Emparelhamento e Morphing Reconstruo 3D
Concluses
Joo Manuel R. S. Tavares 2Processamento e Anlise de Imagem em Biomecnica
Apresentao
Apresentao
Prof. Auxiliar no Dep. de Eng. Mecnica e Gesto Industrial (DEMEGI) da Fac. de Eng. da Universidade do Porto (FEUP)
Investigador Snior e Coordenador de Projecto no Lab. de ptica e Mecnica Experimental (LOME) do Instituto de Eng. Mecnica e Gesto Industrial (INEGI)
Doutorado e Mestre em Eng. Electrotcnica e de Computadores (FEUP) (com Tese e Dissertao na rea do Processamento e Anlise de Imagem)
Licenciado em Eng. Mecnica (FEUP) reas de Investigao: Processamento e Anlise de Imagem
(segmentao, seguimento e reconstruo 3D), Interfaces Homem/Mquina (visualizao de dados e percepo humana), Desenvolvimento de Produto (sistemas prottipos biomdicos)
Joo Manuel R. S. Tavares 4Processamento e Anlise de Imagem em Biomecnica
Introduo
Processamento e Anlise de Imagem
O sistema sensorial da viso tem elevada importncia para os seres vivos Podendo disponibilizar informaes de ndole mais bsica, como
verificar a existncia ou no de obstculos, ou de cariz mais complexo, como o seguimento e anlise de movimento
Operaes comuns: identificao (segmentao), seguimento de movimento (seguimento e anlise), correspondncia e alinhamento (emparelhamento e alinhamento), obteno da forma 3D (reconstruo 3D)
Joo Manuel R. S. Tavares 6Processamento e Anlise de Imagem em Biomecnica
Processamento e Anlise de Imagem
Os investigadores desta rea do conhecimento tentam desenvolver algoritmos computacionais para realizar de forma automtica, ou semi-automtica, operaes e tarefas desenvolvidas pelos (complexos) sistemas de viso dos seres vivos
Joo Manuel R. S. Tavares 7Processamento e Anlise de Imagem em Biomecnica 7
Imagensoriginais voxelizado poligonizado
Azevedo et al. 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Spain
Modelo 3D obtido
Processamento e Anlise de Imagem
Exemplos de tarefas mais comuns usando algoritmos de Processamento e Anlise de Imagem so: remoo de rudo, correco geomtrica, compresso, segmentao (2D/3D), seguimento e anlise de movimento (2D/3D), emparelhamento e alinhamento (2D/3D), reconstruo 3D, etc.
Domnios em que so frequentes algoritmos de Processamento e Anlise de Imagem: Medicina, Industria, Engenharia, Biomecnica, Realidade Virtual, etc.
Joo Manuel R. S. Tavares 8Processamento e Anlise de Imagem em Biomecnica
Tarefas e Aplicaes:Segmentao
Segmentao
Pretende-se identificar de forma automtica, ou semi-automtica, as estruturas (2D/3D) presentes numa imagem
As metodologias mais comuns so baseadas em modelizaes estatsticas, geomtricas ou fsicas
uma das operaes mais usuais em Processamento e Anlise de Imagem, sendo frequentemente a primeira grande tarefa considerada
Problemas envolvidos: rudo, baixa resoluo, reduzido contraste, formas no conhecidas, ocluses parciais, mltiplas estruturas presentes, etc.
Joo Manuel R. S. Tavares 10Processamento e Anlise de Imagem em Biomecnica
Exemplo: segmentao de contornos em pedobarografiadinmica
Segmentao
Joo Manuel R. S. Tavares Processamento e Anlise de Imagem em Biomecnica 11
Imagens originais Aps segmentao
Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3
camera mirror
contact layer + glass
reflected light glass
pressureopaque layer
lamp
lamp transparentlayer
Segmentao
Exemplo: segmentao usando modelos pontuais de distribuio
Joo Manuel R. S. Tavares12Processamento e Anlise de Imagem em Biomecnica
Vasconcelos & Tavares 2005, Introduo aos modelos pontuais de distribuio e sua utilizao na segmentao e reconhecimento de objectos em imagens, CMNI 2005, Espaa
Etapas da segmentao numa nova imagem (usando modelo geomtrico)
Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Portugal
Joo Manuel R. S. Tavares Processamento e Anlise de Imagem em Biomecnica 13
Background subtraction method
Foreground object detection method
Segmentao
Exemplo: segmentao usando modelos estatsticos
Vasconcelos & Tavares 2008, Image Segmentation for Human Motion Analysis: Methods and Applications, WCCM8 / ECCOMAS 2008, Italy
Segmentao
Exemplo: segmentao usando um prottipo geomtrico deformvel
Joo Manuel R. S. Tavares 14Processamento e Anlise de Imagem em Biomecnica
Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Portugal
Imagem original e de camposde foras considerados
Prottipo deformvel usado para o olho
Determinao iterativa doolho usando um prottipo
deformvel
Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Portugal
Segmentao
Exemplo: segmentao usando modelos fsicos deformveis (contornos activos - snakes)
Joo Manuel R. S. Tavares 15Processamento e Anlise de Imagem em Biomecnica
Imagem original econtorno inicial
Contorno finalobtido
Tavares et al. 2002, Apresentao de um Banco de Desenvolvimento e Ensaio para Objectos Deformveis, RESI Revista Electrnica de Sistemas de Informao, Vol. 1, No. 1
Segmentao
Exemplo: segmentao usando modelos fsicos deformveis (level-sets)
Joo Manuel R. S. Tavares 16Processamento e Anlise de Imagem em Biomecnica
Imagem original Segmentao inicial Segmentao final obtida
Perdigo et al. 2005, Gerao de modelos de malhas de elementos finitos a partir de imagens mdicas 2D, Encontro_1_Biomecnica, Portugal
Tarefas e Aplicaes:Seguimento
Seguimento
Pretende-se seguir o movimento (e/ou a deformao) de estruturas em sequncias de imagem
Nesta rea, destacam-se as metodologias baseadas em emparelhamento de blocos e em mtodos estocsticos
Usualmente, envolve a estimativa do movimentoenvolvido, a gesto das entidades seguidas, a anlise do movimento seguido bem como a sua quantificao
Problemas envolvidos: movimento no rgido, distoro geomtrica, condies de iluminao, ocluso, rudo, mltiplas estruturas, etc.
Joo Manuel R. S. Tavares 18Processamento e Anlise de Imagem em Biomecnica
Seguimento
Exemplo: seguimento de contornos em pedobarografia dinmica
Joo Manuel R. S. Tavares 19Processamento e Anlise de Imagem em Biomecnica
Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3
Seguimento de contornos
Seguimento
Joo Manuel R. S. Tavares 20Processamento e Anlise de Imagem em Biomecnica
Prediction Uncertainty Area Measurement Correspondence Result
Exemplo: seguimento usando filtragem de Kalman e tcnicas de optimizao
Pinho et al. 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Portugal
Joo Manuel R. S. Tavares Processamento e Anlise de Imagem em Biomecnica
Seguimento
Exemplo: anlise da marcha comdeteco de eventos
Sousa et al. 2007, Registration between Data from Visual Sensors and Force Platform in Gait Event Detection, ISHF2007, PortugalSousa et al. 2007, Selecting Biomechanical Variables for Detect Gait Events using Computational Vision, ICCB 2007, Venuzuela
21
Seguimento
Exemplo: seguimento usando filtragem de Kalman, tcnicas de optimizao e modelo de gesto
Joo Manuel R. S. Tavares 22Processamento e Anlise de Imagem em Biomecnica
Pinho et al. 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2
(547 frames)
Pinho et al. 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A
Tarefas e Aplicaes:Emparelhamento e Morphing
Emparelhamento e Morphing
Joo Manuel R. S. Tavares 24Processamento e Anlise de Imagem em Biomecnica
Emparelhamento uma das tarefas mais usuais em Processamento e Anlise de
Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informao 3D, analisar movimento, etc.
Geralmente conseguido atravs da considerao de caractersticas invariantes, como a curvatura, ou de deslocamentos em espaos globais, como no espao modal
Problemas envolvidos: ocluso, deformaes no rgidas, variaes elevadas de forma, etc.
Emparelhamento e Morphing
Joo Manuel R. S. Tavares 25Processamento e Anlise de Imagem em Biomecnica
Morphing uma tarefa muito usada em Computao Grfica mas tambm
muito til em Processamento e Anlise de Imagem, por exemplo, para estimar a deformao existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transies entre duas formas adquiridas com espaamento temporal elevado, etc.
Geralmente conseguida atravs da considerao de transformaes geomtricas
No entanto, quando se deve considerar o comportamento fsico das estruturas envolvidas, devem ser usadas metodologias e modelizaes fsicas, por exemplo usando FEM
Dificuldades comuns so relativas estimativas das foras envolvidas e das propriedades adoptadas para os materiais (virtuais)
Fase de emparelhamento das estruturas torna-se crucial
Emparelhamento
Exemplo: emparelhamento em pedobarografia dinmica usando modelizao fsica, anlise modal e optimizao
Joo Manuel R. S. Tavares 26Processamento e Anlise de Imagem em Biomecnica
Imagem de pedobarografia
dinmica
Objecto Inicial Objecto Final
Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3
Emparelhamento obtido
Exemplo: emparelhamento em pedobarografia dinmica usando modelizao fsica, anlise modal e optimizao
Joo Manuel R. S. Tavares 27Processamento e Anlise de Imagem em Biomecnica
Emparelhamentos obtidosentre iso-contornos
Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3
Emparelhamentos obtidos entre superficies
Emparelhamento
Morphing
Exemplo: morphing usando modelizao fsica e emparelhamento modal
Joo Manuel R. S. Tavares 28Processamento e Anlise de Imagem em Biomecnica
Emparelhamentos Deformaes estimadas
Gonalves et al. 2007, Simulao da Deformao de Objectos em Imagens segundo Princpios Fsicos, 2 Encontro Nacional de Biomecnica, Portugal
Emparelhamentos Deformaes estimadas
Tavares & Pinho 2005, Estimao Temporal da Deformao entre Objectos utilizando uma Metodologia Fsica, InfoComp, Vol. 4, No. 1
Imagens originais
Tarefas e Aplicaes:Reconstruo 3D
Reconstruo 3D
Pretende-se obter a forma 3D de estruturas a partir de imagens
Nesta rea, destacam-se as metodologias baseadas em: formas exteriores tcnicas activas (com projeco de energia ou movimento relativo), passivas (sem projeco de energia ou movimento relativo) e de escavao espacial; formas interiores segmentao 2D (contornos, por exemplo) e interpolao
Usualmente, envolve tarefas de calibrao, segmentao, emparelhamento, triangulao e interpolao
Problemas envolvidos: distoro geomtrica, condies de iluminao, ocluso, rudo, mltiplas estruturas, formas complexas, etc.
Joo Manuel R. S. Tavares 30Processamento e Anlise de Imagem em Biomecnica
Reconstruo 3D
Exemplo: reconstruo 3D a partir de imagens mdicas
Joo Manuel R. S. Tavares 31Processamento e Anlise de Imagem em Biomecnica
Slices Segmentao
Pimenta et al. 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Portugal
Pavimento plvico reconstrudo
Reconstruo 3D
Exemplo: reconstruo 3D usando escavao espacial
Joo Manuel R. S. Tavares 32Processamento e Anlise de Imagem em Biomecnica
Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal
Imagens originaisvoxelizado poligonizado
Modelo 3D obtido
Reconstruo 3D
Exemplo: reconstruo 3D usando escavao espacial
Joo Manuel R. S. Tavares 33Processamento e Anlise de Imagem em Biomecnica
Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal
Imagens originaisvoxelizado poligonizado
Modelo 3D obtido
Concluses
Concluses
O Processamento e Anlise de Imagem uma rea multidisciplinar com elevada aplicabilidade em vrios domnios
Existem inmeros desafios associados: imagens de baixa qualidade, estruturas complexas e com variaes topolgicas, falta de conhecimento apriori, movimento no rgido, mltiplas estruturas, ocluso, etc.
Muito trabalho j foi desenvolvido mas muito h ainda a fazer, inclusive na validao em contexto real
Um domnio no qual existe um vasto nmero de aplicaes o da Biomecnica: anlise da marcha, pedobarografia, reconstruo 3D, etc.
Joo Manuel R. S. Tavares 35Processamento e Anlise de Imagem em Biomecnica
Equipa
Equipa (Processamento e Anlise de Imagem)
Alunos de Doutoramento (11): Em curso: Raquel Pinho, Patrcia Gonalves, Maria
Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque, Francisco Oliveira, Eduardo Ribeiro
Alunos de Mestrado (17): Em curso: Fernando Carvalho, Mauro Trindade, Lara Quintela,
Andreia Sousa, Frederico Jacob, Diogo Faria, Vernica Marques, Srgio Martins, Carolina Rodrigues
Finalizados: Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Lusa Bastos, Cndida Coelho, Jorge Gonalves (INEB)
Alunos de Licenciatura (2) Finalizados: Ricardo Ferreira, Soraia Pimenta
Joo Manuel R. S. Tavares 37Processamento e Anlise de Imagem em Biomecnica
Equipa (Processamento e Anlise de Imagem)
Colaboradores/Supervisores: Renato Natal Jorge, Joaquim Gabriel Mendes (IDMEC/FEUP) Mrio Vaz, Miguel Angel Guevara (LOME/FEUP) Lus Duro (ISEP) Miguel Velhote, Jorge Barbosa (FEUP) Francisco Freitas, Nuno Correia (INEGI/FEUP) Emlia Mendes (CRPG) Denilson Rodrigues (PUC - Minas Gerais, Brasil) Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH) Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC) Manuel Paulo (FMDUP) Adelino Leite-Moreira (FMUP) Durval Campos Costas (HPP-Medicina Molecular, SA.) Luis Metello (ESTSP)
Joo Manuel R. S. Tavares 38Processamento e Anlise de Imagem em Biomecnica
Agradecimentos
Parte do trabalho apresentado foi desenvolvido no mbito do Projecto de Investigao Segmentao, Seguimento e Anlise de Movimento de Objectos Deformveis (2D/3D) usando Princpios Fsicos financiado pela FCT - Fundao para a Cincia e a Tecnologia em Portugal, com a referncia: POSC/EEA-SRI/55386/2004
Joo Manuel R. S. Tavares Processamento e Anlise de Imagem em Biomecnica 39
Processamento e Anlise de Imagemem Biomecnica
Joo Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares
Hotel Porto PalcioPorto18-19 Julho 2008
Muito Obrigado pelaVossa Ateno!
Colaboraes soBem-Vindas!
Slide Number 1ContedoApresentaoApresentaoIntroduoProcessamento e Anlise de ImagemProcessamento e Anlise de ImagemProcessamento e Anlise de ImagemTarefas e Aplicaes:SegmentaoSegmentaoSegmentaoSegmentaoSegmentaoSegmentaoSegmentaoSegmentaoTarefas e Aplicaes:SeguimentoSeguimentoSeguimentoSeguimentoSeguimentoSeguimentoTarefas e Aplicaes:Emparelhamento e MorphingEmparelhamento e MorphingEmparelhamento e MorphingEmparelhamentoEmparelhamentoMorphingTarefas e Aplicaes:Reconstruo 3DReconstruo 3DReconstruo 3DReconstruo 3DReconstruo 3DConclusesConclusesEquipaEquipa (Processamento e Anlise de Imagem)Equipa (Processamento e Anlise de Imagem)AgradecimentosSlide Number 40