Análise Computacional de Estruturas em Imagenstavares/downloads/publications/comunicacoes/... · Análise de Estruturas • Alinhamento – É uma tarefa habitualmente necessária

Análise Computacional de Estruturasem Imagens

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Mestrado Integrado em Engenharia Biomédica

Porto, 10 Dezembro 2012

Sumário

1. Apresentação

2. Análise Computacional de Estruturas em Imagens

i. Introdução

ii. Análise de Movimento e Deformação: Seguimento, Emparelhamento, Alinhamento e Simulação

iii. Visão 3D

3. Equipa

4. Eventos & Publicações

2Análise Computacional de Estruturas em Imagens2012@João Manuel R. S. Tavares

Apresentação

Apresentação• Prof. Associado no Dep. de Eng. Mecânica (DEMec) da

FEUP• Investigador Sénior e Coordenador de Projecto no Lab. de

Óptica e Mecânica Experimental (LOME) do INEGI• Doutorado e Mestre em Eng. Electrotécnica e de

Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem)

• Licenciado em Eng. Mecânica (FEUP)• Áreas de Investigação: Processamento e Análise de

Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana

2012@João Manuel R. S. Tavares Análise Computacional de Estruturas em Imagens 4

Processamento e Análise de Imagem: Introdução

Introdução• O sistema sensorial de visão tem elevada importância

para grande parte dos seres vivos

– Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento

– Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise de movimento), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (Visão 3D)


Introdução• Os investigadores da área do Processamento e Análise

de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos


Imagensoriginais

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3Dvoxalizado e poligonizado

Introdução• Algoritmos de Processamento e Análise de Imagem

são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em:– Ciências naturais, Desporto– Engenharia, Indústria– Medicina, Biologia

• Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem:– Remoção de ruído, Correcção geométrica– Segmentação, Reconhecimento (2D-4D)– Seguimento e análise de movimento, incluindo

emparelhamento, alinhamento e simulação (2D-4D)– Visão 3D


Introdução: Processamento e Análise de Imagem – Operações e Objectivos

Análise Computacional de Estruturas em Imagens 9

Melhoramento de imagem

Segmentação de imagem / extração de características

seguimento

emparelhamento

simulação

Imagem /imagens

Análise de movimento alinhamento

Processamento de Imagem

Análise de Imagem /Visão Computacional

2012@João Manuel R. S. Tavares

Visão 3D

Visão por Computador

Introdução• (Pré-)Processamento de Imagem: suavização de ruído

por difusão anisotrópica

102012@João Manuel R. S. Tavares Análise Computacional de Estruturas em Imagens

• Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR


Imagens originais Após segmentação

Bastos & Tavares (2004) LNCS 3179:39-50

Segmentação

camada de contacto+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada transparente

Análise Computacional de Estruturas em Imagens: Seguimento,

Emparelhamento, Alinhamento e Simulação

Seguimento• Pretende-se seguir o movimento e/ou a deformação de

estruturas em sequências de imagem (2D/3D)• Nesta área, destacam-se as técnicas baseadas em fluxo

óptico, emparelhamento de blocos e em métodos estocásticos

• Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação

• Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc.

Análise Computacional de Estruturas em Imagens 132012@João Manuel R. S. Tavares

Seguimento• Plataforma desenvolvida para

seguimento de entidades (pontos/ rectas) em sequências deimagem: filtro de Kalman oufiltro Unscented Kalman,otimização, distância deMahalanobis, modelo degestão

Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92Pinho & Tavares (2009) VipIMAGE 2009, 299-304 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75


Seguimento• Seguimento de marcas em análise da marcha: filtro de

Kalman, distância de Mahalanobis, otimização, modelo de gestão

Previsão Incerteza Medição Correspondência Resultado

Pinho et al. (2005) ICCB 2005, 915-926Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

(5 frames)


Sousa et al. (2007) ISHF2007, 331-340Sousa et al. (2007) ICCB2007, 291-296

Seguimento• Análise da marcha com deteção de

eventos: filtro de Kalman, distânciade Mahalanobis, otimização


Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92

(547 frames)

Seguimento• Seguimento de ratos em sequências longas de imagem:

filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão


Análise de Estruturas• Emparelhamento

– É uma das tarefas mais usuais em Visão Computacional, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc.

– Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier

– Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc.


Emparelhamento• Emparelhamento de contornos em imagens: modelação

física/geométrica, análise modal, otimização


Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis 339-368


• Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização

Emparelhamento


Imagens originais Contornosemparelhados

Bastos & Tavares (2004) LNCS 3179:39-50Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


camada de contacto+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada transparente

Emparelhamento• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal, otimização


Imagem de pedobarografia

dinâmica

Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento dedois contornos

Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)

Emparelhamento entre iso-contornos (2 vistas)


Análise de Estruturas• Alinhamento

– É uma tarefa habitualmente necessária para comparar estruturas representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas

– O alinhamento é geralmente essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens

– Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida, ou pela minimização de uma medida de semelhança

– Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc.


Alinhamento• Alinhamento de contornos em imagens: modelação

geométrica/física, otimização, programação dinâmica


Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110

Alinhamento• Alinhamento de imagens de pedobarografia: modelação

geométrica, otimização, programação dinâmica

Imagens originais e contornos extraídos

Contornos emparelhados e imagens antes e após alinhamento

Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623242012@João Manuel R. S. Tavares Análise Computacional de Estruturas em Imagens

Alinhamento• Alinhamento de imagens de pedobarografia:

transformada de Fourier

Imagens originais Imagens antes e após alinhamento

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740


Alinhamento• Alinhamento de imagens de pedobarografia: método

híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de semelhança (MSE/MI/XOR)

Imagens originais, antes e após alinhamento

Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3):313-323


Alinhamento• Alinhamento de imagens de pedobarografia para

identificação (esq. / direito), extração de medidas e índices

Imagens originais, após normalização, contornos e áreas identificadas

Oliveira et al. 2012 Computer Methods in Biomechanics and Biomedical Engineering 15(11):1181-1188


Alinhamento• Alinhamento de imagens de uma mesma modalidade:

alinhamento de contornos – cont.

Suavização

Extracção do contorno (Corpus Callosum)

Extracção do

contorno

Binarização




Imagensa alinhar

Contornos antes e após emparelhamento





30

Imagens Alinhadas

Imagemoriginais

Soma

Soma Diferença




maximização direta da correlação cruzada (transformada de Fourier)

31

Imagens Alinhadas

Imagem originais(RM - proton density)

Soma

Soma Diferença

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740


Alinhamento• Alinhamento intermodal (CT/RM): otimização pelo

Método de Powell (otimização) de medida de semelhança (MI)

32

Imagens Alinhadas

Imagemoriginais

CT RM CT+RM

CT+RM Diferença CT+RM

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323


Imagem modelo Imagem a alinhar

Imagem alinhada

Pré-alinhamento usando transformação rígida

Novo pré-alinhamento usando transformação afim

Alinhamento curvo “grosseiro” usando B-splines

Alinhamento “fino” usando B-splines

Metodologia implementada com recurso ao Insight Toolkit (ITK)


Alinhamento• Otimização iterativa e alinhamento 3D curvo usando B-

splines – cont.

33Análise Computacional de Estruturas em Imagens

• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.

Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, ∆t: 8.5 meses)

(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)


Alinhamento


Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)


Alinhamento• Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D – cont.


Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)


Alinhamento• Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D – cont.




Xadrez das imagens pré-alinhamento (CT, cérebro – duas pessoas)

Alinhamento




Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim)

Alinhamento




Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)

Alinhamento

39

Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855

Análise Computacional de Estruturas em Imagens

Aplicações no estudo de imagens DaTSCAN SPECT


Alinhamento


Imagens DaTSCAN SPECT são usadas para auxiliar o diagnostico da doença de Parkinson e para a distinguir de outras doenças degenerativas. A solução desenvolvida é capaz de:

– Segmentar as áreas relevantes e realizar análises dimensionais– Quantificar os potenciais de ligação da basal ganglia– Computação automática de dados estatísticos relativamente a uma

população de referência

Normal Alzheimer Parkinsonismo idiopático

Tremor essencial


Alinhamento


Slice médio de uma população usado como referência

Slicecorrespondente de um paciente

Diferença de intensidades

Mapeamento dos Z-scores no slice (a vermelho valores mais elevados)

(Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação)

Oliveira & Tavares. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (submitted)

Aplicação no estudo de imagens DaTSCAN SPECT

Alinhamento• Alinhamento de sequências de imagem 2D: alinhamento

espacial e temporal

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850Oliveira & Tavares. (2012) Medical & Biological Engineering & Computing DOI:10.1007/s11517-012-0988-3


Alinhamento• Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e temporal

43

Sequências originais antes do alinhamento

Sequências pré-processadas

Sequências de imagem originais

Sequências após alinhamento

camada de contacto + vidro

câmara espelho




Alinhamento• Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e temporal

44

Sequências originais antes do alinhamento

Sequências pré-processadas

Sequências de imagem originais

Sequências após alinhamento




Análise de Estruturas• Simulação

– É uma tarefa muito usada em Computação Gráfica (morphing)mas também muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc.

– Geralmente é conseguida através da consideração de transformações geométricas

– No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM)

• Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais

• Fase de emparelhamento das estruturas torna-se crucial

2012@João Manuel R. S. Tavares 45Análise Computacional de Estruturas em Imagens

Simulação


• Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange


• Simulação de contornos em imagens: FEM, análise modal, otimização,equação de Lagrange

Emparelhamento obtido

Deformações simuladas

Simulação


Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Imagens originais


• Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange


Emparelhamentos obtidos

Deformaçõessimuladas

Emparelhamentosobtidos

Deformaçõessimuladas

Imagens originais

Simulação

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Análise Computacional de Estruturas em Imagens: Visão 3D

Visão 3D• Pretende-se obter a forma 3D de estruturas ou a

informação 3D de cenas a partir de imagens 2D• Nesta área, destacam-se: 1) formas exteriores: técnicas

ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, marching cubes e segmentação 3D

• Usualmente, envolve tarefas de calibração, segmentação, alinhamento, triangulação e interpolação

• Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc.


Visão 3D• Reconstrução 3D de objetos a partir de slices:

segmentação 2D, Delaunay, marching cubes

Perdigão et al. (2005) CMNI 2005Pimenta et al. (2006) CompIMAGE 2006, 343-348Alexandre et al. (2007) VipIMAGE 2007, 359-362

2012@João Manuel R. S. Tavares 51Análise Computacional de Estruturas em Imagens

Visão 3D• Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão –cont.


Ma et al. (2012) Medical Engineering & Physics (accepted)

Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina)

Visão 3D• Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão –cont.


Bexiga reconstruida usando informação axial e sagital (2 vistas)

Ma et al. (2012) Medical Engineering & Physics (accepted)

Visão 3D• Reconstrução 3D de órgãos a partir de imagens de

diferentes modalidades: alinhamento, marching cubes, fusão


Oliveira & Tavares. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855

slices coronal, sagital e axial, e segmentação obtidaVisualização 3D após fusão

TC/SPECT

Visão 3D• Reconstrução 3D de cenas a partir de sequências de

imagem: visão estéreo densa


Azevedo et al. (2006) VISAPP 2006, 383-388

Visão 3D• Reconstrução 3D de uma cena a partir de par de

imagens: visão estéreo densa


Mapa de disparidadeobtido

Par de imagens original

Azevedo et al. (2006) VISAPP 2006, 383-388

Visão 3D• Reconstrução 3D de objetos a partir de sequências de

imagem: escavação espacial


Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136

Visão 3D• Reconstrução 3D de objetos a partir de sequências de

imagem: escavação espacial


Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado

Visão 3D


Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

• Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial

Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado

Análise Computacional de Estruturas em Imagens: Sumário

Sumário

• A área da Visão Computacional é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina e em Engenharia

• Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados

• Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver

• Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios

• Para tal, Colaborações são Necessárias e Bem-vindas61Análise Computacional de Estruturas em Imagens2012@João Manuel R. S. Tavares

Equipa

Equipa (Visão Computacional)


• Estudantes de Doutoramento (13):– Concluído: Daniel Moura, Teresa Azevedo, Sandra Rua, Zhen Ma,

Francisco Oliveira– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,

Ilda Reis, João Nunes, Alex Araújo, Roberta Oliveira, Ana Ferreira

• Estudantes de Mestrado (22):– Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves,

Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Pereira, Carolina Tabuas, Diana Cidre, Luís Ferro

– Em curso: Gabriela Queirós, Diogo Faria, Nuno Sousa, Rita Teixeira, Pedro Gomes, Luís Ribeiro

• Estudantes de Graduação (2)– Concluídos: Ricardo Ferreira, Soraia Pimenta

Agradecimentos

• Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos:– PTDC/SAU-BEB/102547/2008– PTDC/SAU-BEB/104992/2008– PTDC/EEA-CRO/103320/2008– UTAustin/CA/0047/2008– UTAustin/MAT/0009/2008– PDTC/EME-PME/81229/2006– PDTC/SAU-BEB/71459/2006– POSC/EEA-SRI/55386/2004


Eventos & Publicações

Webpage (www.fe.up.pt/~tavares)



Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”


Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”

http://www.tandfonline.com/tciv


Lecture Notes in Computational Vision and Biomechanics (LNCV&B)Series Editors: João Manuel R. S. Tavares, Renato Natal JorgeISSN: 2212-9391Publisher: SPRINGER

http://www.springer.com/series/8910


VipIMAGE2013 - IV ECCOMAS Thematic Conference on Computational Vision and Medical Image Processing

Madeira Island, Portugal, October 2013

http://www.fe.up.pt/vipimage

Análise Computacional de Estruturasem Imagens

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Documents

Análise Computacional de Estruturas em Imagenstavares/downloads/publications/comunicacoes/... · Análise de Estruturas • Alinhamento – É uma tarefa habitualmente necessária