Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Análise de Imagem Biomédica e
Desenvolvimento de Dispositivos Médicos
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares
5 Abril 2011
Curso Doutoral em Engenharia Biomédica
Sumário
1. Apresentação
2. Análise de Imagem Biomédica
1. Introdução
2. Segmentação
3. Seguimento de Movimento
4. Análise de Objectos: Emparelhamento, Alinhamento e Simulação
5. Reconstrução 3D
3. Desenvolvimento de Dispositivos Médicos
– Exemplos & Patentes
4. Equipa
5. Eventos & Publicações
2 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Apresentação
Apresentação
• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac.
de Eng. da Universidade do Porto (FEUP)
• Investigador Sénior e Coordenador de Projecto no Lab. de
Óptica e Mecânica Experimental (LOME) do Instituto de
Eng. Mecânica e Gestão Industrial (INEGI)
• Doutorado e Mestre em Eng. Electrotécnica e de
Computadores (FEUP) (com Tese e Dissertação na área do
Processamento e Análise de Imagem)
• Licenciado em Eng. Mecânica (FEUP)
• Áreas de Investigação: Processamento e Análise de
Imagem (segmentação, seguimento, emparelhamento, alinhamento e
reconstrução 3D), Interfaces Homem/Máquina (visualização de
dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 4
Análise de Imagem
Biomédica
Introdução
• O sistema sensorial de visão tem elevada importância
para grande parte dos seres vivos
– Podendo disponibilizar informações de índole básica, como
verificar a existência ou não de obstáculos, ou complexa, como o
seguimento e a análise de movimento
– Operações comuns: identificação (segmentação), seguimento e
reconhecimento de movimento (seguimento e análise),
correspondência e alinhamento (emparelhamento e
alinhamento), interpolação de formas (simulação), obtenção da
forma/informação 3D (reconstrução 3D)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 6
Introdução
• Os investigadores da área do processamento e análise
de imagem tentam desenvolver algoritmos
computacionais para realizar de forma automática, ou
semi-automática, operações e tarefas desenvolvidas
pelos (complexos) sistemas de visão dos seres vivos
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 7
Imagens
originais
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Modelo computacional 3D
voxalizado e poligonizado
Introdução
• Algoritmos de Processamento e Análise de Imagem
são de elevado interesse para a Sociedade, sendo
frequentemente usados, por exemplo, em:
– Medicina, Biologia
– Ciências naturais, Desporto
– Engenharia, Indústria
• Exemplos de tarefas comuns envolvendo algoritmos de
Processamento e Análise de Imagem:
– Remoção de ruído, Correcção geométrica
– Segmentação, Reconhecimento (2D-4D)
– Seguimento e análise de movimento, incluindo emparelhamento,
alinhamento e simulação (2D-4D)
– Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 8
Introdução: Processamento e Análise de Imagem – Operações e Objectivos
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 9
Melhoramento
de imagem Segmentação de imagem /
extracção de características
seguimento
emparelhamento
simulação
Imagem /
imagens
Análise de
movimento alinhamento
Processamento
de Imagem
Análise de Imagem /
Visão Computacional
João Manuel R. S. Tavares
Visão 3D
Visão por
Computador
Análise de Imagem Biomédica:
Segmentação
Segmentação
• Pretende-se identificar de forma automática, ou semi-
automática, os objectos (2D/3D) presentes em imagens
estáticas ou em sequências de imagem
• As técnicas mais comuns são baseadas em
emparelhamento de protótipos, modelações
geométricas, estatísticas e físicas, e redes neuronais
• É uma das operações mais usuais em Análise de
Imagem, sendo frequentemente a primeira “grande”
tarefa considerada
• Problemas envolvidos: ruído, baixa resolução, reduzido
contraste, formas não conhecidas, oclusões parciais,
múltiplas estruturas presentes, etc.
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 11
• Segmentação de contornos em pedobarografia dinâmica:
método de Otsu, operadores morfológicos
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 12
Imagens originais Após segmentação
Bastos & Tavares (2004) LNCS 3179:39-50
Segmentação
camada de contacto
+ vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada
transparente
Segmentação
• Análise do dano em materiais: binarização e análise de
regiões
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 13
Imagem original Após segmentação
Região do dano Medidas obtidas
Marques et al. (2009) Composites Science and Technology 69(14):2376-2382
Albuquerque et al. (2010) Journal of Composite Materials 44(9):1139-1159
Segmentação
• Medição de dureza de materiais: método de Johannsen
and Bille, crescimento de regiões
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 14
Dureza Vickers Dureza Brinell
Filho et al. (2010) Journal of Testing and Evaluation 38(1):88-94
Segmentação
• Análise de microestruturas em materiais: rede neuronal
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 15
Imagens originais Após segmentação
Albuquerque et al. (2008) Nondestructive Testing and Evaluation 23(4):273-283
Albuquerque et al. (2009) NDT & E International 42(7):644-651
Segmentação
• Análise das fases secundárias em materiais em imagens
de microscopia electrónica de varrimento: rede neuronal
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 16
Imagem original Imagem segmentada
Albuquerque et al. (2011) Microscopy Research and Technique 74(1):36-46
Segmentação
• Análise de porosidade de materiais a partir de imagens
de microscopia óptica: rede neuronal
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 17
Imagem original e pixels de treino Imagem segmentada
Albuquerque et al. (2010) Journal of Microscopy 240(1):50-59
Segmentação
• Controlo de um sistema por
linguagem gestual: histogramas de
orientação
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 18
Tavares et al. (2005) International Journal of Advanced Robotic Systems 2(1):39-44
Modo de Execução
Modo de Aprendizagem
Conversão para 256
níveis de cinzento
Cálculo e registo
dos histogramas de
orientação de
cada ordem
1 2
3 4
Aquisição de imagens
de ordem (uma a uma)
Working
g
Aquisição de
imagem de ordem
Conversão para 256
níveis de cinzento
Comparação do histograma
da nova imagem com os
histogramas das imagens de
ordem treinadas
Execução da
ordem
reconhecida
1 3 4
1 2 4
1 2 3
2 3 4
4
2
1
Working
g
Segmentação
• Detecção de tumores na mama a partir de imagens de
mamografia: transformada de Hough
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 19
Chagas et al. (2007) VIPimage 2007, 363-368
Imagem original Após segmentação
Segmentação
• Reconhecimento de objectos em imagens:
emparelhamento de imagem protótipo
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 20
Carvalho & Tavares (2005) CMNI 2005
fft fft
ift
3ift D CC 2ift D CC
max CC
Imagem original
Imagem protótipo
Segmentação
• Segmentação de características: protótipos
deformáveis geométricos
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 21
Carvalho & Tavares (2006) CompIMAGE 2006, 129-134
Carvalho & Tavares (2007) VipIMAGE 2007, 209-215
Exemplo de um
protótipo deformável
Segmentação
• Segmentação de características faciais:
protótipos deformáveis geométricos
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 22
Carvalho & Tavares (2006) CompIMAGE 2006, 129-134
Carvalho & Tavares (2007) VipIMAGE 2007, 209-215
Imagem original e imagens
de campos de energia (força)
Segmentação da íris usando um
protótipo deformável (circulo)
Segmentação do
olho usando um
protótipo deformável
Segmentação
• Segmentação de regiões de pele em imagens: modelos
estatísticos
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 23
Amostras de pele usadas
para construir o modelo
Imagem original e
segmentação obtida
Carvalho & Tavares (2005) CMNI 2005
Carvalho & Tavares (2008) Tékhne VI(9):245-266
Função de probablidade
usada
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 24
Segmentação
• Segmentação do fundo da cena/objecto em sequências
de imagens: modelos estatísticos
Subtracção do
fundo
Detecção do objecto
em movimento
Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008
Imagens
originais
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 25
Segmentação
• Segmentação do fundo da cena/objecto em sequências
de imagens: modelos estatísticos
Subtracção do
fundo
Detecção do objecto
em movimento
Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008
Vasconcelos & Tavares (2011) EUROMECH Colloquium 511
Imagens originais (www.nada.kth.se/cvap/actions)
Segmentação
• Segmentação de objectos em imagens: modelos de
distribuição pontual (i. e. modelos de forma)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 26
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de objectos em imagens: modelos
activos de forma
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 27
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de mãos e faces em imagens: modelos
activos de forma
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 28
Segmentações obtidas (inicial, intermédias e final)
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de objectos em imagens: modelos
activos de aparência
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 29
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de faces em imagens: modelos activos de
aparência
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 30
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Imagem original e segmentações obtidas (inicial, intermédia e final)
Segmentação
• Análise do tracto vocal durante a fala partir de imagens
de ressonância magnética: modelos activos de forma
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 31
Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press)
Segmentação
internmédia II
Imagem
original +
modelo médio
Segmentação
final
Segmentação
intermédia I
Segmentação
• Análise do tracto vocal durante a fala partir de imagens de
ressonância magnética: modelos activos de aparência
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 32
Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press)
Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76
Segmentações
intermédias
Segmentação
inicial
Segmentação
final
Segmentações
intermédias
Segmentação
• Segmentação de objectos em imagens: contornos
activos (i.e. snakes)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 33
Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220
Segmentação
• Segmentação de objectos em imagens: contornos
activos (i.e. snakes)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 34
Imagem original e
contorno inicial
Contorno final
Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220
Segmentação
• Segmentação de objectos em imagens: contorno
deformável, FEM, equação de Lagrange
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 35
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Segmentação
• Segmentação de objectos em imagens: contorno
deformável, FEM, equação de Lagrange
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 36
Imagens originais e contornos iniciais Contornos finais
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
borracha
k = 200N/m
14s
Segmentação
• Segmentação de objectos em imagens: métodos de
level set
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 37
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Segmentação
• Segmentação de objectos em imagens médicas: método
de level set
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 38
Imagem original Segmentação inicial Segmentação final
Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85
Segmentação
• Segmentação do pavimento pélvico a partir de imagens
de ressonância magnética: método de level set,
conhecimento prévio
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 39
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774
Segmentação
• Segmentação do pavimento pélvico feminino a partir de
imagens de ressonância magnética: método de level set,
conhecimento prévio
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 40
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774
Segmentação do pavimento pélvico
Segmentação
• Segmentação de órgãos da cavidade pélvica feminina a
partir de imagens de ressonância magnética: modelos de
level set, conhecimento prévio
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 41
Ma et al. (2011) Computers in Biology and Medicine (submitted)
Ma et al. (2011) Annals of Biomedical Engineering (in revision)
Segmentação de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica
(3 exemplos)
Segmentação
• Nova plataforma para segmentação de imagens
médicas (VC++, OpenCV, ITK)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 42
Interface da plataforma
Ma et al. (2008) CMBBE 2008
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Segmentação
• Segmentação de órgãos da cavidade pélvica da mulher
a partir de imagens de ressonância magnética: nova
plataforma
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 43
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Crescimento de regiões Watershed
Método de Malladi Contorno activo geodesico Level-set framework
Análise de Imagem Biomédica:
Seguimento
Seguimento
• Pretende-se seguir o movimento e/ou a deformação de
estruturas em sequências de imagem (2D/3D)
• Nesta área, destacam-se as técnicas baseadas em fluxo
óptico, emparelhamento de blocos e em métodos
estocásticos
• Usualmente, envolve a estimativa do movimento
envolvido, a gestão das entidades seguidas, a análise
do movimento seguido bem como a sua quantificação
• Problemas envolvidos: movimento não rígido, distorção
geométrica, condições de iluminação variáveis,
oclusão, ruído, múltiplas estruturas, etc.
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 45
Seguimento
• Plataforma desenvolvida para
seguimento de entidades (pontos
/ rectas) em sequências de
imagem: filtro de Kalman ou
filtro Unscented Kalman,
optimização, distância de
Mahalanobis, modelo de
gestão
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 46
Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92
Pinho & Tavares (2009) VipIMAGE 2009, 299-304
Pinho & Tavares (2009) Computer Modeling in Engineering &
Sciences 46(1):51-75
João Manuel R. S. Tavares
Seguimento
• Seguimento de marcas em análise da marcha: filtro de
Kalman, distância de Mahalanobis, optimização, modelo
de gestão
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 47
Previsão Incerteza Medição Correspondência Resultado
Pinho et al. (2005) ICCB 2005, 915-926
Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75
(5 frames)
João Manuel R. S. Tavares
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 48
Sousa et al. (2007) ISHF2007, 331-340
Sousa et al. (2007) ICCB2007, 291-296
Seguimento
• Análise da marcha com detecção de
eventos: filtro de Kalman, distância
de Mahalanobis, optimização
49 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos
Pinho et al. (2005) LSCCS, Vol. 4A:463-466
Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92
(547 frames)
Seguimento
• Seguimento de ratos em sequências longas de imagem:
filtro de Kalman, distância de Mahalanobis,
optimização, modelo de gestão
João Manuel R. S. Tavares
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 50
Seguimento
• Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF)
#15 #16 #17
KF
UKF
(22 frames)
João Manuel R. S. Tavares
+ previsão
x medição
x correcção
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 51
Seguimento
• Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –
cont.
Resultados do filtro de
Kalman
Resultados do filtro Unscented
Kalman
João Manuel R. S. Tavares
(22 frames)
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 52
Seguimento
• Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –
cont.
João Manuel R. S. Tavares
(22 frames)
Erro de seguimento (previsão/estado real)
Análise de Imagem Biomédica:
Emparelhamento, Alinhamento
e Simulação – Análise de
Objectos
Análise de Objectos
• Emparelhamento
– É uma das tarefas mais usuais em Processamento e Análise de
Imagem, por exemplo, para alinhar estruturas, reconhecer
estruturas, obter informação 3D, analisar movimento, etc.
– Geralmente é conseguido através da consideração de
características invariantes, como a curvatura, ou de
deslocamentos (assinaturas) em espaços globais/próprios,
como no espaço modal ou de Fourier
– Problemas envolvidos: oclusão, deformações não rígidas,
variações elevadas de forma, etc.
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 54
Análise de Objectos
• Alinhamento
– É uma tarefa habitualmente necessária para comparar objectos
representados em imagens adquiridas em instantes de tempo
distintos ou segundo diferentes condições/técnicas
– O alinhamento é essencial, por exemplo, em medicina para
analisar a evolução de patologias a partir de imagens
– Geralmente é conseguido através da consideração de
características invariantes, como pontos de curvatura máxima,
emparelhamento e estimativa da transformação envolvida
– Problemas envolvidos: características não determinadas
facilmente, deformações não rígidas, variações elevadas de
forma, etc.
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 55
Análise de Objectos
• Simulação
– É uma tarefa muito usada em Computação Gráfica (morphing)
mas também muito útil em Análise de Imagem, por exemplo, para
estimar a deformação existente entre duas estruturas distintas
ou entre dois instantes de uma mesma estrutura, estimar as
transições entre duas formas adquiridas com espaçamento
temporal elevado, etc.
– Geralmente é conseguida através da consideração de
transformações geométricas
– No entanto, quando se deve considerar o comportamento físico
das estruturas envolvidas, devem ser usadas metodologias e
modelações físicas (por exemplo, usando FEM)
• Dificuldades comuns são relativas à estimativas das forças
envolvidas e das propriedades adoptadas para os materiais
• Fase de emparelhamento das estruturas torna-se crucial
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 56
Emparelhamento
• Emparelhamento de contornos em imagens: modelação
física/geométrica, análise modal, optimização
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 57
Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541
Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
João Manuel R. S. Tavares
• Emparelhamento de contornos em pedobarografia
dinâmica: FEM, análise modal, optimização
Emparelhamento
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 58
Imagens originais Contornos
emparelhados
Bastos & Tavares (2004) LNCS 3179:39-50
Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
João Manuel R. S. Tavares
camada de contacto
+ vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada
transparente
Emparelhamento
• Emparelhamento de contornos e superfícies em
pedobarografia dinâmica: FEM, análise modal,
optimização
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 59
Imagem de
pedobarografia
diâmica
Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20
Emparelhamento de
dois contornos
Emparelhamento entre duas superficies de intensidade (presão) (2 vistas)
Emparelhamento entre iso-contornos (2 vistas)
João Manuel R. S. Tavares
• Emparelhamento de contornos e superfícies em
pedobarografia dinâmica: FEM, análise modal,
optimização
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 60
Emparelhamentos obtidos
entre iso-contornos
Emparelhamentos obtidos
entre superfícies
Bastos & Tavares (2004) LNCS 3179:39-50
Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20
Emparelhamento
Alinhamento
• Alinhamento de contornos em imagens: modelação
geométrica/física, optimização, programação dinâmica
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 61
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de contornos em imagens: modelação
geométrica, optimização, programação dinâmica
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 62
Imagens originais e
contornos extraidos
Contornos
emparelhados antes
do alinhamento
Contornos após
alinhamento
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11
Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia: modelação
geométrica, optimização, programação dinâmica
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 63
Imagens originais e contornos
extraídos Contornos emparelhados e imagens
antes e após alinhamento
Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia:
transformada de Fourier
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 64
Imagens originais Imagens antes e após
alinhamento
Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia: método
híbrido: Alinhamento de Contornos ou Alinhamento
baseado na transformada de Fourier + Optimização de
semelhança
– MSE/MI/XOR
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 65
Imagens originais Imagens antes e após
alinhamento
Oliveira & Tavares 2011 Medical & Biological
Engineering & Computing 49(3):313-323
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia para
identificação (esq. / direito), extracção de medidas e
índices
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 66
Imagens originais, após normalização,
contornos e áreas identificadas
Oliveira et al. 2011 Computer
Methods in Biomechanics and
Biomedical Engineering (in press)
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de sequências de imagem de
pedobarografia dinâmica: alinhamento espacial e
temporal
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 67 João Manuel R. S. Tavares
Oliveira et al. 2011 Medical &
Biological Engineering & Computing
(in press)
Alinhamento
• Alinhamento de sequências de imagem de
pedobarografia dinâmica: alinhamento espacial e
temporal
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos
68
João Manuel R. S. Tavares
Sequências originais
antes do alinhamento
Sequências pré-
processadas
Sequências de
imagem originais
Sequências após
alinhamento
68
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing (in press)
Alinhamento
• Alinhamento de sequências de imagem de
pedobarografia dinâmica: alinhamento espacial e
temporal
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos
69
João Manuel R. S. Tavares
Sequências originais
antes do alinhamento
Sequências pré-
processadas
Sequências de
imagem originais
Sequências após
alinhamento
69
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing (in press)
Simulação
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 70
• Simulação (morphing) física de contornos em imagens:
FEM, análise modal, optimização, eq. de Lagrange
João Manuel R. S. Tavares
• Simulação de contornos em imagens: FEM, análise
modal, optimização,
equação de Lagrange
Emparelhamento
obtido
Deformações
simuladas
Simulação
Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 71
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Imagens originais
João Manuel R. S. Tavares
• Simulação de contornos em imagens: FEM, análise
modal, optimização, equação de Lagrange
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 72
Emparelhamentos
obtidos
Deformações
simuladas
Emparelhamentos
obtidos Deformações
simuladas
Imagens originais
Simulação
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Análise de Imagem Biomédica:
Reconstrução 3D
Reconstrução 3D
• Pretende-se obter a forma 3D de objectos ou a
informação 3D de cenas a partir de imagens 2D
• Nesta área, destacam-se: 1) formas exteriores: técnicas
activas (com projecção de energia ou movimento relativo),
passivas (sem projecção de energia ou movimento relativo)
e de escavação espacial; 2) formas interiores:
segmentação 2D (i.e. contornos) e interpolação, e
segmentação 3D
• Usualmente, envolve tarefas de calibração,
segmentação, emparelhamento, triangulação e
interpolação
• Problemas envolvidos: distorção geométrica, iluminação
variável, oclusão, ruído, formas complexas, etc.
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 74
Reconstrução 3D
• Reconstrução 3D de objectos a partir de slices:
segmentação 2D, Delaunay, marching cubes
Perdigão et al. (2005) CMNI 2005
Pimenta et al. (2006) CompIMAGE 2006, 343-348
Alexandre et al. (2007) VipIMAGE 2007, 359-362
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 75
Reconstrução 3D
• Reconstrução 3D de órgãos a partir de imagens
médicas: segmentação 2D, Delaunay, marching cubes
Segmentação realizada num
slice e reconstrução 3D obtida
Orgãos do braço reconstruidos 3D Perdigão et al. (2005) CMNI 2005
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 76
Reconstrução 3D
• Reconstrução 3D de órgãos da cavidade pélvica
feminina partir de imagens de ressonância magnética:
segmentação 2D, loft, suavização
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 77
Segmentação 2D
realizada num slice Pavimento pélvico
reconstruído 3D
Órgãos da cavidade
pélvica reconstruídos 3D
Pimenta et al. (2006) CompIMAGE 2006, 343-348
Alexandre et al. (2007) VipIMAGE 2007, 359-362
slices
Reconstrução 3D
• Reconstrução 3D de cenas a partir de sequências de
imagem: visão estéreo densa
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 78
Azevedo et al. (2006) VISAPP 2006, 383-388
Reconstrução 3D
• Reconstrução 3D de uma cena a partir de par de
imagens: visão estéreo densa
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 79
Mapa de disparidade
obtido Par de imagens original
Azevedo et al. (2006) VISAPP 2006, 383-388
Reconstrução 3D
• Reconstrução 3D de objectos a partir de sequências de
imagem: escavação espacial
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 80
Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and
Applications, 117-136
Reconstrução 3D
• Reconstrução 3D de objectos a partir de sequências de
imagem: escavação espacial
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 81
Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and
Applications, 117-136
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Imagens originais Modelo computacional 3D obtido
voxalizado e poligonizado
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 82
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
• Reconstrução 3D de objectos a partir de sequências de
imagem: escavação espacial
Imagens originais Modelo computacional 3D obtido
voxalizado e poligonizado
• Reconstrução 3D da coluna a partir de duas
radiografias 2D e usando um modelo deformável
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 83
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138
Moura et al. (2011) Medical Engineering & Physics (in press)
Interface desenvolvida Modelo ajustado (duas vistas) e
reconstrução obtida
• Reconstrução 3D a partir de radiografias 2D: calibração
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 84
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138
Moura et al. (2011) Medical Engineering & Physics (in press)
Método
desenvolvido
Calibração de um sistema
de Raio-X
• Reconstrução 3D a partir de radiografias 2D: calibração
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 85
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138
Moura et al. (2011) Medical Engineering & Physics (in press)
Estimativa da distância entre a
fonte de Raio-X e a mesa
Duas radiografias de uma coluna seca usada para
validar a calibração e reconstrução 3D obtida
Análise de Imagem Biomédica:
Sumário
Sumário
• A área da Análise de Imagem é complexa e exigente, mas
de elevado interesse em muitos domínios
• Vários desafios existem, como, por exemplo, condições
de aquisição difíceis, oclusão, formas e topologias
complexas, movimentos complicados
• Trabalho considerável já foi desenvolvido, mas existem
ainda muitos desafios importantes e difíceis a resolver
• Métodos e metodologias de outras áreas do
conhecimento, como da Matemática, Mecânica
Computacional, Medicina e Biologia, podem contribuir para
a resolução de tais desafios
• Para tal, Colaborações são Necessárias e Bem-vindas
87 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Desenvolvimento de
Dispositivos Médicos:
Exemplos e Patentes
Dispositivos Médicos
• Design e desenvolvimento de um Sistema para a
Aquisição e Análise do Movimento Mandibular
Íman a colocar na
boca
Arco facial de suporte (Kavo)
Peças materializadas
89 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Desenvolvimento de Produto
• Design e desenvolvimento de um Sistema para a
Aquisição e Análise do Movimento Mandibular
Sistema protótipo desenvolvido
Interface do sistema protótipo
desenvolvido
90 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Santos et al. (2009) Journal of Medical
Engineering & Technology 33(6):437-441
Dispositivos Médicos
• Design e desenvolvimento de otoscópio óptico-
electrónico
Otoscópio base
Membrana sem e com otite
Principio de funcionamento
91 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Design e desenvolvimento de otoscópio óptico-
electrónico
Protótipo desenvolvido
92 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Design, produção e segurança de dispositivos
protésicos
93 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Design e desenvolvimento de um saco colector de urina
para bebes
imagens em CAD 3D
94 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Desenvolvimento de Produto
• Design e desenvolvimento de um saco colector de urina
para bebes
vazamento do silicone no molde fecho das duas metades do molde garantir o preenchimento do silicone
enchimento do silicone por vácuo remoção da peça obtida enchimento do molde
95 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Design e desenvolvimento de próteses para a coluna
Protótipos desenvolvidos para discos intervertebrais da coluna
(cervical e lombar)
96 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Nova metodologia para a selecção de conceitos no
desenvolvimento de dispositivos médicos
97 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Santos et al. (2011) DMDC 2011
Ciclo de Desenvolvimento
de Produto Stent-graft
Dispositivos Médicos
• Patentes
– Nacionais
• Dispositivo para a Medição e Análise da Cor do Ouvido Médio e do Canal
Auditivo
Número de Pedido: INPI 104131, Data de Depósito: 14 de Julho de 2008, Data
da Concessão: 15 de Outubro de 2010
Proprietário: Universidade do Porto – Portugal
Autores: João Manuel R. S. Tavares, José Soeira, Joaquim Gabriel Mendes,
Georgeta Oliveira, Jorge Reis
Situação: Activa
• Dispositivo e Método para a Aquisição e Análise do Movimento Mandibular
Tridimensional
Número de Pedido: 103 691, Data de Depósito: 2007/03/15, Data de
Concessão: 30 de Setembro de 2008
Proprietário: Universidade do Porto – Portugal
Autores: João Manuel R. S. Tavares, Isa Teixeira Santos, Joaquim Gabriel
Mendes, Manuel Pedro da Fonseca Paulo
Situação: Caduca
98 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Patentes
– Internacionais
• “Caixa dinâmica biocompatível para substituição de discos intervertebrais da
coluna”
Número de Pedido: PPI 39086/08, Data de Depósito: 14 de Outubro de 2009,
Extensão Internacional com referência PCT/PT2009/000053
Autores: Manuel Laranjeira Gomes, Ana Mafalda Fontes Pinto dos Reis, João
Manuel R. S. Tavares, Isa Teixeira Santos
Situação: Em Publicação
• “Dispositivo ajustável para substituição de discos intervertebrais da coluna”
Número de Pedido: PPI 39085/08, Data de Depósito: 14 de Outubro de 2009,
Extensão Internacional com referência PCT/PT2009/000052
Autores: Manuel Laranjeira Gomes, Ana Mafalda Fontes Pinto dos Reis, João
Manuel R. S. Tavares, Isa Teixeira Santos
Situação: Em Publicação
99 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Dispositivos Médicos
• Patentes
– Internacionais
• “Dispositivo para a Medição e Análise da Cor do Ouvido Médio e do Canal
Auditivo”
Extensão Internacional com referência: PCT/PT2009/000041, Data de Depósito:
13 de Julho de 2009, Países Designados: AT, BE, BG, CH, CY, CZ, DE, DK,
EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LI, LT, LU, LV, MC, MK, MT. NL,
NO, PL, PT, RO, SE, SI, SK, SM, TR
Proprietário: Universidade do Porto – Portugal
Autores: João Manuel R. S. Tavares, José Soeira, Joaquim Gabriel Mendes,
Georgeta Oliveira, Jorge Reis
Situação: Activa
100 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Equipa
Equipa (Análise de Imagem)
• Estudantes de Doutoramento (13):
– Concluído: Daniel Moura
– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,
Ilda Reis, Teresa Azevedo, Zhen Ma, Elza Chagas, Francisco
Oliveira, António Gomes, João Nunes, Alex Araújo, Sandra Rua
• Estudantes de Mestrado (17):
– Em curso: Elisa Barroso, Ana Jesus, Jorge Pereira, Carolina
Tabuas, Gabriela Queiros, Célia Cruz, Priscila Alves, Diana Cidre
– Concluídos: Frederico Jacob, Daniela Sousa, Francisco Oliveira,
Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos,
Cândida Coelho, Jorge Gonçalves
• Estudantes de pré-Graduação (2)
– Concluídos: Ricardo Ferreira, Soraia Pimenta
102 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Equipa (Desenvolvimento de Produto)
• Estudantes de Doutoramento (1):
– Em curso: Isa Santos
• Estudantes de Mestrado (6):
– Concluídos: Demétrio Matos, Vânia Lima, Rubem Gomes, José
Soeira, Isa Santos, Marco Gomes
103 Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos João Manuel R. S. Tavares
Eventos & Publicações
Webpage (www.fe.up.pt/~tavares)
João Manuel R. S. Tavares Análise de Imagem Biomédica e Desenvolvimento de Dispositivos Médicos 105
Análise de Imagem Biomédica e Desenvolvimento
de Dispositivos Médicos
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares