Alinhamento de Imagens Médicastavares/downloads/publications/... · 2011-05-06 · Resumo – Alinhamento de sequências de imagens 2D • Alinhamento em duas fases com optimização

F. Oliveira & J. Tavares Alinhamento de Imagens Médicas 1

Ciclo de Formações e Actualizações em Radiologia 2010/2011 – Imagem Analógica

vs Digital, 6 e 7 de Maio, ESTSP- IPP

Alinhamento de Imagens Médicas

Francisco P. M. Oliveira, João Manuel R. S. Tavares

[email protected] [email protected]

Resumo

♦ Introdução

– Alinhamento/emparelhamento de imagens

– Aplicações

– Estado da arte

♦ Metodologias e Aplicações

– Alinhamento 2D

• Emparelhamento de contornos

• Maximização directa da correlação cruzada entre as imagens

(usando transformada de Fourier)

• Minimização directa da soma dos quadrados das diferenças

(usando transformadas de Fourier)

• Correlação de fases (usando transformada de Fourier)

• Alinhamento com optimização iterativa

• Resultados


Resumo

– Alinhamento de sequências de imagens 2D

• Alinhamento em duas fases com optimização iterativa

• Resultados

– Alinhamento 3D

• Optimização iterativa: alinhamento curvo usando BSplines

♦ Discussão

– Metodologias de alinhamento

– Medidas de similaridade

♦ Alinhamento usando o software 3D Slicer

– Breve apresentação do software

– Exemplo de alinhamento


Introdução (Alinhamento/emparelhamento de imagens)

F. Oliveira & J. Tavares 4 Alinhamento de Imagens Médicas

Como alinhamento de imagens (registration) considera-se a transformação

das coordenadas de uma imagem de modo que as imagens fiquem

representadas no mesmo sistema de coordenadas (de forma a estruturas

homólogas sobreporem-se)

Exemplo:

Imagem

modelo

Imagem

a alinhar Imagens sobrepostas

antes do alinhamento

Imagens sobrepostas

após o alinhamento

Introdução (Alinhamento/emparelhamento de imagens)


Como emparelhamento (matching) considera-se o estabelecimento de

correspondências entre estruturas homólogas representadas nas imagens.

Exemplo:

Imagens originais e

respectivos contornos

Algumas das

correspondências obtidas

Oliveira F, Tavares J, Pataky T (2009) VIPimage 2009, pp. 269-274.

Introdução (Aplicações)


Aplicações em imagens médicas:

– Auxílio no diagnóstico de patologias:

• Integração/fusão de informação de diferentes modalidades

(CT/PET, MRI/CT, f-MRI/MRI);

• Seguimento das alterações sofridas ao longo do tempo;

– Preparação de intervenções cirúrgicas (relacionando as imagens de

pré-operatório com os planos da cirurgia, realidade física do paciente,

estruturas anatómicas, etc.) e procedimentos rádio-terapêuticos;

– Reconhecimento automático de estruturas;

– Construção de bases de casos clínicos.

Introdução (Estado da arte)


Nos últimos anos tem sido realizada imensa investigação na área do

alinhamento de imagens médicas. As diferentes metodologias de alinhamento

podem ser classificados tendo por base diversos critérios, nomeadamente:

– Dimensionalidade: 2D/2D, 2D/3D, 3D/3D, séries temporais;

– Base do alinhamento: extrínseca (o alinhamento é realizado tendo por

base objectos não pertencentes ao paciente, fixados no interior ou no

exterior do mesmo) ou intrínseca (a base do alinhamento está na

informação extraída do paciente, por exemplo, intensidades, superfícies,

pontos, esqueletos, contornos, etc.);



– Natureza da

transformação:

rígida, semelhança,

afim, projectiva, etc.;

– Domínio da

transformação: local

ou global;

Maintz J, Viergerver M (1998) Medical Image Analysis 2(1):1-37

Imagem

original

Transformação

Global Local

Rígida

Afim

Projectiva

Curva

– Interacção: alinhamento manual, semi-automático ou automático;

– Procedimento de optimização: os parâmetros da transformação

podem ser determinados directamente ou com base numa procura da

transformação que optimiza uma medida de similaridade;

– Modalidades envolvidas: mesma modalidade (CT/CT, MRI/MRI,

PET/PET, etc.), diferentes modalidades (CT/MRI, MRI-T1/MRI-T2,

PET/CT, etc.) ou paciente/modelo (o alinhamento é realizado

relativamente a um modelo sintético);

– Sujeitos: alinhamento de imagens do mesmo paciente, de diferentes

pacientes ou com um atlas;

– Objecto (parte do corpo).





Grande parte das metodologias de alinhamento baseadas na geometria das estruturas extraídas das imagens segue os seguintes passos principais:

– Segmentação (extracção/isolamento das estruturas pretendidas,

nomeadamente, conjunto de pontos, regiões, cantos, contornos,

superfícies, esqueletos, etc.);

– Emparelhamento (estabelecimento de correspondências entre as

estruturas, podendo ser determinadas de forma directa ou iterativa);

– Determinação da transformação geométrica (com base nas

correspondências e no tipo de transformação pretendida, estima-se a

transformação geométrica que minimiza a “distância” entre as

estruturas emparelhadas).



De um modo geral, as metodologias de alinhamento baseadas na intensidade podem ser divididas em dois grandes grupos: 1) directos ou 2) iterativos. O primeiro passo é comum a ambos:

– Preparação das imagens (conforme o algoritmo, podem ser realizadas

operações de pré-processamento sobre as imagens, como por exemplo,

filtragem, determinação de gradientes, selecção de uma zona de

interesse (ROI), etc.).

O segundo passo dos algoritmos directos consiste na:

– Determinação directa da transformação que optimiza a medida de

similaridade considerada (por exemplo, recorrendo à transformada de

Fourier e suas propriedades e ao Teorema da Convolução, é possível

determinar directamente a translação que maximiza a correlação entre as

imagens).



O segundo passo dos algoritmos iterativos consiste na:

– Aplicação de um algoritmo de optimização para maximizar/minimizar

a medida de similaridade considerada (o algoritmo vai sucessivamente

aplicando um conjunto de transformações geométricas e medindo a

similaridade entre a imagem modelo e a imagem transformada,

seguindo o caminho que optimiza a medida de similaridade

considerada e parando quando determinado critério de paragem for

satisfeito).

Nota: Para diminuir a probabilidade do algoritmo convergir para uma

solução local, é comum utilizar-se um esquema de multi-resolução (ou

em pirâmide) ou inicializar-se o algoritmo com um pré-alinhamento.



Algumas medidas de similaridade entre imagens frequentemente utilizadas:

i

fg igifCC

i

g

i

f

i

gf

fg

igif

igif

r22

Coeficiente de correlação (r) Correlação cruzada (CC)

i

fg igif2

SSD

Soma dos quadrados das diferenças (SSD)

i

fg igifN

21SSD

Média do quadrado das diferenças (MSD ou MSE)

Informação mútua (MI)

gfHgHfHMI ,

j k

kjpkjpgfH ,log,,sendo a entropia entre as imagens

Metodologias


Nos últimos anos temos realizado trabalho nas diversas vertentes do

alinhamento/emparelhamento de imagens. Assim, foram desenvolvidas e

implementadas metodologias:

– Baseadas em características extraídas das imagens (pontos e

contornos) e na intensidade dos pixéis das imagens;

– Determinando a transformação geométrica de forma directa e iterativa;

– Usando diferentes transformações geométricas (lineares e curvas);

– Aplicadas:

– Em imagens de um mesmo paciente e de diferentes pacientes;

– Em imagens de uma mesma modalidade e de diferentes modalidades;

– No alinhamento de imagens 2D, 3D e séries temporais de imagens 2D.

F. Oliveira & J. Tavares 15

Metodologias (Emparelhamento de contornos)

Imagem modelo Imagem a alinhar

Imagens alinhadas

Extrair os contornos

Determinar uma matriz de custos

Estabelecer o emparelhamento óptimo

Determinar a transformação geométrica

Alinhar a imagem alvo

A matriz de custos é baseada em características geométricas.

O emparelhamento óptimo é estabelecido tendo por base a minimização dos custos de emparelhamento.

Na optimização do emparelhamento é usada programação dinâmica.


Oliveira F, Tavares J (2009) Computer Modeling in Engineering & Sciences 43(1):91-110

Oliveira F, Tavares J, Pataky T (2009) Journal of Biomechanics 42(15):2620-2623.


Extracção de contornos



Imagem original

Suavização

Binarização Extracção

de um

contorno

Exemplo 1:




Contorno

extraído da

imagem

modelo

Emparelhamento

obtido

Contornos

sobrepostos

Contorno

extraído da

imagem

desalinhada

Emparelhamento dos contornos

Exemplo 1:




Exemplo 1:

Alinhamento:

totalmente

automático;

Tempo total de

processamento:

0.5 s - AMD

Turion64, 2.0

GHz, 1.0GB de

RAM;

Dimensão das

imagens:

217x140 pixéis.

Imagem modelo

CT

Imagem desalinhada

CT

Imagens sobrepostas


Imagens sobrepostas

após alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Alinhamento obtido


Extracção dos contornos e emparelhamento



Imagem modelo (mesa óptica) e

respectivo contorno

Imagem desalinhada (mesa óptica) e

respectivo contorno

Exemplo 2:

Emparelhamento




Exemplo 2:

Alinhamento:

totalmente

automático;

Tempo total de

processamento:

0.125 s - AMD

Turion64, 2.0

GHz, 1.0GB de

RAM;

Dimensão das

imagens:

160x288 pixéis.

Imagem

modelo

Imagem

desalinhada

Imagens sobrepostas


Imagens

sobrepostas

após

alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Alinhamento obtido


Metodologias (Maximização directa da correlação cruzada entre as imagens)

Pressuposto: As imagens estão melhor alinhadas quanto maior for o valor da correlação cruzada entre as mesmas. Fundamentos: Transformar a correlação numa convolução e usar a transformada de Fourier para determinar a convolução.

A transformação geométrica que maximiza a correlação entre as imagens pode ser calculada directamente:


Oliveira F, Pataky T, Tavares J (2010) Computer Methods in Biomechanics and Biomedical Engineering

13(6):731-740.

Imagem

modelo

Imagem

a alinhar

Determinar os

espectros das

imagens

Converter os

espectros para

coordenadas

log-polares

Converter os

espectros em

coordenadas log-

polares para o

espaço de Fourier

Determinar a rotação

e escalamento que

maximiza a

correlação entre os

espectros

Rodar e escalar a

imagem a alinhar

Converter a

imagem rodada

para o espaço de

Fourier

Determinar a

translação

Aplicar a

translação à

imagem rodada

Imagem

alinhada



Exemplo 1:


Alinhamento:

totalmente

automático;

Tempo total de

processamento:

2.1 s - AMD

Turion64, 2.0

GHz, 1.0GB de

RAM;

Dimensão das

imagens:

221x257 píxeis.

Imagem modelo

MRI (proton density)

Imagem desalinhada


Imagens sobrepostas


Imagens sobrepostas

após alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas


Imagens do mesmo pé

Imagens de pés diferentes


Exemplos 2 e 3 (em imagens de pressão plantar):

Origem das

imagens: Footscan;

Alinhamento:

totalmente

automático;

Tempo total de

processamento:

0.04 s - AMD

Turion64, 2.0 GHz,

1.0GB de RAM;

Dimensão das

imagens: 45x63

pixéis.

Transformação

rígida

Transformação

de semelhança

Imagem

modelo

Imagem

desalinhada

Imagens

sobrepostas

antes do

alinhamento

Imagens

sobrepostas

após o

alinhamento


Metodologias (Minimização directa da soma dos quadrados das diferenças entre as

intensidades)

Pressuposto: As imagens estão melhor alinhadas quanto menor for a soma

dos quadrados das diferenças entre as intensidades.

Fundamentos: Transformar a soma dos quadrados das diferenças numa

expressão dependente de uma convolução e usar a transformada de Fourier

para determinar a convolução.

A transformação geométrica que minimiza a soma dos quadrados das

diferenças é determinada directamente recorrendo a um algoritmo

semelhante ao considerado para o caso da correlação cruzada.



13(6):731-740

Fundamentos: Se duas imagens diferem apenas de uma translação, então

as suas transformadas de Fourier diferem apenas na fase. Assim, com base

na comparação das fases é possível estimar a translação entre as imagens. O

algoritmo considerado é similar ao usado para o caso da correlação cruzada.

-90º

Rotação (correlação de fases)


Metodologias (Correlação de fases)



13(6):731-740

0º

90º

15º

Translação

(correlação de fases)

Alinhamento

final

(-29, 8)


Metodologias (Alinhamento com optimização iterativa: imagens 2D)

O algoritmo pára quando não já não consegue optimizar significativamente a medida de similaridade ou outro critério de paragem for atingido.

Fundamento: Este tipo de metodologia é baseado na procura iterativa dos

parâmetros da transformação geométrica que optimiza (maximiza ou

minimiza, conforme o caso) uma medida de similaridade entre as imagens.


Imagem a alinhar Imagem modelo

Alinhamento inicial

(optimização directa)

Determinação da

imagem transformada

Cálculo da medida de

similaridade entre as

imagens

Algoritmo de

optimização

Determinação da

transformação geométrica

Oliveira F, Tavares J (2011) Medical & Biological Engineering & Computing 49(3):313-323


Exemplo 1:

Alinhamento:

totalmente automático

e sem pré-

alinhamento;

Medida de

similaridade: MI;

Tempo total de

processamento: 5.4 s

- AMD Turion64, 2.0

GHz, 1.0GB de RAM;

Dimensão das

imagens: 221x257

pixéis.

Imagem modelo

MRI-T1

Imagem desalinhada


Imagens sobrepostas


Imagens sobrepostas

após alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas



Exemplo 2:

Alinhamento:

totalmente

automático e sem

pré-alinhamento;

Medida de

similaridade: MI;

Tempo total de

processamento:

4.6 s - AMD

Turion64, 2.0 GHz,

1.0GB de RAM;

Dimensão das

imagens: 246x234

pixéis.

Imagem modelo

CT

Imagem desalinhada

MRI

Imagens sobrepostas


Imagens sobrepostas

após alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas



Exemplo 3:

Alinhamento:

totalmente

automático e sem

pré-alinhamento;

Medida de

similaridade: MSE

calculado sobre

uma ROI;

Tempo total de

processamento: 1.6

s - AMD Turion64,

2.0 GHz, 1.0GB de

RAM;

Dimensão das

imagens: 230x216

pixéis.

Imagem modelo

Raio X

Imagem desalinhada

Raio X

Imagens sobrepostas


Imagens sobrepostas

após alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas



Metodologias (Resultados)

Imagens da EMED

(32x55 píxeis)

Imagens do

Footscan

(45x63 píxeis)

Imagens da

plataforma óptica

(160x288 píxeis)

Metodologia usada Erro

residual

[mm]

Tempo

de proc.

[s]

Erro

residual

[mm]

Tempo

de proc.

[s]

Erro

residual

[mm]

Tempo

de proc.

[s]

Emparelhamento de contornos 1.96 0.01 1.22 0.02 1.28 0.20

Maximização da correlação

cruzada

0.25 0.04 0.54 0.04 0.19 2.15

Minimização da soma dos

quadrados das diferenças

0.25 0.05 0.54 0.05 0.19 2.20

Correlação de fases

0.57 0.05 0.60 0.06 0.21 2.49

Optimização iterativa

(medida: MSE; pré-al.: cont.)

<0.01 0.04 <0.01 0.07 <0.01 1.60

Imagens de pressão plantar

Exemplo de

uma

imagem de

pressão

plantar

PC: AMD Turion64, 2.0 GHz, 1.0GB de RAM


Fundamento: Este tipo de metodologia pode ser dividida em duas fases: 1) é determinado um pré-alinhamento espacial e temporal; 2) o alinhamento é optimizado recorrendo a um algoritmo de optimização iterativa, procurando os parâmetros das transformações geométrica e temporal que optimizam (maximiza ou minimiza, conforme o caso) a medida de similaridade entre as sequências de imagens.


Sequência a alinhar Sequência modelo

Alinhamento espacial

e temporal iniciais Determinação da

sequência transformada

no espaço e no tempo

Cálculo da medida de

similaridade entre as

sequências

Algoritmo de

optimização

Determinação das

transformações temporal

e espacial

Oliveira F, Sousa A, Santos R, Tavares J (2011) Medical & Biological Engineering & Computing (in press)

Metodologias (Alinhamento em duas fases com optimização iterativa: sequências

de imagens 2D)


Exemplo 1:

Origem das

sequências: EMED;

Alinhamento:

totalmente

automático;

Medida de

similaridade: MSE;

Tempo total de

processamento: 4 s -

AMD Turion64, 2.0

GHz, 1.0GB de RAM;

Dimensão das

sequências:

32x55x13; 32x55x18

Frame da

sequência

modelo

Frame

correspondente

da sequência

desalinhada

Frames

sobrepostas

Antes do

alinhamento

Depois do

alinhamento


de imagens 2D)

EmedSequence.avi


Exemplo 2:

Origem das

sequências: mesa

óptica;

Alinhamento:

totalmente automático;

Medida de similaridade:

MSE;

Tempo total de

processamento: 1 min -

AMD Turion64, 2.0

GHz, 1.0GB de RAM;

Dimensão das

sequências:

160x288x22;

160x288x25

Antes do

alinhamento

Depois do

alinhamento


de imagens 2D)

Frame da

sequência

modelo

Frame

correspondente

da sequência

desalinhada

Frames

sobrepostas

OpticDeviceSequence.avi


Metodologias (Resultados)

Sequências de imagens de pressão plantar

Grau da

transformação

polinomial

temporal

permitida

Erro residual

espacial

máximo [mm]

Erro residual

temporal

máximo [s]

Tempo de

processamento

médio [s]

1 0.012 0.0002 2.1

2 0.012 0.0002 4.4

3 0.012 0.0003 8.1

4 0.011 0.0003 11.2

Sequências de imagens da plataforma EMED, 25 fps, resolução 2 píxeis/cm2 e aproximadamente 20

imagens por sequência. Valores obtidos minimizando o MSE e considerando transformações espaciais

rígidas (rotações e translações). Transformações de controlo: rígida (espacial), linear (temporal).

PC: AMD Turion64, 2.0 GHz, 1.0GB de RAM.


Metodologias (Optimização iterativa: alinhamento 3D curvo usando BSplines)

Imagem modelo Imagem a alinhar

Imagem alinhada

Pré-alinhamento usando uma transformação rígida

Novo pré-alinhamento usando uma transformação afim

Alinhamento curvo grosseiro usando BSplines

Alinhamento fino usando BSplines

Metodologia baseado na biblioteca Insight Toolkit (ITK); http://www.itk.org

Algoritmo:



Exemplo : Xadrez das imagens (CT, tórax) antes do alinhamento

checkerBoardBeforeRegistration.dcm



Exemplo :

Alinhamento: totalmente automático; Medida de similaridade: MI; Tempo total de

processamento: 8 min e 15 s; Dimensão das imagens: 276x236x48 e 276x236x44 píxeis.

PC: AMD Turion64, 2.0 GHz, 1.0GB de RAM

Xadrez das imagens depois do alinhamento

checkerBoardAfterRegistration.dcm


Discussão (Metodologias de alinhamento)

Metodologia baseada no emparelhamento dos contornos

Vantagens:

- Pode ser usada para alinhar imagens de diferentes modalidades;

- Robusta a grandes desalinhamentos, o que permite que seja usada para determinar bons pré-alinhamentos, os quais poderão ser posteriormente usados por outros algoritmos;

- Não contando com o tempo necessário para a extracção dos contornos, esta metodologia pode ser muito rápida;

- Possibilidade de determinação de transformações geométricas não lineares.

Desvantagens:

- Só pode ser aplicada quando for possível a extracção de contornos;

- Elevada sensibilidade à qualidade dos contornos extraídos;

- A qualidade do alinhamento é, em geral, inferior à das outras metodologias apresentadas.



Metodologias baseadas na optimização directa da correlação cruzada, soma dos quadrados das diferenças e correlação de fase.

Vantagens:

- Boa qualidade de alinhamento;

- Robustas a grandes desalinhamentos, o que permite que sejam usadas para determinar bons pré-alinhamentos, os quais poderão ser posteriormente usados por outros algoritmos;

- Robustas a soluções locais (máximos ou mínimos) ;

- Tempo de processamento reduzido e dependente apenas da dimensão das imagens.

Desvantagens:

- Só podem ser aplicadas a imagens da mesma modalidade;

- Só são robustas quando as imagens representam o mesmo campo de visão, isto é, ambas as imagens representam as mesmas estruturas;

- Permite apenas transformações rígidas e de similaridade.




Metodologias baseadas na optimização iterativa

Vantagens:

- Têm capacidade para apresentar elevada precisão;

- Permitem a utilização de diferentes medidas de similaridade, conforme seja mais adequado à situação;

- Podem ser usadas no alinhamento de imagens obtidas de diferentes modalidades, escolhendo adequadamente a medida de similaridade;

- A medida de similaridade pode ser calculada apenas numa ROI;

- Possibilidade de determinação de transformações geométricas lineares e curvas;

- Permitem o alinhamento de imagens 2D, 3D e sequências de imagens.




Metodologia baseada na optimização iterativa

Desvantagens:

- Regra geral, para garantir a convergência para o alinhamento óptimo é necessário que as imagens estejam pouco desalinhadas ou sejam conhecido um bom pré-alinhamento inicial;

- A qualidade do alinhamento pode ser significativamente afectada pela medida de similaridade e algoritmo de optimização considerados;

- Há sempre alguma possibilidade do algoritmo convergir para uma solução local;

- O tempo de processamento pode ser elevado.




Características das medidas de similaridade SSD, MSE, CC e MI:

- As medidas SSD, MSE e CC são adequadas apenas para o alinhamento de

imagens da mesma modalidade;

- Em circunstâncias adequadas (imagens da mesma modalidade com idêntica

distribuição de intensidade e com o mesmo campo de visão), geralmente a

optimização da SSD, MSE ou CC produz um alinhamento idêntico e de boa

qualidade, melhor do que o obtido através da optimização da MI;

- O cálculo da SSD, MSE e CC é mais simples do que o cálculo da MI, pelo que

as primeiras são computacionalmente mais eficientes;

- As medidas SSD, MSE e CC são muito sensíveis a outliers;

- A medida MI é robusta a outliers;

- A medida MI é mais robusta no alinhamento de imagens com diferentes

campos de visão do que as medidas SSD, MSE e CC.


Discussão (Medidas de similaridade)


Alinhamento usando o software 3D Slicer (Breve apresentação

do software)

Características principais:

- É livre, open source e multi-plataforma;

- Permite a visualização, processamento e análise de imagem médica,

nomeadamente a segmentação e alinhamento;

- O processamento pode ser manual, semi-automático ou totalmente

automático;

- É multi-modalidade (CT, MRI, US, medicina nuclear e microscopia);

- O código é maioritariamente escrito em C++.


www.slicer.org


Alinhamento usando o software 3D Slicer (Exemplo de

alinhamento)


../../../../Programas/Slicer3 3.6.2010-11-03/Slicer3.exe

• O primeiro autor agradece à Fundação Gulbenkian a sua bolsa de

Doutoramento.

• Os trabalhos apresentados têm vindo a ser realizados parcialmente

com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em

Portugal, nomeadamente, através dos projectos:

– PTDC/SAU-BEB/102547/2008

– PTDC/SAU-BEB/104992/2008

– PTDC/EEA-CRO/103320/2008

– UTAustin/CA/0047/2008

– UTAustin/MAT/0009/2008

– PDTC/EME-PME/81229/2006

– PDTC/SAU-BEB/71459/2006

– POSC/EEA-SRI/55386/2004

45 F. Oliveira & J. Tavares Alinhamento de Imagens Médicas

Agradecimentos


Francisco P. M. Oliveira, João Manuel R. S. Tavares

[email protected] [email protected]

Alinhamento de Imagens Médicas F. Oliveira & J. Tavares 46

Documents

Alinhamento de Imagens Médicastavares/downloads/publications/... · 2011-05-06 · Resumo – Alinhamento de sequências de imagens 2D • Alinhamento em duas fases com optimização