Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Képregisztrációs eljárások
Orvosi képdiagnosztika
2019 ősz
• Két kép egymáshoz igazítása, illesztése
– Példák:
• Időbeli követés
• Eltérő modalitások (PET-CT, Röntgen-MRI, UH-MRI, ...)
fúzió
• Műtét (menet közbeni felvétel előzetes felvétellel való
összevetése)
• Kép alapú egyéb beavatkozás (besugárzás beállítás... )
• Mozgás hatásának kompenzációja
• A regisztrációs eljárások elemei:
– Transzformáció, interpoláció, hasonlósági metrika, optimalizálási
algoritmus
Regisztráció célja
Időbeli követés példa
Korábbi felvétel Későbbi, ellenőrző felvétel
Korábbi felvétel Egyszerű kivonás
Időbeli követés példa
Korábbi felvétel merev regisztráció Merev regisztráció utáni kivonás
Időbeli követés példa
Korábbi felvétel merev regisztráció Későbbi felv. rugalmas regisztrációval
elastic B-spline registration
Időbeli követés példa
Korábbi felv. merev regisztrációval Különbségkép
Időbeli követés példa
• Fúzióra:
– MRI-CT, PET-CT
– CT csontok, MRI lágy részek, PET anyagcsere aktivitás (tumor,
gyulladás
Regisztráció célja
Regisztráció célja
• Feltételezve, hogy a megfeleltetés ismert
keressük azt az f () és g() függvényt, hogy a két kép a lehetőlegjobban illeszkedjen (valamilyen kritérium értelmében)
• I2(x,y)=g (I1(f (x,y))
• f () – 2D képbeli transzformáció
• g() –1D intenzitás transzformáció
• Dimenzió:
• 2D-2D, 2D-3D, 3D-3D
• A regisztráció bázisa
– Jellemzőpontok, objektumok alapján / intenzitás alapon
• Torzítást modellező geometriai transzformáció
– Globális / lokális transzformáció
– Pl. hasonlósági, affin, perspektív, szakaszosan lineáris, RBF alapú, stb.
• Az interaktivitás mértéke
– teljesen automatikus, emberi közreműködés
• Modalitás
– azonos
– különböző (multimodalitás) - fúzió
Regisztráció csoportosítása
Síkbeli geometriai transzformációk
• Hasonlósági transzformációk:
– Eltolás, elforgatás, izotróp skálázást modelleznek
– 2 megfeleltetett pontpár alapján már számítható
• Affin transzfromáció:
– Már nyírást is képes modellezni
– Koordináták felett lineáris – 3 pontpár kell minimum
• Projektív transzformáció:
– Ha projektív torzulás is már jelen lehet
– Homogén koordináták felett lineáris – 4 pontpár kell minimum
• Görbült transzformáció:
– Lokális / elasztikus modellekkel lehet leírni
Hasonlósági transzformáció (Merev transzf.)
• Forgatás (R)
• Eltolás (t)
• Skálázás (s)
2
2
2
x
y
p1
1
1
x
y
p
2 1s p t Rp
cos( ) sin( )
sin( ) cos( )
Rs1
2
t
t
t
Lehetséges nem izotróp skálázással is, úgy viszont már nem hasonlósági transzf.R determinánsa mindig 1.R unitér: T R R I
Affin transzformáció
• Forgatás
• Eltolás
• Skálázás
• Nyírás
• R elemeire (aij) nincs semmi megkötés azon kívül, hogy nem szinguláris
1
1
2221
1211
23
13
2
2
y
x
aa
aa
a
a
y
x
A párhuzamosok párhuzamosak maradnak, síkok/egyenesek síkok/egyenesek maradnak
2 1 p t Rp
Affin transzformáció
• Kiindulás: vegyünk egy euklideszi síkot.
• A síkon vett affin transzformáción egy olyan : bijektív leképezést értünk, amely tetszőleges -beli egyenest -beli egyenesbe képez le.
• Affin transzformáció: a sík egy kölcsönösen egyértelmű, egyenestartó leképezése.
– a) párhuzamos egyeneseket párhuzamos egyenesekbe képez
– b) parallelogrammát parallelogrammába képez
• A sík minden egybevágósági és hasonlósági transzformációja is affin transzformáció.
• Adekvát, ha a kamera és a fényképezett objektum távolsága nagy a kamera által látott területhez viszonyítva.
Projektív transzformáció
• Megtartja az egyeneseket és a síkokat• (x1,y1) eredeti koordináták
• (x2,y2) transzformált koordináták
• aij együtthatók a kép és a síkok egyenleteiből számíthatók
• homogén lineáris transzformáció aij –kből képzett mátrixa nem szinguláris
• Kell, ha már projektív torzulás is lehet
11 1 12 1 13
2
31 1 32 1 33
a x a y ax
a x a y a
21 1 22 1 23
2
31 1 32 1 33
a x a y ay
a x a y a
1
2
1
T
Rp tp
v p11 12
21 22
a a
a a
R13
23
a
a
t31
32
a
a
v 33a
Nemlineáris, globális transzformációk
Globális polinomiális transzformáció
Lehet többváltozós polinom is:
Túl nagy fokszám veszélyei: oszcilláció, túlilleszkedés általában
( ) ( )( ) ( )x yT P x P y
, ,
1 2
1 , 1 1 , 1 1
, ,
I J I J
i j i j
i j i j
i j i j
x y x y
p c c
, 2I J
Nemlineáris, lokális transzformációk
szakaszonkénti polinomokkal
• Motiváció :
– Globális polinomnak túl nagy fokszám kellett volna
– Ha kevés különböző szakasz van, akkor gyorsan számolható
• Szakaszhatárok elsimítása:
– Köbös / spline-al történő interpolációval (szakaszok határás összemossuk a két területen belüli leképzést)
0 1 2 30
0.2
0.4
0.6
0.8
1
0 0.5 1 1.5 20
0.2
0.4
0.6
0.8
1
0 1 2 30
0.2
0.4
0.6
0.8
1
0 1 2 3 40
0.2
0.4
0.6
0.8
1
• Általában alacsony fokszámú polinom + RBF-ek összege:
• Radiális bázisfüggvényes tagok:
– Lokális torzulásokat modellezik
– véges tartójú, radiális függvény
– Tartójuk szabályozza, hogy mennyire globálisak / lokálisak
– N , - k megválsztása nem triviális (heurisztikus módszerek pl. OLS)
– Leggyakrabban a Thin-plate spline-t alkalmazzák:
Nemlineáris, lokális transzformációk
Radiális bázisfüggvényekkel)
1
,N
i
f g
0 1 i ix a A x C x x
,g
ix
22 2, lng i i ix x x x x x
Regisztrációs módszerek
• Jellemző (tipikusan referenciapont) alapú
• Terület alapú (intenzitás / Fourier)
Jellemző alapú regisztráció
• Jellemzők:
– Kiugró (kitüntetett) struktúra elemek. Sarokpontok, görbület lokális maximuma, maximális varianciájú ablak középpontja, egy zárt régió súlypontja, egyenesek metszéspontjai, stb.
– Élek kontúrok, felületek (képi struktúrák, zajra kevésbé érzékeny)
– Statisztikai jellemzők. Momentumok, főtengelyek, információelméleti jellemzők, mennyiségek
– Magasabbszintű jellemzők: szintaktikai jellemzők: a mintákból származtatott nyelvtan,
– ...
Pont leképezés alapú regisztráció
• Referenciapontok meghatározása :
– anatómiai jelentéssel rendelkező pontok
– egyéb markerpontok: jól megkülönböztethető, azonosítható pontok
– Fontos, hogy diszkriminatívak, pontosan lokalizálhatóak és torzítás invariánsak legyenek
• Konkrét probléma dönti el, hogy mi lehet ilyen
• Pl. sarokpontok
– Akár kézzel is megadhatóak
• Torzulást leíró geometriai transzformáció:
– Típusának megkeresése
– Paraméterek értékének „belövése”
Kontrollpontok párosításának minősítése:
– Négyzetes hibával:
• Túlilleszkedés veszélye
• súlyokon keresztül történik a lokalizációs hiba figyelembe vétele
(ideális értékük: )
– Torzít, ha olyan pontokra is megnézzük, melyek alapján
kerestük a transzformáció paramétereit:• Ezekre 0 hiba elérhető, teljesen csapnivaló eredmény mellett
• Érdemes külön validációs kontrollpontokat kijelölni, és ezeket csak
a minősítéshez felhasználni.
– Lehetséges stabilitásvizsgálatot is csinálni:• Hasonlít a kereszt kiértékelésre (lsd. Neurális hálózatok)
Pont leképezés alapú regisztráció
Kontrollpont alapú reg. algoritmusok
1. Pont alapú merev regisztráció (egybevágósági transzf):
Kritériumfüggvény: súlyozott négyzetes eltérés (minimumkeresés R és t szerint)
súlyok ahol
1. Súlyozott centroidok:
2. Középpont eltolás
3. Súlyozott kovarianciamátrix számítás
4.
5.
6.
22
1
1( , )
N
i i i
i
C wN
R t Rx t y 21
i
i
wFLE
2iFLE
2 2
1 1
1/
N N
i i i
i i
w wN
x x
lokalizációs hiba
2 2
1 1
1/
N N
i i i
i i
w wN
y y
; i i i i x x x y y y
2
1
N
T
i i i
i
w
H x y
1 2 1 2 ( , ) 0
(1,det( ))
T T T
T
diag
diag
H UΛV U U V V I Λ
R V VU U
t y Rx
Kp. alapú reg. algoritmusok– Ortog.
Procrustes eljárás (1)
•
•
•
•
• Tehát
•
• Vegyük a SVD felbontást
• Tehát ortonormált mátrixok, pedig diagonális,
minden eleme nem negatív
2arg min . . T
F s t
S
R SA B S S I
2 TF Tr SA B SA B SA B SA B SA B
2T T T T TTr Tr SA B SA B A S SA B B B SA
2 , , 2 ,T T T TTr A S SA B B B SA A A B B B SA
arg max , . . T s t S
R B SA S S I
, , T T T T T TTr Tr Tr B SA SA B A S B BA S S BAT TBA UΛV
, ,U V S Λ
Kp. alapú reg. algoritmusok– Ortog.
Procrustes eljárás (2)
• Tehát maximalizáljuk -t
– De ortonormált, míg diagonális
– Tehát
– Használjuk ki azt, hogy ortonormált, és
• Ott van a maximum, ahol
• Mivel ortonormáltak, ezért
• Tehát levezettük, hogy
– Másik megközelítésnél súlyozzuk a mintákat
– És az 5. pontban kikényszerítjük, hogy +1 legyen , azaz
forgatást kapjunk, egyébként analóg a két módszer
–
T T T TTr TrS UΛV V S UΛT T
V S U Λ
, ,T T T T
i i i ii
Tr V S UΛ V S UT T
V S U
T T V S U I
R N NΛ
,V U T TS VU TS UV
TR UV
det R
, ,..., , ,..., 1 2 M 1 2 MA x x x B y y y
Kp. alapú reg. algoritmusok
2. Hasonlósági transzformáció
22
2
1
22
2
1
N
i i
i
N
i i
i
w
s
w
s
Rx
y
t y Rx
22
1
( , , )
N
i i i
i
C s w s
R t Rx t y
Keressük R, t és s értékeit, melyek mellett minimális:
Legyen s=1Határozzuk meg R-et az előző alg. 1.-5. lépései szerint Számítsunk új s-et és végezzük el a transzformációt
3. Nemizotróp skálázás
Kp. alapú reg. algoritmusok
Keressük R, t és S értékeit, melyek mellett minimális:
Határozzuk meg az és középértékeket és az eltolt értékeket:Legyen n=1
Válasszunk kezdeti skálázási mátrixot S(0)
iteráció:- Legyen - Hajtsuk végre az 1. algoritmus 3.-5. lépéseit R meghatározására- n=n+1
- Határozzuk meg S(n)-t- Álljunk le, ha n> max iterációs szám, vagy ha a hiba küszöb alá ment
x y x y
( ) ( )n n
i ix S x
22
1
1( , , )
N
i i i
i
C wN
R t S RSx t y
• Korreláció
• A két kép 2D normalizált kereszt korrelációs függvénye
Hasonlóságot mér különböző eltolások esetén
A normalizálás a lokális
intenzitás hatásának
kiküszöbölésére kell
Intenzitás alapú regisztráció
Intenzitás alapú regisztráció - Korreláció tétel
• A két kép korrelációjának Fourier transzformáltja az
egyik kép Fourier transzformáltjának a szorzata a másik
Fourier transzformáltjának komplex konjugáltjával.
• Egydimenziós esetre a korreláció tétel
exp 2
exp 2 exp 2
z x t y t dt x t Y j t d dt
z Y x t j t dt j d
Z Y X
Fourier transzformáción alapuló módszerek
• Fázis-korreláció
• Kereszt teljesítmény spektrum
• Teljesítmény cepstrum
A Fourier transzformáción alapuló módszerekhatékonyak, de csak merev transzformációknál működnek (lineáris transzformációk)
Ez is intenzitás alapú eljárás – lokális intenzitásváltozásokat képtelen követni.
Fázis korreláció alapú regisztráció eltolás
transzformáció identifikálására
• Egymáshoz képest eltolt képek transzformáció-jának identifikációja
– Eltolás modellezhető egy megfelelő helyen lévő dirac-deltával történő konvolúcióval.
–
– Tehát
– Vizsgáljuk meg a két jel kereszt teljesítmény spektrumát:
– Innen az eltolás már könnyen kiszámítható
• Lokális intenzitásváltozásokat nem képes figyelembe venni
0 0exp 2F x x j x
0 0exp 2F y x x x Y j x
0exp 2j x Y Y Y Y
1 10 0exp 2F j x F Y Y Y Y x x
Fázis korreláció alapú regisztráció elforgatás
transzformáció identifikálására
• Egy kép fokkal középpontja körüli elforgatása a kép spektrumát is ilyen mértékben forgatja el:
– Egyszerűen belátható a Fourier vetítősík tétel alkalmazásával
• Ampl. spektrum eltolás invariáns:
– Tehát ha az ampl. spektrum elfordulását meg tudnánk határozni, akkor kész lenne a regisztráció
– Az elforgatás az ampl. spektrum polár koordinátás felírása esetén megegyezik a vízszintes tengellyel bezárt szög szerinti cirkuláris eltolással
– Tehát visszavezettük a problémát az eltolás meghatározására
Fourier vetítősík tétel
Példa – Fourier regisztráció
100 200 300 400 500 600 700
100
200
300
400
500
600
700100 200 300 400 500 600 700
100
200
300
400
500
600
700
Példa – Fourier regisztráció
A két kép ampl. spektruma polárkoordinátás
ábrázolásban
50 100 150 200 250 300 350
100
200
300
400
500
600
700
800
900 -1
0
1
2
3
4
50 100 150 200 250 300 350
100
200
300
400
500
600
700
800
900 -1
0
1
2
3
4
theta theta
frekvencia
frekvencia
Fourier regisztráció példa
Regisztráció bázisának megválasztás
• Általában k.p. alapú eljárások preferáltak:
– Könnyebben számolhatóak
– Nagyobb szabadságfok (görbült transzformációk is)
– Viszont ezek típusának megválasztása kritikus
• Terület (intenzitás / spketrum alapú eljárások):
– Főleg fúziónál elterjedtek
– Általánosan csak hasonlósági trafóra számolhatók
könnyen
– Akkor alkalmazzák, ha nincsenek a problémához
illeszkedő kontrollpontok (pl. textúra, stb.)
Hasonlóság mértékek
• Intenzitás alapú eljárásokhoz
• Kép különbségképzés: SSD sum of squares of intensity differences
• Korrelációs együttható
• Együttes sűrűségfüggvény (kiváltképp fúziónál fontos)
ahol Hist(j,k) a két kép együttes hisztogramja
1 2
2
2
( , ) ( , )( , )
( , )
x y
x y
I x y I x u y vC u v
I x u y v
2
1 2
1
1( ) ( )
N
i
SSD I i I iN
,
( , )( , )
( , )j k
Hist j kPDF j k
Hist j k
Együttes hisztogram
• MR-MR
• MR-CT
• MR-PET
illeszkedő kis elmozdulás nagyobb elmozdulás
Együttes hisztogram - fúziós regisztráció
Együttes hisztogram - fúziós regisztrációs
tökéletesen illeszkedő 2mm elmozdulás 5mm elmozdulás
képek az egyik képnél
Megfigyelés: a két kép tökéletes illesztésénél az együttes hisztogram a legélesebb
PET - CT
Intenzitás alapú eljárásokhozKereszt entrópia
Az együttes entrópia (minimalizálás)
Kölcsönös információ (maximalizálás)
MI(I1, I2’) = H(I1)+H(I2’)-H(I1,I2’)
Kullback-Leibler divergencia:
JS divergencia:
Hasonlóság mértékek
t( ) log ( )s
H s p s
,
( , ) log ( , )j k
H PDF j k PDF j k
1 2
,
( , ') logij
ij
i ji j
pMI I I p
p p
1,
1 2 1,
2,
( , ') logi
i
ii
pKL I I p
p
1 2 1 2
1 2 1 2
' '1JS( , ') , ',
2 2 2
I I I II I KL I KL I
Hasonlósági metrikák
• Normalizált keresztkorrelációs függvény
– Fehér zajnál hatékony, lokális torzításokra érzékeny. Nehéz a
korrelációtérben nagy csúcsot találni
• Fázis korreláció
– Frekvenciafüggő zajra nem érzékeny
• Az intenzitáskülönbségek abszolút értékeinek összege
– Hatékonyan számítható, ha nincsenek lokális torzítások, jó egyezést
lehet találni
• Kontúr/felszín különbségek
– Strukturális regisztráció esetén jó
• Előjelváltások száma a pontonkénti intenzitáskülönbségeknél
– Nem hasonló képeknél működik jól