Upload
ayala
View
39
Download
1
Embed Size (px)
DESCRIPTION
HS – Computer Vision. Statische Stereoanalyse Daniel Stapf 09. Januar 2001. Inhalt:. Geometrie eines Aufnahmesystems Annahmen und Einschränkungen Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras Zusammenfassung. - PowerPoint PPT Presentation
Citation preview
HS – Computer VisionStatische StereoanalyseStatische Stereoanalyse
Daniel StapfDaniel Stapf
09. Januar 200109. Januar 2001
09. Januar 2001 2
Inhalt:
1.1. Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems
2.2. Annahmen und EinschränkungenAnnahmen und Einschränkungen
3.3. Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse
4.4. Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse
5.5. Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras
6.6. ZusammenfassungZusammenfassung
09. Januar 2001 3
Statische Stereoanalyse:• Betrachtung eines Objekts aus zwei Positionen
→ Rückschluß auf Lage des Objekts im 3D-Raum
Voraussetzung:
• keine Objekt- und Kamerabewegung• oder zeitgleiche Aufnahme der beiden Bilder
Verarbeitungsschritte:
• Bildaufnahme• Kameramodellierung• Merkmalsextraktion• Korrespondenzanalyse• Tiefenwertbestimmung
09. Januar 2001 4
GeometrieWiederholung aus Vortrag 1:
p = (x,y) = f*X f*Y Z Z
, , da X x Z f
=
09. Januar 2001 5
GeometrieStandardstereogeometrie:
P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert:
→ plinks = prechts = f*X f*Y Z Z
, f*(X-b) f*Y Z Z
,
09. Januar 2001 6
GeometrieStandardstereogeometrie:Disparität (d):
Euklidscher Abstand zwischen zwei korrespondierendenPunkten plinks(xl,yl) und prechts(xr,yr)
→ d = xlinks – xrechts
d = (xlinks - xrechts)2 + (ylinks - yrechts)2
f*X f*(X-b)xlinks xrechts
→ Z = =
f*(X-b)da xlinks = und xrechts =
f*XZ Z
(*)
09. Januar 2001 7
GeometrieStandardstereogeometrie:
b* xlinksxlinks - xrechts
→ X =
b* fxlinks - xrechts
→ Z =
b* yxlinks - xrechts
→ Y =
→ Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen.
→ Korrespondenzproblem
(Auflösen nach X)
(Einsetzen in (*))
Z* yf
(Y = )
09. Januar 2001 8
Geometrie1. Stereobildaufnahmesystem:
09. Januar 2001 9
GeometrieKoordinatensystem XLYLZL:Rotationsmatrix: cos(θ)cos(θ) 00 sin(θ)sin(θ)
00 11 00-sin(θ)-sin(θ) 00 cos(θ)cos(θ)
Translation: X-½bX-½bYYZZ
cos(θ)cos(θ) 00 sin(θ)sin(θ)00 11 00
-sin(θ)-sin(θ) 00 cos(θ)cos(θ)
X-½bX-½bYYZZ
XXLL
YYLL
ZZLL
=
09. Januar 2001 10
GeometrieAnalog Koordinatensystem XRYRZR:
cos(θ)cos(θ) 00 -sin(θ)-sin(θ)00 11 00
sin(θ)sin(θ) 00 cos(θ)cos(θ)
X+½bX+½bYYZZ
XXRR
YYRR
ZZRR
=
Abbildungen (xLyL) und (xRyR):
xR = = f f * XR
ZR
cos(θθ)*(X + ½b) - sin(θθ)*Zsin(θθ)*(X + ½b) + cos(θθ)*Z
yR = = f f * YR
ZR
Ysin(θθ)*(X + ½b) + cos(θθ)*Z
xL und yL analog
09. Januar 2001 11
GeometrieUmformen der 4 Gleichungen ergibt:
[-xLsin(θθ) – f cos(θ)]* θ)]* XX + + [xLcos(θθ) – f sin(θ)]* θ)]* ZZ = -[½b x = -[½b xLLsin(θ) + ½b f]sin(θ) + ½b f]
[xRsin(θθ) – f cos(θ)]* θ)]* XX + + [xRcos(θθ) + f sin(θ)]* θ)]* ZZ = -[½b x = -[½b xRRsin(θ) - ½b f]sin(θ) - ½b f]
[-[-yL sin(θθ)]* XX + [-f ]* + [-f ]* YY + [ + [yL cos(θθ)]* Z Z = [½b y= [½b yLLsin(θ)]sin(θ)]
[[yR sin(θθ)]* XX + [-f ]* + [-f ]* YY + [ + [yR cos(θθ)]* Z Z = - [½b y= - [½b yRRsin(θ)]sin(θ)]
In Koeffizientenschreibweise:In Koeffizientenschreibweise:
aa11 XX + a + a33 ZZ = a= a00
bb11 XX + b + b33 ZZ = b= b00
cc11 XX + c + c22 YY + c + c33 ZZ = c= c00
dd11 XX + d + d22 YY + d + d33 ZZ = d = d00
Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen
09. Januar 2001 12
GeometrieEpipolare Geometrie:
09. Januar 2001 13
Annahmen und EinschränkungenProblem:
Mehrdeutigkeiten bei der Korrespondenzsuche
Lösung:
Reduzierung der Mehrdeutigkeiten durch
• Geometrische Einschränkungen (resultieren aus der Bildentstehung)
• Einschränkungen durch Objekteigenschaften
→ keine Einschränkung an die Komplexität der Objektgeometrie
09. Januar 2001 14
Annahmen und EinschränkungenGeometrische Einschränkungen:
1. Epipolareinschränkung:
• Punkt im linken Bild, kann nur mit Punkt im rechten
Bild korrespondieren, wenn jener auf Epipolarlinie
liegt
→ Suchraum ist Eindimensional
Problem: Erschütterungsproblematik,
Spezialfall: Standardstereogeometrie (künstliche Objekte)
→ Sicherheitsintervall
Positionierungsgenauigkeit
09. Januar 2001 15
Annahmen und EinschränkungenGeometrische Einschränkungen:
2. Eindeutigkeit der Zuordnung:
• Jedes Pixels eines Bildes korrespondiert nur mit genau
einem Pixel des anderem Bildes
Ausnahme möglich:
• wenn zwei Punkte auf Sichtstrahl der einen Kamera
liegen, jedoch Punkte auf anderem Kamerabild
getrennt sichtbar
09. Januar 2001 16
Annahmen und EinschränkungenGeometrische Einschränkungen:
3. Verträglichkeit von Intensitätswerten:
• Zwei Punkte (xL,yL) und (xR,yR) können nur dann korrespondieren, wenn |EL(xL,yL) – ER(xR,yR)| klein ist
In der Praxis:
• Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren
Problemfälle:
• Glanzlichter• Diskretisierungsfehler
09. Januar 2001 17
Annahmen und EinschränkungenGeometrische Einschränkungen:
4. Geometrische Ähnlichkeit der Merkmale:
• Winkelkriterium:
Liniensegment SL korrespondiert mit SR nur, wenn
|WL – WR| klein ist
• Längenkriterium:
Liniensegment SL korrespondiert mit SR nur, wenn
|LL – LR| klein ist
09. Januar 2001 18
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
1. Kontinuität der Disparitäten:
• Wenn zwei Punkte (xL,yL) und (xR,yR) im linken bzw.
rechten gefilterten Bild korrespondieren, können
(xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn
| (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2|
klein ist
[ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ]
• Spezialfall Standardstereogeometrie:
||xL1 – xR1| - |xL2 – xR2||
09. Januar 2001 19
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
2. Kontinuität entlang der Kanten:
• Wenn zwei Kantenpunkte (xL,yL) und (xR,yR) im linken
bzw. rechten gefilterten Bild korrespondieren, können
(xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn
| (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2|
klein ist
[ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ]
• Spezialfall Standardstereogeometrie:
||xL1 – xR1| - |xL2 – xR2||
09. Januar 2001 20
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
3. Verträglichkeitsannahme von Merkmalen:
• Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben
Beispiel Kanten:
09. Januar 2001 21
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
• Orientierungskanten• Reflexionskanten• Beleuchtungskanten
09. Januar 2001 22
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
4. Disparitätslimit
Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens
• für korrespondierende Punkte existiert ein maximaler
Disparitätswert dmax:
→ (xL – xR)2 + (yL – yR)2 < dmax
→ Mindestabstand der Objekte gefordert
• Spezialfall Standardstereogeometrie:
|xL – xR| < dmax
09. Januar 2001 23
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
5. Disparitätsgradientenlimit:
• Definition des Disparitätsgradienten (Mayhew/Frisby):
Seien aR, aL und bR, bL korrespondierende Punkte
Disparitätsgradient =Differenz der Disparitäten
zyklopische Separation
Differenz der Disparitäten = |ΔxL – ΔxR|
09. Januar 2001 24
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
Zyklopische Separation :
¼(ΔxL – ΔxR)2 + Δy2
Definition:Abstand der Mittelpunkte zwischen den beiden Punktpaaren
→
09. Januar 2001 25
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
5. Disparitätsgradientenlimit (Fortsetzung):
Formel für Disparitätsgradienten (Γd ):
Γd =|ΔxL – ΔxR|
¼(ΔxL – ΔxR)2 + Δy2
Zwei benachbarte Punktpaare korrespondieren nur dann,wenn der Disparitätsgradient nicht einen Maxwert über-schreitet:
→ Γd < Γmax
09. Januar 2001 26
Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:
6. Reihenfolge der abgebildeten Punkte:
Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet
09. Januar 2001 27
KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse:
• Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert
→ Problem: nicht ausreichend für eindeutige Zuweisung
Beispiel: 640x480 Bildpunkte bei 256 Graustufen
→ 307200 Pixel insgesamt
→ min. 1200 Pixel mit gleichen Intensitätswert
Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8)
09. Januar 2001 28
KorrespondenzanalyseBlock-Matching-Verfahren:
• Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m
• Annahme, alle Pixel in einem Block haben gleichen Disparitätswert
Verarbeitungsschritte:
• Unterteilung eines Bildes in feste Anzahl von Blöcken
• Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit)
09. Januar 2001 29
KorrespondenzanalyseBlock-Matching-Verfahren:
Ähnlichkeitsmaß zweier Blöcke (mittlere quadratischeAbweichung MSE)
→ Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion
Im Fall mehrerer Minima der MSE-Funktion:
→ Heranziehen der Kontinuitätsannahme für Disparitäten
Ergebnis:
→ Disparitätenmatrix
MSE(x,y, Δ) = Σ Σ |ER(x+i,y+j) – EL(x+i+Δ,y+j)|21
nm i=0 j=0
n-1 m-1
09. Januar 2001 30
KorrespondenzanalyseBlock-Matching-Verfahren:
Problem dieses Verfahrens:
• homogene Regionen• regelmäßige Texturen
Beste Qualität bei n = m = 8 Bildpunkten
Verfeinerung des Verfahrens nach T. Reuter:
1. Anwendung des Medianoperator auf Disparitätenmatrix
2. Pixelselektion
3. Anwendung des Medianop. auf Disparitätswerte der Pixel
09. Januar 2001 31
KorrespondenzanalysePixel-Selektion:
1. Medianop. auf Blockdisparitäten einer 3x3 Umgebung
2. Berechnung der Disparität für jedes Pixel (x‘,y‘) unter Verwendung der Disparitätswerte der 9 Blöcke:
DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1..9
→ Disparitätswert für P(x‘,y‘) ist D(k) mit minimalen DIFF(k)
3. Medianop. Auf Disparitätswerte der Pixelselektion
Bemerkung:
Pixelselektion auf jeden Pixel → dichte Disparitätenkarte
09. Januar 2001 32
KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:
RGB-Raum:
D1(F1,F2) = (r1 – r2)2 + (g1 – g2)2 + (b1 – b2)2
D2(F1,F2) = |r1 – r2| + |g1 – g2| + |b1 – b2|
D3(F1,F2) = |r1 – r2|2 + |g1 – g2|2 + |b1 – b2|2
D4(F1,F2) = max{|r1 – r2|, |g1 – g2|, |b1 – b2|2 }
r = g = b =R G B
R + B + G R + B + G R + B + G
09. Januar 2001 33
KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:
HSI-Raum:
F1 = (H1,S1,I1) und F2 = (H2,S2,I2)
D5(F1,F2) = (d I )2 + (d C )2
d I = |I1 – I2| und d C = S12 + S2
2 – 2S1S2 cos(θθ)
θ =θ =|H1 – H2| falls |H1 – H2| ≤ π
2π - |H1 – H2| falls |H1 – H2| > π
09. Januar 2001 34
KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:
Analog zu „normalen“ Block-Matching:
MSEFarbe(x,y, Δ) = Σ Σ De(CR(x+i,y+j) – CL(x+i+Δ,y+j))1
nm i=0 j=0
n-1 m-1
DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1..9
Bemerkungen:
• Qualität der Lösung ist abhängig von Anzahl der Farben• Bei unbunten Farben, keine Verbesserung• Einblenden von Mustern
09. Januar 2001 35
KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse:
• bsp. Anhand Orientierung/Länge von Kanten
Vorteile gegenüber intensitätsbasierte Analyse:
1. geringerer Mehrdeutigkeiten, da weniger Kandidaten
2. Stereozuordnung ist weniger sensitiv
3. genauere Berechnung der Disparitäten möglich
09. Januar 2001 36
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:(Verfahren nach Y. Shirai und Y. Nishimoto 1985)
• LoG-Operator für Merkmalsextraktion mit σ1 = 1,41, σ2 = 3,18 und σ3 = 6,01 → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse → ZC wird als Einheitsvektor e(o) (i,j) definiert
• Korrespondenzkandidaten sind Paare von ZC‘s in rechten und linken Bild, deren Richtungsunterschied < 30° ist
→ Zuordnungsfunktion ML (i,j;d) und MR (i+d,j;d):
ML = MR = 1, wenn eL(i,j) eR(i+d,j) korrespondieren
0, sonst
09. Januar 2001 37
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:Beschränkung der Anzahl möglicher Zuordnungen durch
Häufigkeitstabelle der möglichen Disparitäten (GDH):
GDHR (d) =Σ MR (i,j;d)Σ |eR(i,j)|
(GDHL (d) analog)
→ Annahme, richtige Zuordnungen treten gehäuft auf
Aufgrund dieser Annahme werden Disparitätskandida-tenintervalle bestimmt:
Iα = { d | GDHR (d) > a*H }
09. Januar 2001 38
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:Bestimmung lokaler Disparitätskandidaten anhand LDH‘s:
• LDH = Häufigkeitstabelle aller in Disparitäten innerhalb
eines Fensters W = Nσ x Nσ:
Nσ = 2 πσ
LDHR (i,j;d) =Σ MR (i,j;d)Σ |eR(i,j)|
(LDHL (d) analog)
Bestimmung des besten Kanals:
• Kanal bei dem Differenz zwischen größten und zweit- größten Wert den größten Wert annimmt, ist bester Kanal
→ Zur Überprüfung des Kanals: Differenzfunktion Qx(i,j;dx)
09. Januar 2001 39
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:
→ QL(i,j;dL) und QR(i,j;dR) sind korrespond. Differenzen
→ Zuordnung erfolgt, wenn QL und QR einen bestimmten Wert überschreiten und dL ≈ dR
→ wahrscheinliche Disparität: d* = ½(dL + dR)
Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ ‘ (σ ‘ < σ) bestimmt:
• für alle möglichen Disparitäten d1..dn für ein ZC wird dk ausgewählt, für das gilt:
|dk - d*| < |d e – d *| 1 e n, e k und |dk - d*| < dc
09. Januar 2001 40
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:
→ jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert
→ nach Bestimmung aller ZC‘s aus Wσ und Wσ ‘ wird der der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet
→ Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeord- net wurden
09. Januar 2001 41
KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:
Verwendung von Farbinformationen:
• analog zu Grauwertbildern• Hinzunahme eines weiteren Kriteriums:
Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr:
Drg (x,y) = r(x,y) – g(x,y) (andere analog)
→ Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich
(GAUSS* Drg)δδx
09. Januar 2001 42
Stereoanalyse
Triokulare Stereoanalyse:
• 3 Anordnungen gebräuchlich:
1. Rechtwinklige komplanare Anordnung
Vorteil:• einfache Bestimmung der Epipolarlinien
Nachteil:• Ausrichtung• Erschütterungsproblematik
09. Januar 2001 43
Stereoanalyse
Triokulare Stereoanalyse:
• 3 Anordnungen gebräuchlich:
2. kollineare Anordnung:
Vorteil:• einfache Epipolarlinien
Nachteil:• Ausrichtung• Erschütterungsproblematik• Mehrdeutigkeiten
09. Januar 2001 44
Stereoanalyse
Triokulare Stereoanalyse:
• 3 Anordnungen gebräuchlich:
3. „freie“ Anordnung
Vorteil:• Korrespondenzproblem kann mit Geometrie gelöst werden
Nachteil:• Bestimmung der Epipolarlinien
09. Januar 2001 45
Stereoanalyse
Triokulare Stereoanalyse:
Zwei verschiedene Zuordnungsstrategien:
• Pixel wird nur zugeordnet, wenn in allen Bildern eine
Korrespondenz bestimmt wurde
• Pixel wird zugeordnet, wenn in mindestens zwei
Bildern eine Korrespondenz bestimmt wurde
09. Januar 2001 46
Stereoanalyse
Triokulare Stereoanalyse:
Beispiel anhand eines geometrischen Verfahrens:
09. Januar 2001 47
Zusammenfassung
• Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems
• Annahmen und EinschränkungenAnnahmen und Einschränkungen
• Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse
• Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse
• Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras
09. Januar 2001 48
Vielen Dank für dieAufmerksamkeit –
F r a g e n ?