Upload
buithuan
View
214
Download
0
Embed Size (px)
Citation preview
Technische Universität München
Ausgewählte Kapitel der Photogrammetrie (PAK)Ausgewählte Kapitel der Photogrammetrie (PAK)2013 SS2013 SS
Techniken der EndoskopieTechniken der Endoskopie
Studentische Ausarbeitung
von
Alexander Hanel
Photogrammetrie & FernerkundungProf. Dr.-Ing. U. Stilla
Alexander Hanel
InhaltInhalt
Techniken der Endoskopie
1 Warum noch eine zusätzliche Technik?
2 G dl d E d k i2 Grundlagen der Endoskopie
3 Verarbeitung endoskopischer Aufnahmen
4 Anwendungsbeispiele
5 Zusammenfassung
HANEL (2013-10-05) PAK: Endoskopie 2
1 Warum noch eine zusätzliche Technik? (1)1 Warum noch eine zusätzliche Technik? (1)
Typische Erschwernisse beim Vermessen…
HANEL (2013-10-05) PAK: Endoskopie 3
…Sichtbehinderungen
Innengerüst im Hochbau
1 Warum noch eine zusätzliche Technik? (2)1 Warum noch eine zusätzliche Technik? (2)
Nicht ganz alltägliche Erschwernisse beim Vermessen…
… Enge, oft längliche Hohlräume (z.B. im Kfz-Zylinder)
… Keine natürliche Beleuchtung
… Hohe Anforderungen an Genauigkeit
Visuelle Inspektion und Vermessung schwer zugänglicher Objekte
Gleichzeitig Vermeidung von Schäden und
Veränderungen am untersuchten Objekt
oder Körperteil
Keine Röntgenstrahlung
HANEL (2013-10-05) PAK: Endoskopie 4
Keine Röntgenstrahlung
Keine Magnetresonanz
Kein Freilegen des Objektes
Zylinderwand, [Wikipedia, 2013]
1 Warum noch eine zusätzliche Technik? (3)1 Warum noch eine zusätzliche Technik? (3)
Einsatz der Endoskopie (gr. für innen beobachten)
Endoskop während Prüfungeines Kfz-Zylinders[Wikipedia, 2013]
HANEL (2013-10-05) PAK: Endoskopie 5
ABER: Besonderheiten bei Bildauf-
nahme und -auswertung zu beachten
Unkorrigierte Rohaufnahme eines Endoskops
[Steiner, 2013]
InhaltInhalt
2 Grundlagen der Endoskopie
2.1 Was sind Endoskope?
2.2 Lichtquelle und Lichtleiter
2 3 Bildl i2.3 Bildleiter
2.4 Zusammensetzung der Hauptbestandteile
2.5 Abgrenzung der Endoskop-Varianten
HANEL (2013-10-05) PAK: Endoskopie 6
2.1 Was sind Endoskope?2.1 Was sind Endoskope?
Def.: Optische Instrumente zur visuellen Inspektion eines Innenraums
Passende Form: rund, dünn, länglich
Zwei Arbeitswege: Licht hinein
Bild heraus
Variante: Spitze kann abgewinkelt werden größerer Sichtbereich
Flexibler BereichBildleiter
Szene
Kamera mit CCD-Sensor
Proximales Ende
(Okular)
TV-Adapter
Distales Ende
(Optik)
HANEL (2013-10-05) PAK: Endoskopie 7
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
KunststoffmantelLichtquelleLichtleiter
2.2 Lichtquelle und Lichtleiter (1)2.2 Lichtquelle und Lichtleiter (1)
Lichtquelle
Schwierigkeit: Schwache Beleuchtung, geringe Eindringtiefe des Lichts
Platzierung leistungsstarker Lichtquelle außerhalb des Endoskops
Anschluss an Lichtleiter
Ausführung
Xenon: sehr hell; aber starke Emission von IR-Strahlung
Alternative für IR-arme Anforderungen: Blitzlichtgeneratoren
Flexibler BereichBildleiter
Szene
Proximales Ende
(Okular)
Distales Ende
(Optik)
HANEL (2013-10-05) PAK: Endoskopie 8
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
KunststoffmantelLichtquelleLichtleiter
2.2 Lichtquelle und Lichtleiter (2)2.2 Lichtquelle und Lichtleiter (2)
Lichtleiter
Übertragung des Lichts zum distalen Ende
Kegelförmiger Austritt an Instrumentenspitze
Häufig mehrere Lichtleiter für gleichmäßigere Ausleuchtung
Ausführung
Glasfaser
Linsen
Flüssigkeit
Flexibler BereichBildleiter
Szene
Distales Ende
(Optik)
Proximales Ende
(Okular)
HANEL (2013-10-05) PAK: Endoskopie 9
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
KunststoffmantelLichtquelleLichtleiter
2.3 Bildleiter (1)2.3 Bildleiter (1)
Bildleiter: Rückübertragung von Abbildungen der untersuchten Objekte zum proximalen Ende
Linsensystem
A d h Li hi i d i E d k kö Anordnung mehrerer Linsen hintereinander im Endoskopkörper
Ausführung
Stablinsen
Dünne Linsen
Starres LinsensystemSzene
Proximales Ende
(Okular)
Distales Ende
(Optik)
HANEL (2013-10-05) PAK: Endoskopie 10
Schematischer Aufbau eines starren Endoskops [Winter, 2008]
KunststoffmantelLichtquelleLichtleiter
2.3 Bildleiter (2)2.3 Bildleiter (2)
Glasfaser
Kohärentes Faserbündel (im Gegensatz zum Lichtleiter!)
Kamera bzw. CCD-Chip am proximalen Ende der Fasern auf Okular aufgesetzt
I l i d i l F i d V id Isolation der einzelnen Fasern gegeneinander zur Vermeidung von Lichtübertritt
Auflösung abhängig von Faserzahl
Ausführung
Glas
Quarz
HANEL (2013-10-05) PAK: Endoskopie 11
Geordnetes Faserbündel [Vettori, 1998]
2.3 Bildleiter (3)2.3 Bildleiter (3)
Elektronische Leitungen
Elektronische Leitungen zur Signalübertragung an proximales Ende
CCD-Chip an Instrumentenspitze (distales Ende)
Auflösung abhängig von Pixelzahl
HANEL (2013-10-05) PAK: Endoskopie 12
Videoendoskop [Wikipedia, 2013]
2.4 Zusammensetzung der Hauptbestandteile (1)2.4 Zusammensetzung der Hauptbestandteile (1)
Bildleiter
Distales E d
Kunststoffmantel
Flexibler BereichSzene
Proximales Ende
(Okular)
Ende (Optik)
HANEL (2013-10-05) PAK: Endoskopie 13
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
Kunststoffmantel
Lichtquelle
Lichtleiter
2.4 Zusammensetzung 2.4 Zusammensetzung der Hauptbestandteile (2)der Hauptbestandteile (2)
Distales E d
Kunststoffmantel
Flexibler BereichSzene
Proximales Ende
(Okular)
Ende (Optik)
Bildleiter
LichtleiterLichtquelle
HANEL (2013-10-05) PAK: Endoskopie 14
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
Kunststoffmantel
2.5 Abgrenzung der Endoskop2.5 Abgrenzung der Endoskop--Varianten (1)Varianten (1)
Linsenoptische Endoskope
System aus mehreren hintereinander positionierten Linsen
Nicht biegbar
Glasfaserendoskope
Glasfaser zur Licht- und Bildübertragung
Wechselbare Kamera am proximalen Ende
Flexibel
Videoendoskope
Elektronische Leitungen zur Bildübertragung
HANEL (2013-10-05) PAK: Endoskopie 15
Fest verbaute CCD-Kamera am distalen Ende
Flexibel
2.5 Abgrenzung der Endoskop2.5 Abgrenzung der Endoskop--Varianten (2)Varianten (2)
Kapselendoskope
Bildaufnahme und Datenübertragung durch Kapsel
Gleiche Bestandteile wie Endoskop, zusätzliche Batterie
Medizin: Kapsel wird geschluckt und durchwandert Körper
Virtuelle Endoskope
Generierung von 3D-Daten durch moderne Scanner (z.B. CT, MRT)
Rekonstruktion von Organsystemen
Virtuelle Navigation durch künstlichen
Körper
HANEL (2013-10-05) PAK: Endoskopie 16
Virtuell-endoskopischer Blick in menschliches Gehirn
[Bartz, 2003]
2.5 Abgrenzung der Endoskop2.5 Abgrenzung der Endoskop--Varianten Varianten –– VorVor--/Nachteile/Nachteile
Linsenoptische Endoskope
Größere Bauform der Kamera möglich sehr hohe Auflösung im Vergleich zu anderen Endoskop-Varianten
Hoher Fertigungsaufwand
Glasfaserendoskope
Gute Farbwiedergabe durch großen CCD-Chip Vermeidung von Artefakten wie bei Videoendoskopen
Geringerer Durchmesser als bei elektronischer Bildübertragung
Relativ geringe Faserzahl niedrige Auflösung
Vid d k
HANEL (2013-10-05) PAK: Endoskopie 17
Videoendoskope
Hohe Bruchsicherheit
Größerer Ausschnitt der abgebildeten Szene als bei Glasfaserendoskopen
Notwendigkeit der elektrischen Isolation der einzelnen Leiter
InhaltInhalt
3 Verarbeitung endoskopischer Aufnahmen
3.1 Charakteristika faseroptischer Bilder
3.2 Kalibrierung
3 3 Bild i3.3 Bildrestaurierung
HANEL (2013-10-05) PAK: Endoskopie 18
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- Aufbau einer FaserAufbau einer Faser
Längsschnitt durch eine Glasfaser
Schematischer Aufbau
Lichtstrahl
mit
einer Einzelfaser[Janßen, 2000]
Faserkern mit Brechungsindex kn
Mantel
Medium am untersuchten Objekt z.B. Luft
HANEL (2013-10-05) PAK: Endoskopie 19
Eintrittswinkel in die Faser (Austrittswinkel analog)
Winkel der Reflexion am Kern-Mantel-Übergang
Kombination vieler Fasern Licht- bzw. Bildleiter (vgl. Abschnitt 2)
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- Totalreflexion (1)Totalreflexion (1)
Prinzip der (inneren) Totalreflexion
Reflexion am Kern-Mantel-Übergang Licht bewegt sich im Faserkern
Bedingung: Einhalten des Grenzwinkels der Reflexion am Kern-Mantel-Übergang mit
G
Reflexion hängt ab vom Material von Kern und Mantel (über Brechungsindizes)
Zusammenhang zwischen Eintrittswinkel und Reflexionswinkel:
)arcsin( KMG nn
)arcsin())cos(arcsin( 022
0 nnnnn MKGKG
HANEL (2013-10-05) PAK: Endoskopie 20
Eintrittswinkel hängt zusätzlich ab vom Brechungsindex des Mediums am untersuchten Objekt
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- Totalreflexion (2)Totalreflexion (2)
Schlussfolgerung
Eintrittswinkel muss kleiner als Grenzwert sein mit
zu kleines führt zu Lichtaustritt aus Faser Faser nicht beliebig stark biegbar (Knick!)
T l fl i M F
G
4
etwa Totalreflexionen pro Meter Faser
durch Reflexion vergrößerte Weglänge des Lichts gegenüber geometrischer Länge der Faser
nur etwa 30-50% der Transmissivität von Linsensystemen aufgrund von Verlusten bei der Reflexion
410
HANEL (2013-10-05) PAK: Endoskopie 21
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- EinflussgrößenEinflussgrößen
Spektrale Transmission
Definition: transmittierte pro einfallende Strahlung
abhängig von Absorption im Kernglas und Totalreflexion, Verlust beim Ein- und Auskoppeln des Lichts in die Faser
tT )(
Durchmesser:
Ummantelung und Kernradius abhängig von Wellenlänge des übertragenen Lichts ( Totalreflexion)
minimal 2 μm, für sichtbares Licht 6-15 μm
Numerische Apertur
Kenngröße für die Menge des transportierten Licht
NA
HANEL (2013-10-05) PAK: Endoskopie 22
Kenngröße für die Menge des transportierten Licht
abhängig von den Brechungsindizes und bzw. und mit Mn Kn22
0 )sin( MK nnnNA 0n
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- Effekte (1) Effekte (1)
Wabenmuster
Ummantelung der Einzelfaser dunkler als Kernmaterial
Engmaschigeres Raster des CCD-Chips
Überabtastung im Vergleich zu Fasern
Wabenmuster im Bild sichtbar
Wabenform: hexagonal bei Glas-, unregelmäßig bei Quarzfasern
Geometrische Abbildungseigenschaften:
Wabeneffekt bei einer Glasfaseraufnahme[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie 23
Geometrische Abbildungseigenschaften:
Weitwinklige Optik mit Bildfeld 60-100°
Verzeichnung und Bildfeldwölbung
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- Effekte (2) Effekte (2)
Geometrische Abbildungseigenschaften (cont.)
Verzeichnung tonnenförmige Verzerrungder abgebildeten Objekte
Abbild h d li h k Abbildung rechts: deutlich zu erkennen:Geraden werden gekrümmt abgebildet
Behebung durch Algorithmus möglich
Bildfeldwölbung: Bild wird auf gewölbterFläche abgebildet Unschärfe in Teilen
Verzeichnung[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie 24
Fläche abgebildet Unschärfe in Teilendes Bildes (Bildmitte oder Bildrand)
Abb.: „2“ (Mitte) scharf, „4“ (Rand) unscharf
Tritt sowohl distal als auch proximal auf
Behebung durch spezielle Linsenanord-nung oder gewölbten Sensor
Bildfeldwölbung [Wikipedia-2, 2013]
3.1 Charakteristika faseroptischer Bilder 3.1 Charakteristika faseroptischer Bilder -- Effekte (3)Effekte (3)
Farbartefakte bei Ein-Chip-Kameras
Grundproblem bei Bayer-Sensor: ungleiche Abbildung eines Bildbereiches auf die drei Grundfarben Rot, Grün und Blau
Farbartefakte
Besonders starke Ausprägung bei Faserbündel:
Abbildung einer Faser auf etwa 5x5 Sensor-
elemente (weißer Kreis in Abb. rechts)
Ungleichmäßige Ausleuchtung innerhalbeiner Faser (grün deutlich häufiger als rot, blau)
ungleich stimulierte Sensorelemente
verfälschte Farbinformation für die Faser
HANEL (2013-10-05) PAK: Endoskopie 25
Farbfiltermosaik eines Bayer-Sensor[Winter, 2008]
Farbartefakte einer Glasfaseraufnahmenach [Winter, 2008]
3.2 Kalibrierung3.2 Kalibrierung
Notwendigkeit:
Starke Erhöhung der Kalibrierfehler im Vergleich zu herkömmlicher Bildaufnahme durch Überabtastung der Fasern
Starke Verzerrung durch geringe Brennweite der verwendeten Optiken
Ziel:
Schätzen von Kameraparametern zum Beschreiben der Abbildungseigenschaften bei der Bildaufnahme
Kameraparameter beschreiben Abweichung des physikalischen Modells einer realen Kamera vom idealen Modell einer Lochkamera
Verzeichnungsparameter
Innere Orientierung
HANEL (2013-10-05) PAK: Endoskopie 26
g
Im weiteren Sinne auch: äußere Orientierung
Parameter werden über Aufnahmedauer als konstant angesehen
Entzerrung der Bilder anhand der berechneten Parameter
3.2 Kalibrierung 3.2 Kalibrierung -- Vorverarbeitung: Merkmalsextraktion (1)Vorverarbeitung: Merkmalsextraktion (1)
Ziel: Finden von Merkmalen zum Ableiten der Kameraparameter
Ansatz: Messen der Bildkoordinaten von Merkmalspunkten in mehreren Bildern
Bilder weisen bekannte, vordefinierte Merkmale auf
A M k l Arten von Merkmalen:
Markante Einzelpunkte
Kreuzungspunkte von Gittern
Ecken von Schachbrettmustern
Beispielansatz: Modellbasiertes Kleinste-Quadrate-Matching
Anpassen von 2D-Modellfunktion an Bilddaten
HANEL (2013-10-05) PAK: Endoskopie 27
Modell beschreibt die räumliche Grauwertverteilung eines Merkmals
Mathematische Beschreibung durch Parameter
Schätzen der Parameter Subpixelgenaue Position des Merkmals
3.2 Kalibrierung 3.2 Kalibrierung -- Vorverarbeitung: Merkmalsextraktion (2)Vorverarbeitung: Merkmalsextraktion (2)
Intensitätsverteilung der Modellfunktion eines Gitter-Kreuzpunktes[Klar, 2005]
Kalibrierbild:
Endoskopisches Kalibrierbild[Klar, 2005]
HANEL (2013-10-05) PAK: Endoskopie 28
Kästchen symbolisieren subpixel-genaue Position der Kreuzungspunkte
Unterschiedliche Größe und Form derKästchen aufgrund starkerperspek-tivischer Verzerrungen
3.2 Kalibrierung 3.2 Kalibrierung -- praxisorientierter Ansatzpraxisorientierter Ansatz
Elliptisches Verzeichnungsmodell (nach Andersson Technologies)
Annahmen
vereinfachte innere Orientierung: Bildmittelpunkt = Bildhauptpunkt
nur radiale Fehler, tangentiale vernachlässigt
M d ll i h t ( ) d t ( ) K di t~~ Modell zwischen verzerrten ( ) und unverzerrten ( ) Koordinaten
mit
Parameter zur Beschreibung des Verhältnisses der Sensorabmesssungen
Verzeichnungsparameter
v
uvu
v
u )(1 ~
~222
vu ~,~ vu,
HANEL (2013-10-05) PAK: Endoskopie 29
Iterative Berechnung durch Minimierung des mittleren quadratischen Fehlers
Schätzung für
2
),(~
~
),(~),(~
minarg
i
i
vui
i
v
u
vuv
vuu
v
u ,
3.2 Kalibrierung 3.2 Kalibrierung -- wissenschaftlich orientierter Ansatz (1)wissenschaftlich orientierter Ansatz (1)
Lineares Lochkameramodell
]|[ w
w
p
p Y
X
y
x
TRK Vertikaler Strich“: R und T werden
homogene Koordinaten
mit
Kalibriermatrix
Räumliche Rotationsmatrix
T l i k
1
]|[w
p
p Zw
y „Vertikaler Strich : R und T werden „nebeneinander gestellt“ und zu
einer Matrix kombiniert
KR
HANEL (2013-10-05) PAK: Endoskopie 30
Translationsvektor
Homogene Bild- (links in Gleichung) und Weltkoordinaten (rechts)
Berechnung über Kleinste-Quadrate-Ausgleichung unter Minimierung der Diskrepanz zwischen Kameramodell und den Beobachtungen
T
3.2 Kalibrierung 3.2 Kalibrierung -- wissenschaftlich orientierter Ansatz (2)wissenschaftlich orientierter Ansatz (2)
Geschätzte Parameter (im linearen Fall)
Kalibriermatrix
0 y
x
c
cs
K pro Kamera
mit
Brennweiten in x- und y-Richtung bzw.
Pixelgröße in x- und y-Richtung bzw.
Hauptpunktkoordinaten
Verzerrung (Abweichung der Achsen von der Orthogonalität)
100
xpf ypf
xp yp
yx cc ,
s
HANEL (2013-10-05) PAK: Endoskopie 31
Translationsvektor
Räumliche Rotationsmatrix mit 3 Drehwinkeln
Tzyx TTTT
),,( R
pro Bildpro Kamera
3.2 Kalibrierung 3.2 Kalibrierung -- wissenschaftlich orientierter Ansatz (3)wissenschaftlich orientierter Ansatz (3)
Nichtlineare Verzeichnung beim Lochkameramodell
Führen zu Veränderung der Bildkoordinaten gegenüber linearem Modell Maßstabsänderung
Radiale Verzeichnung
Bildmaßstab nimmt mit zunehmendem radialem Abstand von Verzerrungszentrum zu
charakteristische Eigenschaft aller Linsen mit begrenzter Blende
bis zu 30 Pixel am Bildrand
Fehlzentrierende (‚decentering‘) Verzeichnung
HANEL (2013-10-05) PAK: Endoskopie 32
tangentiale und asymmetrische radiale Komponente
Resultiert aus Dezentrierung der Linse: vertikaler Versatz oder Verdrehung eines Linsenelements aus der idealen Ausrichtung (kollinear zur optischen Achse)
bis zu 3 Pixel am Bildrand
3.2 Kalibrierung 3.2 Kalibrierung -- wissenschaftlich orientierter Ansatz (4)wissenschaftlich orientierter Ansatz (4)
Nichtlineare Verzeichnung beim Lochkameramodell (cont.)
Zusätzliche Korrekturparameter („undistortion model“) zur Berechnung unverzeichneter Bildkoordinaten aus den gemessenen, verzeichneten Bildkoordinaten
Radiale Verzeichnungsparameter
uθ
kk Radiale Verzeichnungsparameter
Parameter zur Behebung der Fehlzentrierung
Zuschläge zu den verzeichneten Bildkoordinaten
Berechnung durch Polynomfunktion aus Korrekturparametern
unverzeichnete Bildkoordinaten
31 kk 31 tt
3131 ttkku θ
HANEL (2013-10-05) PAK: Endoskopie 33
Schätzung der Korrekturparameter während Kalibrierprozess zugleich mit Parametern des linearen Modells
3.3 Bildrestaurierung (1)3.3 Bildrestaurierung (1)
Ziel:
Reduktion der Wabenstruktur hochfrequenter Signalanteil
Erhalt der Bildinformation niederfrequenter Signalanteil
Zwei Verfahren:
spektrale Filterung:
Maskenerstellung und –anwendung im Frequenzraum unter Berücksichtigung des Abtasttheorems
Trennung von Bild- und Wabenstruktur
Interpolation:
HANEL (2013-10-05) PAK: Endoskopie 34
Bestimmung der Position von Fasern in den Bildern durch Vergleich mit Referenzbild mit homogenem weißen Hintergrund
Verwenden ihrer Intensitäten als Stützstellen
Rekonstruktion der Bildinformation durch baryzentrischeInterpolation im Ortsraum
3.3 Bildrestaurierung (2)3.3 Bildrestaurierung (2)
Rahmenbedingungen
Waben wirken sich primär auf Helligkeit aus Verwendung von Grauwertbildern
Wabenstruktur tritt periodisch auf Verarbeitung im Frequenzraum
Vor- und Nachteile
Spektrale Filterung
glattere Restaurierung
keine Artefakte an Kanten
Frequenzraum
Interpolation
bessere Korrektur von Farbstützstellen
Steigerung der Auflösung durch lokale Ergänzung von Bildinhalten
Ortsraum
HANEL (2013-10-05) PAK: Endoskopie 35
gut geeignet zur räumlichen Rekonstruktion
Ortsraum
gut geeignet zur Texturierung von Rekonstruktionen
Kernelement der Bildrestaurier-ung mit Grauwertbild Ergänzende Möglichkeit mit Farbbildern
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (1)Spektrale Filterung (1)
Anforderungen
vollständige Reduktion der Waben starke Filterung, niedrige Grundfrequenz hochfrequente Bildanteile werden eliminiert
keine unnötige Abschwächung wichtiger Details nur minimale Glättung hohe GrundfrequenzGlättung, hohe Grundfrequenz
Einhaltung des Abtasttheorems
Beispielaufnahme
Zugehöriges Frequenzspektrum
[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie 36
Intensitätsbild einer Kali-briertafel,fiberoptisch aufgenommen[Winter, 2008]
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (2)Spektrale Filterung (2)
Charakteristika einer faseroptischen Aufnahme im Frequenzraum
Achsen stellen Orts-frequenzen dar
Waben = kleinste Informationseinheit eines faseroptischen BildesSignalanteil mit der höchsten Frequenz
Eigenschaften:
Einheitliche Größe im gesamten Grauwertbild
Periodisches Auftreten
HANEL (2013-10-05) PAK: Endoskopie 37
Frequenzspektrum einer faser-optischen Aufnahme[Winter, 2008]
Im Vergleich zur Wabenstruktur niederfrequentere Bildinformation
Frequenzen höher als Grundfrequenz der Waben sind spektrale Wiederholungen enthalten keine Informationen
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (3)Spektrale Filterung (3)
Transformation und Anwendung des Abtasttheorems zur Maskierung
Zwei Abtastungen bei Glasfaseraufnahme
Unterabtastung:
Ü SÜbertragene Bildinformation einer Szene wird durch Bildleiter in der Anzahl und dem Abstand der Fasern begrenzt
Überabtastung:
Entstehung durch höhere Auflösung des CCD-Sensors gegenüber des Bildleiters
Symmetrische Anordnung der Fasern mit Abstand zueinanderfd
HANEL (2013-10-05) PAK: Endoskopie 38
Frequenzanteil um im Fourier-Spektrumfs df 1
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (4)Spektrale Filterung (4)
Transformation und Anwendung des Abtasttheorems zur Maskierung (cont.)
Nyquist-Theorem:
Maximale Frequenz des Spektrums darf halbe Abtastfrequenz durch d F i h üb h i
0ffdas Faserraster nicht überschreiten
Ideale Separierbarkeit der Spektralbereiche von Bild- und Wabenfunktion
dazu nötig: Filtermaske: 1D: Rechteckfunktion mit Grenzfrequenz 2D: Erweiterung zum Kreis
2!
0 sff
0f
sf
HANEL (2013-10-05) PAK: Endoskopie 39
andernfalls Verluste
Rechteckfunktion
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (5)Spektrale Filterung (5)
Vorgehensweise
Automatische Generierung der Filtermaske aus spektraler Darstellung eines Referenzbildes
Transformation: in 2D = schnelle Fourier-Transformation
El i M l i lik i d b üb l Ei bild ˆ
M
refI
FFT Elementweise Multiplikation des wabenüberlagertes Eingangsbildes
mit im Frequenzraum
Formale Darstellung:
it
)},()},(ˆ{{),( 1 jiMyxIFFTFFTyxI HjyWix ),(0 ,),(0
IM
1% 5% der Energie gehen
Elementweise Multiplikation
HANEL (2013-10-05) PAK: Endoskopie 40
mit
= wabenfreies Bild
= Parameter zur Energie-erhaltung im Spektrum
2
2
),(}ˆ{
}ˆ{
jiMIFFT
IFFT
I
1%-5% der Energie gehen durch Maskierung verloren
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (6)Spektrale Filterung (6)
Maskengenerierung
Grundprinzip: Ableiten charakteristischer Parameter aus Spektrum
Ziel: Unterdrücken von unerwünschten Frequenzbereichen im S k E d k i bild i W b kSpektrum von Endoskopiebildern mit Wabenstruktur
Formale Darstellung:
mit
)}},(ˆ{{),( yxIFFTMjiM ref HyjWxi ,0,,0
ˆ
HANEL (2013-10-05) PAK: Endoskopie 41
= Referenzbild mit Wabenstruktur (keine weiteren Anforderungen)
Größe der Maske = Größe des Referenzbildes
refI
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (7)Spektrale Filterung (7)
Maskengenerierung für Glasfaserbündel
Charakteristika: 6 Frequenzschwerpunkte, resultierend aus homogener hexagonaler Anordnung der Waben
Parameter:
Größe der Maske ( )
Hauptfrequenz der Wabenstruktur
Grenzfrequenz der Bildinformation
Winkel zur Beschreibung der Rotations-varianz der Waben
sf20 sff
s
Frequenzspektrum mit P t
Grenzfrequenz über Wabenfrequenz be-stimmt, da der niederfrequentere Bildanteil keine klaren Grenzen hat
WH ,
HANEL (2013-10-05) PAK: Endoskopie 42
Form: sternförmig
Ausnutzen der 6 Frequenzschwerpunkte der Waben
entsteht durch 2D-Erweiterung der Rechteckfunktion mitvariabler Grenzfrequenz lf 0
Parametern[Winter, 2008]
keine klaren Grenzen hat
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (8)Spektrale Filterung (8)
Maskengenerierung für Glasfaserbündel (cont.)
Formale Darstellung:
jilfrjiM
),(,1)( 0{
mit
Abstand vom
Maskenzentrum
sonstjiM
,0),( {
HjWi 0 ,0
22 )2()2( HjWir
Frequenzspektrum mit Parametern[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie 43
Sternform-Parameter
Winkel eines Frequenzpunktes bezüglich der Spektrumsmitte und der vertikalen Achse
2)3(cos)1(),( 2 sjil
),( ji0i
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (9)Spektrale Filterung (9)
Maskengenerierung für Glasfaserbündel (cont.)
Formale Darstellung des Sternform-Parameters:
2)3(cos)1(),( 2 sjil
Effekt von Parameter :
Erhöhen der Grenzfrequenz für Abschnittezwischen den 6 Frequenzschwerpunkten derWabenstruktur
Verringern für Abschnitte in deren Nähe
Effekt von in :
)()(),( sj
l
0f
()cos2 ),( jil
Sternmaske zur spektralen Filterung[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie 44
periodische Frequenzerweiterung Sternspitzen
Effekt des ersten und letzten Terms in :
Erster: Summand
Letzter: Gewichtung ( Maß für die Größe der Sternspitzen)
() ),( j
),( jil
3.3 Bildrestaurierung 3.3 Bildrestaurierung –– Spektrale Filterung (10)Spektrale Filterung (10)
Ergebnisse vor und nach Entfernen der Wabenstruktur
HANEL (2013-10-05) PAK: Endoskopie 45
Bildausschnitt einer Kalibriertafel,faseroptisch aufgenommen[Winter, 2008]
Bildausschnitt nach spektraler Filterung[Winter, 2008]
InhaltInhalt
4 Anwendungsbeispiele
4.1 Bauwesen
4.2 Konfokale Endomikroskopie
HANEL (2013-10-05) PAK: Endoskopie 46
4.1 Anwendungsbeispiel: Bauwesen (1)4.1 Anwendungsbeispiel: Bauwesen (1)
Problematik:
Viele Bauschäden im fertigen Zustand nicht sichtbar
Freilegung sehr kostspielig
Einsatz von Endoskopie zur Untersuchung von Bauwerken
Beispiel: Zweischaliges Mauerwerk
Einführen des Endoskops in die Wand
Einblick in den Zwischen-raum zwischen den beiden Wandschalen
Untersuchung der Draht-
HANEL (2013-10-05) PAK: Endoskopie 47
Endoskopie einer Wand[Frey, 2013]
Untersuchung der Drahtanker zum Verbinden der Wandschalen
4.1 Anwendungsbeispiel: Bauwesen (2)4.1 Anwendungsbeispiel: Bauwesen (2)
Problematik:
Viele Bauschäden im fertigen Zustand nicht sichtbar
Freilegung sehr kostspielig
Einsatz von Endoskopie zur Untersuchung von Bauwerken
Beispiel: Zweischaliges Mauerwerk – Prüfung vor Sanierung
Vorschieben des Endoskops zu den Ankern
Erkennen schadhafter Drahtanker (Durchrostung zu geringer Durchmesser zum Lastabtrag)
HANEL (2013-10-05) PAK: Endoskopie 48
Schadhafter Drahtanker[Frey, 2013]
g)
Feststellen von Sanierungsbedarf
4.1 Anwendungsbeispiel: Bauwesen (3)4.1 Anwendungsbeispiel: Bauwesen (3)
Beispiel: Zweischaliges Mauerwerk – Prüfung der Arbeiten nach Sanierung
Betonummantelung als Korrosionsschutz fehlt
Drahtanker, nicht sach- Drahtanker, sachgerecht
HANEL (2013-10-05) PAK: Endoskopie
Vorteile gegenüber herkömmlichem Öffnen der Wand:
Präzise Ortung der Anker möglich
Kaum Lärmbelästigung
49
gerecht eingebracht[Frey, 2013]
[Frey, 2013]
4.2 Anwendungsbeispiel: Konfokale 4.2 Anwendungsbeispiel: Konfokale EndomikroskopieEndomikroskopie (1)(1)
Grundprinzip:
Integration eines konfokalen Fluoreszenz-Mikroskops in das distale Ende eines (Video-)Endoskops Integriertes Endomikroskop
K f k l h ik Konfokaltechnik:
Beleuchtung des Objektes nur punktweise und nicht gänzlich
streifenweise Abtastung
Eliminieren von Licht außerhalb der Fokusebene durch Detektor-Lochblende
wenig Streulicht aus anderen Ebenen gute Tiefenauflösung
Floureszenz:
Farbstoffe absorbieren (Laser-)Licht bestimmter Wellenlänge
HANEL (2013-10-05) PAK: Endoskopie
( ) g Anregung der Farbstoffe
Abstrahlen von Licht anderer Wellenlänge nach wenigen Nanosekunden
50
4.2 Anwendungsbeispiel: Konfokale 4.2 Anwendungsbeispiel: Konfokale EndomikroskopieEndomikroskopie (2)(2)
Grundprinzip (cont.):
Konfokale Lasertechnik ermöglicht Aufnahmen von Gewebe auf und unter der Oberfläche
Benutzer erhält sowohl gewöhnliches endoskopisches Bild als auch konfokales Mikroskop Bildkonfokales Mikroskop-Bild
Vorteil gegenüber herkömmlicher Endoskopie:
Deutliche Vergrößerung der realen Szene (Faktor 1000)
Einsparen von Biopsien Durchführung während herkömmlicher Endoskopien
Höherer Informationsgehalt in Tiefenrichtung
HANEL (2013-10-05) PAK: Endoskopie 51
4.2 Anwendungsbeispiel: Konfokale 4.2 Anwendungsbeispiel: Konfokale EndomikroskopieEndomikroskopie (3)(3)
Spitze eines integrierten Endomikroskops
Endosmikroskopspitze
HANEL (2013-10-05) PAK: Endoskopie
Schwierigkeit: Mikroskop auf Größe eines Endoskops (~13 mm)
52
Endosmikroskopspitze[Pentax, 2013]
4.2 Anwendungsbeispiel: Konfokale 4.2 Anwendungsbeispiel: Konfokale EndomikroskopieEndomikroskopie (4)(4)
Grundprinzip des Konfokal-Fluoreszenz-Mikroskops (an Endoskopspitze)
Fluoreszenzlicht aus der Fokusebene
Licht von außerhalbder Fokusebene wird an Detektor-Lochblende gefiltert
Lichtübertragung
HANEL (2013-10-05) PAK: Endoskopie 53
Lichtquelle außerhalb des Endoskops
über Einzelfaser
an Spitze des Endoskops (distales Ende)
Grundprinzip der Konfokal-Mikroskopie [Uni Wien, 2013]
4.2 Anwendungsbeispiel: Konfokale 4.2 Anwendungsbeispiel: Konfokale EndomikroskopieEndomikroskopie (5)(5)
Integriertes Endomikroskop – Funktionsweise
Einspeisen von blauem Laserlicht (= Lichtquelle) in Einzelfaser
Projektion des Lichtes über Linsensystem in der Endoskopspitze auf bildgebende Ebene auf oder unterhalb der Objektoberfläche (z.B. Gewebe)Gewebe) Fokussierung auf diese Ebene
Anregung von eingebrachten Floureszenzstoffen (Kontrastmittel) durch das Laserlicht
Emission von Licht anderer Wellenlänge (aufgrund der Anregung) von dieser Ebene Aufnahme durch Faser
Passieren des an Oberfläche abgegebenen Lichtes durch
HANEL (2013-10-05) PAK: Endoskopie
dichroitischen Spiegel in Richtung Detektor, Reflexion des Laserlichtes
Übersetzen des passierten Lichtes punktgenau in Graustufenbild in Detektionseinheit
Zweidimensionale Abtastung durch Faser über rotierende Spiegel
Schnittbild parallel zur Gewebeoberfläche
54
4.2 Anwendungsbeispiel: Konfokale 4.2 Anwendungsbeispiel: Konfokale EndomikroskopieEndomikroskopie (6)(6)
Ergebnis:
Schnittbilder: mehrere Graustufenbilder unterschiedlicher Eindringtiefe, 1000-fache Vergrößerung der Realität
Oberfläche0,7 μm
Einzelpunktgröße
Eindringtiefe in Gewebe,max: 250 μm
Oberfläche0,7 μm
250 μm
HANEL (2013-10-05) PAK: Endoskopie 55
Einzelbildgröße
Schnittbilder[Pentax, 2013]
500 x 500 μm
5 Zusammenfassung5 Zusammenfassung
Endoskopie
= Visuelle Technik zur Untersuchung schwer zugänglicher Objekte
Glasfaserendoskop, aber auch linsenoptisches oder Videoendoskope
Kernelement: Glasfaser
Bestandteile: Kern + Mantel Totalreflexion
Kombination zu Faserbündel Licht- und Bildübertragung
Kernprobleme:
Wabenmuster Störeffekt Spektrale Filterung
Weitwinklige Optik Verzeichnungen Kalibrierung
HANEL (2013-10-05) PAK: Endoskopie
Anwendung: Bauwesen und konfokale Endomikroskopie
56
Literaturempfehlung (1)Literaturempfehlung (1)
Grundlagen der Endoskopie
Lewerenz (2009): Einführung in die Endoskopie sowie Unterscheidung der einzelnen Varianten
Verarbeitung endoskopischer Aufnahmen
Winter (2008): Überblick über Charakteristika einer Glasfaseraufnahme sowie Möglichkeiten der Reduktion
Klar (2005): Kalibrierung mit Lochkameramodell
Anwendungsbeispiele
HANEL (2013-10-05) PAK: Endoskopie 58
Anwendungsbeispiele
Kiesslich et al. (2013) Gute Einführung in die Technik der Endomiksroskopie
Literatur (1)Literatur (1)
Bartz D (2003) Möglichkeiten und Grenzen der virtuellen Endoskopie. In: Schulze T, Schlechtweg S, Hinz V (Hrsg) Simulation und Visualisierung 2003 (SimVis 2003). Magdeburg: SCS Publishing House e.V.: 249-258
Janßen C (2000) Ein miniaturisiertes Endoskop-Stereomesssystem zur Strömungsvisualisierung in Kiesbetten Diplomarbeit Heidelberg:Strömungsvisualisierung in Kiesbetten. Diplomarbeit. Heidelberg: Ruprecht-Karls-Universität, Fakultät für Physik und Astronomie
Kiesslich R, Götz M, Rey J, Hoffman A (2013) Endomikroskopie. In: Baretton G, Bechstein W O, Degen L, Denzer U, Koop H, Lohse A (Hrsg) Gastroenterologie up2date 2013. Stuttgart: Thieme, 09(01): 41-54
Klar M (2005) Design of an endoscopic 3-D Particle-Tracking Velocimetry system and its application in flow measurements within a gravel layer. Dissertation. Heidelberg: Ruprecht-Karls-Universität, Naturwissenschaftlich-mathematische Gesamtfakultät
HANEL (2013-10-05) PAK: Endoskopie 59
Naturwissenschaftlich-mathematische Gesamtfakultät
Lewerenz B (2009) Bilddokumentation in der gastroenterologischen Endoskopie. Dissertation. München: Ludwig-Maximilians-Universität, Medizinische Fakultät
Literatur (2)Literatur (2)
Vettori T (1998) Möglichkeiten der Endoskopie zur Parameterbestimmung für die Modellierung von Makroporenfluß. Diplomarbeit. Freiburg i. Br.: Albert-Ludwigs-Universität, Fakultät für Umwelt und natürliche Ressourcen
Winter C (2008) Automatische Bildrestaurierung für faseroptische Systeme Winter C (2008) Automatische Bildrestaurierung für faseroptische Systeme am Beispiel von Fiberskopen. Dissertation. Nürnberg-Erlangen: Friedrich-Alexander-Universität, Technische Fakultät
HANEL (2013-10-05) PAK: Endoskopie 60
Literatur Literatur -- InternetInternet
Frey S (2013) Endoskopie im Bauwesen und die Kombination der optischen Prüfung mit anderen ZfP-Verfahren. Folienpräsentation am 3. Fachseminar Optische Prüf- und Messverfahren der DGZfP. http:// www.dgzfp. de/… Portals/opm2013/BB/v1.pdf (05.07.13)
Pentax (2013) Konfokale Endomikroskopie http://www ricoh-imaging de/ Pentax (2013) Konfokale Endomikroskopie. http://www.ricoh imaging.de/... de/ media/8ed15928970c8c93cef9c4e0018cdd19/3618 (13.09.13)
Steiner C (2013) Untersuchungen zum Einsatz von Glasfaserendoskopen in Crashtests. Folienpräsentation zum gleichnamigen Beitrag an den Oldenburger 3D-Tagen 2013. http://www.jade-hs.de/fileadmin/forschung/... downloads/3D-Tage/Vortragsfolien_2013/Steiner_Glasfaserendoskope.pdf (04.05.13)
Uni Wien (2013). Konfokal-Mikroskopie. http://www.univie.ac.at/...mikroskopie/3 fluoreszenz/fluoreszenz mikroskop/5c konfokal htm
HANEL (2013-10-05) PAK: Endoskopie 61
mikroskopie/3_fluoreszenz/fluoreszenz_mikroskop/5c_konfokal.htm (13.09.13)
Wikipedia (2013) Endoskopie. http://de.wikipedia.org/wiki/Endoskopie (04.05.13)
Wikipedia-2 (2013) Abbildungsfehler. http://de.wikipedia.org/wiki/... Abbildungsfehler (14.09.13)
LernzieleLernziele
Sie sollten…
sich an die Hauptbestandteile eines Endoskops erinnern
das Prinzip der Endoskopie verstehen
die Endoskopie in passenden Situationen anwenden können
ein Bild hinsichtlich charakteristischer Merkmale endoskopischer Aufnahmen analysieren können
HANEL (2013-10-05) PAK: Endoskopie
die Verfahren der „spektralen Filterung“ und der „Interpolation“ zur Reduktion des Wabenmusters gegeneinander bewerten können
62