View
102
Download
0
Category
Preview:
Citation preview
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe
Wissensbasierte Interpretationmultitemporaler Luftbilder
Promotionsvortrag
12. Januar 2001
Dipl.-Ing. Stefan Growe
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 2
Gliederung
Gliederung:
• Einleitung
• Multitemporale Bildinterpretation
• Bewertung von Alternativen
• Anwendungsbeispiel : Detektion eines Messegeländes
• Zusammenfassung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 3
Einleitung Luftbildauswertung: Anwendungsgebiete
1991 1995
Zeit
Landschaft
Automatisierung der Luftbildauswertung erforderlich
Auswertung multitemporaler Luftbilder für:
Umweltüberwachung und Landnutzungsanalyse
Aktualisierung von Karten und Geoinformationssystemen (GIS)
Große Datenmengen und aufwendige Datenerfassung:
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 4
Einleitung Probleme der automatischen Bildauswertung
Luftbild
Seg
men
tier
un
g
Segmentiertes Bild
Inte
rpre
tati
on
Grünfläche
Gebäude
Baustelle
Weg
SymbolischeSzenenbeschreibung
Problem:
Komplexität der Szene
perspektivische Verzerrungen, Schattenwürfe
fehlerhafte und unvollständige Segmentierungsergebnisse
Mangel an automatischen Interpretationsverfahren
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 5
Einleitung Multitemporale Luftbildauswertung
Interpretation zeitlich versetzt aufgenommener Luftbilder für:
• Änderungsdetektion
1993 1995 1997
• Erkennung von komplexen Objekten aufgrund einer charakteristischen zeitlichen Abfolge von Ereignissen/Zuständen
Ernten
Pflügen Reifen
Säen
Landwirtschaftliche Nutzfläche
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 6
Nachteil:• radiometrische und geometrische Entzerrung erforderlich• keine Aussage über die Art der Änderung
1993
1995
Differenzbild
1. Bild-zu-Bild-Verfahren, z.B. Differenzbild:
Einleitung Änderungsdetektion - Stand der Technik
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 7
Einleitung Änderungsdetektion - Stand der Technik
1993
1995
2. Klassifikationsvergleich (Post Classification Comparison PCC):
Nachteil:• stark abhängig von der Qualität der
Einzelklassifikationen• separate Bildanalyse ohne Nutzung
der zeitlichen Zusammenhänge
Grünfläche
Gebäude
Baustelle
Klassifikation
Klassifikation
Änderungsbild
Änderung
Keine Änderung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 8
Einleitung Wissenseinbringung durch menschliche Auswerter
01.01.2001
11.01.2001
Halle
Halle ?Wald ?
Wissen über:• Geometrie• Topologie• Struktur• zeitliche
Zusammenhänge
Halle Halle
Halle Wald
Zeitdifferenz: 10 Tage
Für die Automatisierung der multitemporalen Luftbildauswertung ist die Einbringung von Vorwissen erforderlich
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 9
Einleitung Wissenseinbringung in automatische Verfahren
Algorithmus: Implizite Wissensrepräsentation
DatenDaten
Wissen&
Steuerung
Wissen&
SteuerungSzenenbeschreibungSzenenbeschreibung
Algorithmus
Wissensbasiertes System: Explizite Wissensrepräsentation
DatenDaten SzenenbeschreibungSzenenbeschreibung
Wissen
Steuerung
Wissensbasiertes System
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 10
Einleitung Interpretation von Luftbildern - Stand der Technik
Wissensbasis
Klärwerk
KlärbeckenGebäude
Geoinformations-system(GIS)
Sensordaten
Szenenanalyse
Bildverarbeitung:
Segmentierung
Klassifikation
Symbolische Verarbeitung:
Interpretation
Sensorfusion
Erwartungen
Bildprimitive
AIDA SymbolischeSzenenbeschreibung
Klärwerk-1
Gebäude-1 Klärbecken-1
Wissensbasiertes Bildinterpretationssystem AIDA
Segmentiertes Bild
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 11
Semantische Ebene
3D-Ebene
2D-Ebene
Klärwerk-1
Symbolische Szenenbeschreibung
HypotheseInstanz
Einleitung Semantisches Netz
part-ofcon-of
Straße-1
Klärwerk
Fluß GebäudeKlärbeckenStraße
Streifen Zylinder Polyeder
Linie Kreis Polygon
Semantische Ebene
3D-Ebene
2D-Ebene
Wissensbasis
[1..] [1..5][2..4]
Streifen-1Streifen-1
Straße-1 Fluß-1
Streifen-2
Linie-2
Streifen-2
Linie-2
Fluß-1
Linie-1
Klärbecken-1
Zylinder-1
Kreis-1
Gebäude-1
Polyeder-2
Polygon-1
Klärwerk-1
Linie-1
Klärbecken-2
Zylinder-2
Kreis-2
Kreis-2Position: (x y)Radius: 6 pxlFläche: 113 pxl²
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 12
Einleitung Leistungsmerkmale AIDA
Mängel in Hinsicht auf eine multitemporale Bildinterpretation:
• Keine Verwaltung von Zeitpunkten und Zeitdifferenzen
• Keine Repräsentation von temporalem Wissen möglich
• Keine Interpretationsstrategie für multitemporale Bildreihen
Leistungsmerkmale von AIDA (gem. Tönjes):
• Flexible Systemsteuerung durch explizite Inferenzregeln
• Genutzte Wissensinhalte:
– Struktur Bestandteilshierarchie
– Geometrie/Radiometrie Konkretisierungen in 3D- und 2D-Ebene
– Topologie Topologische Relationen
(Nachbarschaft etc.)
– ggf. GIS-Daten als partielle Szenenbeschreibung
• Fusion mehrerer Sensoren
Interpretation von multisensoriellen Bildern (Luftbild, IR, SAR)
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 13
Einleitung Lösungsansätze
Nutzung des Bildinterpretationssystems AIDA für eine
multitemporale Luftbildauswertung:
• Wissensbasierte Änderungsdetektion
• Detektion komplexer Objekte aufgrund einer charakteristischen zeitlichen
Abfolge von Ereignissen
Notwendige Erweiterungen des Interpretationssystems:
• Modellierung von temporalem Wissen innerhalb des semantischen Netzes
• Interpretationsstrategie zur sequentiellen Analyse der multitemporalen Luftbilder
unter Ausnutzung des temporalen Wissens
Steigerung der Analyseeffizienz durch:
• a-priori-Ausschluß von unmöglichen Landschaftsänderungen
• Realisierung der Interpretationsstrategie „vom Wahrscheinlichen zum
Unwahrscheinlichen“
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 14
Gliederung:
• Einleitung
• Multitemporale Bildinterpretation
• Bewertung von Alternativen
• Anwendungsbeispiel : Detektion eines Messegeländes
• Zusammenfassung
Gliederung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 15
Multitemporale Bildinterpretation Detektion komplexer Objekte
1.3.20001.3.2000
11.3.20006.3.2000
11.3.2000
Messegelände ?!
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 16
AIDA
WissensbasierteBildinterpretation
AIDA
WissensbasierteBildinterpretation
• Bedeutungszuweisung
AIDA
MultitemporaleBildinterpretation
AIDA
MultitemporaleBildinterpretation
• Bedeutungszuweisung• Prädiktion von
Landschaftsänderungen
Multitemporale Bildinterpretation Sequentielle Analyse
Bild t0Bild t1Bild t2
Grünfläche
Gebäude
Fahrzeuge
Szenen-beschreibung t0
Szenen-beschreibung t1
Szenen-beschreibung t2
• • •
Szenen-beschreibung t0
Szenen-beschreibung t1
Ausnutzung der Erkenntnisse aus bereitsinterpretierten Bildern
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 17
Multitemporale Bildinterpretation Temporales Wissen
• diskrete Objektzustände und Zustandsübergänge
• Zustände werden spezifiziert durch:– charakteristische Bildmerkmale
– Anfangszeitpunkt und Dauer
– Wahrscheinlichkeit
• Zustandsübergänge werden spezifiziert durch:– Dauer
– Wahrscheinlichkeit
• Modellierung ungenauer Zeitangaben durch Intervalle
Zeit t
Zustand Si
Bildmerkmale
Anfangszeitpunkt
Dauer
Wahrscheinlichkeit
FSi
P(Si)
Zustandsübergang Tij
Wahrscheinlichkeit P(Sj|Si)
]00[ ii Smax,
Smin, tt
][ ii Smax
Smin dd Dauer ][ ijij T
maxTmin dd
Zustand Sj
Bildmerkmale
Anfangszeitpunkt
Dauer
Wahrscheinlichkeit
FSj
P(Sj)
]00[ jj Smax,
Smin, tt
][ jj Smax
Smin dd
Modellierung von zeitlichen Zusammenhängen durch:
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 18
Multitemporale Bildinterpretation Integration in AIDA
• Repräsentation des temporalen Wissens im semantischen Netz in Form von Zustandsübergangsdiagrammen
Si Sj
•••
•••
Konzept A
ti
[dmin dmax ][t0,min t0, max ]
P(Si )
tj
[dmin dmax ][t0,min t0, max ]
P(Sj )
• Erweiterung der Knoten um:– Zeitstempel– Zustandsdauer und Anfangszeitpunkt– Zustandswahrscheinlichkeit
part-ofcon-of
P(Si |Si ) P(Sj |Sj )P(Sj |Si )
[dmin dmax ]
P(Si |Sj )[dmin dmax ]
• Einführung einer temporalen Relation mit:– Zustandsübergangsdauer und -wahrscheinlichkeit
part-ofcon-oftemp-rel
n...i)S|S(Pn
jij 11
1
n
ii )S(P
11
• Zustandsübergangsdiagramme erfüllen die Regeln von Markov-Ketten
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 19
Multitemporale Bildinterpretation Beispiel: Messegelände
Semantisches Netz zur Erkennung eines Messegeländes
con-of
is-a
temp-rel
part-ofRechtwinkliges2D-Polygon
Cluster vonparallelen Linien
Menge von Rechtecken(innerhalb eines Suchraums)
Messegelände
d: [1 1]P: 0,7
d: [1 1]P: 0,1
d: [1 1]P: 0,1
d: [1 1]P: 0,1
LeereParkplätze
VolleParkplätze
LKWsneben Hallen
Industriegebiet
Messeaufbau
d: [5 10]t0: [0 ]P: 0,166
Messe aktiv
d: [5 8]t0: [0 ]P: 0,166
Messeabbau
d: [2 5]t0: [0 ]P: 0,166
d: [1 1]P: 0,3
d: [1 1]P: 0,9
d: [1 1]P: 0,9
Messe inaktiv
d: [0 365]t0: [0 ]P: 0,5
Halle Parkplatz
[3 ] [2 ]
d: [1 1]P: 0,9
Keine LKWsneben Hallen
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 20
Multitemporale Bildinterpretation Wissensnutzung
Prädiktion von Zustandsänderungen von t1 nach t2:
Frage: Ist Sj zum Zeitpunkt t2 ein möglicher Folgezustand von Si in t1?
• Optimistische Abschätzung, um keine Lösung auszulassen
• Ausschluß aller unmöglichen Lösungen Steigerung der Effizienz
Zeit t
Zustandsübergang Tij
Dauer ijTmind
Zustand S i Zustand Sj
Zustand S i Zustand SjDauer ijT
maxd
FrühesterAnfangszeitpunkt
SpätesterEndzeitpunkt
MaximaleRestdauer
Min:
Max:
t1 t2
jSmind
jSmaxd
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 21
Multitemporale Bildinterpretation Temporale Inferenz
Modellgetriebene Prädiktion von Zustandsänderungen
t = 9 Tage
Bewertung der Alternativen erforderlich
Ausschluß des unmöglichenFolgezustands „Messeabbau“ !
t2 = t1 + t
Messe inaktiv-2P: 0,7
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1
Messegelände-1
t2 = t1 + t
Messeaufbau-1P: 0,3
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1
Messegelände-1
t2 = t1 + t
Messe aktiv-1P: 0,27
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1
Messegelände-1HypotheseInstanz
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1t1
Messegelände-1
0,7
0,3 0,9 0,9
0,9
0,1 0,1 0,1
Messe inaktivd: [0 365]P: 0,5
Messeaufbaud: [5 10]P: 0,166
Messeabbaud: [2 5]P: 0,166
Messe aktivd: [5 8]P: 0,166
Messegelände
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 22
Gliederung:
• Einleitung
• Multitemporale Bildinterpretation
• Bewertung von Alternativen
• Anwendungsbeispiel : Detektion eines Messegeländes
• Zusammenfassung
Gliederung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 23
Bewertung von Alternativen Anforderungen
Zweck:• Bevorzugte Untersuchung der vielversprechendsten Lösungsalternative
Anforderungen an die Bewertung:• Maß für den Grad der Übereinstimmung zwischen den Erwartungen
(aus der Wissensbasis) und den Messungen (in den Daten)• Berücksichtigung der Unsicherheit und Ungenauigkeit von Daten und Vorwissen• Strategie „Vom Wahrscheinlichen zum Unwahrscheinlichen“
t2 = t1 + t
Messe inaktiv-2Messe inaktiv-1
Messegelände-1
t2 = t1 + t
Messeaufbau-1Messe inaktiv-1
Messegelände-1
t2 = t1 + t
Messe aktiv-1
P: 0,7
P: 0,3
P: 0,27
Messe inaktiv-1
Messegelände-1HypotheseInstanz
Messe inaktiv-1
t1
Messegelände-1
P: 0,7
P: 0,3
P: 0,27
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 24
Bewertung von Alternativen Bisherige Bewertung
Vorhandenes Bewertungssystem:
• Berücksichtigung von Unsicherheit und Ungenauigkeit der Daten
• Bewertung des semantischen Netzes durch Kombination von
Einzelbewertungen bottom-up
• Keine Berücksichtigung von a-priori-Wahrscheinlichkeiten
Identische Bewertung von Alternativen bewirkt zufällige Kandidatenwahl
Messe inaktiv-2P: 0,7
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1
Messegelände-1
1,0 0,9 0,7 0,8 0,9 0,7
1,0
Messeaufbau-1P: 0,3
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1
Messegelände-1
1,0 0,9 0,7 0,8 0,9 0,7
1,0
0,90,9 identische Bewertung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 25
Bewertung von Alternativen Bayes-Netze
Neuartiger Ansatz: Bewertung mit Hilfe von Bayes-Netzen
• Bayes-Knoten: diskrete Zufallsvariablen
• Bayes-Kanten: kausale Abhängigkeiten (bedingte Wahrscheinlichkeiten)
• Berechnung von Glaubwürdigkeiten BEL (engl.: Belief) für Bayes-Knoten
Asienbesuch RaucherP(Raucher)=0,3
TuberkuloseP(Tuberkulose)
LungenkrebsP(Lungenkrebs)
Tuberkuloseoder Lungenkrebs
BronchitisP(Bronchitis)
PositiverRöntgenbefund
AtemnotP(Atemnot)=0,2
P(Lungenkrebs|Raucher)
kausaleUnterstützung
diagnostischeUnterstützung
BEL(X) = P(X|e)
e: Evidenz
TuberkuloseBEL(Tuberkulose)
LungenkrebsBEL(Lungenkrebs)
BronchitisBEL(Bronchitis)
RaucherP(Raucher)=1,0
AtemnotP(Atemnot)=1,0
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 26
Bewertung von Alternativen Propagierung in Bayes-Netzen
A
B C
E FD G
H I
F
C
A
B
Belief-Update nach Pearl:
1. Bayes-Netz im Gleichgewicht
I
2. Einbringung von Evidenz
3. Verteilung der Information
top-down und bottom-up
bis…
4. Gleichgewichtszustand
wiederhergestellt
Informationsfluß top-down und bottom-up
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 27
Bewertung von Alternativen Vom sem. Netz zum Bayes-Netz
Halle-1
Messe inaktiv-1
Halle-1Halle-1 Halle-1Halle-1Parkplatz-1
•••
•••
Messeaufbau-1
P: 0,3
t2 = t1 + t
Semantisches Netz
Bewertungsmaß[0,0 1,0]
bisherige Bewertung neue Bewertung
Bayes Netz
• Transformation aller Instanzen u. Hypothesen• Transformation der Kanten• Abbildung der Attribute als Bayes-Knoten• Berechnung von Glaubwürdigkeiten unter
Berücksichtigung der a priori Wahrscheinlichkeiten
Messe inaktiv-1
Halle-1Halle-1Parkplatz-1
•••
•••
Messeaufbau-1
P: 0,3
t2 = t1 + t
A
A
Halle-1Halle-1Halle-1
AA AAA
A
Wahrscheinlichste Alternative erhält die beste Bewertung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 28
Gliederung:
• Einleitung
• Multitemporale Bildinterpretation
• Bewertung von Alternativen
• Anwendungsbeispiel: Detektion eines Messegeländes
• Zusammenfassung
Gliederung
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 29
Anwendungsbeispiel Messegelände Hannover
Bilddaten:
• 4 Datensätze
1993-1998
• geocodiert
• Auflösungspyramide
0,5-2,0 m/pxl
• Höhendaten
• Simulation eines
Messezyklus durch
Manipulation der
Aufnahmedaten:
1.3., 6.3., 11.3., 21.3.
1993199519971998
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 30
Anwendungsbeispiel Detektion von Hallen
Kriterien:
• Höhe
• Form
• Fläche
• Nachbarschaft
akzeptierterHallenkandidat
abgelehnterHallenkandidat
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 31
Anwendungsbeispiel Detektion von Parkplätzen
Kriterien:
• Liniendichte
• Linienrichtung
• Form des Clusters
• Lage des Clusters:
außerhalb der
Hallenbereiche
akzeptierterParkplatzkandidat
abgelehnterParkplatzkandidat
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 32
Messegelände
Erfolgreiche Detektion des MessegeländesSteigerung der Effizienz durch Reduktion des Suchraums
Anwendungsbeispiel Interpretationsverlauf
Bild 1
Industriegebiet
N1
Messe aktiv
Messe inaktiv
Messeabbau
Messe aktiv
Messeabbau
Spezialisierung
Industriegebiet
N2
Messe inaktiv
N3
Messeaufbau
N4
Messe aktiv
N5
Messeabbau
N6
Industriegebiet
Bild 2 t = 5 Tage
Temporale Inferenz
Messe inaktiv
N7
Messeaufbau
N8Messe inaktiv
Bild 3 t = 5 Tage
Temporale Inferenz
Messeaufbau
N9
Messe aktiv
N10Messeaufbau
Bild 4 t = 10 Tage
Temporale Inferenz
Messeabbau
N11
Messe inaktiv
N12
Messeaufbau
N13
Messe aktiv
Messeabbau
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 33
Anwendungsbeispiel Sucheffizienz
0
500
1000
1500
2000
2500
3000
Bild 1 Bild 2 Bild 3 Bild 4
Zahl der Analyseschritte
theoretischeUntergrenze
bisherigeBewertung
neueBewertung(Bayes-Netz)
Deterministisches Systemverhalten mit gesteigerter Effizienz
- 39%
Vergleich der Bewertungssysteme für mehrere Durchläufe:
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 34
Zusammenfassung
Ziel:
Automatische Interpretation multitemporaler Luftbilder
• unter Ausnutzung von Vorwissen über temporale Zusammenhänge
• mit möglichst hoher Analyseeffizienz
Ansatz:
• Repräsentation von temporalem Wissen in Zustandsübergangsdiagrammen
• Prädiktion von Landschaftsänderungen durch temporale Inferenz
• Interpretationsstrategie „vom Wahrscheinlichen zum Unwahrscheinlichen“
mit Hilfe eines Bewertungssystems auf Basis von Bayes-Netzen
Ergebnis:
• Erfolgreiche Detektion komplexer Objekte aus multitemporalen Bildreihen
• Bewertungssystem bewirkt deterministisches Systemverhalten mit gesteigerter Analyseeffizienz
Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 35
Vielen Dank für Ihre Aufmerksamkeit !
Recommended