Download pdf - Bildanalyse in der Photogrammetrie – Stand und …€¦ · Institut für Photogrammetrie und GeoInformation Einleitung-Vorbemerkung warum ein Photogrammeter zu Ihnen spricht-Trends

Institut für Photogrammetrie und GeoInformation

Bildanalyse in der Photogrammetrie –Stand und Perspektiven

Christian HeipkeInstitut für Photogrammetrie und

GeoInformation - IPILeibniz Universität Hannover


Inhalt

• Einleitung

• Bildanalyse – DIE Herausforderung

• Beispiele (aus Arbeiten am IPI)– Qualitätskontrolle von GIS-Daten– Straßenextraktion– Integration von 2D GIS-Daten und DGMs

• Zusammenfassung und Ausblick


Einleitung

- Vorbemerkungwarum ein Photogrammeter zu Ihnen spricht

- Trends in Datenerfassung und- verarbeitung


• Informations- und Kommunikationstechnologie:– Internetzeit, ständige Verfügbarkeit von Produkten und Diensten notwendig– 24/7, „I want it NOW“

• Google und Microsoft haben die Bühne betreten• Fahrzeugnavigation, virtuelle Welten, globaler Wandel

• „GI is big business“ (spatial is not special any more)– globale GI-Verbünde, z. B.

• Hexagon: Leica, Intergraph, Z/I, Erdas, …• Trimble: Applanix, inpho, Rolleimetric, Toposys, Definions…• Blom: NOR, DK, SWE, GB, ITA, D, SF, ROM, BUL, …

– GI als Zulieferer in globalen Firmenverbünden, z. B.• Vexcel / Microsoft (US) • Earthdata / Fugro (NL) • Rolta (IND)• Teleatlas / TomTom (NL) • Navteq / Nokia (SF) • …

Veränderungen in unserem Bereich


• Zusammenwachsen der Pixel- und Vektorwelten für raumbezogene Daten und Informationen

• Zusammenwachsen der Pixel-/Vektorwelt mit Ort und Zeit(mobile mapping, …)

• Zusammenwachsen von Datenerfassung und Weiterverarbeitung/ Analyse (Navigation, Echtzeitanwendungen in Handys und PDAs, LBS, …)

• Außensicht: Erfassung, Speicherung, Analyse, Präsentation und Verteilung raumbezogener Informationen gehören zusammen– Indiz: ein Gang durch die Ausstellung der INTERGEO

Einige Konsequenzen


Ph & FE – Kartographie

• es geht um dieselben Objekte• in der Auswertung werden sehr ähnliche Methoden

verwendet (gemeinsamer Forschungsbedarf)– Objekt- und Szenenmodelle / Ontologien– Zuordnung, Korrespondenzproblem / Datenintegration– Klassifikation / data mining– Suchverfahren, Optimierung, maschinelles Lernen

• immer öfter wird ein gemeinsames System genutzt (bildbasierte Navigation, Geosensornetze, mapping on demand, 3D Rekonstruktion aus Bilddatenbanken, …)

• alles hängt zunehmend am Web (Standards, GDI)


Ph & FE – Kartographie

• Geoinformatik/Mapping: M-EVAP-VModellierung, Erfassung, Verwaltung, Analyse, Präsentation -Verteilung von Geoinformation

• Pragmatischer Ansatz zur „Arbeitsteilung“– Ph & FE: Rasterdaten primär (Erfassung, BildAnalyse)– Geoinformatik: Vektordaten primär (Verwaltung, Analyse,

Verteilung)– Kartographie: Darstellung primär (Analyse, Präsentation)

– Treffpunkt: Modellierung, Methodik der Analyse, Datenbank

Photogrammetrie, Fernerkundung und Kartographie gehören eng zusammen


Ph & RS - mapping

physical world,environment

objectinformation

GIS-data base

cartographicrepresentation

result ofplanning

objectinformation

images2D/3D

non-contact image recording (EMR)

mea

sure

men

t

inte

rpre

tatio

n

cart

ogra

phic

proc

essi

ng

analysis, prediction

analysis, prediction

terrestrial data acquisitionrealisationof plans


Trends in der Datenerfassung• bessere und neue Sensoren, Sensorkombinationen

– immer höhere geometrische Auflösung der Weltraumbilder – Nadir- und Schrägaufnahmen aus der Luft– Bildsequenzen zur Überwachung dynamischer Prozesse– verschiedene Sensorgeometrien und -optiken

– 3D Kameras, Full waveform Laser, Texturprojektion, ...– Bilddatenbanken, das Web (insbes. für Crowd Sourcing)

– “all in one”: Smart phones, Laserscanner + Kamera, Videotheodolit, ...

– kooperative Sensoren, Geosensornetze

• unkonvent. Plattformen: UAV, mobile mapping, ...


Trends in der Datenerfassung• bessere und neue Sensoren, Sensorkombinationen

– immer höhere geometrische Auflösung der Weltraumbilder – Nadir- und Schrägaufnahmen aus der Luft– Bildsequenzen zur Überwachung dynamischer Prozesse– verschiedene Sensorgemetrien und –optiken–

– 3D Kameras, Full waveform Laser, Texturprojektion, ...– Bilddatenbanken, das Web (insbes. für Crowd Sourcing)

– “all in one”: Smart phones, Laserscanner + Kamera, Videotheodolit, ...

– kooperative Sensoren, Geosensornetze

• unkonvent. Plattformen: UAV, mobile mapping, ...

.. nicht zu vergessen:

Terrabytes (bald Petabytes) an

“dummen” Daten (Pixel) pro Tag


Die ersten Bilder von Pléiades

Paris, Louvre et Place de la Concorde - „naturellement“

1stPl

éiad

esS

atel

lit, S

tart

am 1

6.12

. 201

1


Nadir- und Schräg-aufnahmen aus der Luft

© Pictometry

© TrackAir


Mobile mapping Systeme

© Streetmapper, UK


Trends in der Datenverarbeitung

• Veränderungen– Überwachung von Prozessen, inkl. Vorhersagen– Datenbank-Aktualisierung

• Echtzeitanforderung (Navigation, Fahrerassistenz, Verkehrsüberwachung, Sicherheitsanwendungen, …)

• Detailreiche Oberflächen (Luftbilder und terrestrische Bilder, Kombination von Indoor- und Outdoor Szenarien)

• Verteilte Verarbeitung (Geschwindigkeit, Integrität, Skalierbarkeit)• Crowd sourcing: neue Mechanismen für Vertrauen und Zuverlässigkeit• Höherer Automationsgrad (schlichte Notwendigkeit)• …


Veränderung der Küstenlinie

Juist, Westteil

© Thorenz,

NLWK 2005 Coast line approx. Coast line approx. 19601960


Schiedsrichter Jorge Larrionda, Uruguay (27.6. 2010): kein Torhttp://www.sportschau.de/sp/fifawm2010/news201006/27/wembley_tor.jsp

Echtzeit in neuen Märkten: Es gab ...


University of Oxford (1990‘s): kein Torhttp://www.youtube.com/watch?v=HeXWEVXhdUo (2006 veröffentlicht)

.. schon immer

etwas zu tun


Bildanalyse

- DIE Herausforderung


Stand von Photogrammetrie & Fernerkundung

• digitale Bildaufnahme, verschiedene Sensoren und Plattformen, Einzelbilder und Sequenzen

• automatische Bildzuordnung und Orientierung, Bündel, direkte Lösungen, Zusatzdaten (GPS, IMU, …)

• automatische Oberflächenableitung mittels stereo, Laserscanning, InSAR, PMD – auch Fusion

• automatische Berechnung von Orthophotos und Mosaiken (auch „true ortho“)

• automatische hochgenaue Punktbestimmung und Punktverfolgung, auch in Echtzeit (v. a. im Nahbereich)

---------------------------------------------------------------------------------• manuelle inhaltliche Bildauswertung, mono und stereo


Bildanalyse

– Welches Gebäude ist das?

– Wie viele Menschen wohnen hier?

– Was ist das für ein Tier?

– zu diesem Thema möchte ich ein Bild haben

– zu dem Planetarium in Jena brauche ich weitere Bilder

„Photogrammetrie“

Identifikation, Ortsbestimmung, Typisierung, Erkennung, SucheErkennung setzt ein Modell des Objekts voraus

• Typische Fragestellungen– Wo sind die Straßen?


Herausforderung Repräsentation

123 214 34 76 200 45 21 216 156 132 100 79

31 200 99 137 188 176 155 139 99 76 105 87

55 177 81 59 31 188 187 186 188 165 90 99

44 132 135 140 141 136 244 240 239 231 177 99

94 106 162 179 210 199 217 204 249 255 255 255

123 56 42 173 137 146 123 214 34 76 200 45

21 216 156 132 100 79 31 200 99 137 188 176

155 139 99 76 105 87 55 177 81 59 31 188

187 186 188 165 90 99 44 132 135 140 141 136

244 240 239 231 177 99 94 106 162 179 210 199


Herausforderung Kontext


Bildanalyse - Definition

Model der realen Welt

Reale Welt Bilder Beschreibung

Automatische Generierung einer expliziten Beschreibung für den in Bildern dargestellten Ausschnitt der realen Welt mit Hilfe eines Computers (Rosenfeld, 1982)


Bildanalyse - Szenenmodelle• geometrisch

• parametrisch (Größe und Form von Objekten)• topologisch (Nachbarschaft von Dach, Wand, Tür, …)

• radiometrisch (appearance based)• Helligkeit, Farbe, Textur

• Bewegung, Veränderung (bei dynamischen Szenen)• Relationen zwischen Objekten und Objektteilen

• deterministisch – probabilistisch• Integration von Vorwissen und Beobachtungen• Auflösen von Widersprüchen• Maschinelles Lernen (Training)


Bildanalyse - Wissensrepräsentation

• regelbasiert• Wenn .. , dann – „wenn hoher NDVI, dann Vegetation“

• auf Logik basierend• Aussagenlogik – „Dächer sind rot“• Prädikatenlogik – „es gibt rote Dächer“---------------------------------------------------------------------------------

• graphbasiert• Semantische Netze• Zufallsfelder

• Bayesnetze• Markov-Zufallsfelder (MRF)• Conditional Random Fields (CRF)


Beispiele


Beispiel I: Qualitätskontrolle von GIS-

Daten


Geodaten in DB Realität(Orthophoto)

semi-automatischer Vergleich

Qualitätskontrolle von GIS Datenbanken


Siedlung

Wiese

Acker

Qualitätskontrolle von GIS Datenbanken


Bildanalyse

GeoDB

VisualisierungOrthophoto

Ampeldiagnose

Entscheidung durch den Menschen

o.k.

Arbeitsablauf


Beispiel Straßen (ländlicher Raum)

Extrahierte Straßenstücke (Stegeroperator)

Extrahierte Straßen

Linienverarbeitung (Wiedemann)


Ikonos Bild

Ergebnisse

Daten aus DBBeispiel Straßen

Dis

s. M

-Ger

ke, I

PI 2

006

–P

ulfri

chpr

eis

2007


5 Pyramidenebenen, nachfolgend Kombination der Ergebnisse

Hierarchische Texturklassifikation

1.25mOriginal

5m 20m10m

2.5m

Industrie

Siedlung

Wald

Landwirtschaft

Klassen:


Beispiel Flächenobjekte

Dis

s. S

-Mül

ler,

TNT

2007

–P

ulfri

chpr

eis

2007


Evaluation mit verschiedenen Daten ...


• ca. 2/3 aller Objekte der untersuchten Objektklassen können automatisch verifiziert werden

• Rate unentdeckter Fehler bei < 1% für Straßen, etwas höher für Flächenobjekte

• Geschwindigkeitssteigerung um Faktor 3

• Systementwicklung mit finanzieller Unterstützung von BKG und AGeoBW

• System ist dort auch installiert

Ergebnisse


Beispiel II: Straßenextraktion in

urbanen Gebieten


Straßenextraktion aus hoch aufgelösten Bildern urbaner Gebiete

Verdeckungen und Schatten von

Gebäuden und Bäumen

Objekte, die ähnlich wie Straßen aussehen

Kurze Straßen, Sackgassen

besondere Heraus-forderungen


Segmentierung

• Segmentierung: Gruppierung in nicht-überlappendeGebiete auf der Grundlage eines Ähnlichkeitsmaßes

• Grundvoraussetzung zur Objektextraktion

Region growing

für komplexe Szenen sind einfache Ansätze nicht ausreichend


Segmentierung mit Normalized cuts

• Methode der Graphentheorie: Pixel = Knoten,Kantengewichte = Pixelähnlichkeiten

• Segmentierung mittels NC Kriterium:

( , ) ( , )( , ) min( , ) ( , )

link A B link A BNcut A Blink A V link B V

= + →

∑∈∈

=BqAp

pqwBAlink,

),(

pqw : weight between pixels p and q

• Vorteile:– Kombination mehrerer Ähnlichkeitskriterien– Berücksichtigung lokaler und globaler Aspekte

zur Minimierung s. Shi, Malik,

T-PAMI (2000)


ÄhnlichkeitskriterienKantenintensität zwischen Pixeln

Distanz zweier Pixel im Farbraum

Unterschied im Farbton

Unterschied im NDVI


Ergebnisse

Hohe Korrektheit, aber Vollständigkeit verbesserungswürdig- Fusion mehrerer Straßenmodelle- separate Betrachtung von Straßenkreuzungen



Snakes (parametrische aktive Konturen)

• Repräsentation

s: Bogenlänge; x und y: Bildkoordinaten

( ) ( ) ( )( )sy,sxsv =

• Energieminimierung

( )( ) ( )( )[ ] MindssvEsvEE imgsnake →+= ∫1

0int

*

• Versch. Ansätze für Bild- und interne Energie, z. B.

( )( ) ( )( ) 2svIsvEimg ∇−=

• Minimierung mittels Variationsrechnung (Aufstellen der Eulergleichungen, Linearisierung, iterative Lösung)

( )( ) ( ) ( ) ( ) ( ) ⎟⎠⎞⎜

⎝⎛ ⋅+⋅= 22

21 svssvssvE sssint βα




Beispiel III: Integration von 2D GIS-

Daten und DGM/DOM


DatenDGK 5ATKIS® DGM 5

Brücke

©2001 Keith Murray, Ordnance Survey

Straße

Integration von 2D GIS-Daten und DGM




Semantik in der Geländemodellierung

Objektrepräsentationhorizontale Ebenen- ansteigendes Gelände

außerhalbgeneigte Ebenen- max. Neigung und Krümmung

Höhenrelationen


• Straßennetz: lineares Objekt

• Pufferbildung– horizontale Profile– geneigte Ebenen

• Kreuzungsgebiete– horizontale Ebenen– durch horizontale Profile

begrenzt

Lösung 1: Ausgleichung n.d.M.d. Kl. Q.


Ergebnisse

DatenATKIS® Basis-DLMATKIS® DGM 5

vor der Integration


Ergebnisse


nach der Integration

σplane = 0.1 m


Ergebnisse

20


vor der Integration


Ergebnisse


nach der Integration

σplane = 0.1 m


ErgebnisseBrücke- vorher


- nachher


• DOM = Bild• 2D GIS-Daten = Netzwerk-snake, soll sich den

Höhendaten „anschmiegen“

• Topologie der GIS-Daten bleibt erhalten• Geradlinigkeit, minimale Krümmung und

Abweichung von den Näherungswerten als innere Energie

• Kontextobjekte als abstoßende und anziehende Kräfte (Gebäude: abstoßend; Brücken: anziehend)

Lösung 2: Netzwerk-Snakes








Zusammenfassung und Ausblick



• Gute Ergebnisse für einfache Szenen– Straßen in offenem Gebiet (tlw. auch in Vorstädten)– einfach Gebäude

• Gute Ergebnisse für spezielle(re) Aufgaben– Verifikation vorhandener Daten

• Erste kommerzielle Systeme sind auf dem Markt


Building footprints in Google Maps• 25 million new building footprints added to Google Maps.• footprints, complete with height detail, were created by taking aerial

imagery and using computer vision techniques.http://google-latlong.blogspot.de/2012/10/expanded-coverage-of-building.html, (Oct. 18, 2012)





• Herausforderungen in der Forschung– sinnvolle Auswahl von Datenquellen und Sensoren

• Bilddaten, Punktwolken, …

– Auswahl und Repräsentation des relevanten Vorwissens und Kontextes

• auch unscharfes Wissen

– Erhöhung der Korrektheit und Vollständigkeit der Ergebnisse

• probabilistische Ansätze, Auflösung von Konflikten• machine learning zur Parameterschätzung



• Herausforderungen in der Forschung– sinnvolle Verarbeitungsstrategien

• 2D vs. 3D

• diskrete (NC) und kontinuierliche (snakes) Ansätze• Kombination lokaler und globaler Information

– Zeitliche Dimension: Prozess, Veränderungen, Echtzeit

Viola, Jones, 2001