3D goes mobile · 3D Goes Mobile Verarbeitung von semantischen 3D-Gebäudemodellen auf Smartphones Christoph Blut RWTH Aachen University Geodätisches Institut Lehrstuhl für Bauinformatik

3D Goes MobileVerarbeitung von semantischen 3D-Gebäudemodellen auf Smartphones

Christoph Blut

RWTH Aachen UniversityGeodätisches Institut

Lehrstuhl für Bauinformatik & Geoinformationssysteme

Christoph Blut

INHALT

• MOTIVATION

• MOBILE 3D

• UMSETZUNG

• VIDEO-DEMO

2Workshop 3D-Stadtmodelle 2015

Christoph Blut

3D STADTMODELLE AKTUELL


Christoph Blut

3D STADTMODELLE AKTUELL


Christoph Blut

TREND – VR


� Hersteller� Sony

� Microsoft

� Samsung

� Google

� …

� Realwelt-Position unberücksichtigt

Christoph Blut

TREND – MOBILE AR


Christoph Blut

DESKTOP VS. MOBILE


� Fokus Desktoprechner� Übersicht

� Analyse

� Fokus Mobilgerät� Fokussiert auf Einzelobjekte

� Spontan

� Positionsabhängig

Christoph Blut

MOBILE AR-SYSTEM - ANWENDUNG


� Semantische digitale Bauwerksmodelle� Visualisierung geplanter / historischer Bauwerke

� Abruf von Semantik / Topologie

Typ:Wohnhaus

Christoph Blut

MOBILE AR-SYSTEM - ANWENDUNG


Raum: 23

220 Volt

Raum: 24

Rigips

� Semantische digitale Bauwerksmodelle (Innenraum)� Visualisierung verdeckter

Objekte (X-Ray)

� Abruf von Objektinformationen

Christoph Blut

AR-SYSTEM

� Anforderungen an ein AR-System� Allgemein

• Kostengünstig

• Flexibel

• Unabhängig

� Technisch

• Erfassung der realen Welt

• Visualisierung der Real-Welt und virtuellen Welt

• Sensoren zur Bestimmung der Position und Orientierung des Gerätes (Tracking)


Christoph Blut

SMARTPHONES

� Nachteile� Kleine Displays

� Begrenzte Hardwareressourcen

• Low-Cost Sensoren

• …


� Vorteile� Kostengünstig

• ~100 – 800€

� Hohe Verfügbarkeit

• 1.2 Milliarden 2014 verkauft

� Mobilität

Christoph Blut

TESTGERÄT


� Nexus 5 (Google/LG)� Android 6.0 Marshmallow

� Full-HD Display

� 8 MP Kamera mit optischer Bildstabilisierung

� 32 GB interner Speicher

� 2 GB RAM

� Sensoren

• GPS

• Gyroskop

• Beschleunigungsmesser

• Kompass

• Barometer

Christoph Blut

MOBILE AR-SYSTEM - DATEN

<bldg:WallSurface gml:id=„WallSurface_1">

...

<bldg:lod4MultiSurface>

<gml:MultiSurface>

<gml:surfaceMember>

<gml:Polygon>

<gml:exterior>

<gml:LinearRing>

<gml:posList count="5" srsDimension="3">

6.176 3.714 -1.202

...

</gml:posList>

</gml:LinearRing>

</gml:exterior>

…


� City Geography Markup Language (CityGML)� Mehrskalige Visualisierung durch

Level of Detail (LoD) System

� Semantik\Topologie

� Georeferenziert

Christoph Blut

MOBILE AR-SYSTEM - PROBLEMATIK


Christoph Blut


� StädteRegion Aachen� CityGML ( LoD2 )

• 8 Städte und 2 Gemeinden

• 707,1 km²

• ~250.000 Gebäude und ~110.000 Gebäudeteile

• ~3,8GB!


Christoph Blut


� Berlin� CityGML ( LoD2 )

• ~890 km²

• ~540.000 Gebäude

• ~20 GB (CityGML) + ~17 GB Texturen!


Christoph Blut

ÜBERSICHT

� Komponenten des AR-Systems� Datenverarbeitung

• Datenimport

• Datenspeicherung

• Datenabfrage

� Datenvisualisierung

• Datenaufbereitung

• Rendering

� Tracking

• Tracking im realen 3D-Raum

• Positionierung und Ausrichtung im virtuellen 3D-Raum


Christoph Blut

ÜBERSICHT


• Datenimport


• Datenabfrage



• Rendering

� Tracking




Christoph Blut

DATENVERARBEITUNG – SERVER-CLIENT

� Vorteile� Verlagerung von Speicherort und komplexen

Berechnungen auf Server � 3DCityDB

� Nachteile� Netzverbindung notwendig

• � Nicht Unabhängig

� Hohes Datenvolumen

• � Hohe Kosten


Oracle Spatial +

3DCityDB+

CityGML-Daten

Christoph Blut

DATENVERARBEITUNG - LOKAL

� Datenimport� CityGML-Parser ( Android Pull-XML-Parser )

• Sequentielle Verarbeitung der CityGML-Daten

� Datenspeicherung� SpatiaLite-DB

� Datenabfrage� Verwendung von SQL für positionsabhängige

Datenabfragen

• Abruf von Geometrien

• Abruf von ergänzenden Objektinformationen


SpatiaLite-DB

Android Pull-XML-Parser

SQL

Virtuelle Welt

CityGML-Daten

Christoph Blut

SPATIALITE

� SpatiaLite � Erweiterung von SQLite� Serverlose, transaktionale SQL-Datenbankengine

• Einzelne Datenbankdatei � Einfaches Sichern, Austauschen und Weitergeben

• Einlesen der CityGML-Datei auf mobilem Gerät

• Einlesen der CityGML-Datei auf Desktop-Rechner und anschließende Kopie auf mobilem Gerät

� Vollständig in Anwendung integrierbar

� Unterstützung von Geometrietypen wie Punkte, Linien und Polygonen und komplexeren Typen wie multiplen Polygonen, im 2D, als auch im 3D-Raum


Christoph Blut

SPATIALITE - PROBLEMATIK

� SpatiaLite� Keine echten 3D Operationen möglich (2.5D)

• Beispiel Hochhaus: Abfrage ob Punkt in Raum, liefert auch alle Räume oberhalb und unterhalb des Punktes

� Vergleich Oracle Spatial� Unterstützung einiger echter 3D Operationen

• SDO_ANYINTERACT

• SDO_FILTER

• SDO_INSIDE (nur Solids)

• SDO_NN

• SDO_WITHIN_DISTANCE


Christoph Blut

OPTIMIERUNG

� Selektion im Umkreis (Begrenzung der Objekte)� Nur (notwendige ) Objekte in unmittelbarer Nähe

laden

� Weitere Filterung� Außenposition � Vollständige Gebäudehüllen

ohne innere Objekte nach definiertem Radius

� Innenposition � Vollständiger Raum mit enthaltenen Objekten ohne äußere Objekte

� Dynamisches Nachladen\Löschen von CityGML-Daten� Konfigurierbare Distanz zum Nachladen

� Konfigurierbare Distanz zum Löschen


Quelle: Kolbe, TU München

Christoph Blut

ÜBERSICHT


• Datenimport


• Datenabfrage



• Rendering

� Tracking




Christoph Blut

TRIANGULATION

� GML� Geometrien sind über Punkte definiert

� Graphics Processing Unit (GPU) ist auf die Verarbeitung von Dreiecken optimiert

• � Polygone müssen daher trianguliert werden

• Ziel: Möglichst wenige Vertices

� Implementierung angepasster Triangulations-Algorithmus


Christoph Blut

RENDERING

� Visualisierung� Open Graphics Library for Embedded Systems

(OpenGL ES )

• Vereinfachte Version der OpenGL-Spezifikation

� Platzieren der triangulierten Polygone in virtueller Welt

• Virtuelle Welt: Virtueller Raum + Koordinatensystem + Kamera

� Verknüpfung der Objekte mit den ergänzenden Informationen

• Minimal-Informationen in Welt, Rest aus lokaler Datenbank zur Laufzeit


Christoph Blut

RENDERING


Triangulierung +

Darstellungsinformationen +

Ergänzende Informationen

Quelle der Modelldaten: Karlsruher Institut für Technologie

Christoph Blut 28Workshop 3D-Stadtmodelle 2015

RENDERING

Quelle der Modelldaten: Karlsruher Institut für Technologie

Christoph Blut

ÜBERSICHT


• Datenimport


• Datenabfrage



• Rendering

� Tracking




Christoph Blut

TRACKING

� Ermittlung der Realweltkoordinaten/ Orientierung des Smartphones� Positionierung per GPS

� Orientierung über Smartphone interne Sensoren


GPS

Gyroskop

Accelerometer

Kompass

Näherungs-/Umgebungslichtsensor

Barometer

Halleffekt

Nexus 5 Sensoren

Christoph Blut

AR-SYSTEM – DEMO


Christoph Blut

AR-SYSTEM – DEMO


Christoph Blut

AR-SYSTEM – DEMO


Christoph Blut

AR-SYSTEM – DEMO


Christoph Blut

DANKE FÜR DIE AUFMERKSAMKEIT


Fragen?

Christoph Blut

QUELLEN

� http://www.hamburg.de/contentblob/4367170/data/b-3d-solarpotenzial.jpg

� http://static-dc.autodesk.net/content/dam/autodesk/www/products/autodesk-infraworks/images/features/images/shadow-lighting-analysis-large-1152x648.jpg

� http://www.esri.com/news/arcwatch/0210/graphics/feature5-lg.jpg

� http://www.virtualcitysystems.de/images/vcs/references/3d-city-model-berlin/1024px/3d_city_model_berlin_001_Pariser_Platz_A_1024px.png

� http://www.playm.de/wp-content/uploads/2014/07/oculus_rift2.jpg

� http://gazettereview.com/wp-content/uploads/2015/07/Oculus-Rift-Inside.jpg

� http://www.androidcentral.com/sites/androidcentral.com/files/postimages/79186/lg_wikitude.jpg

� http://www.windowscentral.com/sites/wpcentral.com/files/postimages/35454/Nokia_Maps_AR_Lumia920_ws.jpg

� http://www.wearear.de/wp-content/uploads/2014/01/13C990_01.jpg

� http://www.designboom.com/cms/images/-andy01/bmw1.jpg

� http://static6.businessinsider.com/image/5200e8edeab8eaff2e000029/ikeas-augmented-reality-catalog-lets-you-virtually-demo-its-furniture-in-your-living-room.jpg

� http://www.icg.tu-graz.ac.at/Members/schall/sbg_ar

� http://marketingland.com/wp-content/ml-loads/2014/12/mobile-smartphones-pile-ss-1920.jpg

� http://drop.ndtv.com/TECH/product_database/images/1112013121149AM_635_google_nexus_5.jpeg

� http://www.fws08.rwth-aachen.de/images/stories/aachen2/21_ausblick_belvedere.jpg

� https://upload.wikimedia.org/wikipedia/commons/thumb/3/35/Municipalities_in_AC_%282009%29.svg/1000px-Municipalities_in_AC_%282009%29.svg.png

� https://upload.wikimedia.org/wikipedia/commons/4/43/Funkturm_Berlin_View_08.jpg

� https://upload.wikimedia.org/wikipedia/commons/thumb/e/ea/Berlin,_administrative_divisions_%28%2Bdistricts_-boroughs_-pop%29_-_de_-_colored.svg/2000px-Berlin,_administrative_divisions_%28%2Bdistricts_-boroughs_-pop%29_-_de_-_colored.svg.png

� http://objnux.ddns.net/public/Android/AppInventor/orientation/.orientation0_m.jpg


Documents

3D goes mobile · 3D Goes Mobile Verarbeitung von semantischen 3D-Gebäudemodellen auf Smartphones Christoph Blut RWTH Aachen University Geodätisches Institut Lehrstuhl für Bauinformatik