Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
U N I V E R S I T Ä T
KOBLENZ · LANDAU
(6) Augmented Reality
Vorlesung
„Virtuelle Realität und
Augmented Reality“
S. Müller
Dank an Didier Stricker, Elke Hergenröther
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 2 -
Rekonstruktion der Kameraparameter (intern, extern) aus Bildern und perspektivisch
korrekte Einblendung von virtuellen Objekten
Augmented Image
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 3 -
Augmented Video
Rekonstruktion der Kameraparameter (intern, extern) für jedes Bild einer Bildsequenz
und perspektivisch korrekte Einblendung von virtuellen Objekten
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 4 -
Augmented Reality
Das ganze in Echtzeit
„Augmented Reality (AR) steht für „erweiterte Realität“
und bezeichnet bereits eine Weiterentwicklung der
Technologien der Visualisierung und VR. Im Kern geht
es dabei darum, Informationen in das reale Sichtfeld
eines Betrachters (oder einer Kamera) einzublenden
und mit den realen Bildern in Deckung zu bringen und
zu überlagern. Der Benutzer agiert in einer realen
Umgebung oder mit realen Objekten, wobei er von
dem Computer durch die visuelle Überlagerung von
Informationen unterstützt wird.“
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 5 -
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 6 -
Beispiel: Maschinenwartung
- Reparatur eines Fotokopierers -
Feiner,
Columbia U 1993
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 7 -
Beispiel: Inneneinrichtung
ECRC 1995
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 8 -
Beispiel: Automobilindustrie
- Montage und Wartung -
ECRC 1995
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 9 -
AR bei Boeing
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 10 -
AR bei Boeing
Chef: wir sind hier!
Die „Hip-Hype-Hop(e)“-Kurve neuer Technologien
t t
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 11 -
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 12 -
AR erweitert Problemstellung von VR
Virtuelle Realität Augmented Realtiy
Systemplattform Stationäre Systeme mit entsprechender 3D-Graphikleistung und Performance (high-end)
+ mobile Endgeräte (low-end)
Visualisierung Komplexe 3D-Datensätze in Echtzeit
+ multimediale Daten (Dokumente, Zeichnungen, Diagnosedaten, Prozeßinformationen, etc.)
+ Videoströme
Datenanbindung Aufbereitung von 3D-CAD Daten und Zugriff auf PDM
+ Anbindung an allgemeine „legacy Systeme“ und Informationssysteme
Tracking Eingeschränkter Aktionsradius mit Genauigkeit in „Millimetern“
+ Große Aktionsbereiche und Genauigkeiten in „Pixelgrößen“
Interaktion ... in 3D und möglichst intuitiv + ... mit realen Objekten
Qualifikation der Benutzer
Relativ hoch durch vergleichsweise wenig Systeminstallationen
+ nur „Benutzerqualifikation“ durch Massenmarkt
Preis/System 25.000 € – 1 Mio € + 1.000 € – 10.000 €
„AR ist Informatik-vollständig“
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 13 -
AR ist „Informatik“-vollständig
Mobile Systeme
Aufwendige
Systemarchitekturen
Gerätetechnologie
Neue Interaktion, Mensch-
Maschine-Kommunikation
Neues Medium
Aufwendige Algorithmen
(Bilderkennung, Gesten,
Sprache)
Visualisierung
… und alles in Echtzeit
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 14 -
Systemarchitektur: mobiles AR
Ethernet
Server
Video-
kamera
Wireless LAN Sprach-
interaktion
Tracking
U N I V E R S I T Ä T
KOBLENZ · LANDAU
Darstellung
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 16 -
Unterschiede der Darstellung
Video-See-Through
Die Realität wird durch ein
Kamerabild repräsentiert und
dieses überlagert.
(Optisches) See-Through
Durchsichtiges Display, der
Betrachter nimmt die Realität
direkt wahr und die virtuellen
Informationen werden
zusätzlich eingeblendet
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 17 -
(Optisches) See-Through
Pros
Maximale Realität
Natürliches Stereo
Geringe/Keine
Videobandbreite
Simultanität
Cons
Dynamische
Registrierungsfehler
(Latenz bei Bewegung)
Statische
Registrierungsfehler
(Aufwendige Kalibrierung,
Verrutschen der Brille)
Reduzierter Kontrast
(“Sonnenbrille”)
Virtuelle Objekte
verdecken nicht den
Hintergrund
(“Geisterbilder”)
Nur mit Datenbrille
MicroOptical
MicroVision
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 18 -
See-Trough: Kiyokawa (CRL, Japan)
Optisches See-Through
Interessanter Ansatz:
2-stufiges Display (CRL,
Japan)
1) normales „Geisterbild“
2) mit Verdeckungsrechnung
3) Erstes Display stellt Maske
schwarz dar
4) Zweites (überlagertes)
Display stellt virtuelle
Information dar
1 2
3 4
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 19 -
Video-See-Through
Kopfverbunden Handverbunden
Tivisio
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 20 -
Video See-Through
Pros
Dynamische
Registrierungsprobleme
lösbar (Computer trackt
das Bild, das auch
dargestellt wird)
Keine statischen
Registrierungsprobleme
(kein Offset zwischen Bild
und Trackerposition)
Kontrast der Bilder und
Informationsdarstellung
kontrollierbar
Cons
Video Bandbreite
Auflösung
Reduzierte Simultanität
“Blackout” bei System
Fehler
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 21 -
Video See-Trough: Takagi (MRL, Japan)
Video See-Through
Beispiel einer Datenbrille
(MRL, Japan)
zwei integrierte
Kameras
Spezielle Optik, so
daß Kamerabilder
dem realen Sichtfeld
entsprechen
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 22 -
Trends
HMPDs: head mounted projection display
Der Benutzer trägt einen Projektor und die Information wird in
die Realität projiziert.
Projektions-basierte AR (mit semi-transparente Spiegel)
U N I V E R S I T Ä T
KOBLENZ · LANDAU
Anwendungsbeispiele
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 24 -
Medizin
MIT AI-Lab
+ Brigham
Women‘s
Hospital
CMU +
Shadyside
Hospital
UNC
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 25 -
Tourismus
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 26 -
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 27 -
AR-Spiele
Aqua Gauntlet (MRL Japan) AR2 Hockey (MRL Japan)
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 28 -
Shared Augmented Reality
Spiele
Design-Evaluierung
wissenschaftliche Vis.
Video-Konferenz
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 29 -
Mensch-Technik Interaktion in
der Wissensgesellschaft
Augmented Reality für Entwicklung, Produktion und
Service
Mensch-Technik Interaktion in der Wissensgesellschaft
AACHEN
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 30 -
AR-Anwendungsszenarien
Entwicklung Produktion Service
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 31 -
Pedalbox
Montagesimulation
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 32 -
Sicherung 25A
AR-Montageunterstützung
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 33 -
Augmentierte Dokumentation ( Grundrissplan + CAD-Modell)
Augmentierte Dokumentation ( Photo + Grundrissplan+CAD)
Service
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 34 -
Montageunterstützung
Beschlag
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 35 -
Service
Spindelgehäuse reinigen
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 36 -
Service
BMW
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 37 -
Augmented Man
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 38 -
AR::RACE
Tobias Kammann
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 39 -
Herbarium
Torben Fugger, Nils Hornung, Florian Koller
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 40 -
Eduventure
Peter Ferdinand, Tobias Ritschel, Uli Wechselsberger
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 41 -
Enhanced Reality
Dietrich Paulus und Lutz Priese
Bildverarbeitung und Rechnersehen
Stefan Müller
Computergraphik
Jürgen Krause
Softwareergonomie
Jürgen Ebert
Softwaretechnik
Felix Hampe
Mobile Informationssysteme
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 42 -
Enhanced Reality
Indoor Outdoor
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 43 -
AR Bildsynthese
U N I V E R S I T Ä T
KOBLENZ · LANDAU S. Müller - 44 -
AR Teleskop
http://www.xc-01.de/index.html