Upload
amal-stroder
View
104
Download
2
Embed Size (px)
Citation preview
4. Mai 2006
1 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Projektpraktikum AR mit korrekter Beleuchtung
Entwicklung einer Augmented Reality Anwendung, bei der virtuelle Objekte korrekt
beleuchtet werden
4. Mai 2006
2 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Anforderungen und Ziele
Erfassung der aktuellen Beleuchtungs-verhältnisse mit Hilfe von zwei High Dynamic Range (HDR) Videokameras
Bestimmung der 3D-Positionen der Lichtquellen durch Triangulierung (Epipolargeometrie)
Beleuchtung virtueller Objekte durch Multipass Rendering Verfahren mit Schlagschatten für jede Lichtquelle
4. Mai 2006
3 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Aufgabenverteilung
Zerlegung in 3 Teilbereiche: Gruppe 1
• Kameraanbindung
• Lichtquellen erkennen
Gruppe 2• Kalibrierung
• 3D Rekonstruktion (Epipolargeometrie)
Gruppe 3• 3D Visualisierung mit Schatten und Beleuchtung
• Generieren der AR-Szene
4. Mai 2006
4 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Organisation
Regelmäßige Treffen Wiki
http://geri.uni-koblenz.de/Projektpraktika/ARLight/
Subversion
4. Mai 2006
5 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Programm ARLight
Unterstützte Plattformen Windows (Visual Studio) Linux
• Offline (keine Kameratreiber)
Programmiersprache C++ Verwendete Toolkits/Libraries:
OpenCV, Glut Cg, Rendertexture, Glew ARToolkit Glui
4. Mai 2006
6 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Programm ARLight
4. Mai 2006
7 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Konzept
Klassendiagramm
4. Mai 2006
8 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Gruppe 1Hardware und Lichtdetektion
Andreas von Arb
Matthias Korn
Maik Stange
4. Mai 2006
9 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Kameras
4. Mai 2006
10 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Kameras
High Dynamic Range 12 Bit Integer logarithmisch skaliert Lichtempfindlichkeit: 0,02 – 1 000 000 lux Auflösung: max 768 x 496 Pixel
• Stereo (512 x 496)
30 Bilder pro Sekunde (bei Vollauflösung)
4. Mai 2006
11 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Kamera-Ansteuerung
Spezielle PCI-Framegrabberkarte maximal 2 HDR Kameras pro Karte Treiber für Windows
Benötigt zusätzlich Kameratreiber wurde nicht mitgeliefert Aber: Beispielprogramm zur Ansteuerung
• Erweitert, u.a. (Stereo-) Video und Einzelbild speichern
• Anpassung an ARLight
4. Mai 2006
12 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Fischaugenobjektiv
4. Mai 2006
13 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Gruppe 2Kalibrierung und 3D-Rekonstruktion
Lisa Blum
Michael Kreil
Kathrin-Jennifer Kunze
4. Mai 2006
14 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Gruppe 33D-Visualisierung und AR
Jens Anhenn
Timo Wallrath
Yonghui Wan
4. Mai 2006
15 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Voraussetzungen
3D-Lichtpositionen HDR-Farbwerte der Lichtquellen Ambienter Term
Aufgabenstellung:Darstellung der Szene inklusive korrekt beleuchteter virtueller Geometrie und Schatten
4. Mai 2006
16 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Features der Engine
VRML-Loader Beleuchtung virtueller Objekte per N
Lichtquellen Shadow Volumes Einbindung Webcam-Bild
4. Mai 2006
17 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Verwendete Technik
OpenGL Cg RenderTexture ARToolkit
4. Mai 2006
18 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Display-Durchlauf
grabben des Webcam-Bildes
RenderTexture0
4. Mai 2006
19 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Display-Durchlauf
Schleife über alle Lichter setzen von Modelview- und Projectionmatrix Projektionsebene für Schatten in z-Buffer setzen der Shader-Parameter
(Lichtposition, HDR-Farbwerte, Ambienter Term)
4. Mai 2006
20 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Display-Durchlauf
Schleife über alle Lichter zeichne virtuelles Objekt
RenderTexture0
4. Mai 2006
21 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Display-Durchlauf
Schleife über alle Lichter zeichne Schatten
RenderTexture0
4. Mai 2006
22 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Schleife über alle Lichter
Display-Durchlauf
RenderTexture0
+RenderTexture1
RenderTexture1
4. Mai 2006
23 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Schleife über alle Lichter
Display-Durchlauf
+RenderTexture0 RenderTexture1
RenderTexture1
4. Mai 2006
24 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Display-Durchlauf
Tone Mapping
max
'lum
rr
RenderTexture1
Bildschirm:
Tonemapping
Shader
4. Mai 2006
25 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Augmented Reality
4. Mai 2006
26 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Realität
4. Mai 2006
27 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Ausblick
Verbesserungsmöglichkeiten Quelltextqualität Sampling-Verfahren Erweiterte Farbkalibrierung Flächenlichtquellen …
Studienarbeit Diplomarbeit
4. Mai 2006
28 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Danksagung
Prof. Dr. Stefan Müller
Thorsten Grosch
Rodja Trappe
Jacques
4. Mai 2006
29 / 35
U N I V E R S I T Ä TKOBLENZ · LANDAU
Arbeitsgruppe Computergrafik
Projektpraktikum AR mit korrekter Beleuchtung
Danke für Ihre Aufmerksamkeit
Präsentation anschließend im CG-Labor (B 014)