Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
1 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Augmentierte undvirtuelle Realität
- Weiterbildung und Training -
2 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Agenda für die Schulung Augmentierte und Virtuelle Realität15:30 – 15:45 Begrüßung und Vorstellungsrunde (CITEC Raum 1.204)
15:45 – 16:30 Vortrag Virtuelle Realität für Weiterbildung und Training (CITEC Raum 1.204)
16:30 – 16:45 Kaffeepause
16:45 – 17:30 HandsOn Trainingssimulationen im Labor für Virtuelle Realität (0.113)
17:30 – 18:00 Diskussionsrunde Chancen und Einsatz von VR in der Weiterbildung
3 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
4 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Überblick
• Virtuelle und Erweiterte Realität breitflächig verfügbar
• Immersives Storytelling• 360° Videos• 360° - 3D Videos
• 3D Simulationen für Virtuelles Training• Beispiel SkillsLab
• Augmented Reality
• Handson
• Diskussion
5 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Definition Virtuelle Realität
„Interaktiv erzeugte multimodale Sinneseindrücke 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden.“
- Thies Pfeiffer, 2017
Ziele
• Simulation von realen Umgebungen• z.B. zum Training, zur Planung
• Simulation von virtuellen Prototypen• z.B. zur Demonstration von Montage- oder Bedienprozessen
• Mehrbenutzersimulationen• z.B. für virtuelle Meetings, lernen in Gruppen
• Entertainment/Edutainment
6 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Definition Augmentierte/Erweiterte Realität
„Interaktiv erzeugte Synthese von multimodalen Sinneseindrücken 1. und 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden.“
- Thies Pfeiffer, 2017
Ziele
• Darstellung von virtuellen Prototypen (z.B. Designreview, Vertrieb)
• Darstellung von Arbeitsschritten am Objekt (z.B. Service, Bedienung)• Erweiterung realer Objekte (z.B. durch Informationen/Anleitungen)
• Edutainment
Definition Kontextsensitive Systeme„Systeme, die auf Basis verschiedener Sensoren und Datenquellen den aktuellen Nutzungskontext erkennen und ihr Verhalten entsprechend anpassen.“- Thies Pfeiffer, 2017
7 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
CAVE / L-Shapes
Technologien
• Anzeige
Google Cardboard Samsung GearVR
Oculus Rift CV1 HTC VIVE
Microsoft HoloLens
Vuzix M100
Google Glass Epson Moverio BT-200 Meta 2 DK
8 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Technologien
• Interaktion
Motion CapturingTiefensensoren
Hand Tracking 3D Eingabegeräte
Blickbewegung
Bildverarbeitung
Spracherkennung
Texteingabe
9 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Immersives Storytelling
10 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Virtuelle Exkursionen
• Google EXPEDITIONS
Wired, 15. November 2016
11 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Virtuelle Exkursionen
• Google EXPEDITIONS
Wired, 15. November 2016
12 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
360° Materialien erstellen
• Kompakte 2D 360°-Kamerasysteme sind im Konsumer-Bereich angekommen
• Bieten One-Shot Lösung
• Alternative: Apps, wie z.B. Cardboard Camera• Vorteile
• Kein Kameramann notwendig, geringer technischer Aufwand
Ricoh Theta SSa
msu
ng G
ear3
60
13 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Beispiel 360° - Panorama-Bild
14 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
3D - 360° Materialien erstellen
• CITEC Kamera-Rigg Marke Eigenbau• 12 Kameras horizontal, Typ Xiaomi Yi• Je 2 Kameras für Decke/Boden• Paarweise Anordnung für Stereo-Effekt• Pro Kamera
• 4:3 Auflösung 1600x1200• Panorama-Auflösung
• Theoretisch: 7200x3600• Praktisch: 3840x1920
• Sinnvoll: 60 Hz wg. geringerem Versatz
• Beispiele• http://www.uni360.de/
Nokia Ozo
CITEC 3D-360° Rigg Dreh 360 Karat
15 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Einsatzbeispiele
• Cockpit-View SWISS Airbus A320• https://www.youtube.com/watch?v=HEEIzZ7UjRg
• Virtuelle Touren• http://multimodal-interaction.org/citec/
• Produktmarketing / Erklärfilm• https://www.youtube.com/watch?v=pT-sjlv3bkU
• Eventfilm• CITEC Workshop Virtuelle und Erweiterte Realität
• https://www.youtube.com/watch?v=YIRQikcedwc
• Interaktive Filmstory• Nichtlinearer Film erlaubt die Abbildung von Entscheidungssituationen
16 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
3D Simulationen für Virtuelles Training
17 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab
• Ausgangspunkt• Training in der realen Umgebung mit den
realen Materialien und Geräten ist unabdingbar
• Training in der realen Umgebung ist aufwändig (Zeit, Ressourcen)
• Traditionelle Lernmaterialien können auf die Praxis nur bedingt vorbereiten
• Ziele• Reduzierung der Ressourcennutzung• Verbesserung der Flexibilität der Lernenden• Erhöhung des Trainingsumfangs, z.B.
Störfälle, mehr Varianten
• Ansatz• Virtualisierung der Trainingsumgebung• Vortraining der Prozesse (Handlungsschritte
und –abfolge) und der Entscheidungen
Ein Projekt von CITEC/Zentral Facility Labs und der FH Bielefeld/Pflege & Gesundheit.
18 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab - Vorgehen
3D Modellierer VR Spezialistin Lehrende P&G Student P&GStudent P&G
Beteiligte Personen Fokusgruppe
19 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab – Auswahl der Technologie
• Ziele• Trainingszeit der Studierenden im SkillsLab für die Vorbereitung einer
Infusion von 2-3h/Studierenden auf <1h reduzieren• Kostengünstige Lösung angestrebt• Flexible Lernzeiten ermöglichen
• Auswahl• Virtuelle Realität, da so keine Präsenz im Labor notwendig
(„Das SkillsLab für die Hostentasche“)• Samsung GearVR oder Google Cardboard als VR-System
• Kostengünstig• Apps könnten über Store verteilt werden• Studierende nutzen das eigene Smartphone
Google Cardboard
Samsung GearVR
20 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab
21 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab – Konzept 3D Modellierung
22 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab - Storyboards
23 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab – Detailbeschreibung der Arbeitsschritte
24 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab – Fertige Simulationsumgebung
25 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab – Nutzerstudie / Evaluation
• 12 Probanden aus den Studiengängen• Berufliche Bildung Pflege (BBP)• Gesundheits- und Krankenpflege (GKP)
• Feedback• Gute Steuermöglichkeit• Alle sind mit der Gear VR zurecht gekommen• Alle fanden die Grafik angemessen oder überwiegend angemessen• Alle fanden, dass der Ablauf der Übung der realen Aufgabe entspricht• 11 von 12 fanden die Anschaulichkeit besser als mittels Video• Dieselbe Anzahl empfand die virtuelle Übung als vergleichbar mit der
praktischen• Alle bewerteten das virtuelle Training als gute Vorbereitung• Besonders betont wurde Motivation und Innovation• Aber: Darstellung der eigenen Hände vermisst
26 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab
27 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Fallbeispiel SkillsLab – Nächste Schritte
• Umsetzung auf die HTC Vive• Interaktion mit Händen möglich
• Studie zur tatsächlichen Reduktion der Trainingszeit• Vergleich zwischen Gruppe
• mit VR Vortraining • mit Video Vortraining• ohne Vortraining
• Bisheriger Aufwand: 24 Mannwochen (BA Studierende)• Design/Konzeption/Requirements• Prozessmodellierung• 3D Modellierung (from scratch)• Umsetzung GearVR, Cardboard, HTC• Studien
28 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Beispiele für Virtuelle Trainings (Android)
• VirtualSpeech Google Cardboard App• Training für Vorträge vor Publikum (App )
• inTO VR Hospital Demo• Entscheidungstraining in Krankenhaussituationen
• Sport Training• XcelVR training for football
• Sport Training für Football• EON Sports VR
• Wissensvermittlung & Gamification• InCell VR (Cardboard)• Titans of Space® Cardboard VR
Google Cardboard
29 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Augmented Reality
30 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
BMBF Projekt ADAMAAS
• Ziel: AR-basiertes Assistenzsystem in Alltagssituationen für Personen mit Beeinträchtigungen
• ProjektmanagementProf. Dr. Thomas Schack, Dr. Kai Essig, Prof. Dr. Helge Ritter, Dr. Sven Wachsmuth, Dr. Arnd Rose
31 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Augmented Reality Service App
• Projekt unseres Kooperationspartners Neuland-Medien im Transferprojekt VIPEXP
• Kunde: Kraft Maschinenbau GmbHRietberg-Mastholte
Kraft Maschinenbau GmbHRietberg-Mastholte
32 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
Kraft Maschinenbau AR Anwendung
33 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC
HandsOn im Labor 0.113