22
© Fraunhofer IIS Maschinelles Lernen: Ein Blick hinter die Kulissen Dr.-Ing. Thorsten Edelhäußer Gruppe: Machine Learning and Information Fusion

Maschinelles Lernen: Ein Blick hinter die Kulissen · n Maschinelles Lernen hilft, Gesetzmäßigkeiten aus Datensätzen zu extrahieren, und diese durch ein Modell zu beschreiben

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

© Fraunhofer IIS

Maschinelles Lernen:Ein Blick hinter die Kulissen

Dr.-Ing. Thorsten Edelhäußer

Gruppe: Machine Learning and Information Fusion

© Fraunhofer IIS 2

Über uns

n Bereich Lokalisierung und Vernetzung des Fraunhofer IIS in Nürnberg

n Schwerpunkte:

n Maschinelles Lernen und Data Analytics (Deep Learning, Reinforcement Learning)

n Verteilte Ereignisverarbeitung und Datenstromanalyse

n Information und Sensor Fusion (Bays‘sche Filter, SLAM)

n Kamerabasierte und hybride Lokalisierungslösungen

n Anwendungsfelder:

n Virtual Reality, Lokalisierung, Sport, Robotik, Industrie 4.0

© Fraunhofer IIS 3

Daten sind allgegenwärtig...

© Fraunhofer IIS 4

Daten sind allgegenwärtig...Extraktion von Wissen/Information: Data Mining?

n Data Mining auf diesen Daten:

n Erkennung von Anomalien/Ausreißern

n Erkennung von Objekt-Gruppierungen

n Klassifikation von Datensätzen

n Identifikation kausaler Zusammenhänge

n Identifikation statistischer Abhängigkeiten

n Aggregation von Datensätzen (ohne Informationsverlust)

© Fraunhofer IIS 5

Machinelles LernenWas ist das eigentlich?

n Beispiele werden nicht einfach „auswendig“ lernen

n Muster und Gesetzmäßigkeiten werden erkannt/extrahiert und in Form eines Modells repräsentiert

n Ziel:

n Lerntransfer: Beurteilung unbekannter Daten

n Achtung: Overfitting

Machinelles Lernen ist ein Oberbegriff für die „künstliche“ Generierung von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern.

Quelle: https://de.wikipedia.org/wiki/Maschinelles_Lernen

© Fraunhofer IIS 6

Machinelles LernenWas ist das eigentlich?

UnsupervisedLearning

Keine Labels

kein Feedback

SupervisedLearning

Input/OutputPaare

DirektesFeedback

Reinforcement Learning

Entscheidungsprozess

Belohnungssystem

Verborgene Strukturen extrahieren

Klassifikator oder Regressor zur

Prädiktion

Optimales "Verhalten"

© Fraunhofer IIS 7

Machinelles LernenWas ist das eigentlich?

Die „klassische“ Implementierung

Input

Programm

Output

Die „ML“-Implementierung

Input

Output

Programm

© Fraunhofer IIS 8Antenne 1

Antenne 2

Antenne NAntenne 12

Cluster

Lokalisiertes Objekt

Beispiel: LokalisierungssystemeTime Difference of Arrival (TDOA)

© Fraunhofer IIS 9

Beispiel: LokalisierungssystemeDer traditionelle Weg - Modellierung

ToA

ToA

ToA

ToA

Bewegung?

(t, x, y, z)

Wo? Kalibrierung? Analyse? Messmodell? Fehlermodell?Smoothing? Notwendig?

0 50 100 150 200 250 300 350 400 450 5000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Abs(Correlation)

CorrEdgeMax

© Fraunhofer IIS 10

Beispiel: LokalisierungssystemeDer Machine Learning Weg

n Modellierung des Systems oft durch Approximation und Linearisierung.

n Kann man hier auch Machine Learning anwenden?

n Exkurs: WLAN-Fingerprinting:

1. Referenzdatenaufnahme an vielen Punkten.

2. Speichern in Datenbank.

3. Für neuen Messpunkt KNN ausführen undPosition (gewichtet) mitteln.

Problem: es wird kein Modell gebildet!

© Fraunhofer IIS 11

Beispiel: LokalisierungssystemeDer Machine Learning Weg

n Modellierung des Systems oft durch Approximation und Linearisierung.

n Kann man hier auch Machine Learning anwenden?

n Exkurs: WLAN-Fingerprinting:

1. Referenzdatenaufnahme an vielen Punkten.

2. Generierung eines Modells.

3. Für neuen Messpunkt das Modell entscheidenlassen.

© Fraunhofer IIS 12

Beispiel: LokalisierungssystemeDer Machine Learning Weg

n Die entscheidenden Merkmale (ToA) extrahieren,um damit ein Modell zu generieren, welches dieWirklichkeit beschreibt.

n Wenig Vorverarbeitung notwendig(es wird nur eine SW-Komponente ersetzt).

n “Moderate“ Menge an Trainingsdatennotwendig (abhängig von sog.Nicht-Linearitäten).

n NN, SVM etc. haben ähnliches Laufzeitverhaltenwie klassische Verfahren.

© Fraunhofer IIS 13

Beispiel: LokalisierungssystemeDer Machine Learning Weg

n Bewegungsmodell kann auch „erlernt“ werden.

n Positionsdaten generieren ohne (spezifisches) Bewegungsmodell.

n Beschreibung der Bewegung mit Hilfeeines Textstrings.

n Erlernen zusammenhängender Textfragmente und deren Übergänge zueinander.

© Fraunhofer IIS 14

Beispiel: Warenmanagement in der LogistikHerausforderungen für die Lokalisierung

n Realbedingungen oft sehr schwierig:

n Metallische Oberflächen.

n Unterschiedlichste Waren.

n Enge Gänge.

n Installationen müssen oft und aufwändig per Hand optimiert werden.

© Fraunhofer IIS 15

Beispiel: Lokalisierung in der Logistik

n Auch der ML-Ansatz steht hier vor großen Herausforderungen!

n Generelle Idee: Vorverarbeitung, Merkmalsextraktion, und –selektion auch durch das ML-Verfahren optimieren à Deep Learning

n Bewegungsverhalten der Objekte auch gleich mit integrieren.

Datenaufnahme (A/D) Vorverarbeitung Merkmalsextraktion Merkmalsauswahl Klassifikation

TrainingSamples

Machine Learning

Deep Learning

Der Deep Learning Weg

© Fraunhofer IIS 16

Deep LearningGrundsätzliches

n Meist in Form von neuronalenNetzen implementiert.

n Die ersten Schichten erlernenMerkmale und deren Gewichtung.

n Die letzten Verarbeitungsschritte gewichtenextrahierte Merkmale und fällen Entscheidungen.

n Aber:

n Immense Menge an Daten notwendig.

n Modellgenerierung kann Wochen dauern.

n Entscheidung oft schwer nachvollziehbar.

© Fraunhofer IIS 17

Deep LearningDatengenerierung

n Messprinzip für Lokalisierungssysteme

n objektiv

n reproduzierbar

n automatisiert

n Standardisierter Messbericht

n Positionen

n Bewegungen

n Aber auch ideal, um Trainingsdatenzu erzeugen!

© Fraunhofer IIS 18

Beispiel: LokalisierungssystemeDer Deep Learning Weg

n Außerdem möglich: Active Learning

© Fraunhofer IIS 19

Klassische Verfahren

ML-Ansatz

Erste EinblickeMassive Mehrwege

© Fraunhofer IIS 20

Beispiel: Optische LokalisierungssystemeDer Deep Learning Weg

n Merkmals-basierte Matching-Verfahren in der Praxis:

n Zu langsam.

n Zu wenig robust gegenüber Umgebungsänderungen.

n outdoor: ~2.5m , < 5°; indoor: < 0.7m, < 1°.

© Fraunhofer IIS 21

Was haben wir verschwiegen?Reinforcement Learning

n MIT Technology Review: Groundbreaking Technologies 2017

n Zur Erinnerung: Deep Learning war 2013 auf der Liste.

© Fraunhofer IIS 22

Fazit

n Maschinelles Lernen hilft, Gesetzmäßigkeiten aus Datensätzen zu extrahieren, und diese durch ein Modell zu beschreiben.

n ML kann das Modell bestenfalls approximieren.

n Wenn das Modell ideal beschreibbar ist, können konventionelle Methoden überlegen sein.

n Vergleiche sollten daher differenziert betrachtet werden:

n Konventionelle Verfahren unter Idealbedingungen?

n Wie häufig existierten „schwierige“ Bedingungen?

n Echt-Hybride Methoden häufig die beste Lösung (aber aufwändig!)