Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
IoTCrawler: Eine Suchmaschine fur das Internet derDinge
Marten Fischer
Hochschule Osnabruck
17.05.2018
Marten Fischer (HSOS) IoTCrawler 17.05.2018 1 / 17
Ubersicht
1 Motivation
2 Anforderungen an eine Suchmaschine fur das IoT
3 IoTCrawler Systemarchitektur
4 Innovationen
5 Evaluationsszenarien
6 Zusammenfassung
Marten Fischer (HSOS) IoTCrawler 17.05.2018 2 / 17
Motivation
• Steigender Vernetzungsgrad von Geraten zum Internet der Dinge
• 50 Milliarden IoT Gerate im Jahr 2020
• Datenaufkommen ubersteigt 1 Zettabyte [ABI Research]
• IoT Ressourcen mussen effizient gefunden, durchsucht und daraufzugegriffen werden konnen
• Großer Anteil der Entwicklungszeit benotigt fur die Integration[Gartner, 2017]
• Adaptive, dynamische Losungen zur Integration verteilter IoTRessourcen & Daten erforderlich
Marten Fischer (HSOS) IoTCrawler 17.05.2018 3 / 17
Hemmnisse in dem Internet der Dinge
• Heterogene Datenquellen
• Keine Automatismen zum Finden (neuer) IoT Ressourcen
• Daten werden nicht domanenubergreifend genutztI Existenz nicht bekannt istI Konnen nicht interpretiert werden
• Keine Standards zur Verknupfung von Rohdaten mit Metadaten
• Hohe Dynamik erschweren das Crawling, Auffinden und Bewerten vonIoT Ressourcen/Daten
• Komplexe Zugriffsmechanismen behindern die Entwicklung neuer IoTAnwendungen
• Keine oder unzureichende Datenschutzkonzepte
Marten Fischer (HSOS) IoTCrawler 17.05.2018 4 / 17
Hemmnisse in dem Internet der Dinge
• Heterogene Datenquellen
• Keine Automatismen zum Finden (neuer) IoT Ressourcen
• Daten werden nicht domanenubergreifend genutztI Existenz nicht bekannt istI Konnen nicht interpretiert werden
• Keine Standards zur Verknupfung von Rohdaten mit Metadaten
• Hohe Dynamik erschweren das Crawling, Auffinden und Bewerten vonIoT Ressourcen/Daten
• Komplexe Zugriffsmechanismen behindern die Entwicklung neuer IoTAnwendungen
• Keine oder unzureichende Datenschutzkonzepte
→ Suchmaschine zum Finden & Integration IoT Ressourcen benotigt
Marten Fischer (HSOS) IoTCrawler 17.05.2018 4 / 17
Anforderungen an eine Suchmaschine fur das Internet derDinge
• Adaptives, verteiltes FrameworkI Abstraktion heterogener IoT RessourcenI Dynamische Integration von IoT Ressourcen
• Skalierende Methode fur dasI Suchen (Crawling)I Auffinden (Discovery)I Indizieren (Indexing)I Bewerten (Ranking)
• Moglichkeiten fur eine maschinell initiierte SucheI Berucksichtigung des Kontext der Domanen
• Monitoring derI Dienstgute (QoS)I Informationsqualitat (QoI)I Input fur das Bewerten
• Security by Design und Privacy by Design in allen Prozessen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 5 / 17
Anforderungen an eine Suchmaschine fur das Internet derDinge
• Adaptives, verteiltes FrameworkI Abstraktion heterogener IoT RessourcenI Dynamische Integration von IoT Ressourcen
• Skalierende Methode fur dasI Suchen (Crawling)I Auffinden (Discovery)I Indizieren (Indexing)I Bewerten (Ranking)
• Moglichkeiten fur eine maschinell initiierte SucheI Berucksichtigung des Kontext der Domanen
• Monitoring derI Dienstgute (QoS)I Informationsqualitat (QoI)I Input fur das Bewerten
• Security by Design und Privacy by Design in allen Prozessen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 5 / 17
Anforderungen an eine Suchmaschine fur das Internet derDinge
• Adaptives, verteiltes FrameworkI Abstraktion heterogener IoT RessourcenI Dynamische Integration von IoT Ressourcen
• Skalierende Methode fur dasI Suchen (Crawling)I Auffinden (Discovery)I Indizieren (Indexing)I Bewerten (Ranking)
• Moglichkeiten fur eine maschinell initiierte SucheI Berucksichtigung des Kontext der Domanen
• Monitoring derI Dienstgute (QoS)I Informationsqualitat (QoI)I Input fur das Bewerten
• Security by Design und Privacy by Design in allen Prozessen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 5 / 17
Anforderungen an eine Suchmaschine fur das Internet derDinge
• Adaptives, verteiltes FrameworkI Abstraktion heterogener IoT RessourcenI Dynamische Integration von IoT Ressourcen
• Skalierende Methode fur dasI Suchen (Crawling)I Auffinden (Discovery)I Indizieren (Indexing)I Bewerten (Ranking)
• Moglichkeiten fur eine maschinell initiierte SucheI Berucksichtigung des Kontext der Domanen
• Monitoring derI Dienstgute (QoS)I Informationsqualitat (QoI)I Input fur das Bewerten
• Security by Design und Privacy by Design in allen Prozessen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 5 / 17
Anforderungen an eine Suchmaschine fur das Internet derDinge
• Adaptives, verteiltes FrameworkI Abstraktion heterogener IoT RessourcenI Dynamische Integration von IoT Ressourcen
• Skalierende Methode fur dasI Suchen (Crawling)I Auffinden (Discovery)I Indizieren (Indexing)I Bewerten (Ranking)
• Moglichkeiten fur eine maschinell initiierte SucheI Berucksichtigung des Kontext der Domanen
• Monitoring derI Dienstgute (QoS)I Informationsqualitat (QoI)I Input fur das Bewerten
• Security by Design und Privacy by Design in allen Prozessen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 5 / 17
Anforderungen an eine Suchmaschine fur das Internet derDinge
• Adaptives, verteiltes FrameworkI Abstraktion heterogener IoT RessourcenI Dynamische Integration von IoT Ressourcen
• Skalierende Methode fur dasI Suchen (Crawling)I Auffinden (Discovery)I Indizieren (Indexing)I Bewerten (Ranking)
• Moglichkeiten fur eine maschinell initiierte SucheI Berucksichtigung des Kontext der Domanen
• Monitoring derI Dienstgute (QoS)I Informationsqualitat (QoI)I Input fur das Bewerten
• Security by Design und Privacy by Design in allen Prozessen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 5 / 17
IoTCrawler Systemarchitektur
WP7 Use Cases
Smart City Industry 4.0Smart EnergySocial IoT
WP5 Machine Initiated Semantic Search
Context Management
Monitoring & Fault Recovery
WP4 IoT Discovery
Multi-Criterica Ranking
Adaptive Indexing
WP2 Distributed IoT Framework
Edge Broker
CloudBroker
Edge Broker
Sear
ch
Dat
a An
alys
is
IoT Ressources: Sensors & Actuators (Services)
WP3
Sec
urity
, Priv
acy
& Tr
ust
WP6
Inte
grat
ion,
Ben
chm
arki
ng &
Test
ing
API Tools
Semantics(beyond just topics)
...
Dynamic Crawling
• Bereitstellen gemeinsamerSchnittstellen zurdomanenubergreifendenNutzung von IoT Ressourcen
• Skalierbare Mechanismen furdas Crawling, Finden, Bewertenund Indizieren
• Semantisch annotierte Datenzur maschinellen Suche nachInformationen/Ressourcen
• Zugriff auf Ressourcen unterBerucksichtigung derDatensicherheit & Schutz derPrivatsphare
Marten Fischer (HSOS) IoTCrawler 17.05.2018 6 / 17
IoTCrawler Systemarchitektur
WP7 Use Cases
Smart City Industry 4.0Smart EnergySocial IoT
WP5 Machine Initiated Semantic Search
Context Management
Monitoring & Fault Recovery
WP4 IoT Discovery
Multi-Criterica Ranking
Adaptive Indexing
WP2 Distributed IoT Framework
Edge Broker
CloudBroker
Edge Broker
Sear
ch
Dat
a An
alys
is
IoT Ressources: Sensors & Actuators (Services)
WP3
Sec
urity
, Priv
acy
& Tr
ust
WP6
Inte
grat
ion,
Ben
chm
arki
ng &
Test
ing
API Tools
Semantics(beyond just topics)
...
Dynamic Crawling
• Bereitstellen gemeinsamerSchnittstellen zurdomanenubergreifendenNutzung von IoT Ressourcen
• Skalierbare Mechanismen furdas Crawling, Finden, Bewertenund Indizieren
• Semantisch annotierte Datenzur maschinellen Suche nachInformationen/Ressourcen
• Zugriff auf Ressourcen unterBerucksichtigung derDatensicherheit & Schutz derPrivatsphare
Marten Fischer (HSOS) IoTCrawler 17.05.2018 6 / 17
IoTCrawler Systemarchitektur
WP7 Use Cases
Smart City Industry 4.0Smart EnergySocial IoT
WP5 Machine Initiated Semantic Search
Context Management
Monitoring & Fault Recovery
WP4 IoT Discovery
Multi-Criterica Ranking
Adaptive Indexing
WP2 Distributed IoT Framework
Edge Broker
CloudBroker
Edge Broker
Sear
ch
Dat
a An
alys
is
IoT Ressources: Sensors & Actuators (Services)
WP3
Sec
urity
, Priv
acy
& Tr
ust
WP6
Inte
grat
ion,
Ben
chm
arki
ng &
Test
ing
API Tools
Semantics(beyond just topics)
...
Dynamic Crawling
• Bereitstellen gemeinsamerSchnittstellen zurdomanenubergreifendenNutzung von IoT Ressourcen
• Skalierbare Mechanismen furdas Crawling, Finden, Bewertenund Indizieren
• Semantisch annotierte Datenzur maschinellen Suche nachInformationen/Ressourcen
• Zugriff auf Ressourcen unterBerucksichtigung derDatensicherheit & Schutz derPrivatsphare
Marten Fischer (HSOS) IoTCrawler 17.05.2018 6 / 17
IoTCrawler Systemarchitektur
WP7 Use Cases
Smart City Industry 4.0Smart EnergySocial IoT
WP5 Machine Initiated Semantic Search
Context Management
Monitoring & Fault Recovery
WP4 IoT Discovery
Multi-Criterica Ranking
Adaptive Indexing
WP2 Distributed IoT Framework
Edge Broker
CloudBroker
Edge Broker
Sear
ch
Dat
a An
alys
is
IoT Ressources: Sensors & Actuators (Services)
WP3
Sec
urity
, Priv
acy
& Tr
ust
WP6
Inte
grat
ion,
Ben
chm
arki
ng &
Test
ing
API Tools
Semantics(beyond just topics)
...
Dynamic Crawling
• Bereitstellen gemeinsamerSchnittstellen zurdomanenubergreifendenNutzung von IoT Ressourcen
• Skalierbare Mechanismen furdas Crawling, Finden, Bewertenund Indizieren
• Semantisch annotierte Datenzur maschinellen Suche nachInformationen/Ressourcen
• Zugriff auf Ressourcen unterBerucksichtigung derDatensicherheit & Schutz derPrivatsphare
Marten Fischer (HSOS) IoTCrawler 17.05.2018 6 / 17
IoTCrawler Systemarchitektur
WP7 Use Cases
Smart City Industry 4.0Smart EnergySocial IoT
WP5 Machine Initiated Semantic Search
Context Management
Monitoring & Fault Recovery
WP4 IoT Discovery
Multi-Criterica Ranking
Adaptive Indexing
WP2 Distributed IoT Framework
Edge Broker
CloudBroker
Edge Broker
Sear
ch
Dat
a An
alys
is
IoT Ressources: Sensors & Actuators (Services)
WP3
Sec
urity
, Priv
acy
& Tr
ust
WP6
Inte
grat
ion,
Ben
chm
arki
ng &
Test
ing
API Tools
Semantics(beyond just topics)
...
Dynamic Crawling
• Bereitstellen gemeinsamerSchnittstellen zurdomanenubergreifendenNutzung von IoT Ressourcen
• Skalierbare Mechanismen furdas Crawling, Finden, Bewertenund Indizieren
• Semantisch annotierte Datenzur maschinellen Suche nachInformationen/Ressourcen
• Zugriff auf Ressourcen unterBerucksichtigung derDatensicherheit & Schutz derPrivatsphare
Marten Fischer (HSOS) IoTCrawler 17.05.2018 6 / 17
Suchen und Auffinden
• Methoden zum Suchen und Finden Schlusselkomponenten desIoTCrawler Projektes
• Distributed Hash TablesI Dezentralisiertes Overlay NetzwerkI Flexible Moglichkeiten zur Speicherung und AbfrageI Hohe Ausfallsicherheit
• Dynamik im Internet der Dinge erfordert Einsatz vonBeschreibungsformaten
I Resource Description Framework (RDF)I JSON for Linked Data (JSON-LD)I Abfragesprache SPARQL
• Gemanagte Verfahren fur domanenubergreifenden Zugriff
Marten Fischer (HSOS) IoTCrawler 17.05.2018 7 / 17
Datenschutz und Datensicherheit in dem IoT
• Sicherer Informationsaustausch Attribute-Based EncryptionI Geeignet zum Informationsaustausch mit GruppenI Public-Key VerschlusselungsverfahrenI Schlussel sind beschreibenden Attributen assoziiertI Attribute konnen als Zugriffsrichtlinie formuliert werden
• Distributed Capability-Based Access Control (DCapBAC)I Zugriffsrechte fur ein ”Smartes Objekt” mit offtl. Schlussel verknupftI Zugriffsrechte konnen von Aktionen auf, beispielsweise CoAP
Methoden, gemappt werdenI → sicherer Zugriff auf Ressourcen
• Sicheren Umgebung zur Ausfuhrung von TransaktionenI Sichere/Unverfalschte Ausfuhrung von SystemoperationenI Policy Monitoring & Policy Enforcement Points (PEP) kombiniert mit
Blockchain-Transaktionen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 8 / 17
Datenschutz und Datensicherheit in dem IoT
• Sicherer Informationsaustausch Attribute-Based EncryptionI Geeignet zum Informationsaustausch mit GruppenI Public-Key VerschlusselungsverfahrenI Schlussel sind beschreibenden Attributen assoziiertI Attribute konnen als Zugriffsrichtlinie formuliert werden
• Distributed Capability-Based Access Control (DCapBAC)I Zugriffsrechte fur ein ”Smartes Objekt” mit offtl. Schlussel verknupftI Zugriffsrechte konnen von Aktionen auf, beispielsweise CoAP
Methoden, gemappt werdenI → sicherer Zugriff auf Ressourcen
• Sicheren Umgebung zur Ausfuhrung von TransaktionenI Sichere/Unverfalschte Ausfuhrung von SystemoperationenI Policy Monitoring & Policy Enforcement Points (PEP) kombiniert mit
Blockchain-Transaktionen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 8 / 17
Datenschutz und Datensicherheit in dem IoT
• Sicherer Informationsaustausch Attribute-Based EncryptionI Geeignet zum Informationsaustausch mit GruppenI Public-Key VerschlusselungsverfahrenI Schlussel sind beschreibenden Attributen assoziiertI Attribute konnen als Zugriffsrichtlinie formuliert werden
• Distributed Capability-Based Access Control (DCapBAC)I Zugriffsrechte fur ein ”Smartes Objekt” mit offtl. Schlussel verknupftI Zugriffsrechte konnen von Aktionen auf, beispielsweise CoAP
Methoden, gemappt werdenI → sicherer Zugriff auf Ressourcen
• Sicheren Umgebung zur Ausfuhrung von TransaktionenI Sichere/Unverfalschte Ausfuhrung von SystemoperationenI Policy Monitoring & Policy Enforcement Points (PEP) kombiniert mit
Blockchain-Transaktionen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 8 / 17
Datenqualitatsanalyse
• Bewerten (Ranking) benotigt Angaben zur QoS und QoI zu denDatenquellen
• Grundsatzliches Problem Fehlen von Wissen uber tatsachliche Werte(Ground-Truth)
• IoTCrawler verfolgt zwei Phasen AnsatzI Atomic Monitoring: sensorspezifische Eigenschaften (z.B. Einhalten der
Abtastfrequenz)I Composite Monitoring: Validierung der Messwerte durch benachbarte
SensorenI Erfordert infrastrukturbasierte Distanz- und Korrelationsmodell
F hier domanenubergreifend
I Nutzt IoTCrawler’s Methoden zum Suchen und Finden von IoTRessourcen
Marten Fischer (HSOS) IoTCrawler 17.05.2018 9 / 17
Domane I: Smart City
• Umsetzung in der danischen Stadt Aarhus
• Technologien zum Finden neuer Datenquellen fur Open DataPlattform (Open Data DK)
• Bereitstellen von Werkzeugen fur ”City Lab” um negativerWahrnehmung bzgl. IoT entgegenzuwirken
• Einbindung von Burgern und Firmen → Heranfuhren an die Welt desIoT
• Monitoring von Aktivitat und Qualitat zur Uberwachung derPerformanz
I KPIs fur Aarhus City Lab
Marten Fischer (HSOS) IoTCrawler 17.05.2018 10 / 17
Domane II: Social IoT
• Bestimmen und Verbessern von Zuschauererfahrungen auf Eventsdurch Sensoren
• Austragungsorte mit Sensoren bestuckt; Zuschauer tragen Wearables
• uber 800 Events aus unterschiedlichen Bereichen verfugbar
• Generieren neuer Inhalte und Erkenntnisse in Kombination mit SocialMedia
• Steigerung der Nutzbarkeit durch Technologien zum Finden undAnnotieren von Daten(quellen)
• → großerer Nutzerkreis zuganglich; neuartige Anwendungen moglich
Marten Fischer (HSOS) IoTCrawler 17.05.2018 11 / 17
Domane III: Smart Energy
• Energiewende → zunehmend dezentrale Strukturen im Energienetz
• Haushalte nicht mehr nur Verbraucher sondern auch Erzeuger
• Volatile Erzeugung (Wind und Sonne)
• Kommunikation Haushalt ↔ Smart Grid zur Stabilisierung des NetzesI Austausch Informationen uber (variabler) Verbraucher und ErzeugerI Handel mit Energie
• IoTCrawler Technologien:I Crawling: Entdecken von HaushaltsgeratenI Indizieren: Analyse der Anforderungen/Potential zur Bereitstellung von
EnergieI Suche: beispielsweise Moglichkeit zur Suche nach Verbrauch (nicht
Gerat) fur ein Netzbetreiber
Marten Fischer (HSOS) IoTCrawler 17.05.2018 12 / 17
Domane IV: Industrie 4.0
• Integration neuer Datenquellen in Industrie 4.0 Analysesoftware 80%der aufgewendeten Zeit
• Beschleunigung durch IoTCrawler Technologien zum Finden von:I Maschinen-MetadatenI SensordatenI Informationen aus Unternehmensdatenbanken
• Durchgangiges Monitoring der Datenstrome zur fruhzeitigenErkennung von Fehlerzustanden
Marten Fischer (HSOS) IoTCrawler 17.05.2018 13 / 17
Zusammenfassung - IoTCrawler Enablers
• Indizierung und BewertungI Bewertung der IoT Ressourcen/Informationen anhand der QoI/QoSI Atomic- und Composite-MonitoringI Skalierbare Indizierung der Daten(-quellen) uber geeignete Parameter
• Maschinelle SucheI Genutzt von Anwendungen, Diensten und GeratenI Suche in den indizierten, semantisch annotierten DatenI Einbeziehen des Kontextes von Ressource und Anwendung
• Domanenubergreifender Zugriff auf IoT RessourcenI Gemeinsame Schnittstellen fur Zugriff aus unterschiedlichen DomanenI Ansatze werden in 4 unterschiedlichen Domanen evaluiert
• Ganzheitlicher Datenschutz & DatensicherheitI Kryptographisch gesicherter Informationsaustausch mit Gruppen (ABE)I Gesicherte Ausfuhrung von Systemoperationen (Blockchain)I Kopplung von Zugriffsrechten mit offtl. Schlusseln (DCapBAC)
Marten Fischer (HSOS) IoTCrawler 17.05.2018 14 / 17
IoTCrawler Konsortium
Marten Fischer (HSOS) IoTCrawler 17.05.2018 15 / 17
Fragen?
https://www.iotcrawler.eu
Marten Fischer (HSOS) IoTCrawler 17.05.2018 16 / 17
Referenzen I
Adi Shamir (1984)
Identity-based cryptosystems and signature schemes
Theory and Application of Cryptographic Techniques pages 47 - 53. Springer, 1984.
ABI Research, ”Data Captured by IoT Connections to Top 1.6 Zettabytes in 2020”
https://www.abiresearch.com/press/data-captured-by-iot-connections-to-top-16-zettaby/
Eric Thoo, Ted Friedmann ”IoT Data Proliferation Elevates Data IntegrationChallenges”
https://www.gartner.com/doc/3221917/iot-data-proliferation-elevates-data
Marten Fischer (HSOS) IoTCrawler 17.05.2018 17 / 17