A Guide to Semantic IoT Services · • 개방형 IoT 플랫폼 • 의미기반 연결 • 지능서비스 지원 - 시맨틱 모델링, 추론, 변환 • 시맨틱 IoT 정 관리

제8회 2015 한국 소프트웨어 아키텍트 대회

2015(제8회) 한국 소프트웨어 아키텍트 대회

A Guide to Semantic IoT Services

2015. 07. 16

㈜ 메타빌드

송세헌 책임


Things connected to the Internet

2

Source: CISCO


Internet of Things - definition

3

Source: http://en.wikipedia.org/wiki/Internet_of_Things

네트워크(Internet)에 연결된

고유하게 식별 가능한 사물들(Things)이

인간의 명시적 개입 없이

상호 정보를 주고 받으며

인간 중심적인 서비스를 제공할 수 있는

기반 인프라 기술

M2M, IoT, IoE의 포괄적 개념도


The new dimension in the IoT

4

Source: ITU, adapted from Nomura Research Institute


Huge amount of data in IoT

• Sensors and devices provide data about the physical world objects.

• The observation and measurement data related to an “object” can be related to an event, situation in the physical world.

• The processing of turning this data into knowledge/ perception and using it for decision making, automated control, etc. is another important phase.

• Huge amount of data related to our physical world that need to be

– Published

– Stored (temporary or for longer term)

– Discovered

– Accessed

– Proceeded

– Utilized in different applications

5


IoT 관점에서 지식 계층도

6

Data

Information

Knowledge

Wisdom

Raw sensory data

Structured data (with semantics)

Abstraction and perceptions

Actionable intelligence

More Important

Less Important

Perspective in IoT


Semantics and IoT resources and data

Semantics are machine-interpretable metadata, logical

inference mechanisms, query mechanism, linked data solutions

Semantics in IoT:

• ontologies for resource (e.g. sensors), observation and measurement data (e.g. sensor readings), domain concepts (e.g. unit of measurement, location), services (e.g. IoT services) and other data sources (e.g. those available on linked open data)

• Semantic annotation should also supports data represented using existing forms

• Reasoning/processing to infer relationships and hierarchies between different resources, data

• Semantics/ontologies as meta-data (to describe the IoT resources/data) / knowledge bases (domain knowledge).

7


Semantics at different levels in IoT

8

Real World Objects (i.e. “Things”) (e.g. IoT-A entity model)

Devices, Resources and Networks (e.g. W3C SSN Ontology, IoT-A resource model)

Data Processing Data abstraction and perception

Semantic reasoning Data integration and fusion

Semantic annotation

Services and Applications Service publication, discovery, composition and adaptation

Secu

rity

, Priva

cy a

nd T

rust

Dom

ain

Know

ledge

Them

atic, tem

pora

l and s

patial data

(e

.g. Lo

D)

Source: Semantics for the Internet of Things: Early Progress and Back to the Future, 2012, DOI: 10.4018/jswis.2012010101


How semantics work in IoT?

9

• 이종의 도메인에서 제공된 데이터가 어떻게 상호연결되는가?


What is ontology?

• Definition – 특정한 영역을 표현하는 데이터 모델로서 특정한 영역(Domain)에 속하는 개념

과, 개념 사이의 관계를 기술하는 정형(Formal) 어휘의 집합 • 어떤 관심 분야를 개념화하기 위해 명시적으로 정형화한 명세 • 공유된 개념의 정형화된 명세

• Sure scale, dynamism, trust, security etc. are issues, but so is

meaning and meaningful interactions for – Interoperability, discoverability, stability, evolvability, maintainability etc.

• Semantic/ontologies are needed as meta-data to describe the IoT resources/data and as knowledge for reasoning about inferred things: – 데이터 배경 지식 – 데이터 구조 – 데이터와 메타데이터의 주석 – 데이터의 출처 (변환, 분석, 해석) – 데이터 처리 워크플로우 – 프라이버시 관점 – 가정 생성과 워크플로우

10


The Semantic Web Layer Cake

11

Source: Benjamin Nowack, 2009

http://bnode.org/blog/2009/07/08/the-semantic-web-not-a-piece-of-cake


Semantic Web

12

Source: Data Modelling and Knowledge Engineering for the Internet of Things


Internet of Things Multi-domain Holistic View

13

Knowledge-enabled devices

Applications

Services

Intelligent Objects

Virtual Infrastructures

Semantics

Devices

Internet

Business Models

Source: IoT Semantic Interoperability: Research Challenges, Best Practices, Recommendations and Next Steps, EUROPEAN RESEARCH CLUSTER ON THE INTERNET OF THINGS, 2015.3

Diagram adapted from L. Atzori et al, 2010, “the Internet of Things: a Survey”

One paradigm, many visions


Physical World to IoT System

14

Source: Deliverable D1.4 – Converged architectural reference model for the IoT v2.0


oneM2M 표준에서의 시맨틱 연구

• TR-0007: Study of Abstraction and Semantics Enablements (v-0.11.0) – oneM2M 표준

– 목적

• 향후 지능형 M2M/IoT 서비스 개발의 가이드라인

• oneM2M 아키텍처에 시맨틱 기술의 적용 가능성을 검토하기 위한 기술보고서

– 범위

• Enable development of oneM2M abstraction capabilities (e.g. abstraction of heterogeneous devices including their monitoring and control)

• Enable development of oneM2M capabilities for semantic description of oneM2M entities and data

• Provide means to discover Devices, Virtual Devices and Things (physical entities) based on their semantic descriptions

15

Source: oneM2M, TR-0007


Abstraction vs. Semantics for oneM2M

Semantics • The meaning of

oneM2M entities and data

• Behavior of entity types

16

a new virtual entity

through mash-up of related data after analyzing the request and identifying required data

Abstraction • aims at hiding the

complexity of the specific technologies

• a M2M System decouples M2M applications from specific end device implementations


Abstraction vs. Semantics for oneM2M

17

Source: TR-M2M-0007v0.11.0


Requirements on semantics (TS-002)

• Semantics can provide machine interpretable descriptions using meta-data and annotations

18

Requirement ID Description

SMR-001 The M2M System shall provide capabilities to manage semantic descriptions of resources and M2M Applications, e.g, create, retrieve, update, delete, associate/link

SMR-002 The M2M System shall support a common modeling language for semantic descriptions (including relationships between Things) in order to make them available to M2M Applications.

SMR-003 The M2M System shall be able to provide interworking capabilities between different modeling languages for semantic descriptions.

SMR-004 The M2M System shall provide capabilities to discover M2M Resources based on semantic descriptions.

SMR-005 The M2M System shall support the capability to access semantic descriptions which are outside of the M2M System.

SMR-006 The M2M System shall be able to support capabilities for performing M2M data Analytics based on semantic descriptions from M2M Applications and /or from the M2M System.

SMR-007 The M2M System shall be able to provide capabilities for performing Semantic Mash-up using M2M data from M2M Applications and/or from the M2M System (e.g. to create Virtual Devices, offer new M2M Services, etc.)


Key functionalities for semantics for oneM2M

19

IoT Applications

IoT Data Collection

Semantic Mash-up

Reasoning

Ontology Modeling

Semantic Annotation

Device Abstraction

Semantic Analysis and Query

Ontology Repository

Data Repository

Service Access

Abstraction &

Semantics

Data Access

IoT 리소스에 시맨틱 정보를 추가하여 이기종 IoT 어플리케이션 간의 일관된 데이터 변환과 상호

운용성을 제공

시맨틱 어노테이션이 추가된 데이터의 새로운 관계와 분류를 유추 가능

새로운 가상 디바이스를 생성하고, 새로운 IoT 서비스들을 제공


Key issues on standardizing semantics and ontologies

• How to share common understanding of the structure of information among M2M nodes?

• How to enable the reuse of domain knowledge?

• How to enable evolving ontologies?

• How to analyze domain knowledge (ontologies)?

• How to make semantic annotations?

• How to generate (or register) new M2M resources/applications based on existing M2M resources/applications?

• How make reasoning?

• How to enable semantic rule?

20


Modelling of devices and things

* Combined view of approach

Device types

Operation types

Device instance

Device structure


Interworking with non oneM2M Devices and Area Networks in Rel-1

22

Mapping into oneM2M resource in Interworking Proxy Application Entity (IPE)


IoT를 위한 온톨로지 사례 - SSN Ontology

23

Source: The SSN ontology of the W3C semantic sensor network incubator group


IoT를 위한 온톨로지 사례 - Sensor and Observation ontologies

24

CSIRO Sensor Ontology OntoSensor

MMI Device Ontology SensorML Processes

Coastal Environmental Sensor Networks

(CESN) ontology

Source: http://www.w3.org/2005/Incubator/ssn/wiki/Review_of_Sensor_and_Observations_Ontologies

Sensor Data Ontology (SDO)

http://www.w3.org/2005/Incubator/ssn/wiki/Incubator_Report










IoT Stack for Service Delivery Model and Interoperability

25

Source: IoT Semantic Interoperability: Research Challenges, Best Practices, Recommendations and Next Steps, EUROPEAN RESEARCH CLUSTER ON THE INTERNET OF THINGS, 2015.3


IoT 플랫폼 비교 (국내)

26

Mobius COMUS MESIM IoT 플랫폼

개발사 KETI ETRI 메타빌드

특징 • 디바이스 중심 • 서비스 공통 기능 강조 • 개방형 IoT 플랫폼

• 의미기반 연결 • 지능서비스 지원

- 시맨틱 모델링, 추론, 변환

• 시맨틱 IoT 정보 관리 기술 • IoT 자원 질의 처리 기술 • 상황인지 및 추론

활용서비스

• 음성기반 사물제어 • 스마트화분 • Topic 기반 그룹 접근제어 및 디

바이스 탐색

• 음식추천 서비스 • 기상센서 OpenAPI 서비스 • 스마트 클린 커피 자판기 • 개인 맞춤형 수면관리

• 복합무기체계 공통운용 SW • 고령자 케어 서비스를 위한 의료정보화 연

계 지원 • 지능형 컨테이너 작업 관리 플래닝 서비스


MESIM IoT 플랫폼 소개

27

사용자

요구변화

감시

환경변화

감시

오류상황

감시

서비스/

디바이스

관리

서비스

프로토콜

아답터

라우팅/

변환

서비스

조합

서비스

접속제어

데이터 분석 지식 관리 시맨틱스

자원 관리 데이터 수집(CEP)

및 변환 디바이스 제어

CoAP MQTT IP/non-ip

서비스

모델러

응용

SW

에디터

서비스

템플릿

시뮬레

이터

상황 정보 온톨로지

전문가 지식 온톨로지

(opt)

자원, 서비스 Profile

서비스 레지스트리& 레포지토리

MESIM IoT 플랫폼 IoT Gateway

• 디바이스와 연결되어 상위 플랫폼과의 인터페이스

• 디바이스를 웹 상의 서비스 리소스로 인식될 수 있도록 관리CoAP, MQTT, TCP/IP, RS232, Bluetooth 등 의 프로토콜 지원

Semantic IoT middleware

• IoT GW로부터 전달된 센싱 데이터를 취합하고 상황 인지하여 서비스에 전달

• 이벤트 데이터를 시맨틱 정보로 변환

• 온톨로지 기반 상황 식별

IoT 서비스 레포지토리

• 서비스, 리소스 프로파일 관리

• 상황 정보 온톨로지, 전문가(도메인)지식 온톨로지

IoT 서비스 개발도구

• MESIM IoT 플랫폼 기반 응용SW를 손쉽게 개발할 수 있도록 지원하는 개발도구

관리/모니터링

• IoT 플랫폼에서 운용되고 있는 다양한 서비스의 상태를 관리 및 모니터링

• IoT GW의 이기종 디바이스를 통합하여 관리

MESIM IoT 플랫폼은 게이트웨이, 시맨틱 미들웨어, 서비스 레포지토리, 서비스 개발도구,관리/모니터링 부분으로 구성되고, 분산환경 및 SOA/WOA를 지원


MESIM IoT 플랫폼 소개 – IoT 서비스 운용

28

1. 센싱데이터 수집

CoAP, MQTT 등의 IoT 메시징 인프라를 지원하여 IoT 환경 하의 센싱데이터를 수집

SOAP-over-UDP, Binary XML을 통해서 경량화된 메시지 송수신

2. 데이터 취합 및 분석

복합 이벤트 처리 기술을 통해서 외부로부터 실시간/다량으로 수집되는 데이터를 필터링 및 처리

이벤트별/상황별/시간대별 데이터를 실시간으로 융복합하여 수집/공유/전달/ 배포

3. 응용 서비스 단으로 데이터 전달

웹서비스(SOAP, RESTful)를 통해서 IoT 환경에서 수집되어 취합/분석된 데이터를 응용서비스로 전달

스마트빌딩, 국방, 플랜트 등의 도메인 지원

4. 디바이스 관리 및 모니터링

IoT 환경에서 운용되고 있는 IoT Gateway의 이기종 디바이스를 통합하여 관리 및 모니터링

IoT 미들웨어에서 운용되고 있는 다양한 서비스의 상태를 관리 및 모니터링

다양한 IoT 디바이스로부터 수집한 센싱데이터를 취합 및 분석하여 응용서비스 단으로 데이터를 전달하고, IoT 환경 상의 디바이스를 관리 및 모니터링 할 수 있는 IoT 플랫폼 제공

4

환경변화 감시

사용자 요구변화

감시

오류상황 감시

서비스 관리/모니터

링

디바이스 관리/모니터

링

3 스마트 빌딩 플랜트 국방 u-City

2

CO2 다양한 IoT 디바이스

1


MESIM IoT 플랫폼 소개 - 응용서비스 사례

29

복합무기체계 공통운용 SW

MESIM IoT 플랫폼은 시맨틱 기반 미들웨어 및 게이트웨이를 통해 경량화된 서비스 실행엔진, 동적 서비스 재구성 및 메시지 전송 등의 기능을 제공하며, 전장환경의 자원제약적(SWaP), 열악한 통신환경(DIL) 을 극복할 수 있음

제8회 2015 한국 소프트웨어 아키텍트 대회 30

Documents

A Guide to Semantic IoT Services · • 개방형 IoT 플랫폼 • 의미기반 연결 • 지능서비스 지원 - 시맨틱 모델링, 추론, 변환 • 시맨틱 IoT 정 관리