IoT, Wearable&LOD

2014. 06. 27

권 순 현(kwonshzzang@etri.re.kr)

목 차사물인터넷 (IoT) 과 LOD1

IoT 시맨틱 플랫폼 (COMUS 플랫폼 )2

플랫폼 활용33

• 시맨틱 어노테이션 & 변환기술• USN 자원 / 실세계이벤트 / 서비스 / 상황 온톨로지 모델링 기술• IoT 시맨틱 시맨틱 추론 기술 ( 병렬 / 분산 추론 ) • IoT 시맨틱 레파지토리 적재기술• GEO/ 기상 LOD 구축 및 연계

• 센서 커뮤니티• 플랫폼 활용 서비스 ( 기상센서 API, 웰라이프 수면관리 서비스 , 오미 ( 五味 ) 길 서비스 )

사물인터넷 (Internet of Things)1

Mark Weiser 의 인사이트• Ubiquitous Computing 의 정의• Mark D. Weiser

The most profound technologies are those that "disappear ". They weave themselves into the fabric of everyday life until they are indistinguishable from it. (Title: The Computer for the 21 Century, Sci-entific American, 1991 pp.66~75)

A less-traveled path I call the "invisible"; its highest ideal is to make a computer so imbedded, so fitting, so natural, that we use it without even thinking about it. (I have also called this notion “Ubiquitous Com-puting.”) I believe that in the next twenty years the second path will come to dominate. (Title: Creat-ing the Invisible interface, UIST94 Proceedings ACM symposium)

The important waves of technological change are those that fundamentally alter the place of technology in our lives. What matters is not technology itself, but its relationship to us.  Ubiquitous computing will require a new approach to fitting technology to our lives, an approach we call "calm technology". (Title: The Coming Age of CARM Technology, 1996)

• 사물과 컴퓨터의 구분이 불가능 - Capability• 협업지능에 의한 최선책 - Solution • 인간의 지각과 인지능력을 사물이 이해하고 맞추어 줌 –

Human Tech( 조화 )

사물인터넷이란 ? 사물들간의 인터넷

사물간의 협업을 위한 요구사항• 사물간의 협업 (Collaboration)• 사물의 센서데이터의 정의와 표현의 표준화 - Standard-

ization

• 사물간의 협업을 위한 글로벌한 인터페이스 제공 - Global Interface

• 사물의 지능화를 위한 타 지식과의 융합 – Knowledge Convergence

여기서 대안은 LOD(Linked Open Data)

E-H A-LA-H E-L

High-level Sensor Low-level Sensor

하지만… ..

How do we determine if A-H = A-L ? (Same time? Same place ?) How do we determine if E-H = E-L ? (Same entity ?) How do we determine if E-H or E-L constitutes a threat ?

<Source : “Semantic Sensor Web". Amit Sheth . pp. 4. Feb. 2008.>

IoT 오픈 데이터 플랫폼

IoT 오픈데이터 플랫폼기상정보

관광 정보재정정보

Geo-Names

지자체정보

교통정보FOAFFriends of a

Friends

이벤트 온톨로지Life Log

다양한 애플리케이션 개발

오픈데이터기반 개발

부가가치 창출

오픈데이터발행

LOD 데이터 클라우드

오픈데이터기반 서비스 앱스토어서비스 개발자

오픈데이터기반 지식 스토어

오픈데이터 이용

오픈데이터 발행

서비스 이용자

기업

오픈데이터 생태계 조성

기업수입 획득

수입모델 발굴

공공데이터 오픈

다양한 국민의견 수렴의 장 마련

기업

기상센서

스마트홈

도심지Plug&Play센서

오픈데이터 이용각종 IoT 단말

IoT 오픈데이터 플랫폼의 기술적 이슈• IoT 데이터의 실시간성 – Real Time

• 실시간 RDF 데이터 변환 – Real Time Semantic Trans-lation

• 실시간 LOD 발행 – Real Time LOD Publishing• 실시간 지식 융합 ( 상황인지 ) – Real Time knowledge

convergence

• IoT 데이터의 대용량성 – Large Scale• 대용량 데이터 저장 – IoT Semantic Repository• 대용량 데이터 처리 – Large Scale Semantic Reasoning

IoT 오픈데이터 플랫폼 (COMUS 플랫폼 )2

IoT 오픈데이터 플랫폼 (COMUS 플랫폼 )

Semantic Translator

Translation Rule

RDF

SensorML/Sensor O&MXML

시맨틱 USN 저장소 Suite

추론기

SPARQL 인터페이스

SPARQL End-point

Context Syn-chronizer

ServiceSynchronizer

USN 자원 / 커뮤니티 / 실세계 이벤트 / 서비스 / 상황 온톨로지

Service Ex-ecutor

Context ServiceO

pen APIPush Service센서데이터 + 지도서비스

매쉬업

모바일 서비스

스마트홈서비스

도심지

스마트홈

기상센서

Plug&Play 센서

Linking Open Data

온톨로지 규칙기반 추론기술(Rule Entailment Reasoning)

USN 자원 / 실세계이벤트 / 서비스 / 상황온톨로지 모델링 기술 (RDF(S), OWL)

시맨틱 어노테이션 & 변환기술(Semantic Annotation&Tranlation) LOD(Linked Open Data) 연계기술

IoT Semantic Repository 적재기술

COMUS PLATFORM

시맨틱 어노테이션 & 변환기술id= { {“jobtype”, “1”}, {“subjet”, “id$”}, {“object”, “resource:SensorNode”} } positon={ {“jobtype” , “1”}, {“subject”, “position_uri$”}, {“object”, “geo:Location”), ……………………………………….. }

Translation Rule

Collector & Analyzer

Run-Time Translator

Schema Verifier

Triple Creator

Rule Parser

Knowledge Creator

Ontology

Parser

Rule Adder

OntologyAdder

classes propertiesRuleSet

Translation KnowledgeOntology KB

PersonDevice Time

SpatialCon-text Ser-

viceActionUpper

Domain

Repository InterfaceIoT Semantic Repository

Sensor Specifica-tion

Sensor Observa-tion

Real Event/Context

Invoke Service

JSON/XML/EXCEL

Sensor Network

JSON

Target Ontology Schema

RDF(S)/OWL

RDF

Build

기상센서데이터의 시맨틱 변환

id= { {“jobtype”, “1”}, {“subjet”, “id$”}, {“object”, “resource:SensorNode”} } positon={ {“jobtype” , “1”}, {“subject”, “position_uri$”}, {“object”, “geo:Location”), ……………………………………….. }

Semantic Transla-tor

AWS Data

변환온톨로지모델Translation Rule

resource:323 rdf:type resource:SenosorNoderesource:323 resource:daily

22.5^^xsd:floatresource:323 resource:weekly 23.8^^xsd:float

RDF Data

JSON/XML/RDF

시맨틱 어노테이션 & 변환 예제{ {“awsID”, “323”}, {“manufacturer”, “ETRI”}, {“position”, “pos_323”}, {“coordinate”, { {“latitude”, “32.7296”}, {“longitude”, “127.1141”}, {“altitude”, “101.31”}, } } }

Input Data(JSON)

awsID= { { “jobtype”, “1”},

{“subject”, “awsID$“}, {“object”, “resource:SensorNode”}}

Translation Rule #1

resource:323 rdf:type resource:SenosorNode

RDF 생성

resource:SensorNode

resource:323

rdf:type

manufacturer= { {“jobtype”, “3”}, {“subject”, “awsID$”}, {“predicate”, “has||Manufacturer@”}, {“object”, “manufacturer$^^xsd:string”} }

Translation Rule #2

resource:323 resource:hasManufacturer “ETRI”

ETRI

resource:hasManufacturer

position= { { {“jobtype”, “1”}, {“subject”, “postion$”}, {“object”, “geo:LocationCoordinate”}}, { {“jobtype”, “2”}, {“subject”, “awsID$”}, {“predicate”, “has||Position@”}, {“object”, “position$”}} }

Translation Rule #3space:pos_323 rdf:type geo:LocationCoordinate

geo:LocationCoordinate

resource:323 resource:hasPosition space:pos_323

Space:pos_323 space:latitude 32.7296

space:pos_323

rdf:typeresource:hasPosition

32.7296

space:latitude

USN 자원 / 실세계이벤트 / 서비스 / 상황 모델링

Resource Ontology

Policy Ontology

Community Ontology

Time Ontology

Space Ontology

Event Ontology

Weather Ontology

실세계 이벤트 온톨로지군Service

Context

Policy

Agent

서비스 Upper 온톨로지

Service

Context

Agent

Policy

rdfs:subClassOfrdfs:subClassOf

rdfs:subClassOf

rdfs:subClassOf

서비스 Domain 온톨로지

실세계 이벤트 모델 개요• 실세계 이벤트 (Real Event)

COMUS 플랫폼에서 유통되는 센서데이터를 특정 서비스 도메인과 독립적 , 일반적 지식 ( 기상 , 위치 , 시간 , 사용자 정책 등 ) 과 연계하여 추상화한 개념• 실세계 이벤트 모델링실세계 이벤트 데이터 생성을 위한 명세정보와 프로세스를 모델링화한 지식베이스

– 입력• RDF 로 변환된 정량적인 센서데이터• Resource 온톨로지의 인스턴스값

– 출력• 추상화된 실세계 이벤트 정보• 프로세스된 Event 온톨로지의 인스턴스값

실세계 이벤트 모델 개괄구조

Resource Ontology

Event Ontology

Time Ontology

Space Ontology

Agent Ontology

FOAF Ontology

owl:equivalentClassOf/owl:equivalentPropertyOf

Weather Ontol-ogy

OWL-Time Ontology

Policy Ontology

owl:imports

OpenCYC/OpenGIS Ontology

CommunityOntology

Service Ontol-ogy

실세계 이벤트 데이터 Flow

Sensor_2 Sensor_3Sensor_1

Ontology Transla-tion

Context1 Context2 Context3 Service1 Service2 Service3

서비스 도메인 온톨로지

SensorML/Sensor O&M/COMUS XML

Resource 기본명세 Resource 소유정보 Resource 위치정보 Resource 센싱정보 Resource 커뮤니티정보data

Space기본명세 Space연계정보 Space Geo 정보

Spatial Ontology

Time 인스턴스정보 Time 인터발정보 인터발 관계정보Time Ontology

data

기상지역정보 기상시간정보 기상데이터정보Weather Ontology

Static Pol-icy 규칙정보

Dynamic Pol-icy 규칙정보

Policy 관계정보Policy Ontology

data

Agent명세정보 AgentSNS 정보

Agent Ontology

AgentPolicy 정보

Resource Ontology

Resource Policy 정보

data

이벤트데이터Event명세정보 Event관계정보

Event 값정보 ( 정량 ,정성 )

Event Ontology

Ontology Infer-ence

센서데이터의 시맨틱 가공단계센싱데이터 이벤트정보 상황정보 서비스정보

센싱데이터 시맨틱 가공단계

시맨틱 USN 저장소( 센싱데이터 , 이벤트정보 )

시맨틱 USN 저장소( 상황정보 , 서비스정보 )

실시간 이벤트 추론 상황추론엔진

• 서비스 독립적 데이터• 대용량 데이터• 빠른추론 , 간편한 모델

• 서비스 의존적 데이터• 주관적 , 디테일 데이터• 상세추론 , 세밀한 모델

실세계 이벤트 모델 처리 프로세스

Resource On-tology

Event Ontology

Spatial Ontol-ogy

Time Ontol-ogy

Weather Ontol-ogy

hasPosi-tion

hasTime

detects

triggeredEvent

hasSpace

hasTime

hasEventRe-source

hasEventSpace

hasEventTempo-ral

① 입력( 센서명세정보 , 실시간 센서데이터를 시맨틱 변환하여 적재 )

hasEven-

tWeather

센서의 명세정보와실시간 센서데이터의 연계

③ 공간온톨로지정량적인 공간정보를 개념화된 공간개념으로 확장 ( 센서가 존재하는 위치에 대한 개념정보 )

④ 기상온톨로지정량적인 기상정보를 개념적인공간정보와 시간정보로 연계한온톨로지

⑤ 이벤트 온톨로지이벤트 데이터를 생성하고 실세계이벤트 실세계 이벤트 각 요소 ( 공간 ,시간 , 기상 ) 과 연계하는 온톨로지

⑥ 출력실세계 이벤트 정보를 각 도메인 서비스에게 제공함

Object

센서명세정보

SensorN-ode Sensor

TRAFFIC_SERVICE_1_1_1TRAFFIC_SERVICE_1_1

rdf:type rdf:type

TEMPERATURE

consistOf

hasPosi-tion

spatial:Pos127.212

1

37.4232

0.0

long

alt

lat

hasGoal

ObjectIn-put

Obs_1212_1121221

hasValue

weather101

rdf:type

hasTimeTime_102121

detects

2012:09:19T18:50:00

inXSDDateTime

센싱값정보

eventhasPOI

역삼동

sub-sumedBy

강남구

서울

sub-sumedBy

sub-sumedBy회사밀집지역

유흥가상업지역

rdf:type

rdf:type

rdf:type

Geo 정보로의 확장

한가을저녁

퇴근시간러쉬아워

rdf:type

rdf:type rdf:typ

e rdf:type

시간개념으로의 확장hasEventSpa-

tial

21

tempera-ture

80humidity

10uv

rainy

sta-tus

hasS-pace

has-Time

기상정보의 연계호우경보

강남역

hasEventTemporal

hasEventWeather

이벤트 데이터 생성

회피지역존재상황기상특보가 발휘되고러쉬아워인 지역 상황정보로의 활용

IoT 시맨틱 추론 기술 ( 병렬 / 분산 )

import Resource 센싱값 생성

Temporal 처리Spatial 처리

Agent 정보리턴JSON

Policy 정보리턴

Weather 처리

Event 처리 export

Inferred RDF

실세계 이벤트 추론 WorkFlow

MapReduce MapReduce MapReduce MapReduce

impl

emen

tatio

n

imple

men

tatio

nimplementation

implementation

implementation

imple

menta

tion

Job Tracker

Job Control

HBase/HDFS

IoT 시맨틱 레파지토리 적재기술

Repository API

HTTP Serverapplication

SeRQLSPARQL

SAIL APIRIO

RDF Model

HBase Reposiotry API

HDFS

HBase MapReduce

extended Sesame Apache

Sesame Repository API를 상속하여 기능 확장

HBase 기반 시맨틱 레파지토리

GEO/ 기상 LOD 구축 http://comus.linkeddata.kr : 안행부 새도명 주소 , 기상청 AWS 기반 구축

<SPARQL Endpoint>

Sensor Data 의 LOD 연계

Transducer

Sensor

rdfs:subClassOf

TR_101 implements

TEMPERATURE

rdf:type

Req_1350

ObservationValue

pro-duces

rdf:type

TMP_20130908132435

2013-09-08T13:24:35

owltime:inXSDDateTime

hasTime

10

hasValue Au-tumn

Afternoonrdf:type

rdf:type

Location_101

127.345

37.113

19.432

latitude

altitude

hasPosition

DaejeonGajeongro

ETRIhasPOI

geo:spatiallySubsumedBy

Weather

W_101Rainy

hasQualitative

9.8

130

windSpeed

precipitatoinHeavy Rain

WarningMetropolitan

Region

rdf:type

rdf:type

hasSpace

InterVal_101

hasTime

owltime:Insides

longitude

geo:spatiallySubsume

dBy

rdf:type

GEO LOD

Weather LOD

플랫폼 활용23

Community• 특정 목적 ( 이벤트 ) 에 따라 동적으로 발생되고 소멸되어 지는 센서들의 의미적 집합

– 목적• 화재 , 홍수 , 범죄 , 백화점 세일 , 연휴기간

– 동작• 이벤트 발생시 명세된 커뮤니티의 역할에 따라 동적 커뮤니티 생성• 생성된 커뮤니티의 조건에 따라 협업할 센서 리스트 발견• 커뮤니티 구성원 ( 센서 ) 으로부터 센서데이터 수집 및 분석• 커뮤니티간의 데이터 공유를 통한 헙업 진행

Community 온톨로지 구조

Resource

Observation

Time

resource:produces

resource:hasTime

Weatherweather:hasObservatio

n

weather:hasTime

Space

resource:hasPosition

WeatherForecast

weather:hasSpace

weather:hasSpaceweather:hasForecast

Linked Data

Platform Data

Community Goal

comm_101

comm_102 comm_103

comm_104

Status

rdf:type

rdf:type

rdf:type

rdf:type

comm:hasGoal

Fire

ResourceTypecomm:hasStat

us

comm:hasGoal

SMOK-ING

FLAME

OXYGEN

rdf:type

comm:hasStatus

Active

Community Ontol-ogy

Service

Context

comm:hasResourceType

context:drives

EmergencyCon-text

EscapeCon-text

rdf:type

Service Ontology

Discovery Re-source

Invoke Context/Service

Community 동작 (Discovery Re-source) Community

comm_102

Active

Detect Fire

SMOK-ING

FLAME

CO2

Policy

Adjacent

Continu-ous

hasSpacePolicy

hasDetectingPol-

icy

hasGoal

hasSta-tus

rdf:type

c:hasResourceType

hasCondition

Resource

hasCollaboratehasCollaborate

Weather

Traffic

Con_101

Resource_102

Resource_103

Resource_101

rdf:type

r:hasResourceTy

pe

r:hasResourceTyp

e r:hasResourceType

rdf:type

rdf:type

Space

Weather

COEX

hasEventSpace

CALT

adja-

cent

HyunDai Department

adja-centha

sSpa

ce

hasSpace

hasSpaceadja-

cent

Samsung-Dong

isPartOf

isPart

OfisP

artOf

rdf:type

Weather_101

hasSpace

hasQ

ualit

ative

-Va

lue

RAINY

rdf:typerdf:type

rdf:type

rdf:type

hasEventRe-source

hasEventRe-

source

hasEventRe-source

hasEven-tWeather

Discovery Re-source

Community 동작 (Context Aware)

Community

hasEventRe-

source

Resource_101

Resource_102

Resource_103

comm_102hasEventRe-source

hasEventRe-

source

prod

uces

Obs_101

8.9

hasV

alue

produces

Obs_102 138.2

1

produces

Obs_103

7.8

Tmp_20131126183223

2013-11-26T13:54:23

owltime:inXSDdate

hasTime

EarlyWinter

RushHour

ClosingHour

rdf:type

rdf:type

rdf:type

hasTime

hasTime

hasValue

hasValue

hasEventSpace

COEX

Business Area

EntertainmentArea

rdf:typerdf:type

Weather_101

hasEven-

tWeather

Sleet

rdf:type DifficultyEntry

hasEventTempo-ral

Initial StateFire

Community 동작 (Collaborate Com-munity)

COEX CALT

HynDai De-part

GEO LOD(http://comus.etri.re.kr/RWEvent/Space)

adja-centadja-cent

adja-cent

comm_101

comm_102

comm_103

hasSpace

hasG

oal

Detect Traf -fic

TrafficCongestion

rdf:type

SlideRoad

RecommendPublic Transit

rdf:ty

pe

rdf:type

Detect Fire

hasGoal

Initial StateFire

Entry Difficulty

hasSpace

rdf:type

rdf:type

Detect Customer Number

hasGoal

hasSpace

Crowed

No Parking

Activated Commu-nity

rdf:type

rdf:type

Vehicle Control

rdf:t

ype

Prohibit Come out of Car

rdf:type

Prohibit of Passing

rdf:type

rdf:type

Shared Context

rdf:type

rdf:type

LOD 연계를 통한 기상데이터의 활용

리소스

resource:res_101

resource:res_101_obs측청된다

resource:UV

목적을 가진다

측정값

time:tmp_101

시간을 가진다

2013-07-23T14:34:53

한여름

장마

오후시간값

위치한다space:pos_101

Geo LOD

지역 광역시

중구

128.232

37.4213

10.323

경도

위도

서울시 열린 데이터광장문화재

남대문

9

값을 가진다

……

…

……구조관련역사재원

기상 LOD기상

weather:w101폭우

예보정보를 가진다

2013-07-24

event:ev_101

문화재관리의 위험상황

현재 자외선지수가 높고 내일 습도가 높을 것으로 예상됨

owl:ObjectPropertyowl:DatatypeProperty

rdf:typerdfs:subClassOfrdfs:subPropertyOf

시간값전이다

시간을 가진다시간을 가진다측정값을 가진다

고도

YTN Tower

남대문

위치를 가진다

포함된다포함된다 가깝다

지역을 가진다

위치를 가진다

같다

• 대용량 센서 데이터 저장 실험 : 2012 년 3 월부터 기상청으로부터 수집한 실측 센서 7 종에 대한 3억 건의 데이터와 분당 추가되는 증분식 Incre-mental) 데이터 업데이트 및 검색 기능 성능 보장

• SensorQL Console 추가 개발 : 센서 데이터 활용을 위한 질의 처리 시스템인 개발자 도구를 직관적이고 용이하게 구축 , JSON 데이터 처리 기능 제공

• 시범 기상 센서 구축 : 제주 Daum GMC 및 Space.1 등 2 개 지역에 기상 센서 실측 장비 설치 및 데이터 추가 진행

기술 정의• 대용량 스트리밍 센서 데이터 처리를 위한 NoSQL 기반의 저장소 개발 및 운영

• 국내 기상 센서 데이터 전체에 대한 SensorQL 기반 서비스 구축• Daum 개발자 네트워크를 통한 베타 서비스 구현 및 매쉬업 과제 개발

기상센서 API

지능형 군행군 제어 시스템

오미 ( 五味 ) 길 서비스

• 기상 , 교통 , 위치 , 센서정보 및 여행 컨텐츠의 시맨틱 데이터 모델링 / 가공 / 처리 기술 개발- SPARQL 쿼리를 통한 시맨틱 데이터 가공 처리

연계시스템 설계 및 개발

- 기상 데이터와 연계한 온톨리지 모델링

- 먹거리 ( 음식 ) 데이터의 온톨리지 모델링

• 모바일 단말에서의 개인일정 , 사진 , GPS 기능과 연동된 맞춤형 여행추천 / 안내 / 지원 서비스 개발- 염도 & 온도센서 개발

- 모바일 연동 측정 기술 개발

- 개인 단말기 스마트폰용 앱 및 오미길 서비스 개발

- 개인 선호도를 통한 맞춤형 음식 추천 시스템 개발

- COMUS 플랫폼과 연동하기 위한 인터페이스 개발- 염도 섭취량 정보 제공 기능 개발

기술 정의• 오미 ( 五味 )+ 길 : 달고 , 시고 , 쓰고 , 맵고 , 짠 음식에 대한 정보 및 해당 정보를 기반으로 한

건강 관리의 길 , 즉 , 여행 / 식당 정보의 길을 제공하는 서비스- 염도 센서를 이용한 누적 염도정보 제공 서비스- 음식의 味感 정보 기반의 건강 관리 및 개인 음식 추천 서비스

IoT 와 LOD 의 만남은시맨틱 어노테이션 ,온톨로지을 통해 센서 웹의 문법적 표준화 서비스에 풍부한 의미을 부여하고 ,

To Enrich

온톨로지를 이용해서 의미적 모호성을 감소시키고 ,

컴퓨터가 이해할 수 있는 데이터를 제공하여 상이한 장비와 제반 프로세스라도 처리 가능하게 하여 ,

센서정보와 웹정보를 표출시켜 다양한 융복합 기반의 Linked Data 서비스를 가능하게 한다 .

To Reduce To Provide To Connect

의미적 상호운용성을 통한 소통의 단절 해소 융복합을 통한 지식과 서비스 창출

센서데이터 재사용 가능

감사합니다