THE THINGS AROUND BIG DATA - CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA
Involved Projects
독립형 컴포넌트 기반 서비스 지향형 페타급 컴퓨팅 플랫폼 기술 개발
빅데이터 활용을 위한 지식자산 구축 및 실시간 Linked Data 응용 기술개발
ExoBrain 컨소시엄 과제
Big Data
Buzz Word…?
What the Hell is BIG DATA?
3Vs
Open Data
Linked Data Government Data
Hadoop
And….
Cloud Computing
Echo-System
NOSQL
Definition?
Example
Ex.1 - Daum
대규모 Log분석
16시간 1.5시간
Content Logs 단위뉴스별 실시간 분석
실시간 콘텐츠 피드백
Ex.2 - LinkedIn
Simple Graph Analyze
16TB Scalable Cluster
기존 시스템에서 처리가 힘든 크기의 데이터
Scalable Computing 환경
Too Large Size Data
6,000,000,000 Files with 60TB Physical Size
Of One Month
Machine??
Storage space??
Processing time ??
Scalable Computing Environment
Cloud Computing
MapReduce
NOSQL DB
Cloud?
Cloud Computing
Job
Result
Cloud Computing
Easy Scalability
…
Network-wired Hadoop Cluster
MapReduce Framework(e.g. Hadoop)
NoSQL(e.g. MongoDB, Cassandra)
… …
MongoDB Cluster
Hadoop Cluster
Storing Processing
Storing and Processing Cluster on Cloud Computing
MongoDB Cluster
Key:@id+time Value: twitt message
Store
Query Access
…
@id+time
Twits on MongoDB Cluster
MapReduce Cluster Map Reduce
@id
@id
#tag
#tag
#tag
#tag
#tag
Input Output
Application /Analyze
Big Data Handling
MapReduce
NOSQL DB
국내에선..?
Recent Big Data Research in Korea
Social Data
Governmental Data Linked Data
Social Big Data Analyze
Social Big Data Analyze
Governmental Data
공유자원포탈(http://data.go.kr) by 인터넷 정보화 진흥원
서울 열린 데이터 광장(http://data.seoul.go.kr) by 서울시 정정보화 사업단
Governmental Data
Linked Data by Tim Berners Lee
Social Data
Governmental Data Linked Data
Big Data Research = Find Forgotten Data
Data high- dimensional features Hash Code Decoding
제 경우는요..
빅데이터 활용을 위한 지식자산 구축 및 실시간 Linked Data 응용 기술 개발
(2012 ~ 2015, 3Years, 8,000 per Year)
주관기관, 데이터확보, Enrichment
데이터 변환/Sync
데이터/플랫폼 제공
RDF데이터 처리
사용자 응용서비스
VS
Web of Data
Data, API
XML, OpenAPI RDF, Linked Data
공공DB 공공DB
공공DB
RDF
TextData
공공DB 공공DB
schema
공공데이터 플랫폼 LOD Publish 개발자지원
데이터/인프라 제공
분할 인덱스 LOD
검색/접근/API
Linked Data기반 응용서비스
공공데이터 플랫폼
자체서비스데이터
LOD 데이터
IBM Watson ExoBrainProject
Graph Data Storage
Knowledge = Large Size Graph Data
Real-time Graph Data Processing
감사합니다 [email protected] @chungbuk.ac.kr