5. Big Data Exploration ǥ 2014-03-11 .ppt [ȣȯ ]) · 2014-03-14 · − 다양한연결인터페이스제공(Aqualogic, SAP R3 and KM, Siebel (13 systems feeding UI –Documentum,

빅데이터 활용방안

Big Data Exploration

© 2014 IBM Corporation

Presenter’s Name - Presenter’s Title

DD Month Year

Bigdata Exploration Case #1 - 질문

빅데이터정의중에서탐색과

가장부합되는설명은?

A. 미래를 여는 비밀 열쇠(Key)

B. 새로운 기름 (New Oil)

C. 퍼즐 (Puzzle)

D. 21세기 혁명 (revolutionizing 21st-century)

© 2014 IBM Corporation2

D. 21세기 혁명 (revolutionizing 21st-century)

고객IBM

Bigdata is the crude oil. (IBM)

�Data is the new oil : 정보는 21세기 새로운 기름 (Baylor S3 Report)

�Bigdata is not a new oil, but instead a new kind of

resource entirely : 완전히 새로운 자원 (Harvard Business Review)

Bigdata Exploration Case #1 - 답변


고객IBM

� 미국의시장조사기관 가트너는 “데이터는미래경쟁력을좌우하는 21세기원유”

� 다양한가치생성 = 빅데이터는 ‘원유’

� 21세기기업에게가장중요한자산은‘데이터’이며 여기서가치를이끌어내지못하면경쟁에서살아남을수없음

� Data is going to be the natural resource

(IBM CEO : Council on Foreign Relations in NY)

Bigdata Exploration Case #1 – 설명 및 요약


( )

원유(crude oil) 를탐색하기위하여첫번째해야할일은무엇인가요?

A. 즉시 시추 작업 (Start drilling immediately)

B. 정유 공장 설립 (Build a refinery)

C. 주유소 사업 진행 (Open a chain of gas stations)

D. 원유 매장량 평가 Explore to find the richest deposits



D. 원유 매장량 평가 Explore to find the richest deposits

고객IBM

원유매장량평가를먼저해야합니다.

�이라크 북부 쿠르드지역 하울러 광구의 원유는 탐사 시작 66년년 만에만에거둔거둔 결실결실 (한국석유공사, 2012)

�카자흐스탄 잠빌 탐사광구에서 원유원유 발견발견, 경제성 파악을 위해 다른

유망구조에 대한 추가추가 탐사시추를탐사시추를 실시실시 예정예정. (한국석유공사, 2013)

�2008년 부터 콜럼비아 석유청과 공동으로 원유탐사 CPO-2 광구 사업사업



�2008년 부터 콜럼비아 석유청과 공동으로 원유탐사 CPO-2 광구 사업사업유망성유망성 낮아낮아 철수철수 결정 : (한국석유공사, 2014)

고객IBM

� 원유탐사과정 (최소 3년소요)

1. 지층탄성파도면분석 : 8 개월

2. 추가적인자료분석 : 12 개월

3. 시추기간 : 6 개월

4. 산출시험 & 매장량평가 : 10 개월

� Data Exploration in the Age of Big Data (tdwi)

- Exploring data is a prerequisite to analyzing data

(빅데이터분석을위한사전요건은데이터탐색)



(빅데이터분석을위한사전요건은데이터탐색)

- It should parse data of many formats and

structures (다양한포맷과구조의데이터파싱)

원유를바로사용할수있나요? 또는가공하는과정이필요한가요?

A. 주유기에 넣어서 바로 사용

B. 가열 후 냉각 하여 사용

C. 상압증류 / 감압증류 등을 사용하여 비등점에 따른 분리

D. 불순물 정제 후 사용



D. 불순물 정제 후 사용

고객IBM

원유는비등점에따라여러종류로분리원유는비등점에따라여러종류로분리

하여야만사용할수있습니다.

�세계적으로 유통되는 원유는 여러 유전의 원유를 혼합한 것

�원유의 성분을 분리하는 증류와 분리한 것을 사용 목적에 맞도록

물리적, 화학적인 처리를 하여 최종적인 제품을 만드는 정제 로 구분

�최근 중동 지역이 정유산업에서 강력하게 부상함에 따라 중동과



�최근 중동 지역이 정유산업에서 강력하게 부상함에 따라 중동과

한국의 관계가 조력자이자 경쟁자로서 새로운 국면을 맞이했다

고객IBM

� 원유정제과정

1. 원유속의불순물제거

2. 원유예열후가열 (340도 ~ 360도)

3. 상압증류 : 비등점차이에따른유분분리

� 우리나라는한해원유 6억8천만배럴을수입,

재가공처리하여연간 1억2천만배럴수출

� “Big data is like crude oil — it needs

filtering and refining (필터링과정제) to

unlock its value and make it usable.”



unlock its value and make it usable.”

(Forrester Research)

� Data is just like crude. It’s valuable, but if if

unrefinedunrefined it cannot cannot really be usedbe used.” (Clive

Humby, DunnHumby)

빅데이터를탐색(Exploration)을위한가장좋은 IT적용방법은무엇인가요?

A. 데이터 웨어하우스 개발 방법론 적용

B. 사용자 프로그램 작성

C. 빅데이터 가시화(Visualization) 솔루션 적용

D. 빅데이터 분석 도구 사용

Bigdata Exploration Case #4 -질문


D. 빅데이터 분석 도구 사용

고객IBM

빅데이터가시화(Visualization) 솔루션을사용.

�데이터를 새로운 저장소에 옮기지 않고도 데이터 내용 확인

�신속한 데이터 활용 가능 : 개발 시간 최단시간 구현

�다양한 종류의 데이터 소스에 대한 연결 인터페이스 제공

�여러 데이터 소스를 연합한 정보 탐색 필요



고객IBM

InfoSphere

Data Explorer V9.0정형/비정형데이터분석(데이터

Copy 없이)

문맥(Contextual) 분석

Text Analytics



Data Explorer V9.0

(인사이트& ROI 창출)

Copy 없이)

Unique 인덱스생성

연결대상에대한확장성

향상된데이터 navigation

데이터패턴에따른 clustering

Text Analytics

권한기반의데이터통합

Query 기반의조회

big data 애플리케이션연계

Web 기반의사용자인터페이스

Increase productivity & leverage

past work increasing speed

to market(지식검색)

Analyze customer analytics &

data to unlock true

customer value(고객분석)

Identify areas of information

risk & ensure data compliance

(컴플라이언스)

Create unified view of ALL

information for real-time

monitoring(실시간모니터링)

Improve customer service &

reduce call times(콜센터)


빅데이터분석과빅데이터탐색의차이점은무엇인가요?

FAQ #1 -질문


고객IBM

FAQ #1 –답변 : 분석과탐색은목표와적용기술이다릅니다.

� 텍스트마이닝 : 자연어처리기술기반

(비정형데이터에서의미추출)

� 평판분석 : 소비자의견수렴 (형태소

분석 , 선호결과)

� 소셜네트워크분석 : 고객행동패턴분석

(감성분석)

� 연관분석 : 데이터간의유사도및연관

관계정의 (계층, 비계층, 연관도분석)

� 데이터 Unlock : 디양한데이터소스연결

방안제공 (Connectivity) 및데이터

내용을손쉽게가시화(Visualization)

� 클러스터링 : 검색된결과에대한자동

분류및그룹핑

� Fast 인덱스생성 : 크롤링(Crawling) 된

데이터의빠른검색을위한인덱싱

� Federation : 이기종또는분산된

시스템의데이터를연합하여검색


관계정의 (계층, 비계층, 연관도분석)시스템의데이터를연합하여검색

분석탐색

IBM Data Explorer 의주로어떤용도로사용이되나요?

FAQ #2 -질문


고객IBM

FAQ #2 –답변 : 다양한데이터소스를연합하여한화면에서검색

기업내부/ 외부데이터연합검색

�빅데이터에대한발견과탐색을통해비즈니스요구

에신속하게활용

�현존하는필요한데이터소스들을 찾아보고이해

�데이터를새로운저장소에옮기지않고도활용가능

자동동적

다양한

소스에

접근

정보에대한 360도전방위이해

�단일화된화면에서다양한시스템정보에대한통합

탐색실행

�연합된정보들의결합을통해사실확인및정보간

의통찰력확보


자동동적

분류기능

제공

관련성높고

개인화된

결과를제공

정형데이터를

그룹핑/재배열하여제공

컨텐츠를

가상폴더로

분류가능

소셜협업

강화

전문가

찾기

정형/비정형컨텐츠

활용

접근

연락처

정보

관계사 에서제공된 정보

IBM Data Explorer 의활용및적용범위를알려주세요?

FAQ #3 -질문


고객IBM

FAQ #3 –답변 : 고객,상품지식허브를통한콜센터운영의효율화

대량의 상품/서비스 매뉴얼 자료 중

필요한 정보를 추출

기업 내/외부의 다양한 정보를 검색

및 탐색 토픽에 맞추어 인덱싱

데이터의 이동이나 복사가 없이 3rd

party 사이트에 대한 Query

평균 콜 처리시간(AHT) 단축을 통한

비용절감

콜센터 상담원의 요건 맞는 검색결과

적시 제공

다양한 시스템들의 정보를 통합

제공하여 고객응대 향상

새로운 역량 비즈니스 효과


InfoSphereData ExplorerInfoSphere

Data ExplorerBigData Indexing and Search Engine

party 사이트에 대한 Query

routing을 통한 검색

제공하여 고객응대 향상

OracleUCM

Drupal Documentum Omniture Appleappstore

Google Blackberryworld

FAQ #3 –답변 : 제조사의고객및공급사관리및지원효율화

�Problem

− 단일화된 정보 제공 (Service and Self-service)

− 다양한 소스별 별도의 보안이 적용된 정보 적용

�Solution

− 다양한 연결 인터페이스 제공 (Aqualogic, SAP R3 and KM, Siebel (13 systems feeding UI – Documentum, flat file PDF,등 기타)

− 메타 데이터에 대한 인덱스 생성

Improved customer satisfaction and lowered costs

Data

Explorer

Platform

Custom web applications


− 메타 데이터에 대한 인덱스 생성

− 시스템 별로 정의된 보안을 적용

− 병렬처리 기반의 빠른 parsing

�Results

− 2 PB 의 인덱스 생성

− 구축 기간 : 1 개월 소요

− 기업 내부/외부 에 존재 하는 다양한 소스를 통합하여 검색하는인프라 구축

− Web 기반의 단일화된 방법으로 모든 소스 데이터에 접근

• Supplier Information• Service manuals• Customer profiles• Lessons learned

• Customer call details• Sales pipeline

Data Explorer provides a single point of access to disparate data sources, extracting relevant information and providing ad hoc analysis without moving the data;

customers can organize high volume data in complex systems, saving millions$/year in support costs. These capabilities enhance the IBM big data platform and accelerate IBM’s big data

strategy.

FAQ #3 –답변 : 전문가/상품정보의 효과적 활용을 위한 인트라넷 구축

CH

ALL

EN

GE

SC

HA

LLE

NG

ES

SO

LUT

ION

SO

LUT

ION

•• P&G : P&G : 데이터는데이터는많으나많으나인사이트인사이트(Insight) (Insight) 부족부족

•• 138,000 138,000 직원이직원이 180+ 180+ 국가에서국가에서근무근무

•• 인프라인프라비용절감비용절감필요필요

•• 신상품의신상품의 timetime--toto--market market 시간시간단축단축

•• 업무업무복잡성복잡성및및비용비용절감절감

•• 정보에정보에인사이트인사이트(Insight) (Insight) 부여부여

•• 본사본사업무업무담당자담당자와와각각국가국가직원의직원의협업협업증진증진

•• 사일로사일로(silo) (silo) 형태의형태의 저장소저장소 축소축소•• 시장시장진입을진입을위한위한 R&D R&D 능력능력향상향상

•• 기술적기술적아키텍처아키텍처단순화단순화 (Web (Web 기반의기반의 Virtual Document)Virtual Document)


RE

SU

LTS

RE

SU

LTS

•• 기술적기술적아키텍처아키텍처단순화단순화 (Web (Web 기반의기반의 Virtual Document)Virtual Document)

•• 여러여러데이터데이터소스를소스를연합한연합한 Single view Single view 제공제공

•• 의사결정을의사결정을위한위한최근최근정보정보활용활용

•• IT IT 인프라인프라비용비용절감절감 : : 년년 $500k (5$500k (5억원억원))

•• 기업기업내내 R&D R&D 투명도투명도증진증진

“Today Vivisimo sits on top of the intranet, SharePoint, Telegent, content rating systems, subscription services (such as

Lexis Nexis, Thomson Reuters and ProQuest) and transactional systems (like SAP) to create “single view” decision

cock-pits used by P&G executives (pulling data from 30 different systems) for real-time “insight driven”

data access.

FAQ #3 –답변 : IBM 내부사용 (IM 솔루션 Acceleration Zone)


?IBM Data Explorer 는한글검색이잘되나요?

FAQ #4 -질문


고객IBM

FAQ #4 –답변 : 한글데이터에대한 Wild card 검색지원

검색 결과를단어별 자동 그룹핑


단어별 자동 그룹핑

FAQ #4 –답변 : 한글연결단어(Ontology) 기능제공

검색시 동의어 내용을 포함하여

자동으로 검색됨

검색시 동의어 내용을 포함하여

자동으로 검색됨


동의어 내용을 Term 목록에

사전 등록 합니다.

동의어 내용을 Term 목록에

사전 등록 합니다.

동의어맞춤법 적용 협의어

번역

연관어광의어

IBM Data Explorer 는사용자 UI 개발을위한API 를제공하나요?

FAQ #5 -질문


고객IBM

FAQ #5–답변 : SOAP , REST 기반의 API 를제공합니다.

Search

Engine

Federated Sources

Data Explorer

Crawling

(수집 정보)

Web 검색 (뉴스, 포탈 Site )

Data Explorer Display


API

SOAP

REST

(PULL)

Crawling Data (수집)

Federation (뉴스 검색)

Federation (포털 검색)

현재다른검색솔루션과국산 DBMS를사용중인데 IBM Data Explorer 와연계가

가능한가요?

FAQ #6 -질문


고객IBM

FAQ #6–답변 : IBM Data Explorer 는다양한연계를제공합니다.

ApplicationFramework

Windows

Desktop Search

External

Search

Engine

Search Web site

(Naver, Daum, goolge, 등)

Search URL

(GET or POST )

Web

브라우저

Query

routing


Connector Framework

CM, RM, DM RDBMS Feeds Web 2.0 Email Web CRM, ERP File Systems

내부 Meta Data

Data

Explorer

Index

Global Connectivity

(100 여개)

JDBC

자바기반Application

(예: Hadoop, 국내DB)

정보탐색(Exploration) 또는 IBM Data

Explorer에대한추가적인질문해주세요?


고객IBM

빅데이터를

위한투자를해야만

우리회사에도

활용가능한

빅데이터분석을

하고싶은데

최근 2년 기업 내부/외부데이터는 빠르게 증가되고 있지만, 대부분 활용하지 못하고 있습니다.

Next Steps.


하는것인가? 빅데이터가 ? 빅데이터가있을까? 실현가능한가 ?

의사결정자인터뷰의사결정자인터뷰

빅데이터요건분석빅데이터요건분석

구축방안제시구축방안제시

시범사업진행시범사업진행

IBM 전문가

Workshop 제안

Documents

5. Big Data Exploration ǥ 2014-03-11 .ppt [ȣȯ ]) · 2014-03-14 · − 다양한연결인터페이스제공(Aqualogic, SAP R3 and KM, Siebel (13 systems feeding UI –Documentum,