Copyright © 2014 Splunk, Inc.

Jun. 2014

스플렁크 헝크

Big Data는 머신 데이터에서 시작 Volume（量） | Velocity（速度） | Variety（種類） | Variability（変化）

GPS,

RFID,

Hypervisor,

Web Servers,

Email, Messaging

Clickstreams, Mobile,

Telephony, IVR, Databases,

Sensors, Telematics, Storage,

Servers, Security Devices, Desktops

머신에 의해 생성 된 데이터는 Big Data 중에서도 가장 성장이 빠르고

복잡하고 가치 있는 데이터

2

업계를 선도하는 머신 데이터용 플랫폼

다양한 머신 데이터 운영 인텔리전스

인덱스 스토리지

상용 서버

3

개발 플랫폼

사용자 지정 대시 보드

모니터링 경고

임시 검색

보고서 분석

많은 조직이 Hadoop을 이용하기 시작했다 Hadoop의 도입과 활용이 주류로 편입되기 시작

• 20 배의 자원이 구현하는 데 소요

• Big Data 분석에 필요한 기술이 부족

• 13개 이상의 Hadoop 관련 프로젝트의 통합이 필요

• 데이터가 너무 커서 움직일 수 없는

4

Hadoop

(MapReduce

& HDFS)

YAR

N Ambari

Avr

o

Cassand

ra

Chukwa

H i v e

HBase Mahout

Pig

ZooKeep

er

13+ Hadoop-related Projects

Splunk Hadoop Connect

Hadoop과의 양방향 연계를 실현

1000 회이상 다운로드

Splunk Hadoop Connect (2013/2) Splunk 최초의 Hadoop 제휴를 APP 형태로 출시

5

HA Indexes

and

Storage

Commodit

y

Servers

Hadoop

(MapReduc

e & HDFS)

가져 오기 검색

내보내기

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

다음 단계 - Hadoop에 직접 액세스

6

“Hadoop의 데이터를 Splunk 네이티브로 이용하고 싶다.”

Data in Hadoop is too big to move

HA Indexes and Storage

Commodity Servers

Hadoop (MapReduce

& HDFS)

Report and analyze

Custom dashboards

Monitor and alert

Ad hoc search

Splunk Enterprise와는 다른 형태

Copyright © 2013 Splunk, Inc.

7

Splunk에 따르면 “Hadoop에서 데이터의 상호 이용, 탐색, 분석, 그리고 시각화를 완전히 새로운 제품으로 HUNK를 출시함”

“Hunk” Splunk Analytics for Hadoop

Hunk: Splunk Analytics for Hadoop

8

Hadoop

(MapReduc

e & HDFS)

완벽하게 통합된 제품

모든 사용자에게

인사이트를

다양한 Hadoop 배포판과의 연계

Hadoop 데이터의 상호 이용, 탐색, 분석, 시각화를 실현

많은 조직 사용자가 Hadoop의 원시 데이터를 다양한 관점에서 활용

업계를 선도하는 주요 배포판과 연계하여 투자 효과를 향상

Explore Analyz

e

Visuali

ze

Dashboard

s

Share

Hadoop의 데이터에서 의미 있는 인사이트를

9

Hadoop

저장소

즉시 Hadoop의 원시 데이터에 대한 참조 · 분석 · 시각화가 가능.

1 2 대상 Hadoop 클러스터를 설정한다. Explore Analyz

e

Visualiz

e

Dashboard

s

Share

Explore, Analyze and Visualize Data, On-the-fly

가상 인덱스

스키마 없이 유연하고 신속하게 "가치”를 제공

• 마치 Splunk 로컬에서 사용하는 방식으로 함께 사용

• Hadoop Virtual Index에 의해 자동으로 MapReduce를 제어

• Patent pending

• 필드 추출 (스키마와 같은)를 검색 런타임에 처리

• 스키마에 맞게 데이터의 전처리가 필요

• 자동으로 트랜잭션, 패턴, 트렌드를 식별

• 필요에 따라 출력에 의미를 부여

(노멀라이제이션)

• 쉬운 설치

• 기존 Splunk 검색 언어 사용

• 하나의 데이터에서 여러 뷰를 만들고 다른 사용자에게 가치를 제공

10

대화 형 데이터 탐색

한 곳에서 데이터를 검색 · 결과보기

• 강력한 검색 처리 언어 (SPL)

• 거대한 데이터 세트에 데이터 탐색 용도의 설계 - 데이터 확인 및 시행 착오를 적게 함

• 사전에 데이터를 "이해＂하려는 노력을 많이 할 필요가 없다

11

검색 인터페이스

Search

Assistant

결과보기 창

대화형 데이터 분석

신속하고 대화형 형태의 분석

• 인터랙티브 한 분석 인터페이스

• 00 + 통계 명령에 의한 깊은 분석, 패턴 감지, 이상 발견

• 분석 결과와 외부 데이터베이스와의 연계

12

Interactive,

Analytics

Interface

Formattin

g Options

Hadoop의 데이터를 시각화하여 리포팅

인터랙티브 한 데이터 시각화 및보고

• 대화형 보고서

• 간단한 그래프와 표 작성 · 표시

• 즉각적으로 시각화하여 다른 사용자와 공유

• 원시 데이터로 드릴 다운 가능

13

보고서의 PDF 화

Splunk의 보고서 샘플

사용자 지정의 대시보드 만들기

다른 사용자와 역할에 맞는 대시보드 공유 및 제공

• 여러 테이블, 보고서 및 View 외부 데이터의 조합

• 데스크톱이나 태블릿 모바일 장치에서 검색 및 편집

• 개인간의 PDF 파일의 공유

• 역할 기반 액세스 제어에 의한 보안 액세스

14

개발자를위한 강력한 플랫폼

15

JavaScript

Java

Python

PHP

C#

Ruby

API

새로운 UI 구성 요소 추가

기존 시스템에 쉽게 통합

기존 언어와 프레임 워크의 사용

16

“Big Data에서 인사이트를 제공함으로써 Splunk는 지속적으로 기업에 가치를 제공해 왔다. 이번 헝크 출시를 통해 지금까지의 Splunk 제품을 살리면서, Hadoop의 데이터에 대한 탐색, 시각화, 분석을 IT 및 비즈니스 사용자에게 제공 할 수 있게 되었다.”

Matt Aslett,

Research Director

451 Group

Splunk Hunk Splunk

Enterprise

17

IT 관리자, IT 운영 관리자, 보안 담당자, 시스템 관리자, 개발자 지원 담당자

운영 모니터링, 응용 프로그램 관리, 보안, 디지털 인텔리전스 용도로, 검색, 모니터링 및 시계열의 운영 데이터

비즈니스 사용자, 데이터 분석가, 데이터 아키텍트, 데이터 과학자, 개발자

배치 분석, 퍼널 분석, 장기보고 응용 프로그램 (사용자 지정보고)

머신 데이터를위한 Platform, 운영 인텔리전스

Hadoop의 데이터에 대한 검색, 분석 및 시각화

Who?

What?

How?

다른 방법의 차이

18

Splunk Hunk - Splunk Analytics for

Hadoop Splunk Enterprise +

Hadoop Connect 실시간 분석 및 실시간 모니터링 컴퓨팅은 구현되지 않음

Hadoop에 대한 직접 테크니컬한 조작이나 Hive

대화 형 데이터 탐색 및 시각화

Hadoop에서 SQL 코딩이 필요하지 않음

1 세대 스프레드 시트 모델링은 불필요

Hadoop의 BI 툴 일괄 처리는 불필요

VS. +

Hadoop 사용자에 ...

19

Developer Data Scientist Data Analyst Data Architect

Hadoop의 데이터에 액세스하여 가치 있는 인사이트를 제공

주요 Hadoop 배포판에 대한 데이터 분석 환경을 제공

사전 처리 용 도구 없이 모든 데이터 분석과 시행 착오 없는 환경을 제공, 결과의 미리 보기를 제공

Hadoop의 데이터를 직접 이용한 확장 가능한 응용 프로그램 개발

Hadoop의 데이터를 탐색, 분석, 시각화

기술

운영

그룹

마케팅

제품 관리

보안

그룹

HUNK는 Hadoop 사용자에게 빠른 통찰력을 제공

20

결론은

• Hunk 는 Splunk에서 출시한 새로운 소프트웨어 제품

• Hadoop의 데이터에 대한 빠른 탐색, 분석, 시각화, 공유 기능을 제공

• 역할에 따라 사용자 지정 대시보드의 쉬운 생성 및 제공

• 역할 기반 액세스 제어를 사용하여 데이터 보호 제공

• 지금까지 Splunk의 가치를 Hadoop 사용자에게 그대로 제공

21

감사합니다.

ko.splunk.com