스플렁크(Splunk)+헝크(HUNK) + 태블로(Tableau) 제안자료

Global Field Enablement - Copyright © 2014 Splunk, Inc.

빅데이터? 스플렁크 시작하세요! Volume | Velocity | Variety | Variability

GPS,

RFID,

Hypervisor,

Web Servers,

Email, Messaging,

Clickstreams, Mobile,

Telephony, IVR, Databases,

Sensors, Telematics, Storage,

Servers, Security Devices, Desktops 1

Global Field Enablement - Copyright © 2014 Splunk, Inc. 2


Structured

RDBMS

SQL Search

Schema at Write Schema at Read

기존 방식 스플렁크

스플렁크의 접근 방식

ETL Universal

Indexing

Volume Velocity Variety

Unstructured


하나의 플랫폼에서 모든 작업을

HA / DR Admin Data Security Apps SDKs/API Scale

Collect Data

Index Data

Enrich Data

Search & Explore

Analyze & Predict

Report & Visualize

Alert & Action


Developer Platform

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

Splunk storage Other Big Data stores

실시간 데이터 수집

Online Services Web

Services

Servers Security GPS

Location

Storage Desktops

Networks

Packaged Applications

Custom Applications Messaging

Telecoms Online

Shopping Cart

Web Clickstreams

Databases

Energy Meters

Call Detail Records

Smartphones and Devices

RFID

Any amount, any location, any source. Binary

Encryption

Just DB & Text

Former Processing

세상 모든 데이터 수집


Sources

Twitter

Care IVR

Middleware Error

Order Processing

다양한 형태의 데이터


스플렁크의 데이터 수집 방법 Category TYPE

Splunk Agent

SSH / TELNET

FTP NFS/SCP/ RSYNC

TCP/ UDP

DBI / SQL

Script SNMP

Network Routers O O O O

Switch O O O O

Firewall O O O O

Servers Linux O O O O O O

AIX O O O O O O

Solaris O O O O O O

Windows O O O O O O

MAC O O O O O O

TANDEM O O O O O

TRU64 O O O O O

AS400 O O O O

Mainfreme O O O

Database Oracle O O O O O O

Informix O O O O O O

Sybase O O O O O O

Mysql O O O O O O

MS SQL O O O O O O

Applications apache O O O O O

Weblogic O O O O O

Websphere O O O O O

SAP O O O O O

Custom App O O O O O


Developer Platform

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

Splunk storage Other Big Data stores

Data collection and indexing

Any amount, any location, any source. No upfront schema

No custom connectors

No RDBMS

No need to filter/forward

분산 파일 /저장

스플렁크의 데이터 저장


구조 데이터

Schema 가 요구되지

않음

데이터의 속성이

검색과 함께 정의 됨

Queries 나 검색은

그때그때

다이나믹하게 구성

여러 이종의 데이터 수용

– 모든 종류의

Raw데이터 수용

지속적인 변경을 수용

Conversion 이나 데이터

규격에 따른 제약 조건이

없음.

eventtype=firewall accept OR allow | top src_port

실시간 인덱싱

스플렁크의 인덱싱


• 과거 데이터와 실시간 데이터를 하나의 분석 Query로. – Splunk는 강력한 실시간 Query기능으로 사용자가 손쉽게 실시간으로 수집되는 데이터를 차트에 표현하고

자신의 작성한 분석 질의에 적용시킬 수 있습니다.

과거 데이터 실시간 데이터 실시간 검색/분산 검색

스플렁크의 실시간 데시보드


• 100여가지 이상의 검색 명령어 및 다양한 통계 분석 함수 제공

– Splunk는 기본 데이터 검색 뿐만 아니라, 이벤트의 필드 값들을 다양한 통계 및 분석 함수를 적용하여 원하는 통계 연산을 수행할 수

있습니다. Splunk가 제공하는 다양한 명령어 및 분석 함수는 아래 URL에서 확인하실 수 있습니다.

All Search command

http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/ListOfSearchCommands

Functions for eval and where

http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/CommonEvalFunctions

Functions for stats, chart and timechart

http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/CommonStatsFunctions

• “기본 통계를 포함한 다양한 종류의 분석 함수를 제공 ”

스플렁크의 검색문/함수








LOB Owners/ Executives

System Administrator

Operations Teams

Security Analysts

IT Executives

Application Developers

Auditors

Website/Business Analysts

Customer Support

IT Operations Management Web Intelligence

Business Analytics Application Management

Security and Compliance

스플렁크의 분석/Ad-Hoc리포팅


• 다양한 차트 타입 제공 – Splunk에서 기본으로 제공하는 차트의 종류는

아래 그림과 같이 다양합니다. 또 Splunk APP을 통해서 무료로 손쉽게 Google Map등의 다양한 Visualization 방법들을 추가할 수 있습니다. 또한, REST API를 이용하면 3rd Party 차트 라이브러리도 연동할 수 있습니다.

대시보드 생성 및 공유


• “1일 데이터 수집량을 선형적으로 계속 증가 시켜 갈 수 있는 아키텍쳐를 제공 한다.” “즉시 adhoc-query가 가능한 데이터(예를들어, 최근 1개월치 data)의 총량은 필요에 따라 선형적으로 증가시킬 수 있는 아키텍쳐를 제공 한다.”

수집할 서버에 Splunk Forwarder를 설치하여 데이터 수집 Point를 손쉽게 늘려갈 수 있음

데이터가 저장되는 Indexer 노드도 선형적으로 늘려갈 수 있음.

Search Head는 사용자의 검색을 여러 Indexer 노드에 분산 검색하므로 Indexer노드가 많을 수록 더 빠른 데이터 검색이 가능함.

대용량 데이터 지원


Enables non-technical users to build complex reports without the search language

Provides more meaningful representation of underlying raw machine data

Acceleration technology delivers up to 1000x faster analytics over Splunk 5

15

Pivot

Data Model

Analytics Store

[10/11/121

18:57:04 UTC] 000000b0 bo

ChromeChrome///0123

["http://sho

p.gourmet-shop.

Com/www.

Chrome/258

[ooglebot.com bot.html)"424 0b0

Chrome//00 Chrome5.0.37

5

접근하기 쉬운 사용방법

Global Field Enablement - Copyright © 2014 Splunk, Inc. 16

단일 값 디스플레이 (Single Value Display)

이상치 검출 (Anomaly Detection)

지리공간형 시각화 (Geospatial Visualization)

• 표준 점수(Z-Score), IQR, 히스토그램 등의 방법론을 검색 명령어에 통합

• 사용자 설정이 가능한

지리적 시각화 기능 추가

• 다양한 컨텍스트 정보를 보여 주는 개선된 단일 값 패널 디스 플레이

다양한 분석 및 시각화 요소 추가

개선된 분석 및 시각화


• 완전히 새로운 히스토그램 방식 적용으로 더 정확한 검출 지원

• 하나의 검색 명령어로 세가지 옵 션 선택

(표준 점수(Z-Score), IQR, 히스토그램) • 기존 ‘outlier’, ‘anomalousvalue’ 명령어 대체

17

히스토그램 기반의 이상치 검출을 위한 새로운 SPL 검색 명령어

이상치 검출


• 등치 지역도(Choropleth map)를 이용 하여 공간 패턴 시각화

• 색상 눈금은 유스케이스 마다 다르게 설정 가능

• 사용자가 정의한 지도 영역 정보 업로드 가능

18

사용자 설정이 가능한 지리적 시각화 기능의 추가

지리공간형 시각화


• 크고 눈에 띄는 색깔로 멀리서도 한번에

볼 수 있도록 개선 • 최근 추이를 보여주는 스파크라인(Sparkline) 추가

• 차이 표시자(Delta indicator)로 직전 상태와의 차이 표시

19

다양한 컨텍스트 정보를 보여주는 개선된 단일 값 패널 디스플레이

시각화 향상


Splunk provide stable “Platform layer” data model, where Splunk R focuses on “Statistical / Analytics Layer” of data model.

Hadoop HDFS

Search Visualize Analyze

Splunk DFS

DW & RDBMS

Platform Level Data Modeling and Summarization Engine

Other

Splunk Predictive Model

Analytical Level Data Model

스플렁크는 통합 데이터 플랫폼!!


헝크(HUNK) 6.3


Hadoop Clusters WARM

COLD

FROZEN

Drive Down TCO by Archiving Historical Data to Commodity Hardware

스플렁크 데이터를 하둡으로 이전


Intelligently Search Across Real-Time and Historical Data Using the Same Splunk Interface

Real-Time Data Historical Data in Hadoop

스플렁크+헝크를 통합하여 검색


Hadoop Clusters

Historical Data in HDFS 3rd-Party Hadoop Tools

Data Scientist

Splunk Archive Reader for Hadoop

• Use 3rd-party Hadoop tools (e.g., Hive, Pig) to perform additional analysis

• Broaden data access to wider set of audiences, e.g. data scientists and analysts

• Run queries without moving or replicating data

써드파트 하둡 도구도 쉽게 연동


Just point at Hadoop

• Certified integration with all major Hadoop distributions

• Choose 1st-gen MapReduce or YARN

• Create Virtual Indexes across one or more clusters

• From download to searching data in < 60 minutes

Connect to one or multiple Hadoop clusters

YARN certified

쉬운 설정 및 사용법


Rapidly interact with data

• Powerful Search Processing Language (SPL™)

• Ad-hoc exploratory analytics across massive datasets

• Preview results

• No fixed schema

• No requirement to “understand” data upfront

Drill down to raw data

Search interface

Pause or stop MapReduce jobs

Preview results

인터액티브한 검색


Pass-through

Authentication

• Provide role-based security for Hadoop clusters

• Access Hadoop resources under security and compliance

• Integrates with Kerberos for Hadoop security

Business Analyst

Marketing Analyst

Sys Admin

Business Analyst Queue:

Biz Analytics

Marketing Analyst Queue:

Marketing

Sys Admin2 Queue:

Prod

고객 역할별 클러스터 지정


144 Hadoop Nodes, 69TB SSD Storage

Analytics Application

10 million subscribers generate: • 80GB of raw session log data / day • 26 Million video data session records

Hunk query • 20 sec – search through 27M events • Returning 4.7M events

Hunk as indexer - Automatically indexed and counted field value occurrences Hunk as self service - Proved invaluable for identifying and exploring use cases Hunk business value - Help identify when subscribers abandon video

스플렁크+헝크를 활용한 통합 분석 사례


Security Analysts Business Analysts IT Admins

ODBC SDK API

DB Connect

Ad hoc Search

Monitor and Alert

Reports / Analyze

Custom Dashboards

Clickstream

Geo-location

Devices Networks Hadoop

Servers Applications Online Shopping Carts

Security Analysts Business Analysts

Structured Data Sources

CRM ERP HR Billing Product Finance

Data Warehouses and Relational Databases

Product Managers

모든 데이터를 통합분석하는 플랫폼


Statistical Modeling

Regression Clustering Classification

1. Splunk search to call data

2. Sends searched data to Svr

3. Get results from stats model

4. Visualize with Splunk dashboard and reports

Search Head

분석 툴 ‘R’ 연동


Web Framework

• Quickly and efficiently build Splunk apps using familiar web technologies

• Client-side development with Splunk JavaScript components and JavaScript libraries

• Server-side development support with Python and the Django framework

RICH DEVELOPER ENVIRONMENT

REST API

Build Splunk Apps Extend and Integrate

Splunk

Simple XML

JavaScript

Django

Web Framework

Java JavaScript Python

Ruby C# PHP

Data Models

Search Extensibility

Modular Inputs

SDKs

개발 툴 연동


시각화 툴 ‘태블로’ 연동

Summary 데이터 상세 분석

실시간성 데이터 모니터링

최근, 데이터의 변동성에 대응하기 위해 DB 방식 대신 Splunk와 Tableau를 연동하는 아키텍처를 선호


실무자가 데이터를 쉽게 다룰 수 있는 툴


• Faster Troubleshooting – 43%

Reduction in Severity 1 & 2

• Health Status of Entire

Application Infrastructure

• Real-Time Visibility Across

1,200+ Applications

• CIO Dashboards on KPIs

and Trends by Store

홈디포 사례- E2E 서비스 모니터 및 분석

LG전자 사례-

E2E 서비스 모니터 및 고객 분석과 마케팅

Customer Behavior Analysis &

E2E Monitoring

Operational analytics for

connected Devices

Realtime Trigger for

Marketting

Prevent security breaches and

protect patient privacy


connected medical devices

Comply with HIPAA regulatory

requirements

HCA 사례 – 보안분석 및 의료데이터 분석

하나금융 사례 –

FDS & 내부통제 Improving Safety

Reducing Costs

Improving On-Time

Operations

도미노피자 사례 – 비즈니스 분석

Understand

device and app

usage trends for

orders

Real-time

revenue

insights from

store data

Visibility into

online and

mobile coupon

redemption

Refine

campaigns

for higher

conversion

CJ O Shopping 사례 : 개인화된 고객

분석 및 마케팅, 매출 상승

뉴욕철도 사례 –

센서데이터 분석 & 연료절감 Improving Safety

Reducing Fuel Costs

Improving On-Time

Operations

Customer Behavior Analysis &

E2E Monitoring


connected Devices

Quality of

Semicinductor,Prevent fault

machine

삼성전자 사례 –

고객분석 및 품질관리 분석

42


Demo


Enterprise Data Platform

거래 데이터 금융, 전자상거래

산업 데이터 제조 설비 및 IOT

서비스 데이터 인프라 및 애플리케이션

보안 데이터 네트워크 및 시스템 보안

• 운용 최적화 및 효율성 증가 100%

• 사업 기회 확장 • 매출 증가 +

• 위험 감소 및 대응 • 고객 만족도 향상 +

• 사업 신뢰도 증가 + • 컴플라이언스 강화 +

리스크 / 사기 관리

비즈니스 인텔리전스

Operational 인텔리전스

보안 / 컴플라이언스

> 엔터프라이즈 데이터 > 밸류 정의 실시간

수집 / 저장 / 검색

분석/ 현황판 서비스 연계

• Fortune 100대 기업 중 80% Splunk 사용.

업계 표준 Operational Intelligence 플렛폼


Enterprise Data Platform

거래 데이터 금융, 전자상거래

산업 데이터 제조 설비 및 IOT

서비스 데이터 인프라 및 애플리케이션

보안 데이터 네트워크 및 시스템 보안

• 운용 최적화 및 효율성 증가 100%

• 사업 기회 확장 • 매출 증가 +

• 위험 감소 및 대응 • 고객 만족도 향상 +

• 사업 신뢰도 증가 + • 컴프라이언스 강화 +

Risk / Fraud 관리

Business 인텔리전스

Operational 인텔리전스

보안 / 컴플라이언스

> 엔터프라이즈 데이터 > 밸류 정의 실시간

수집 / 저장 / 검색

분석/ 현황판 서비스 연계

“Data-driven 비즈니스 결정기반”을

통한 핵심 사업 혁신

Risk 0% • 빠른 도입 ROI

• 8000+ 개의 빠른 성공적 고객 구축 사례 및 글로벌 주요 기업의 구축

글로벌 리더 • 데이터 플렛폼 으로 기준 및 트랜드의 선두, 가장 혁신적인 Big Data 플렛폼

시간+완성도

= $$$ • 구축 기간 단축 및 플렛폼 완성도 검증

• Fortune 100대 기업 중 80% Splunk 사용.

업계 표준 Operational Intelligence 플렛폼


• 모든 데이터의 수집, 저장, 분석, 알람, 시각화, 연계의 전반적 밸류 싸이클 지원

MTTR 감소

• 엔터프라이즌 Operational 데이터 통합으로 인프라/데이터 상관관계 분석 및 운용 가시성을 통한 사전 대응 구현

고객의 경험 개선

• 단일 데이터 접근 플렛폼을 통한 다양한 목적 활용 : 용량 분석, 헬프 데스크 지원, 보안, 장애 해결, 감사, 관제, 변경 티켓, 사용자 성향 및 비즈니스

비용 절감

• 세계 적인 규모의 복잡한의 인프라 수용 경험 보유 : 세계 여러 Tier 1 통신, 금융, 제조 산업의 고객 보유

생산성 향상

Splunk의 시술 및 사업 차별성


Thank You

Written By 이승훈 실장, [email protected], 010-9338-6400

mailto:[email protected]

Data & Analytics

스플렁크(Splunk)+헝크(HUNK) + 태블로(Tableau) 제안자료