빅데이터 엔진 !스플렁크
Copyright © 2012, Splunk Inc. Listen to your data.
이제 답을 찾아 드리게 되어 기쁩니다 .Up-to-the-minute
dashboards
Searching your way through the dark
Copyright © 2012, Splunk Inc. Listen to your data.3
Human 생성 데이터1. 고객 정보
2. 물류 및 제조 정보3. 금융 신용 정보 4. 판매 및 거래 기록
RDBMSIT 데이터
엔진
시간적 요인이 적용된 데이터 구조나 포멧을 예측할 수 없는 비 정량화 된 데이터
10011010001011001
1001
1010
0010
1100
1
#&%((&
^()*
*%$#
%&
사용자 거래 내역
사용자 습성
기계의 습성
보안 위협 정보
불법 및 비 허가 활동
내역
데이터 습성
데이터 유형
모든 IT 시스템으로 여러 벤더로 부터 생성된 모든 방대한 종류의 데이터
방대한 양의 데이터
빠른 호출 , 분석 및 상관관계 분석 요구
Copyright © 2012, Splunk Inc. Listen to your data.
SELECT customers.* FROM customers WHERE customers.customer_id NOT IN(SELECT customer_id FROM orders WHERE year(orders.order_date) = 2004)
RDBMS/SQL – Early-structure Binding
구조 데이터 Schema – 시스템
구축과 디자인 Queries – 디자인
시점에 정확한 이해를 통한 최적의 Query 정의
단일유형 – 설정된 구조에 맞게 입력하거나 변환이 요구됨
여러 DB 의 구조적 요건을 맞추어야 함
Copyright © 2012, Splunk Inc. Listen to your data.
Late-structure Binding
구조 데이터 Schema 가 요구되지
않음 데이터의 속성이
검색과 함께 정의 됨 Queries 나 검색은
그때그때 다이나믹하게 구성
여러 이종의 데이터 수용 – 모든 종류의 Raw 데이터 수용
지속적인 변경을 수용 Conversion 이나
데이터 규격에 따른 제약 조건이 없음 .
eventtype=firewall accept OR allow | top src_port
Copyright © 2012, Splunk Inc. Listen to your data.
스플렁크 특허
7
10X-100X Faster “Rare” Search( 블룸 필터 : 데이터 스캔 없이 원하는 데이터 검색 )
Integrated Real-time and Historical Search
( 실시간과 기간을 주고 찾는 검색이 모두 가능 )
Copyright © 2012, Splunk Inc. Listen to your data.
이기종 DB 와 데이터 상관 분석 엔진
……
Very Likely Shared Storage
서로 다른 DB 와 데이터에서 데이터를 가져와서 상관분석
A DB 의 데이터의 조건일 때 B DB 의 데이터 검색
많은 시간의 리포팅 작업을 획기적으로 단축
Virtualized &Shared
Network
Oracle DB2Sysbase MS - Sql TEXT Log
Copyright © 2012, Splunk Inc. Listen to your data.
스플렁크는 매우 독특한 아키텍쳐를 제공하는 빅데이터 엔진입니다 .
9
Listen to your data.© Copyright 2012, Splunk Inc.
실시간 가시성 실시간 대시보드 이벤트 상관관계 분석 모니터 및 Alerts
성능문제 감시Transaction 감시SLA 감시
3 가지 주요 기능검색
데이터 세부 검색“Needle in a haystack”Root cause 분석 /장애해결
사건 조사 및 관리
과거 분석Baseline 및 임계치 분석
데이터 트렌딩 분석 운영 사후 분석 과거 데이터 패턴 분석
컴프라이언스 분석 및리포트
단일 데이터 스토어 단일 인터페이스 여러 목적의 사용
스플렁크는 지능적인 IT 관리를 제공합니다 .
Listen to your data.© Copyright 2012, Splunk Inc.
Raw Data 수집 Universal Index
Terabytes
ScriptsMetrics
RAW DATARAW DATA
Raw Log
Messages
• 다양한 포맷의 Raw데이터를 Rule Set 없이 흡수 .
• 패턴 자동 인식 및 인덱싱 . • 파일시스템에 10:1 압축
저장 .
Configurations
조 건 검 색
연관관계분석
리 포 트
모 니 터 링
알 람
통 계
이종시스템연동
기 타
사용자 정의
Splunk 는 획기적인 데이터 처리 엔진입니다 .스플렁크는 획기적인 Architecture 를 통하여 다양한 조직에 다양한 목적으로 사용됩니다 .
Listen to your data.© Copyright 2012, Splunk Inc.
실시간 인덱싱 및 저장
실시간 검색엔진
핵심 모듈Search
LanguageStats/
Analytics Alerts DashboardsReports
개발 UIApplication
ManagementIT OperationsManagement Security Business
AnalyticsCompliance
Access Controls
User Interface APIs SDK
… …
IT Data Sources
Correlate with Other Data Sources
Real-timeNo predefined SchemaMassive Scale
Correlation High Performance
Real-Time MonitoringData DrilldownHistorical Analytics
User-developedSplunk-developedCommunity, Partners
Role-based
Web-based
스플렁크는 아래 핵심기술로 작동됩니다 .
Listen to your data.© Copyright 2012, Splunk Inc.
• Web logs• Log4J, JMS, JMX• .NET events• Code and scripts
• Configurations• syslog• SNMP• netflow
• Configurations• Audit/query logs• Tables• Schemas
• Hypervisor• Guest OS, Apps• Cloud
• Configurations• syslog• File system• ps, iostat, top
• Registry• Event logs• File system• sysinternals
Logfiles Configs Messages Traps Alerts
Metrics Scripts TicketsChanges
Linux/UnixWindows NetworkingDatabasesApplicationsVirtualization & Cloud
• Click-stream data• Shopping cart data• Online transaction
data
Customer Facing Data
Outside the Datacenter
• Manufacturing, logistics…
• CDRs & IPDRs• Power consumption• RFID data• GPS data
사전 스키마도 필요없고 , 에이전트도 필요없고 , DB 도 필요없고 , 필터링장치도 필요없습니다 .
모든 데이터를 수집하여 분석하는 엔진입니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
perfperf
shellshell
codecode
Mounted File Systems\\hostname\mount
syslogTCP/UDP
WMIEvent Logs
Performance
Active Directory
syslog compatible hostsand network devices
Unix, Linux and Windows hosts
Windows hosts Custom apps and scripted API connections
Local File Monitoringlog files
config filesdumps and trace files
Windows InputsEvent Logs
performance countersregistry monitoring
Active Directory monitoring
virtualhost
Windows hosts
ScriptedInputs
shell scriptscustom parsersbatch loading
Agent-less Data Input Splunk Forwarder
IT Data 를 수집하는 방법은 아래와 같습니다 .
Listen to your data.© Copyright 2012, Splunk Inc.
Category TYPESplunk Agent
SSH / TELNET
FTPNFS/SCP/RSYNC
TCP/ UDP
DBI / SQL
Script SNMP
Network Routers O O O O
Switch O O O O
Firewall O O O O
Servers Linux O O O O O O
AIX O O O O O O
Solaris O O O O O O
Windows O O O O O O
MAC O O O O O O
TANDEM O O O O O
TRU64 O O O O O
AS400 O O O O
Mainfreme O O O Database Oracle O O O O O O
Informix O O O O O O Sybase O O O O O O Mysql O O O O O O MS SQL O O O O O O
Applications apache O O O O O Weblogic O O O O O Websphere O O O O O SAP O O O O O Custom App O O O O O
IT Data 를 아래 다양한 방법으로 수집합니다 .
Listen to your data.© Copyright 2012, Splunk Inc.
Data Inputs
• 지속적 실시간 데이터 수집 , 인덱스 .
• 사용자 정의 어뎁터 없이 모든 데이터 포맷 지원 .
• 자동으로 단일 및 멀티 라인 데이트를 식별 .
• 전체 시스템의 모든 이벤트 및 로그를 인덱스 .
• 고효율 데이터 저장 .
• Schema 및 RDBMS 불필요 .
• 데이터 무결정 보장 .
• 고성능 및 무제한 확장성 제공 .
모든 데이터를 자동으로 인식하여 인덱싱합니다 . 어플리케이션 , 서버 , 네트워크 장비 등 데이터가 남겨지는 모든 H/W, S/W 에서 데이터를
수집합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
전체 IT Data 의 정확한 트랜드분석 및 검색을 위한 활성화
자동 이벤트 경계 식별
자동 타임스탬프 정규화
실시간으로 수집한 데이터를 자동인식합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
원본 이벤트에 대해 신속한 검색
모든 항목을 세분화 , 정밀한 색인
수집한 데이터는 세분화하여 인덱싱합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
하나의 포인트에서 전체 시스템 통합 검색
실시간 스트리밍 데이터와 과거 색인 데이터의 연관 관계 검색
Application 별 실시간 특화 검색
특정한 시간내의 모든 데이터 및 특정 이벤트의 세부 정보 검색
서로 다른 데이터 센터와 지역에서 여러 서버에 걸쳐 발생한 데이터의 통합 검색 및 분석 간단한 논리연산자 사용 . 시간 및 조건에 의한 검색 . 어떠한 용어나 문자열 검색 . 시간에 따른 결과값을 시각화 . 결과값 내에서 관계 검색 .
다양한 조건으로 데이터를 검색하게 됩니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
사용자 지정 필드값
자동으로 필드값 식별
정확하고 신속한 검색치 제공
검색을 하면 자동으로 필드값들을 찾아냅니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
이벤트 타입으로 검색결과 저장
이벤트 , 호스트 , 다른 필드값 태깅
정규 보고서 , 지식공유 및 세분화된 액세스 제어를 활성화
찾아낸 결과를 바로 저장하게 됩니다 .
Listen to your data.© Copyright 2012, Splunk Inc.
실시간으로 데이터를 검색하고 처리합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
• 여러 호스트에서 발생한 데이터의 연관성 분석
• 멀티라인 데이터 및 특화 서비스 프로그램 로그 분석
• 대화형 리포팅 기능을 결합한 빠르고 유연한 분석
• IT 데이타의 볼륨 데이터의 결과를 쉽게 시각화 요약 , 통계 , 동향 . 비즈니스 데이타 ( 타 시스템 연계 시 ) 통합 . •복잡한 스키마 또는 데이타 re-indexing 없이 모든 분야의 데이타 Mining 지원•일정에 맞춰 RSS 또는 이메일로 리포트 자동 송부
검색 및 분석 결과를 그 자리에서 리포트를 만듭니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
사전 모니터링 , Alerts 및 자동 대응
• 실시간 Alerts 및 예약 검색• 검색 결과와 내용을 기반으로 통지 및 자동
대응 설정• RSS, 이메일 또는 SNMP 를 통해 다른 관리 (NMS, SMS) 콘솔로 연계
• 서버 재 시작 또는 트러블 티켓 발행과 같은 정기적 자동화를 사용자 정의 스크립트로 설정
리포팅후 실시간으로 모니터링하도록 지정합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
인증모든 사용자에 대한 접속 및 시스템 변경내역 인증
데이터 무결성 보장데이터 수집 및 저장의 무결성 제공
Digital Forensics
유연한 Roles60 가지 이상의 조절점을포함한 Role-based
access
감사 능력관리 체계 모니터링 및
Splunk 액세스 감사 추적
Directory 통합사용자 , 역할 및 조직을
Active Directory 또는 LDAP 에 반영
자체 적인 보안 기능을 제공합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
협업기반으로 업무 지식을 공유하게 되어 업무처리속도가 획기적으로 향상됩니다 .
compliance issueevent ok
restart server
이벤트 타입 지정
Client IP, Status,etc.
필드 정의
Weblogic Shutdown,sshd login,etc.
트랜잭션 Label
Email Delivery, Checkout,Etc.
시간이 지남에 따라 지식 전파
여러부서에서 동시에 지식관리를 할수 있습니다 .
검색 , 경보 , 보고서 저장
권한 및 업무별 대시보드
이벤트 Tag
Listen to your data.© Copyright 2012, Splunk Inc.
Send data from 1000s of servers using combination of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols
Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day
Offload search load to Splunk Search Heads
다중 인덱서를 이용한 분산 검색 및 리포팅이 가능하여 하루 수십테라의 데이터를 처리합니다 .
스플렁크는 방대한 확장성을 제공합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
개발 연동 툴
28
APIs Tools IDEs
Java
REST
.NET
Python
Contextual Editing
Debugging
Validation/Testing
Eclipse
Visual Studio
Copyright © 2012, Splunk Inc. Listen to your data.
3rd Party 연동
29
Analyst Plug-insMicrosoft
ReportsMicrosoft Reports
Protovis
GoogleViz
Copyright © 2012, Splunk Inc. Listen to your data.
Hadoop™ 을 품은 스플렁크
30
Report and
analyze
Custom dashboards
Monitor and alert
Add knowledge
Ad hoc search
Data Archival and Batch AnalyticsReal-time data collection, indexing, search, analysis, reporting and dashboards
Archive data
Run MR Queries
Re-index data
Result setsData
Copyright © 2012, Splunk Inc. Listen to your data.
Completely Flexible모든 IT 관리영역에 대한
분석 ,감시 ,보고를 지원
직무에 따른 유연한 Dashboard 생성 및 정보 제공
Device, OS, Application 등의 환경변화로 인한 로그 및 데이터 변경에 유연한 대처
Immediate Results필요한 만큼 확장하는 구
조 : 노트북에서 데이타센타까지 설치 후 바로 사용 가능
빠른 ROI 실현
Splunk: the IT Data Engine
Any Data 데이터 포맷 및소스에
관계없이 데이타 처리
데이터 무결성 보장으로 모든 원시 데이타접근
데이타 라이프 사이클 관리 - 수집 , 검색 , 분석 , 보관 , 폐기
Splunk 는 아래 특장점을 제공합니다 .
Copyright © 2012, Splunk Inc. Listen to your data.
어떠한 목적으로 Splunk 를 사용할 수 있을까요 ?
32
Copyright © 2012, Splunk Inc. Listen to your data.
대부분의 기업데이터는 머신데이터
33
Virtual PhysicalCloud
Energy
Manufacturing
Shipping RFID
WebServices
DevelopersApplications
Telecoms
Networking
Desktops
Servers
Security
Databases
Storage
Messaging
Online Shopping
Carts
Clickstream
GPS/CellularSocial Media
Industrial Data + Additional Sources
Core IT Customer-facing IT
Copyright © 2012, Splunk Inc. Listen to your data.
데이터양과 복잡성이 폭발적으로 증가
34
Virtual PhysicalCloud
Energy
Manufacturing
Shipping RFID
WebServices
DevelopersApplications
Telecoms
Networking
Desktops
Servers
Security
Databases
Storage
Messaging
Online Shopping
Carts
Clickstream
GPS/CellularSocial Media
Fastest growing, most complex segment of big dataGenerated continuously by websites, communications, networking and complex IT infrastructuresContains categorical record of all activity and behaviorValue from data largely untapped – extremely difficult to process and analyze by traditional methods or in a timely manner
Industrial Data + Additional Sources
Core IT Customer-facing IT
Copyright © 2012, Splunk Inc. Listen to your data.
기존에는 각 분야별 툴로 별도 분석
35
Virtual PhysicalCloud
Energy
Manufacturing
Shipping RFID
WebServices
DevelopersApplications
Telecoms
Networking
Desktops
Servers
Security
Databases
Storage
Messaging
Online Shopping
Carts
Clickstream
GPS/CellularSocial Media
TransactionMonitoring
Security Incident
Trouble Ticket
Compliance AuditOperational
Insights
SIEM APM DW ECA Business Analytics
Copyright © 2012, Splunk Inc. Listen to your data.
Stop current task to identify and
gather production logs for developer.
ESCALATE. ESCALATE. ESCALATE. RESPOND. NOW WHAT?
원인분석과 해결 / 판단에 너무 많은 시간이 소요
36
Service DeskApplication
SupportSystems
AdministratorApplication Developer
Application Developer
Database Administrator
Log call. The console says everything is
green.
Java monitoring tools don’t
show anything either. Call the
developer.
Stop working on new code to
troubleshoot. Need
production logs!
Manual investigation
establishes not application problem.
DBA analyzes audit logs which
points to bad query.
ESCALATE.
Copyright © 2012, Splunk Inc. Listen to your data.
머신데이터를 통한 다양한 접근
37
Sources
Care IVR
Middleware Error
Order Processing
Copyright © 2012, Splunk Inc. Listen to your data.
머신데이터를 통한 정밀 분석
38
Customer ID Order ID
Customer’s Tweet
Time Waiting On Hold
Twitter ID
Product ID
Company’s Twitter ID
Sources
Care IVR
Middleware Error
Order Processing
Customer IDOrder ID
Customer ID
Copyright © 2012, Splunk Inc. Listen to your data.
머신데이터를 통한 정밀 분석
39
Order ID
Customer’s Tweet
Time Waiting On Hold
Product ID
Company’s Twitter ID
Sources
Care IVR
Middleware Error
Order Processing
Order ID
Customer ID
Twitter ID
Customer ID
Customer ID
Copyright © 2012, Splunk Inc. Listen to your data.
WebServices
이제 즉석에서 데이터를 검색 / 분석 가능합니다 .
40
Find and fix issues and incidents dramatically faster across your organization
Energy
Manufacturing
Shipping RFID WebServicesDevelopers
App SupportTelecoms
Networking
Desktops
Servers Security
Databases/DWH
StorageMessaging
Online Shopping
Carts
Clickstream
GPS/CellularSocial Media
Copyright © 2012, Splunk Inc. Listen to your data.
데이터 처리에 대한 새로운 접근
41
Machine-generated DataBusiness Application Data Human-generated Data
Relational data, highly structured, based on inflexible schema
Financial records, multidimensional data, math computation
Monthly reporting, not for real-time events
Time series, diverse, unstructured, no predefined schema
Encapsulates human-generated content (e.g. social data)
Generated by all IT systems and technology devices
Massive volume; fast navigation and correlation paramount
Generated by human-to-human interaction
Includes email, IM, voice, video, text
Stored in centralized corporate servers, fileshares and desktops
Copyright © 2012, Splunk Inc. Listen to your data.
모든 데이터를 쉽게 수집 / 검색 / 분석하는 툴 !
42
Splunk storage Other Big Data stores
DeveloperPlatform
Data collectionand indexing
Report and analyze
Custom dashboards
Monitor and alert
Ad hoc search
Copyright © 2012, Splunk Inc. Listen to your data.
DeveloperPlatform
Report and analyze
Custom dashboards
Monitor and alert
Ad hoc search
모든 데이터를 쉽게 수집 / 검색 / 분석하는 툴 !
43
Splunk storage Other Big Data stores
Data collectionand indexing
Any amount, any location, any source.No upfront schemaNo custom connectorsNo RDBMSNo need to filter/forward
Copyright © 2012, Splunk Inc. Listen to your data.
Search and InvestigateSearch and Investigate
Proactive Monitoring and
Alerting
Proactive Monitoring and
Alerting
Operational Visibility
Operational Visibility
Real-time Business Insight
Real-time Business Insight
머신데이터를 통한 지능적 운영
44
Proactive
Reactive
Listen to your data.© Copyright 2012, Splunk Inc.
모든 사용자 기준의 Dashboards 및 리포트 제공 .
Mash-up 및 웹 애플리케이션웹 사이트 관리자
마케팅 팀
새로운 수준의 인프라 및 비즈니스가시성 확보
45
Copyright © 2012, Splunk Inc. Listen to your data.
LOB Owners/Executives
SystemAdministrator
OperationsTeams
SecurityAnalysts
IT ExecutivesApplication Developers Auditors
Website/BusinessAnalysts
CustomerSupport
비즈니스 View 와 IT 운용 View 를 통합분석
46
IT Operations Management Web Intelligence
Business AnalyticsApplication Management
Security and Compliance
Copyright © 2012, Splunk Inc. Listen to your data.
전형적인 IT 장비분야를 넘어선 분석 제공
47
Personal Activity Tracking
Flood monitoring warning
Health and Safety
Cars as telemetry sensors
Supporting the next gen airliner
Commercial Transport
Home Energy Management
Building Power Consumption
Power and Energy
Copyright © 2012, Splunk Inc. Listen to your data.
A Growing Community of Apps
48
IronPort WSAIronPort WSA
Security
185 Apps Currently Available for Customer Use
AS/400 - iSeries
Unix and Linux
Google Maps
Windows
Radio Stations
Security
F5
Geo Location
XenDesktopNetScalerPDF Report Server
BlueCoat ProxySG
Splunk MonitoringNagios POST/GET RqstsSNORT
WebSphereWeather
Python MailWhois lookup
TCP/UDP Sending RSS Input
Javamail
Stock Quote
SCOM VMware Fin. Inf. eXchange
Puppet Conf. Mgt
Multicast
Audible Alerts
FireEye Malware
Encrypt/Decrypt Splunk ESS
Ruby on Rails
BigFix
YouTube
JMS receiver
Solera DeepSee IMAP
PCI Compliance
Sourcefire
NetFlow
Sendmail
Copyright © 2012, Splunk Inc. Listen to your data.
스플렁킹 빅데이터
49
1TB References 500GB References
Copyright © 2012, Splunk Inc. Listen to your data.
최근 이슈 사항
50
IT 장애 예측 시스템
사이버 포렌식
빅데이터 기반 BI
실시간 생산데이터분석
Copyright © 2012, Splunk Inc. Listen to your data.51
“ 스플렁크를 통해 클라우드 관제 , 고객 분석
“ 내부 데이터 용량이 1TB 이상 , 추가 라이선스 구매 예정”
통합 클라우드 및 앱 관제단말기 IP, MAC Address 비교AWS 상의 관제
XX 전자
Copyright © 2012, Splunk Inc. Listen to your data.52
XX 전자
“ 스마트 TV 로그 분석 , 보안 분석 , 시스템 로그 분석”
“ 각 사업부분 별로 별도 도입 하여 구축 예정”
초기 애플리케이션 관제 구축 , 원인분석 못함20 일 -> 2 시간 분석단말기 서비스 분석
Copyright © 2012, Splunk Inc. Listen to your data.53
XX 금융
“ 전사적인 보안 관제를 스플렁크로 시행중”
“ 고객과의 협업으로 내부통제 패턴 ( 시나리오 ) 구현을 위한 조건 검색 및 앱 제작”
전사적인 보안 관제개인 정보보호 관점내부통제 시스템
Copyright © 2012, Splunk Inc. Listen to your data.54
XXX쇼핑
“ 전사적인 고객 데이터 분석을 시행”
“ 마케팅 및 BI 를 위한 스플렁크 첫 구축사례”
전사적인 고객 분석모든 데이터 통합하여 맞춤 분석
Copyright © 2012, Splunk Inc. Listen to your data.55
• 물리적인 Splunk 웹 서버와 Splunk Amazon 클라우드 웹 서버를 이용 :시스템 및 Application 문제 해결보안 관리 및 포렌식 분석비즈니스 인텔리젼스 분석
• 많은 물리적 인프라는 물론 가상 인프라의 System, Network, Application, Security 및 사용자 Transaction 분석
Amazon - Indexing ~ 일일 20TB 의 데이터 수집
30 Indexers - Amazon Extra Large Instances8 vCPU, 8 GB of RAM each
Physical boxes – in house datacenter
AWS
AWS
AWS
AWS
AWS
2 Search Heads : 8 vCPU, 8 GB of RAM each
2 Search Heads: 4-way, 4 cores, 8GB RAM
10 Indexers: 4-way,4 cores, 8 GB RAM
Copyright © 2012, Splunk Inc. Listen to your data.56
US San FranciscoData Center
IndiaData Center
EuropeData Center
시스코 – 전세계 IDC 보안 분석
Copyright © 2012, Splunk Inc. Listen to your data.
57
국내 구축사례
58
Loomis Creative Pitch Ideas
Thank You!