56
Big Data, Big Challenge Splunk Big Data ´Ñ [pn ×ýăù Splunk ÄKÞÂ ĞģĢ

Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

Embed Size (px)

DESCRIPTION

講者:SYSTEX 數據加值應用發展部產品經理 | 陶靖霖 議題簡介:認清現實吧! Big Data 是個熱門詞彙、熱門議題,但是問題的核心仍然圍繞在資料處理的流程、架構與技術,要踏入 Big Data 的領域,使用者會遭遇哪些挑戰? Splunk 被譽為「全球最佳的 Big Data Company」,究竟在資料處理的流程中擁有什麼獨特的技術優勢,能夠幫助使用者克服這些挑戰?又有哪些成功幫助使用者從資料中萃取出價值的應用案例?歡迎來認識 Splunk 以及全球 Big Data 成功案例。

Citation preview

Page 1: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Big Data, Big Challenge��Splunk \�¯��Big Data ´Ñ

[��pn� ×ýăù��Splunk ÄKÞÂ��ĞģĢ�

Page 2: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

»^Ð�FOÅA² Big Data�

Page 3: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Big Data )Q�}�¶zª��´Ñ�

Data�Inpu

t�Output�

Processor�

Storage!Informa4on�

所謂巨量資料,就是用現有的一般技術難以管理的大量數據的集合 野村綜合研究所�

Page 4: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Big Data )Q�}�¶zª��´Ñ�

生� 流� 存� 算� 用� 看�

Page 5: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

¶zª��ÍÑ}(¼��

生� 流� 存� 算� 用� 看�

我需要的資料從哪裡來?�

要怎麼收集資料?�資料收集能力?�資料格式的限制?�

資料如何ETL?�資料如何正規化?�

該如何呈現運算分析結果?�該用什麼工具呈現?�需要客製開發嗎?�

資料可否壓縮保存?�資料可否備份?�保存年限與生命週期管理?�

如何尋找與計算?�如何撰寫MR程式?�需要多久才能學會?�

如何輸出運算結果?�如何與其他系統整合?�

Page 6: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

!

Hadoop Ecosystems Z¯��Ä,ÍÑ�

生� 流� 存� 算� 用� 看�

Page 7: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

!

��?���¶z7�!wÌ�%J�,�����;�!����£[�l�#!!

Page 8: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

全球最佳 Big Data 創新應用公司

8!

Page 9: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

獲獎無數�

Big Data Innovator

2013 SIEM Magic Quadrant

LEADER

2012 Security Market Growth

#1 Worldwide

2012 IT Operations Market Growth

#3 Worldwide

Best SIEM North America

Best Enterprise Security Solution EMEA

#1 !

Most Innovative #4 !

Page 10: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk S�|�?¶z�tT¨,��

Page 11: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk 7R�?¶z3�~kl�� ÜEVĕă��»

!!;��Ġ ;�Ûo

DnD²S|ɳPă�

'@�

%<#+�

�(9F�

?!C4�

�1;>/�

Metadata!

報表與分析�

客製化�儀表板�

即時監視�與告警�

快速搜尋�

整合與介接�

2ĊDnD²�Å«�

資安分析�

系統維運�

用戶行為�

精準行銷�

萬物聯網�

商業分析�

Page 12: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

����Splunk H�lU ª� Big Data �ÍÑ�

生� 流� 存� 算� 用� 看�

Page 13: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

•  .Å�¢Éă�Äó/ – B�llR�Å�ÈÁ⦼ó

•  éïÄÃġôÉă� – Ĉ��z�ē�sĤéi� – C�^òġôÉă�êªn

•  ìéïÄÃă��L�ă�ªn·ąđE� – �Ġg*_�îÂÉă�ªn$'�Å�

生� 流� 存� 算� 用� 看�

Page 14: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Key-Value Pair (KVP) c�i�

•  µ�_�ÿ-��� ETL •  9Ü®8�¡@ĝ�Q^Éă�Ü®�

Page 15: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

} GÂu�

•  µ�_�ÿ-��� ETL •  fÀÜ®��ñÁă�ßm

Page 16: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

��

•  úsô¢µ�FÏ

Page 17: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

¶z��� Best Practices�

建立具有可讀性的資料�

Page 18: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

¶z��� Best Practices�

•  Å Text ôÅ Binary – Ê= parsing

•  -Å XML –  JSON Cāw�ĭ

•  Ē(�ÒWïă� •  �ÅCāÉ

timestamp •  ô�Å time offsets •  Timestamp � 1ĥ

•  Ç�UUID � Session ID – ă�Ĝċw

•  ôæ~¤� – ă�#��¬7Èe – CøÔ�CqáÉ

•  ,Ī,Ú

Page 19: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

�?¶z�h¨ÒB

19!

特性!!!

時間序列,時間順序性!!

純文字格式(Plain!Text)!!

內容產生後不再修改!!!!

日誌(Log/Event)!

紀錄(Record)!

封包資訊�

工業設備訊號�

感應器資料�

資料庫內的資料�

效能量測指標�

Message/Queue!

設定檔�

點擊紀錄�

系統畫面STDOUT!

API!輸出�

Page 20: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

�>]§wÌ9a�?¶z

20!

不用事先定義資料欄位,不用客製化連接器,不用資料庫,不需要事先過濾�

"  Web!logs!"  Log4J,!JMS,!JMX!"  .NET!events!"  Code!and!scripts!

"  Configura4ons!"  syslog!"  SNMP!" neUlow!

"  Configura4ons!"  Audit/query!logs!

"  Tables!"  Schemas!

"  Hypervisor!"  Guest!OS,!Apps!"  Cloud!

"  Configura4ons!"  syslog!"  File!system!" ps,!iostat,!top!

"  Registry!"  Event!logs!"  File!system!"  sysinternals!

Logfiles! Configs!Messages! Traps!!!Alerts!

Metrics! Scripts! Tickets!Changes!

UNIX��Linux/Unix!

%���Windows!

#(&�Networking!

'��Databases!

��!"Applica4ons!

$��!&!) !Virtualiza4on!

"  Click`stream!data!"  Shopping!cart!data!"  Online!transac4on!data!

����'�!'� �����'�!

"  Manufacturing,!logis4cs…!

"  CDRs!&!IPDRs!"  Power!consump4on!"  RFID!data!"  GPS!data!

"��)����&���������� �� '����%/3�����)12"��.�

Page 21: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

•  ă�É"Đê�ĠġæĘ� – �Ġg*��Éă��ĠÕĎ – �Ġg*��Éă�ĪS – "Đê�ĠÉ])w�Ð^wê�è

•  ă�É ETL (Extract, Transform, Load) – ì�Å1Ćă�ªn�jÜ®8ªnĉlÖO – ħîÂÉġ¸�

生� 流� 存� 算� 用� 看�

Page 22: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk ¥wÌE�¶z ��

結構化資料 � 非結構化資料 �

關聯式資料庫�

半結構化資料�

Log� Email� XML� 聲音� 圖片� 影像�

Extract!Metadata�

Page 23: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk ¶zwÌ{a�彈性的資料收集方式,可使用代理程式或免用代理程式�

perf

shell code

Mounted File Systems!\\hostname\mount

syslog!TCP/UDP

WMI!Event Logs!Performance

Active !Directory

syslog compatible hosts!and network devices

Unix, Linux and Windows hosts (NFS, CIFS, SMB…etc.)

Windows hosts DB Connection, SNMP, REST API, STDOUT…etc.

Local File Monitoring!log files!config files!dumps and trace files

Windows Inputs!Event Logs!performance counters!registry monitoring!Active Directory monitoring

virtual!host

Windows hosts

Scripted!Inputs!shell scripts!custom parsers!batch loading

免安裝代理程式� Splunk Forwarder

Page 24: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

¶zwÌPÇ¥0

24!

Wė�ğ³/�Ăă�èĦ.�Ġ�[

壓縮與加密!!!日誌緩衝佇列�自動負載平衡�自動故障轉移�自動斷線重傳�

匿名化個資遮罩�傳輸頻寬管理�

分散式搜尋�

Forwarder� Forwarder� Forwarder�

Page 25: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

•  ă�É ETL (Extract, Transform, Load) – ì�Å1Ćă�ªn�jÜ®8ªn·ąÖO – ETL cħîÂÉġ¸ – ă�î¹͠ë�ěÉX­dRĈĔ

•  ă�É%[êÃJČ£Õ – öĈ�ă�¢Wėôç^ – hĘă�É!�ê!�Āĩ

生� 流� 存� 算� 用� 看�

Page 26: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Splunk ¥A¶zwÌd+��M¢�

•  C��ġ¸6|^ä�ġôɵ� •  ��WÎg*:5^äµ� •  èé6ÿ-WÎă�ªn�

–  JSON, CSV, W3C…etc.

Page 27: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Data Schema +}Ë/�

Page 28: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

�.���M¢X*�

Page 29: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

���Hadoop 42 ETL ����

Page 30: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk 6Ì��¶zÓ7�h�

•  G�Hadoop \å •  ă�ĭCÅw

– CéÆû^ Replication Factor �

•  Multi-site Clustering – Ąă��u!�

•  CéÆ´G�& – Cď PB ÓÚ�

Page 31: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

¶z�<¿���

��!

�����

Hot!Buckets!.��

���3F�

���Warm!Buckets!

)��

$7�

-B�2��8G�

658G.��"�

�E���H�

$7�

J:����6�,��"�

=��ID*'@�1��I�

A&� �

�0�3F����1�

Page 32: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

•  \å�à�ėôæĘ – c�¬�þ�Time to Value �½rėô – ���b�Ĭ�

•  �ěê�3�Ė��¥

生� 流� 存� 算� 用� 看�

Page 33: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Search your IT infrastructure

J2EE exception Last 60 minutes

fail* password sshd

Last 30 minutes Last 60 minutes Last 3 hours Last 24 hours Last 7 days All time

Last 24 hours

�ÊÈI{af½r�Yƶz�

Page 34: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

tT½_���j�

Page 35: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

tT1¥��·Î��

•  ĜęZ�b •  µ��b •  ¶õñËn(Regular

Expression)�b •  ă�Ĝċ •  Y©üê Join •  ă�>¾(Lookup)

•  ă�4gî •  ă�čÔêÝø •  ă�¯ú(Tag)ê��ĪS

(Event Type)Õ •  ă�±S(Data Modeling)ê°Ù,§(Pivot)

•  ħº,§ (Predictive Analysis)

Page 36: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Splunk � Map Reduce ��

36!

�,�n�btD Indexer ?+ă���`ܨ�Æ Search Head q�

分散式搜尋�

Search!Head�

Map� Reduce�

Indexer� Indexer� Indexer� Indexer�

Page 37: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

�7�¸�Hadoop :�

37!

匯入�瀏覽�匯出�

.Å�Splunk Hadoop Connect ê�Hadoop ��ă�

Splunk'Hadoop''Connect'

HA'Indexes'and'Storage'

Commodity'Servers'

Hadoop'(MapReduce'&'HDFS)'

Report'and''analyze'

Custom''dashboards'

Monitor''and'alert'

Ad'hoc''search'

Page 38: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

m�¦µ�Hadoop!�°�!

可完全與 Hadoop!整合,運用 Hadoop 完成搜尋與計算�

能夠立即為�Hadoop!的導入帶來效益�

可直接使用已存在 Hadoop 內的資料�

搜尋與探索� 視覺化� 儀表板� 分享�分析�

NoSQL'and'Other'Data'Stores'

Hadoop!Client!Libraries! Streaming!Resource!Libraries!

保留 Splunk 全功能,操作方式與 Splunk 完全相同�

Page 39: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

8�=�Splunk q�x¤±¡ e�

�%��'

�� '

�%����'

�%'��!'

Page 40: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

•  ă�É�ÅU���Ĝę – �É�ðġô2�vß – īNrėô�a¬ĨTêBig Data�ð

•  čÔܨÉ.Åê�E – IÁ� –  ºêÈ+ùx – êÑ��ØÝ���

生� 流� 存� 算� 用� 看�

Page 41: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

�?¶z7�o�"�Ô�

��!

避險!

節流!

開源!

日誌管理!資安稽核!法規遵循!個資法!ISO27001!/!ISO20000!資安監控!資安事件分析!

網站/App分析!使用者行為分析!Customer!Insight!

精準行銷!(CEM)用戶經驗管理!

商業情報分析!Business!Insight!

IT!與系統狀態監控!效能與資源監控!

應用系統管理/監控!

故障查找排除!異常問題調查!資源規劃!

!

Page 42: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk �l��¹ IT ¨ Business WÏ�

•  SplunkÉ�ÅĨT – �lßčÕ – ă»ê�èÕ – ăù])Õ – kU,§êM¬�} –  …

42!

Splunk 帶來「一份日誌,多重應用」的複合價值�

Mush up Web Apps�

網站管理團隊�

VPs of Infrastruct

ure�

Page 43: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Á�|9�®©¨l��C«¨$«�

43!

網站維運分析�

應用系統管理� 商情分析�

資安與法規遵循�

LOB!Owners/!Execu4ves!

Customer!Support!

System!Administrator!

IT 維運管理�

Opera4ons!Teams!

Security!Analysts!

IT!!Execu4ves!

Development!!Teams! Auditors!

Website/Business!Analysts!

#+���������� ���(�*-�$&�!��0,��

(#��

��� �������$���

��� ��

Page 44: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk Apps µ�igÔ�VgÔ�

超過!500!種!Apps!提供各種應用方式�

REST!API!

XenApp!XenDesktop!

Server, Storage, Network

Server Virtualization

Operating Systems

Infrastructure Applications

Mobile Applications Cloud Services

Other Monitoring Ticketing/Help Desk

Custom Biz Applications

SDKs!

Web!Framework!

Page 45: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk s�N­3É��bh

REST API

Web Framework

開發人員可以利用熟悉的程式語言、SDK 介接其他系統或開發應用�

Web!!Framework!

JAVA'JavaScript'Python'

Data'Models'

Search'Extensibility'

Modular'Inputs'

SDKs'Simple'XML'

JavaScript'

Django'

Ruby'C#'PHP'

Page 46: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

ODBC driver s��Ey:�.�

Page 47: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

ºÀ DB Connect ¾  RDBMS �5�Hadoop ���

Page 48: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk ,-¨�Hortonworks ¨�Cloudera :��

Page 49: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk ¨ Tableau :��

Page 50: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

•  Hadoop â <Ãg*�ġô�EVĕg*

•  �0 vs. g*�ÉæĘ – ¿yÍm��Epw�IÁ�n – \å�à�Åć��ě�¥…

•  Data Visualization �AV�ĚaĚ\Ì/íð – ùxHĘ�ã{�÷āè3…

生� 流� 存� 算� 用� 看�

Page 51: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk '`E�@«�不需要撰寫程式,即選即用�

Page 52: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

ºÀK¬ Apps Ã7�v&�

Page 53: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

m}y:DÄX*�

Page 54: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

Splunk }Ly�Yƶz¯�{��

生� 流� 存� 算� 用� 看�

完整成熟的解決方案,涵蓋巨量資料處理各階段會遭遇的挑戰�

成熟穩定的資料收集機制�

完善的資料格式處理能力�

妥善的資料生命週期管理�

強大的資料搜尋運算功能�

貼心的 Hadoop 整合應用�

開放彈性的資料整合開發平台�

優異便利的 資料視覺化工具�

Page 55: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

��!

 ³�

Splunk!&!Hunk!是�Hadoop!的好朋友�

Splunk!是優異的機器資料應用平台�

從資料來源開始規劃,事半功倍�

Big!Data!議題不只是分散式或是計算的問題�

Page 56: Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

�!

Q & A�