آشنایی با دادههای بزرگ و تکنیکهای برنامهسازی برای پردازش دادههای بزرگ

1

ززمستانن ۱۳۹۵

اامیر صدیقی

طرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

@amirsedighi تو3تر: [email protected]اایمیل:

اامیر صدیقی

موسس:

2

معرفی

http://recommender.ir

@amirsedighi تو3تر: [email protected]اایمیل:

http://recommender.ir

3

ررئوسس مطالب

تارریخچه وو مفاهیم پایه ررووشش‌ها وو اابزاارر‌ها

مهمترین‌چالش‌هایی پیش‌ رروویی تاززهه فاررغغ‌االتحصیالنن (ددرر حوززهه ددااددهه‌هایی‌بزررگگ) وو پیشنهاددهایی براایی چیرگی بر آآنن‌ها: - اازز اانتظاررااتت دداانشگاهه تا توقع باززاارر

- اازز اایدهه‌ تا پیاددهه‌ساززیی - اازز ززیرساخت موجودد تا ززیرساخت مطلوبب


4

تارریخچه وو مفاهیم پایه

سرفصل

ررووشش‌ها وو اابزاارر‌ها


مهمترین‌ چالش‌هایی پیش رروو

5

ددااددهه‌هایی بزررگگ ِمه‌ددااددهه

کالنن‌ددااددهه ددااددهه‌هایی عظیم ددااددهه‌هایی اانبوهه ددااددهه‌هایی حجیم

Big-Data

چالش نخست… نامگذاارریی ;)طرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

6

اازز تصوررااتت تا ووااقعیتطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

7

ددیرووزز

640KB 1.2MB


8

ددااستانن اازز کجا شرووعع شدطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

9

ددااستانن اازز کجا شرووعع شدطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

10

تکامل ررووشش‌هایی تولید، تکثیر وو پرددااززشش ددااددههطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

11

ااثرااتت ناشی اازز ررشد تعداادد وو تنوعع کارربرااننطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

12

Welcome to the Machineطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

13

تعریف (خوددمانی)

ددااددهه‌ها بخشی اازز مسئله می‌شوند

(… SQL-Server ،MySQL ،ااکسل) ناتواانی ررووشش‌هایی متدااوولل


14

ررووشش‌ها / اابزاارر‌هایی ددیرووززطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

15

خط مقدمم

Data Scientist Data Engineer


16

کداامم ددااددهه‌ها؟

پسندیدمم!


17


کامنت‌ها (نظر کارربراانن)


18


وویدئو‌


19


ترااکنش‌هایی مالی


20


تصویر


21


الگگ


22


الگگ

کلیک‌هایی کارربراانن


23


الگگ

کلیک‌هایی کارربرااننالگگ ووبب‌سروورر


24


الگگ

کلیک‌هایی کارربرااننالگگ ووبب‌سرووررالگگ ااپلیکیشن


25


الگگ

کلیک‌هایی کارربرااننالگگ ووبب‌سرووررالگگ ااپلیکیشنالگگ سیستم


26


الگگ

کلیک‌هایی کارربرااننالگگ ووبب‌سرووررالگگ ااپلیکیشنالگگ سیستم

الگگ ززندگی (ااینترنت‌چیز‌ها)


27

منبع ااصلی

http://hadoopilluminated.com/hadoop_illuminated


http://hadoopilluminated.com/hadoop_illuminated

28

ررددپایی ددیجیتالل ما وو تجهیزااتتطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

29

محدووددیت‌ها

چگونه توسط تجهیزااتت ااررززاانن وو ددرر ددسترسس یک بن‌ساززهه (Platform) براایی پرددااززشش ددااددهه‌هایی‌بزررگگ تهیه ببینیم؟


30

(Scalability) مقیاسس‌پذیرییطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

31


32

(Scalability) مقیاسس‌پذیریی

Scale-Up


33

(Scalability) مقیاسس‌پذیریی

Scale-Out

Scale-Up


34


35

چگونه؟

Q!چگونه به کمک تعداادد ززیاددیی ماشین ااررززاانن قیمت مقیاسس پذیریی خطی بدست بیا‌وورریم؟


36

(Map-Reduce) نگاشت کاهش

Q!چگونه به کمک تعداادد ززیاددیی ماشین ااررززاانن قیمت مقیاسس پذیریی خطی بدست بیا‌وورریم؟

A(Map-Reduce) نگاشت کاهش


37


ررووشش‌ها وو اابزاارر‌هامهمترین‌ چالش‌هایی پیش رروو


38

هدووپپ = پرددااززشش توززیع‌شدهه +‌فایل‌توززیع‌شدهه

Hadoop = HDFS + MapReduce


39

اارربابب/ ررعیتیطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

40

اارربابب/ ررعیتیطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

41

هدووپپطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

42

آآشنایی با اابزاارر‌هایی ددیگر

آآشنایی با چند اابزاارر خوبب متن‌بازز (قصد معرفی اابزاارر ندااررمم)


(Transfer) جابجایی

ذذخیرهه‌ساززیی

(Join) برقراارریی ااررتباطط

(Index) ااندیس‌گذاارریی

(Analytics) تحلیل

(Aggregate) تجمیع

(Visualize) نمایه‌ساززیی

43

نیاززمندیی‌هایی ما

Image ref: http://supplychaininsightsglobalsummit.com/steps-4-5-to-regain-manufacturing-prowess/


44

اانوااعع پایگاهه‌ددااددههطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

45

SQL اانوااعع ووااسط

• Hive • Drill • Impala • Spark SQL


46

اانتقالل ددااددههطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

47

مخزننطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

Amazon S3 , (Opensrouce Implementations)Minio

48

جستجو وو ااندیس گذااررییطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

49

پیامم ررسانی وو مدیریت صفطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

50

مدیریت الگگ فایلطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

51

پرددااززشش جریانن ددااددهه

Apache FlinkApache Kafka


52

یاددگیریی ماشین وو محاسباتت

Apache HamaTensorFlow

DL4J


53

برخی چالش‌هایی شرووعع کارر


ررووشش‌ها وو اابزاارر‌هامهمترین‌ چالش‌هایی پیش رروو


54

چالش‌هایی پیش‌رروو

- اازز معیارر‌هایی دداانشگاهه تا نیازز باززاارر

محفوظاتت ااصالت کارر فرددیی ااستنادد به ااستادد

ددقت ددرر محاسباتت ااصالت ررفرنس


55


- اازز معیارر‌هایی دداانشگاهه تا نیازز باززاارر

محفوظاتت ااصالت کارر فرددیی ااستنادد به ااستادد

ددقت ددرر محاسباتت ااصالت ررفرنس

خالقیت وو چابکی ااصالت کارر تیمی

ااستنادد به بنچ‌ماررکک اافزاایش کارراایی / کاهش هزینه

ااصالت سودد


56


- اازز اایدهه‌ تا پیاددهه‌ساززیی


57



قدمم‌هایی کوچک


58



قدمم‌هایی کوچک

پالستیک

آآهن

بربرینگ

آآلومینیومم


59



Scala

Javascript (Client and Server sides)

Java

Python

In Memory Databases

Bash ScriptsRDBMS

NoSQL


60


- اازز ززیرساخت موجودد تا ززیرساخت مطلوبب


61

اازز صفر تا صد


- Linux (Tools and Scripting) (or Containers such as Docker)


62


- Linux (Tools and Scripting) (or Containers such as Docker)- Microservices Architecture

اازز صفر تا صدطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

63


- Linux (Tools and Scripting) (or Containers such as Docker)- Microservices Architecture

Easy to UnderstandEasy to Deploy

Easy to Scale


64


- Linux (Tools and Scripting)(or Containers such as Docker)- Microservices Architecture- Piping vs Coding- Develop Small Stateless Functions


65

- اازز ززیرساخت موجودد تا ززیرساخت مطلوبب - اازز مدلل ااوولیه تا نمونه صنعتی

Linux

Something Service

REST API (Service Level)


Data Processing/Storage Cluster


M1

66

Linux

Linux Tool1

Micro Service

1


Bash 1

Py Fn 1



67

Linux

Linux Tool2

Linux Tool1

Micro Service

1


Bash 1

Bash 2

Py Fn 1



68

Linux



M1


Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Micro Service

1

Micro Service

2

Micro Service

3


69

Linux



Spring Boot

M1


Micro Service

1

Micro Service

2

Micro Service

3

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1


70

Linux


Linux



M1 M2


Micro Service

1

Micro Service

2

Micro Service

3

Micro Service

1

Micro Service

2

Micro Service

3

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1


71

Linux


Linux



M1 M2


Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Micro Service

1

Micro Service

2

Micro Service

3

Micro Service

1

Micro Service

2

Micro Service

3


72

Linux


Linux



M1 M2


Micro Service

1

Micro Service

2

Micro Service

3

Micro Service

3

Micro Service

1

Micro Service

3

Micro Service

3

Micro Service

3

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1


73



Linux


Linux


Micro Service

1

Micro Service

2

Micro Service

3

Micro Service

3

Micro Service

1

Micro Service

3

Micro Service

3

Micro Service

3

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1


74

Uniformed API (LB/Proxy)


Linux


Linux


Micro Service

1

Micro Service

2

Micro Service

3

Micro Service

3

Micro Service

1

Micro Service

3

Micro Service

3

Micro Service

3

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1


75


ددرر صوررتت فرااهم بوددنن ززیرساخت کشسانن


Micro Service

1

Micro Service

2

Micro Service

3


76

به کمک ددااکر وو کوبرنتیس ‌میشه اازز پیچیدگی ااین جنگل کاست



Linux


Linux


Micro Service

1

Micro Service

2

Micro Service

3

Micro Service

3

Micro Service

1

Micro Service

3

Micro Service

3

Micro Service

3

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1

Linux Tool2

Linux Tool1

Bash 1

Bash 2

Py Fn 1


77

Linux

Linux Tool2

Linux Tool1


Bash1

Bash2

Py Fn1

Linux

Linux Tool2

Linux Tool1


Bash1

Bash2

Py Fn1


MicroService

1

MicroService

2

MicroService

3

MicroService

1

MicroService

3

MicroService

3

MicroService

3

MicroService

3

Linux

Linux Tool2

Linux Tool1


Bash1

Bash2

Py Fn1

MicroService

1

MicroService

2

MicroService

3

MicroService

3

Hadoop Cluster 1

Hadoop Cluster 2

S3 Storage


78

پاسخ به سوااالتتطرااحی وو توسعه خدماتت کارربرددیی ددااددهه‌هایی بزررگگ وو چالش‌هایی پیش رروویی فاررغغ‌االتحصیالنن

Data & Analytics

آشنایی با دادههای بزرگ و تکنیکهای برنامهسازی برای پردازش دادههای بزرگ