تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده

ن دادهتحلیل با رویکرد یادگیري ژرف بر بستر کالدانشگاه صنعتی شریف، تهران

2الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد

dataset@: تلگرام mkhalooei@gmail.com: ایـمـیـل

محمد خالوئی1395آذر 17

دیدکلی از ارائه

کلیات مبانی بحث کالن داده•

آماده سازي ذهنی درخصوص بحث تحلیل•

کلیات مبانی بحث یادگیري ژرف•

TensorFlowچالش هاي استفاده از رویکرد یادگیري ژرف در بسترهاي کالن داده بخصوص در •

3 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

خالوئی محمد

یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده

4

کمی دقیق تر

به زندگیاطرفـمان

...بنـگریم

http://www.tekshow.com/posts/820

مقیاس تولید داده

1992 :100GB در روز

1997 :100GB در ساعت

2002 :100GB در ثانیه

2018 :50000GB در ثانیه

5 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

http://www.gereports.com/post/110073426843/big-data-infographic/

تعریف مختصر از کالن داده

6 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

.داده هاي تولیدي جهان، براي دوسال اخیر هست% 90•

)30به توان 10= کوئینتیلیون 2.5( 2.500000000000000000تولید حدود •

)Blue-ray(ري -میلیون دیسک بلو 10چیزي معادل پرکردن •

تقریبا معادل ارتفاع چهار عدد از برج ایفل•

http://www.vcloudnews.com/wp-content/uploads/2015/04/big-data-infographic1.png

تعریف مختصر از کالن داده

7الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد

کالن داده

تنوعVariety

تنوعVariety

سرعتVelocity

سرعتVelocity

حجمVolume

حجمVolume

کالن داده

تنوعvariety

تنوعvariety

سرعتvelocity

سرعتvelocity

حجمVolume

حجمVolume

صحتveracity

صحتveracity

چرا بحث کالن داده مطرح شده

تغییر و تحول هستهمه چیز دائما در حال •

را نخواهیم لیتوانایی مدیریت و توان محاسبات تحلیطبق تعاریف؛ بدین نتیجه رسیدیم که •داشت

ملیون شعب در نقاط دنیا20همانند مدیریت یک مغازه ساده و اکنون مدیریت یک مغازه ساده با بیش از •

!خیلی فرق میکند •

هستندبدون ساختارداده هاي تولید شده % 90• که شامل داده هاي توئیت، عکس، فیلم، الگ، تاریخچه کاري و فعالیت و...

راهکارهاي جدید= چالش هاي جدید

8 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

!!!تجزیه و تحلیل براي چی

9 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

منابع داده اي

فعالیت ها•

گفتگوها•کلمات•صوت•شبکه اجتماعی•الگ•تصاویر•ویدیو•سنسور•

...و•

حجمحجم

صحتصحت

تنوعتنوع

سرعتسرعت

تحلیل کالن داده

متن کاويتحلیل معناییتحلیل ویدیوتشخیص چهرهتحلیل صوتتحلیل حرکات و رفتارو...

نمونه اي از ثبت تراکنش ها

10 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

اپراتورها در تهرانپوشش دهی نمونه

11 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

https://opensignal.com

محدوده فضاي اطراف دانشگاهاپراتورها در پوشش دهی

12 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

https://opensignal.com

...در همه ابعادمثال

مخابرات•

حمل و نقل•

کنترل ترافیک•

وضعیت آب و هوا•

کشف تقلب •

بانک و موسسات مالی•اعتبارسنجی مشتریان

شبکه اجتماعی•

•...

13 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

Twitterنمونه اي از تحلیل داده هاي

14 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

Twitterبرخی از فعالیت هاي مربوط به داده هاي

توئیت براي مختصات هاي مربوط به ایران ثبت شده 7000تقریبا 1396آذر 15در • چیز دیگري استآمار واقعی اما!

مجموعه اي از داده هاست ترکیبایده جالب تر بحث •

آن را میتوان با رویکرد یادگیري ژرف صورت پذیرفتداده هاي متنی تحلیل •

خالصه اي از نمونه تحلیل هاي بصري• www.mapd.com/demos/tweetmaphttps://

oSan Francisco, California USA

15 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

گذر کوچکی بر پشت پرده این پردازش ها

16 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

)1391سال (چشم انداز کالن داده

17 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

)نسخه سوم -1395سال (چشم انداز کالن داده

18 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

فناوري هاي کالن داده

کالسترهاي پردازش و ذخیره سازي داده•رایانش ابريابر خصوصی

پردازش و ذخیره سازي توزیع شده•HDFSMapRduceSpark

بانک هاي اطالعاتی •NoSqlNewSqlgraph DB…

19 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

امنیت داده در عین حفظ کارایی•CryptDB

بازبینی و تمیز کردن داده ها•Wrangler

تجمیع داده ها؛ نگرشی جدید•

سامانه هاي تحلیل اطالعات•الگوریم هاي سریع

فشرده سازي اطالعات

ابزارهاي یادگیري ماشین

خالصه سازها

کلیات نقشه راهکار در فضاي کالن داده

20 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

ابزارهاي پرمخاطب کالن داده

21 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

https://flink.apache.org/http://hadoop.apache.org/ http://spark.apache.org/

:به کمک ابزارهایی همچون• Tableau

Qlik

kibana

ChartJs

Raw

Dygraphs

…

بصري سازي داده ها

22 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

خالوئی محمد

یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده

23

یادگیري ژرفDeep Learning

http://www.euclidean.com/deep-learning-and-value-investing

تعریف مختصر از یادگیري ژرف

نام هاي مشابه• ساختار یادگیري ژرف)Deep Structure learning(

یادگیري سلسله مراتبی)Hierarchical learning(

یادگیري ماشینیکی از شاخه هاي •

روي مجموعه اي از الگوریتم ها که • انتزاع سطح باال از دادهمیخواهند یک

چندین الیه پردازشیبوسیله

ساختار پیچیده یا ترکیب تبدیالت غیرخطیبا

24 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

تعریف مختصر از یادگیري ژرف

درواقع یادگیري عمیق• روش هاي یادگیري ماشیناز یک خانواده گسترده ي

بازنمایی ویژگیبر مبناي

تنوع نوع مشاهدات ما محسوب میشود: بازنمایی ویژگی منظور از • در مثال عکس:

o شدت روشناییکه شامل وکتوریه بازنمایی میتواند ویژگی ها را در قالب یک

o مجموعه اي از لبه هایا بصورت خیلی انتزاع سطح باالتر به شکل

o ناحیه اي که شامل یک شیءیا بصورت خیلی کلی تر به صورت

25 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

تعریف مختصر از یادگیري ژرف

:یکی از نوید ها و وعده هاي یادگیري ژرف•جایگزین کردن روشی براي انتخاب ویژگی، به جاي روش هاي دستی

با الگوریتم هاي موثر و کارا یادگیري ویژگی بدون نظارت و نیمه نظارت

و استخراج ویژگی سلسله مراتبی

26 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

Hand-crafted feature

http://www.kiv.zcu.cz/studies/predmety/uir/NS/Neocognitron/en/hierarch-det.html

انواع مختلف شبکه هاي ژرف

تنوع• شبکه هاي عصبی ژرف)Deep Neural Networks( شبکه هاي عصبی کانولوشن ژرف)Convolutional Deep Neural Network( شبکه هاي باور ژرف)Deep Belief Networks( شبکه هاي عصبی بازگشتی)Recurrent Neural Networks(

براي حوزه هاي مختلف•بینایی ماشینتشخیص گفتار هوشمندپردازش زبان طبیعیتشخیص صدابایوانفورماتیک

27 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

نمونه یک شبکه عصبی ژرف

28 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

ابزارهاي پرمخاطب حوزه یادگیري ژرف

29الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد

http:// tensorflow.org http://torch.ch http://caffe.berkeleyvision.org

http://deeplearning.net/software/theano http://scikit-learn.org

!کدام ابزار بهتر هست؟

نرخ رشد پیشرفت براي یادگیري ژرف•

30 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

https://twitter.com/fchollet/status/776455778274250752

TensorFlow

31 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

توسعه داده شده Google Brain در گروه •

یادگیري ماشین گوگل کتابخانه•

در پروژه هاي بزرگ شرکت گوگل از جمله• سرویسSpeech Recognition

سرویسGmail

سرویسGoogle photo

منتشر کرد متن بازبصورت 2015در نوامبر سال •

TensorFlowمقدمات کار با

•Node که عملیات یاopr یاoperation نامبرده میشود هر عملیات شامل صفر یا بیشترTensor که در آن یک سري محاسبات انجام می پذیرد

•Tensorیک آرایه چندبعدي

•Graph بصورت گراف محاسباتی(درواقع یک توصیف از محاسبات(

•Session عملیات گراف را درDevice هایی همچونCPU وGPU براي پردازش قرار و شرایط اجرا را فراهم میکند.

32 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

https://www.tensorflow.org

TensorFlowگوشه اي از اجرا در

import tensorflow as tf

matrix1 = tf.constant([[3.0,3.0]])

matrix2 = tf.constant([[2.0,2.0]])

product = tf.matmul(matrix1,matrix2)

sess = tf.Session()

result = sess.run(product)

print(result)

sess.close()

33 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

matrix1 matrix2

product

خالوئی محمد

یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده

34

یمتحلیل عظ

رورویکرد هاي تحلیل در کالن داده و چالش هاي پیش

35 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

:به قضیه می توان نگاه کردچند جنبه تقریبا از • چالش مدیریت کردن پردازش

چالش نوع شیوه الگوریتم بررسی و محاسبات

شبکهچالش بحث تنظیم وزن هاي پارامترهاي

...

10X reduction in training time34% lower error rate

https://databricks.com/blog/2016/01/25/deep-learning-with-apache-spark-and-tensorflow.html

ن دادهتحلیل با رویکرد یادگیري ژرف بر بستر کالتهرانشریف، صنعتی دانشگاه

36الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد

dataset@: تلگرام mkhalooei@gmail.com: ایـمـیـل

محمد خالوئی1395آذر

باتشکر از توجهتان

»سوره انشراح) 6(إن� مع العسر يسرا ) 5(فإن� مع العسر يسرا «| اگر سنگی پیشرو نباشد هیچگاه صدای دلنشین آب را نخواهی شنید