تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده

ن دادهتحلیل با رویکرد یادگیري ژرف بر بستر کالدانشگاه صنعتی شریف، تهران

2الن دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کخالوئی محمد

dataset@: تلگرام [email protected]: ایـمـیـل

محمد خالوئی1395آذر 17

دیدکلی از ارائه

کلیات مبانی بحث کالن داده•

آماده سازي ذهنی درخصوص بحث تحلیل•

کلیات مبانی بحث یادگیري ژرف•

TensorFlowچالش هاي استفاده از رویکرد یادگیري ژرف در بسترهاي کالن داده بخصوص در •

3 دادهجلسه اول ارائه علمی تحلیل با رویکرد یادگیري ژرف بر بستر کالنخالوئی محمد

خالوئی محمد

یکرد جلسه اول ارائه علمی تحلیل با رویادگیري ژرف بر بستر کالن داده

4

کمی دقیق تر

به زندگیاطرفـمان

...بنـگریم

http://www.tekshow.com/posts/820

مقیاس تولید داده

1992 :100GB در روز

1997 :100GB در ساعت

2002 :100GB در ثانیه

2018 :50000GB در ثانیه


http://www.gereports.com/post/110073426843/big-data-infographic/

تعریف مختصر از کالن داده


.داده هاي تولیدي جهان، براي دوسال اخیر هست% 90•

)30به توان 10= کوئینتیلیون 2.5( 2.500000000000000000تولید حدود •

)Blue-ray(ري -میلیون دیسک بلو 10چیزي معادل پرکردن •

تقریبا معادل ارتفاع چهار عدد از برج ایفل•

http://www.vcloudnews.com/wp-content/uploads/2015/04/big-data-infographic1.png

تعریف مختصر از کالن داده


کالن داده

تنوعVariety

تنوعVariety

سرعتVelocity

سرعتVelocity

حجمVolume

حجمVolume

کالن داده

تنوعvariety

تنوعvariety

سرعتvelocity

سرعتvelocity

حجمVolume

حجمVolume

صحتveracity

صحتveracity

چرا بحث کالن داده مطرح شده

تغییر و تحول هستهمه چیز دائما در حال •

را نخواهیم لیتوانایی مدیریت و توان محاسبات تحلیطبق تعاریف؛ بدین نتیجه رسیدیم که •داشت

ملیون شعب در نقاط دنیا20همانند مدیریت یک مغازه ساده و اکنون مدیریت یک مغازه ساده با بیش از •

!خیلی فرق میکند •

هستندبدون ساختارداده هاي تولید شده % 90• که شامل داده هاي توئیت، عکس، فیلم، الگ، تاریخچه کاري و فعالیت و...

راهکارهاي جدید= چالش هاي جدید


!!!تجزیه و تحلیل براي چی


منابع داده اي

فعالیت ها•

گفتگوها•کلمات•صوت•شبکه اجتماعی•الگ•تصاویر•ویدیو•سنسور•

...و•

حجمحجم

صحتصحت

تنوعتنوع

سرعتسرعت

تحلیل کالن داده

متن کاويتحلیل معناییتحلیل ویدیوتشخیص چهرهتحلیل صوتتحلیل حرکات و رفتارو...

نمونه اي از ثبت تراکنش ها


اپراتورها در تهرانپوشش دهی نمونه


https://opensignal.com

محدوده فضاي اطراف دانشگاهاپراتورها در پوشش دهی


https://opensignal.com

...در همه ابعادمثال

مخابرات•

حمل و نقل•

کنترل ترافیک•

وضعیت آب و هوا•

کشف تقلب •

بانک و موسسات مالی•اعتبارسنجی مشتریان

شبکه اجتماعی•

•...


Twitterنمونه اي از تحلیل داده هاي


Twitterبرخی از فعالیت هاي مربوط به داده هاي

توئیت براي مختصات هاي مربوط به ایران ثبت شده 7000تقریبا 1396آذر 15در • چیز دیگري استآمار واقعی اما!

مجموعه اي از داده هاست ترکیبایده جالب تر بحث •

آن را میتوان با رویکرد یادگیري ژرف صورت پذیرفتداده هاي متنی تحلیل •

خالصه اي از نمونه تحلیل هاي بصري• www.mapd.com/demos/tweetmaphttps://

oSan Francisco, California USA


گذر کوچکی بر پشت پرده این پردازش ها


)1391سال (چشم انداز کالن داده


)نسخه سوم -1395سال (چشم انداز کالن داده


فناوري هاي کالن داده

کالسترهاي پردازش و ذخیره سازي داده•رایانش ابريابر خصوصی

پردازش و ذخیره سازي توزیع شده•HDFSMapRduceSpark

بانک هاي اطالعاتی •NoSqlNewSqlgraph DB…


امنیت داده در عین حفظ کارایی•CryptDB

بازبینی و تمیز کردن داده ها•Wrangler

تجمیع داده ها؛ نگرشی جدید•

سامانه هاي تحلیل اطالعات•الگوریم هاي سریع

فشرده سازي اطالعات

ابزارهاي یادگیري ماشین

خالصه سازها

کلیات نقشه راهکار در فضاي کالن داده


ابزارهاي پرمخاطب کالن داده


https://flink.apache.org/http://hadoop.apache.org/ http://spark.apache.org/

:به کمک ابزارهایی همچون• Tableau

Qlik

kibana

ChartJs

Raw

Dygraphs

…

بصري سازي داده ها




23

یادگیري ژرفDeep Learning

http://www.euclidean.com/deep-learning-and-value-investing

تعریف مختصر از یادگیري ژرف

نام هاي مشابه• ساختار یادگیري ژرف)Deep Structure learning(

یادگیري سلسله مراتبی)Hierarchical learning(

یادگیري ماشینیکی از شاخه هاي •

روي مجموعه اي از الگوریتم ها که • انتزاع سطح باال از دادهمیخواهند یک

چندین الیه پردازشیبوسیله

ساختار پیچیده یا ترکیب تبدیالت غیرخطیبا



درواقع یادگیري عمیق• روش هاي یادگیري ماشیناز یک خانواده گسترده ي

بازنمایی ویژگیبر مبناي

تنوع نوع مشاهدات ما محسوب میشود: بازنمایی ویژگی منظور از • در مثال عکس:

o شدت روشناییکه شامل وکتوریه بازنمایی میتواند ویژگی ها را در قالب یک

o مجموعه اي از لبه هایا بصورت خیلی انتزاع سطح باالتر به شکل

o ناحیه اي که شامل یک شیءیا بصورت خیلی کلی تر به صورت



:یکی از نوید ها و وعده هاي یادگیري ژرف•جایگزین کردن روشی براي انتخاب ویژگی، به جاي روش هاي دستی

با الگوریتم هاي موثر و کارا یادگیري ویژگی بدون نظارت و نیمه نظارت

و استخراج ویژگی سلسله مراتبی


Hand-crafted feature

http://www.kiv.zcu.cz/studies/predmety/uir/NS/Neocognitron/en/hierarch-det.html

انواع مختلف شبکه هاي ژرف

تنوع• شبکه هاي عصبی ژرف)Deep Neural Networks( شبکه هاي عصبی کانولوشن ژرف)Convolutional Deep Neural Network( شبکه هاي باور ژرف)Deep Belief Networks( شبکه هاي عصبی بازگشتی)Recurrent Neural Networks(

براي حوزه هاي مختلف•بینایی ماشینتشخیص گفتار هوشمندپردازش زبان طبیعیتشخیص صدابایوانفورماتیک


نمونه یک شبکه عصبی ژرف


ابزارهاي پرمخاطب حوزه یادگیري ژرف


http:// tensorflow.org http://torch.ch http://caffe.berkeleyvision.org

http://deeplearning.net/software/theano http://scikit-learn.org

!کدام ابزار بهتر هست؟

نرخ رشد پیشرفت براي یادگیري ژرف•


https://twitter.com/fchollet/status/776455778274250752

TensorFlow


توسعه داده شده Google Brain در گروه •

یادگیري ماشین گوگل کتابخانه•

در پروژه هاي بزرگ شرکت گوگل از جمله• سرویسSpeech Recognition

سرویسGmail

سرویسGoogle photo

منتشر کرد متن بازبصورت 2015در نوامبر سال •

TensorFlowمقدمات کار با

•Node که عملیات یاopr یاoperation نامبرده میشود هر عملیات شامل صفر یا بیشترTensor که در آن یک سري محاسبات انجام می پذیرد

•Tensorیک آرایه چندبعدي

•Graph بصورت گراف محاسباتی(درواقع یک توصیف از محاسبات(

•Session عملیات گراف را درDevice هایی همچونCPU وGPU براي پردازش قرار و شرایط اجرا را فراهم میکند.


https://www.tensorflow.org

TensorFlowگوشه اي از اجرا در

import tensorflow as tf

matrix1 = tf.constant([[3.0,3.0]])

matrix2 = tf.constant([[2.0,2.0]])

product = tf.matmul(matrix1,matrix2)

sess = tf.Session()

result = sess.run(product)

print(result)

sess.close()


matrix1 matrix2

product



34

یمتحلیل عظ

رورویکرد هاي تحلیل در کالن داده و چالش هاي پیش


:به قضیه می توان نگاه کردچند جنبه تقریبا از • چالش مدیریت کردن پردازش

چالش نوع شیوه الگوریتم بررسی و محاسبات

شبکهچالش بحث تنظیم وزن هاي پارامترهاي

...

10X reduction in training time34% lower error rate

https://databricks.com/blog/2016/01/25/deep-learning-with-apache-spark-and-tensorflow.html

ن دادهتحلیل با رویکرد یادگیري ژرف بر بستر کالتهرانشریف، صنعتی دانشگاه


dataset@: تلگرام [email protected]: ایـمـیـل

محمد خالوئی1395آذر

باتشکر از توجهتان

»سوره انشراح) 6(إن� مع العسر يسرا ) 5(فإن� مع العسر يسرا «| اگر سنگی پیشرو نباشد هیچگاه صدای دلنشین آب را نخواهی شنید

Data & Analytics

تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده