Embed Size (px)
Citation preview
(3)اده تحلیل با رویکرد یادگیری ژرف بر بستر کالن ددانشگاه صنعتی شریف، تهران
1ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست
[email protected] محسن فیاض1395دی 22
فیاضمحسن
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
2
مروری
هبر مباحث گذشت
شبکه کانولوشنشبکه متصل محلیشبکه تمام متصل
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
3
آموزش یشبکه های عصب
آموزش شبکهوزن های اولیه
پیش بینی اولیه
اختالف با هدف
آموزش
4ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
آموزش شبکه
گرادیان نزولی•
5ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن
آموزش شبکه
گرادیان نزولی•
6ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن
آموزش شبکه
گرادیان نزولی•
7ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن
آموزش شبکه
گرادیان نزولی•
8ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
آموزش شبکه
انتشار رو به عقب•
9ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
آموزش شبکه
انتشار رو به عقب•
10ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
آموزش شبکهانتشار رو به عقب•
11ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
گرادیانمحوشدگی
فعالسازتابع های •Sigmoid
oگرادیانمحوشدگیoغیر صفر بودن میانگین خروجی
12ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
1( )
1 tS t
e
𝜕𝑆(𝑡)
𝜕𝑥= 𝑆(𝑡)(1 − 𝑆 𝑡 )
گرادیانمحوشدگی
فعالسازتابع های •Tanh
o محوشدگیدارای مشکلoرفع مشکل میانگین غیر صفر
13ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
tanh x = 2𝑆 2𝑥 − 1S(x) = Sigmoid(x)
𝜕tanh(𝑥)
𝜕𝑥= 1 − 𝑡𝑎𝑛ℎ2(𝑥)
گرادیانمحوشدگی
فعالسازهایتابع•
•ReLU
گرادیانهمگراییسرعتافزایش•
سادهریاضیعملیات•
احیاقابلغیرمرگ:مشکل•
14ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
( ) max(0, )f x x
𝑥 > 0,𝜕𝑓(𝑥)
𝜕𝑥= 1
𝑥 = 0,𝜕𝑓(𝑥)
𝜕𝑥= 0
𝑥 < 0,𝜕𝑓(𝑥)
𝜕𝑥= 0
برابر با صفر در نظر گرفته می شودReLUمشتق x=0برای *
مفاهیم الیه ها در شبکه های ژرف
15ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بستفیاضمحسن
مفاهیم الیه ها در شبکه های ژرف
16ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
مفاهیم الیه ها در شبکه های ژرف
GMP
Fully Convolutional VGG + GMP
17ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
18
مختلفانواع
یعصبشبکه های
انواع مختلف شبکه های عصبی
شبکه عصبی تمام متصل•
مناسب برای تغییر فضای بازنمایی
مناسب برای دسته بندی
19ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
انواع مختلف شبکه های عصبی
شبکه عصبی کانولوشن•
مناسب برای پردازش تصویر
استفاده در پردازش متن و صوت
20ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
انواع مختلف شبکه های عصبی
شبکه عصبی بازگشتی•
مناسب برای دادگان با طول متغیر
پردازش متن
پردازش صوت
RNN [2] LSTM [2]
21ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
انواع مختلف شبکه های عصبی
خودرمزکننده ها•
یادگیری ویژگی ها به صورت بدون نظارت
استفاده در تمامی زمینه ها
22ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
23
بررسی کارهای
State of the Art
آموزش با نظارت ضعیف
هاCNNیادگیری با نظارت ضعیف با استفاده از
•Multiple Labeling
•Weakly Localization
امکان استفاده از دادگان موجود در اینترنت•
Is object localization for free? - Weakly-supervised learning with convolutional neural networks,Oquab et. al., CVPR 2015
24ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
آموزش بدون نظارت
پیش بینی بازنمایی های تصویری از ویدیوهای بدون برچسب
آموزش بر روی حجم عظیم ویدیوهای بدون برچسب موجود بر روی اینترنت•
آموزش دسته بندها بر روی خروجی سامانه بدون نظارت•
Anticipating Visual Representations From Unlabeled Video, Vondrick et. al., CVPR 2016
25ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
Distributed Training:
From Karpathy’s slides
آموزش توزیع شده
26ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
آموزش توزیع شده
27ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
[Large Scale Distributed Deep Networks, Jeff Dean et al., 2013]
توزیع دادگان توزیع شبکه
منابع
• [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation-algorithm-explained-abf4609d4f9d#.g0n7r1ain, 1/10/2017
• [2] http://colah.github.io/posts/2015-08-Understanding-LSTMs/, 1/10/2017
28ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
(3)اده تحلیل با رویکرد یادگیری ژرف بر بستر کالن دکارگروه کالن داده؛ دانشگاه صنعتی شریف، تهران
با تشکر
29ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست
[email protected] محسن فیاض1395دی 22
فیاضمحسن
