بهبود سازوکار مقیاسپذیری در هادوپ

1392اسفند 38/

بهبود سازوکار مقیاس پذیری در هادوپ

پژوهشگر‌:‌معصومه‌رضائی‌جم

خانلی استاد‌راهنما‌:‌سرکار‌خانم‌دکتر‌لیلی‌محمد

کاظم‌اکبری استاد‌مشاور‌:‌جناب‌آقای‌دکتر‌محمد

1392اسفند

به نام خداوند بخشنده ی مهربان

دانشکده مهندسی برق و کامپیوتر

گروه مهندسی کامپیوتر

پایان نامه دوره کارشناسی ارشد

1392اسفند 38/

بهبود مقیاس پذیری در هادوپ

فهرست مطالب

1

2

3

مقدمه

4

کارهای مرتبط

شرح مسئله

روش پیشنهادی

5 نتیجهگیری و پیشنهادات آینده

2

1392اسفند 38/


تعریف هادوپ

از جمله ویژگی های سکوی هادوپ•قابلیت دسترسی –قدرتمندی و قابلیت اطمینان –مقیاس پذیری بسیار باال–سادگی–

چارچوبی متن باز برای اجرایبرنامه های کاربردی

پردازش داده های توزیع شده با حجمباال

الیه :3شامل کاهش الیه پردازش یا نگاشت

(MapReduce)( الیه مدیریت منبعYARN)شده فایل توزیع سازی یا سیستم ذخیره الیه

(HDFS)

مقدمه

شرح مسئله



نتیجهگیری و

پیشنهاد

3

masoumeh

Scalability – Clusters of 10000 nodes and 200,000 cores

1392اسفند 38/


شرکتهای استفادهکننده از هادوپ

4

1392اسفند 38/



1

2

3

مقدمه

4


شرح مسئله



5

1392اسفند 38/


ابعاد مقیاس پذیری

ابعاد‌مقیاس‌پذیری

داده

منابع

پردازش

مقدمه

شرح مسئله




پیشنهاد

6

1392اسفند 38/


ظرفیت هدررفته در اثر ظرفیت ثابت

زمان

ظرفیت

ظرفیت هدر رفته

ظرفیت ثابت

نیاز واقعی

مقدمه

شرح مسئله




پیشنهاد

7

1392اسفند 38/


اهمیت موضوع

رایانشابری و اهداف و ویژگیهای اصلی آن

افزایش حجم داده و نیاز به

پردازش آن

نگاشتکاهش و هادوپ موفقترین

لزوم مقیاسپذیری هادوپ

8

1392اسفند 38/


اهمیت موضوع )ادامه(

اضافه و کمکردن پیرو به صورت دستی

تاخیر باالو

نیاز به دخالت در انسان

اجرا، مجموع

ه ایستا و ثابت

گره

بال استفاده ماندن

پویایی و انعطاف

ابر

مشکل‌هادوپ

9

1392اسفند 38/


مقیاس پذیری

خودکار

اهداف

حداقلکردن دخالت

انسان

تعریف

سازی بهینهمنابع بکار

رفته

برای تطبیق با تقاضای

غیر منتظره

تخصیص خودکار منبع

براساس شرایط بدون

مداخله انسان

مقدمه

شرح مسئله




پیشنهاد

راه حل

10

1392اسفند 38/


هدف

ارتقا توانایی هادوپ برای تطبیق با بار اضافی و یا بهره وری کم منبع در طول

اجرای کار و بصورت »خودکار«.

11

1392اسفند 38/



1

2

3

شرح مسئله

مقدمه


روش پیشنهادی4


12

1392اسفند 38/


جمع بندی کارهای مرتبط

موضوع مقالهسال ارائه

معیار مستخرج از مقاله

هادوپ قابل ارتجاع 2010آستانه میانگین ریاضی بار گذشته و بهرهوری گذشته- انهدام

گره-مدت زمان نقضالگوی تکراری و

پنجره معلق2010 میانگین بازه گذشته بعنوان مقدار پیشبینی

حداقل تعداد گره 2012 لزوم استفاده از بار عالوه بر بهرهوری

فرمول و گراف 2011 افزودن بیش از یک گره- بازه زمانی سکون

تغییر مکان داده ها 2012 آستانه میانگین بهرهوری پردازنده

مدیر منبع عمومی و محلی

2012شناسایی گلوگاه منبع بصورت پویا و استفاده از میانگین مصرف

برای تخصیص بعدی

زیرمجموعه پوشا 2010 صف کارها - بهبود انرژی با گرههای غیرفعال

تقسیم بندی کارهای ورودی

2012 بهبود انرژی با گرههای غیرفعال13

1392اسفند 38/



1

2

3

شرح مسئله

مقدمه




14

1392اسفند 38/



مقدمه

شرح مسئله




پیشنهاد

15

1392اسفند 38/


معماری سازوکار پیشنهادی

سازوکار پیشنهادی

هادوپ )نگاشت کاهش + سیستم فایل توزیع شده(

مدیر منبع خوشه هادوپ

nگره 2گره …1گره

زیرساخت

مقدمه

شرح مسئله




پیشنهاد

16

1392اسفند 38/


روند اجرای روش پیشنهادیاندازه‌گیری‌وضعیت‌یا‌

عملکرد‌منابع‌موردنظر

مقایسه‌مقادیر‌اندازه‌گیری‌شده‌با‌آستانه‌های‌

ظرفیت

پیشبینی‌بارکاری‌آینده

تبدیل‌پیش‌بینی‌های‌بارکاری‌به‌نیازمندی‌ها

نگاشت‌نیازمندی‌ها‌بر‌

منابع

مقدمه

شرح مسئله




پیشنهاد

17

1392اسفند 38/

18

1392اسفند 38/

بهبود مقیاس پذیری در هادوپ 19

1392اسفند 38/


1392اسفند 38/


1392اسفند 38/


1392اسفند 38/


ارزیابی و نتایج آن

مقدمه

شرح مسئله




پیشنهاد

23

1392اسفند 38/


معیارهای ارزیابی

پارامترهای مدنظر برای ارزیابی

زمان اتمام کار•بهرهوری پردازنده•

تعداد کارهای منتظر در •صف

تعداد گرههای فعال در •خوشه

مقدمه

شرح مسئله




پیشنهاد

24

1392اسفند 38/


شرایط هر پیرو

ا هسته پردازنده• گیگا بایت حافظه اصلی2• گیگا بایت دیسک8•2نصب هادوپ نسخه •بر روی تمامی پیرو ها RRDtool 1.4.xنصب پایگاه داده •

مقدمه

شرح مسئله




پیشنهاد

25

1392اسفند 38/


حاالت و شرایط ارزیابی

ساعت 1اندازهگیری وضعیت خوشه هادوپ در •مستمر

، بصورت pi کار نگاشت کاهش محاسبه عدد 15ارجاع • دقیقه15موازی پس از سپریشدن

کار دیگر با همان 15پس از اتمام این کارها، ارجاع •شرایط

حاالت ارزیابی• گره ثابت2 گره پیرو : 2با – گره ثابت4 گره پیرو : 4با – گره خودکار2 گره : 4 گره و افزایش تا 2 گره و کاهش تا 2شروع با – گره خودکار4 گره : 4 گره و افزایش تا 2 گره و کاهش تا 4شروع با –

مقدمه

شرح مسئله




پیشنهاد

26

1392اسفند 38/


تعداد گرههای فعال در خوشه

1 421 841 1261168121012521294133610

0.51

1.52

2.53

3.54

4.5

گره ای خودکار 2گره ای ثابت2 گره ای خودکار4 گره ای ثابت4

زمان‌از‌شروع‌ارزیابی‌)ثانیه(

لعافی‌هاهر‌گاددتع

مقدمه

شرح مسئله




پیشنهاد

27

1392اسفند 38/


میانگین زمان اتمام کار

0

50000

100000

150000

200000

250000

گره ثابت 2

گره خودکار2

گره خودکار4

گره ثابت4

حاالت‌مختلف‌ارزیابی

ه(نیثای‌یلم(‌ار‌کممااتن‌ماز

مقدمه

شرح مسئله




پیشنهاد

28

1392اسفند 38/


میانگین تعداد کارهای منتظر در صف

0

1

2

3

4

5

6

7

8

6.88

4.12

3.2

2.48

دو گره ای ثابتدو گره ای خودکارگره ای خودکار4 گره ای ثابت4

حاالت‌ارزیابی‌

ر‌‌درظنتمی‌هاار‌کاددتعن‌گیانمی

فص

مقدمه

شرح مسئله




پیشنهاد

29

1392اسفند 38/


میانگین بهرهوری پردازنده کل خوشه

0

5

10

15

20

25

30

35

40

45

50

گره ای ثابت 2گره ای خودکار2 گره ای خودکار4 گره ای ثابت4

‌حاالت‌مختلف‌ارزیابی

ی‌ورهره‌بهدشل‌مار‌نصد

درهشوخل‌‌کهندازردپ

مقدمه

شرح مسئله




پیشنهاد

30

1392اسفند 38/



1

2

3

شرح مسئله

مقدمه




31

1392اسفند 38/


مقایسه حاالت ارزیابی برحسب درصد

مقایسه

بهرهوری

پردازنده

زمان تکمیل

کار

تعداد کارهای

منتظر

تعداد گرههای

فعال

گره ثابت 2 گره 2و

خودکار7.70- 28.84

+40.11

+ 11.63-


خودکار7.61- 33.08

+53.48

+ 6.17-


خودکار

78.83+ 17.97- 39.8- 73.42

+ گره ثابت 4

گره 4و خودکار

78.85+ 12.78- 22.5- 77.72

+

مقدمه

شرح مسئله




پیشنهاد

32

1392اسفند 38/


جمعبندی

نتیجهراهحلمشکل

بهرهوری کم منبع در اثر تعداد گره ثابت

مقیاسپذیری خودکار با سازوکار پیشنهادی

بهبود بهرهوری پردازنده:

79-78 درصد

بهبود تعداد گره های

-77فعال: درصد 73

افزایش زمان اتمام

-17کار: درصد12

افزایش تعداد

کارهای منتظر:

39-22 درصد

نوشتن ابزاری برای نظارت

بر خوشه هادوپ

بارکاری اخیر و کارهای

منتظر برای پیشبینی

عدم تطبیق با افزایش

نیاز و غیرمنتظره

نیاز به دخالت

انسان و توقف اجرای خوشه

بهبود مصرف انرژی و بهبود

بهرهوری خوشه

33

1392اسفند 38/


پیشنهادات آیندهبwه • نیwاز و پwردازش و داده بwه مقیاسپذیری دسwتهبندی

حافظه و پردازندهاضwافه و کمکwردن بیش از یwک گwره از خوشwه درصwورت •

ورود و خروج پشت سر هم کارهااضwافهکردن معیار هwایی دیگwر از جملwه سwاعات و روزهwای •

هفتwه، اسwتفاده از پهنwای بانwد شwبکه ، مwیزان اسwتفاده از حافظwه و مwیزان مصwرف دیسwک از نظwارت بwه معیار هwای

مقیاس پذیریحذف گرهها با در نظر گرفتن پرداخت ساعتی هزینه •برنامهنویسwیکاربردی • واسwط های از OpenStackاسwتفاده

در مجwازی ماشwین های سwاخت جwای بwرای VMWareبwه راهانwدازی خوشwه و اضwافه و کمکwردن گwره بwه صwورت

خودکار

مقدمه

شرح مسئله




پیشنهاد

34

1392اسفند 38/


مقاله مستخرج از پایان نامه

• Jam, M.R. ; Khanli, L.M. ; Akbari, M.K. ; Hormozi, E. ; Javan, M.S, Survey on Improved AutoScaling in Hadoop into Cloud Environments, Information and Knowledge Technology (IKT), 2013 5th Conference on, Page(s):19 – 23, Shiraz, 28-30 May 2013 (Serial No: 978-1-4673-6489-8).

35

1392اسفند 38/


مراجع• Riteau, P., K. Keahey, and C. Morin. Bringing Elastic MapReduce to Scientific Clouds. in 3rd

Annual Workshop on Cloud Computing and Its Applications: Poster Session. 2011.• Sharma, B., et al., Mrorchestrator: A fine-grained resource orchestration framework for

hadoop mapreduce. 2012, Technical Report CSE-12-001, Pennsylvania State University.• Asadullah, A.M., et al. A data-centric heuristic for Hadoop provisioning in the cloud. in

Proceedings of the 6th ACM India Computing Convention. 2013. ACM.• Vavilapalli, V.K., et al. Apache hadoop yarn: Yet another resource negotiator. in Proceedings

of the 4th annual Symposium on Cloud Computing. 2013. ACM.• Sarma, J.S. Industry’s First Auto-Scaling Hadoop Clusters. June 2012; Available from:

http://www.qubole.com/blog/index.php/first-auto-scaling-hadoop-hive-clusters.• Elastic Hadoop on OpenStack. Dec 5, 2013; Project Savanna: Operational agility &

deployment flexibility across public and private clouds for Hadoop]. Available from: http://hortonworks.com/labs/openstack/.

• Elmeleegy, K., Piranha: Optimizing short jobs in hadoop. Proceedings of the VLDB Endowment, 2013. 6(11): p. 985-996.

36

http://www.qubole.com/blog/index.php/first-auto-scaling-hadoop-hive-clusters

http://hortonworks.com/labs/openstack/

http://hortonworks.com/labs/openstack/

1392اسفند 38/


مراجع )ادامه( • T. Römer, "Autoscaling Hadoop Clusters," MSc thesis, University of Tartu, 2010.• J. Leverich, C. Kozyrakis, “On the energy (in)efficiency of hadoop clusters,” In HotPower,

2010. • D. Warneke, O. Kao, “Exploiting dynamic resource allocation for efficient parallel data

processing in the Cloud,” Parallel and Distributed Systems, IEEE Transactions on 22 (6) (2011) 985 –997, 2011.

• N. Maheshwari, R. Nanduri, V. Varma, “Dynamic energy efficient data placement and cluster reconfiguration algorithm for MapReduce framework,” Future Generation Computer Systems, vol. 28, no. 1, pp. 119–127, 2012.

• Y. Chen, S. Alspaugh, D. Borthakur, R. Katz, “Energy Efficiency for Large-Scale MapReduce Workloads with Significant Interactive Analysis,” Proceedings of the 7th ACM european conference on Computer System, pp. 43-56, 2012.

• R. Kaushik, M. Bhandarkar, K. Nahrsted, “Evaluation and Analysis of GreenHDFS: A Self-Adaptive, Energy-Conserving Variant of the Hadoop Distributed File System,” IEEE, 2012.

37

1392اسفند 38/


با تشکر از توجه شما

38

Documents

بهبود سازوکار مقیاسپذیری در هادوپ