مرجع هدوپ ایران{آشنایی با هدوپ(شرکت مهندسی نرم افزار ایده پردازان فرافکر)

. . . . . .www hadoop ir www farafekr co hello@hadoop ir info@farafekr co

INTRODUCTION TO HADOOP

WHO AM Iمبین رنجبر

کارشناس ارشد مهندسی نرم افزار●رئیس هیئت مدیره شرکت مهندسی نرم افزار ایده پردازان فرافکر

مؤسس مرجع هدوپ ایران و MapR مدرک رسمی در حوزه کلن داده از شرکت های 2دارای

MongoDB Inc.Cloudera مشارکت کننده پروژه های Hue و Apache

Hadoop

در موضوع هدوپStackOverfowکاربر برتر سایت

زمان بندیآشنایی با کلن داده●معرفی هدوپ●طبقه بندی داده های کلن●هدوپ چیست●فایل سیستم توزیع شده هدوپ●MapReduceمدل برنامه نویسی ●پرسش و پاسخ●

کلن داده چیست؟

چالش های جدید=

راه حل های جدید

به داده هایی گفته می شود که مدیریت و پردازش آن ها خارج از توانایی راه حل ها و سیستم های موجود است.

ثانیه۶۰فضای مجازی در

رشد داده ها

2013 2015

Unstructured Data

88%

300 Exabytes

80 Exabytes

Structured Data

12%

Dat

abas

eAp

plic

aton

Backup & Archive

Backup

StorageOptons

کلن داده چیست؟

بسیاری از افراد زمانی که این واژه را می شنوند به یاد می افتند.حجم زیادهمان و یا وسعت زیاد

ضوع حجم مطرح نیست. موفقطدر داده های کلن

اصلی فرعی

حجمسرعتتنوعدرستیارزش

طبقه بندی داده های کلن

هدوپ چیست؟

هدوپ یک فریم ورک یا مجموعه ای از نرم افزارها و کتابخانه هایی است از داده های توزیع شده را فراهم کار پردازش حجم عظیمی که ساز و

را می توان به یک سیستم عامل تشبیه کرد Hadoopمیکند. در واقع که طراحی شده تا بتواند حجم زیادی از داده ها را بر روی ماشین های مختلف پردازش و مدیریت کند. هدوپ نیازمند کامپیوترهای گران قیمت مورد معمول و ارزان کامپیوترهای از استفاده ا ب توان ی م و ت نیس

استفاده قرار گیرد.

هدوپ چیست؟

چاقوی سوئیسی قرن بیست و یکم

Big Data != Hadoop

Hadoop != Database

Hadoop != A software

HDFSفایل سیستم توزیع شده هدوپ یا

HDFS ی فصصراداده و داده های بصصصرنامه ها را بصصصه صصصورت جداگانه ذخیره مثل م دیگر های ل فصصای سصصصیستم همانند PVFS کصصند. ، Lustre و GFS ،

HDFS فصصراداده را بصصصر روی یصصک سصصرور اختصاصی بصصصه نصصام NameNode ی کصصند. داده های بصصصرنامه ها نصصیز بصصصر روی سصصرور های دیگر بصصصه نصصام ذخیره م

DataNodes طریق از هم بصصصا سصصصروری ن ای ی تصصصمام شصصوند. مصصی ذخیره بتنی بصصصر بصصصا هم در ارتباط هستند TCP پصصروتکل های م

HDFSفایل سیستم توزیع شده هدوپ یا

فایل ورودی

MapReduceمدل برنامه نویسی

MapReduce بصصصرنامه نصصویسی بصصصرای تصصصحلیل داده های کصصلن بصصصه دل یصصک می بصصصاشد. وازی م اشین های شصصبکه بصصصه صصصورت م صصصورت تصصوزیع شصصده بصصصر روی م

این ارائه شد2۰۰۴مدل توسط گوگل در سال

تشکیل شده است.Reduce و Map تابع اصلی 2این مدل از

MapReduce => Map() , Reduce()

نگاه دقیق تر با یک مثال

هدوپ فقط یک نرم افزار نیست...

با سپاس از توجه شما

سوال؟