Data )����يپايگاه داده تحليل

Warehouse)

Data )يپايگاه دادة تحليلWarehouse )

DWتوزي�ع ي و ي�ا س�اير من�ابع داده اي داده عملي�اتي از پايگ�اه ه�ا شود. ي متفاوت تهيه ميشدة سازمان ها و ارگان ها

آورد ک�ه داده ه�ا ب�ه ي ف�راهم مي بس�تر مناس�بيپايگ�اه دادة تحليلپاس�خگوي ه�ايمنظ�ور پرس�ش ب�ه تحليلي بايگ�اني ب�ه ص�ورت ي

شده، سر جمع شده و سازمان يافته، ذخيره شوند.

تحليل داده پايگ�اه ه�ايي داده ش�امل ب�راي ک�ه اس�ت انج�ام ي

( است.DSS ها و تحليل ها مناسب )يتصميم گير

)ادامه(يپايگاه دادة تحليل

تحليل داده آوريپايگ�اه جم�ع دادة مخ�زن از اس�ت عب�ارت اي ش�ده من�ابع ي از :ياطالعات

مختلف،

توزيع شده،

D ناهمگون، احتماًال

Hعد ،يتحت يک ساختار چند ب

پ�اًاليش، س�ازگار نم�ودن، همس�ان س�ازي و ي يع�نييکپارچ�ه س�از بص�ورت يکپارچ�ه: يكپارچ�ه نم�ودن داده ه�اي اس�تخراج ش�ده از من�ابع داده اي مختل�ف و احتم�اًال ن�اهمگون

مانند: يكپارچه سازي اسامي

يكپارچه سازي واحدهاي اندازه گيري متغيرها

يكپارچه سازي ساختارهاي رمز نگاري

(male و female( يا )Y و X( يا )1 و 0 ( يا )F و Mفيلد جنسيت با )

حذف ناسازگاريها و اطالعات متناقض

داده هاي يكپارچه

شده، ي پاکساز

)ادامه(يپايگاه دادة تحليل

مانند محصول، مشتري و يا ، خاصي موضوعپيرامون هسازمان يافتموضوع گرا: كاًال

سازماندهي داده ها بسته به چگونگي ارجاع كاربران

باشند.ي تصميم گيريها مناسب مي آن تحليلي بوده و برايداده ها سرجمع شده: داده هاي تحليلي مناسب براي تصميم گيريها

غير قابل تغيير:

داده هاي فقط خواندني

توسط کاربران قابل تغيير نيستند

محدوده زماني به مراتب : دردسترس بودهي مشخص طوًالنيدر محدودة زمانطوًالني ترنسبت به سيستم هاي عملياتي و وجود صريح يا ضمني عنصر زمان در هر

ساختار كليدي

روز90-60 گستره زماني محيط هاي عملياتي

سال10-5 گستره زماني يپايگاه داده تحليل

حجيم: با توجه به اينکه محدوده زماني وسيعي را پوشش مي دهند، بسيار حجيم مي باشند.

انواع داده در پايگاه داده يتحليل

داده جاريداده هاي فعلي منابع عملياتي

داده قديميداده هاي قديمي منابع اطالعاتي

داده خالصه شده فرمت فشردة اطالعات موجود شامل اطالعات نتايج

فرادادهاطالعات مربوط به داده ها ديكشنري از اطالعات پايگاه راهنمايي جهت نگاشت داده از محيط عملياتي به محيط پايگاه داده

يتحليلقوانين استفاده شده براي خالصه سازي

)ادامه(يپايگاه دادة تحليل

انجام ي دادة تحليلي و مهمترين کاربرد پايگاه هايوظيفة اصل باشد.ي( مOLAP برخط )ي تحليليپردازش ها

، انجام و ي دادة عملياتيمتناظر اين عمل در پايگاه ها ي کاربران است که پردازش هاي به تراکنش هايپاسخگوي

شود.ي ناميده مOLTP) برخط )يتراکنش

تفاوت با پايگاه داده عملياتي

پوشش دامنه زماني وسيع تر

يك پايگاه داده يكپارچه حاصل از پردازش چندين پايگاه داده عملياتي

قابليت پاسخگويي به پرسشهاي پيچيدة كاربران و برنامه هايكاربردي

حدف، ثبت و ساير عمليات يعدم وجود عمليات بروزرسان ،.يتراکنش

... و

)ادامه(يپايگاه داده تحليل

مديريت

تحليلگر

يامور اداريامور ادار

يامور ماليامور مال

امور فروش امور فروش

امور اموال امور اموال

يامور ترابريامور ترابر

يپايگاه داده تحليليکپارچه

Enterprise

Data Marts

معماري چند اليهمعماري چند اليه

پايگاه داده تحليلي

استخراج تغييرشكل

بارگذارينوسازي

OLAP

تحليل

داده كا وي

پرس وجوو

گزارش گيري

Monitor&

Integratorداده جانب

ي

منابع داده

ابزارهاي سطح باًال

سرويس

Data Marts

پايگاه هاي داده

سايرمنابع

پايگاه داده يتحليل

کاربردها

Data Warehouse Process DATA SOURCES STAGING AREA DATA WAREHOUSE DECISION SUPPORT

Application Databases

Application Databases

Packaged application/ERP

Data

Packaged application/ERP

Data

Desktop DataDesktop Data

External DataExternal Data

Web-based DataWeb-based Data

______________________________________________________

______________________________________________________

INCOME ANNUAL REPORT

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

INCOME ANNUAL REPORT

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

Reports

EIS

OLAP

Statistical & Financial Analysis

EXTRACTIONTRANSFORMING

CLEANSINGAGGREGATION

DATA WAREHOUSE

DATA MARTS

OROR

Data Warehouse Process DATA SOURCES STAGING AREA DATA WAREHOUSE DECISION SUPPORT

Application Databases

Application Databases

Packaged application/ERP

Data

Packaged application/ERP

Data

Desktop DataDesktop Data

External DataExternal Data

Web-based DataWeb-based Data

______________________________________________________

______________________________________________________

INCOME ANNUAL REPORT

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

INCOME ANNUAL REPORT

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

Reports

EIS

OLAP

Statistical & Financial Analysis

EXTRACTIONTRANSFORMING

CLEANSINGAGGREGATION

DATA WAREHOUSE

DATA MARTS

OROR

مالحظاتي كه در طراحي يك پايگاه داده تحليلي

بايد لحاظ كرد

اگ�ر بناس�ت ك�ه پايگ�اه داده تحليلي ب�ه عن�وان ي�ك انب�اره تاريخچ�ه و س�ابقه ث�ابت و �پاي�دار در� برنام�ه ه�اي �ك�ار�بردي� اس�تراتژي�ك ه�وش تج�ا�ري م�ورد

اس�تفاده� قرار �گيرد، ب�ايد خ�صوصيات ز�ير را �دارا ب�اشد: باش�د: پايگ�اه داده تحليلي باي�د منب�ع تغذي�ه پايگ�اه Enterprise focusedباي�دٍ

هاي داده خرد و و برنامه هاي كاربردي تحليلي باشد.طراحي پايگ�اه داده تحليلي باي�د در مقاب�ل تغي�يرات، ت�ا ح�د ممكن انعط�اف

پذير باشد: از آنجائيك�ه پايگ�اه داده تحليلي ب�راي ذخ�يره س�ازي داده ه�اي حجيم و مرب�وط ب�ه مح�د�وده �زم�ان�ي ط�وًالن�ي م�ور�د اس�تفا�ده ق�را�ر مي گ�ي�رد، بس�يا�ر ن�امطل�وب اس�ت D ك�ه داده از� �دا�خ�ل پ�ايگ�اه داد�ه تحلي�لي بر�داش�ته و �دوب�ار�ه �ط�راح�ي ش�و�د و� مج�ددا

در داخل ان بار گذاري شود، ب�ه منظ�ور جلوگ�يري از انج�ام اين ك�ار باي�د ب�ه فك�ر ي�ك م�دل داده اي مس�تقل از

پردازش، برنامه كاربردي و تكنولوژي هوش تجاري بود. هدف باي�د تولي�د ي�ك م�دل داده اي باش�د ك�ه بتوان�د ب�ه آس�اني خ�ود را ب�ا عناص�ر داده� اي جدي�د وف�ق �ده�د �ب�دون� ني�از ب�ه �ط�راح�ي م�ج�دد س�اخ�تار �ي�ا م�دل �داده اي

موجود.

مالحظاتي كه در طراحي يك پايگاه داده تحليلي بايد لحاظ كرد )ادامه(

بايد بگونه اي طراحي شود كه بتواند حجم وسيعي از داده را در

زمان كوتاهي در خود بارگذاري كند.بايد بگونه اي طراحي شود كه قابليت پشتيباني از هر نوع تحليل

هوش تجاري با هر نوع تكنولوژي را داشته باشد.

مالحظات ساخت پايگاه داده تحليلي

ك�ه باي�د ب�ه كم�ك ي�ك ق�ابليت ه�وش تج�اري ح�ل ابت�دا مس�أله تج�اريشود، انتخاب و مستندسازي مي شود.

( سيستم.Grainجمع آوري همه نيازمنديها در رابطه با هدف )ك�اربر توس�ط اس�تفاده م�ورد تكنول�وژي م�ورد در گ�يري تص�ميم

نهايي كه بتواند راه حل پيشنهادي را پشتيباني كند.ساخت ي�ك م�دل اولي�ه از پايگ�اه داده تحليلي خ�رد ب�ه منظ�ور تس�ت

كارايي آن و طراحي مجدد آن در صورت لزوم. س�اخت م�دل داده اي پايگ�اه داده تحليلي براس�اس نيازه�اي ك�اربر

و مدل داده اي تجاري.نگاش�ت نيازه�اي پايگ�اه داده تحليلي خ�رد ب�ر م�دل داده اي پايگ�اه

D گرفتن بازخورد از سيستم هاي اجرايي. داده تحليلي و نهايتا

مالحظات ساخت پايگاه داده تحليلي )ادامه(

و فرايندهاي ارائه داده.ETLتوليد كد براي انجام

تست پايگاه داده تحليلي خرد و اندازه گيري پارامتر هاي كيفي داده و ايجاد پايگاه داده تحليلي خرد مناسب براي محيط.

قبول سيستم و تبديل نخستين نسخه پايگاه داده تحليلي و پايگاه داده تحليلي خرد به محصول و شروع به طرح ريزي براي نسخه

بعدي.

مراحل ساخت پايگاه يداده تحليل

( آماده سازيETL)استخراج دادهپاكسازي دادهبايگاني كردن داده قبل و بعد از پاكسازي

يكپارچگي(Integrity)تطبيق داده و يكپارچگي چند منبع داده اي

تحليل سطح باالمحاسبه ديدهاي تحليلي از ديدهاي پايهايجاد پارامترهاي تحليلي

خصوصي سازياستخراج و خصوصي سازي اطالعاتخاصي ايجاد پايگاه داده تحليل

( پايگاه داده Back-Endابزار هاي سطح پايين )تحليلي

استخراج دادهداده ها را از منابع مختلف، ناهمگون و خارجي مي گيرد

پاًاليش دادهخطاها را در داده تشخيص مي دهد و در صورت امكان تصحيح مي

نمايد. تغيير شكل و تبديل داده

داده را از فرمت و قالب ميزبان به قالب مخزن تبديل مي كند.بارگذاري

مرتب سازي، خالصه سازي، سرجمع كردن، محاسبه ديدگاه ها، تست يكپارچگي، ساخت انديس ها و پارتيشن ها.

نوسازيانتشار تغييرات از منابع داده به مخزن

يكپارچه سازي داده ها

تركيب داده هاي دريافتي از منابع اطالعاتي مختلف استفاده از فرا داده ها براي شناسايي و حذف افزونگي داده ها

تشخيص و رفع برخوردهاي داده ايها از سه فاز کلي تشکيل شده است: يکپارچه سازي داده

شناسايي فيلدهاي يکسان شناسايي افزونگي هاي موجود در داده هاي ورودي

اي مشخص کردن برخورد هاي داده

معماري پايگاه داده تحليلي

:معماري يك پايگاه داده تحليلي شامل سه ًاليه مي باشدًاليه زيرين، منابع اوليه داده را تشكيل مي دهد. اين ًاليه شامل پايگاه

هاي داده رابطه اي، فايل هاي مسطح و منابع ديگر است. ًاليه مياني را خود پايگاه داده تحليلي و سرويس دهنده هاي پردازش

تحليلي پردازش تحليلي برخط تشكيل مي دهند. سرويس دهنده هايبر خط، داده چند بعدي را براي ارائه به كاربران نهايي در اختيار قرار

مي دهند. ًاليه انتهايي، سرويس گيرنده ها هستند كه با عمليات داده كاوي، پرس و جو و تحليل، داده را از سرويس دهنده هاي پردازش تحليلي بر خط

مي گيرند.

پردازش سرويس دهنده هايتحليلي بر خط

ك�ه در ًالي�ه مي�اني ب�ر خ�ط يليپ�ردازش تحلسرويس دهنده ه�اي معماري پايگاه داده تحليلي قرار دارند، سه نوع هستند:

ROLAP )پردازش تحليلي برخط رابطه اي( Relational OLAP

MOLAP )پردازش تحليلي برخط چندبعدي( Multi-dimensional OLAP

HOLAP )پردازش تحليلي برخط تركيبي( Hybrid OLAP

ROLAP

س�رويس دهنده م�ديريت ، ROLAP يك سيس�تم هاي از ي�افته اي توس�عه ن�وع از پايگاه هاي داده رابطه اي استفاده مي كند.

براس�اس ن�وع ارتب�اط ج�دول واقعيت ب�ا ج�داول ي ب�ر خ�ط رابط�ه ايليپردازش تحلبعد به اشكال مختلفي مدل مي شوند

ب�ا را بع�د ج�داول و واقعيت ج�داول دهن�ده، س�اختارهاي ش�امل اين س�رويس پياده سازي مي كند. استفاده از جداول و رابطه هاي بين انها

واق�ع عملي�ات OLAP عملي�ات ،ROLAP در ب�ه را چندبع�دي داده ه�اي روي ب�ر .نگاشت مي كند SQL و دستوراترابطه اي استاندارد

MOLAP

ب�ه MOLAPسرويس دهنده مس�تقيما را داده از بع�دي چن�د دي�دگاه .ساختارهاي آرايه اي نگاشت مي نمايد

داده يك پايگ�اه داده تحليلي چندبع�دي داده را ب�ه ش�كل ي�ك مي بيند مكعب

HOLAP

HOLAP ن�يز ROLAP و MOLAP.را بايك�ديگر ت�ركيب مي كند

ب�راي داده ه�اي مرب�وط ب�ه س�ابقه و ROLAP ب�ه عن�وان مث�ال از ك�ه �ب�ه � داده ه�اي�ي ك�ه،� ح�ال�ي در مي ش�ود�، تاريخچ�ه �اس�تف�اده

ي�ك در هس�تند، دسترس�ي م�ورد جداگان�ه MOLAPتن�اوب نگهداري مي شوند.

مزايا و معايب سرويس دهنده OLAPهاي

ت�ر :ROLAP مزاي�ا و مع�ايب ب�زرگ مناس�ب ب�راي مجموع�ه داده ه�اي هس�تند زي�را در ص�ورت وج�ود پراكن�دگي در داده، مجموع�ه داده ه�اي

پراكنده در جدول ها فشرده تر از آرايه ها ذخيره مي شوند.

: زم�اني ك�ه داده ه�ا پراكن�ده باش�ند ب�ا مش�كل MOLAPمزاي�ا و مع�ايبكمب�ود حافظ�ه روب�رو مي ش�ود. ولي در م�ورد مجموع�ه داده ه�اي كوچ�ك

بيش�تر MOLAPك�ه پراكن�دگي در انه�ا كم�تر اس�ت، س�رعت بازي�ابي در مي باش�د. از ط�رف ديگ�ر اين ن�وع س�رويس دهن�ده ه�ا ب�ه دي�دگاه ذه�ني

كاربر نزديك تر هستند.

بر خطيليپردازش تحلمدل مفهومي يرابطه ا

براساس نوع ارتباط جدول واقعيت با ي بر خط رابطه ايليپردازش تحل

جداول بعد به اشكال مختلفي مدل مي شوند.

Schema Star : در اين مدل, يك جدول واقعيت وجود دارد كه همه جداول بعد به آن متصل

وسيله اتصال همه جداول بعد و نگهدارنده ساير تيواقعمي شوند.در اين مدل, جدول

مقادير اندازه گيري است.

Schema Snow Flake)اين مدل در واقع اصالح شده مدل ستاره اي است, به : )دانه برفي

نحوي كه در آن برخي از سلسله مراتب ابعاد به مجموعه جداول بعد كوچكتر نرمال

مي شوند و شكلي شبيه دانه برف پيدا مي كنند.

Fact Constellation Schema)در اين مدل چندين جدول واقعيت )شماي منظومه اي : ،

كه در واقع به صورت چندين شبكه ستاره اي ديده گذارند اشتراك مي را بهجداول بعد

مي نامند. منظومه اي يا كهكشاني مي شوند. به همين دليل, اين مدل را مدل

مدل از Star Schemaمثالي

time_keydayday_of_the_weekmonthquarteryear

time

location_keystreetcitystate_or_provincecountry

location

Sales Fact Table

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_sales

Measures

item_keyitem_namebrandtypesupplier_type

item

branch_keybranch_namebranch_type

branch

مدل مثالي Fact Constellation از

Schema

time_keydayday_of_the_weekmonthquarteryear

time

location_keystreetcityprovince_or_statecountry

location

Sales Fact Table

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_sales

Measures

item_keyitem_namebrandtypesupplier_type

item

branch_keybranch_namebranch_type

branch

time_key

item_key

shipper_key

from_location

to_location

dollars_cost

units_shipped

shipper_keyshipper_namelocation_keyshipper_type

shipper

Shipping Fact Table

مكعب داده

مكعب يك پايگ�اه داده تحليلي برپاي�ه م�دل چندبع�دي داده اس�ت ك�ه داده را ب�ه ش�كل يك مي بيند داده

يك مكعب داده مانن�د ف�روش اج�ازه مي ده�د ك�ه داده ه�ا در ابع�اد مختل�ف م�دل ش�وند و از ديدگاه هاي مختلف مورد بررسي قرار گيرند.

مكعب ي�ك تحليلي، داده پايگاه ه�اي ادبي�ات خالص�ه در مختل�ف در س�طوح ك�ه داده . ب�ا� دا�ش�ت�ن� ي�ك �س�ر�ي �ابع�اد� مي ت�وان نامي�ده� مي �ش�ود مکعب� واره�، ي�ك �س�ازي� ش�د�ه ا�س�ت�

ي�ك �ش�بکه از� مكعب� وا�ر�ه ه�ا س�اخ�ت ك�ه ه�ر ي�ك ا�ز �آنه�ا ي�ك س�طح خ�الص�ه� س�ا�زي �از داده را نشان مي دهند.

مكعب واره اي ك�ه پ�ايين ت�رين س�طح خالص�ه س�ازي را دارد، مكعب واره پاي�ه نامي�ده واره ب�اًالت�رين� س�طح خالص�ه س�ازي �را �دارد، مكعب ك�ه اي واره و مك�عب مي ش�ود

را تش�كيل مي دهن�د مكعب �داد�هي�ك ش�بك�ه از �مكع�ب واره ه�ا ي�ك راس نامي�ده مي ش�ود.�

نمونه اي از مكعب داده مجموع ساًالنه فروش

زمانتلويزيون در آمريكا

ولص

مح

ورش

ك

مجموع

مجموع

تلويزيون

ويدئوكامپيوتر

بهار تابستان پائيز زمستان

آمريكا

كانادا

مكزيك

مجموع

خيتار

محصول

منطقه

محصول - 23 –خ يتارشکالت

نيفرورد جنوب –منطقه مقدار - فروششرق

ده است؟ين به فروش رسي فرورد23خ يچه مقدار شکالت در منطقه جنوب شرق در تار

مفهوم مکعب داده

شبكه اي از مكعب واره هاسراسر

زمان آيتم مكان شعبه

زمان, آيتم

زمان, مكان

زمان, شعبه

آيتم, مكان

آيتم, شعبه

مكان, شعبه

زمان, آيتم, مكان

زمان, آيتم, شعبه

زمان, مكان, شعبه

آيتم, مكان, شعبه

زمان, آيتم, مكان, شعبه

مكعب واره صفر بعدي )راس(

مكعب واره يك بعدي

مكعب واره دو بعدي

مكعب واره سه بعدي

مكعب واره چهار بعدي )پايه(

جدول واقعيت

واقعيت يك و كليدهاي مرتبط با هر يك از جداول شامل واقعيت ها مركزيجدول

مقياس هاي عددي هستند كه رابطه بين ابعاد با آنها بيان مي واقعيت ها، بعد است.

dollars_soldمانند شود

شمارشي، پيوسته

.پاسخ هر پرسش شامل بازيابي تعداد زيادي ركورد از جدول واقعيت است

.كليد اصلي هر جدول، تركيب كليدهاي خارجي جداول ابعاد مي باشدItem-idStore-id

Customer-idDate

Numberprice

جدول ابعاد

Dجداول ابع�اد دي�دگاه ه�ايي ك�ه ي�ك س�ازمان ب�ه ركورده�ايش دارد را نگه�داري مثالمي كنند.

item (item_name, brand, type)

time(day, week, month, quarter, year)

توصيف متني بعدهاي تجارت

پايگاه داده خوب هر بعد داراي چند ويژگيويژگيها متني و گسسته

Item-id

Itemnamecolorsizecategory

Store-id

Citystatecountry

Customer-id

Namestreetcitystatezipcodecountry

Date

Monthquarteryear

داده هاي چندبعدي

از محصول و منطقه ي، تابعيارزش جنس فروشو ماه است.

لصو

حم

قهطمن

ماه

ابعاد: محصول و مکان يرهايو زمان مس

ي افقيخالصه ساز :

Industry Region Year

Category Country Quarter

Product City Month Week

Office Day