داده کاوی فصل 13 کتاب نقشه راه هوش تجاری

داده کاوی

کتاب نقشه راه 13فصل هوش تجاری

ارائه دهنده: محمد رضا هراتی نیک 88131081

استاد درس: جناب آقای دکتر احمد عبدالله زاده

دانشگاه صنعتی امیرکبیر

دانشکده مهندسی کامپیوتر و فناوری اطالعات

فهرستمعرفی داده کاوی از ابعاد•

جایگاه– موارد قابل مالحظه– هدف– تعریف –

تفاوت داده کاوی با تحلیل های آماری•اهمیت داده کاوی و منابع داده ای مرتبط با آن•تکنیک های های داده کاوی•عملیات داده کاوی•برنامه های کاربردی داده کاوی•فعالیت ها و گام های داده کاوی•ریسک عدم انجام داده کاوی•

کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطالعات دانشگاه 13در س هوش تجاری – داده کاوی: فصل صنعتی امیرکبیر - محمد رضا هراتی نیک

جایگاه داده کاوی در گانه راه 16مراحل

اندازی هوش تجاری


: داده کاوی13گام

موارد قابل مالحظه در سواالت مرتبط با بازار•ارتباط با داده کاوی

آیا یک طبقه بندی کلی بر روی مشتریان وجود دارد؟–رفتKاری – الگوهKای بKا مشKتریان از هKایی مجموعKه زیKر آیKا

مKورد توانKد می هدفمنKد هKای شKود؟پیKام می پیKدا مشKابه استفاده قرار بگیرد؟

آیKا شKناخت مناسKبی از گKروه بهKترین مشKتریانمان داریم؟ آیKا –الگKویی وجKود دارد کKه بتKوان بKا آن ارزیKابی نمKود کKه بKه چKه

میزان این گروه محصول جدید ما را خریداری می نمایند؟آیKا می دانیم چگونKه می بایسKت مشKتریانمان را نگKه داریم؟ –

آیKا تخمیKنی از مشKتریانی کKه در آینKده نزدیKک مKا را تKرک می نمایند، داریم؟

چه مشKتریانی تمایKل بیشKتری بKه خریKد محصKوالت جدیKد مKا را –دارند؟

آیا مشتریانی داریم که برای ما هزینه داشته باشند؟–بKه کشKف و بررسKی – نیKاز بKه رفتارهKای متقلبانKه ای کKه آیKا

دارند، اهمیت می دهیم؟


موارد قابل مالحظه در داده•ارتباط با داده کاوی

آیا داده های ما به اندازه کافی برای داده کاوی تمیز –هستند؟

آیا داده ها به درستی می تواند مورد استفاده و تفسیر –قرار بگیرد؟

آیا داده ها برای داده کاوی به صورت مناسب کد و –ساختاربندی شده اند؟

ابزار داده کاوی•چه گونه ای از ابزارهای داده کاوی برای سازمان ما مفید –

است؟چه مولفه هایی را باید در انتخاب ابزارهای داده کاوی باید –

در نظر گرفت؟چگونگی برگشت سرمایه مربوط به عملیات داده کاوی و –

ابزار آن مشخص است؟نیروی انسانی•

آیا تحلیل کنندگانی که مهارت تفسیر خروجی های داده –کاوی را داشته باشند، داریم آیا مدیران پایگاه داده ما

مهارت کار با پایگاه داده داده کاوی را دارند؟ یا باید این نیروها را استخدام کنیم؟ تمام وقت یا پاره وقت؟


هدف از داده کاویمقدار زیاد داده در پایگاه های داده های عملیاتی •

دانش پر اهمیت پنهان–الگوهای ارزشمند–

داده کاوی سبب می شود تا مدیران کسب و کار •بتوانند:

منفعت بیشتری کسب نمایند–هزینه ها را کاهش دهند–راهبردهای خالقانه در ارتباط با محصوالت ارائه دهند–سهم خود را در بازار افزایش دهند–


تعریف داده کاویداده کاوی یک محصول استانداردی نیست که یکباره •

خریداری شود.داده کاوی نیازمند استفاده از ابزار مناسب و بکارگیری•

هوش مصنوعی–شناسایی الگو–پایگاه داده –آمار سنتی–ماژول های گرافیکی–

تعریف داده کاوی•یک تحلیل برای کشف اطالعات و دانش نهفته در میان –

مقدار زیادی داده


نمایش الگوها وارتباطات نهفته بین داده های سازمان

تفاوت داده کاوی با تحلیل های آماری


تفاوت داده کاوی با تحلیل های سنتی آماری، یکی از •موضوعات مهم برای شروع داده کاوی می باشد:

داده کاوی تحلیل های آماری

داده کاوی نیاز به فرضیه ندارد. آمKارگران کKار خKود را بKا فرضKیه شKروع می کنند.

مثKال: کKار بKا اینKترنت بیش از سKه سKاعت در روز سKبب بKروز اختالل هKای روانی در انسKان

می شود.

الگKوریتم هKای داده کKاوی بKه صKورت اتوماتیKک معادالت را کشف می نمایند.

اسKKKاس بKKKر بایسKKKت می آمKKKارگران فرضیاتشان، معادله تشکیل دهند.

داده کKاوی از فKرمت هKای گونKاگونی عالوه بKر فKرمت عKددی ماننKد متن، صKدا و ... اسKتفاده

می کند.

تحلیKل هKای آمKاری فقKط از داده هKای عKددی استفاده می کنند.

تفسKیر خKروجی هKای داده کKاوی کKار آسKانی نیسKت. آمKارگران نKیز می بایسKت در تفسKیر خKروجی هKای داده کKاوی شKرکت کننKد و در ارائKه نتKایج بKه بKه مKدیران و فعKالین کسKب و

کار کمک نمایند.

آمKارگران نتKایج خKود را تفسKیر و بKه مKدیران و فعالین کسب و کار ارائه می دهند.

مقایسه روش های سنتی آماری با داده

1کاوی –مثال موضوع کشف الگوهای تقلب در شرکت بیمه•

تکنیک های تحلیلی گذشته•تعریف الگوهای رفتاری متقلبانه بر اساس دانشو اطالعات –

بدست آمدهپرس و جو در داده ها و ارزیابی آن–تعیین درستی الگوهای ارائه شده–

داده کاوی•شناسایی الگوهای غیر طبیعی که فاصله زیادی با رفتار –

نرمال دارندبررسی میزان تقلبانه بودن الگوهای کشف شده–


مقایسه روش های سنتی آماری با داده

2کاوی –مثال موضوع تجزیه و تحلیل حوزه های بازار•

تکنیک های تحلیلی گذشته•صورت مسئله: مطالعه رفتارهای خرید گروه های از پیش –

مشخص شده مشتریان در راستای هدفمند کردن برنامه های بازاریابی

بکارگیری ویژگی های شناخته شده هر کدام از گروه ها و –منظم کردن آنها

مطالعه بر روی رفتارهای خرید معمول هر گروه –تکرار مراحل باال تا بدست آوردن یک گروه بندی مطلوب از

مشتریانداده کاوی•

خوشه بندی مشتریان و مطالعه هر خوشه–استخراج ویژگی های هر خوشه –

توانایی کمک گرفتن از پرس و جو ها و گزارش گیری های مختلف و ابزارهای تحلیل چند بعدی


اهمیت داده کاویداده کKاوی در پاسKخ سKواالتی کمKک می کنKد کKه تصKمیم •

گیرندگاناز طرح آن عاجز هستند.

پاسخ سواالت مهم راهبردی در مورد کسب و کار سازمانمسائل و موضوعات چند بعدی که تحلیل آن ها بسیار •

سخت و با روش های قدیمی امکان حل آنها وجود ندارد.

در نتیجه یکی از مولفه های حیاتی در هوش تجاری: •داده کاوی


داده کاوی

منابع داده ای برای داده داده هایی که در داده کاوی مورد استفاده قرار می •کاوی

گیرند:


DWDB داده های ارزشمند و تجمیع شده داخلی

داده های خارجی مانند قوانین و مسائل جمعیتی -جغرافیایی

DM

لزوم ایجاد پایگاه داده برای عملیات داده کاوی DW و DBچرا به طور مستقیم از داده کاوی

استفاده نمی کنیم:در بعضی کاربرد ها می بایست ساختار و فرمت داده ها –

تغییر کند.بازده و کارایی پایگاه داده و پایگاه داده تحلیلی پایین نیاید.–نیاز به اطالعات جزئی تاریخی که در نوارهای آرشیو موجود –

است.نیاز به ترکیب اطالعات موجود در پایگاه داده و پایگاه داده –

تحلیلی می باشد. مانند الگوی رفتاری مشتریدر نیتجه•


DM

ETL

تکنیک های داده کاوی(Associations Discoveryکشف وابستگی )•

درصد صابون هم 96اگر فردی شامپو بخرد با احتمال –خریداری می کند.

پارامترهای میزان وابستگی–•Support•Confidence

طبقه بندی•دسته ها از قبل مشخص هستند.–ارائه مدلی برای تعیین گروه و دسته داده های جدید –ساخت مدل بر اساس داده های موجود و ارزیابی آن با –

داده های تستخروجی به صورت یک مدل مانند درخت تصمیم، شبکه –

عصبی، قانون بیز و ... کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطالعات دانشگاه 13در س هوش تجاری – داده کاوی: فصل

صنعتی امیرکبیر - محمد رضا هراتی نیک

تکنیک های داده کاوی - (Clusteringخوشه بندی )•ادامه

دسته بندی داده ها–دسته بندی از قبل تعریف نشده است.–بر اساس شباهت میان اعضای یک دسته و تفاوت با بقیه –

دسته هاپارامتری که بیان کننده خوبی خوشه بندی است:–

•Silhouette

پیش بینی•رگرسیون–

با دانستن مقادیر قبلی داده، مقادیر آن را در آینده پیش •مثال: پیش بینی فروش تابستان بر اساس فروش بینی کنیم.

های قبلیکشف روند زمانی–

فرقش با رگرسیون : فقط مربوط به داده های زمانی. •نرخ تصادفات در فصولمثال:


عملیات های داده کاویمدل های پیش بینی و طبقه بندی•

برای پیش بینی و جواب به یک سوال مشخص–مثال: تحلیلگر بانک برای جواب به این سوال که چه •

مشتریانی بانک را ترک می کنند، یک مدل طبقه با دو مقدار خوب و بد طراحی می کند.

به دنبال وابستگی ها، الگوها، روندها و حقایقی برای تصمیم –گیری

تحلیل ارتباط•ترکیب الگوریتم های محاسباتی و تکنیک های نمایشی برای –

ارائه ارتباطات میان موجودیت های داده ای در پایگاه دادهتکینک های مورد استفاده: کشف وابستگی، کشف روند –

زمانیبرای مثال: چه اجناسی با هم خریداری می شود.–

قطعه بندی پایگاه داده•گروه بندی داده های همگون با یکدیگر با استفاده از خوشه –

بندیبه عنوان ورودی برای دیگر تکنیک های داده کاوی•


عملیات های داده کاویکشف انحراف•

کشف داده هایی که خارج از روند معمول و مورد انتظار –هستند.

کاربرد: کشف تقلب، کشف کاهش ناگهانی فروش و یا –تعداد مشتریان


برنامه های کاربردی مدیریت بازار•داده کاوی

فروش محصوالت جدید به مشتریان موجود–مانند تبلیغات و ارسال پست الکترونیک: کاهش هزینه •

های فروشکشف مشتریانی که در حال ترک سازمان ما هستند.–

تحلیل آسیب پذیری و اتخاذ راهبرد های مناسب برای •نگه داشتن این گونه مشتریان

کشف گونه های مختلف طبیعی حوزه های بازار–قطعه بندی بازار برای ارتقا و پیشرفت در جهت •

شناخت و ارائه محصوالت جدیدگروه بندی دورنمای بازار–

طبقه بندی گروه های انتظار برای پیدا کردن راه حل •های هدفمند سازی بازار

تحلیل سبد محصول–کشف این که چه محصوالتی با هم خریداری می شوند.•


برنامه های کاربردی کشف تقلب•داده کاوی

تقلبات کارت های اعتباری–بدست آوردن الگوهای نرمال، سپس کشف داده های •

خارج از الگوتقلبات کارت های تلفن–

تعیین وضعیت های مشکوک کارت تلفن•تقلبات بیمه–

تحلیل گسترده بر روی دعوای مطرح شده از سوی •بیمه شده

مدیریت ریسک•ریسک اعتبار–

اعتبار سنجی برای دادن وام به مشتری بر اساس مدل •پیش بینی

کنترل کیفیت–پیدا کردن الگوی مشکالت کیفی خطوط تولید در جهت •

کاهش محصوالت مرجوعی


برنامه های کاربردی سرویس های مالی•داده کاوی

حفظ مشتری–حفظ مشتریان خوب برای بانک ها بسیار آسان تر از •

جذب مشتری جدید است.بازدهی سهام–

ارائه مدل های بازدهی سهام در جهت مدیریت بهینه •دارایی ها

پخش•کنترل موجودی–

ارتقای کنترل موجودی با ساخت مدل پیش بینی در •نقاط مهم برای پخش محصوالت


فعالیت ها و گامهای داده کاوی


فعالیت ها و گامهای داده خروجی فعالیت های داده کاوی•کاوی

پایگاه داده مخصوص داده کاوی–این پایگاه داده بر اساس نیازهای تحلیلی فراهم شده •

تهیه می شود.DB,DWاست و داده های آن از مدل های تحلیل داده–

مدل های تحلیلی بدست آمده و تست شده می تواند •توسط الگوریتم هایی در ابزار داده کاوی موجود اند،

مورد استفاده قرار بگیرند.افراد درگیر در فعالیت های داده کاوی•

نماینده کسب و کار: افرادی که از خروجی های داده کاوی –منفعت می برند

متخصص داد کاوی–مدیر پایگاه داده– کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطالعات دانشگاه 13در س هوش تجاری – داده کاوی: فصل متخصص حوزه فعالیت کسب و کار–

صنعتی امیرکبیر - محمد رضا هراتی نیک

ریسک عدم انجام داده عدم توجKه بKه داده هKایی کKه منKابع ذخKیره شKده انKد، سKبب •کاوی

اتالف منابع و نگه داری آنان می شود.عدم کشKف دانش هKایی در مKورد رفتKار، الگوهKا و ... در •

ارتباط با بازار، مشتریان و فعالین حوزه کسب و کاررقبا•

اگKر رقبKا بسKتر داده کKاوی را فKراهم آورنKد و بتواننKد بKه مKوارد –زیر دست پیدا کنند:

کاهش در هزینه•افزایش منفعت و سود•اتخاذ تصمیمات خالقانه•افزایش سهم بازار•


چه می شود؟از دست دادن

مشتریان و شکست کسب و کار


با تشکر

؟

Documents

داده کاوی فصل 13 کتاب نقشه راه هوش تجاری