Embed Size (px)
Citation preview
1
תפקידו של האנליסט
בחברה עסקיתאורי עייק
מחשבים. ה.י.מ
Copyright © 2011, SAS Institute Inc. All rights reserved.
2
מה במצגת
האנליסט בחברה עסקית
תהליכיData Mining בחברה עסקית
צוות פרויקטData Mining
מודל חיזוי–שלבים בתהליך
מודלים נוספים
Copyright © 2011, SAS Institute Inc. All rights reserved.
3
האנליסט בחברה עסקית
מחקר ופיתוח
ביוסטטיסטיקה, מחקרים רפואיים, הייטק•
תכנון ניסויים, איכות, בקרת תהליכים
תעשיה•
מחקרים חברתיים, מחקרי שוק
מוסדות אקדמיים, מכוני מחקר•
דיווח ובקרה, אנליזה
Data Miningתהליכי , ניהול סיכוני אשראי, כח אדם, שיווק•
כוחות הבטחון, גופים ממשלתיים, תקשורת, טלקום, ביטוח, בנקים•
Copyright © 2011, SAS Institute Inc. All rights reserved.
4
(גדולה)בחברה עסקית Data Miningתהליכי
סוגי ארגונים
תקשורת וטלקום•
בנקים וביטוח–פיננסים •
רשות , משרד הבריאות, משרד החינוך–גופים ממשלתיים •ביטוח לאומי, המיסים
משטרת ישראל, ל"צה–כוחות הביטחון •
•Retail
ארגונים בעלי בסיס לקוחות גדול
לקוחות לא מזוהים Vsלקוחות מזוהים •
עשרות אלפים ומעלה•
Copyright © 2011, SAS Institute Inc. All rights reserved.
5
Data Miningיישומי
מניעת נטישה
מניעת הונאה
סיכוני אשראי
ניתוח סל מוצרים, שדרוג והצלבת מוצרים
הענות לקמפיינים
כח אדם
סגמנטציה
כרית טקסט
Copyright © 2011, SAS Institute Inc. All rights reserved.
6
מיישמיתוצאות
Data Miningצוות פרויקט
אנליסט
אנליסט
אנליסט
Copyright © 2011, SAS Institute Inc. All rights reserved.
7
Start
Formulate
Problem
Accumulate
Data
Data
Quality
Analysis
Transform
and SelectPredictive
Modeling
Evaluate
Model
Deploy
Model
Monitor
Results
מודל חיזוי–Data Miningתהליך
Copyright © 2011, SAS Institute Inc. All rights reserved.
8
מודל חיזוי–שלבים בתהליך
הגדרת השאלה העיסקית
איסוף הנתונים
דגימת אוכלוסיה לניתוח
בניית קובץ נתונים לניתוח
בניית מודל
הערכת טיב המודל
אימפלמנטציה של מודל
קמפיינים -שימוש במודל
Copyright © 2011, SAS Institute Inc. All rights reserved.
9
הגדרת השאלה העיסקית
נטישה
רצונית מול לא רצונית–סוגי נטישה •
סיכוני אשראי
•Behavioral model vs. Application Model
?אלו שנדחו מראש כיצד נשקלל אותם למודל טוב יותר•
•Fuzzy model
•Cut off
•Parceling
C sell / U sell
מי שיקנה מוצר לעומת מי שלא יקנה•
מי שיש לו מוצר לעומת מי שאין לו מוצר•
יש כאלו שקנו ויש שהיה להם: הדיוק נפגע•
Copyright © 2011, SAS Institute Inc. All rights reserved.
10
אתגרים -איסוף הנתונים
עומק : קביעת עומק היסטוריvs נפח נתונים
נירמול והיררכיה, הצלבה: שילוב מקורות מידע
פשטות ביישום לעומת עושר במידע•
סוגי נתונים :transactions vs. snapshots
חיסרון בנגישות למידע היסטורי
עבודה שני שלבים: פתרון:
tבניית פאנל נתונים ושמירת מידע החל מזמן 1.
t + Dמידול בעתיד בזמן 2.
Copyright © 2011, SAS Institute Inc. All rights reserved.
11
דגימת אוכלוסיה לניתוח
לפחות כמה אלפים–תופעה נחקרת
קיבוץ•
חיבור נקודות זמן•
אין צורך בכל האוכלוסיה –אוכלוסיה כוללת לעומת מדגםעל מנת לבנות מודל
יחס של תופעה נחקרת במדגם
לעומת יחס אמיתי באוכלוסיה 1:1•
scoreערכי •
מדדי הצלחה•
מהמודל צריכות להיות מסוננות מסוננות אוכלוסיותמהיישום ולהפך
Copyright © 2011, SAS Institute Inc. All rights reserved.
12
בחירת שדות
טרנספורמציות וקיבוץ קטגוריות
קביעת היררכיה
קובץ למידה לעומת קובץ ניבוי
בניית קובץ נתונים לניתוח
בשלב זה אולם " רשמי"האנליסט אינו נושא בתפקיד
נוכחותו הכרחית להשלמת שלב זה בהצלחה
Copyright © 2011, SAS Institute Inc. All rights reserved.
13
בניית מודל
בחירת אלגוריתם:
"שקופים"מודלים –רגרסיה, עץ החלטה•
ישום ברור•
כלי מחקרי•
נגזר מחוקים של הרגולטור•
שימוש במשתנים קטגוריים•
•ANN–Black Box
יעילות•
אופנתיות•
קיבעון של הלקוח -קושי •
Copyright © 2011, SAS Institute Inc. All rights reserved.
14
הערכת טיב המודל
מדדי הצלחה
•Lift
•ROC
•Gini
נגזר משכיחות
התופעה הנחקרת
באוכלוסיה
Rosset, S., Neumann, E., Eick, U., Vatnik, N. & Idan, Y. (2001) Evaluation of prediction models for
marketing campaigns, KDD-01, ACM SIGKDD 7th Int. Conf. Proceedings on Data Mining and
Knowledge Discovery in Databases 456-461
Copyright © 2011, SAS Institute Inc. All rights reserved.
15
אימפלמנטציה של מודל
שילוב תוצרי מודל –בעיות טכניות(Score ) במערכות
האירגון
סוגיscore
ציון רציף–הסתברות •
..(ועוד, 1-10, 1-100)אחוזון –הסתברות יחסית •
תוחלת רווח•
Copyright © 2011, SAS Institute Inc. All rights reserved.
16
קמפיינים -שימוש במודל
כיצד נבחר בין מודלים?
בחירה בין מוצרים•
ערוצי התקשרות, בחירה בין תוכניות שימור•
הקצאה של קבוצות בקרה
"טובים"פניה לפחות לקוחות •
מדידה של איכות המודל•
ירידה באיכות הניבוי–שימוש בתוצרים של מודל ניבוי
Copyright © 2011, SAS Institute Inc. All rights reserved.
17
סגמנטציה וניתוח סל מוצרים–מודלים נוספים
סגמנטציה
ROIקשה להראות •
"משהו שיפקח את העיניים"–" ניסים"ציפיה ל•
"ידועות"קבלת תוצאות –אכזבה מתוצאות •
לא מיישמים–פעמים רבות •
:פתרונות•
exploratoryכלי יותר 1.
(אבל נדרש משתנה מטרה)עץ החלטה 2.
ניתוח סל מוצרים•
•Association rules
ריבוי קטגוריות: בעיה•
Copyright © 2011, SAS Institute Inc. All rights reserved.
18
סיכום
אנליסט בחברה עסקית שמיישמת תהליכיData Mining
נדרש להיות נוכח בכל שלב בתהליך
השפות"נוכחותו קריטית כיוון שהוא היחיד שדובר את כל "
"מתורגמן"משמש כ–
•IT
עסקי•
אנליטי•
אנליזה " רק"הרבה יותר מאשר , עליו להפגין ידע רב
התפקיד מאתגר ודורש יצירתיות ויכולת ניהול
Copyright © 2011, SAS Institute Inc. All rights reserved.
19
SAS Enterprise Miner
Copyright © 2011, SAS Institute Inc. All rights reserved.
20
JMP
Copyright © 2011, SAS Institute Inc. All rights reserved.
21
תודה רבהאורי עייק
