20
איכות ע" י כריית ביג- דטה אדית אורי- MSc תעשייה וניהול[email protected]

איכות בעזרת כריית נתונים ביג דטה כנס האיכות 2015 - מושב האגודה אדית

Embed Size (px)

Citation preview

Page 1: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

איכות דטה-י כריית ביג"ע

תעשייה וניהול MSc - אדית אורי

[email protected]

Page 2: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

אדית אורי

מיזם דטאלרט – MSc, מהנדסת תעשייה וניהול•

להתראות מוקדמות

GT data miningמפתחת אלגוריתם •

.לשכת המהנדסים, נ"תואיכות באגודת נ "רע•

[email protected]

2 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 3: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

big data – ?בעיה או הזדמנות אדירה

יש היום נתונים בכמות וברמה טובה •

אך בקרת האיכות ... יותר מאי פעם

לא נהנית מהשפע הזה

א מחיבת "ב. בעיה במודל: הסיבה•

בעוד שביג דטה , נתונים מפוקחים

. unsupervisedהם

מודל שמתאים לנתונים : הפתרון•

...מפוקחים-לא

3 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 4: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

ITדטה וסביבת אתגר ביג

מפוקחים-לאנתונים אינטגרציה מביאה ₊

מידע ממקורות חיצוניים₊

בטכנולוגיה ובארגוןמהירים במוצרים שינויים ₊

כמותיים-לאמשתנים ₊

Reworksכגון –תהליכים שתמיד קשה למדוד ₊-------------------------------------------------------------------------------------------------------------------------------------------------------------

ואיטייקר עיבוד =

4 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 5: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

GT – מודל שלSelf Clustering

זיהוי המבנה הרב מימדי – GT-אילוסטרציה של קבוצות ב

5 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 6: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

GT data miningפתרון

self clustering - מקזז רעשים וטעויות ,

מפוקחים -ובכך מגדיל את האיכות של נתונים לא

!"ניקוי"ללא מאפשר להשתמש בהם ו

...ז"טין בהרבה את העלויות והלוולהק

6 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 7: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

GTתהליך העבודה עם ,טקסט בפורמט ומסירתם ,לקלט הנתונים גיבוש1.

.שטוחה טבלא

,טיפוסיות קבוצות מפת והפקת ,GT-ב נתונים כריית2.

.מפתח גורמי והגדרת אפיון

נוסח לגבי והחלטה ,דלעיל הממצאים על משותף דיון3.

.לחקור שמעונינים והתופעות המטרה

ביניהם הקשרים וניסוח ,מפתח גורמי מציאת4.

סט על הנוסחאות בדיקת .(מימדי הרב במרחב)

.מבחן נתוני

סבב עריכת ,דלעיל הממצאים על מפורט דיון5.

.אישור וקבלת ,ונדרש במידה הבהרות

.מסכם דוח הגשת6.

.אחזקה ,הטמעה ,יישום7.

Input

Data mining run

Target setting

Interrelations

Interpretation

Implementation

Rep

ort

& m

ain

ten

an

ce

cyc

le

7 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 8: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

לאיכות GTהתרומה המיוחדת של

דפוסים חריגים וסמויים חשיפת

אבחון סיכונים חדשים

גילוי מוקדם

תגובה מהירה לשינויים

וגם

scalability -שמסיע לחיזוי פרמטרי +

או שינוי ארגונייקרים יעיל בלי מומחים יישום +

8 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 9: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת' ניתוח תקלות בחב -דוגמא

: הבעיה מבחינת החברה

מדי תקלותיש יותר •

לקוחות התקלות עולות בכסף ובסיכון לנטישת •

בגלל , קשה להפיק מסקנות מנתוני התפעול•

שינויים ו, של שירותיםגדול מגוון , כמויות המידע .בהגדרותיהם ובהסכמים עם לקוחותתכופים

Big-data def.: Volume, Velocity, Variety

9 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 10: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת' תקלות בחב –המשך דוגמא מקורות מידע

IT' מח•

שיווק•

ספקי שירות•

מרכזיות• Billing, ח"הנה•

CRM' נציגי שירות ומער•

כח אדם•

10 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 11: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת ' תקלות בחב –המשך דוגמא

דטה-ביג נתוני בקרה עם פירוט תקלות ותיקון חשבונות•

פרטי לקוחות והשירותים שהם מקבלים•

לוג תקשורת•

אנושי/תהליכי חיוב כולל תחנות שירות אוטומטי•

פרטי תחנות השירות ותכנות השירות שלרשותם•

'מצבת עובדים וכד, עומס במרכזי השירותעל נתונים •

פרטי ספקים ומחירי השירותים שלהם•

שירותים והסכמים, שינויים בטבלאות המחירים•

..CRM-דוחות מכירה ו•

11 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 12: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת' תקלות בחב –המשך דוגמא לכאורה מצב חסר מוצא

אין מודל אנליטיקס לביג דטה

אחזור הם כבדים -והפתרונות הטכנולוגיים לאחסון

ויקרים

...

?PCהסיכוי לפתור את זה בעזרת מה

12 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 13: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת' תקלות בחב –המשך דוגמא GTהבעיה בעזרת איתור

סלולאר ספקי " -חושף GT-הקבוצות ש-אחת מתת

. מכילה שיעור גבוה של תקלות, "קטנים חדשים -:קבוצה-מאפיני התת

היעדר מחירגבוהים או מחירים –

שימוש במסלקה–

תלונות חוזרות–

... לקוחות-מסוים בשירותצוות וראש –

?מה האפיון הזה אומר לנו

13 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 14: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת' תקלות בחב –המשך דוגמא שורש הבעיה

בכלל שהמערכת , קצה החוט הוא הגילוי המוזר

. שיחות שאין להן פרטי חיוב תשלום מאפשרת

שחיובי , ניתן להסיק, מריבוי התלונות במקרים אלה

ומהעובדה שמדובר בספקים ; התשלום שגויים

חדשים ניתן להבין שפרטי ההסכמים איתם לא

. ברורים

...על התבנות האלה הולכים לשוחח עם אנשי הארגון

14 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 15: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת ' תקלות בחב –המשך דוגמא ההסבר של אנשי הארגון

" ספקי סלולר קטנים חדשים"בתת קבוצה , אכן•

ישנם ספקים שהתעריפים שלהם עוד לא הוגדרו

.סופית

התקלות גורמות לשרשרת פעולות ארוכה •

.ח ושירות לקוחות"הנה' ובמח, במסלקה

לא קשור לבעיה , ראש הצוות ששמו נזכר: הערה•

ומעבירים , נחשב למומחההוא –אלא לפתרון

. ו את כל המקרים הקשיםלטיפול 15 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 16: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת ' תקלות בחב –המשך דוגמא !?עד כהאת גורמי הבעיה מדוע לא גילו

החוצה השגויים נזרקים , מדגם הבקרה" ניקוי"ב

להבחין ניתן כך שלא . החריגים שחסרים בהם שדות

.החשדעולה בהם אפילו אם

תקיןכל אחד ממאפיני הבעיה כשלעצמו נראה

תכנות המסלקה , ר מצוינים"ספקים קטנים הם עפ)

...( ח מדויקת"הנה, הטובות בסוגן

במערכות : טעותIT נוטים להאשים את הגורם

. אך כאן הוא דווקא היה הצד החיובי, האנושי

16 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 17: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת ' תקלות בחב –המשך דוגמא מסקנות אופרטיביות

מניעה1.בסיסי הסכם תבנית " ספקי סלולאר קטנים"בתת קבוצה להגדיר

. כברירת מחדל

מעקב וגילוי מוקדם2. . קבוצה זובתת ( כגון עיכובים)לעקוב על סימנים ראשונים לתקלות

טיפול מהיר3.-תתשל אחראי שאליו יועברו ישירות התקלות -למנות מומחה

. הקבוצה

17 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 18: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תקשורת ' תקלות בחב –המשך דוגמא תבנות

ספקי סלולר קטנים "קבוצה -איתור גורמי השגויים בתת1.

לאתר שגויי מאפשר להרחיב את הבדיקה ו" חדשים . כנוהל שגרה, ספקים חדשים של כל הקבוצותבחיוב

יכולים , קבוצה זו-מאפיני התלונות החוזרות של תת2.

.בכלללשמש כאינדיקטור לטעויות מערכת

" 0"קבוצה זו אבל -לבדוק רשומות בעלות מאפיני תת3.

. לטובת הלקוח סמויותהן חשודות כטעויות ; תלונות

היא נהיית פשוטה, כאשר הבקרה ממוקדת...

18 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 19: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

QC-נתונים לכריית ISOלתקן הצעה

.היררכייםדפוסי ההתנהגות /אבחון קבוצות1.

.היררכיהי ניתוח "ע, שורשי תקלותחשיפת 2.

התקלות כמחצית : כלל אצבע)ותיקון מעקב , מניעה3.

( למניעהניתנות

גורמים שמופיעים מוקדם בתור בחירת 4.

.תקלותואיתות למעקב אינדיקטורים

.באיתותי תקלותהפניה אוטומטית לטיפול 5.

, אחריות: נתוניםספק כריית -נוהלי עבודה לקוח6. .ואחזקה, הפעלה, יישום, אישורים, דיונים, הגדרות

19 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015

Page 20: איכות בעזרת כריית נתונים ביג דטה   כנס האיכות 2015 - מושב האגודה אדית

תודה

Edith Ohri, MSc Eng., Datalert

GT data miningשל הבית

054-3170161 :'טל

[email protected]: דואל

20 2012כל הזכויות שמורות אדית אורי © דטה -י כריית ביג"איכות ע 25-11-2015