Big Data ו Predictive analytics

"ניבוי הוא עסק מסובך מאוד, במיוחד בנוגע לעתיד" (נילס בוהר)

 

רבות דובר על predictive analytics.

כדי להבין אילו קפיצות טכנולוגיות נעשו בתחום זה בתקופה האחרונה, אני רוצה להציג ניתוח פשוט שערכתי ב IBM Watson.

 

אך לפני כן, תזכורת קטנה, דוגמאות פשוטות לשאלות עסקיות אופייניות, עליהן עונה ה predictive analytics:

  • מהי ההסתברות שאצליח למכור פוליסת ביטוח למבוטח (על בסיס המידע ההסטורי והדמוגרפי של המבוטח)

  • מהי ההסתברות שחולה שלי יכנס שוב למרפאה בזמן הקרוב

  • תבניות ל fraud detection

  • הסתברות לנטישת לקוחות

  • באילו פלחי שוק ובאילו שיטות קמפיין כדאי לי להתמקד

  • מה גורם לתקלות חוזרות ונשנות במוצר שאני מייצר

 

וכהנה וכהנה. השמיים הם הגבול ...

 

וכעת להדגמה קטנה ב Watson.

 

לקחתי קובץ פשוט באקסל עם נתוני מכירות "קלסיים" (מוצר, קטגוריה, תאריכי הזמנה ומשלוח, איזור, סכומים וכיוצא בהם).

זרקתי אותו ל Watson. לא מיפיתי אותו, לא אמרתי לו איזה שדה הוא מה. כלום.

בעצם, רק רציתי לראות מה יאמר לי הענק הכחול, מבלי שאפילו ארמוז לו מה אני מחפש - זו הרי מהות ביצוע exploration מול search , הלא כן ?

Watson מפעיל כלים שונים כמו machine learning, עצי החלטה, neural netwoks ומציג מסקנות בתצורות ויזואליות שונות.

התוצאות, המדהימות, לפניכם. ללא מילים (כמעט).

 

 

ניקח למשל ניתוח של רווח מול איזור. Watson מבין מה זה "איזור", ולכן יציג זאת על גבי מפה גאוגרפית.

בניתוח של מכירות מול חודש, הוא מציע להציג זאת בתצורה אחרת (שכמוןן ניתנת לשינוי מיידי).

 

"על הדרך" בראש התצוגה, ייתן לנו גם "הארה" על ניתוחים משמעותיים אחרים שבתוך הנתונים שלנו.

בתצורה נוספת, Watson מציע ניתוח תלת ממדי.

ובהמשך הוא מציג עוד נתוחים כהנה וכהנה ...

 

עד כאן Exploration. אבל הכח האדיר שלו נמצא ב predictive Analytics

 

ספציפית יותר, אננו מעוניינים לראות אילו "ניבויים" Watson ימצא בתוך ים הנתונים שלנו. ביתר דיוק, אילו פרמטרים משפיעים על "מטרות" שנגדיר.

 

בתור שאלה קלסית, שאלתי אותו מה לדעתו ישפיע על המכירות העתידיות. זיכרו, שבקובץ הנתונים יש כעשרים שדות מידע, ובכלל לא טריויאלי להבין מי (בבודד, או בצמדים) משפיע על המכירות, ואיך הוא משפיע.

 

אכן אלו הם המשתנים המשפיעים על ניבוי המכירות העתידיות. יחד עם זאת Watson רומז לנו שיש צמד של משתנים אשר ביחד, "כושר הניבוי" שלהם לגבי המכירות הוא עוד יותר גבוה.

ישנם עוד משתנים אשר יכולים לנבא את המכירות, בהסתברות כזו או אחרת ...

למשל

וגולת הכותרת , לטעמי, עץהחלטה בו Watson מנבא את המכירות כפונקציה של 8 (!) משתנים שונים.

המסקנות מניתוח נבון של עץ ההחלטה הן מרחיקות לכת.