טעויות נפוצות בניתוח נתונים

טעויות נפוצות בהסקת מסקנות מנתונים

למי שמסתכל מהצד, ניתוח נתונים נראה כעסק פשוט. מריצים שאילתה על הדטה-בייס, מבקשים לדעת מה היקף וממוצע המכירות ומסיקים האם עמדנו ביעדים (KPI’s) ואיך עלינו להתקדם מכאן הלאה.

בפועל זה לא תמיד עובד ככה. התייחסות נאיבית לנתונים עלולה לגרום לארגון להגיע למסקנות לא נכונות ולקבל החלטות שגויות. להלן מספר מקרים מפורסמים שמדגימים איך הטיות ופירוש לא נכון של הנתונים עלול לגרום להסקת מסקנות שגויה:

דגימה לא מאוזנת של האוכלוסיה – איך לא להסיק נכון מהנתונים

בשנת 1936 ביצע המגזיןLiberty Digest  סקר עצום בגודלו כדי לנסות לחזות את תוצאות הבחירות הקרובות בארצות הברית. המגזין שלח ל- 10 מיליון אנשים סקר בחירות וקיבל בחזרה תשובות מ- 2.5 מיליון אנשים. ניתוח התשובות ניבא שאלפרד לנדון ינצח את פרנקלין רוזוולט בתוצאה של 57% לעומת 43%. להפתעתם של עורכי הסקר והקוראים, רוזוולט ניצח וקיבל 62% מהקולות.

בניתוח הבעיות שהיו בסדר מצאו החוקרים שתי טעויות מהותיות שמכונות טעויות דגימה:

1 – האנשים שאליהם נשלח הסקר לא היוו מדגם מייצג של האוכלוסיה בארצות הברית, כיוון שהסקר נשלח רק לבעלי טלפונים. הסיבה לכך היתה טכנית – למי שהיה ברשתו קו טלפון, כתובתו היתה רשומה בספר הטלפונים, אך בשנת 1936 רק למעמד הגבוה והבינוני היה קו טלפון והסקר לא דגם את תשובותיהם של המעמד הנמוך.

 2 – הסקר נשלח ל- 10 מיליון אנשים ומתוכם ענו עליו 2.5 מיליון. מאפייני האנשים שהסכימו לענות על הסקר עלולים להיות שונים מכלל האוכלוסיה. התופעה הזאת גם קיימת בביקורת על קניית מוצרים באינטרנט: אנשים שלהם דעה שלילית מאד או חיובית מאד על מוצר שהזמינו באינטרנט ייטו יותר לכתוב ביקורת מאשר הלקוחות שדעתם הייתה פושרת כלפי המוצר.

מה אפשר ללמוד מזה?

כאשר רוצים להסיק מסקנות מהנתונים יש לוודא שהם מייצגים את האוכלוסיה שעליה אנחנו מסיקים. למשל, אי אפשר להסיק שאחוז ההמרה של תנועה באתר שמקורה ממנועי חיפוש (תנועה אורגנית) תהיה זהה לתנועה שמקורה מקמפיין ממומן. כדי לנבא מה יהיו הביצועים בקמפיין, יש לוודא שהדגימה של האוכלוסיה שממנה מנבאים דומה לאוכלוסיה המנובאת.

משתנים מתערבים – הסברים חלופיים למסקנות

"האם לזרע של גברים יש תכונות אנטי דיכאוניות אצל נשים?"

זאת הייתה הכותרת של מחקר מדעי אמיתי שבוצע על 256 נשים ופורסם ב-2002. החוקרים הראו שיש קשר סטטיסטי מובהק בין שימוש בקונדום בקרב נשים לבין תסמיני דיכאון.

האם המחקר מוכיח שזרע מפחית דיכאון אצל נשים? התשובה היא: כנראה שלא.

החוקרים השוו בין קבוצת נשים שמשתמשת בקונדום לבין הקבוצה שלא השתמשה ומדדו את רמת הדיכאון אצל הנשים, אבל האם יכול להיות שיש הסברים חלופיים לכך שהיעדר זרע עלול גורם לדיכאון?

אנחנו יודעים שנשים (וגברים) אשר להם פרטנר מזדמן או זוגיות שעדיין בתחילת דרכה נוטים להשתמש בקונדום וככל שהקשר מתפתח נשים נוטות להשתמש בגלולות או אמצעי מניעה אחרים שאינם קונדום. לכן, סביר יותר להניח שזוגיות ארוכה היא זאת המשפיעה על הפחתת תסמינים דיכאוניים ולא הזרע של הגברים. התופעה הזאת מכונה – 'משתנה מתערב'. משתנה מתערב הוא משתנה שמשפיע על תוצאות המחקר אבל אנחנו לא מודדים ולא מתייחסים אליו בעת הסקת המסקנות.

מה אפשר ללמוד מזה?

משתנים מתערבים עלולים להופיע גם במחקרים בעולם העסקי. למשל ראו את הדוגמה ההיפותטית הבאה:
במחקר של מחלקת סיכונים בבנק החוקרים גילו שהגורם המשפיע ביותר על רמת סיכון הוא אזור מגורים.

כאשר ניסו החוקרים להבין כיצד יתכן שאזור מגורים משפיע על רמת סיכון, הם עברו על מחקרים קודמים שבהם נמצא כי אנשים נוטים לגור בסביבת אנשים שדומים להם בסטטוס הסוציו-אקונומי, ושאנשים ממצב סוציו-אקונומי נמוך נוטים פחות לעמוד בהתחייבויות שלהם להחזר הלוואות. לפיכך הסיקו החוקרים שלמרות שנמצא קשר בין אזור מגורים לרמת הסיכון של הלקוח, המשתנה שבאמת השפיע על התוצאות היה המצב הסוציו-אקונומי של הלקוח ולא אזור המגורים שלו.

חשוב להבין שלא ניתן להימנע ממשתנים מתערבים לחלוטין. בכל מחקר ייתכנו משתנים שלא ידענו על קיומם והם אלו שהשפיעו על התוצאות, אבל ניסיון בעבודה עם נתונים והיכרות עם עולם התוכן שעליו מתבצע המחקר עשויים לצמצם את התופעה הזאת.

Hawthorne effect – ממה להיזהר כשעושים A/B testing

בשנות ה- 30 של המאה הקודמת ביצעו במפעל הוט'רון שבארצות הברית מספר מחקרים שבדקו את הקשר בין  עוצמת התאורה במפעל על תפוקת העובדים. המחקרים הראו שכאשר מגבירים את התאורה ביצועי העובדים עולים, אבל באופן מפתיע גם כאשר מנמיכים עוצמת האור ביצועי העובדים עולים. ההסבר לתופעה זאת המכונה Hawthorne effect על שם המפעל שבו בוצעו הניסויים.

הסיבה לאפקט קשורה לכך שאנשים שמים לב לשינוי פתאומי ולכן שינוי זה משפיע על ההתנהגות שלהם. עובדי המפעל שמו לב לשינוי בתאורה, הם הניחו שבוחנים אותם ובכל פעם כשהיה שינוי הם הגבירו את הביצועים. לאורך זמן גם בעוצמת אור נמוכה וגם בעוצמת אור גבוהה הביצועים של העובדים חזרו לממוצע ללא קשר לעוצמת האור.

מה אפשר ללמוד מזה?

לפי Hawthorne effect עלינו לחשוד בהשפעות המידיות שנגרמות בעקבות שינויים. למשל, אחת הטכניקות הפופולריות והיעילות למדידת אפקטיביות של שינוי נקראת A/B Testing. בטכניקה זאת מוצג לחלק מהגולשים שנבחרו לניסוי וריאציה שונה של האתר ונמדדים הביצועים שלהם אל מול קבוצת הגולשים הרגילים באתר. למשל, באתר E-Commerce  שונה צבע הכפתור בעמוד הרכישה ונבדקה השפעה של השינוי לעומת העמוד המקורי.

לפי Hawthorne effect יש סיכוי שבוריאציה החדשה יהיו יותר לחיצות על הכפתור רק בגלל שהגולשים הקבועים יראו שינוי בעמוד. כלומר, עצם השינוי הוא זה שהשפיע על הלחיצות ולא הכפתור עצמו. כדי לנטרל את השפעות האפקט יש להמתין עם הניסוי לתקופת זמן ממושכת ולבדוק האם גם לאורך זמן יש עליה בשיעור הלחיצות.

לסיכום

מניתי כאן מספר סוגים של הטיות וטעויות העלולים להתרחש במחקר עם נתונים. ישנם עוד סוגי טעויות רבים שלא התייחסתי אליהם, למשל טעויות בהצגת גרפים, ניקוי וטיוב של נתונים, הסתמכות על ממוצע עבור משתנים לא יציבים, וסתם טעויות חישוב מרגיזות שעלולות להופיע.

הדבר החשוב שכדאי לקחת מהמאמר הוא שבעת עבודה עם נתונים יש להפעיל ביקורתויות באשר לתוצאות.
אין זה אומר שאסור להסיק מסקנות מנתונים, להיפך – קבלת החלטות מבוססות על נתונים זה המפתח להצלחה של ארגונים רבים. כדי להימנע מהטיות וטעויות על הדאטה אנליסט לעבוד במשותף עם מנהלי המוצר והגורמים שמכירים היטב את התחום העסקי וביחד לבחון את המהימנות של המסקנות.