הערות על מובהקות סטטיסטית

בשנים האחרונות עולה מאד ערכן (המבורך) של מבחני A/B testing לאחר ששנים רבות החשיבות של בחינות סטטיסטיות היתה נמוכה. יחד עם עליה זו עולה גם החשיבות של המובהקות הסטטיסטית, כי על פניו, רק כאשר pv<0.05 ניתן לקבל את תוצאות המבחן.

 

העניין הוא כזה: הסתמכות על מובהקות סטטיסטית טומנת בחובה בעיות רבות שלא הרבה מכירים ולכן לפעמים זאת שגיאה לייחס משקל רב לתוצאות מובהקות של בחינה סטטיסטית.

 

תכונה מעניינת של מבחני מובהקות היא שככל שמדגם גדול יותר כך הסיכוי לקבל תוצאות מובהקות גדול יותר. כלומר, אם רוצים להוכיח שיש הבדל מובהק בין שתי אוכלוסיות אפשר להוסיף יותר מקרים ולהגביר את הסיכוי למובהקות. 

 

עניין נוסף, מובהקות סטטיסטית היא מדד אחד בבחינה של אוכלוסיה אך זאת אינה הסתכלות כוללת על כלל האוכלוסיה, ושימת משקל יתר רק על מדד של מובהקות סטטיסטית עלול לגרום להבנה לקויה של האוכלוסייה הנבדקת.

 

כדי להדגים את הנקודה האחרונה, אני מצרף לפוסט את אחד המאמרים הכי יפים שלמדתי בקורסים בסטטיסטיקה במהלך התואר. הכותרת של המאמר 'העולם הוא שטוח (P<0.05)' – מדגימה את הבעייתיות בהסתכלות הצרה על העולם לפי מבחני מובהקות. 

 

לפי כותרת המאמר הפרודית, אם נדגום את העקמומית של פני הארץ נוכל להוכיח שהעולם הוא שטוח. כיוון שהשינויים בעקמומיות הם ממש מינורים הבדיקות יראו שמבחינה סטטיסטית אפשר להוכיח ברמת מובהקות גבוהה שהעולם הוא שטוח.

 

מתוך הדוגמה האבסורדית הזאת המאמר דן בכשל של מבחני מובהקות וכיצד ניתן לבחון מדגמים סטטיסטיות בצורות טובות יותר.

 

נכתב על ידי יובל מרנין.