כאשר דאטה אנליסט יוצר מבחני ab testing וההבדל בין הגרסה החדשה לישנה יצא מובהק, האם ניתן לומר בבטחה כי השינוי בגרסה באמת הצליח, או שהסיבה להצלחה היא עצם זה שהציגו למשתמשים משהו חדש במוצר?
בשנות ה- 30 של המאה הקודמת ביצעו במפעל הוט’ורן שבארצות הברית מספר מחקרים שבדקו את הקשר בין עוצמת התאורה במפעל על תפוקת העובדים. המחקרים הראו שכאשר מגבירים את התאורה ביצועי העובדים עולים, אבל באופן מפתיע גם כאשר מנמיכים עוצמת האור ביצועי העובדים עולים. תופעה זאת מכונה הוט'ורן אפקט.
ההסבר לתופעה הזאת הוא שעצם השינוי במוצר גורם למשתמשים לשינוי בהתנהגות. כלומר, לא הגרסה החדשה של ה a/b test גרמה להצלחה אלא עצם השינוי במוצר אליו היו רגילים המשתמשים.
איך להימנע מאפקט הוט’ורן (Hawthorne Effect)?
הדרך להימנע מאפקט הוט’ורן הוא לאפשר למבחן לרוץ במשך זמן רב כך שהמשתמשים בקבוצת המבחן כבר חוו את השינוי פעם אחת או פעמיים ולבחון האם גם בהמשך הם משנים את התנהגותם בהתאם לגרסה החדשה או שהם חוזרים להתנהגות הרגילה שלהם.
*המאמר מנוסח בשלון זכר אך מתאים כמובן לכל המינים.
