אם אתם עושים אימייל מרקטינג בוודאי ניסיתים או אולי חשבתם לנסות לעשות A/B Testing בעגה המקצועית נקרא גם split testing.

פעמים רבות A/B Testing אינו יותר טוב מאשר להטיל מטבע. הוא פשוט טעות סטטיסטית ולא מדע מדויק.

בנוסף, מגבלות שונות כגון יכולות מערכת הדיוור או גודל הרשימה, גורמות למשווקים לפספס או שלא לקבל את התובנות הנכונות ממהלך A/B Testing ומה שמתחיל כרעיון לניסוי כמעט מדעי הופך לסימון וי על המשימה, הנה ניסינו, כשבמקרה הטוב הניסוי לא מצליח ובמקרה הגרוע הניסוי גורם ליותר נזק מתועלת.

אחת הבעיות הנפוצות בטסטים היא confirmation bias – משווקים לעיתים בוחרים את הגרסה שהם מראש העדיפו, גם אם התוצאה לא חד משמעית. או לחלופין, מתרגשים מהבדל קטן מאוד בלי לבדוק האם הוא מובהק סטטיסטית או שמדובר ב"רעש".

שליחת גרסאות שונות עלולה לייצר "רעש" בנתוני ה־sender reputation – במיוחד אם המערכת לא יודעת לאחד את קצב השליחה על פני כל הגרסאות. זה יכול לפגוע בעבירוּת (deliverability), במיוחד ב־warmup או בקמפיינים לא מבוססים.

כדאי גם לצאת למהלך של A/B Testing לא על מנת "לבדוק רעיונות" אלא כדי "לבדוק ולאשר הנחות עבודה". כלומר לפני כל טסט כדאי לשאול את השאלות ולחדד מה רוצים להוכיח...