5 направлений в которых вы можете накосячить при запуске АБ тестов

Сегодня поговорим про направления в которых возникают ошибки при работе с АБ тестами, если вы никогда не задумывались о корректности ваших АБ тестов, то скорее всего в них есть множество проблем, которые делают результаты не валидными.

1. Планирование эксперимента
При планировании эксперимента важно учесть множество нюансов, от которых будет зависеть результат. Тут очень много мест где можно накосячить начиная от выбора подходящей метрики, единицы рандомизации до определения сроков эксперимента и стат критерия для оценки. В моём чек-листе планирования эксперимента около 25 пунктов и все это может влиять на результат.

2. Техническая реализация вариантов теста
Тут в первую очередь я говорю о корректной реализации тестового и контрольного варианта. Очень часто в новых версиях продукта встречаются технические баги, которые негативно влияют на метрики и не дают понять истинное влияние фичи на метрику.

3. Сбор статистики
Это отдельная боль, зачастую могут просто забыть повесить события на новый функционал, но обычно у большинства компаний есть серьезные проблемы с трекингом о которых они просто не догадываются, это может быть дублирование данных, потеря данных, удаление utm меток при редиректах, потеря конверсий и прочее.

4. Механизм сплитования
Можно назвать этот момент - сердце эксперимента. Механизм который делит пользователей между вариантами должен обеспечивать их деление в соответствии с дизайном экспа и обеспечивать честное деление, чтобы группы были сопоставимы по важным признакам и репрезентативны генеральной совокупности. Если тут проблемы, то все старания насмарку

5. Анализ результатов
Это отдельный важный этап. Тут можно легко не заметить проблемы в данных вызванные предыдущими пунктами и провести анализ на не валидных данных и как следствие получить не корректную оценку для АБ теста. Помимо этого при анализе теста важно учитывать особенности метрик и использовать подходящие методы оценки, но это должно было быть учтено еще на этапе дизайна АБ теста.


В каждом из 5 направлений можно выделить отдельные ошибки, но для этого нужна огромная статья.

АБ тесты это очень нежная штука, в них легко накосячить, а вот заметить проблему очень трудно, т.к. зачастую данные выглядят правдоподобно, но не отражают реальности из-за ошибок. Поэтому нужно контролировать очень много разных деталей связанных с методологией, аналитический инфраструктурой и самим продуктом.

Пишите в комменты, какие ошибки вы ловили при проведении экспериментов и как контролируете🥸