📔 Чек- лист: 30 ошибок, которые можно допустить при проведении АБ теста

🔻Ошибки общее
- Использование АБ тестов там где они не нужны
- Не корректный трекинг, часть событий не трекается или трекается не корректно
- Слабые гипотезы, основанные на мнениях, а не на исследованиях

🔻 Ошибки планирования
- Не верно определили точку роста и проводим АБ тест в месте которое слабо влияет на рост
- Не учитывается эффект новизны
- Не учитывается сезонность
- Не учитывается цикл сделки и дозревания когорты
- Не учитывается соотношение веток
- Определение размера выборки на глаз
- Выбрали не подходящую метрику для оценки изменений
- Не верно определили базовое значение метрики, слишком малый период расчета
- Игнорирование баланса метрик. Оценка только одной метрики или наоборот слишком большого числа
- Слишком завышенное ожидание по MDE
- Проведение слишком долгих АБ(страдает time to market)

🔻Ошибки реализации
- АБ тест через редирект, мерцание
- SRM дисбаланс объема выборок
- Существенная неоднородность групп
- Неверный расчет стат критериев для ratio метрик
- Попадание одних и тех же пользователей в несколько вариантов экспа
- Проблема подглядывания и ранней остановки тестов
- Внесение изменений в уже запущенные варианты теста
- Технические ошибки в реализации функционала по вариантам АБ

🔻Ошибки интерпретации результатов
- Отсутствие проверки и очистки данных от не валидных пользователей
- Не верная интерпретация p value
- Оценка наблюдаемого эффекта как истинного без учета неопределенности(дов интервалов)
- Перенос результатов не репрезентативного АБ теста на всю ген совокупность
- Считать, что если АБ тест не показал стат значимых различий, то различий нет
- Проведение множественных АБ тестов без учёта поправок
- Confirmation bais. Когда всячески пытаются доказать свою правоту даже если АБ тест показал обратное
- Поиск значимых сегментов в результатах без учета поправок на множественное сравнение

Кидайте свои дополнения, соберем больше ошибок