🆘 Проверка валидности результатов АБ тестирования

Важный этап, который часто упускают из виду. АБ тест закончился, все радостные хотят скорее посчитать p value и оценить стат. значимость изменения метрики.

Но прежде чем что-то посчитать нужно удостовериться что АБ тест был проведен верно. Особенно это касается команд, которые "на коленке" запускают АБ тесты.

1. Собрано нужное число наблюдений в соответствии с дизайном
Смотрим дизайн АБ теста и число фактически попавших в АБ тест юзеров

2. Баланс раскатки в соответствии с дизайном
Смотрим какая доля юзеров должна была попасть в эксп и какая попала на самом деле.

3. Баланс распределения аудитории по вариантам, SRM
Смотрим баланс групп в дизайне АБ теста и фактическое распределение пользователей по группам. Проверяем дисбаланс SRM

4. Отсутствие пересечения выборок
Проверяем, что один и тот же пользователь не попал сразу в несколько групп.

5. Сопоставимость выборок по параметрам (однородность)
Берем важные для нас признаки, например гео или тип устройства или бизнес признак и оцениваем баланс выборок по этим параметрам

6. Отсутствие дублей
Проверяем, что данные не задублировались по каким-то причинам. Например дублирование юзеров или их действий внутри одной группы.

7. Отсутствие не естественных аномалий
Например, если вы оцениваете деньги, то посмотреть распределение чеков. Если у вас ср. чек 1000 р, то появление чека на 1 000 000 выглядит как аномалия, он может сильно влиять на результат теста и нужно разобраться в его происхождении.

8.Равенство инвариантных показателей
Инвариантные показатели - это такие показатели, которые должны оставаться одинаковыми между вариантами эксперимента. Например для сайтов: число js ошибок, скорость загрузки страницы. Т.е. если в одном из вариантов сильно увеличилась длительность загрузки страницы, то скорее всего мы где-то накосячили и результаты АБ теста не будут объективными по этой причине.


В идеале все эти проверки зашить и автоматизировать в отчетности, чтобы каждый раз не делать руками