Давайте увеличим трафик на период проведения эксперимента?

Каждый АБ тестер рано или поздно сталкивается с ситуацией, что для того чтобы проверить гипотезу на определенном уровне MDE у него недостаточно трафика или его нужно собирать очень-очень долго.

В такие моменты появляется идея, а давайте на период эксперимента увеличим трафик, попросим рекламщиков закупить больше трафика на нужные нам страницы или повесим баннер на главной в нашем приложении.

Так мы увеличим число пользователей, которые смогут попасть в эксперимент. Вроде на первый взгляд хорошая идея, но у неё есть риски.

Представим что у вас есть страничка на сайте где вы хотите провести АБ тест. Вы попросили закупить на неё больше трафика чтобы сократить время эксперимента, а после отдел рекламы отключит дополнительный трафик.

Важно понимать, что трафик не однороден. Внутри трафика есть разные сегменты с разными потребностями, с разной степенью готовности к целевому действию.

Одно из важных условий чтобы мы могли экстраполировать выводы по АБ тесту на всю совокупность это репрезентативность. В нашем случае под совокупностью я имею всех тех кто сможет потенциально попасть под экспериментальное воздействие придя в наш продукт.

Когда мы запускаем АБ тест на одной структуре трафика, а потом резко меняем структуру трафика, отключая дополнительные источники трафика, после экспа, то мы сильно рискуем, что эффект после раскатки не сохранится или изменится.

Т.к. по сути мы тестировали изменение на одной аудитории, а работать это изменение будет на другой аудитории, где уже не будет определенного большого сегмента. Такой вот неочевидный момент, который важно держать в уме при планировании эксперимента.