Что влияет на размер выборки и длительность  АБ теста?

Иногда встречаю подход при котором АБ  тест запускают 'на глазок'. В формате давайте запустим и подождем некоторое время, неделю, две, три или наберём 1000, 2000, 3000 пользователей и  потом примем решение. Это очень простой подход, который не учитывает много параметров.

Сегодня поговорим о том какие параметры нужно учесть для того чтобы спланировать размер выборки и длительность АБ теста.

1. MDE. Предполагаемый истинный эффект который будет присутствовать в ГС в результате экспериментального воздействия.

2. Уровень мощности. Вероятность с которой мы хотим обнаружить эффект, при условии что он действительно есть в ГС.

3.Уровень альфа. Уровень ошибки первого рода, который мы готовы принять. Т.е. вероятность ошибочно обнаружить эффект, там где его действительно нет в ГС.

4. Направленность теста(односторонний/двусторонний).

5. Число вариантов в тесте. Чем больше вариантов хотим тестить за раз тем больше трафа нужно, ещё стоит учитывать поправки на множественное сравнение(тот же бонферони)

6. Баланс веток(соотношение трафика на каждый вариант), как правило чем больше дисбаланс тем больше трафика требуется для обеспечения мощности теста.

Это все нужно учитывать при дизайне АБ теста чтобы посчитать размер выборки, соответственно нужно разбираться в этих параметрах, но есть хорошие новости считать размер выборки вручную нетобязательно есть калькуляторы и стат пакеты типа scipy в python.

После того как мы выяснили нужный объем выборки для АБ теста нужно определить его длительность, тут важно учесть:

1. Доступный объем трафика в точке сплитования

2. Бизнес циклы. Как правило лучше брать выборку минимум за неделю, чтобы учесть недельную сезонность.

3. Если у вас например есть триальный период в тестовой версии, то важно учесть период дозревания когорты до оплаты и только после этого принимать решение