Почему важен размер выборки в АБ тестах?
Все наверное знают, что чем выборка больше тем лучше, но далеко не все понимают как это работает под капотом.

Сегодня при помощи простых симуляций хочу показать как это работает. Почему увеличение размера выборок помогает нам увидеть разницу между средними.

Подготовил ноутбук в котором делается симуляция 2 выборок. Одна получена из ГС с конверсией 5%, а другая из ГС с конверсией 6%.

С помощью цикла получаем 300 выборок и каждый раз увеличиваем размер новой выборки на 50 наблюдений.

На графике показаны средние значения по 300 симулированным выборкам. Как видите в начале 2 линии сильно шумят и пересекаются, что соответствует малым размерам выборки.

Но с ростом числа наблюдений мы видим, что они расходятся и выборочные средние концентрируются вокруг истинного мат ожидания ГС.

Это происходит благодаря закону больших чисел и сокращению стандартной ошибки среднего.

Когда выборка маленькая мы не можем понять, а отличается ли среднее, а когда выборка большая мы четко видим разницу между средними.

Вот ноутбук для тех кто хочет поиграться