Базовые требования к качеству модуля сплитования АБ тестов. Часть1

Сегодня хочу поговорить о том "Какие требования должна выдерживать АБ платформа(сплитовалка) чтобы АБ тесты были валидными?"

В сети можно найти разные обзоры на разные платформы АБ тестов, но ни в одном из них я не видел чтобы кто-то проверял качество сплитования, а точнее качество получаемых выборок.

Хотя core задача любой АБ платформы - формировать репрезентативные, однородные группы с несмещенными оценками и обеспечивать стабильность опыта пользователей в рамках эксперимента.

Давайте разберемся в понятиях

1. Репрезентативность выборки
Т.е. выборка должна хорошо соответствовать структуре генеральной совокупности из которой она получена и нести в себе свойства этой ГС. Чтобы на основе выборки можно было делать выводы о ГС.

2. Несмещенность оценок
Метрики, которые мы считаем на основе выборок - это оценки. Например средний чек, коэффициент конверсии. Все это с точки зрения статистики - оценки параметров ГС.

Если выборка репрезентативна и имеет достаточно большой объем, то согласно закону больших чисел, метрики этой выборки будут стремиться к истинным показателям в ГС и будут довольно близки. Если же они плохо соответствуют показателям ГС, то можно сказать что оценки являются смещенными.

3. Однородность выборок
Как правило в АБ тесте есть 2 или более группы. Нам важно чтобы состав этих групп был однороден. Каждая группа должна быть структурно похожа на ГС и между собой. Если одна группа похожа на ГС, а другая нет, то это неоднородность и одна из групп скорее всего будет иметь смещенные оценки.

4. Стабильный опыт
Сплитовалка должна контролировать чтобы один пользователь мог побывать только в 1 варианте эксперимента и не допускать попадания одного пользователя в несколько групп в рамках одного экспа

Также смотрите картинки, если описанное выше было непонятно