🧍🏻‍♂️Связь гипотеза - аудитория в АБ тесте

Хочу поговорить про такой момент. Вот есть у вас какая-то гипотеза для АБ теста, которую вы хотите протестировать. Возьмем для примера сайт по продаже профлиста. Вы решаете показать фотографии заборов сделанных из вашего профлиста и ожидаете, что это увеличит конверсию на 5%.

В чем проблема?
Мы ожидаем роста конверсии на всем объеме трафика в эксперименте, но это не совсем правильная мысленная установка. В трафике присутствуют разные сегменты аудитории. Как правило рост дают отдельные сегменты, а не так что каждый пользователь дал нам +5%.

Например, 30% пользователей приходят на сайт чтобы купить профлист для забора, а 70% для того чтобы купить профлист для крыши (а еще могут быть боты).

Скорее всего рост конверсии на 5% должен будет обеспечить сегмент размером в 30%, а это значит что конверсия по нему должна будет вырасти сильно больше чем на 5%, а сегмент тех кто хочет купить профлист для крыши может вообще показать падение конверсии, т.к. страница с примерами заборов покажется им не релевантной и тогда на общем объеме трафика мы вообще можем получить падение конверсии.

Я почти не видел статей про АБ тесты где бы акцентировали внимание на этом нюансе, хотя мне кажется это очень важно с точки зрения планирования АБ тестов и понимания того, а сработает ли вообще АБ тест или у нас может нет даже аудитории, которую должны тригерить наши изменения.

В идеале при планировании АБ теста нужно четко понимать связь аудитория-гипотеза, а также понимать размер каждой аудитории в вашем продукте. У вас должна быть возможность идентифицировать каждую аудиторию при входе в продукт и проводить АБ тест отдельно для каждого сегмента и также должна быть возможность раскатывать результат на отдельные сегменты, т.е. делать персонализацию.