🚀 Как проводить больше успешных АБ тестов в единицу времени? Часть 1

Обычно когда в кругах аналитиков говорят про увеличение числа АБ тестов, то имеют в виду ускорение АБ тестов, с помощью сокращения дисперсии(удаление выбросов, cuped, стратификация и т.д.)

Я хочу взглянуть на проблему более широко, а не только с точки зрения статистики, но и с точки зрения маркетинга, менеджмента, инфраструктуры.

Ниже я дам свои мысли о том что можно сделать для того чтобы проводить больше успешных АБ тестов в единицу времени.

1. Селекция гипотез
Сильная гипотеза - основа успешного и быстрого АБ теста. Сильная гипотеза - та которая имеет предпосылки к успешности, он направлена на решение проблемы пользователя или увеличение ценности для пользователя.

Сильная гипотеза не просто идея, она провалидирована на каких-либо исследованиях. Сильная гипотеза может дать большой эффект, за счет этого мы можем заложить меньший срок АБ теста. Про гипотезы я уже писал пару статей. Айсберг АБ тестов , Где брать сильные гипотезы для роста конверсии

2. Работа с пользователями
Тут есть 2 момента, качественный и количественный.

2.1 Подбор чувствительной аудитории (ЦА)
АБ тест это инструмент маркетинга, а любой маркетинг начинается с определения ЦА. В продукте или на сайте есть разные аудитории, они отличаются по своим потребностям. Какие-то аудитории могут быть чувствительны к изменениям, а какие-то нет.

Например есть интернет магазин, где продается средство для улучшения роста волос, владелец считает, что его покупают лысеющие мужчины и решает ввести категорию средств для ухода за бородой, чтобы повысить средний чек.

Но по результатам АБ теста ничего не произошло. Оказалось, что ЦА которая покупает средство для роста волос - женщины у которых также проблемы с выпадением волос, соответственно они не чувствительны к появлению в ассортименте средства для ухода за бородой.

2.2 Увеличение трафика
Тут все предельно просто, когда вы определились с аудиторией теста, то нужно привлечь трафик. Перелинковать продукт, для привлечения пользователей в точку входа в эксп или закупить дополнительный трафик снаружи.

3. Прокси метрики
Разные метрики могут иметь разную чувствительность из-за того что одна имеет меньшую дисперсию, а другая большую, соответственно чем больше дисперсия тем больше трафа надо на детектирование разницы.

Кроме этого некоторые метрики требуют вызревания, например retention 7 дня или 30 дня. Вам нужно провести набор пользователей в эксп, а потом ждать 7, 30 дней когда дозреет retention по зашедшим в эксп.

Прокси метрики это такие метрики, которые могли бы раньше чем другие сказать нам о том будет ли наше изменение влиять на бизнес результат и целевую метрику. Например прокси метрикой для конверсии в заявку может быть конверсия в расчет на калькуляторе. Дополнительно о проксях