Айсберг АБ тестов

В конце прошлого года я выкладывал пост, где сервис АБ тестов optimizely, проанализировал 127 000 экспериментов проведенных на их платформе и только 12% экспериментов показали стат. значимое улучшение.

Т.е. 88% гипотез не срабатывают, либо работают в минус, либо эксперименты имеют малую мощность и не могут обнаружить эффект.

Давайте подумаем, что стоит за этими 88% процентами, это не просто цифра - это потери.

1. Потеря ресурсов
Как правило над запуском эксперимента работает целая команда: продакт, дизайнер, разработчик, аналитик. Подготовка каждого эксперимента отнимает время специалистов, а значит стоит денег.

Допустим команда потратил на создание эксперимента 20 человеко-часов. Возьмем стоимость часа 2000р, т.е. 40000р потрачено на эксперимент который не сработал.

2. Потеря времени
Одна из проблем в АБ тестах - это недостаток трафика. Как правило гипотез много, эффекты обнаруживать хочется маленькие, значит надо много трафика. Образуется очередь из АБ тестов. Т.е. получается, что мы тратим время и трафик с низким КПД, всего 12%, хотелось бы больше.

Тут конечно есть всякие техники ускорения АБ тестов за счет сокращения дисперсии CUPED, стратификация, удаление выбросов, но они только помогают немного сэкономить трафик, но не решают проблему того, что гипотезы не дают положительного результата.

Так от чего же зависит успех АБ тестов?
На мой взгляд наиболее критичной точкой роста для метрики win rate в АБ тестах является качество гипотез, которые вы подаете на входе.

Что такое хорошая гипотеза?
1. Она направлена на создание дополнительной ценности для пользователя или на решение какой-то задачи. Т.е. это не просто гипотеза из серии давайте перекрасим кнопку или подвинем картинку.

2. Она должна иметь сигналы о жизнеспособности основанные на других исследованиях. Про сигналы и презумпцию виновности идей можно почитать тут

3. Вы должны ожидать от неё хороший эффект, т.е. серьезное улучшение метрики. Большой эффект - главная точка для ускорения АБ тестов.

С точки зрения математики, для ускорения АБ теста есть 3 рычага:
- сокращение дисперсии
- увеличение уровня альфа и занижение мощности теста
- увеличение размера эффекта

Если мы будем проводить тесты с гипотезами, которые могут дать большой эффект, то на это потребуется гораздо меньше времени и мы сможем проводить больше тестов за один и тот же период.

Где брать хорошие гипотезы?
Как правило хорошие гипотезы редко рождаются сами по себе. В основе сильной гипотезы лежит какой-то инсайт, т.е. какая-то информация, которую вы ранее не знали, а теперь узнали. Вот тут пример про гипотезы


Где брать инсайты?
Инсайты не появляются сами по себе. Для того чтобы ваш мозг сгенерировал какой-то инсайт, его надо загрузить информацией. Основной источник инсайтов - это исследования, направленные на понимание вашей ЦА, вашего продукта, ваших конкурентов.

Например вы можете провести интервью с потенциальными клиентами и понять задачи которые они решают и критерии выбора продукта, на основе этого сделать новый сильный оффер и отправить его в АБ тест.


Подводя итог
Как правило исследования стоят дешевле разработки продукта и делаются быстрее, поэтому если вы хотите решить проблему с ускорением АБ тестов и увеличением win rate, то нужно сосредоточится на качестве гипотез и на исследованиях из которых эти гипотезы рождаются. Потому что АБ тесты - это только верхушка айсберга.