🎱 Выбор метрик для АБ теста воронки
В каждом онлайн продукте, есть воронка по которой проходят пользователи до целевого действия.

Для того чтобы улучшить воронку проводят АБ тесты для разных этапов. Но воронка может быть коварна, вы можете улучшить метрики на одном этапе воронки и обрушить их на другом.

Формально АБ тест может быть удачным, вы планировали улучшить конверсию в начале воронки и добились этого, но потом оказалось, что ухудшили итоговую конверсию. Давайте рассмотрим 2 гипотезы для роста конверсии.

1️⃣ В качестве гипотезы, на странице продукта, тестируем размещение условия "выдаём кредит только по паспорту", а в контрольной группе у вас условие "нужна справка с места работы, залог недвижимости или авто".

В тестовом варианте где выдают кредит только по паспорту скорее всего вырастет конверсия в заявку, но вот конверсия в финальную выдачу может вполне упасть, т.к. потенциальные заёмщики будут с плохой историей. Для такой гипотезы крайне рисковано в качестве целевой метрики выбирать конверсию в заявку, нужно смотреть на конечную конверсию в одобренный кредит.

2️⃣ Так же выдача кредита, но гипотеза, что конверсия в заявку вырастет, если мы уберем из формы поля фамилия и отчество. За счёт этого пользователю будет проще заполнить форму, что даст рост конверсии в заявку. Тут в целом я не вижу причин почему убирание полей в форме заявки может повлиять на итоговую конверсию в одобрение кредита. При таком варианте гипотезы, скорее всего было бы допустимо смотреть только на метрику конверсия в заявку.

✍️ Резюме
Как видите, в обоих примерах, тестируемые элементы находятся на одном и том же этапе воронки - посадочная страница, но влиять они могут на разные метрики. Поэтому не может быть универсального подхода к выбору метрик для АБ теста, всегда нужно понимать как работает продукт внутри, понимать поведение пользователей, знать бизнес контекст и продумывать на какие метрики может повлиять конкретная гипотеза.

#CRO