Часть 1. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?

Сегодня разберем первую причину - неверная оценка эффекта.

Рассмотрим условный пример. Допустим у нас есть лендинг для привлечения заявок на ипотеку, мы решили что если сделаем подробный, длинный лендинг, то конверсия вырастет, потому что пользователи смогут узнать подробные условия ипотеки - это закроет их возражения и больше пользователей будут оставлять заявки.

Мы его сделали и провели АБ тест. Результаты на скрине.

По результатам мы видим, что cr посчитанный по сессиям cr_sessions в контроле 8,33%, а в тесте 7,33%, т.е если смотреть только на этот показатель, то мы должны считать, что тестовая версия хуже, длинный лендинг ухудшил конверсию.

Посмотрим на показатель рассчитанный на основе пользователей cr_users, тут контрольная версия имеет cr - 10%, а тестовая 11%, т.е.результаты противоположные коэффициенту конверсии посчитанному по сессиям и мы видим что тестовый вариант лучше и длинный лендинг улучшил конверсию.

Почему так произошло и где правда?
Новая версия лендинга большая и подробная. Обратите внимание на показатель sessions_per_user (число сессий на пользователя) он увеличился с 1,2 до 1,5, потому что часть людей не успевает ознакомиться с большим лендингом за 1 раз и потом возвращаются и создается еще 1 сеанс.

Всего в контроле мы получили 1000 лидов, а в тесте 1100 лидов, при том что в обоих версиях по 10000 пользователей. Таким образом из-за увеличения числа сессий у нас упал коэффициент конверсии рассчитанный по сессиям, что не соответствует реальности, т.к. больше людей стало конвертироваться в лиды.

Таким образом если мы будем смотреть в АБ тесте на конверсию посчитанную по сессиям, то примем не верное решение о том, что новый лендинг работает хуже старого.

Если вам интересна тема показателей обманщиков, то много интересного про неверный расчет конверсии на основе сессий можно прочитать у Ильи Красинского. Вот например статья - 4 способа посчитать конверсию не верно