Метрики для АБ тестов

Предлагаю сегодня затронуть тему важности и неоднозначности выбора метрик для АБ тестирования

Базово я предлагаю отталкиваться от того, что в веб-аналитике есть 3 сущности: событие, сессия, пользователь, можно придумать что-то еще, но пока так. Все эти сущности могут быть использованы в качестве базиса для расчета метрик. Но одна и та же метрика рассчитанная на основе разных базисов будет иметь разный смысл, разные значения и потребует разные подходы для оценки размера выборки и подведения результатов АБ теста.

Представим, что у нас есть сайт, а на нем баннеры и мы хотим в качестве метрики для оценки взять CTR

У нас есть 3 варианта посчитать CTR
1. CTR_event = число кликов / число показов.
Для 1 пользователя может быть множество показов и кликов. Она хорошо подойдет когда нам важно учитывать не только факт клика отдельного пользователя, но и интенсивность кликов. Такая метрика, считается метрикой отношения. Для неё необходимо вычислять дисперсию особым образом(дельта-метод) и на основе этой дисперсии можно считать выборки и подводить результаты АБ теста.

2. CTR_user = число пользователей у которых был хотя бы 1 клик / число пользователей у которых бы 1 просмотр баннера.
Это в целом нормальный подход, но он никак не учитывает интенсивность кликов у пользователей. Такая метрика считается поюзерной. Размер выборки и расчет результатов легко провести при помощи калькуляторов.

3. CTR_sessions = число сессий в которых был хотя бы 1 клик по баннеру / число сессий в которых был хотя бы 1 показ баннера.
Для 1 пользователя может быть множество сессий. Здесь в отличии от ctr_users мы уже можем учитывать интенсивность кликов, хотя и ограничиваясь рамками сессий. Такая метрика, считается метрикой отношения. Для неё необходимо вычислять дисперсию особым образом(дельта-метод) и на основе этой дисперсии можно считать выборки и подводить результаты АБ теста.


4. Среднее число кликов на пользователя.
Считается как число кликов / Число пользователей. Эта метрика похожа на CTR, но в числители и знаменателе разные базисные единицы. В числители - клики, в знаменателе - пользователи. Такая метрика учитывает интенсивность кликов. Эта метрика считается поюзерной, но её распределение не является биномиальным в отличии от CTR_user, поэтому тут тоже не подойдут калькуляторы, которые рассчитаны для конверсии. Тут также необходимо будет вычислить сначала дисперсию метрики, а потом отталкиваясь от дисперсии рассчитать размер выборки. Для подведения результатов необходимо будет использовать t test

Этим постом я еще раз хотел подчеркнуть особую важность выбора метрик и важность четко понимать как именно метрика должна считаться. Потому что когда говорят “конверсия” или “ctr”, то могут иметь совершенно разные вещи. Например выше самые распространенные варианты того что имеют в виду когда говорят ctr. Но все это разные метрики:

- которые будут иметь разные значения,
- будут отвечать на разные вопросы
- для планирования и оценки АБ тестов на основе этих метрик потребуются разные подходы