Борзило
@y_borzilo
🎏 Прокси метрики в АБ тестах
Сегодня предлагаю провести дискуссию по способам поиска и валидации прокси-метрик для экспериментов, у меня нет большого опыта в этом направлении, поэтому буду рад если читатели поделятся своими наработками в этом вопросе.
✅ Что такое прокси метрики?
Это метрики, которые более чувствительны и могут показать стат. значимый результат раньше чем целевая метрика. Например, как вариант, прокси метрикой для коэффициента конверсии в интернет магазине может быть коэффициент конверсии добавления товара в корзину или просмотр 3 карточек товара или добавление товара в избранное.
Как правило для эксперимента с прокси метриками требуется меньше трафика, что позволяет ускорить экспы и увеличить их количество. Но также с прокси метриками может быть много проблем. Они менее точные чем целевая, не все кто добавляет товары в корзину в итоге их купит.
В некоторых случаях целевая и прокси метрика могут вообще показывать противоположные результаты. Прокси улучшилась, а целевая ухудшилась.
Ниже я собрал несколько способов поиска и валидации прокси метрик, которые мне кажется заслуживают внимания, если у вас есть дополнения или критика вэлком в комментарии.
✅ Как искать кандидатов на роль прокси метрик?
1. Здравый смысл и понимание причинно-следственной связи. Метрика должна быть связана с целями бизнеса и целевой метрикой (NSM), входить в иерархию метрик бизнеса.
2. Прокси метрика должна быть со направлена и иметь корреляцию с целевой метрикой
3. Разработка прокси метрик на основе фичей ml модели которые имеют большой вес при прогнозировании целевой метрики.
✅ Как валидировать выбранные метрики?
1. Ухудшающие эксперименты. Ухудшенный вариант должен показывать падение целевой и прокси метрики относительно контрольного варианта.
2. Анализ прошедших экспериментов. Берем эксперименты связанные с целевой метрикой и проверяем, что в тестовом варианте целевая и прокси метрика изменяются со направлено.
✅ Дополнительные материалы
Ниже 3 статьи о том как retail rocket искали и разрабатывали прокси метрики
Часть 1
Часть 2
Часть 3
Сегодня предлагаю провести дискуссию по способам поиска и валидации прокси-метрик для экспериментов, у меня нет большого опыта в этом направлении, поэтому буду рад если читатели поделятся своими наработками в этом вопросе.
✅ Что такое прокси метрики?
Это метрики, которые более чувствительны и могут показать стат. значимый результат раньше чем целевая метрика. Например, как вариант, прокси метрикой для коэффициента конверсии в интернет магазине может быть коэффициент конверсии добавления товара в корзину или просмотр 3 карточек товара или добавление товара в избранное.
Как правило для эксперимента с прокси метриками требуется меньше трафика, что позволяет ускорить экспы и увеличить их количество. Но также с прокси метриками может быть много проблем. Они менее точные чем целевая, не все кто добавляет товары в корзину в итоге их купит.
В некоторых случаях целевая и прокси метрика могут вообще показывать противоположные результаты. Прокси улучшилась, а целевая ухудшилась.
Ниже я собрал несколько способов поиска и валидации прокси метрик, которые мне кажется заслуживают внимания, если у вас есть дополнения или критика вэлком в комментарии.
✅ Как искать кандидатов на роль прокси метрик?
1. Здравый смысл и понимание причинно-следственной связи. Метрика должна быть связана с целями бизнеса и целевой метрикой (NSM), входить в иерархию метрик бизнеса.
2. Прокси метрика должна быть со направлена и иметь корреляцию с целевой метрикой
3. Разработка прокси метрик на основе фичей ml модели которые имеют большой вес при прогнозировании целевой метрики.
✅ Как валидировать выбранные метрики?
1. Ухудшающие эксперименты. Ухудшенный вариант должен показывать падение целевой и прокси метрики относительно контрольного варианта.
2. Анализ прошедших экспериментов. Берем эксперименты связанные с целевой метрикой и проверяем, что в тестовом варианте целевая и прокси метрика изменяются со направлено.
✅ Дополнительные материалы
Ниже 3 статьи о том как retail rocket искали и разрабатывали прокси метрики
Часть 1
Часть 2
Часть 3
👍 11
18 1.6K
Обсуждение 0
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram