📚 Посмотрела хэндбук по A/B-тестированию от команды Trisigma (платформа экспериментов от Авито). Он оказался прям очень неплохим.

Там внутри собрана хорошая база, которую полезно освежить даже тем, кто уже давно работает с экспериментами и метриками 👀
И конечно можно повторить основы статистики: что такое дисперсия, стандартное отклонение, стандартная ошибка, типы распределения данных. Там прям хорошо разобрано. А то нет, нет, да и забывается какая-то формула или информация если это что-то прям не часто используется.

Что конкретно есть внутри:
основы A/B-тестов и типы экспериментов
как формулировать гипотезы
классификация метрик: goal / proxy / guardrail / debug
OEC и закон Кэмпбелла
ошибки в экспериментах и как не словить ложные выводы
атомарный дизайн метрик
ну и введение в матстат: дисперсия, стандартное отклонение, распределения, ЦПТ и т.д. (расчеты на примерах)

Понравилось, что всё объясняется на нормальных продуктовых примерах, даже расчеты внутри есть
Забрать можно в боте @trisigma_avito_bot за подписку на их канал.

Реклама. ООО "Авито Тех".