Месяц назад я поняла, что ничего не знаю про A/B-тесты
А теперь возвращаюсь с апдейтом об обучении от Ромы!

Если коротко описать, что я чувствую после первых нескольких лекций, то это прежде всего подтверждение моей гипотезы, что нормально задизайненные эксперименты — это точно та область аналитики, где ИИ ещё далеко от замены нас

Любое нормальное обучение начинается с базы. Но и «базу» можно подать так, что многие мидлы и даже некоторые сеньоры скажут «аа, окак» — и это местами тот самый случай. Когда просят описать проведение теста на каком-нибудь собесе, легко сказать: ну обычно нужно на это 2 недели, юзеров допустим посплитуем по последней цифре айдишника (а что не так?), если p-value хорошее, то выкатываем, мы же так задизайнили...

И это будут в принципе нормальные ответы для планирования сферического теста в вакууме за 15 минут собеса. А потом ты попадаешь в компанию, где стремятся жить по best practices, и там слышишь про какой-то хэш с солью и прочие усложнения А вскоре сам вынужден объяснять продакту, почему 2 недели от гипотезы до желаемой даты решения по ней — это не реальный срок для нормального эксперимента... И честные объяснения этих всех нюансов без «ну так сложилось исторически» — лично для меня киллер-фича Роминого курса.

В общем, я всё ещё excited от перспективы наконец начать перейти от знания всех положенных уважающему себя мидлу+ правильных слов (рандомизация, контроль, сезонность, метрики, p-value) к реальному пониманию, какие допущения за этим всем стоят, и где они могут развалиться в реальной жизни.

Не переключайтесь — я сейчас немножечко отстала от группы из-за суеты с новой работой, а так буду держать вас в курсе, ведь меня ждут домашки с ревью реальных кейсов, а в лекциях уже пришлось вспомнить вузовскую математику (кстати, как раз некогда любимый мной линал присутствует)

ссылка на лендинг курса — в июне будет новый поток (а ещё я слышала, что команда работает над более базовым курсом)

@analytess