⚖️ SRM(sample ratio mismatch) - несоответствие соотношения выборок

Это одна из проблем, которая может поджидать храброго аналитика вступившего на тропу АБ тестирования.

Перед стартом эксперимента мы определяем как надо делить трафик между контролем и тестом, по классике делят 50%:50%, но можно и 80%:20% или еще как-то.

Иногда случается так, что хотели поделить трафик между вариантами поровну, а по факту получается другое соотношение, далекое от равного. Это означает, что присутствует ошибка, которая называется SRM.

Причины её появления могут быть разными, начиная от неправильной рандомизации, редиректов, до каких-то технических сбоев и ботов.

Проблема несоответствия выборок в том, что нарушается одно из важнейших требований при проведении АБ тестов. Мы предполагаем получить рандомизированные выборки и за счет этого получить сопоставимые группы по параметрам (гео, источники, устройства и т.д.), при этом если все работает корректно, то соотношение выборок должно соответствовать заложенному в настройках.

Если баланс выборок не соответствует настройкам, то есть какая-то проблема и мы не можем быть уверены, что выборки были сформированы правильно, а это значит, что разница по итогам эксперимента может быть вызвана не экспериментальным воздействием, а смещением выборок.

Например из-за того, что в одну из выборок попадает больше мобильных пользователей, а в другую с десктопа.

Вот тут 2 хороших статьи про SRM, как его чекнуть и где искать проблемы.

Проходит ли ваш АБ тест SRM check
SRM guide