⛳️Выбросы в АБ тестах. Удалять или нет?

Зачем вообще думать о выбросах?
Выбросы могут сильно увеличивать дисперсию выборки, а значит понижать чувствительность стат теста.

Может быть ситуация, что стат. тест говорит, что стат значимой разницы нет, но если удалить несколько экстремально больших наблюдений, то стат. значимая разница будет найдена.

Т.е. идея в том чтобы избавиться от очень маленькой части нашей выборки с очень большими значениями и снизить дисперсию.

Что считать выбросом?
Есть разные мнения: 95 процентиль, 99 процентиль, 1.5 межквартильных размаха. Единого мнения нет. Давайте рассмотрим несколько ситуаций.

1. Выбросы - технические ошибки. Т.е. допустим у вас неправильно отработал скрипт аналитики и вместо 1 товара в логи аналитики записалось сразу 100 товаров и сумма заказа выросла. Это просто ошибка такие выбросы можно смело удалять.

2. Выбросы не связанные с тестируемой гипотезой
Например, средний чек в ИМ - 4000р. Тестим гипотезу собери корзину на 5 тысяч и получи бесплатную доставку. В тестовой выборке АБ теста получаем заказ на 100000 р.

Вряд ли акция с бесплатной доставкой при заказе от 5000 р заставила бы человека сделать заказ на 100000р.

Мы ожидаем, что должно измениться распределение чеков в диапазоне близком к среднему значению, а не в хвосте распределения.

Скорее всего, тут выброс можно удалить, т.к. он не связан с нашим экспериментом.

3. Выбросы связанные с тестируемой гипотезой
Например, продаем какой-то сервис с подпиской. Хотим поднять среднюю сумму покупки и тестим гипотезу: при покупке премиум подписки на 3 года за 30000р получи ещё 3 месяца в подарок. А в среднем у нас покупают сервис на 3 месяца за 3000р.

Скорее всего мы получим некоторое количество покупок за 30000р. Основная масса так же будет покупать за 3000 на 3 месяца, а покупки на 30000 будут составлять лишь небольшой процент от числа купивших.

Т.е. они будут выглядеть как выбросы, но мы не можем считать их выбросами, т.к. они непосредственно связанны с нашей гипотезой.