Условие применимости t testа

Недавно в канале был запущен опрос, на тему:

"Какое условие должно выполняться, чтобы мы могли использовать t test для оценки АБ теста?"

Ответы распределились так:
31% - Данные выборок должны иметь нормальное распределение

69% - Выборочные средние должны иметь нормальное распределение.

У t test нет требований к тому чтобы данные выборок имели нормальное распределение.

Например, возьмем такую метрику как ARPU как правило она имеет распределение похожее на логнормальное или экспоненциальное.

В большинстве случаев для оценки АБ тестов с ARPU мы можем применить t test, хотя сами выборки имеют отличное от нормального распределение.

Для t testа не важна форма распределения выборок, для его применимости должно выполняться условие, что выборочные средние должны иметь нормальное распределение.

Из ЦПТ мы знаем, что при увеличении размера выборок выборочные средние начинают сходиться к нормальному распределению.

Как правило АБ тесты включают в себя сотни, а чаще тысячи или десятки тысяч пользователей.

При таких цифрах обычно уже хорошо работает ЦПТ и средние сходятся к нормальному распределению(при условии что нет каких-то сильно гипертрофированных выбросов).

Вот вам статья, если хотите подробнее разобраться в вопросе(возможно потребуется VPN)