30% стат значимых АБ ложноположительные, но у меня же альфа 5%?

Сегодня в чате подняли интересную тему. А вы задумывались какая доля ваших успешных АБ тестов действительно успешные, а не ложноположительные? Мы никогда не знаем какие АБ тесты на самом деле дали истинный результат, а какие ложный, т.к. у нас всегда есть вероятность ошибок 1 и 2 рода. Поэтому смоделируем ситуацию, что у нас есть всевидящее око и мы точно знаем сколько у нас реально успешных АБ, а сколько не имеют разницы.

Пусть мы провели 1000 экспериментов и 100 из них реально имею отличия. При мощности 80%, мы из 100 АБ тестов с эффектом задетектим 80 АБ как значимые, 100 х 0,8 = 80.

Еще у нас есть 900 АБ тестов в которых на самом деле нет эффекта и есть альфа 5%. Значит 900 * 0,05 = 45 АБ тестов дадут ложноположительный результат и мы их тоже задетектим как статзначимые.

Итого мы будем иметь 80 + 45 = 125 АБ тестов которые показывают значимые отличия. Т.е. 12,5% стат значимых результатов АБ тестов. А теперь следите за руками. 45 ложноположительных АБ делим на 125 стат значимых АБ тестов 45/125 = 0,36. Получаем, что из 125 стат значимых результатов АБ тестов 36% ложноположительные.

Обратите внимание, что когда мы говорим, что альфа 5% контролирует долю ложноположительных результатов АБ тестов, то это доля от числа АБ тестов в которых истинно нет разницы, а не 5% от числа АБ тестов, которые показали стат значимые отличия.