😵‍💫 Ошибка первого рода, альфа, p-value. В чем разница?

Заметил, что иногда возникает путаница между этими понятиями. Они близки, но имеют разный смысл. Давайте разберемся.

Ошибка первого рода
Возникает когда стат критерий выдает нам стат значимые отличия метрики в АБ тесте, но в реальности ГС не имеет таких отличий.

Как правило мы не можем знать получили ли мы в рамках отдельного АБ теста реальный эффект или это ошибка первого рода, потому что мы не знаем реальных параметров ГС, если бы мы их знали то нам и АБ тест не нужен был.

Альфа(Уровень значимости)
Это теоретический параметр, который мы вводим на этапе дизайна АБ теста. С его помощью мы определяем какой p value мы будем признавать значимым, а какой нет. С помощью альфа мы определяем в каком проценте АБ тестов в которых нет реального эффекта мы его все таки найдем и допустим ошибку первого рода.

Если у нас уровень альфа 5%, то в 50 АБ тестах из 1000 в которых нет никакого реального эффекта стат критерий покажет нам стат значимые отличия и мы совершим ошибку первого рода.

p-value
Вероятность получить такие или еще большие отличия в метрике при условии, что H0 верна в конкретном эксперименте. Т.е. p-value это оценка вероятности получить дельту в метриках между вариантами А и Б при условии что выборки А и Б происходят из одной и той же ГС.