🤞Почему не корректно брать для расчета результатов АБ теста только пользователей взаимодействовавших с фичей?

Рассмотрим пример, запускаем АБ тест калькулятора. Но решаем, что результат АБ теста будем оценивать только по тем пользователям которые кликали в калькулятор, т.к. вроде же логично, что надо в первую очередь оценить поведение тех для кого фича интересна, зачем нам те кто не проявил никакого интереса к ней?

В таком подходе кроется ловушка. Вы для оценки берете не всех пользователей, которые подверглись эксперименту, а только тех кто отреагировал на изменение, тем самым нарушаете одно из главных предположений о том, что сравниваемые группы в АБ тесте равны по всем параметрам. Соответственно в выборках присутствует ошибка отбора.

Может случится ситуация, что если вы будете считать конверсию только по тем кто работал с калькулятором, то конверсия вырастет в тестовом варианте, но по факту когда раскатите или пересчитаете на пользователей которые видели калькулятор, то конверсия будет ниже в тестовом варианте.

Накидал пример с цифрами в гугл таблице

Вы можете сказать, что Юра опять ты пишешь очевидные вещи, но на самом деле они очевидны когда вы акцентировали на них внимание, а когда ты в потоке работы и у тебя нет времени хорошенько обдумать каждое решение, то легко допустить подобные ошибки. Ко мне приходят иногда с предложениями посчитать АБ тест таким образом))