☯️ Две крайности АБ тестирования

Давайте ничего не будем АБ тестировать.
Мы эксперты, мы знаем как надо, а оценить значимость изменений мы сможем на глаз, без вашей статистики.

Экспертное мнение это хорошо - зачастую оно позволяет отсечь заведомо нерабочие варианты и сконцентрироваться на том что может дать результат. Т.е. с помощью мнения эксперта мы можем снизить неопределенность и повысить точность наших гипотез.

Но каждая гипотеза может иметь множество разных вариантов реализации, которые будут иметь разную эффективность, какая-то реализация может работать в плюс, какая-то в минус. Кроме этого есть внешние факторы, которые эксперт не всегда может заметить и учесть.

Оценить значимость изменений действительно можно без статистики и даже без АБ тестов, просто сравнив "до" и "после", но это работает только для больших эффектов, которые дают кратный рост.

Когда вы хотите детектировать маленькие эффекты, которые сложно отличить от шума метрики и сезонных колебаний, то тут даже с использованием стат. методов могут возникнуть проблемы, а уж без них это просто игра в монетку.



Давайте АБ тестировать вообще все
Т.к. мы заранее ничего не знаем и ни в чем не уверены.

АБ тесты как замена исследований
Иногда АБ тестами пытаются заменить исследования. Но надо помнить, что АБ тесты зачастую стоят дорого и требуют много времени, в то время как исследования могут быть дешевле и быстрее.

Рассмотрим гипертрофированный пример. У вас интернет магазин. Вы предполагаете, что если введете бесплатную доставку в СПб, то увеличите конверсию.

Вы хотите проверить эту гипотезу АБ тестом. Но вы не проводили исследование, а по данным аналитики мы видим, что все пользователи из Мск.

Если бы вы провели исследование, то поняли, что эту гипотезу вообще не надо проверять.

АБ тесты когда и так все понятно
Еще один пример. У вас на части продуктовых страниц сайта не было форм для заявок. Вы решаете, что это может повысить конверсию, но все ж надо АБ тестировать и запускаете АБ тест. Можно ли в этом случае обойтись без АБ теста?

Я считаю что можно, т.к. кажется крайне нелогичной ситуация, что мы добавили на часть страниц формы, где их не было и конверсия упала.

Конечно может быть ситуация, что добавили формы и поломали общий скрипт, который управляет всеми формами сайта и конверсия упала, но эта проблема не должна решаться через АБ тест. Это задача QA и тестировщиков.

Резюме
АБ тест - это просто инструмент, для решения определенного класса задач.

Сам по себе он не хороший и не плохой, у него есть ряд ограничений, которые надо учитывать при применении.

Если вы будете забивать гвоздь микроскопом и считать его плохим молотком, то проблема в микроскопе или в том кто решил забивать гвоздь микроскопом?