Борзило
@y_borzilo
🗂 Мои посты про АБ тесты
1. Минус АБ теста с триалом
2. Анализ АБ тестов с помощью Retentioneering
3. Почему не стоит выкатывать тестовый вариант, если был получен статистически не значимый результат в АБ тесте?
4. Что влияет на размер выборки и длительность АБ теста?
5. Где брать сильные гипотезы для роста конверсии?
6. Выбор метрик для АБ теста воронки
7. SRM(sample ratio mismatch) - несоответствие соотношения выборок
8. Почему важно учитывать недельную сезонность при планировании срока проведения АБ теста?
9. 5 направлений в которых вы можете накосячить при запуске АБ тестов
10. Интересное исследование от optimizely (платформа АБ тестов)
11. Часть 1. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
12. Часть 2. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
13. Часть 3. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
14. Айсберг АБ тестов
15. Прокси метрики в АБ тестах
16. Доктор, у меня АА тест прокрасился. Это норма?
17. Часть 1. Как проверить корректность системы сплитования трафика для АБ тестов?
18. Часть 2. Как проверить корректность системы сплитования трафика для АБ тестов?
19. Условие применимости t testа
20. Выбросы в АБ тестах. Удалять или нет?
21. Вкалывают роботы, а не человек. Как chat GPT мне АБ тест посчитал?
22. Две крайности АБ тестирования
23. Проверка валидности результатов АБ тестирования
24. Как подобрать уровень значимости α и мощность для АБ теста?
25. Метрики для АБ тестов
26. Peeking problem - проблема подглядывания в АБ тестах или почему не стоит стопать эксп раньше времени
27. Ошибка первого рода, альфа, p-value. В чем разница?
28. 4 подхода к работе с защитными метриками в АБ тесте
29. SRM. Калькулятор и обсуждение
30. Как проводить больше успешных АБ тестов в единицу времени? Часть 1
31. Как проводить больше успешных АБ тестов в единицу времени? Часть 2
32. Число пользователей страницы не равно числу пользователей, которые попадут под экспериментальное воздействие
33. Почему дисбаланс выборок считается серьезной проблемой?
34. Чем отличается хорошая гипотеза от плохой?
35. Проверка гипотез ≠ АБ тесты
36. Почему не корректно брать для расчета результатов АБ теста только пользователей взаимодействовавших с фичей?
37. Анализ результата АБ теста
38. Чек- лист: 30 ошибок, которые можно допустить при проведении АБ теста
39. Чек- лист: проблемы, которые могут вызывать SRM(дисбаланс выборок)
40. Мысль про односторонний/двусторонний тест
41. Почему важен размер выборки в АБ тестах?
42. Связь гипотеза - аудитория в АБ тесте
43. Что такое экспериментальная культура?
44. 10 вопросов про метрики, которые стоит задать себе при дизайне АБ теста
45. Чек-лист для проверки валидности платформы АБ тестирования
46. Как начать делать АБ тесты в компании, если вы их еще не делаете?
47. Базовые требования к модулю сплитования АБ тестов
48. Базовые требования к модулю сплитования АБ тестов. Часть 2
49. Платформа АБ тестов - основные модули
50. Схемы проведения АБ тестов
51. АА тесты какие и когда применять
52. Список вопросов для диагностики АБ тестов в командах
53. Эффекты первичности и новизны в АБ тестах
54. Как понять, что пора делать АБ тесты и понять, что это даст ценность для бизнеса?
55. Да как разобраться в этих стат критериях?
56. Наглядно про ошибку первого рода
57. Стоит ли смотреть на устойчивость p-value во времени
58. Ухудшающие АБ тесты
59. Что такое АБ тест
60. Чем плох анализ эффекта до/после релиза фичи?
61. 30% стат значимых АБ ложноположительные, но у меня же альфа 5%?
62. Давайте увеличим трафик на период проведения эксперимента?
63. Ошибки при оценке SRM
64. 5 реальных причин SRM с которыми я сталкивался на практике
65. Чем отличается АБ тест и пилотный эксперимент?
66. Дисперсия -священная корова АБ тестов
67. Стоит ли использовать пятерочка-дни?
68. Почему АБ тест - это НЕ идеальный инструмент оценки изменений
69. 7 мифов про АБ
70. 6 советов как учить статистику
71. Мифы про АБ ч2
1. Минус АБ теста с триалом
2. Анализ АБ тестов с помощью Retentioneering
3. Почему не стоит выкатывать тестовый вариант, если был получен статистически не значимый результат в АБ тесте?
4. Что влияет на размер выборки и длительность АБ теста?
5. Где брать сильные гипотезы для роста конверсии?
6. Выбор метрик для АБ теста воронки
7. SRM(sample ratio mismatch) - несоответствие соотношения выборок
8. Почему важно учитывать недельную сезонность при планировании срока проведения АБ теста?
9. 5 направлений в которых вы можете накосячить при запуске АБ тестов
10. Интересное исследование от optimizely (платформа АБ тестов)
11. Часть 1. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
12. Часть 2. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
13. Часть 3. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
14. Айсберг АБ тестов
15. Прокси метрики в АБ тестах
16. Доктор, у меня АА тест прокрасился. Это норма?
17. Часть 1. Как проверить корректность системы сплитования трафика для АБ тестов?
18. Часть 2. Как проверить корректность системы сплитования трафика для АБ тестов?
19. Условие применимости t testа
20. Выбросы в АБ тестах. Удалять или нет?
21. Вкалывают роботы, а не человек. Как chat GPT мне АБ тест посчитал?
22. Две крайности АБ тестирования
23. Проверка валидности результатов АБ тестирования
24. Как подобрать уровень значимости α и мощность для АБ теста?
25. Метрики для АБ тестов
26. Peeking problem - проблема подглядывания в АБ тестах или почему не стоит стопать эксп раньше времени
27. Ошибка первого рода, альфа, p-value. В чем разница?
28. 4 подхода к работе с защитными метриками в АБ тесте
29. SRM. Калькулятор и обсуждение
30. Как проводить больше успешных АБ тестов в единицу времени? Часть 1
31. Как проводить больше успешных АБ тестов в единицу времени? Часть 2
32. Число пользователей страницы не равно числу пользователей, которые попадут под экспериментальное воздействие
33. Почему дисбаланс выборок считается серьезной проблемой?
34. Чем отличается хорошая гипотеза от плохой?
35. Проверка гипотез ≠ АБ тесты
36. Почему не корректно брать для расчета результатов АБ теста только пользователей взаимодействовавших с фичей?
37. Анализ результата АБ теста
38. Чек- лист: 30 ошибок, которые можно допустить при проведении АБ теста
39. Чек- лист: проблемы, которые могут вызывать SRM(дисбаланс выборок)
40. Мысль про односторонний/двусторонний тест
41. Почему важен размер выборки в АБ тестах?
42. Связь гипотеза - аудитория в АБ тесте
43. Что такое экспериментальная культура?
44. 10 вопросов про метрики, которые стоит задать себе при дизайне АБ теста
45. Чек-лист для проверки валидности платформы АБ тестирования
46. Как начать делать АБ тесты в компании, если вы их еще не делаете?
47. Базовые требования к модулю сплитования АБ тестов
48. Базовые требования к модулю сплитования АБ тестов. Часть 2
49. Платформа АБ тестов - основные модули
50. Схемы проведения АБ тестов
51. АА тесты какие и когда применять
52. Список вопросов для диагностики АБ тестов в командах
53. Эффекты первичности и новизны в АБ тестах
54. Как понять, что пора делать АБ тесты и понять, что это даст ценность для бизнеса?
55. Да как разобраться в этих стат критериях?
56. Наглядно про ошибку первого рода
57. Стоит ли смотреть на устойчивость p-value во времени
58. Ухудшающие АБ тесты
59. Что такое АБ тест
60. Чем плох анализ эффекта до/после релиза фичи?
61. 30% стат значимых АБ ложноположительные, но у меня же альфа 5%?
62. Давайте увеличим трафик на период проведения эксперимента?
63. Ошибки при оценке SRM
64. 5 реальных причин SRM с которыми я сталкивался на практике
65. Чем отличается АБ тест и пилотный эксперимент?
66. Дисперсия -священная корова АБ тестов
67. Стоит ли использовать пятерочка-дни?
68. Почему АБ тест - это НЕ идеальный инструмент оценки изменений
69. 7 мифов про АБ
70. 6 советов как учить статистику
71. Мифы про АБ ч2
Telegram
Борзило
Минус АБ теста с триалом
Выше я выложил пост, в котором Яндекс музыка предлагает попробовать Яндекс музыку с полным функционалом в течении 30-60 дней бесплатно, а потом оплатить.
Недавно я тоже участвовал в проведении АБ теста с триалом, основной минус АБ тестов где есть триал - долгий срок сбора информации. Как правило бизнесу интересна конверсия в оплату после триала или arpu, а не конверсия в триальную версию.
Получается, что сначала нужно собрать выборку нужного размера для теста, а потом ждать еще n дней пока идет триал, после этого можно будет понять итоговую конверсию в покупку и arpu.
В целом если у продукта большая аудитория, то можно взять небольшой кусок этой аудитории и провести тест с триалом на ней, но если продукт с маленькой аудиторией, то получается, что мы должны заморозить существенную часть аудитории от других тестов на эти n дней, чтобы не внести искажения в результаты теста. Соответственно это снижает скорость развития продукта.
P.S. Конечно есть разные подходы, которые могут помочь…
🔥 106
❤ 13
👍 3
11 1.3K 13.2K
Обсуждение 11
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram