Минус АБ теста с триалом
Выше я выложил пост, в котором Яндекс музыка предлагает попробовать Яндекс музыку с полным функционалом в течении 30-60 дней бесплатно, а потом оплатить.

Недавно я тоже участвовал в проведении АБ теста с триалом, основной минус АБ тестов где есть триал - долгий срок сбора информации. Как правило бизнесу интересна конверсия в оплату после триала или arpu, а не конверсия в триальную версию.

Получается, что сначала нужно собрать выборку нужного размера для теста, а потом ждать еще n дней пока идет триал, после этого можно будет понять итоговую конверсию в покупку и arpu.

В целом если у продукта большая аудитория, то можно взять небольшой кусок этой аудитории и провести тест с триалом на ней, но если продукт с маленькой аудиторией, то получается, что мы должны заморозить существенную часть аудитории от других тестов на эти n дней, чтобы не внести искажения в результаты теста. Соответственно это снижает скорость развития продукта.

P.S. Конечно есть разные подходы, которые могут помочь решить описанные проблемы, например мерять не конверсию в покупку, а возможно какую-то прокси метрику, но это тоже не самая простая задача - найти хорошую прокси метрику.