Платформа АБ тестов - основные модули

Поговорим про то какие модули могут входить в платформу для АБ тестирования.

1. Сплитовалка
Это сердце любой платформы АБ тестирования. Её задача в режиме реального времени делить пользователей на эксперименты и варианты. Про основные свойства, которые должна обеспечивать сплитовалка я писал ранее. Пост 1, пост 2

2. Конфигуратор экспов (админка)
Некоторый интерфейс, через который можно задать параметры эксперимента. Выбрать аудиторию на которую запускать АБ тест, указать долю трафика и пропорции его деления по вариантам, выбрать даты старта и окончания экспа. Т.е. это такой центр планирования АБ теста.

В зависимости от "навароченности" платформы там может быть много настроек: стат параметры теста, выбор метрик, методик и прочего.

3. Источники данных и метрики
Это модуль, через который можно завести метрики и подключить источники данных для расчета этих метрик. В разных платформах это может выглядеть по разному, например параметризированные SQL запросы, на основе которых генерируются запросы в ваш DWH и считаются индивидуальные метрики для каждого АБ теста.

4. Отчетность по эксперименту
Тут все просто. Это некоторая автоматизированная отчетность, которая показывает результаты вашего эксперимента, выводит метрики, которые вы выбрали для экспа, оценивает валидность, выводит pvalue, дов интервалы и прочее.

5. Менеджмент системы
Это некоторый интерфейс, через который можно заводить пользователей, формировать иерархию команд, раздавать доступы для проведения экспов в разных частях продукта. Плюс сюда можно включить сводную отчетность по платформе и экспериментам. Например оценка win rate прошедших экспов, оценка доли валидных АБ и прочее.

6. Система контроля инцидентов и алертинга
Задача этого модуля вести оперативный контроль здоровья платформы и валидности АБ в режиме реального времени. Например контролировать, что платформа отдает правильные коды ответа сервера, что эксперименты работают и данные по ним поступают в dwh, что нет критических отклонений метрик. Если система обнаруживает инцидент, то должна оповестить ответственного за систему или отдельный эксперимент.

Прикрепил к посту картинки интерфейсов разных платформ АБ тестов