Стоит ли использовать пятерочки-дни в качестве единицы наблюдения в оффлайн экспериментах с магазинами?

Это пост-саммари. По результатам разбора вопроса экспертным советом нашего чата

Немного вводных
Когда нужно провести оффлайн эксперименты, например, в сети магазинов пятерочка протестировать акцию или выкладку товаров, то встает вопрос: Что взять в качестве единицы наблюдения?

- Отдельный клиент магазина. Мы не можем в одном магазине показать одному клиенту одну выкладку товара, а другому в этот же момент другую.

- Отдельный магазин. Взять в качестве единицы наблюдения отдельный магазин и по нему считать метрики. Тут проблема набрать сопоставимые выборки, т.к. магазинов относительно мало и все они могут сильно отличаться друг от друга по расположению, клиентопотоку и прочему. Кроме этого выборки будут маленькие, а нам бы хотелось бы дисперсию поменьше.

- Пятерочко - дни. Взять в качестве наблюдения каждый отдельный день эксперимента в магазине. Тут тоже все далеко не гладко. Одни и те же люди ходят в магазин, интерьер магазинов и персонал в них один и тот же.

Между днями может быть зависимость обусловленная этими особенностями. Зависимость в данных может способствовать увеличению числа ошибок первого рода в таких экспериментах, больше чем альфа.

Ниже еще важные нюансы и предложения по этой ситуации

1. Нужно подбирать не просто пятерочка-дни, а пятерочка-"кластер_времени", когда подобранные на А/А при прогоне ~10к итерации будет контроль ошибки 1го рода на заданном уровне. И не факт, что это (как затея) сработает, сразу скажу!

Для прочих: основная идея пятерочка-дней в том, что работают, скажем, две разные смены, а значит эта точка не столько единый магазин, сколько две "разные" точки. В этом смысле у нас, с некоторыми оговорками, увеличиваются данные на тест за тот же период.
(с) Сергей Матросов

2. Допущения о независимости пятерочко-дней зависят от самой сути эксперимента, в каких то случаях это возможно верное утверждение но в других скорее всего нет. Ибо локацию точка не меняет , ремонт, размер и прочие фичи , которые наверное могут быть важны в каких то ситуациях
(с) Дмитрий Варсанович

3. Я бы просто в регрессионную модель положил эти смены, дни недели и что там ещё вас смущает как ковариаты. Дёшево и сердито.
(c) Матвей Славенко

4. Пятерочка-дни мусор. Используй causal inference
(c) Анонимный источник из X5

5. Ссылка на пост Валеры Бабушкина