📚 Посмотрела хэндбук по A/B-тестированию от команды Trisigma (платформа экспериментов от Авито). Он оказался прям очень неплохим.

Там внутри собрана хорошая база, которую полезно освежить даже тем, кто уже давно работает с экспериментами и метриками 👀
И конечно можно повторить основы статистики: что такое дисперсия, стандартное отклонение, стандартная ошибка, типы распределения данных. Там прям хорошо разобрано. А то нет, нет, да и забывается какая-то формула или информация если это что-то прям не часто используется.

Что конкретно есть внутри:
основы A/B-тестов и типы экспериментов
как формулировать гипотезы
классификация метрик: goal / proxy / guardrail / debug
OEC и закон Кэмпбелла
ошибки в экспериментах и как не словить ложные выводы
атомарный дизайн метрик
ну и введение в матстат: дисперсия, стандартное отклонение, распределения, ЦПТ и т.д. (расчеты на примерах)

Понравилось, что всё объясняется на нормальных продуктовых примерах, даже расчеты внутри есть
Забрать можно в боте @trisigma_avito_bot за подписку на их канал.

Реклама. ООО "Авито Тех".

🔥 Вчера побывала в офисе Яндекса на Digital day!

Главная тема вечера - Яндекс Метрика. Поделюсь сухими фактами сначала:

✅ Что нового:
- ИИ-помощник (уже в бета-версии - можно тестить 👀)
- Можно смотреть средние показатели продаж по рынку, нужно только поставить галочку в настройках "Получить доступ к ответу по рынку"

✅ Ключевые инсайты (и где деньги 💰):
- Как меняется аналитика под разные индустрии
- Глубина разметки - куда копать, чтобы не тонуть в данных - Какие отчёты смотрят лидеры рынка в Метрике
- Как измеряют вовлечённость
- Где искать потери в данных и как их чинить

✅ Огонь-фишка, которую полезно изучить:
В Метрику можно передавать данные e-commerce по client_id
📌 Это значит - отслеживать офлайн-выручку и связывать её с действиями на сайте. Кейс из METRO - рабочий и успешный 🔥

В общем, было объемно и интересно🔥
А еще получилось пообщаться с разными людьми - нетворкинг в силе 🤝

И да, несколько человек зашли в канал после встречи - спасибо, что вы здесь! 👏
А чтобы быть на связи плотнее, я добавила LinkedIn в описание. Жду в контактах!

🍕🍽 Ну и, конечно, вкусно покормили - тоже важная метрика мероприятия!

Спикеры обещали прислать презу со всеми ссылками и темами. Как пришлют - прикреплю здесь!

Свежее исследование рынка аналитиков 2025 от NEWHR.
7 главных трендов рынка:

📈

Зарплаты у многих выросли, но рынок уже не летит вверх
Две трети аналитиков получили рост дохода, но чаще это было не из-за смены работы, а из-за индексации или повышения грейда. В целом рост по рынку - меньше 10%, тогда как раньше это скорее были 15–20% в год. То есть история «перешёл в новую компанию и сразу +30%» уже не выглядит нормой.

💸

Деньги стали главным фактором
Интересные задачи и развитие всё ещё важны, но зарплата впервые вышла на первое место и для удержания, и при выборе нового оффера. Очень показательный сдвиг: рынок стал более прагматичным.

🌍

Российский и международный рынки всё сильнее расходятся
Привлекательность зарубежных компаний для аналитиков из РФ за два года упала на 31%. Плюс снижается интерес к переезду: люди чаще ориентируются на тот рынок, где уже работают.

⏳

Искать работу стало дольше
77% аналитиков находят работу за 3 месяца, но год назад таких было 81%. А доля тех, кто ищет до 6 месяцев, выросла с 53% до 61%. То есть рынок не рухнул, но стал плотнее: конкуренция выше, а найм медленнее.

🏆Авито - лидер по привлекательности в качестве возможного работодателя. Хуже всех репутация у VK и Сбера.

🤖 AI и ML уже не “бонус”, а новый must-have
За год доля аналитиков, которые работают с ML-сервисами, выросла с 14% до 22%. А развивать этот навык хотят 41,5% респондентов. Похоже, для аналитиков это уже не «что-то дополнительное», а всё больше часть профессии.

🏢 Грейд влияет не только на зарплату
От него зависят ещё и скорость поиска работы, свобода выбора локации и компании. Сеньоры, принципалы и тимлиды в целом чувствуют себя на рынке увереннее.

Ну и еще разное:
Какие задачи решают аналитики сегодня
Локации и планы аналитиков на переезд
На какие компании и в каком формате работают
Как менялись зарплаты аналитиков в течение 2025 года
Сколько они получают сегодня в зависимости от специализации и грейда
Откуда пришли в профессию и как планируют развиваться дальше
ТОП и Анти-ТОП российских компаний по мнению аналитиков
Что ценят в аналитической культуре
На какие конференции ходят и за кем из экспертов следят

▶️ Вот Сайт с полными результатами

Я про вас не забыла и вот принесла кое-что интересное. Телегу замедляют, но я остаюсь тут и не хочу предлагать вам куда-то переходить. Поддержите огонечками, что вы тут и вам это по прежнему нужно!

Сегодня хочу показать удобный SQL-прием для A/B тестов: как смотреть метрику сразу по нескольким двухнедельным периодам и не размечать каждый интервал руками. Так легче заметить, метрика стабильна или скачет от периода к периоду.

В этом примере считаем такую метрику: доля пользователей, которые открыли карточку товара из целевого блока, среди всех пользователей, открывших карточку товара за период.
Логика очень простая:
берем всех уникальных пользователей, открывших карточку товара
отдельно считаем тех, кто пришел в карточку из блока Подборка для вас
делим второе на первое и получаем долю

Сгенерировала df_product_events(event_ts, user_id, event_name, event_payload).

import duckdb

import pandas as pd



query = """

with events as (

    select

        date_add(

            date '2026-02-02',

            INTERVAL (cast(14 * floor(date_diff('day', date '2026-02-02', cast(event_ts as date)) / 14.0) as integer)) DAY) as period_start,

        user_id,

        json_extract_string(event_payload, '$.source_block') as source_block

    from df_product_events

    where event_ts >= timestamp '2026-02-02 00:00:00'

      and event_ts <  timestamp '2026-03-16 00:00:00'

      and event_name = 'product_card_open'

      and nullif(trim(user_id), '') is not null

)

select

    period_start,

    period_start + INTERVAL 13 DAY as period_end,

    count(distinct user_id) as users_total,

    count(distinct case when source_block = 'Подборка для вас' then user_id end) as users_from_target_block,

    round(

        100.0 * count(distinct case when source_block = 'Подборка для вас' then user_id end)

        / count(distinct user_id),

        2

    ) as share_from_target_block

from events

group by 1, 2

order by 1

"""

result = duckdb.query(query).to_df()

Самая важная часть здесь - это расчет period_start (каждому событию назначается начало его двухнедельного периода)

Что здесь происходит:
Берем опорную дату, с которой хотим начать нарезку периодов
Через date_diff считаем, сколько дней прошло от нее до события
Делим это число на 14.0, чтобы понять, в какой двухнедельный интервал попало событие.
Через floor округляем вниз, чтобы получить номер двухнедельного интервала
потом умножаем на 14 и прибавляем к опорной дате через date_add
В итоге каждое событие автоматически попадает в нужное окно.

Например, если опорная дата - 2026-02-02, то:
событие от 2026-02-03 попадет в период с началом 2026-02-02
событие от 2026-02-14 тоже попадет туда же
а событие от 2026-02-16 уже уйдет в следующий период

Дальше все обычно: по каждому периоду считаем всех уникальных пользователей карточки товара, отдельно - пользователей из целевого блока, и получаем долю.

Мне нравится этот способ тем, что он очень легко масштабируется. Не нужно руками прописывать периоды через case when, не нужно собирать отдельные запросы под каждое окно. Один раз задали опорную дату и длину периода - и дальше запрос сам аккуратно раскладывает события как надо.

Если нужно смотреть метрику не по 14 дням, а, например, по трем неделям, меняется одно число и все. Удобно же!

В ноутбуке я еще отдельно оформила формулировку метрики в виде плашки зеленого цвета - так что можно заглянуть не только за SQL, но и за кодом такой вставки. Отделять метрику от метрики в огромных скриптах очень удобно!

Поздравляю всех девушек с 8 марта! 🌷

Пусть будет больше радости, сил, интересных задач и чтобы жизнь почаще радовала хорошими результатами… желательно со статистической значимостью 😄✨

Я тут немного выпала из канала. Но у меня есть сразу несколько поводов для радости:

✅ Закончился испытательный срок на работе 🎉
Три месяца пролетели очень быстро! Задачи интересные, команда отличная! Работаем над улучшением приложения Азбуки Вкуса! Кто ещё не скачал (Москвичи и Питерцы) - обязательно скачивайте. Там реально много прикольного и вкусного!
А если найдете там какие-то проблемы... - ну вы теперь знаете кому писать 😜

✅ 🎤 Ещё сходила на стендап (уже второй раз)
Очень необычный опыт: сидишь прямо возле сцены, атмосфера супер живая. Поняла, почему люди туда ходят не один раз 😄

✅ Ну и сам праздник! Три дня отдыха - это вам не шутки. Тут отдыхать надо со всей ответственностью 😄

А вы как проводите длинные выходные? 😊 Фото приветствуются.
Да, знаю, телега уже не та… но фоточки всё ещё поднимают метрики настроения

И вот вам A/B-тест на выходные(ну две недели такой тест не дали пока держать 😂:
🅰️ Группа A (контроль) - отдых 😄
👍 - жмём, если вы за этот вариант

🅱️ Группа B - ещё больше отдыха 😎
🔥 - если считаете, что отдыхаете ещё сильнее чем обычно.

Посмотрим, кто победит 📊

Ребята, привет! 👋

У Паши Бухтика (No Data No Growth) 2 марта стартует пятый поток по A/B-тестированию!
Вот его пост с подробностями: @nodatanogrowth1038

Я проходила этот курс в том году - было круто и очень полезно!
Следующий поток будет только осенью.

Короче, очень рекомендую🚀🚀🚀 Учеба - это вложение в себя, которое окупается!
Ссылка на его сайт

Удобная функция UNNEST в PostgreSQL для работы

Всем привет! Решила поделиться тут с вами одной полезной функцией, которую как раз недавно использовала на работе.

У нас есть массив устройств у пользователей. Но если мы хотим:
посчитать устройства
сделать join
агрегировать
считать DISTINCT
то массив нужно разложить в строки.

Представим, что у нас есть данные, где у пользователя несколько устройств лежат в массиве.
Было: 1 строка = массив устройств
Должно быть: несколько строк с пользователем = одно устройство в строке

Сначала создадим это прямо в Python

import duckdb

import pandas as pd



df = pd.DataFrame({

    "user_id": [1, 2, 3],

    "device_ids": [

        ["dev_a", "dev_b"],

        ["dev_c"],

        ["dev_d", "dev_e", "dev_f"]

    ]

})

И вот тут-то мы разворачиваем массив через UNNEST

query = """

SELECT  user_id, d AS device_id

FROM df

CROSS JOIN UNNEST(device_ids) AS t(d)

ORDER BY 1, 2

"""

result = duckdb.query(query).to_df()

Разберем необычную конструкцию CROSS JOIN UNNEST(device_ids) AS t(d)
Что вообще означает AS t(d)?
UNNEST(device_ids) - разворачивает массив
t - имя временной таблицы
d - имя колонки внутри неё

После этого d — обычная колонка, с которой можно работать как с любой другой.

Главное потом случайно не задвоить метрику когда будем соединять таблицу с таблицей заказов, например.

orders = pd.DataFrame({

    "user_id": [1, 2],

    "revenue": [100, 200]

})

Теперь делаем join после UNNEST:

query = """

SELECT df.user_id, d AS device_id, o.revenue

FROM df

CROSS JOIN UNNEST(device_ids) AS t(d)

LEFT JOIN orders o

    ON df.user_id = o.user_id

ORDER BY 1, 2

"""

result2 = duckdb.query(query).to_df()

User 1 имел revenue = 100
Но теперь эта сотка появилась два раза! 😱

Поэтому нужно быть внимательным и понимать для чего мы это делаем.

❌ Нельзя после этого просто делать SUM(revenue) по этой таблице - выручка продублируется на каждое устройство и итог “раздуется”.

✅ Но зато расшив девайсы и приджойнив user-level выручку мы можем посмотреть её рядом на строках устройств.
💡 Зачем это может быть нужно?

Например:
сколько устройств у платящих пользователей
есть ли различия между single-device и multi-device users
сколько выручки приходится на пользователей с 3+ устройствами

Мы не делим revenue по устройствам. Мы просто используем её как атрибут пользователя.

P.S Кстати, я перешла на VS Code - мне нравится. Красивый же черный фон, да? Ну и удобно видеть в структуре файлы проекта.

🔬Тут прислали исследование. Смотрим, изучаем. Я тоже где-то там есть 😄🔬

300+ экспертов и каналов, за которыми следят аналитики

В 2025 году мы в NEWHR завершили сбор данных для нашего ежегодного исследования рынка аналитиков. Такие исследования позволяют в динамике наблюдать за тем, как меняется профессия, задачи, зарплаты аналитиков, их амбиции, желанные и нежеланные компании для работы и многое другое.

Сейчас мы обрабатываем результаты, и уже готовы поделиться с вами первыми инсайтами. А именно — рейтингом экспертов отрасли и каналами, которые читают и смотрят наши респонденты-аналитики. Выборка респондентов в этом году — 1493 человека!

Полный список экспертов-аналитиков

Что вы найдёте на лендинге:

Рейтинги ТОП-15 экспертов и ТОП-30 Telegram-каналов, интересных аналитикам

Они разделены специализациям: отдельно для продуктовых, маркетинговых, дата-, веб- и BI-аналитиков и отдельно для системных и бизнес-аналитиков — потому что предпочтения отличаются.

Полные списки экспертов (100+), Telegram-каналов (130+), подкастов и YouTube-каналов которые аналитики находят интересными

Telegram-каналы для удобства разделены по темам: аналитика, обучение и карьера, BI/UX/Data Viz, Data Engineering и разработка, ML/DS, Product Managment, продуктовая и HR аналитика.

Отдельно мы выделили блок экспертов, которых читаем сами — именно к ним мы обратились за информационной поддержкой. Благодарим всех, кто помог собрать такую выборку

Полные результаты исследования мы опубликуем весной, следите за обновлениями!

Тренд на «универсалов»: кто будет востребован в аналитике в 2026?

Эра «просто аналитиков», которые умеют только собирать таблицы, проходит. Сейчас заметен четкий сигнал рынка: компаниям нужны специалисты полного цикла — те, кто понимает путь данных от сбора до принятия бизнес-решения. Знания таблиц и базового SQL больше недостаточно, если вы хотите получать приглашения на собеседования и выигрывать конкуренцию у других кандидатов.

Чтобы не тонуть в бесконечном списке требований работодателей, важно сфокусироваться на самом нужном.

Илья Ковалёв (Senior-аналитик Dodo Brands) и Наталья Рожкова (HR-эксперт) проведут прямой эфир о том, как выжить и вырасти в этой среде

На примерах из Dodo посмотрим, как вести задачу от сырых данных до рабочего дашборда.
Почему универсальные навыки стали преимуществом и как джуну соответствовать этому фильтру.
Советы от HR, как доработать резюме и отклики, чтобы «пробивать» автоматические фильтры и внимание рекрутеров.

💬 Всем зарегистрировавшимся Simulative пришлют полезный материал — карту компетенций аналитика данных со всеми нужными инструментами для освоения.

🔗 Регистрируйтесь на бесплатный вебинар

✨ Ещё пару дней - и каникулы пролетят

Мы семьёй успели всё:
две дачи - к родным и к себе 🏡
фейерверки 🎆
квадроциклы по заснеженному озеру ❄️
банька 🔥
много оливье 🥗
встречи с друзьями
застолья
и ещё раз застолья 🍽😄

И пока мы отдыхали, нашлись упорные смельчаки 💪📚, которые совершили 195 переходов по ссылке на мой бесплатный курс 🎓. Вот это я понимаю - тяга к знаниям. Уважаю 🙌

Я правда верю: мы строим свою жизнь только своими действиями и устремлениями. Можно сколько угодно мечтать и ждать знаков, но без движения ничего не случается.

И да, я могу повторять это из года в год: важно учиться, ставить цели и кайфовать от процесса, от того, как шаг за шагом идём по своему пути.

Пусть он извилистый.
Пусть не самый быстрый.
Зато наш. Особенный.

А вселенная нас точно слышит.
И правда помогает - когда мы чего-то искренне хотим.

А вообще - впереди ещё целых два дня выходных (если считать сегодняшнее утро) 😌✨ Наслаждаемся!