Вышла замуж про температуре 40 (даже 43) с кольцами единорожками

Это я женился приколите

H₁₄₇ — дизрапт или дестрой?

В этом квартале мы делаем много инноваций: автоаналитику про которую я говорил ранее и теперь еще одно очень сильно продуктовое изменение — будем делать ИИ звонки, чтобы на масштабе разрывать связь мошенника и жертвы.

Но пока ты бежишь вперед остается техдолг, а техдолг потом не дает бежать вперед, это как будто каждый километр тебе добавляют утяжелитель на 1кг: первые несколько ты не сильно ощущаешь, но вот через какое-то количество становится очень трудно.

Утяжелитель можно снять и побежать дальше, но что если чтобы его снять надо пробежать 1км назад и потом ты сможешь бежать без него?

В общем есть у нас ИИ-агент исследователь, он старый, ему уже 2 квартала (совсем ИИ-дед). Причем он постоянно развивается, но части становятся громоздкими. Так он построен. Решили нежно его отрефакторить, разбить некоторые громоздкие шаги на несколько, удобных: чтобы можно было не все сразу делать, а часть вообще делать параллельно.

В целом это возможно, но в ходе исследования наша дата-саентистка посмотрела практику коллег и некоторые уже сделали агентскую систему еще агентнее! Там все как в лучших подкастах: генерация тредов, внутри них идет расследование пока не закроется главная задача — миссия агента. Идет репликация, все соединяется.

И вот интуитивно, да и на практике вроде круто это кажется. Но KPI то мы перевыполнили больше, чем на 150% с дед агентом, а остальные нет. Понятно, что так было удобнее и что новый подход кажется логичным. Но стоит ли брать этот большой кусок и делать. Итеративно пока не кажется, что получится, но ищем варианты. Пока это one-way-door.

Вот думаю: дизрапт это и все полетит или дестрой и все поломается. Побежав свой километр назад, сняв утяжелитель и вернувшись в исходную точку не остану ли я в забеге в котором в целом на хорошей позиции?

Узнаем в следующих сериях.

H₁₄₆ — пишу статью с помощью басни

Я после самой большой в Европе конфы по экспериментам вписался писать статью. Компания приятная, название хайповое. Цель повторить или даже превзойти успех нашумевшей в свое время Top challenges from the first practical online controlled experiments summit. Состав более европейский: Спотифай, Заландо, Рома Филев, Букинг. Ну вобщем понятный логический ряд.

Моя зона ответственности тема Quality / Velocity Trade-Off. На самой конфе ее много обсуждали, я все кропотливо заносил в заметки с соавтором. Потом на след день у нас был воркшоп, где я, мой соавтор и еще 10 экспертов из области разгоняли тему, делились опытом, рисовали на доске, в общем бурлила работа. Я все кропотливо записал на Гранолу. Прям несколько раундов дискуссии.

Как многие из вас знают господа из Антропика разрешили нам попользоваться Fable еще немного и до 7 июля каждый смертный с подпиской может поиграть с моделью следующего поколения.

Насобирал контекст из заметок, Гранолы, чужих имейлов, оригинальной статьи и базы знаний, которая доступна вам по ссылке, шок как нам всем повезло... Добавил поверх четко структуру и идею как я ее вижу ——->>>> получил очень неплохой драфт (шок). Делал на Fable с порядочным уровнем ризонинга, он прям думал, вдумывался, вопросы мне позадовал, но в план моде за пару правок определились что он сделает и я смотрю на очень приятный документ. Магия

Или нет?
На самом деле очень редко доволен ллм-документами, ну не умеет сетка структурировать мысли достаточно хорошо, поэтому структурой, идеей, целью и посылом надо управлять самому. Она хорошо работает с контекстом, редактурой, но не идеей и смыслом. Так и тут: смысл, посылы и структура были переданы мной. Стиль был тоже мой (в корпусе знаний есть мой телеграм канал как минимум). Клод зная все это очень хорошо выполнил роль складывателя информации по тз, но уровень качества от пары итераций по мне сильно выше, чем был раньше. То есть фейбл что-то могет.

Конечно еще буду вычитывать/править/переделывать, ну и ревью авторского состава никто не отменял. Ждете статью? Попробуете угадать какой там набор тем? Го в комменты

H₁₄₅ — мой неоновый план

В пятницу вечером сильно грузить не хочется. Расскажу прикольное изменение которое в своей работе заметил.
Я сейчас много работаю чисто в консоли с клодом: жира, ноутбуки, даже разные платформы наши дергаю из него и это просто серый экран по большому счету и на графики еще смотрю.

И тут я подумал: а почему? Неужели это удобно так? Когда-то, удобно, но часто нет. Хватит это терпеть! (решил я)
Хочу свой роадмап из жиры и мд файлики в репозитории превратить в интерактивную страницу и чтобы я мог по ней перемещаться и все было с последними примерами решения и открытыми вопросами по каждому эпику! (сказал я Клоду) ((ну может не прямо так сказал, а получше требования изъявил и на английском, но вы поняли меня))

И мне выдалась интерактивнейшая страница, которая очень прикольно отражает мои мысли, всегда видит актуальное состояние прода в платформах и по коду и апдейтит роадмап + она красивая неоновая с темной темой

Я по ней прохожусь, прокликиваю что мне нравится и что нет, потом могу дать фидбек клоду в консоли и увидеть новый результат, версионность соблюдается, презентуется на ура, а еще мне просто веселее с этим работать.

Теперь часто генерю такие странички себе и коллегам, есть, конечно, к стилю игривому замечания, но пока с этим работать приятнее и удобнее

Советую вам попробовать. Если есть какой-то сеточный лайфхак — делитес в комментариях

H₁₄₄ — квартал закрыт, да здравствует квартал

Ну что ж, вот и подошел к концу мой первый от и до запланированный и закрытый квартал в Революте.

Главным KPI было уменьшение участия людей в процессе, внедряли много AI, много узнали про себя, по пути доделывали платформу. Поупражнялся в офлайн экспериментах на процессах с большим количеством неопределенности, весело. Придется упражняться дальше.

Но главное, что цель закрыли на 150%, то есть план перевыполнен, уровень автоматизации уже скребется об 100% и самое приятное понятно как до него дойти.

Фрод хоть и близился к рекордно низкому за 2 года показателю, но тут немного не дожал, в этом квартале уделю этому больше времени и у этой цели теперь вес в общем зачете повыше. Есть большая уверенность, что фрод будет побежден. Посмотрим как пойдет, но я уже накидал роадмап и всем все понятно, а это хороший знак, начало лучше, чем в прошлом квартале)

Будет много веселого, но пожалуй жемчужиной будет майлстоун, который станет заменять меня, аналитиков и опсов в процессе анализа кейсов, будем строить систему, которая сама в себе будет искать уязвимости и тестировать гипотезы по улучшению. Вообще то, что можно себя скоро заменить и переключиться на еще более высокий уровень абстракции меня очень вдохновляет, кажется реально становлюсь AI-first. Прототипируется быстро, как продукцианализировать становится очень понятно тоже.

Таким образом общий зачет я закончил на 100% достижении взвешенных целей ровно (а за день до подведение итогов был 101% обидно🥲)
Где-то не дожал, где-то превзошел свои и менеджмента ожидания.

Научился делать демки, которые заходят + которые нравятся мне самому, могу как-нибудь посвятить пост своему фреймворку презентации результатов, чтобы разблокировать контент не стесняйтесь пользоваться комментариями и реакциями.

Очень нравится тот уровень технологий и глобальности, который мне доступен. Кстати предзаказы ГТА 6 прошли без происшествий, если кто-то переживал! Никаких волн скама не пропустили, поиграют наши клиенты без горького послевкусия.

Работаем дальше

H₁₄₃ -- давай сыграем в игру?

Уже сотни человек поиграло в квиз, решило больше тысячи задачек и, конечно, мне не хочется останавливаться на достигнутом)

Я пообщался с игроками квиза и понял, что многим не хватает «иммерсивности»: погружения в решение кейса — сейчас каждый вопрос идёт из отдельного сюжета, и вместе они не связаны.

Что ж, встречайте: квесты!

Теперь игрокам доступен новый режим: цепочка вопросов, которая формирует единый кейс, и разбор в конце.

Квизы так и останутся раз в 2 дня, а квест будет доступен пока что раз в неделю бесплатно, а подписчикам — 3 квеста в неделю и полный разбор полётов)

H₁₄₂ — доИИгрался

Недавно я рассказывал, что делаю на работе такую автоматизацию аналитики: ищет фрод паттерны, сэмплирует много кейсов, кластеризует их и тд

Докрутил, добавл бектест, контекст о проде и планах, текущих тестах: теперь система понимает и может проверить на ретро данных свои идеи и выдать только то, что лучше всего попробовать, а также бегло оценить то, что уже идет.

Скоро добавлю новостную ленту для агента-инвестигатора, чтобы можно было в реальном времени читать "новости" про трендовый фрод и реагировать. Например недавно были продажи ГТА 6 и oh boy we were ready 😎

Эта тема хайпанула на уровне всего департамента, так что... теперь я буду делать такую систему для всего финкрайма как один из своих майлстоунов. Уже есть много амбициозных планов, но я в целом верю, что фрод мы сильно хакнем, про результаты второго квартала немного рано говорить, но есть шанс пробить рекорд по абсолютному объему за несколько лет, а уж относительный сами понимаете тогда на каком низком уровне.
По сути это снимает часть расследований с продактов, опсов и аналитиков, давай возможность выходить за рамки.

В общем буду теперь еще глубже погружаться во все схемы финансовых преступлений и как их автодетектить, чтобы наши многочисленные агенты могли пользоваться и защищать клиентов)

Похвастался, а теперь о принципах, которые нужны и важны.

1. Обвязка (harness) — я много уделяю внимания тому, чтобы был доступ только к нужным данным, он был стабильный и агент знал, что с этим делать. Контекст тоже весь и не из документации, а я настроил, чтобы само состояния прода интерпретировалось в понятную агенту схему. А то знаете ли: дока не прод, только прод прод. Ауф
2. Концпеция непрерывного развития. Тут надо придумать себе лосс функцию и оптимизировать агентскими системами. Например я уменьшаю фрод, не увеличивая хедкаунт и негатив пользователей. Научиться ее вычислять и давать системе фидбек. Вот тут система еще не автономна у меня, но надеюсь в течение нескольких месяцев это изменится.

Знаю, что задолжал вам вебинар, запустим в пн курс и займусь ИИзацией, все помню.

Такой вот по лайту рассказ вам на пятницу

H₁₄₁ — вместо шаурмы я сравнил вас с ИИ

За целых 2.35 доллара я узнал, что вопросы на квиз ИИ-шка довольно легко зарешивает.

Значит ли, что аналитов можно и в АБ заменить? Нет! Вопросы на квизе даже в сложности ультра на мой взгляж — миддл сложность. Если помните крышесносный квиз, то там 1 человек не из нашей команды смог набрать максимум и среди 500 человек больше 70% не смогло решить больше половины.

Так что понимаем, что ИИ-шкой можно конвееризировать простые задачки (что я уже успешно делаю и довольно давно, в Т и тем более в Революте).

Ботик отлично тренирует решать простые задачки, а значит пора нам с вами двигаться дальше!
Буду разрабатывать beast-mode quiz и кое-что на сладенькое еще, ждем релиз в воскресенье. (ждать надо ракетами под постом)

А пока ждете релиз еще раз подумайте над запрыгиванием в последний вагон на курс. (29 июня стартуем!!)
Сможете решать то, что ИИ-шка нет, а ваше чувство собственного достоинства пронзит небеса, потянув за собой зарплату

Проверить себя в квизе можно по ссылке

H₁₄₀ -- давайте закрывать пробелы

В квиз @expertmaker_bot поиграло уже несколько сотен человек, да и самых квизов было достаточно много, чтобы я смог проанализировать, что западает у людей больше всего.

На картинке выше вы видите топ проблемных тем: больше половины людей ошибаются в вопросах на размер выборки, статкритерии и проблему множественных сравнений.

А ведь именно эти темы часто руинят на первый взгляд правильный эксперимент.

Что ж: давайте их практиковать вместе, по кнопке внизу вас ждет суперигра -- 15 вопросов, 5 по каждой из топ 3 тем с нарастающей сложностью и бесплатный разбор первого вопроса в котором вы ошиблись.

Такой вот подарочек от меня на выходные!
Делитесь с друзьями, давайте осваивать эксперименты вместе)

H₁₃₉ — а может этот ваш ИИ пользователей тоже заменит?

Такой вот веселый заголовок пришел в голову после очередного поста про ИИ-юзеров вместо реальных. Идея простая: зачем нам ждать недели до набора выборки и вызревания метрики в АБ, если мы можем нажечь токенов и напустить ИИ-агентов проходить А/Б-тестируемые сценарии, собирать метрики и катить лучшее день-в-день.

А чего вы ждали в пятницу, кроме надежд на легкую жизнь???

Что ж, интересная идея. А теперь подумайте: насколько ваш чат-гпт/дип-сик/клод/гемини и далее по списку похож на вас самих?
Многие скажут: мы доучим на прошлых экспериментах и данных наших юзеров. Может быть. Но если агенты могут писать код или тексты еще не значит, что они могут заменять людей.

Спотифай даже тщательно поработал, попробовал дотюнить и проверить это утверждение, вот, что пишет Mårten Schultzberg:

Ключевое различие: рандомизированный эксперимент выявляет эффект воздействия за счёт дизайна. LLM-суррогат выявляет его только за счёт допущений.

Мы формализовали эти допущения через теорию суррогатных конечных точек и проверили их на примерно 3 600 реальных A/B-экспериментах из Upworthy Research Archive. Сырые предсказания LLM восстановили лишь 39% истинного эффекта от воздействий на людей. Калибровка этих предсказаний на исторических данных сократила разрыв, но только при двух условиях, которые невозможно проверить для воздействий, которые вы ещё никогда не тестировали.

То есть тестироваться вы так можете, иногда будете правы, гарантий нет, но в итоге все равно на данном этапе уж кого-кого, но наших юзеров агенты не заменят.

Но! Я тут подумал: ок, мы далеки от таких симуляций сейчас, но ведь и юзерами являются больше не только люди, но и сами агенты )

То есть мы можем найти такие подсценарии, где решения принимают ИИ-агенты, их симулировать должно быть проще, то есть вот как раз там мы можем попытаться получить заветное ускорение. Пожалуй займусь этим как-нибудь в Q5, но идея красивая.

Нас с вами, кстати, ИИ заменить уже очень спешит, по ожиотажу на обучение "аналитику нового времени" из реакций выше мне кажется многие разделяют позицию.
А я еще раз напомню, что это 2 кита: ИИ грамотность и очень фундаментальные харды, каждый под соусом бизнес-приложения. И именно хардам в соусе бизнеса можно начать учиться 29 июня на нашем курсе. 👈 тык и в будущее прыг

H₁₃₈ — как я делаю авто-аналитику

На вчерашнем вебинаре затронули интересную тему: а какое будущее у профессии аналитика, на что целиться сегодняшним джунам?

Мое имхо: на среднесрочном горизонте профессия как таковая будет трансформироваться и большинство задач аналитиков изменятся.

Например я сам, 1 человечек, сделал авто-ресерч агента, который может взять наши KPI, отследить плохие тренды, отсемлпировать кейсы, вчитаться в них и собрать "архетипы проблем". В моем случае это векторы атаки на пользователей.
Такой агент делает работу которую руками человек бы сделал за конечное, но очень большое время. У агента уходит 10мин и цикл закрытия проблем ускорился заметно (я возможно достигну рекордно низкого уровня фрода).
Структура исследования агента, каждый тул и скилл что ему делать и как, а также выверка ответов на большом числе кейсов — все делал я, то есть без человека это невозможно все еще. Но навыки нужны уже не те же, что чаще всего есть у аналитика. Питон и SQL скоро вообще синьора от джуна отличать не будет.

Как будет меняться профессия?

Как я уже и писал:
1. Аналитик должен уметь формировать среду в которой агент сможет правильно копать данные за него: контекст для понимания, тулы для забора данных, валидация и отладка — адхоки выйдут на новый скейл и их уже много где не люди делают. Аналитик — оператор этого процесса, а не исполнитель
2. Аналитик должен уметь доставлять пользу бизнесу через абстракции более сложные: уметь делать сложные эксперименты, строить модели, которые позволяют улучшить текущие продуктовые эффекты

Весь пункт 1 сейчас легко нарабатывается практикой, но если вы хотите от меня учебный материал — ставим 🚀

Пункт 2 от и до формируется на нашем курсе который стартует 29 июня. Это лучший учебный материал на рынке, как с помощью математики приносить бизнесу пользу. Потому что его делали люди, которые достигли и достигают в этом больших результатов, то есть кто варится в реальной проблематике, а не варился в ней когда-то давно. По сути вы пройдете весь путь, который прошли мы создавая Principal DS в Т-Банке как сущность. Понятно, что сразу Proncipal вы не станете (простите, но факт), зато фундамент необходимый появится.