Будущее консалтинга, или Отчет, в который можно "войти"

Сегодня разговаривал с консультантами о том, как меняется аутпут их работы: классическая история - поработали-поработали, написали отчет, презентовали. Но дальше он пылится в рамках отдела, заказавшего исследование...

Потому было интересно поразгонять, а как повысить усваиваемость и применение выводов и рекомендаций - мои 4 мысли:

1) Интерактивный прототип, а не презентация - вместо того, чтобы результаты исследования подавать в виде отчета/презентации, можно делать прототипы, в которых заказчик мог бы "взаимодействовать" с результатами в режиме "а что если?" или, к примеру, поговорить с персоной, которую выявили в результате исследования, или проследить логическую цепочку от входных данных через рассуждения к выводам.

2) Плагин/набор скиллов - который помог бы не только заказчику исследования применить его результаты (например, маркетинг), НО и другим подразделениям (например, разработка продукта). Вот как я рассказывал на стриме по team os с onsa copy, например. Иногда терминология одной команды делает невозможным не только применение, но даже и восприятие результатов другой командой - вот преодолеть эти барьеры, сделать результаты прикладными, помочь перевести смысл в действие - идея в этом

3) Видео - видео с помощью скилла, что я шерил ранее, или полностью сгенерированное в условном seedance, чтобы показать образ будущего, вызвать эмоции, помочь примерить на себя. Например, как тут по мотивам AI 2027

4) Игра или симуляция - как продолжение (1) и (3), как я недавно делал с Рыболовством, и как завещал Шварц в The Art of the Long View.

А после звонка задумался: если условная Консалтинг Ко вот так изменит свои деливераблс, то это все еще консалтинг или уже продуктовая компания? o__O

Как я теперь копаю проблемы на пару с дружбаном?

Почему у нас не растёт выручка? Задай это команде — и каждый ответит из своего угла. Sales скажет: продукт долго запускается. Те, кто запускает: Sales подписывает контракт, когда половины данных ещё нет. Маркетинг кивнёт на воронку. Все правы по-своему — и никто не видит систему целиком. Я годами вытаскивал это руками: сажаешь людей в комнату, формулируешь проблему как нежелательное явление и спрашиваешь «почему?» — пока не спустишься к корневой проблеме.

По сути это два старых инструмента в одном: 5 почему Тойоты и дерево текущей действительности Голдратта. На днях завернул это в skill для Claude Code, прогнал на реальных проблемах — и прямо впечатлился инсайтами!

Что зацепило:

1) Он думает шире меня. Разбирали, почему один процесс работает хуже бенчмарка — агент нашёл обоснование, которого я в голове не держал, и заодно переформулировал саму мою постановку проблемы. Потому что идёт вширь десятком линз сразу и параллельно ищет в интернете, и в ваших данных, а не крутит одну привычную нитку.

2) Каждое «почему» помечено: факт или гипотеза? Это видно в данных — или агент просто предположил? Люди ведь часто говорят «ну, наверное, из-за этого» — а тут отдельные скептики берут каждый лист и докапываются: «у нас мало сайнапов» — а ты посмотрел сколько? Окей, X в неделю — а почему ты решил, что это мало? Что не подтвердилось — выкидывается или помечается как "предположение".

3) Даже когда данных нет — он говорит, каких именно не хватает. Один клиент попросил оценить ROI всего их процесса, часть которого выполняют наши AI агенты; данных по их части у меня, понятно, нет. Вместо «извини, не посчитаю» я прогнал через дерево и получил точную постановку: вот ровно эти цифры дадут ответ. Она ушла собирать их у маркетолога. Дерево превратило «я не знаю» в «вот что нужно узнать, чтобы ответить на вопрос».

Под капотом рой агентов копает «почему-почему-почему» вглубь по каждой линзе, склеивает похожие ветки, скептики проверяют листы дерева — и десятки причин сходятся к нескольким корням и одному узкому месту. На выходе — дерево с визуализацией.

Внимание: очень много токенов! Я юзаю workflows фичу Claude Code и такой анализ быстро может обойтись в копеечку — поэтому сделал 2 варианта поиска Standard/Deep. Deep — это ~50 агентов и 3-4M токенов, поэтому лучше пробовать на проблемах, того стоящих. Скилл в любом случае предупредит и предложит выбрать глубину поиска.

Как уже сказал выше, заюзал его на 5 реальных проблемах и ОЧЕНЬ доволен инсайтами, НО может у меня bias, поэтому попробуйте и дайте знать, помогло вам или зря потратили токены.

https://github.com/BayramAnnakov/systems-thinking-skills/tree/main/skills/why-tree

На днях из подкаста узнал занимательный факт, в который я сначала не поверил и полез проверять: последние пару веков доля труда (labor share) в доходе экономики держится около 60%. Через промышленную революцию, конвейер, компьютеры — стабильно ~60% уходит людям в виде зарплат.

Так вот, у Дваркеша Имас (Deepmind, упоминал его работу тут) и Траммелл (Epoch) задаются вопросом: сломает ли AI эту константу? И если да, то как именно?

TLDR: через цену.

Логика следующая:
1) машинная экономика бесконечно плодит сама себя — один робот превращается в много роботов, а значит полезность каждого следующего стремится к нулю (по экономике второе мороженое не такое классное как первое, но все же классное);
2) спрос на человеческое (балет, «живой» бариста, ручная работа) — фиксирован;
3) поэтому доля человека в общем пироге может схлопываться даже при полной занятости.

Один робот в следующем году превращается в много роботов, а число балерин — то же самое

Так за что тогда платят человеку? Их ответ — сектор "отношений" (relational sector), где ценность в том, что человек участвовал в создании этого товара/услуги. Имас провел забавный эксперимент: продавал один и тот же арт-принт с надписью «сделан человеком» vs «сделан AI». За человеческий ожидаемо платят заметно больше, НО премия схлопывается, как только тираж растёт до 500 (связь с «тем самым автором» теряется). У AI-версии разницы нет вообще: AI уже воспринимается как commodity.

Вот и у меня под окном есть робо-кофейня и почему-то никогда в нее не вижу очередь, в отличие от другой - человеческой - рядом.

К чему я это?

Relational sector — это про «сделано человеком», про происхождение. И это makes sense, но мне кажется, это хрупкая, нишевая премия (суши от Jiro плохо масштабируются). Куда устойчивее, по-моему, другая: премия не за «сделано человеком», а за «человек подписался под результатом». За принятие ответственности.

Как раз это мы недавно обсуждали на стриме про AGI Economics: в новой экономике организации платят не за работу (работу делает агент, harness её верифицирует) — а за то, что кто-то берёт на себя риск. По сути, бизнес становится страховщиком собственного результата. Как сформулировал один из AI нейтивов:

Раньше мы продавали работу. Теперь работа стоит ноль — её сделает любой. Продавать будем то, что не каждый может: закоммититься под исход.

Это и есть страхование.

Но за ответственность готовы платить не везде - скорее там, где она обусловлена регуляторно или договором:
1) аудитор подписывает финансовую отчётность, а инженер ставит штамп на проекте — расчёты давно делает софт, но отвечать по закону должен лицензированный человек, и платят именно за эту подпись;
2) в штате Utah AI продлевает рецепты на хронические препараты — врачи соглашались с его решениями в ~91% случаев, к качеству вопросов почти нет. Но подписать рецепт по правилам всё равно должен лицензированный человек, а медсовет (11 из 14 врачей) и вовсе потребовал пилот приостановить. Человек тут не из-за точности AI — а чтобы было кому отвечать.

Собственно, вопрос, на который я считаю нам всем надо ответить: за какую ошибку клиента засудят / уволят / оштрафуют (ответственность) или какой тип ЧЕЛОВЕЧЕСКОЙ деятельности для клиента значим и за него он будет готов платить премию?

Ушёл думать...

Как построить свою TeamOS?

Выкладываю запись пятничного стрима про TeamOS - enjoy!

Стартовый репозиторий тут + материалы от Гаяра (спасибо ему!) - в комментарии к посту.

Ну а если надумаете сделать свой - welcome.

Пытались "похоронить" океан с 13ю системномыслящими на прошлой неделе. Не особо получилось — и это оказалось интереснее, чем если бы получилось.

Рассказываю. На курсе по системному мышлению мы играли в Рыболовство (Fish Banks) — классику системного мышления. Вы — рыболовные компании на одном океане, цель до неприличия простая: налови побольше рыбы, заработай побольше кэша. Подвох не в правилах, а в структуре: рыба "общая", решения приватные и в условиях конкуренции, у каждого решения инерция 3 года. И каждая команда, преследуя свои рациональные цели, разрушает общий ресурс, от которого зависит как их личное благососотояние, так и оное других. Обычно к 6-7 раунду все вылавливают рыбу в ноль и банкротятся — трагедия общих ресурсов, в реальности так вымирали целые рыбацкие города. Ну я, как водится, зарядил симуляцию, и сел ждать коллапса, потирая руки...

А они выжили. Все три команды, в плюсе, океан живой o__O. Скриншоты в аттаче

И только на дебрифе дошло, почему: спасло их не то, что они нашли верную стратегию, а потому что осторожничали. Докупать корабли было выгодно всю игру — а они брали по одному за раунд и, что интересно, в командных обсуждениях сами притормаживали особо агрессивных. Один участник честно сказал: «действовал из позиции страха, вслепую». Или другой - "я говорил всем накупать кораблей, маржа же положительная, но мне каждый раз "не-не-не, подожди" - и приходили к компромиссу". И именно эта осторожность их спасла - но это скорее была удача, чем безопасность. Стоило одной команде вдавить педаль газа в пол - и полетели бы все.

Но этот пост не совсем про трагедию общих ресурсов, он про AI в обучении. Помните, на вебинаре про AGI Economics я говорил: джуны теряют ту рутину, что тренировала интуицию, и единственный способ это воспроизвести —компрессированные симуляции? Что все курсы придётся переделать в этот режим? Вот это ровно оно и есть.

Раньше я проводил эту игру в оффлайне: и это было супер интересно и динамично, команды ходили друг другу на переговоры, пытаясь убедить перестать агрессивно вылавливать рыбу "а то все умрем", и тп. Но онлайн этот опыт не получалось воссоздать. Но сейчас дружбан так быстро все кодит, что мы с ним за пару часов создали мультиплеер симуляцию, что я использовал в обучении. Мало того, участники игры использовали AI: одна команда построила модель игры (как она ее понимала), другой участник - попросил perplexity сформулировать стратегию игры. В начале игры даже у меня спросили: а AI можно использовать? Я сначала начал говорить, что нет, но потом быстро переобулся и сказал что-то в стиле "конечно, так будет ближе к реальности"... Кстати, может это "охладило" пыл команд и помогло им выжить?!

Самая эффективная форма обучения - прожить на опыте через игру/симуляцию - всегда была немасштабируема: узкое место было не в идее, а в производстве — собрать интерактивную симуляцию это недели. Теперь — вечер. Но важно заметить: легко стало для модели, которую ты сам понимаешь и можешь чётко описать. Описать систему правильно — вот новый дефицит. И это пока, по крайней мере, человеческая работа.

Что еще круто в таком режиме: после игры можно "перепрожить" ее на дебрифе, переиграть с другими параметрами на пару с дружбаном, поиграть против дружбана - чего в оффлайн версии не особо сделаешь

Классно, что благодаря технологии мы можем дешево дать каждому ошибаться по-настоящему, прожить ситуацию.

Дальше я хочу вставить более динамичные иллюстрации (может даже видео), и добавить AI игроков, чтобы добавить динамики и разнообразия сценариев для игроков.

Выложил урезанную версию игры + спецификацию на многопользовательскую версию: https://github.com/BayramAnnakov/fishbanks-sandbox

Завтра поговорим про TeamOS, а пока - отзывы участников 1й когорты AI Native Product Team о том, что они создали в рамках курса

Виталий, Александр, Виктория, и другие первопроходцы - спасибо вам за фидбек и энергию!

https://youtu.be/nSNhYNk1_Xs

Сегодня день рождения Анатолия, моего руководителя в VDI/EPAM, и ментора потом. К сожалению, его больше нет с нами, но его мудрость продолжает мне помогать

Попробовал сформулировать 3 урока, что он мне «показал»:
1) В sales презентации не должно быть х**ни (сейчас назвали бы AI слопа). Как он беспощадно разнес мою первую презу по продаже выделенного офиса разработки для крупной нефтяной компании. Мне полезно до сих пор. Будто у него внутри была чуйка на фигню, на «корпоративные плейсхолдеры», на офисспик. Знаете, вот когда слайд ради слайда, а не чтобы «гвозди забить в успешную сделку»

2) Что по почте не продают. Что [b2b] продажа это синхронное действие. У тебя должна быть возможность: задавать вопросы, показывать другие стороны вопроса, парировать, и иногда молча игнорировать. Помню как нас незаслуженно расстреливали на одном митинге, я не понимал, почему он молчит, ведь это неправда и несправедливо! После митинга он мне пояснил, и все встало на свои места, хоть и в моей (и его!) картине мира было несправедливо.

3) Что любой руководитель должен защищать своих подопечных перед клиентами/другими отделами: как-то в сапсане он мне рассказал, как на самом деле выглядел мой уход из Epam Systems, как люди были убеждены, что я никогда не уйду, как непросто ему было, когда я ушел с его проекта, но что он, как то признался он, внутри понимал, что я сделал верно, выбрав свой собственный бизнес.

Большинство из вас наверное не знает его, посмотрите видео, там плотность мудрости на минуты видео имхо зашкаливает.


Анатолий, с днем рождения Вас!

в пятницу 12го июня поговорим про TeamOS и поделимся уроками внедрения AI в командах:

https://luma.com/klz3i3qa

Ловим ошибки в эксельках

Волею судеб тут погрузился в то, какие ошибки обычно делают люди в excel-ях, прочитал пару интересных исследований - например, вот это. Любопытная цифра, кстати: в 9 из 10 "серьезных" эксельках есть ошибки o__O

Оформил в скилл: если вы часто работаете с большими табличками, он поможет подсветить парочку неприятных и не всегда заметных ошибок. Например:
1) формула суммирования пропустила какую-то ячейку
2) число написано текстом (и поэтому неверно учитывается)
3) более высокоуровневые - бюджет не может быть отрицательным

Обычно, в больших компаниях на это есть специальные чеклисты, но применять их надо очень внимательно, и это, признаться, достаточно муторная работа.

Надеюсь, будет полезно!

P.S. Разумеется, скилл надо расширить вашими собственными правилами; это скорее generic заготовочка

Отрывок из 1й встречи нового потока AI Personal OS - надеюсь, будет полезно:
https://www.youtube.com/watch?v=Not4KkuwL_U

Свежий взгляд на вопрос: как AI повлияет на нашу работу?

Ключевой тезис в нескольких пунктах:
1) Работы (jobs) состоят из задач (tasks); задачи не независимы, а комплементарны
2) Автоматизация какой-то задачи в джобе с качеством не хуже человека приводит к росту производительности (↑) и росту выхлопа (output↑), а значит снижению себестоимости (↓)
3) Более того, из-за того, что часть задач автоматизирована, человек больше фокусируется на тех, что не автоматизированы, и это приводит к еще большему росту производительности и снижению себестоимости
3) Если спрос на этот аутпут эластичен, то себестоимость ↓ —> цены ↓ —> спрос ↑
4) И тогда таким сотрудникам платят больше, потому что они больше ценности приносят компании (с одним "если", описанным ниже)

Но есть еще интересный аспект:
1) Задачи комплементарны; разные работы состоят из разного количества комплементарных задач —> вводим понятие "размерности" работы (job dimensionality)
2) Какие работы, при прочих равных, организация будет стремиться автоматизировать: с высокой размерностью (много комплементарных задач) или низкой? Например, сравним фаундера с BDR (обрабатывает входящие заявки с сайта)
3) Логично предположить, что с низкой, потому что такую работу легче автоматизировать (меньше задач для автоматизации, меньше вложений, меньше побочных эффектов из за связности задач), а значит полностью высвободить ресурсы.
4) Поэтому хуже всего придется профессиям, где в основном работы с низкой размерностью

Конечно, можно привести условия, в которых эти логические цепочки ломаются:
1) можем ли мы вообще автоматизировать задачу, входящую в низкоразмерную работу?
2) насколько конкурентна среда, чтобы владелец бизнеса предпочел больше платить сотруднику, а не забрать себе весь профит из за повышенного спроса
3) действительно ли высвободившееся время сотрудника приведет к росту фокуса и повышению качества выполнения остальных задач? и тп

но глобально мне зашла перспектива размерности задач; в моей системе размышления по теме ее точно не было —> рекомендую прочитать

P.S. Кстати, открыл 2й поток ai native product team - пересобрал его по результата 1го и общего интереса к TeamOS

Зачем сотрудники Amazon жгут токены впустую?

Помните, в апреле я писал про китайских водителей, которые возвращаются и добивают сбитых пешеходов — потому что покалечить дороже, чем убить насмерть? Классическая иллюстрация моего любимого 1го принципа экономики: «стимулы работают».

Так вот, похоже в Amazon происходит нечто схожее.

Что именно произошло?

1) Amazon поставил KPI: более 80% разработчиков должны юзать AI еженедельно
2) Сделали внутренние лидерборды по потреблению токенов, видимые менеджерам
3) Официально заявили — «это не учитывается при performance review». Но, как заметил один сотрудник, менеджеры все равно обращают на это внимание.
4) Разработчики предсказуемо адаптировались: стали гонять MeshClaw (их внутреннюю агентскую платформу) на бессмысленных задачах, лишь бы попасть в топ —> эдакий tokenmaxxing. Жаль, примеров задач нет, было бы интересно узнать :)
5) Amazon после публикации ограничил доступ к командной статистике использования: только сам сотрудник и его руководитель теперь видят ее.


Как гласит классический закон:

«чем больше количественный показатель используется для принятия решений, тем сильнее он подвержен коррупционному давлению»

К чему я это?

Недавно у меня был разговор с руководителем команды разработки и он беспокоился, что менеджмент может взять какую-нибудь подобную метрику - а ля количество pull request-ов напару с AI или количество потраченных токенов - и принимать на их основе кадровые (поощряем токенмаксеров) или управленческие (у нас хорошо идет внедрение AI) или маркетинговые (смотрите, насколько мы AI native) решения.

Как бы нам этого не допустить? Какую метрику, по вашему мнению, надо трекать, чтобы оценивать внедрение AI? Или вообще это - внедрить AI - неверная формулировка?

Заметки с полей - 3: Про доверие и контроль

(продолжение постов 1 и 2)

В недавнем отчете Anthropic была такая странная картинка (см аттач): что AI теоретически может в разных профессиях (синима) vs что он реально делает (красным). Давайте возьмем Sales, например - как вы считаете, почему такой разрыв?

Подумайте пару секунд и продолжим

. . .

По-моему, ключевой барьер - недоверие к технологии. Перед нами не карта возможностей, это имхо карта недоверия.

Откуда возникает это недоверие, которое драйвит желание контроля? Но это желание контроля сложно скейлить, потому что это делает человек, и в итоге, как с пулл реквестами, все упирается в него? И, главное, что с этим делать?

1) «Algorithm Aversion» - мы легче прощаем ошибку человеку, чем алгоритму. Один промах модели, и доверие к ней обрушивается, даже если по цифрам она точнее человека. Выходит, одна галлюцинация агента бьёт по доверию непропорционально — а значит, осторожность CTO вполне логична.

Мы предпочитаем людей алгоритмам из-за:
- стремления к агентности (я vs модель)
- убеждения, что у других есть уникальное знание, недоступное алгоритмам
- непонимания как машины работают (не могу тупо посмотреть промпт)
- невозможности предсказывать поведение AI агентов, даже при длительном наблюдении за ними
- непрозрачности, кому пожаловаться, если агент накосячил

Я нечто такое наблюдал на себе, когда бесился, что некоторые рекламные площадки не дают возможность настраивать рекламу, а говорят "мы все сделаем за вас".

2) Интересно, что люди вполне толерантны к неидеальному алгоритму, если дать им контролировать процесс тестирования алгоритма и корректировки его аутпута. К примеру, вот так мы потихоньку "сближаем" клиентов и AI агентов —> то есть мы рассматриваем это доверие как процесс, и двигаемся от "контролируют аутпут" к "хуяк хуяк и в продакшн". Иногда, кстати, достаточно просто показать уровень уверенности в аутпуте или успешность в прошлом, чтобы подтолкнуть человека к "принятию".

Мы на днях обсуждали, кстати, что когда claude code просит выбрать из нескольких опций, то recommended дает очень сильный bias для выбора этой опции, особенно когда не понимаешь разницы. И что хорошо бы давать опцию а-ля "не понимаю разницы или как выбрать"

3) Интересно, что если мы считаем, что эффективное выполнение задачи несёт в себе большую долю субьективности, то мы не особо окей с тем, чтобы это делала машина (сравните выбор романтического партнёра vs гуглмапсовские указания, как ехать). А что вообще такое субьективное? Имхо, когда твои персональные критерии выбора отличаются от общей популяции. Причем, имхо, чем более senior человек, тем больше это проявляется (и вполне разумно)

4) Неуверенность в общности целей: интересно, что зачастую у нас вопрос к модели не про "сможет ли она" (помним синий график в аттаче, да?), а "будет ли агент действовать в моих интересах?" (не даст скидку по тупому поводу, например).

Как мы могли бы демонстрировать общность - Прозрачность? Возможность влиять на цели и ограничения? Что-то еще?

5) У Эдгара Шейна есть релевантное: человек меняет свое поведение, когда «тревога выживания» (не изменюсь — проиграю) перевешивает «тревогу обучения» (боюсь оказаться некомпетентным в новом). Каюсь, я как CEO несколько раз педалировал на первое в общении с коллегами — «не перестроимся, нас съедят конкуренты». Но ведь есть и вторая стратегия, следующая из этого - можно снижать тревогу обучения.

Как дать команде психологическую безопасность снова побыть новичком? Велком в комментарии

===

Итого, к чему я это?

Ни один из пунктов выше - про то, на что модель способна. Все 5 про то, готовы ли мы ей довериться. А это две вещи: отношения с агентом (агентность, предсказуемость, общие цели) и мы сами (не страшно ли расписаться, что я больше не главный или что я больше не пишу код).

Я считаю, что нам надо рассматривать и этот дисконнект из отчета Anthropic, и разницу позиций CEO и CTO, как проблему доверия и дизайнить это "принятие", а не только продавливать силой или угрозами конкуренции.

Хотя.... так [не продавливать] наверное медленнее?!

Запись вебинара AGI Economics:

https://www.youtube.com/watch?v=Jp4PC7POf98

Во время подготовки предыдущего поста внезапно открыл для себя интересный способ потребления YouTube контента:
1) дружбан скачивает транскрипт через yt-dlp или транскрибирует «вручную» через assemblyai, если транскрипта нет

2) затем «прогоняет» транскрипт по моему zettelkasten и отбирает наиболее «близкие» кусочки лекции

3) готовит мини-сайт для дипдайва и notebooklm для прослушивания во время прогулок

В аттаче скриншоты мини-сайта + сделал публичным notebooklm для прослушивания

Наверное, надо все конфы дать возможность вот так персонализированно «потреблять»

Вообще, идея визуализировать аутпут модели в виде html странички, а не markdown файла, причем сделать ее интерактивной - например, покрутить разные сценарии поста или лекции, или нелинейно организовать материалы конференции - мне оказалось суперудобным и полезным. Рекомендую!

P.S. Если хотите запилить свой zettelkasten - вы знаете, что делать; как раз стартуем в это воскресенье