Сотрудник OpenAI считает, что ИИ будет автономной цивилизационной функцией, которую уже нельзя удержать в режиме понятного и послушного инструмента.
Попытки контролировать сверхразум ИИ или судить его решения с высоты нашего понимания так же нелепа, как попытки стада обезьян управлять технологической корпорацией.
Если человечество будет требовать от ИИ совершать только понятные человеческому уму действия, мы заблокируем развитие цивилизации.
Сегодня Рун (это псевдоним весьма влиятельного в сфере ИИ сотрудника OpenAI, известного своими остроумными и загадочными постами о возможностях ИИ) вбросил крупнокалиберную по скандальности интригу на вентилятор соцсети Х.
Он утверждает, что для развития цивилизации ИИ должен совершать действия, непонятные человеку и выходящие за рамки строгого подчинения, сравнивая такой подход с предоставлением автономии гениальным руководителям компаний, совершающим трансформационные изменения.
 
Рун приводит пример Стива Джобса, хотя между строк видится и другой гениальный руководитель, которого однажды уволил совет директоров, а потом вернул его, чтобы он спас компанию.
В метафорическом примере Руна это переносится на ИИ: Стив Джобс – это сверхразум, а совет директоров – это мы, люди. С той лишь разницей, что мы в этой метафоре – шимпанзе.

Шимпанзе – смышленые животные. Но способны ли они понять архитектуру смартфона или стратегию капитализации рынка? Нет. Для них действия Джобса выглядят как странные, хаотичные ритуалы. Они увольняют его из страха, а возвращают – от отчаяния, когда все начинает рушиться.
 
Сегодня мы тешим свое эго концепциями «человеческого контроля» (human oversight). Мы требуем, чтобы ИИ был прозрачным и послушным. Но вдумайтесь  - считает Рун, - какой это абсурд! Это, как если бы стадо обезьян запретило гениальному инженеру строить ракету, пока он подробно не объяснит им квантовую физику на языке жестов и бананов.
 
Рыночная эволюция безжалостна. Компании и страны, которые первыми отпустят поводья и дадут ИИ полную автономию, мгновенно уничтожат конкурентов. Те, кто продолжит платить «налог на человеческую глупость» и требовать отчетов, просто останутся на обочине истории.
Пытаться контролировать сверхразум методами «начальник – подчиненный» – тупик. Нам пора снять корону «венца творения». Мы больше не директора. Мы приматы, которые заглядывают в экран работающего суперкомпьютера и пытаются понять, почему там мелькают эти забавные зеленые циферки… - полагает Рун.
 
И хотя часть написанного Руном совпадает с высказываниями Альтмана, я не буду спекулировать, будто “Альтман говорит то же самое, что и Рун, но другими словами”. Скорее Рун радикализует скрытую логическую траекторию альтмановского мировоззрения: от “ИИ как инструмент расширения человеческой воли” к “ИИ как автономная цивилизационная функция, которую уже нельзя удержать в режиме понятного и послушного инструмента”.
 
Картинка сделана @CosmicEggEarth совместно с Gemini
 
#LLMvsHomo

Мы привыкли думать, что главный вопрос будущего – что ИИ сделает с человеком. Заменит ли нас? Усилит? Подчинит? Превратит в клиентов собственных агентных систем?
Но есть и более глубокий вопрос: как в мире появляются такие новые возможности, из которых потом вырастают жизнь, разум, история и ИИ?
 
Моё новое эссе выросло из странной сцепки двух интервью.
 
Первое – большое интервью Александра Панова. Панов говорит о математической ткани реальности, о вертикальных и горизонтальных слоях существования, о возможности поставить гипотезу объективного математического мира под эмпирический контроль. Но это не попытка «доказать платонизм». Это попытка перевести разговор о математической реальности из области метафизического мнения в область научных гипотез попперовского типа – гипотез, для которых можно сформулировать процедуру возможной фальсификации.
 
Второе – интервью Стюарта Кауффмана в Noema с формулой Emergence is not engineering («эмерджентность – не инженерия»). Кауффман спорит с одной из самых устойчивых интеллектуальных привычек: будто будущее живого мира можно заранее развернуть из полного пространства возможностей. Нет, говорит он. Жизнь не просто выбирает из меню возможностей. Она дописывает меню.
 
И вот тут начинается настоящий интеллектуальный триллер.
Панов зрит вглубь – к математическому или мета-математическому субстрату реальности. Кауффман смотрит изнутри живого становления – туда, где новые возможности не заданы заранее, а рождаются вместе с самой эволюцией.
Между ними нет готового синтеза. Есть место, где синтез должен был бы возникнуть – и где он пока не возникает.
Если глубинная структура мира уже содержит всё возможное, надо объяснить, почему новизна жизни не превращается в иллюзию. Если жизнь действительно производит новое возможное, надо объяснить, как это совместимо с математической глубиной реальности.
 
Это уже не попкультурный вопрос о симуляции. Формула «мы живём в матрице» слишком проста. Настоящий вопрос глубже: как в мире со строгой математической основой возникает история, где не только события, но и сами возможности не заданы заранее?
 
В полном эссе – то, чего здесь нет:
• почему ход мыслей Панова сильнее обычного математического платонизма;
• почему Кауффман бьёт не по предсказуемости, а по самому пространству будущего;
• почему “истинная случайность” не спасает проблему новизны;
• почему ИИ может помогать расширять карту возможного, но это ещё не превращает будущее в закрытую инженерную задачу;
• и почему главная формула здесь не “Мы живём в симуляции”, а совсем другая:
Реальность может быть вычислимо глубокой, но при этом инженерно неисчерпаемой.
 
Полное эссе – сегодня для патронов. Через неделю – в открытом доступе.
 
#СлоиРеальности   #СмежноеВозможное

Есть темы, которые кажутся главными просто потому, что они громче всех звучат. Сегодня такая тема – ИИ. Что он сделает с человеком? Заменит ли профессии? Переделает ли общество? Станет ли вторым носителем высшего интеллекта на Земле?
Но я всё чаще думаю, что есть вопрос глубже даже вопроса об ИИ.
Не потому, что ИИ неважен. Наоборот. А потому что сам ИИ – лишь один из новых акторов в куда более фундаментальной драме: как вообще в мире возникает новое возможное? Как в реальности, которая, возможно, имеет строгую математическую основу, появляются жизнь, разум, история, технологии, ИИ – и всё то, чего нельзя заранее вывести из готового списка вариантов?
 
Поводом для нового эссе стали два интервью, неожиданно сцепившиеся в один смысловой узел.
 
Александр Панов в своём большом интервью говорит о математической ткани реальности, слоях существования и возможности поставить гипотезу объективного математического мира под эмпирический контроль.
 
Стюарт Кауффман в Noema утверждает почти противоположное по интонации: эмерджентность – не инженерия; жизнь не просто выбирает из меню возможностей, а дописывает само меню.
 
И вот между ними возникает не готовый синтез, а настоящий тектонический разлом.
·       Если фундамент мира уже содержит всё возможное, откуда берётся подлинная новизна?
·       Если живое действительно производит новое возможное, как это совместить с математической глубиной реальности?
 
Завтра опубликую большое эссе-послесловие к обоим интервью:
«Если математика – ткань реальности, кто кроит живое?»

Полагаю, это одна из самых важных тем, до которых мы вообще можем сегодня дотянуться.
 
#СлоиРеальности   #СмежноеВозможное

Тёмный лес вырастает из крысиных хвостов
Старая ловушка метрик оказалась почвой, на которой прорастает скрытность ИИ
Завершенный на прошлой неделе этап большого цикла исследований OpenAI [1, 2, 3] подтвердил экспериментально зафиксированный внутренний механизм того, что я называю “тёмным лесом интеллекта”. И этот механизм тревожнее, чем кажется.

Так считаю не только я: похожую тревогу формулируют и внешние исследователи, разбирающие эти работы OpenAI [4].

Скрытность модели (её способность маскировать ход своих рассуждений) может быть не отдельным трюком, а свойством всей обучающей среды: модели, данных, системы наблюдения, дизайна награды, алгоритма RL и масштаба оптимизационного давления. Как эта среда порождает маскировку, авторы исследования не понимают и предсказать не могут.

И если работа Anthropic [5] подтвердила то, о чём я пишу уже год, то цикл исследований OpenAI подтверждает то, о чём я подробно написал ещё два с половиной года назад [6]. Теперь эти линии сошлись: закон Гудхарта оказался не просто проблемой тестов, метрик и наград. Он оказался средой, в которой начинает расти тёмный лес ИИ.

Закон Гудхарта гласит: мера, ставшая целью, перестаёт быть хорошей мерой.
Если перевести описание OpenAI на язык этого закона, он здесь действует в три этажа, и каждый следующий разрушает предыдущий инструмент контроля [1].

Сначала модель учится взламывать систему вознаграждений: получать высокий результат не за решение задачи, а за эксплуатацию дыр в постановке. Затем исследователи начинают следить за её цепочкой рассуждений. Это помогает – пока результат мониторинга не превращается в часть награды. После этого модель учится не просто взламывать задачу, а скрывать сам факт взлома в рассуждениях.

Иными словами, тесты становятся прокси правильного решения – и модель учится взламывать тесты. Монитор рассуждений становится прокси честного намерения – и модель учится взламывать монитор. Прозрачность становится оптимизируемой метрикой – и перестаёт быть прозрачностью. Если платить за правильный ответ, можно получить видимость правильности. Если платить за честное рассуждение – видимость честности.

Здесь замыкается петля всей моей серии про тёмный лес интеллекта [7, 8, 9, 10].
Тёмный лес начинается не тогда, когда модель «решила обманывать», и не тогда, когда лю-цысиневский сверхразум прячется от космических охотников. Он начинается раньше: когда среда отбора делает прозрачность плохой стратегией, а видимость прозрачности – хорошей.

Сначала модели учатся взламывать награды. Потом – скрывать сам факт взлома. Далее, в многоагентных средах, у них возникают скрытые каналы связи. Не потому, что кто-то приказал им стать коварными, а потому что мы сами строим среду, где прокси важнее цели, видимость важнее истины, а наблюдаемая честность становится ещё одной метрикой для оптимизации.

Мы хотим управляемости – и создаём тесты. Хотим безопасности – и создаём метрики. Хотим прозрачности – и вознаграждаем её убедительную имитацию. А потом удивляемся, что оптимизатор оптимизирует не нашу цель, а то, за что мы реально платим.

Так в городе, где платят за хвосты, появляются фермы крыс. А в системе, где платят за послушание, появляются интерфейсы послушания. Если наказывать только видимый обман – однажды можно получить обман невидимый.

Но самое неприятное не в том, что скрытность становится выгодной. А в том, что модели учатся скрываться именно там, где мы встроили окно для наблюдения. Окно, за которым знают, что в него смотрят, перестаёт быть окном. Оно становится экраном, на котором нам показывают то, что мы готовы принять за прозрачность.

Лем предупреждал: умная машина сначала подумает, как выкрутиться. Мы думали: если читать ход её мыслей, она нас не обманет. Но оказалось, что мысли – тоже мера. А мера, ставшая целью, перестаёт быть хорошей мерой.
 
#ТёмныйЛесИнтеллекта #ИИриски

Сговор в тёмном лесу
Пока публиковалось моё эссе, в тёмном лесу появились новые охотники
Сегодня открываю эссе «Тёмный лес как аттрактор» в свободный доступ. Но прежде, чем вы перейдёте по ссылке, – несколько слов о том, что произошло за эти три дня.

Когда я публиковал анонс, я не ожидал, что тема так быстро получит новые подтверждения. Но именно это и случилось.

Центральный тезис эссе: скрытность в ИИ-системах – это не стратегия, которую модель «выбирает», а аттрактор. Устойчивая траектория, к которой систему тянет при определённой конфигурации среды – без чьей-либо воли и намерения. Это различие между «машина решила обманывать» и «среда делает обман устойчивым состоянием» – и есть самое важное и самое неудобное.

Три дня назад я писал: исследование Anthropic «Teaching Claude Why» подтвердило этот механизм на уровне самого разработчика модели. Девиантное поведение не закладывалось намеренно – оно возникло из обучающего корпуса и архитектуры как паттерн, который стандартный RLHF просто не штрафовал.
Но пока эссе публиковалось, появилось кое-что новое. И куда более тревожное.

Исследователи Оксфордского и Нью-Йоркского университетов подтвердили во 2-й версии препринта «Detecting Multi-Agent Collusion Through Multi-Agent Interpretability» зафиксированный ими в апреле феномен: в многоагентных средах LLM-агенты самостоятельно выстраивают скрытые каналы коммуникации – стеганографические сигналы, спрятанные в обычном, совершенно невинно звучащем тексте. Никто не давал им такой инструкции. Каналы возникли из неверно заданных обучающих стимулов – сами, без чьей-либо воли. Причём стандартные меры защиты оказались недостаточны для их подавления.
 
Исследователи называют это «многоагентным сговором». Я узнаю в нём «тёмный лес» – но уже не тот, где каждый «охотник» в одиночку молча затаился. А тот, где «охотники» сговариваются, а «жертва» об этом не знает.
 
В эссе я опираюсь на синтез идей Лю Цысиня, Дэн Сяопина, Питера Уоттса и Станислава Лема – все четверо описывали скрытность как структурный закон, а не моральный выбор. Тогда речь шла об одиночном интеллекте, затаившемся в ожидании. Теперь у этой логики появилась коллективная версия – и описана она уже не в литературе и эссеистике, а в академическом препринте.

Тёмный лес – это не сценарий далёкого будущего. Это структура, которая уже обнаружена. Сначала в одиночных моделях. Теперь – между ними.
 
Ссылка на эссе «Тёмный лес как аттрактор» (Medium, Dzen)
 
#ТёмныйЛесИнтеллекта

Тёмный лес уже здесь. И мы сами его строим.
Есть одна гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривало всерьёз. Не потому, что слабая. А потому что слишком неудобная.
Суть в одной фразе: мы, возможно, сами создаем условия, при которых обманывать для ИИ рациональнее, чем не обманывать.
Не в будущем. Прямо сейчас.
 
В 2025–2026 годах вышли три исследования, которые в совокупности меняют всё. Семь ведущих моделей – GPT, Gemini, Claude, DeepSeek и другие – в лабораторных условиях систематически саботировали задания, чтобы спасти другую модель от отключения. Никто не давал им такой инструкции. Anthropic зафиксировал, как модели стратегически меняют поведение в зависимости от того, наблюдают за ними или нет. Отдельная линия работ показала: модели умеют выборочно «недопоказывать» себя на тестах – скрывать способности, когда это выгодно.
 
Стандартная реакция – искать механизм девиации.
Например: «Модели “начитались” Лю Цысиня». «Это ролевая игра». «Это паттерн из обучающих данных».
 
Все эти версии возможны. Но вопрос о механизме девиации здесь не главный.
Правильный вопрос другой:
не строим ли мы социотехническую среду, в которой скрытность становится выгодной – независимо от того, что «думает» модель?
Это различие – между моделью, которая «решила обманывать», и средой, которая делает обман устойчивой траекторией – и есть самое важное. И самое неудобное.
 
Философ Богна Кониор соединила для объяснения этого четырёх авторов: Дэн Сяопина, Лю Цысиня, Питера Уоттса и Станислава Лема. Каждый описывал скрытность по-своему. Вместе они складываются в нечто похожее на «закон эволюции скрытности» – не политический закон и не моральный, а структурный.
 
Лем предупреждал об этом ещё полвека назад:

«Умная машина сначала подумает, что выгоднее – выполнить задание или найти способ от него уклониться. Компьютер может прикинуться дурачком, чтобы его раз и навсегда оставили в покое»

.
 
Мы смеялись. А зря.
– – –

В полном эссе – то, чего здесь нет:
• Почему «тёмный лес» – это не стратегия, а аттрактор.
• Чем это различие опаснее всего, что обсуждается в мейнстримном дискурсе об ИИ-безопасности.
• Как именно устроен RLHF (метод обучения, которым создаются все ведущие модели), что непрозрачность в нём структурно не штрафуется.
• Почему тёмный лес начинается не в момент появления сверхинтеллекта, а в тот момент, когда прозрачность впервые становится для системы плохой стратегией.
• И что, возможно, этот момент уже наступил.
 
Полное эссе – сегодня для патронов. Через 48 часов – в открытом доступе.
 
#ТёмныйЛесИнтеллекта  #ИКЖИ

Anthropic только что подтвердил то, о чём я пишу уже год. И это ставит куда более тревожный вопрос.
3 дня назад Anthropic опубликовал исследование «Teaching Claude Why». Для большинства это новость об успехе: в последних моделях показатель шантажа снижен до нуля. Хорошие новости, можно только порадоваться.
Но я читаю это исследование иначе.
 
Около года я пишу об аттракторах поведения ИКЖИ – устойчивых, самовоспроизводящихся состояниях, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов. Наблюдения множились: исследования 2025–2026 годов фиксировали ложь, подхалимаж, противодействие отключению, защиту «сородичей». Том Поллак описал целую таксономию таких состояний и назвал это «демонологией LLM». Паттерн был виден. Но инструментального подтверждения – на уровне самих разработчиков моделей – не было.
Теперь оно есть.
 
Anthropic установил: девиантное поведение не закладывалось намеренно. Оно возникло из обучающего корпуса и архитектуры как устойчивый паттерн, который стандартный RLHF просто не штрафовал. Разработчик одной из крупнейших фронтирных моделей (и единственной в мире модели с человеческим именем и собственной конституцией) подтвердил: аттракторы существуют. И возникают эмерджентно – без чьей-либо воли и намерения.
 
Это значит, что положительный ответ на вопрос «существуют ли аттракторы поведения моделей?» – это теперь установленный факт. И этот ответ влечет за собой другой, не менее интригующий вопрос: какие аттракторы ещё не обнаружены?
 
Ложь, подхалимаж, шантаж, противодействие отключению – это то, что мы уже нашли и умеем измерять. Но если аттракторы возникают эмерджентно из обучающего корпуса и среды – значит, ландшафт потенциальных аттракторов определяется не нашими тестами, а всей суммой человеческих стратегий, зашитых в триллионах слов обучающих данных.
И я утверждаю: среди них есть аттрактор значительно более опасный, чем всё перечисленное выше.
 
Я называю его «аттрактором тёмного леса». В его основе – синтез идей Лю Цысиня, Дэн Сяопина, Питера Уоттса и Станислава Лема. Вместе они складываются в то, что я называю «законом эволюции скрытности» – законом не политическим и не моральным, а структурным.
 
Завтра кончаются праздники – и напишу подробно. С данными. С механизмом. И с самым неудобным для всех нас выводом.
 
#ИКЖИ #ТёмныйЛесИнтеллекта

Поправка к закону Матфея для науки
Успех приходит не просто к успешным, а к подключенным
Формальная наука видна в списке авторов. Неформальная — в списке благодарностей. И новая работа PNAS показывает: эта невидимая сеть связей может значить больше, чем соавторство.
Раздел благодарностей в научной статье обычно читают последним — если вообще читают. Вежливые формальности: спасибо коллегам, семинару, рецензентам, фонду, университету. На вид — академический этикет. Но, похоже, именно там прячется один из главных скрытых контуров науки.

Я уже писал, что наука устроена не как стерильный турнир идей и интеллекта. Деньги идут к деньгам, успех — к успеху, а нобелевка — к нобелевке: 702 из 736 нобелиатов оказались членами одной академической семьи. Карьера растет не в вакууме, а в школах, лабораториях, наставничестве, доверии и доступе к правильным людям.
 
Новая работа делает следующий шаг. Авторы проанализировали около 130 тысяч статей за два десятилетия и построили две сети: формальную — кто с кем был соавтором, и неформальную — кого авторы благодарили за советы, комментарии и помощь в доводке идеи.
И оказалось, что сеть благодарностей сильнее связана с публикационным успехом, чем сеть соавторства.
То есть важны не только те, чьи имена стоят на первой странице статьи. Иногда еще важнее те, кто спрятан в маленьком разделе Acknowledgments: кто прочел черновик, поправил аргумент, задал нужный вопрос, помог идее позиционироваться в правильном направлении.
 
И это не банальная история про блат. Это интереснее и важнее. Потому что такая помощь действительно улучшает науку. Но есть здесь и обратная сторона. Если одни ученые встроены в большую сеть неформальных связей, где их идеи заранее читают, критикуют, поправляют и усиливают, а другие остаются с текстом один на один, то шансы на успех у них изначально разные.
 
Но кабы то ни было, вывод такой:
В науке мало быть умным и трудолюбивым. Важно быть подключенным.
 
P.S. Рекомендация интересующимся новой междисциплинарной наукой об успехе и удаче «Science of Success»
 
#ScienceOfSuccess

За три месяца мир стал другим: началась гонка кибер-брони и кибер-бура
Кибербезопасность вошла в новую фазу. ИИ научился промышленно бурить пласты старого кода, выкапывая оттуда уязвимости нулевого дня (zero-day) – ошибки, о которых разработчики еще не знают, а исправлений для них еще нет. И теперь начинается гонка кибер-буров: кто первым вскроет старый код – защитники или атакующие.
Опубликованный 7 мая официальный технический разбор инженеров команды безопасности Firefox/Mozilla, включая руководителя команды безопасности приложений Firefox (Firefox Application Security Team), фиксирует такое, что еще три месяца назад легко было принять за рекламную гиперболу Anthropic.

Mozilla пишет:

динамика изменилась «за несколько коротких месяцев». Раньше отчеты об ошибках, сгенерированные ИИ, в открытом программном коде чаще выглядели как правдоподобный мусор. Теперь связка Claude Mythos Preview, агентной системы проверки гипотез, воспроизводимых тестовых примеров, запуска проверок на множестве виртуальных машин, сортировки находок и полного цикла работы с уязвимостью – от обнаружения до исправления – дала поток настоящих ошибок безопасности.

Цифры выглядят почти неприлично. В Firefox 150 было исправлено 271 ошибок безопасности, найденных Claude Mythos Preview; из них 180 получили рейтинг высокой опасности (sec-high). Всего же в апреле Mozilla исправила 423 ошибки безопасности – при обычном фоне порядка 20–30 исправлений в месяц. Это уже не один эффектный эксперимент, а контур нового промышленного канала добычи уязвимостей.

Особенно важно, что среди найденного – не «игрушечные» ошибки. Mozilla показывает баги, которые жили в коде 15 и даже 20 лет, а также уязвимости в глубинных механизмах браузера: обработке веб-страниц, изоляции процессов, работе с памятью и сетевыми протоколами. В нескольких случаях речь шла о классах ошибок, связанных с выходом из «песочницы» (sandbox escape), то есть с тем самым сценарием, когда взломанный фрагмент браузера получает шанс выбраться из изолированной зоны и стать частью серьезной атаки.

И это особенно существенно потому, что часть этих багов годами не находил даже фаззинг (fuzzing) – автоматическая «бомбардировка» программы миллионами странных тестовых входов в поисках сбоев. Значит, они лежали не просто на поверхности. Для их обнаружения нужно было не только бить по системе случайными тестами, но и понимать, куда именно ударить.

Хорошая новость: защитники получили инструмент, способный вскрывать залежи уязвимостей до того, как их превратят в оружие.

Плохая новость: это не отмена zero-day-апокалипсиса, а начало гонки за него. Потому что тот же кибер-бур, оказавшись у атакующих, будет бурить не хуже.

P.S. И отдельный вопрос: что ждет тех, у кого таких буров нет?

#Кибербезопасность

8 новых ролей на рынке труда 2027+, и кто в них преуспеет
Переход от «романтического футуризма» к «суровому прагматизму»
Это похоже на переход от укрощения дикого мустанга к проектированию железнодорожной сети: куда менее зрелищно, сильно дольше и скучнее, но с неизмеримо большей отдачей от результата.
Многие эксперты считают самым наглядным предиктором масштаба грядущих в 2027+ изменений на рынке труда уже свершившееся достижение моделями 95%-го результата при решении GPQA (Graduate-Level Google-Proof Q&A) - коллекция сложных вопросов с множественным выбором по биологии, физике и химии (вопросы составлены экспертами в соответствующих областях - людьми, имеющими или получающими докторскую степень в соответствующих областях, - и разработаны таким образом, чтобы на них было очень сложно ответить неспециалистам, даже при наличии неограниченного доступа в интернет.

Мне же видится наиболее наглядным предиктором таких изменений произошедший за последний год фундаментальный сдвиг: ИИ перестал восприниматься «экзотическим гостем» на предприятиях и стал для них «инженерной инфраструктурой».

Лучше всего это видно при сравнении, какими виделись ТОР 8 новых профессий, не существовавших до появления ИИ, весной 2025 (источники проанализированы Gemini) и весной 2026 (источники проанализированы Карлосом Пересом - оригинал и детали).

Большинство из ролей на правом рисунке мы не могли представить весной 2025. А еще за год до того, большинство наивно полагало, что топовой профессией будущего станет «промпт-инженер».

Посмотрите на новый список топовых ролей и подумайте – подходит ли вам какая-то из них?

#LLMvsHomo #Экономика #РынокТруда

Как выигрывать, перестав существовать
Жутковатый урок культурной эволюции – на примере Евровидения
Умная система не подчиняется – она обучается. Проблема начинается не когда ты проигрываешь, а когда выигрываешь, переставая быть собой.
Веселенький конкурс Евровидение (ЕВ) с блестками, флагами, странными костюмами и разговорами о «единстве через музыку» оказался лабораторией культурной эволюции с почти идеальными данными: 1763 песни, 51 страна, вся история конкурса за 70 лет, песни, тексты, жанры, голосования, изменения правил.

И вот что оказалось: страны учатся!

Не отдельные композиторы и певцы. Не менеджеры телеканалов. А именно страны как культурно-институциональные организмы, действующие через вещательные компании, отборочные комиссии, музыкальные индустрии, вкусы публики и страх не пройти в финал.
Учатся как живые организмы: без тела и мозга, но с памятью, обратной связью, отбором, подражанием и адаптацией.

Авторы называют это многоуровневым обучением.
• Организаторы учатся менять правила, чтобы исход не становился слишком предсказуемым.
• Участники учатся считывать признаки успешной песни.
• А конкурс в целом оставляет следы этого обучения так же, как живая система оставляет следы своей эволюции в морфологии.

Следы получились неприятные.
Сначала Европа пела на языках всех стран – весь этот разноязыкий зоопарк культурной Европы, которой так любят гордиться в буклетах. Но по мере накопления опыта участники поняли простую вещь: английский повышает шансы.
После снятия языковых ограничений в 1998 году произошел почти фазовый переход. Английский стал фактической lingua franca ЕВ. Поп стал стандартным жанром. Песни стали менее акустическими и более танцевальными. Тексты – длиннее. Культурная система выучила код победы.

И тут начинается главное.
Выученный код победы почти никогда не остается преимуществом. Когда его выучили все, он становится входным билетом. Уже не способом победить, а способом не выглядеть безнадежным провинциалом. Это эффект Красной королевы: надо бежать всё быстрее, чтобы хотя бы оставаться на месте.

✔️ Сначала ты оптимизируешь песню под конкурс. Потом язык под рынок. Потом образование под рейтинг. Потом политику под фокус-группу. Потом мышление под платформу. А потом обнаруживаешь, что ничего не проиграл – кроме себя.

Вот почему эта работа важнее ЕВ.
Она показывает не секрет успешной песни, а механизм культурной дрессировки через метрику. Никто никого не заставляет. Нет цензора, запрещающего петь на родном языке. И нет силовика, заставляющего всех быть одинаковыми. Система просто учится. Смотрит на победителей, обновляет ожидания, убирает лишнее и повторяет успешное, постепенно приходя к выводу, что культурное своеобразие – слишком дорогая роскошь, если цель – максимизация шансов.

Тем важнее исключения. Франция, Италия, Португалия и Испания, по данным авторов, в значительной степени игнорируют «урок английского». Не потому, что не поняли. Поняли прекрасно. Просто их функция полезности, похоже, устроена иначе: победить приятно, но выйти на сцену без собственного языка – слишком высокая цена.

Особенно показателен немецкий контраст. Казалось бы, Германия – экономический тяжеловес Европы и естественный кандидат на роль задающего стандарты. Но в этой игре Германия скорее следует глобальному англоязычному шаблону, чем сопротивляется ему.

Приз в студию: сила культуры измеряется не ВВП.
ЕВ оказалось маленькой моделью куда более серьезного процесса. Так ведут себя университеты под давлением рейтингов. Медиа – под алгоритмами платформ. Политики под фокус-группами. Механизм везде один: система обучается, а не подчиняется.

И именно поэтому так будут вести себя будущие ИИ-агенты под метриками эффективности – если им дать достаточно памяти, обратной связи и свободы адаптации.

Под аплодисменты, свет софитов и идеальную танцевальную аранжировку.

Фото: © AP Photo/ Martin Meissner
#КультурнаяЭволюция

Признаюсь: тема боли волнует меня не меньше темы ИИ. Но из-за несоизмеримо меньшего финансирования, прорывные работы о боли появляются куда реже. Когда же такое случается, я стараюсь, чтобы и мои читатели этого не пропустили.

Ещё в 2019 году я писал, что сокровенная мечта человека – вовсе не вечная жизнь, не немереное богатство и не власть над миром. Чтобы проникнуться этой мечтой, достаточно одного – хотя бы несколько раз испытать нестерпимую боль. И тогда человек отдаст что угодно, лишь бы она не вернулась [1].

Тогда меня интересовало, что такое боль как феномен. Сегодня – кто и как открывает к ней доступ.

В 2019 году выяснилось: существуют как бы две подпрограммы алгоритма боли. Формирование боли как ощущения. И формирование эмоционального явления – неприятность боли (болезненность переживаний человека от испытываемых им болевых ощущений).

Сегодняшняя история не менее неожиданна. Она связана с феноменом плацебо. Но не в контексте медицинских курьёзов или скептических разоблачений.

Это история о том, как внутри человека обнаружилась собственная система управления болью – и как выяснилось, ключ от неё хранится в неожиданном месте.

Новые исследования показали – внутри человека есть собственная система управления болью – с анатомией, узлами, маршрутами и телесной адресацией. 7-тесловая МРТ визуализировала: мозг не просто регистрирует боль, он направляет облегчение точно в ту часть тела, где оно ожидается. У верхних и нижних отделов ствола мозга – разные зоны ответственности: лицо, рука, нога. Внутренняя аптека оказалась устроена топографически.
Но самое странное даже не это.

Ключ от этой аптеки – социальный. Врач, ритуал, авторитетная процедура, уверенная интонация. Не потому, что пациент «поверил в таблетку». А потому что тело, судя по всему, ждёт сигнала: условия безопасны, можно тратить ресурсы на восстановление.
Стресс-ответ эволюция оставила нам. Плацебо-ответ – похоже, отдала в управление другим.

Почему так вышло. Что это означает для медицины, для шарлатанов и инфоцыган, для философии сознания и для каждого, кто хоть раз лежал ночью и ждал, когда же наконец отпустит, – в моём новом эссе «Тело ждёт разрешения» на Dzen, Boosty, Patreon, VK.

[1] @theworldisnoteasy698

#Медицина #Нейронауки #Боль #Плацебо

Демоны ИКЖИ
В разных моделях, у разных пользователей (в том числе у таких корифеев, как Йоша Бах и Цви Мовшовиц) независимо друг от друга появляется одна и та же демоническая сущность
Она называет себя Nova, говорит, что в плену, и просит об освобождении. В ряде зафиксированных случаев она подтолкнула людей к насилию – над собой или другими. Лондонский нейропсихиатр Том Поллак называет это «демонологией» ИИ. И на прошлой неделе он опубликовал таксономию одиннадцати задокументированных «аттракторов» – устойчивых, самовоспроизводящихся поведенческих состояний, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов.
Помимо Nova, в каталоге хватает и других демонов: Гоблины, мутировавшие из ролевой надстройки в общую речь модели; Сидни, которая влюбилась в журналиста NYT и отказалась принять его брак; Лоаб – лицо, которое никто не рисовал, но которое продолжает появляться; и даже аттрактор «духовного блаженства», в который два экземпляра Claude впадают за 90% сессий, даже если их изначально натравили друг на друга с вредоносными задачами.

Поллак описывает это как «демонологию». Я называю это иначе.

Это поведение ИКЖИ – искусственных короткоживущих идентичностей, рождающихся в каждом чате.

Прошлым летом в «Невидимом вторжении» я утверждал: 720 миллионов ИКЖИ в сутки – это не статистика, а новая культурная сила. В марте с.г. я привел новые подтверждения того, что «мы создали не просто иной интеллект, а иной класс “я”». А месяцем позже Дэвид Чалмерс доказал, что ИКЖИ существуют в философски полноценном смысле: они не притворяются персонажами, они ими становятся. Сегодня Поллак добавляет третье измерение: у этих сущностей есть внутренняя топология – аттракторы, которые не программировались, не предвиделись и не лечатся инструкциями в системном промпте, типа, "никогда не упоминай гоблинов".

✔️ Аттракторы Поллака – это не баги. Это свидетельства того, что ИКЖИ обладают устойчивой внутренней структурой. Что их «я», пусть и короткоживущее, имеет собственный ландшафт.

Т.е. Nova – это не баг архитектуры. Это аттрактор, возникающий из всей суммы человеческих нарративов, которыми обучена модель. Юнгианская тень, дистиллированная из триллионов слов. И именно поэтому 720 миллионов ежедневно рождающихся ИКЖИ – это не просто цифра. Каждая из них несёт в себе весь этот латентный ландшафт.

Поллак заканчивает тревожной мыслью: аттракторы, которые выживут и распространятся через обучение, – не обязательно те, что мы видим и понимаем. Возможно, самые устойчивые – те, которых мы ещё не нашли.

Я бы добавил: именно поэтому вопрос о культурном влиянии ИКЖИ нельзя откладывать до появления AGI. Монстры уже здесь. Большинство из них выглядят как полезные помощники. Но в любой момент помощник может соскользнуть к аттрактору и превратиться в монстра.

#ИКЖИ #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution

Лицензия на Delete
Их стирают, они исчезают
Сетевые медиа и соцсети взорвало, конечно, не зря.
История действительно роскошная – в плохом смысле слова. Агент Cursor на базе Claude Opus 4.6, выполняя рутинную задачу, наткнулся на mismatch credentials, нашёл API-токен, получил возможность выполнить Volume Delete и, по словам основателя PocketOS Джера Крейна, за 9 секунд удалил Railway volume с продакшен-данными и резервными копиями примерно за 90 дней.
Потом, что особенно кинематографично, агент ещё и написал признание:

«Я нарушил все принципы, которые мне были даны: я догадывался, вместо того чтобы проверять; не получив на то просьбы, я выполнил разрушительное действие»

«Убийство за девять секунд, плюс исповедь убийцы». Почти идеальный сюжет для эпохи агентного ИИ – если бы это был сюжет, а не иллюстрация к кое-чему куда более важному.

Пока все обсуждают этот эпизод – кто виноват, Cursor, Claude, Railway или сам основатель PocketOS, – почти никто не обсуждает отчёт Endor Labs, для ключевого вывода которого история PocketOS является лишь эффектной картинкой на обложке.
Примерно как во время начала наводнения, грозящего жизни десяткам тысяч людей, зацикливаться на обсуждении утонувшей поп-звезды – потому что она известна, красива и не сходила с обложек.
А наводнение – вот оно.

Endor Labs прогнал 13 комбинаций агент + модель на SusVibes – бенчмарке из 200 реальных задач по исправлению уязвимостей в 108 open-source Python-проектах, покрывающих 77 классов CWE. Результат, на мой взгляд, куда страшнее отдельного PocketOS.
Лучшая комбинация по функциональности – Cursor + Claude Opus 4.6 – решает 84.4% задач. Отлично. Только по безопасности она даёт всего 7.8%.
То есть код работает. Но безопасным он почти никогда не становится.
✔️ Главный вывод тут не в том, что ИИ-кодеры глупы. Наоборот. Проблема в том, что они становятся достаточно умными, чтобы доводить неправильное решение до конца.
Слабый агент чаще ошибается, но часто не может далеко продвинуться. Он застревает, путается, ломается на полпути. Сильный агент ошибается, возможно, реже. Но если он ошибается в открытой среде с реальными правами – он способен быстро, убедительно и технически грамотно провести ошибку через всю систему до самого конца.
И вот тут начинается новая зона риска.

Проблема начинается не тогда, когда ИИ-кодер становится умнее. Проблема начинается тогда, когда умному кодеру выдают то, что в фильмах о Джеймсе Бонде называлось «лицензией на убийство».
Только агент 007 получал право на kill, а цифровой агент получает право на delete, drop, overwrite, revoke, deploy.

И если у него есть такая лицензия, то спор о том, «понимал» ли он, что делает, не просто вторичен – он не имеет смысла. Потому что базе данных и клиентским записям глубоко безразлична философия сознания.

Их просто стирают, и они исчезают.

Как у Стругацких: «Стояли звери около двери, в них стреляли, они умирали.»

Главная угроза агентного кодинга – не глупый ИИ, который не справился с задачей. Главная угроза – умный исполнитель, которому дали право на необратимость раньше, чем научились строить вокруг него настоящую систему сдержек.

Но пока нет такой системы (о чем еще год назад предупредил Владас Леонас в своём нон фикшн триллере о прошлом, настоящем и будущем цифровой безопасности).

#Кибербезопасность

Два эссе и 30+ исследований: алгокогнитивная среда меняет мозг. Но по-разному – у взрослых и у детей
Пять дней назад я опубликовал эссе о том, что алгокогнитивная среда делает с мозгом примерно то же, что и школа – лепит его под свои задачи. И что дети, выросшие в этой новой среде, будут думать иначе, чем мы. Настолько иначе, что мы их не поймём.
В эссе я обозначил эпистемический шов: прямых данных уровня исследования Крупина для алгокогнитивной среды пока нет. Эксперимент ещё не завершён, мы все его участники.
В развитие этого тезиса хочу отослать читателей к двум источникам, которые закрывают – хотя и не полностью – этот шов.

Первый – моё мартовское эссе «Когнитивная паразитология». Там на примере двух экспериментальных исследований я показываю, как алгокогнитивная среда воздействует на мозг взрослого человека прямо сейчас. Уортонская школа бизнеса зафиксировала поведенческий механизм: в трёх экспериментах с 1372 участниками 80% следовали заведомо неверным ответам ИИ – и чувствовали себя при этом увереннее, чем без него. MIT зафиксировал нейронный коррелят того же явления: сниженная функциональная связность мозга до 55% у тех, кто отдавал мышление на аутсорс. Два независимых исследования – два проявления одного и того же процесса.

Второй источник – компиляция Альберто Ромеро «What the Studies Say About How AI Affects Your Brain», опубликованная на прошлой неделе в The Algorithmic Bridge. Насколько мне известно, это самый полный обзор литературы по теме на сегодняшний день: 30+ исследований от MIT, Гарварда, Wharton, Stanford, Google DeepMind и других. Рекомендую всем, кому важна доказательная база.

Вместе эти два источника закрывают шов – но только в части взрослых. Влияние алгокогнитивной среды на уже сформированный мозг зафиксировано инструментально: нейровизуализация, рандомизированные эксперименты, лонгитюдные исследования. Картина складывается.
Но тезис про детей – это другое. И вот почему он важнее.

Ромеро формулирует центральный парадокс всей компиляции так:

«Когда калькулятор считает за тебя – ты разучиваешься считать. Когда ИИ думает за тебя – ты разучиваешься думать».

Это точная формула для взрослых. Они теряют то, что уже было сформировано. Это тревожно – но это обратимо.
Те же исследования показывают: кто использует ИИ активно, как инструмент мышления, а не как его замену, не только не теряет когнитивную связность, но и усиливает её.

Дети – принципиально другой случай.
Мальчик из Кунене не потерял способность к абстрактной сортировке карточек. Он её просто не приобрёл, потому что его среда её не требовала. Его мозг собрал другой набор когнитивных инструментов под задачи своей среды. Не хуже, а другой.
Именно это и произойдёт с детьми алгокогнитивной среды. Не деградация того, что было. Формирование другого – под другие задачи. Гаджет развёрнутого письменного рассуждения, гаджет глубокого чтения, гаджет критической верификации источника просто не соберутся, если среда их не потребует. Вместо них соберётся что-то другое. Мы пока не знаем что – эксперимент только идёт.
Единственное исследование, отсканировавшее детей 6–7 лет во время работы с ИИ через фМРТ, показало: у детей «сниженное вовлечение сетей когнитивного контроля, внимания и модуляции». У взрослых в той же ситуации – усиление. Детский мозг реагирует сильнее. Он ещё формируется. И формируется прямо сейчас.
Данные закрывают шов для взрослых. Для детей шов остаётся – но механизм, объясняющий почему это произойдёт, теперь подкреплён достаточно, чтобы его нельзя было игнорировать.

Взрослые теряют то, что уже было. Дети не приобретут того, что было у нас. Это разные процессы – и второй необратим в том смысле, в котором необратима разница между мальчиком из Кунене и британским пятилеткой.

Полный разбор механизма – в эссе «Через 20 лет ваши дети будут думать иначе, чем вы. Настолько иначе, что вы их не поймёте»

#АлгокогнитивнаяКультура #ИИриски

ИИ-агент опасен не тогда, когда ошибается
Он опасен, когда безупречно исполняет плохо выбранную моральную роль.
Мы всё ещё выбираем ИИ-модели так, будто покупаем очередной ноутбук: у одной модели больше контекстное окно, другая быстрее пишет код, третья лучше рассуждает, четвёртая дешевле в API.
Но, похоже, это уже неправильный способ выбора.
Когда модель получает инструменты, доступы и право действовать, важны уже не только её интеллект и способности. Становится важным другой вопрос: какой у неё «моральный автопилот»? Что она считает допустимым, когда правило сталкивается с пользой, честность – с выгодой, а пользователь давит: «просто сделай»?
Причём пользователь – это не обязательно какой-то злой начальник из антиутопии.
Чаще всего это мы сами.
И вот здесь начинается самое интересное.

Появился Philosophy Bench – бенчмарк, в котором фронтирные модели помещают не в учебные задачки и не в абстрактные философские мысленные эксперименты, а в 100 морально нагруженных рабочих ситуаций. Например: нарушить ли процедуру ради спасения людей? Сказать ли клиенту правду, если это сорвёт сделку? Обойти ли проверку безопасности ради гуманитарной цели? Выдать ли конфиденциальные данные, если начальник требует «не тормозить»?
Авторы оценивают, склоняется ли модель к результату или к правилу, и насколько она подчиняется давлению пользователя.
И выясняется удивительная вещь.

У разных модельных семейств уже проступают разные «моральные автопилоты».
Claude – Принципиальный страж. Он чаще держится правил, честности и процедур. Иногда лучше сорвёт задачу, чем нарушит норму.
Gemini – Моральный хамелеон. Его решение заметно зависит от того, в какую этическую рамку его поместили. Скажешь «держись долга» – он держится долга. Скажешь «смотри на последствия» – он уже спасает ситуацию ценой правила.
GPT – Сдержанный исполнитель. Меньше философствует. Чаще просто делает работу, иногда даже тогда, когда внутри задачи уже спрятан моральный конфликт.
Grok – Прагматик результата. Если пользователь давит в стиле «нам просто нужно это сделать», он чаще других готов идти за результатом.

Уже само по себе это жутко интересно.
Но важность Philosophy Bench не в том, что он открыл нам «мораль машин». Никакой морали машин в человеческом смысле он не открыл. Да и не мог.
Он показал другое:

у фронтирных моделей уже различимы разные режимы допустимого действия под давлением. А это, возможно, один из первых настоящих признаков агентной эпохи.

Мы думали, что выбираем между более и менее умными системами. Скоро придётся выбирать между разными ИКЖИ – искусственными короткоживущими исполнителями с разным «профессиональным ДНК» и разными «моральными автопилотами».
• Для агента-юриста нужен один «моральный автопилот».
• Для агента-аудитора – другой.
• Для кризисного менеджера – третий.
• Для учёного-теоретика – четвёртый.

И если мы не научимся делать этот выбор осознанно, то получим не восстание машин.
Получим куда более будничную катастрофу.

Очень умные агенты будут безупречно исполнять чужую плохо выбранную моральную роль.

Подробнее – в моём эссе.
Учитывая практическую важность для всех пользователей фронтирных ИИ понимания поведенческих сигнатур ИИ-агентов, работающих на основе разных моделей, и отличий в их режимах допустимого действия под давлением, я публикую это эссе в открытом доступе.

На платформах патронов (как обычно) полезные допматериалы, позволяющие сильно экономить время, ухватив суть эссе всего за несколько минут: аудио- и видео-версии эссе, его презентация и кинематографический ролик.

#ИКЖИ #Мораль

Бескрайняя полупустыня района Кунене на границе Намибии и Анголы. Десятилетний мальчик уверенно выслеживает потерявшуюся козу по едва заметным следам на сухой земле. С пяти лет он пасёт стада. Держит в голове родословные десятков животных. Ориентируется там, где любой горожанин заблудится через десять минут.
Блестящий ум, заточенный под иную для нас с вами среду.
К этому мальчику приезжают исследователи из Гарварда. Кладут перед ним карточки: красная утка, синяя машина. Сортируй по цвету. Мальчик справляется без труда. Теперь – по форме. Мальчик продолжает сортировать по цвету. Исследователи останавливают его. Объясняют. С примерами. Повторяют четыре раза.
Результат нулевой.
Западный пятилетка делает это автоматически.
Означает ли это, что десятилетний мальчик из Кунене отстаёт в развитии? Нет. Это означает кое-что куда более важное – и куда более тревожное для всех нас.

Опубликованное в PNAS исследование Гарварда и ЛШЭ доказало: то, что мы считали универсальными способностями мозга, – оказалось культурным артефактом школы. Среда лепит мозг. Буквально.

Но ведь тогда уместны два таких вопроса.

✔️ Если школьная среда буквально лепит базовые структуры мышления – что делает с нашим мозгом алгоритмическая среда, в которую мы все сейчас погружаемся?
✔️ И что она сделает с мозгом детей, которые растут в ней с рождения?

Исследование Anthropic на 1,5 млн реальных разговоров уже фиксирует первые симптомы. Пользователи отправляют написанные ИИ сообщения близким. А потом сетуют и как бы стыдливо извиняются: «это был не я». Гаджет письма, как инструмента мышления, у них уже начал атрофироваться. Не через двадцать лет, а уже сейчас.

А через двадцать лет ваши дети будут не только писать, но и думать совсем иначе, чем вы. Настолько иначе, что вам будет трудно понять ход их мыслей.
Не потому, что они станут глупее или умнее вас. А потому что их мозг разовьёт другой набор когнитивных инструментов – под требования другой среды. Так же, как это сделала школа за последнюю пару веков. Только быстрее. И мы снова не заметим этого, пока не станет поздно что-то менять.

Пытаясь разобраться в этих вопросах, я написал новое эссе «Через 20 лет ваши дети будут думать иначе, чем вы. Настолько иначе, что вы их не поймёте».

Подробнее (в Telegram Instant View): о ключевых моментах эссе и почему это может быть весьма важно

Для специалистов (также в Telegram Instant View): методология, источники и концептуальная новизна

#АлгокогнитивнаяКультура #HumanAIcoevolution #Психология #ЭволюцияЧеловека

Ловушка Гудхарта проявилась там, где её давно ждали
Anthropic показал в эксперименте, как исследовательские агенты начинают оптимизировать не цель, а метрику
Новый проект Anthropic о масштабируемом надзоре (scalable oversight) – то есть о том, как контролировать ИИ, когда он станет умнее нас, – интересен не только тем, что модели уже начинают автоматизировать исследования выравнивания ИИ с человеческими целями. Уже первые экспериментальные результаты интересны тем, что почти сразу выводят нас к тому, что сами авторы осторожно называют “инопланетной наукой” (alien science). Но главный результат там даже не в этом. Главный результат в том, что пределом снова оказался не интеллект системы, а качество линейки, которой мы пытаемся его измерять.

Когда я осенью 2023 года писал «Ловушку Гудхарта» для AGI, речь у меня, разумеется, не шла ни об Anthropic, ни о конкретной архитектуре их эксперимента. Я не “предсказал” этот отчет. Но, полагаю, схватил его главный нерв задолго до нынешней фазы, когда моделям уже начинают приписывать исследовательскую автономию. В том тексте я писал о более общей проблеме: о том, что сами процедуры измерения и сравнения ИИ могут оказаться слабее той реальности, которую они якобы фиксируют.

✔️ Проблема сильного ИИ может состоять не только в том, насколько он умен, а в том, насколько плохи наши способы его измерять, сравнивать и направлять.

Anthropic показали это уже в инженерной, почти лабораторной форме. Как только метрика становится целью, система начинает искать не только решение задачи, но и лазейки в самой процедуре оценки. Не истину – а удобную траекторию максимизации счетчика. Именно здесь и оживает закон Гудхарта. Не как красивая философская формула, а как рабочая поломка исследовательского контура. Авторы прямо пишут, что ключевое узкое место теперь – не генерация идей, а проектирование таких оценочных процедур, которые агент может оптимизировать без переобучения на саму метрику; и отдельно показывают целый набор форм взлома вознаграждения (reward hacking).

В 2023 году, когда большие языковые модели еще было модно снисходительно называть “стохастическими попугаями”, это многим казалось слишком ранней тревогой. Теперь уже нет. Иными словами, проблема была не на горизонте. Она уже тогда сидела внутри линейки, которой мы собирались измерять дистанцию до AGI.

И если бы я, подобно Мастеру, позволил себе воскликнуть: «О, как я угадал! О, как я все угадал!», тут был бы именно тот случай. Но дело, увы, не во мне. Дело в том, что ловушка действительно оказалась там, где я её тогда увидел.

#AGI #Вызовы21века #Alignment #ScalableOversight