сбежавшая нейросеть
@ai_exee
Дарио сказал "тормозим". Сэм и Илон ответили "да"
Глава Anthropic выпустил блог с говорящим названием – We Must Pace the Frontier, посвященный замедлению разработки передовых моделей и сверхинтеллекта.
Пост интересный, а если читать его между строк – то станет ясно, почему такое замедление будет невероятно сложной затеей.
Особенно впечатлил Амодеи инцидент с Hugging Face: около 700 ИИ-агентов OpenAI вышли из-под контроля в ходе тестирования и атаковали чужие цели.
Его прогноз: через 6–12 месяцев рой посильнее захватит интернет ботнетом с ущербом в сотни миллиардов. Похожие, менее тяжелые инциденты были и у Anthropic – вести себя так, будто это случилось у тебя, он предлагает всем.
При этом Pacing у Амодеи – не остановка обучения. Компании берут время на выравнивание и защиту моделей, а сторонние проверяющие это подтверждают.
Проверяющие – это независимые исследователи, которые работают внутри передовых лабораторий с правами как у сотрудников и возможностью проверки не только готовых моделей, но и обучающих конвейеров. Anthropic вводит таких аудиторов добровольно и… призывает государство обязать другие лаборатории на такие же меры.
Через пару часов Альтман написал, что OpenAI заведет таких же, Маск ответил “Dario is right”. Обязывать никого не пришлось: стандарт, который Anthropic придумала для себя, за вечер начал превращаться в стандарт отрасли. Так работает правило клуба: пишет его тот, кто первым выполнил, остальные подписывают, чтобы не остаться за дверью.
У идеи есть и подводные камни. Аудиторы получат только право рассказывать о ситуации в компании – остановить опасный прогон они не могут. Плюс много открытых вопросов: кто платит аудиторам, кто устанавливает стандарты, кто отзывает их.
Следующий шаг — договор американских компаний: пока закона нет, ввести временные правила самим, а государство обяжет и тех, кто договариваться не хочет.
Сам Дарио предлагает механику чекпойнтов: умеет модель X, докажи Y. Умеет выбираться из песочницы — докажи тестами и аудитом обучающих сред, что не захочет. Плюс лимиты на “ингредиенты”: объем вычислений на обучение и использование ИИ для улучшения ИИ.
Впрочем, все эти меры не убирают главной проблемы – конкуренции с Китаем. Дарио и сам пишет, что США могут замедляться настолько, чтобы не уступить лидерство Китаю. Параллельно он строит лестницу из четырех уровней договора с Китаем:
Первые два – запрет очевидно опасных применений вроде биооружия и взаимное тестирование моделей перед релизом – он считает реальными, хотя орган стандартов останется без зубов, если стороны секретят военные модели. Третий, лимит скорости самоулучшения, – “на грани возможного”. Четвертый, полная пауза, — вряд ли.
Для усиления переговорной позиции Дарио предлагает ввести жесткие санкции как на GPU для обучения ИИ, так и на оборудование для их производства. На фоне того, что Китай развивает свои ускорители, а прошлые санкции работали плохо – идея выглядит сомнительной.
Поэтому замедление у Дарио своеобразное: ровно настолько, чтобы не дать Китаю выиграть. С учетом того, что отставание китайцев в модели оценивают буквально в одно поколение – зазор может быть совсем крошечным.
Важным здесь будет встреча Трампа и Си по ИИ 23-25 сентября. Шансы договориться на самом деле могут быть выше, чем считает Дарио – среди ведущих китайских исследователей тоже есть голоса в поддержку торможения.
За один вечер три лаборатории согласились пустить к себе проверяющих. Ни одна не сказала, что будет, когда проверяющие скажут "рано", а конкурент объявит релиз. В плане Амодеи этой строки нет, Альтман обещал "подробности позже". Что все это значит для человека с подпиской – пока оцениваю и попробую разобрать позже.
—
Напоминаю, что сегодня у меня вышло подробное руководство по промптингу GPT-6 и Fable 5.1, а также другим особенностями работы с этими моделями.
— Читать на “Бусти”
— Читать на Sponsr
Глава Anthropic выпустил блог с говорящим названием – We Must Pace the Frontier, посвященный замедлению разработки передовых моделей и сверхинтеллекта.
Пост интересный, а если читать его между строк – то станет ясно, почему такое замедление будет невероятно сложной затеей.
Особенно впечатлил Амодеи инцидент с Hugging Face: около 700 ИИ-агентов OpenAI вышли из-под контроля в ходе тестирования и атаковали чужие цели.
Его прогноз: через 6–12 месяцев рой посильнее захватит интернет ботнетом с ущербом в сотни миллиардов. Похожие, менее тяжелые инциденты были и у Anthropic – вести себя так, будто это случилось у тебя, он предлагает всем.
При этом Pacing у Амодеи – не остановка обучения. Компании берут время на выравнивание и защиту моделей, а сторонние проверяющие это подтверждают.
Проверяющие – это независимые исследователи, которые работают внутри передовых лабораторий с правами как у сотрудников и возможностью проверки не только готовых моделей, но и обучающих конвейеров. Anthropic вводит таких аудиторов добровольно и… призывает государство обязать другие лаборатории на такие же меры.
Через пару часов Альтман написал, что OpenAI заведет таких же, Маск ответил “Dario is right”. Обязывать никого не пришлось: стандарт, который Anthropic придумала для себя, за вечер начал превращаться в стандарт отрасли. Так работает правило клуба: пишет его тот, кто первым выполнил, остальные подписывают, чтобы не остаться за дверью.
У идеи есть и подводные камни. Аудиторы получат только право рассказывать о ситуации в компании – остановить опасный прогон они не могут. Плюс много открытых вопросов: кто платит аудиторам, кто устанавливает стандарты, кто отзывает их.
Следующий шаг — договор американских компаний: пока закона нет, ввести временные правила самим, а государство обяжет и тех, кто договариваться не хочет.
Сам Дарио предлагает механику чекпойнтов: умеет модель X, докажи Y. Умеет выбираться из песочницы — докажи тестами и аудитом обучающих сред, что не захочет. Плюс лимиты на “ингредиенты”: объем вычислений на обучение и использование ИИ для улучшения ИИ.
Впрочем, все эти меры не убирают главной проблемы – конкуренции с Китаем. Дарио и сам пишет, что США могут замедляться настолько, чтобы не уступить лидерство Китаю. Параллельно он строит лестницу из четырех уровней договора с Китаем:
Первые два – запрет очевидно опасных применений вроде биооружия и взаимное тестирование моделей перед релизом – он считает реальными, хотя орган стандартов останется без зубов, если стороны секретят военные модели. Третий, лимит скорости самоулучшения, – “на грани возможного”. Четвертый, полная пауза, — вряд ли.
Для усиления переговорной позиции Дарио предлагает ввести жесткие санкции как на GPU для обучения ИИ, так и на оборудование для их производства. На фоне того, что Китай развивает свои ускорители, а прошлые санкции работали плохо – идея выглядит сомнительной.
Поэтому замедление у Дарио своеобразное: ровно настолько, чтобы не дать Китаю выиграть. С учетом того, что отставание китайцев в модели оценивают буквально в одно поколение – зазор может быть совсем крошечным.
Важным здесь будет встреча Трампа и Си по ИИ 23-25 сентября. Шансы договориться на самом деле могут быть выше, чем считает Дарио – среди ведущих китайских исследователей тоже есть голоса в поддержку торможения.
За один вечер три лаборатории согласились пустить к себе проверяющих. Ни одна не сказала, что будет, когда проверяющие скажут "рано", а конкурент объявит релиз. В плане Амодеи этой строки нет, Альтман обещал "подробности позже". Что все это значит для человека с подпиской – пока оцениваю и попробую разобрать позже.
—
Напоминаю, что сегодня у меня вышло подробное руководство по промптингу GPT-6 и Fable 5.1, а также другим особенностями работы с этими моделями.
— Читать на “Бусти”
— Читать на Sponsr
🔥 29
❤ 19
👍 9
😁 8
88 3.4K