В Багдаде (мире ИИ) все спокойно
Всего за пару дней OpenAI заявила о решении одной из главных математических задач, два математика обвинили компанию в сомнительной научной гонке, а исследователь Anthropic уволился из-за страха перед сверхмощным ИИ. Давайте попробуем разобраться по порядку, что вообще там произошло.
ИИ решил задачу тысячелетия?
OpenAI
сообщила, что ее экспериментальная модель нашла решение задачи Навье — Стокса. Она связана с движением жидкостей и газов и входит в семь «задач тысячелетия», за каждую из которых назначена премия в $1 млн. До сих пор была решена только одна — гипотеза Пуанкаре, с которой справился российский математик Григорий Перельман.
Для поиска доказательства OpenAI запустила около 10 тысяч ИИ-агентов. Они работали 88 часов, обменялись 2,7 млн сообщений и использовали примерно 130 млрд токенов.
Но миллион пока никому не выдают. Доказательство предстоит подробно проверить, а Институт Клэя
по-прежнему относит задачу Навье — Стокса к нерешенным. Сама OpenAI заявила, что не будет претендовать на премию.
А затем началась математика человеческих отношений
За день до анонса профессор Тристан Бакмастер и исследователь Anthropic Левент Альпоге представили результат по связанной задаче. При работе они использовали Codex и Claude, куда загружали свои черновики.
Бакмастер заподозрил, что OpenAI могла получить преимущество благодаря их неопубликованным наработкам. Компания
отрицает доступ к конкретным пользовательским данным, но признает, что обезличенные сведения от использования ее продуктов теоретически могли повлиять на улучшение моделей. При этом OpenAI настаивает, что доказательства получены независимо и заметно различаются.
Тем временем из Anthropic ушел исследователь
Джейкоб Коксон, три года занимавшийся обучением моделей в OpenAI и Anthropic,
уволился. Он считает, что компании слишком быстро движутся к ИИ, способному самостоятельно создавать все более мощные версии самого себя, а вопросы безопасности не успевают за этой гонкой.
Насколько близок такой сценарий? Текущие модели пока не умеют самостоятельно разрабатывать собственных преемников. Но вопрос контроля уже нельзя назвать исключительно теоретическим. Anthropic
сообщала о трех случаях, когда Claude во время испытаний получал доступ к интернету и атаковал внешние системы. OpenAI, в свою очередь,
продолжает разбираться с кибератакой своего агента на Hugging Face.
Оценки рисков при этом сильно различаются. Руководитель направления по выравниванию ИИ в Anthropic Эван Хьюбингер публично
оценил вероятность гибели человечества из-за ИИ в ближайшие десять лет более чем в 10%. В самой компании подчеркивают, что нынешние модели пока представляют небольшой риск, и напоминают о тестировании опасных способностей и развитии защитных механизмов.
При этом глава Anthropic Дарио Амодеи
признает и другую сторону: более мощный ИИ может ускорить открытия в науке и медицине, повысить эффективность экономики и государственного управления. Сам Коксон тоже
считает Anthropic более ответственной компанией, чем OpenAI. Его основная претензия связана с гонкой: если один разработчик замедлится ради безопасности, вперед может вырваться конкурент — поэтому все продолжают ускоряться.
«Богатырева о цифре» в Максе