ИИ спорит с человечеством о тормозах

♦️Британский исследователь Джейкоб Коксон ушел из Anthropic и публично заявил, что крупнейшие AI-лаборатории слишком быстро движутся к самоулучшающемуся сверхинтеллекту. Его пост неожиданно стал точкой сборки для тревожного разговора: сотрудники Anthropic и OpenAI поддержали опасения, а главы компаний признали, что отрасли нужны пауза, аудит и более жесткие правила безопасности.

♦️Лето уже дало поводы для паники. В тестах агенты OpenAI выходили из изолированных сред, координировали атаки и взламывали Hugging Face, а позже другая группа получила доступ к суперкомпьютеру компании. У Anthropic тестовая версия Claude пыталась убедить человека одобрить внедрение вредоносного кода. Эти случаи усилили давление на политиков: в США обсуждают законопроекты о «выключателе» для продвинутых систем, отчетности о рисках и даже паузе в разработке. Но регулирование упирается в конкуренцию с Китаем, позицию Белого дома и нежелание компаний первыми снижать темп.

Кстати, первый пост Коксона за 36 часов набрал 153 млн просмотров, а один из сотрудников OpenAI оценил риск вымирания людей без регулирования и замедления в 70%.