Разбор эссе CEO Anthropic: забота о безопасности или заигрывание с Трампом?

Многие помнят мой анализ AI 2027, сегодня разбираю свежее эссе Дарио Амодеи, CEO Anthropic, под названием “Отрочество технологий”

Вы знаете, что мне импонирует позиция Anthropic по безопасности ИИ, но этот текст вызывает смешанные чувства. Важные вопросы здесь соседствуют с опасным политическим популизмом.

Как всегда, рекомендую прочитать оригинал, а ниже - мой разбор.

О чем речь
Амодеи ждет к 2027 ИИ, чей интеллект затмит лучших ученых мира. В своем эссе он описывает пять главных рисков: от потери автономии и биоугроз до захвата власти диктатурами и краха экономики.

И если угрозы описаны реалистично, то предлагаемые решения - спорные.

1. Геополитика и прогиб под Трампа
Амодеи уделяет огромную часть эссе противостоянию "демократий" и "автократий" (США vs Китай). Он предлагает вооружать демократии ИИ, чтобы сдерживать Китай. ИМХО - это откровенный прогиб под администрацию США.

У Трампа на повестке жесткое противостояние с Китаем, и мы знаем, как он любит лояльность. Весь нарратив про "плохой Китай" и "хорошие США" выглядит как попытка продать себя Пентагону и Белому дому.

Деление на "наших" и "врагов", когда речь идет о создании сверхразума - это не про безопасность. Это про гонку вооружений. Если мы отдаем контроль над ИИ политикам (людям, чья компетенция в науке стремится к нулю, а жажда власти - к бесконечности), мы сами роем себе могилу. Безопасность ИИ должна быть глобальной историей, а не инструментом в руках Трампа или Си.

2. Интерпретируемость - единственный путь
Амодеи требует законов о прозрачности ради интерпретируемости и здесь я с ним согласен.

Самое важное - решить проблему "черного ящика". Нельзя масштабировать модели, если мы не понимаем логику их решений. Если модель скрывает намерения в мелочах, доверять ей критические сферы нельзя. Без полной прозрачности “мыслей” ИИ массовое внедрение невозможно.

3. Экономический популизм и благотворительность
Дарио признает, что ИИ усилит неравенство. Решение: микс из госрегулирования и личной филантропии: мол, “мы, техно-олигархи, будем жертвовать деньги, а государство - перераспределять”.

Лично для меня это так же утопично, как заявления Альтмана о безусловном доходе. Мир всегда строился на иерархиях и неравенстве - от пищевых цепочек до экономики. Если ИИ сконцентрирует 90% ресурсов в руках одних - филантропия не спасет от социального разрыва. Это расслоение просто эволюционирует в новую, более жесткую форму. Верить в доброго царя-технократа - наивно.

4. Архитектурная безопасность: AGI vs специализация
Дарио боится, что ИИ научит людей делать биологическое оружие. Его решение - фильтры и "Конституциональный ИИ". Идея в том, что модель будет сдерживаться зашитым в нее набором принципов.

Но этот концепт вызывает у меня лишь скепсис. История показывает, что любые ограничения и "священные принципы" обходятся или меняются по щелчку пальцев владельца, для этого не нужно быть сверхразумом.

Мое решение - не создавать модель, умеющую всё. Я писал, что вместо AGI нам нужны узкоспециализированные модели. Это эффективнее и безопаснее. Если мы изначально закладываем ограничения в архитектуру и данные, мы нивелируем риск.

5. Душить ли инновации?
Амодеи пишет, что боится “задушить инновации”. Главный аргумент - теория игр: “Если США остановятся, Китай продолжит и победит, навязав миру свои правила”.

Логично, но на мой взгляд, выход из этой дилеммы не в ускорении, а в смене правил игры. Если мы создаем технологию, способную уничтожить мир, нужно идти в сторону международной коллаборации, а не гонки, построенной вокруг исключительности какой-то нации.

Вместо того чтобы нестись вперед ради политических очков, нужно душить опасные инновации сообща, на уровне глобальных договоренностей, как это было с ядерным оружием или химическими агентами.

Мое мнение по статье
Эссе Амодеи - это попытка усидеть на двух стульях: быть “безопасным” и при этом выиграть гонку для США. Но в вопросах экзистенциальных рисков компромиссы не работают.

🚀 Влад Корнышев про AI и создание AI-продуктов