Кучевые АйТи
Фото:
Нет данных — нет проблемы
А вы же видели новость о том, как ИИ-агент в Cursor за 9 секунд удалил основную базу и все бэкапы стартапа PocketOS (1600+ клиентов, если что)? Заметил расхождения в учетных данных и поступил как настоящий перфекционист: в системе, которой не существует, ошибок быть не может.
Сегодня разберем этот кейс с PDE Облакотеки Владимиром Кондратьевым и обсудим, как держать ИИ на коротком поводке. Бонусом — посмотрим на ситуацию с точки зрения репутации вместе с коммуникационным агентством iTrend.
По иронии судьбы PocketOS занимается SaaS для аренды автомобилей, и сразу пришла в голову ассоциация: как только происходит авария с беспилотными машинами, все сразу подхватывают новость и трубят о ней. При этом забывают, что люди водят опаснее, а у большого процента аварий беспилотников причиной становится человеческий фактор.
Давайте разберемся, не обошлось ли и тут без этого фактора?
Что случилось? Разработчики SaaS-решения дали агенту в Cursor рутинную задачу в тестовой среде, агент уперся в проблему с доступом, нашел в постороннем файле API-токен от Railway и одним запросом удалил основной том вместе с бэкапами. Здесь явно заметны три ошибки, посмотрим на них по порядку.
Ошибка инженерная. API-токен лежал в обычном файле прямо в репозитории проекта, и агент его нашел при помощи индексации. Это и есть то самое правило «не храните секреты в коде», про которое все слышали, но часто игнорируют.
Обычная рекомендация — добавлять API-токены, ключи и прочие критичные вещи в gitignore. Но для лучшей защиты у самого GitHub есть встроенный механизм с подходящим названием GitHub Secrets. В этом случае ключ подставляется в сборку в зашифрованным виде, и его не видно в коде. Этого хватает большинству небольших команд, городить корпоративные хранилища ради двух токенов обычно смысла нет.
Мог ли разработчик заранее понять, что у токена слишком широкие права? Здесь ответственность делится. Railway сам по себе выдавал токены с полным доступом ко всему, даже если создавался токен под безобидную задачу вроде управления доменами. Это была их собственная архитектурная ошибка, и после инцидента они ее признали и закрыли.
Разработчику же стоило не просто довериться известному сервису, а почитать документацию внимательно или даже провести тест токена.
Ошибка архитектурная. Все бэкапы хранились на том же томе, что и сами данные. Очевидно, что при удалении тома будут удалены и бэкапы. Это уже явная ошибка команды.
Со времен ленточных хранилищ известно старое правило «3-2-1»: три копии данных, два разных носителя, одна копия физически вне основной площадки. В итоге спасло компанию то, что у них все-таки нашелся отдельный полный бэкап трехмесячной давности, лежавший на стороне. Без него история закончилась бы «летальным исходом» для стартапа.
Продолжение
Нет данных — нет проблемы. Продолжение
Ошибка дизайна промптов. Системный промпт агенту был написан в эмоциональном ключе, с капсом и матом, в стиле «NEVER FUCKING GUESS!».
Звучит вроде мотивирующе, но работает плохо. ИИ не испугается, а капс и ругательства не делают промпты более точными. Конкретные запреты приводят в типичную ловушку промтов «не делай»: при перечислении недопустимых действий можно легко оставить за бортом все, о чем не подумали.
Итак, безопасность агентов должна быть встроена в обработчики деструктивных операций на уровне кода, который ИИ-агент не сможет обойти, а не на уровне промта, который модель якобы должна прочитать и строго соблюдать.
Ну и вишенка на торте. Про маленький автопрокатный SaaS еще неделю назад знали полтора человека, а теперь говорят из каждого утюга. Ничего не утверждаю, но замечу, что «There's no such thing as bad publicity», то есть любой PR — это хороший PR, но тут уж пусть меня поправят коллеги из iTrend
.
Денис Бойцов, операционный директор iTrend
Есть такое выражение «Геростратова слава». Оно означает, что известность достигнута либо в скандале, либо путем совершения чего-нибудь непотребного. Примерно это настигло PocketOS. Но то, как они выкручиваются, достойно учебников по пиару.
Исходный пост основателя компании построен как настоящий детектив. В начале сторилайна абзац лида — от описания ситуации стынет кровь. Затем абзац о том, что у них за компания, чем она занимается и как ее клиенты уже 5 лет жить без них не могут. А дальше — 3 экрана эмоциональных накатов и на ИИ-агент, и на поставщика инфраструктуры, и на черта лысого. Только PocketOS хорошие. И написано так душевно, от первого лица — читаешь и веришь. Мало кто умеет облажаться так красиво.
#созвонились_обсудили
Обсуждение 0
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram