avatar
Кучевые АйТи
@oblakoteka
06.05.2026 11:37
Кучевые АйТи Фото: Нет данных — нет проблемы А вы же видели новость о том, как ИИ-агент в Cursor за 9 секунд удалил основную базу и все бэкапы стартапа PocketOS (1600+ клиентов, если что)? Заметил расхождения в учетных данных и поступил как настоящий перфекционист: в системе, которой не существует, ошибок быть не может. Сегодня разберем этот кейс с PDE Облакотеки Владимиром Кондратьевым и обсудим, как держать ИИ на коротком поводке. Бонусом — посмотрим на ситуацию с точки зрения репутации вместе с коммуникационным агентством iTrend. По иронии судьбы PocketOS занимается SaaS для аренды автомобилей, и сразу пришла в голову ассоциация: как только происходит авария с беспилотными машинами, все сразу подхватывают новость и трубят о ней. При этом забывают, что люди водят опаснее, а у большого процента аварий беспилотников причиной становится человеческий фактор. Давайте разберемся, не обошлось ли и тут без этого фактора? Что случилось? Разработчики SaaS-решения дали агенту в Cursor рутинную задачу в тестовой среде, агент уперся в проблему с доступом, нашел в постороннем файле API-токен от Railway и одним запросом удалил основной том вместе с бэкапами. Здесь явно заметны три ошибки, посмотрим на них по порядку. Ошибка инженерная. API-токен лежал в обычном файле прямо в репозитории проекта, и агент его нашел при помощи индексации. Это и есть то самое правило «не храните секреты в коде», про которое все слышали, но часто игнорируют. Обычная рекомендация — добавлять API-токены, ключи и прочие критичные вещи в gitignore. Но для лучшей защиты у самого GitHub есть встроенный механизм с подходящим названием GitHub Secrets. В этом случае ключ подставляется в сборку в зашифрованным виде, и его не видно в коде. Этого хватает большинству небольших команд, городить корпоративные хранилища ради двух токенов обычно смысла нет. Мог ли разработчик заранее понять, что у токена слишком широкие права? Здесь ответственность делится. Railway сам по себе выдавал токены с полным доступом ко всему, даже если создавался токен под безобидную задачу вроде управления доменами. Это была их собственная архитектурная ошибка, и после инцидента они ее признали и закрыли. Разработчику же стоило не просто довериться известному сервису, а почитать документацию внимательно или даже провести тест токена. Ошибка архитектурная. Все бэкапы хранились на том же томе, что и сами данные. Очевидно, что при удалении тома будут удалены и бэкапы. Это уже явная ошибка команды. Со времен ленточных хранилищ известно старое правило «3-2-1»: три копии данных, два разных носителя, одна копия физически вне основной площадки. В итоге спасло компанию то, что у них все-таки нашелся отдельный полный бэкап трехмесячной давности, лежавший на стороне. Без него история закончилась бы «летальным исходом» для стартапа. Продолжение
Нет данных — нет проблемы. Продолжение

Ошибка дизайна промптов. Системный промпт агенту был написан в эмоциональном ключе, с капсом и матом, в стиле «NEVER FUCKING GUESS!».

Звучит вроде мотивирующе, но работает плохо. ИИ не испугается, а капс и ругательства не делают промпты более точными. Конкретные запреты приводят в типичную ловушку промтов «не делай»: при перечислении недопустимых действий можно легко оставить за бортом все, о чем не подумали.

Итак, безопасность агентов должна быть встроена в обработчики деструктивных операций на уровне кода, который ИИ-агент не сможет обойти, а не на уровне промта, который модель якобы должна прочитать и строго соблюдать.

Ну и вишенка на торте. Про маленький автопрокатный SaaS еще неделю назад знали полтора человека, а теперь говорят из каждого утюга. Ничего не утверждаю, но замечу, что «There's no such thing as bad publicity», то есть любой PR — это хороший PR, но тут уж пусть меня поправят коллеги из iTrend .

Денис Бойцов, операционный директор iTrend

Есть такое выражение «Геростратова слава». Оно означает, что известность достигнута либо в скандале, либо путем совершения чего-нибудь непотребного. Примерно это настигло PocketOS. Но то, как они выкручиваются, достойно учебников по пиару.

Исходный пост основателя компании построен как настоящий детектив. В начале сторилайна абзац лида — от описания ситуации стынет кровь. Затем абзац о том, что у них за компания, чем она занимается и как ее клиенты уже 5 лет жить без них не могут. А дальше — 3 экрана эмоциональных накатов и на ИИ-агент, и на поставщика инфраструктуры, и на черта лысого. Только PocketOS хорошие. И написано так душевно, от первого лица — читаешь и веришь. Мало кто умеет облажаться так красиво.


#созвонились_обсудили
👍 4
2
🔥 2
1 342

Обсуждение 0

Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.

Обсудить в Telegram