Чем чреваты «письма счастья» от OpenAI?

Общественность встревожена – OpenAI взломали и у нее утекли данные! Так ли это? Надо ли всем бояться, что наши запросы в ChatGPT стали достоянием гласности?

Давайте разбираться. Как это часто бывает в последние годы, взломана была не сама компания, а ее подрядчик; в данном случае аналитическая платформа Mixpanel, которая 8 ноября подверглась атаке, а спустя сутки злоумышленники выгрузили наборы данных, связанных с использованием API OpenAI.

Инцидент затронул только пользователей platform.openai.com, работающих через API. Компрометация включала ограниченный набор идентифицирующей информации:

имя учётной записи API,
e-mail,
примерное местоположение (город / штат / страна),
используемые ОС и браузер,
связанные сайты,
идентификаторы организаций и пользователей.

Это типичные метаданные веб-аналитики, однако они достаточны для последующих попыток таргетированного фишинга. При этом OpenAI подчеркивает, что пользователям не требуется сбрасывать пароли или заново генерировать ключи доступа, так как ключевые и чувствительные данные сервисов компании не были затронуты:

чаты,
запросы и ответы API,
содержимое промптов,
пароли,
учетные данные,
API-ключи,
платежные данные,
государственные идентификационные данные.

Сам подрядчик, Mixpanel, решил уведомить OpenAI об инциденте спустя две недели, а именно 25 ноября, признав, что атака затронула "ограниченное число клиентов". При этом компания не раскрыла технических деталей, не указала объем выгруженных данных, не описала, какие именно системы были скомпрометированы, что оставляет пространство для предположений: масштабы могут быть шире, чем заявлено. Именно поэтому после получения результатов расследования OpenAI прекратила использование сервисов Mixpanel и удалила интеграцию этой платформы из своих продуктов.

Хотя утекла лишь "поверхностная" и не самая критичная информация, именно из таких данных строятся фишинговые кампании, попытки атак на учетные записи, а также атаки на администраторов крупных корпоративных заказчиков, использующих API для доступа к LLM-сервисам. Тем более что API-клиенты – это, как правило, компании или разработчики, что повышает ценность цели и открывает, в перспективе, возможности для реализации атак на клиентов этого подрядчика.

Алексей Лукацкий, Chief Evangelist Officer, Positive Technologies, специально для @anti_agi