Phishing Emails Are Now Aimed at Users and AI Defenses

Недавно мне на глаза попалась статья с разбором фишинговой компании с интересной особенностью, которой хочу поделиться в этой короткой заметке. На первый взгляд ничего интересного, классический сценарий - фишинг пользователя Gmail с целью получения учетных данных под предлогом необходимости смены "проссроченного" пароля. Рассылка проводилась с SendGrid, фишинговая страница с обфусцированным js за редиректором на доверенном сабдоменом Microsoft Dynamics и прикрыта капчей.

Но в MIME заголовке сообщения электронной почты есть текст промта, адресованный LLM модели (на скриншоте) подключенной к песочнице email gateway почтового сервера, для обнаружения фишинга📥 Такой AI prompt-injection позволяет отправить модель в длинную петлю рассуждений, намеренно затягивая время получения алерта и автоматизированной блокировки отправителя😜

Вообще, хайп связанный с LLM, которые притаскивают в различные продукты и решения не планирует утихать, например, для меня загадка зачем кошачьему туалету нужен искусственный интелект🤦 (см второй скриншот, особенно на самого кота😂)
В нашей отрасли эти дополнения обычной функциональности обычно подаются в качестве "волшебной серебрянной пули", которая способна решить все задачи естественного интелекта. И это вполне закономерный этап эволюции технологий, прогресс в отрасли AI позволит вывести автоматизацию рутины на новый уровень, позволит нам решать творческие задачи, делегируя все остальное бездушной машине, но принимать окончательные решения должен все таки естественный интелект.

Возвращаясь к фишингу, дополнительные технические уровни контроля на базе LLM это очень круто, но это не заменит критическое мышление, сформированное классическим подходом повышения осведомленности пользователей😎