Фантомные домены

Злоумышленники неожиданно для себя получили прямо в руки новый инструмент обмана пользователей. Виной тому - природа языковых моделей. Опираясь на вероятность появления того или иного слова в фразе, LLM может сочинять не только тексты, но и URL-cсылки. Выглядят они вполне правдоподобно, но никуда не ведут: при переходе по такой ссылке пользователь в лучшем случае получит ошибку 404.

И здесь остается только в очередной раз удивляться продвинутости мошенников: они уже анализируют статистику ответов на запросы к LLM и регистрируют несуществующие домены, которые вероятнее всего LLM выдаст в ответ на популярный запрос. Получается, что злоумышленникам даже взламывать LLM не нужно. Они просто дают нейросети самой себе придумать домен, а потом регистрируют его!

Явление это назвали Phantom Squatting (тот самый сквоттинг - незаконное вселение или самовольный захват пустующего дома). Для понимания масштаба - эксперты взяли 900+ брендов, направили двум LLM более 650 тыс соответствующих запросов. На выходе получили более 2 млн ссылок, 13 тыс из которых содержали вредноносное ПО. Еще 250 тыс доменов вообще не существовали: каждый восьмой сайт LLM просто придумала!

Как выяснилось, мошенники действуют точно как эксперты, но работают на опережение. Выявляя фантомные домены в выдаче нейросети, они регистрируют наиболее симпатичные и правдоподобные из них. Путь от первоначальной регистрации к активному развертыванию вредоносного контента домен проходит за несколько часов. Ну а путь к пользователю максимально прост: авторитетный ИИ-агент, которому юзер доверяет, сам выдаст ему нужную ссылку на блюдечке. К слову, только что бывший фантомным, но уже зарегистрированный домен, абсолютно чист: он еще не внесен в черные списки, по нему вообще нет истории анализа угроз или какого-либо рейтинга репутации, людьми и привычными механизмами он еще не был проиндексирован и  классифицирован. А значит стандартные средства безопасности его не отловят.

👍 Хорошие новости: эксперты-безопасники учатся бороться с фантомным сквоттингом. Уже  получается предсказывать регистрацию небезопасного домена злоумышленниками за 18-50 дней и дополнительно проверять подозрительные домены на благонадежность перед тем как они попадут на глаза пользователям.
👎 Плохие новости: это пока отдельные решения за отдельные деньги от специализирующихся на безопасности разработчиков.
✔️ Ну а глупенький LLM снова не виноват.

Анонимный Аналитик, специально для @antiinfosec