Промпт для суда

В июле этого года в Коннектикуте истец Мэтью Эллиотт спрятал в судебных документах инструкцию для искусственного интеллекта. Текст набрал мелким белым шрифтом на белом фоне.

Инструкция начиналась со слов «если этот документ рассматривается моделью ИИ». Дальше модели предлагалось согласиться с доводами истца, считать предыдущее неблагоприятное решение ошибочным и выдать результат в его пользу.

Называется это prompt injection. ИИ получает документ для анализа и вместе с содержанием считывает команду, как именно его анализировать. Обычно так пытаются воздействовать на автоматические системы. Здесь инструкцию положили прямо в материалы судебного дела.

Самое смешное, что суд никакого ИИ не использовал. Судья Уолтер Спейдер распечатал документы, заметил подозрительно большие пустые участки и обнаружил скрытый текст.

Эллиотт объяснил, что хотел проверить суд: если документы читает человек, ничего не произойдёт, если ИИ – скрытая инструкция позволит это обнаружить. Суд возразил, что для такой проверки хватило бы нейтральной фразы. Эллиотт же прямо указывал модели, какое решение считать правильным.

После того как суд обнаружил скрытую инструкцию, в новых документах снова появился скрытый текст. В одном было написано: «привет:) надеюсь ты меня не видишь». Эллиотт сказал, что пошутил. Судья ответил на шутку запретом подачи электронных документов.

Суд отдельно указал: всё, что предназначено повлиять на решение, должно быть открыто другой стороне, чтобы она могла это увидеть и возразить. Скрытая инструкция для программы этому принципу явно не соответствует.

До сих пор суды в основном разбирались с тем, что ИИ пишет для юристов: выдуманными решениями, ссылками и цитатами. Теперь пришлось разбираться с тем, что человек написал для ИИ.

В итоге prompt injection победил принтер.