Новая полезная статья: “Attention Is the New Big-O: A Systems Design Approach to Prompt Engineering”.

Если раньше мы оценивали алгоритмы по сложности, то теперь - по удерживанию внимания LLM.

Что это значит на практике? В LLM внимание (attention) - это не фокус в человеческом смысле, а математика связей. Каждое слово в вашем запросе “взвешивается” относительно всех других, и форма промта определяет, что модель заметит, а что проигнорирует. Она не читает по порядку, а сразу строит матрицу взаимосвязей. Поэтому структура текста влияет очень сильно.

Вот несколько советов, чтобы выжать из моделей побольше:

1. Начинайте с самого важного. Исследования показывают, что наибольший вес имеют первые и последние строки промта. Если критично выделить цель - поставьте её в начало.
2. Разбивайте задачу на блоки. Используйте подзаголовки, списки, шаги. Модели проще держать внимание на сегментах, чем на “стене текста”.
3. Формат вывода задавайте явно. JSON, таблица, список - укажите формат, это дисциплинирует модель и уменьшает количество “творческих” отклонений.
4. Используйте ролевую установку. “Вы - старший архитектор”, “Вы - аналитик” помогают задать глубину рассуждений и стиль ответа. Но для задач, где нужна только фактура, лучше обойтись без излишней ролевой рамки.
5. Избавляйтесь от двусмысленностей. Фразы типа “всё, что покажется важным” вызывают внимание-дрифт и провоцируют лишний шум. Заменяйте их на конкретные критерии.
6. Делайте промт модульным. Как код. Добавили новый пункт анализа - вся структура остаётся стабильной. Это уменьшает риск “сломать” всю инструкцию и повышает устойчивость.
7. Тестируйте “иголкой в стоге”. Автор советует проверять, может ли модель “вынуть” ключевую деталь из массива текста. Это позволяет оценить, правильно ли сработало внимание.
8. Да и любопытный приём - дайте модели самой переписать ваш промт более структурированно. Часто её версия работает лучше, чем ваша оригинальная.

Каждое плохо написанное задание возможно экономит токены, но прожигает куда более дорогой ресурс - рабочее внимание команды.

Несколько неструктурированных запросов быстро превращаются в часы уточнений и итераций. Хорошо спроектированный промт ускоряет обратную связь, уменьшает количество правок и помогает делать больше качественного результата на тех же ресурсах.

В итоге вывод очевиден: промт - это мини-система, которую нужно проектировать не хуже, чем код или архитектуру сервиса. Хорошее понимание механики внимания становится новым базовым навыком в разработке с ИИ.

Сергей Булаев AI 🤖 - об AI и не только