Залог успешной работы с LLM - эффективный промпт (формулировка задачи/запроса к LLM). Очень большое количество новых инструментов которые сейчас появляются на рынке это просто обертки над LLM в которые зашиты заботливо разработанные prompts которые дают хороший результат. Например - суммаризация. Вроде как все инструменты суммаризации используют одни и те же LLM, но мы видим, что результат работы каждого из них сильно отличается. Это промпты даже стали уже предметом промышленного шпионажа и все хотят подсмотреть - что там под капотом у конкурентов :)

В статье ниже объясняется, почему структура запроса важнее слов, и как внимание LLM влияет на результат. Дело в то, что LLM не читает текст в привычном для человека понимании, она "видит" и оценивает весь текст одновременно. Ключевое отличие хорошего запроса заключается заключается не в словах, а в том, как вы структурируете процесс мышления. Разбивая задачу на пронумерованные шаги вы используете принцип работы трансформаторного внимания: структурированные последовательные инструкции создают более четкий контекст, который направляет рассуждения модели.

- Неоптимальный запрос — длинный, неструктурированный текст с размытыми требованиями.

- Оптимальный запрос — роль (персона), четкие секции (CORE ANALYSIS, LEGACY ASSESSMENT), формат вывода, приоритеты.

Главный вывод: навык структурирования запросов к LLM — это современный аналог алгоритмической грамотности. Инженеры, освоившие “грамотность внимания”, получают экономическое и технологическое преимущество.

https://alexchesser.medium.com/attention-is-the-new-big-o-9c68e1ae9b27