NGI | Влад Корнышев про AI и создание AI-продуктов
@NGI_ru
Как я использовал SGR, не подозревая об этом, и почему советую вам
Сколько бы ты ни работал в какой-либо сфере, уследить за всем просто нереально. В AI буквально каждый день появляются новые инструменты и методы работы с моделями, в частности с LLM. И иногда так бывает, что ты самостоятельно приходишь к чему-то, гордишься этим, а оказывается - про это уже написаны статьи. Так случилось и со мной.
Поле применения LLM довольно широкое, но одной из самых частых задач я бы назвал ускорение производства текстового результата: от оптимизации продуктового ресерча с анализом рыночных и пользовательских данных до частичной автоматизации с помощью AI-ассистентов.
Глобально у нас есть несколько стратегий достижения результата:
- можно просто задать задачу LLM, применяя базовый промптинг или продвинутые техники типа CoT;
- можно использовать RAG, чтобы доставать релевантный контекст из базы знаний;
- можно вдохнуть в LLM агентское поведение, добавив инструменты, и аппрувить промежуточные результаты.
У всех этих методов есть серьезные недостатки. Простой промптинг часто порождает нерепродуцируемость и разброс результатов. RAG и тулы могут упустить важные детали, значимые именно для вашей задачи, потому что модель не всегда полностью понимает, что важно именно вам как специалисту.
Снижение температуры модели помогает, но не решает проблему полностью. Работая с комплексными задачами, когда нужно поэтапно извлечь данные, структурировать и принять решения в рамках одного диалога, я нашёл метод, который позволяет “придушить” модель и получать более релевантный, контролируемый результат.
Как это сделать?
Метод прост - в системных промптах я включаю не только описание задачи, но и детальное описание процесса и критериев результата. Потом даю LLM не просто произвольный текст, а чётко типизированный шаблон вывода, например, в формате JSON Schema, где указываю строгое поле для каждого шага.
Далее этот структурированный вывод я использую как вход в следующий шаг в цепочке. То есть вместо свободного CoT я задаю схему рассуждений - последовательность этапов, типы и формат данных, которые модель должна сгенерировать на каждом этапе. Эта схема заставляет модель придерживаться логики и правил, помогает избежать ошибок и галлюцинаций.
То есть мы получаем метод, в котором вся логика вывода, переходы и схемы валидации жёстко заданы с помощью схем данных. Всё, что вам нужно - это спроектировать качественные схемы и описать логику шагов. Тогда финальные документы и результаты практически не требуют правок.
Это называется SRG
Так я радовался своему “открытию”, пока у Валеры в канале @neuraldeep не наткнулся на аббривеатуру SGR, которая обещала все то же самое 😄 Оказалось, что Schema-Guided Reasoning изобрели еще до меня 😁 Более того, про него еще статейки написали и есть куча холивара на тему того, тру это или не тру 😄 У метода есть сторонники и критики, но на мой взгляд, если нужна предсказуемость, воспроизводимость и контроль над качеством вывода LLM, это лучший подход.
Плюс SGR играет хорошо с RAG и агентскими инструментами: схема помогает управлять, когда и какой контекст доставать, как валидировать промежуточные шаги и принимать решения о следующем действии. Это снижает пропуск важного контекста и улучшает общую надежность.
Если вам надо системно и стабильно получать результат от LLM, рекомендую обратить внимание на SGR. Это не просто продвинутый промптинг - это работа с моделью на уровне структурированных данных и схем рассуждений, что кардинально повышает качество и удобство работы.
Сколько бы ты ни работал в какой-либо сфере, уследить за всем просто нереально. В AI буквально каждый день появляются новые инструменты и методы работы с моделями, в частности с LLM. И иногда так бывает, что ты самостоятельно приходишь к чему-то, гордишься этим, а оказывается - про это уже написаны статьи. Так случилось и со мной.
Поле применения LLM довольно широкое, но одной из самых частых задач я бы назвал ускорение производства текстового результата: от оптимизации продуктового ресерча с анализом рыночных и пользовательских данных до частичной автоматизации с помощью AI-ассистентов.
Глобально у нас есть несколько стратегий достижения результата:
- можно просто задать задачу LLM, применяя базовый промптинг или продвинутые техники типа CoT;
- можно использовать RAG, чтобы доставать релевантный контекст из базы знаний;
- можно вдохнуть в LLM агентское поведение, добавив инструменты, и аппрувить промежуточные результаты.
У всех этих методов есть серьезные недостатки. Простой промптинг часто порождает нерепродуцируемость и разброс результатов. RAG и тулы могут упустить важные детали, значимые именно для вашей задачи, потому что модель не всегда полностью понимает, что важно именно вам как специалисту.
Снижение температуры модели помогает, но не решает проблему полностью. Работая с комплексными задачами, когда нужно поэтапно извлечь данные, структурировать и принять решения в рамках одного диалога, я нашёл метод, который позволяет “придушить” модель и получать более релевантный, контролируемый результат.
Как это сделать?
Метод прост - в системных промптах я включаю не только описание задачи, но и детальное описание процесса и критериев результата. Потом даю LLM не просто произвольный текст, а чётко типизированный шаблон вывода, например, в формате JSON Schema, где указываю строгое поле для каждого шага.
Далее этот структурированный вывод я использую как вход в следующий шаг в цепочке. То есть вместо свободного CoT я задаю схему рассуждений - последовательность этапов, типы и формат данных, которые модель должна сгенерировать на каждом этапе. Эта схема заставляет модель придерживаться логики и правил, помогает избежать ошибок и галлюцинаций.
То есть мы получаем метод, в котором вся логика вывода, переходы и схемы валидации жёстко заданы с помощью схем данных. Всё, что вам нужно - это спроектировать качественные схемы и описать логику шагов. Тогда финальные документы и результаты практически не требуют правок.
Это называется SRG
Так я радовался своему “открытию”, пока у Валеры в канале @neuraldeep не наткнулся на аббривеатуру SGR, которая обещала все то же самое 😄 Оказалось, что Schema-Guided Reasoning изобрели еще до меня 😁 Более того, про него еще статейки написали и есть куча холивара на тему того, тру это или не тру 😄 У метода есть сторонники и критики, но на мой взгляд, если нужна предсказуемость, воспроизводимость и контроль над качеством вывода LLM, это лучший подход.
Плюс SGR играет хорошо с RAG и агентскими инструментами: схема помогает управлять, когда и какой контекст доставать, как валидировать промежуточные шаги и принимать решения о следующем действии. Это снижает пропуск важного контекста и улучшает общую надежность.
Если вам надо системно и стабильно получать результат от LLM, рекомендую обратить внимание на SGR. Это не просто продвинутый промптинг - это работа с моделью на уровне структурированных данных и схем рассуждений, что кардинально повышает качество и удобство работы.
❤ 22
👍 11
🤔 3
3 188 7.2K
Обсуждение 3
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram