Почему ИИ «врет» и причем здесь ошибки новичка

Часто слышу от коллег: "ИИ выдает чушь", "постоянные галлюцинации", "придумал судебную практику" и т.д. И еще скидывают новости, как очередного адвоката в США "поймали" на том, что он в своих документах ссылался на несуществующие прецеденты, выдуманные ChatGPT.

Для справки: "галлюцинация"- это когда ИИ уверенно выдумывает факты, имена, нормы права, которых нет.

Но в большинстве случаев проблема не в ИИ, а в том как пользователь с ним работает.

Ниже - основные ошибки, приводящие к галлюцинациям. Ну и краткие советы, как это поправить.

Слабая модель

Если используем DeepSeek, Qwen, Kimi, Mistral или другие бесплатные модели второго эшелона - риск галлюцинаций высокий по умолчанию. Какие методы не применяй, какие промпты не пиши - модель будет выдавать неточности.

Вывод: чем мощнее модель, тем меньше галлюцинаций. Для юридических задач больше подходят самые мощные модели - ChatGPT 5, Claude Opus 4.1 / Sonnet 4.5, Gemini 2.5 Pro.

Работа без режима поиска

Без режима поиска ИИ отвечает только на основе данных обучения и не знает ничего после даты отсечки знаний.

При включении режима поиска активируется RAG-система - ИИ обращается к актуальным данным в интернете и на их основе формирует ответ.

Вывод: нужны актуальные данные - включаем режим поиска. Это базовое правило работы.

Не используем рассуждающие модели

Для сложных аналитических задач нужны модели с режимом "Рассуждения". В этом режиме ИИ сначала анализирует задачу, выстраивает логику решения, а затем дает ответ.

Например, ChatGPT 5 Thinking показывает отличные результаты за счет этого режима.

Вывод: сложная аналитика с опорой на актуальные данные - ChatGPT 5 Thinking + принудительный режим поиска.Связка работает мощно.

Перегрузка контекстного окна

Контекстное окно - это объем информации, который ИИ может обработать в рамках одного диалога. Измеряется в токенах.

Если у модели окно 32к токенов, а мы загружаем 1000 страниц (это гораздо больше токенов) - она просто выкинет из контекста большую часть. И будет отвечать на основе того, что «запомнила». Отсюда и галлюцинации.

Вывод: подбираем модель под объем данных. Нужно обработать прямо много документов - используем Gemini 2.5 Pro (окно свыше 1 млн.токенов).

Плохой промпт

Качество промпта напрямую влияет на качество ответа. Сильно влияет. Чем точнее и структурированнее запрос, тем лучше результат.

Вывод: промпт решает. Не жалейте время на его проработку - это окупится качеством результата. Хороший промпт обычно включает: роль, контекст задачи, четкое описание того, что нужно получить, формат ответа, ограничения и т.д.

Неправильный выбор инструмента под задачу

Разные задачи требуют разных инструментов. Бесполезно от DeepSeek требовать аналитические выводы с привязкой к актуальным данным по 500 страничному тексту. Он не сможет решить эту задачу из-за ограничений модели - особенностей RAG-слоя и размера контекстного окна. Но DeepSeek, например, сможет боле-менее сносно найти логические противоречия и дисбаланс ответственности в договоре на 40 листах.

При выборе ИИ-инструмента важно понимать его сильные и слабые стороны:

Мощная аналитика + актуальные данные → ChatGPT 5 Thinking
Большой объем документов → Gemini 2.5 Pro
Своя база знаний по конкретным источникам → NotebookLM

Вывод: перед тем как ставить задачу, убедитесь, что выбранный инструмент способен ее решить. Учитывайте ограничения модели - это сэкономит время и нервы.

Главное

Да, ИИ может выдавать галлюцинации и ответы надо верифицировать - это база. Но при правильном использовании (мощная модель, поиск, рассуждения, промпты) их минимум.

Но главное - понимание роли ИИ. Это мощный ассистент, который ускоряет работу. Но он не заменяет экспертизу юриста. И решения (что из ответов ИИ пойдет в работу) принимает только юрист.

Те самые адвокаты в США попались не потому, что ИИ "соврал", а потому, что слепо перенесли результат без проверки. Это как без проверки направить в суд документ, подготовленный помощником. Ответственность за результат всегда за юристом.

Так вижу.