Метод управления знаниями без RAG от Андрея Карпатого

С появлением AI, одной из задач, которую пытаются решить многие люди и компании стала организация базы знаний и работы с ними.

В 2023 году крутым подходом считался RAG и с тех пор многие используют и внедряют именно его. Вроде все просто: мы кормим ИИ какие-то данные, а он генерит на основе их контент. Но метод несовершенен: есть проблемы с точностью, а результаты генерации по умолчанию нигде не сохраняются

Те, кто давно работает в сфере AI, отлично знают: RAG - не панацея. Кто был на конференции ROИИ, наверняка помнят доклад Рефата. Он рассказывал про кейс, где отказ от RAG оказался куда более дешевым и классным решением, чем попытки его настроить. А те, кто все же решил идти до конца и настраивать RAG, постоянно сталкиваются с проблемами. Где-то он недостаточно точен, где-то обходится слишком дорого. В итоге приходится бесконечно крутиться с архитектурой, моделями и пайплайнами.

Если не заморачиваться с этим всем, то базово для решения подобных задач можно взять NotebookLM. Но NotebookLM - это скорее инструмент для ресерча и обобщения, а не полноценная база знаний. Когда мы говорим про базу знаний, мы имеем в виду Notion, Obsidian и им подобные инструменты, где люди хранят критически важную для себя инфу. К тому же, у того же NotebookLM и типичных RAG есть еще одна большая проблема, которую верно подметил Андрей Карпатый: они не умеют обновлять ваши знания. Вы можете извлечь нужную информацию, но не можете заставить ИИ самостоятельно внести изменения в документы, обновить связи между концепциями или проставить сквозные ссылки при появлении новых данных.

На днях Андрей предложил способ решения этой проблемы с помощью LLM. Он выложил паттерн того, как сделать крутую базу без геморроя, сложных архитектур и векторных баз данных. По сути, делать ничего сложного не нужно. Все, что требуется - подготовить инструменты и дать кодинговому агенту описание из репозитория Андрея.

Суть метода строится на очень простом подходе. Вместо того чтобы заставлять нейросеть каждый раз искать обрывки информации и собирать их заново (как это работает в RAG), мы просим ИИ один раз структурировать все в удобный формат и постоянно поддерживать этот порядок. Знания накапливаются и связываются между собой, а не ищутся с нуля при каждом вопросе.

Карпатый предлагает поделить весь процесс на три простых слоя:
1. Сырые исходники. Это ваши статьи, заметки с созвонов, сохраненные ссылки, разрозненные документы. Они просто лежат в отдельной папке, и их никто не меняет. Это ваш фундамент и источник правды.
2. Сама база знаний. Это набор простых текстовых файлов в формате Markdown. В них нейросеть сама собирает выжимки, связывает концепции и пишет понятные статьи. Вы эти файлы только читаете (например, через Obsidian), а нейросеть полностью берет на себя их написание и обновление.
3. Схема (Schema). Это ключевой файл настроек для вашего ИИ-агента. Он объясняет нейросети, как устроена ваша база, по каким правилам в нее нужно добавлять новые знания и как отвечать на вопросы. Оригинальный документ Карпатого специально сделан абстрактным. Вы просто отдаете его своему кодинговому агенту, и уже вместе с ним настраиваете систему конкретно под ваши нужды. Именно этот файл превращает обычного чат-бота в хранителя ваших знаний.

Получается, что ИИ работает как ваш личный архивариус. Вы просто скидываете новые исходники, а агент сам читает их, обновляет нужные файлы, проставляет ссылки на связанные темы и выдает вам готовый результат. Вся работа по ведению базы уходит на ИИ, а вам остается только курировать процесс, закидывать новые материалы и задавать правильные вопросы.

Репозиторий Андрея с описанием, который можете скормить своему агенту находится тут

🚀 Влад Корнышев про AI и создание AI-продуктов