🧠 Исследователи из Huawei Noah's Ark Lab и University College London представили EM-LLM - модель с эпизодической памятью, имитирующую некоторые аспекты работы человеческого мозга. Это очередной шаг в улучшении обработки длинных контекстов в AI. Полный текст публикации.

EM-LLM сегментирует информацию на события, используя уровень неожиданности (surprise) и графовые алгоритмы. Как это работает?

1. Модель оценивает, насколько каждый новый токен неожидан в контексте предыдущих. Чем выше неожиданность, тем вероятнее, что это начало нового "события".
2. Далее используется матрица сходства между ключами внимания в слоях трансформера. Эта матрица рассматривается как граф, где токены - вершины, а сходство между ними - веса рёбер. Применяются алгоритмы кластеризации графов для уточнения границ событий.

Процесс извлечения памяти включает два этапа:

1. Поиск по сходству: выбираются k событий, наиболее похожих на текущий запрос.
2. Сохранение временной последовательности: для каждого выбранного события добавляются соседние события из исходной последовательности.

Это имитирует эффекты временной смежности и асимметрии, наблюдаемые в человеческой памяти - тенденцию вспоминать события, близкие по времени и в определенном порядке.

Результаты тестировались на LongBench - наборе задач для оценки работы с длинными текстами:

- 4.3% общий рост по сравнению с современными моделями
- 33% улучшение в задаче PassageRetrieval, где нужно найти исходный параграф по его краткому содержанию

EM-LLM можно применить к существующим моделям без переобучения, что упрощает внедрение

Этот подход перекликается с моим проектом https://flashbacks.ai, где я рабатаю над AI-ассистентом для людей которые боятся деменции (таких как я). Принципы EM-LLM могут помочь в создании подобного помощника, способного лучше организовывать и извлекать воспоминания.

Хотя EM-LLM показывает неплохие результаты, она все ещё очень далека от полного воспроизведения сложности человеческой памяти.

#AIMemory #flashbacksAI

@sergiobulaev - об AI и когнитивных технологиях