Роботы теперь смогут вспомнить, где оставили ключи

Массачусетский технологический институт представил систему DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment), которая научила роботов запоминать окружающий мир. Для этого исследователи объединили компьютерное зрение, а также метод SLAM — его используют для создания карт новой среды с параллельным отслеживанием, где именно в этой среде находится робот.

DAAAM же берёт довольно подробные описания от визуально-языковой модели (VLM) и преобразует их в пространственную 3D-карту. Как это работает:

ИИ обрабатывает ближайшие объекты и выбирает только те кадры, где несколько предметов видны наиболее чётко
Каждому объекту присваиваются текстовое описание, 3D-координаты и временная метка 👆🏻
Если у робота что-то спросить, языковая модель запускает расширенный поиск по смыслу слова (например, если искать конкретную скульптуру) или по локации (рядом со зданием MIT).

Тестировали систему на собственном бенчмарке OC-NaVQA на дистанции 1,64 км и 35 минут. В сравнении с другими методами DAAAM оказался на 21-53% точнее — в зависимости от запроса. Например, система показала точность ответов более 70% против 43-46% у ReMEmbR от NVIDIA и 30% у ConceptGraphs. Как выяснилось, ReMEmbR хранит кадры с описаниями в векторе, однако на больших расстояниях перестаёт сопоставлять данные. ConceptGraphs же строит довольно детальные карты, но быстро расходует свободную память.

@anti_robots