☝🏻Xiaomi выложила на Hugging Face Xiaomi-Robotics-1

Xiaomi-Robotics-1 — это vision-language-action модель, система, которая связывает картинку с камеры, текстовую команду на естественном языке и действия робота.

Модель выполняет разнообразные команды в незнакомых помещениях без дообучения под конкретную задачу.

☝🏻☝🏻Управляет она мобильным роботом с двумя манипуляторами и подвижным корпусом: он сам перемещается по комнатам, подъезжает к нужному предмету, берёт его и ставит на место, ориентируясь только по камере и текстовой команде — без телеуправления и без заранее прописанного сценария, причём и сами помещения, и конкретные предметы во время оценки робот раньше не видел.🤖

Xiaomi выпустила такого робота в реальные квартиры.

Он наводил порядок на диване, раскладывал обувь, прибирал стол и складывал вещи в сумку — то есть отрабатывал всю цепочку от навигации по комнате до захвата объекта «с нуля», а не по заученному маршруту.

Отдельно робот справляется с физически неудобными сценариями:
Он загружает стиральную машину, заправляет принтер, орудуя гибкими листами бумаги и упаковывает смартфон.

Xiaomi открывает код и веса сразу в трёх размерах — 2, 5 и 10 млрд параметров.

Смысл в том, что одна и та же модель переносится на разные корпуса роботов и предсказуемо улучшается с ростом данных и масштаба.🧠
================
News | Soft | Gear | Links