Внезапно оказалось, что существует бесплатный инструмент для многокамерного захвата движений — без дорогих костюмов, маркеров и подписок.

И у него офигенная бэкстори:

Март 2020-го. Коронавирус закрывает университеты, лаборатории, всё что не успело
закрыться само. Джонатан Маттис — ассистент-профессор нейронауки в Бостоне — смотрит
на замок на двери своей лаборатории и думает примерно следующее: ну и что теперь.

Маттис занимается странной, на первый взгляд, наукой: изучает как мозг управляет
ходьбой по неровному рельефу — по камням, по горным тропам. Занимается с 2008-го,
и его статья 2018 года в Current Biology доказала кое-что неожиданное: когда идёшь
по сложной поверхности, глаза автоматически смотрят вперёд ровно на столько шагов,
сколько нужно мозгу для оптимальной энергетики. Ни больше, ни меньше. Мозг считает
шаги как шахматист — в фоне, молча, без вашего участия. (Уверен, эти знания уже внедряются в робототехнике.)

Короче для таких исследований нужен motion capture. Профессиональный стенд — $150,000 и отдельное помещение. Но вот наступает КОВИД! Лаборатория закрыта. Маттис, будучи по-хорошему упоротым учёным, берёт несколько вебкамер, MediaPipe от Google — нейросеть, которая находит 33 точки тела на каждом кадре — и библиотеку Anipose для многокамерной калибровки. Калибровочная борда распечатывается на обычном принтере. Больше ничего не нужно.

Сделал для себя. Выложил для всех. Так появился FreeMoCap.

Четыре года спустя — это полноценная система с активным комьюнити и регулярными
апдейтами:

→ Markerless — никаких костюмов, маркеров и датчиков, просто камеры
→ Многокамерная — вебкамеры, GoPro, iPhone, DSLR, что есть
→ Capture volume ограничен только количеством камер, не лицензией
→ Экспорт FBX, BVH, .blend со скелетом и ригом прямо в Blender
→ Обработка локально — данные никуда не уходят
→ Бесплатно. Без подписок. Без СМС. AGPL, открытый код.

Короче все просто: расставил камеры по комнате, откалибровал, записал, получил скелет.

7,5 тысяч звёзд на GitHub, академические цитирования, некоммерческий фонд — всё это
от нейроучёного, который в карантин просто не хотел терять продуктивность.

Я сам раньше пользовался Move.ai — даже рассказывал об этом в видео год назад.
Но компания сменила вектор, задрала цены и переориентировалась на энтерпрайз.
Мне и так приходилось платить $1500 в год за инструмент, которым в итоге я пользуюсь редко, а теперь меня совсем жаба задушила.

Продавать оборудование для Move.ai: 8 камер GoPro и штативы — тоже не хотелось. Вот я и начал искать многокамерные альтернативы и выяснил: их практически нет. Точнее, в опенсорсе — ровно одна.

Не удивлюсь, если работа Маттиса 2018 года вдохновила в том числе и Move.ai —
технологии разные, но идея "считывать движение тела без маркеров через компьютерное
зрение" витала именно в таких исследованиях. Это было в воздухе. Маттис просто
сделал это бесплатным.

Больше инфы в коментариях к посту!
Буду тестировать в реальном пайплайне. Расскажу и покажу, что получится.

👇 Сохраняйте себе и пересылайте друзьям-аниматорам! ну и подпишись на @VoogieBoogie