ИИ воссоздаёт ваши движения по логам смартфона

Каждый день компании собирают терабайты данных о том, как мы взаимодействуем с приложениями. Какие кнопки нажимаем, куда свайпаем, сколько времени проводим на экране. Казалось бы, ну координаты касаний — что с них возьмёшь? А вот исследователи из Лейпцигского университета показали, что взять можно гораздо больше.

Их система Log2Motion берёт обычные логи тапов и свайпов и синтезирует из них полноценную 3D-модель движений вашей руки. Получается биомеханически точная симуляция с 63 мышцами, которая учитывает естественный моторный шум нервной системы.

Как это работает? Система объединяет Android-эмулятор с физическим симулятором MuJoCo. Алгоритм обучения с подкреплением учится воспроизводить движения так, чтобы виртуальный палец попадал в те же точки, что записаны в логах, но при этом двигался по-человечески — с плавным ускорением и естественными траекториями.

На выходе — траектории движений, оценка мышечного усилия и даже вероятность того, что вы устали и промахнулись. Синтезированные движения сравнили с данными реальных людей из motion capture — результаты неотличимы от настоящих.

Формально всё это для благих целей: дизайнеры смогут оценивать эргономику интерфейсов без дорогих исследований. Но сама мысль, что из пары координат можно восстановить, как именно двигалась ваша рука... немного пугает, не находите?

@droidergram