Индийские ученные создали систему, которая может определять, что несёт дрон 📦

Учёные из Homi Bhabha National Institute и Bhabha Atomic Research Centre (Индия) представили новую систему DroneGround — двухэтапный фреймворк для автоматического определения того, что именно несёт беспилотник, замеченный камерой наблюдения. Исследование опубликовано на arXiv.

Существующие системы видеонаблюдения за дронами хорошо справляются с обнаружением самого аппарата, но плохо определяют характер прикреплённого груза. Традиционные детекторы (YOLO, Faster R-CNN) работают по принципу закрытого набора классов. Они способны узнавать только те типы полезной нагрузки, на которых их обучали, и «слепы» к любым новым конфигурациям — камерам, контейнерам, устройствам сброса и так далее. Кроме того, реальных размеченных снимков дронов с грузом крайне мало, поскольку их дорого и сложно собирать.

Для решения этой проблемы, авторы сначала создали фотореалистичный синтетический датасет в Unreal Engine 5 и Cosys-AirSim, объединив несколько платформ дронов с разнообразными типами полезной нагрузки, ракурсами съёмки и условиями окружающей среды. На основе этих данных построен сам DroneGround. Детектор YOLO26s локализует дрон в кадре и вырезает область вокруг него, после чего дообученная с помощью LoRA модель PaliGemma (vision-language модель) генерирует текстовое описание дрона и его груза уже не в фиксированных категориях, а свободным языком. Отдельный модуль на основе окклюзии показывает, какие именно участки изображения повлияли на итоговое описание, обеспечивая интерпретируемость решений.

На реальных и синтетических изображениях DroneGround заметно превзошёл классический закрытый детектор. F1-мера выросла с 82,5% до 96,3%, это означает, что новая система стала заметно точнее и полнее одновременно. Ещё более заметна разница на ранее не встречавшихся типах полезной нагрузки — 80,4% против 42,7% у базовой модели, что подтверждает способность системы обобщать знания за пределы обучающей выборки.

Сочетание качественных синтетических данных с языковыми моделями зрения может стать практичным решением для систем безопасности аэропортов, промышленных объектов и охраняемого воздушного пространства, где важно заметить дрон и понять, что он несёт.