(a) Иллюстрация процесса выполнения предлагаемой структуры. (b) Результат трехмерной реконструкции вышеуказанной сцены, созданный предлагаемой структурой. Кредит: arXiv (2024). DOI: 10.48550/arxiv.2409.02738
Беспилотные летательные аппараты (БПЛА), обычно называемые дронами, оказались высокоэффективными системами для мониторинга и исследования окружающей среды. Эти автономные летающие роботы также могут использоваться для создания подробных карт и трехмерных (3D) визуализаций реальной среды.
Исследователи из Университета Сунь Ятсена и Гонконгского университета науки и технологий недавно представили SOAR, систему, которая позволяет группе БПЛА быстро и автономно реконструировать окружающую среду, одновременно исследуя и фотографируя ее. Эта система, представленная в статье, опубликованной на arXivСервер препринтов, который будет представлен на Международной конференции IEEE/RSJ по интеллектуальным роботам и системам (IROS) 2024, может иметь множество применений, от городского планирования до проектирования сред видеоигр.
«Наша статья возникла из-за растущей потребности в эффективной и высококачественной 3D-реконструкции с использованием беспилотных летательных аппаратов», — рассказал Tech Xplore соавтор статьи Минцзе Чжан.
«Мы заметили, что существующие методы часто делятся на две категории: подходы на основе моделей, которые могут быть трудоемкими и дорогими из-за их зависимости от предварительной информации, и методы без моделей, которые одновременно исследуют и реконструируют, но могут быть ограничены локальными ограничениями планирования. Нашей целью было преодолеть этот разрыв, разработав систему, которая могла бы использовать сильные стороны обоих подходов».
Кредит: Чжан и др.
Основной целью недавнего исследования Чжана и его коллег было создание гетерогенной системы с несколькими БПЛА, которая могла бы одновременно исследовать окружающую среду и собирать фотографии, собирая данные, которые можно было бы использовать для реконструкции окружающей среды. Для этого они сначала приступили к разработке методики для инкрементальной генерации точек обзора, которая адаптируется к информации о сцене, которая приобретается с течением времени.
Кроме того, команда планировала разработать стратегию назначения задач, которая оптимизировала бы эффективность команды из нескольких БПЛА, гарантируя, что она будет последовательно собирать данные, необходимые для реконструкции окружающей среды. Наконец, команда провела серию симуляций для оценки эффективности своей предлагаемой системы.
«SOAR — это гетерогенная система из нескольких БПЛА LiDAR-Visual, разработанная для быстрой автономной 3D-реконструкции», — объяснил Чжан. «Она использует команду БПЛА: одного исследователя, оснащенного LiDAR, для быстрого исследования сцены и нескольких фотографов с камерами для получения подробных изображений».
Обзор системы предлагаемой гетерогенной системы LiDAR-Visual с несколькими БПЛА для быстрой воздушной реконструкции. Кредит: arXiv (2024). DOI: 10.48550/arxiv.2409.02738
Для создания 3D-реконструкций предложенная командой система выполняет различные шаги. Во-первых, БПЛА, который они называют «исследователем», эффективно перемещается и картографирует среду, используя стратегию, основанную на границе поверхности.
Поскольку этот БПЛА постепенно картографирует среду, система команды постепенно генерирует точки обзора, которые в совокупности обеспечат полный охват поверхностей в обозначенной среде. Затем другие БПЛА, называемые фотографами, посетят эти места и соберут там визуальные данные.
«Точки обзора группируются и назначаются фотографам с использованием метода Consistent-MDMTSP, балансируя рабочую нагрузку и поддерживая последовательность задач», — сказал Чжан. «Каждый фотограф планирует оптимальный путь для съемки изображений с назначенных точек обзора. Собранные изображения и соответствующие им позы затем используются для создания текстурированной 3D-модели».
Уникальной особенностью SOAR является то, что он позволяет собирать данные как с помощью LiDAR, так и с помощью визуальных датчиков. Это обеспечивает эффективное исследование окружающей среды и создание высококачественных реконструкций.
Траектории, сгенерированные и результаты реконструкции с помощью нашего метода, SSearchers и Multi-EE в двух сценах. За исключением исследователя (черная траектория) в нашем методе, который не участвует в захвате изображения, все остальные беспилотные летательные аппараты участвуют в задачах получения изображения. Кредит: arXiv (2024). DOI: 10.48550/arxiv.2409.02738
«Наша система адаптируется к динамически меняющейся информации о сцене, обеспечивая оптимальное покрытие с минимальным количеством точек обзора», — сказал Чжан. «Последовательно назначая задачи БПЛА, она также повышает эффективность сканирования и сокращает ненужные обходные пути для фотографов».
Чжан и его коллеги оценили свою предложенную систему в серии симуляций. Их выводы были весьма многообещающими, поскольку было обнаружено, что SOAR превосходит другие современные методы реконструкции окружающей среды.
«Главным достижением нашего исследования является введение новой структуры для быстрой автономной воздушной реконструкции», — сказал Чжан. «Центральным элементом этой структуры является разработка нескольких ключевых алгоритмов, которые используют инкрементальный дизайн, достигая важного баланса между возможностями планирования в реальном времени и общей эффективностью, что имеет важное значение для задач онлайн- и динамической реконструкции».
В будущем SOAR можно будет использовать для решения широкого спектра реальных проблем, требующих быстрой и точной реконструкции 3D-сред. Например, его можно будет использовать для создания подробных 3D-моделей городов и инфраструктуры или для помощи историкам в сохранении культурного наследия страны, помогая им реконструировать исторические места и артефакты.
«SOAR также можно будет использовать для реагирования на стихийные бедствия и оценки последствий», — сказал Чжан. «В частности, он может позволить спасателям быстро оценивать ущерб после стихийных бедствий и планировать спасательные и восстановительные работы».
Система команды могла бы дополнительно способствовать осмотру инфраструктуры и строительных площадок, позволяя рабочим четко отображать эти местоположения. Наконец, ее можно было бы использовать для создания 3D-моделей игровых сред, вдохновленных реальными городами и природными ландшафтами.
«Мы с энтузиазмом относимся к потенциалу будущих исследований в этой области», — сказал Чжан. «В наши планы входит преодоление разрыва между симуляцией и реальностью: мы стремимся решить проблемы, связанные с переходом SOAR из симуляции в реальную среду. Это будет включать решение таких проблем, как ошибки локализации и сбои в коммуникации, которые могут возникнуть при развертывании в реальном мире».
В рамках своих следующих исследований ученые планируют разработать новые стратегии распределения задач, которые могли бы еще больше улучшить координацию между различными БПЛА и скорость, с которой они картируют окружающую среду. Наконец, они планируют добавить в свою систему модули прогнозирования сцен и обработки информации, поскольку это может позволить ей предвидеть структуру заданной среды, что еще больше ускорит процесс реконструкции.
«Мы также изучим реализацию активных методов реконструкции, при которых система получает обратную связь в реальном времени во время процесса реконструкции», — добавил Чжан.
«Это позволит SOAR адаптировать свое планирование на лету и достигать еще лучших результатов. Более того, мы изучим включение таких факторов, как угол камеры и качество изображения, непосредственно в процесс планирования, что обеспечит оптимизацию полученных изображений для создания высококачественных 3D-реконструкций. Эти направления исследований представляют собой захватывающие возможности для расширения возможностей SOAR и расширения границ автономной 3D-реконструкции с использованием БПЛА».
Дополнительная информация: Минцзе Чжан и др., SOAR: одновременное исследование и фотографирование с помощью гетерогенных БПЛА для быстрой автономной реконструкции, arXiv (2024). DOI: 10.48550/arxiv.2409.02738
Информация о журнале: arXiv
