Новая крупномасштабная платформа моделирования для обучения роботов выполнению повседневных задач.

Важные новости

Новый крупномасштабная платформа моделирования для обучения роботов выполнению повседневных задач» /></p>
<p> RoboCasa — это среда моделирования для обучения роботов-агентов широкого профиля. Изображение предоставлено: Юке Чжу и Соруш Насириани. <р>Производительность инструментов искусственного интеллекта (ИИ), включая большие вычислительные модели для обработки естественного языка (НЛП) и алгоритмы компьютерного зрения, быстро улучшалась за последние десятилетия. Одна из причин этого заключается в том, что наборы данных для обучения этих алгоритмов растут в геометрической прогрессии, собирая сотни тысяч изображений и текстов, часто собранных из Интернета.</p>
<p>С другой стороны, данные для обучения алгоритмов управления и планирования роботов остаются гораздо менее обильными, отчасти потому, что их получение не так просто. Поэтому некоторые специалисты по информатике пытаются создать более крупные наборы данных и платформы, которые можно использовать для обучения вычислительных моделей для широкого спектра приложений робототехники.</p>
<p>В недавней статье, предварительно опубликованной на сервере <i>arXiv</i> и представленной на конференции Robotics: Science and Systems 2024, исследователи из Техасского университета в Остине и NVIDIA Research представили одну из таких платформ под названием RoboCasa.</p>
<p>RoboCasa — это крупномасштабная среда моделирования, которую можно использовать для обучения универсальных роботов выполнению различных задач в повседневных условиях.</p>
<p>«Последний прогресс в области искусственного интеллекта во многом обусловлен обучением больших моделей на массивных источниках данных», — рассказал Tech Xplore Юке Чжу, ведущий автор статьи.</p>
<p>«Вдохновленные этими достижениями, мы стремимся разработать основу модели для обычных роботов, способных выполнять различные повседневные задачи. RoboCasa предназначена для предоставления высококачественных данных моделирования, необходимых для обучения таких базовых моделей робототехники».</p>
<p><video class=< /video> Фото: RoboCasa

Основной целью недавней работы Чжу, Соруша Насириани, Абхирама Маддукури, Лэнса Чжана, Адита Париха, Аарона Ло, Абхишека Джоши и Аджая Мандлекара была разработка новой платформы моделирования с открытым исходным кодом, которая облегчит обучение алгоритмам робототехники.

Их усилия в конечном итоге привели к разработке RoboCasa, которая является расширением RoboSuite, среды моделирования, которую они представили несколько лет назад. RoboSuite служит инфраструктурой моделирования, которую команда использовала для создания моделируемой среды RoboCasa.

«Мы использовали генеративные инструменты искусственного интеллекта для создания разнообразных объектов, сцен и задач», — объяснил Чжу. «Эти инструменты искусственного интеллекта значительно повысили разнообразие и реалистичность моделируемого мира. Кроме того, RoboCasa поддерживает различные аппаратные платформы роботов и предоставляет большие наборы данных с более чем 100 тысячами траекторий для обучения моделей».

Платформа RoboCasa включает в себя тысячи 3D-сцены, содержащие более 150 различных типов предметов быта и десятки предметов мебели и электроприборов. RoboCasa представляет собой очень реалистичное моделирование, дополненное средствами генеративного искусственного интеллекта.

Чжу и его коллеги разработали 100 задач, на которых можно обучить алгоритмы робототехники, и составили высококачественные человеческие демонстрации для этих задач. Их платформа также включает методы для генерации эффективных траекторий и движений, которые позволят роботам выполнять эти задачи.

Новая крупномасштабная платформа моделирования для обучения роботов повседневным задачам

RoboCasa использует большие языковые модели, такие как GPT-4, для создания разнообразного спектра повседневных задач. Кредит: Юк Чжу и Соруш Насириани

«Два ключевых открытия взволновали меня больше всего», — сказал Чжу. «Во-первых, мы продемонстрировали тенденцию масштабирования: по мере увеличения размера (генерируемых машиной) наборов обучающих данных производительность модели неуклонно росла. Во-вторых, объединив данные моделирования с реальными данными, мы обнаружили, что расширенный набор данных улучшил производительность робота в реальных задачах.»

В первоначальных экспериментах новая платформа моделирования оказалась ценным ресурсом для создания синтетических обучающих данных, которые затем можно использовать для обучения алгоритмов имитационного обучения. В целом, это исследование показывает, что данные моделирования могут быть очень эффективными при обучении моделей ИИ для приложений робототехники.

В будущем другие команды могут экспериментировать с RoboCasa, исходным кодом которого является открытый исходный код, и поэтому к нему можно легко получить доступ. Гитхаб. Тем временем Чжу и его коллеги планируют продолжать расширять и совершенствовать свою платформу, чтобы облегчить ее широкое использование в сообществе робототехники.

«Во-первых, мы стремимся внедрить более продвинутые методы генеративного искусственного интеллекта для дальнейшего расширения наших симуляций, улавливая разнообразие и богатство человекоориентированной среды, от домов и фабрик до офисов», — добавил Чжу.

«Во-вторых, мы планируем разработать более совершенные алгоритмы для использования данных моделирования для создания более надежных робототехнических систем. и обобщается в реальном мире».

Дополнительная информация: Соруш Насириани и др., RoboCasa: Крупномасштабное моделирование повседневных задач для роботов общего назначения, < i>arXiv (2024 г.). DOI: 10.48550/arxiv.2406.02523

Информация журнала: arXiv

Новости сегодня

Последние новости