Учёные из Калифорнийского университета в Беркли создали новую вычислительную структуру под названием RoVi-Aug, которая позволяет обогащать данные роботов и упрощает передачу навыков между разными роботами. Эта структура использует генеративные модели для дополнения данных изображений и создания синтезированных визуальных демонстраций задач с различными видами камер для разных роботов.
Разработчики под руководством Лоуренса Чен и Чэньфэн Сю стремятся преодолеть ограничения алгоритмов, которые затрудняют передачу навыков между роботами с разными конструкциями и характеристиками. Они подчеркивают, что многие существующие базы данных для обучения роботов не сбалансированы и содержат ошибки, способные привести к переобучению определённых типов роботов.
Успех современных систем машинного обучения, особенно генеративных моделей, поражает своей способностью обобщать информацию и вдохновляет исследователей в области робототехники на поиски путей достижения подобной гибкости в роботах.
РоВи-Ауг включает два отдельных компонента: модуль роботизированного дополнения и модуль дополнения точки обзора. Первый компонент создаёт демонстрационные данные с использованием разных робототехнических систем, а второй осуществляет демонстрации с различных точек зрения.
Ro-Aug обладает двумя ключевыми особенностями: точно настроенной моделью SAM для сегментации робота и точной настроенной ControlNet для замены исходного робота другим. Vi-Aug же использует ZeroNVS, современную модель синтеза новых видов, для создания новых перспектив сцены, что делает модель адаптивной к различным точкам обзора камеры.
Учёные создали доплетненный набор данных робота с помощью своей структуры и проверили его эффективность для обучения политик и передачи навыков между разными роботами. Результаты показали, что RoVi-Aug позволяет обновлять политики, которые хорошо переносятся на разные роботы и настройки камер.
Главное нововведение — использование генеративных моделей для задач обучения роботов с пересекающимися возможностями: генерация изображений и создание новых представлений.
Эта работа может продвинуть развитие роботов и упростить для исследователей добавление новых навыков в системы. В будущем другие команды смогут использовать её для передачи навыков между различными роботами или создания более совершенных универсальных подходов к управлению роботами.
Представьте ситуацию: исследователь уделил много времени сбору данных и обучению робота Franka выполнению задачи. У вас же есть только робот UR5. RoVi-Aug позволяет повторно использовать данные Franka и разворачивать политику на UR5 без дополнительного обучения. Это особенно важно, поскольку политики робота часто зависят от положения камеры, а настройка одинаковых углов обзора для разных роботов — сложная задача. RoVi-Aug избавляет от такой необходимости.
Лоуренс Чен, Чэньфэн Сю
Авторы работы утверждают, что RoVi-Aug может стать экономически выгодным методом создания надёжных наборов данных для обучения. Будет возможность применять данный подход к другим наборам данных роботов, а в будущем авторы планируют совершенствовать RoVi-Aug, включая генерацию видео вместо изображений.
Планируется применить RoVi-Aug к уже имеющимся наборам данных, например Open-X Embodiment (OXE), в надежде на повышение эффективности универсальных политик роботов, обученных на них. Это расширение возможностей RoVi-Aug может существенно увеличить гибкость и надёжность этих политик для более широкого диапазона роботов и задач.