DigitalArtSpace

Компания Xiaomi анонсировала свою первую полномасштабную робототехническую платформу Xiaomi-Robotics-0 с открытым исходным кодом.

Модель, насчитывающая 4,7 миллиарда параметров, создана по архитектуре (VLA, vision-language-action) и объединяет возможности визуального восприятия, обработки языка и выполнения действий в режиме реального времени – то, что компания определяет как основу «физического интеллекта». Согласно информации от Xiaomi, модель демонстрирует выдающиеся показатели как в симулированной среде, так и в ходе реальных испытаний.

Архитектура Mixture-of-Transformers распределяет задачи между двумя блоками. Модель визуального языка VLM выполняет интерпретацию инструкций и обеспечивает понимание пространственного расположения сцены. Второй компонент, который Xiaomi называет Action Expert, создает последовательность движений, или «блок действия». Для достижения точности и плавности движений применяются методы согласования потоков.

Использование одновременного обучения на мультимодальных и моторных данных способствовало сохранению способности к логическим выводам при изучении физических действий.

Robotics-0 показала отличные результаты в ходе испытаний, проведенных в LIBERO, CALVIN и SimplerEnv, и успешно решала реальные задачи, используя двурукую платформу, включая складывание полотенец и манипулирование блоками.

Чтобы минимизировать задержки, применяется асинхронная обработка и функции стабилизации движений, благодаря чему робот демонстрирует более плавное поведение и сохраняет устойчивость при изменении условий окружающей среды.

Похожие статьи

Новый алгоритм Дарвина-Гёделя учит искусственный интеллект самостоятельно программировать.

В США производят эффективные процессоры: тайванские чипы TSMC возвращаются на родину для завершения производства.

В продаже — новая Lada Granta с увеличенным дорожным просветом

Новые модели Kia могут появиться на российском рынке.

Недорогой аналог Toyota Camry с пробегом более 2000 км завоевал популярность

Рамный внедорожник BAW 212 T01 с мощным двигателем: «Китайский УАЗ» с комфортом.