Ученые из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) создали новую систему управления роботами под названием «Нейронные Якобиановые Поля» (NJF). Система позволяет роботам обучаться управлению собственным телом, используя только визуальные данные с камеры. Вместо написания кода достаточно показать роботу, что нужно сделать, и он сам научится достигать цели.
NJF меняет подход к созданию роботов. Вместо жёстких конструкций с множеством датчиков для точной цифровой копии, NJF позволяет роботу самостоятельно строить модель своего тела на основе наблюдений. Это даёт разработчикам возможность сосредоточиться на новых, нестандартных формах роботов без заботы о моделировании и управлении. Робот учится как человек: случайные движения, наблюдение за результатом и адаптация.
Система NJF протестирована на роботах различного типа: пневматической мягкой руке, жёсткой руке Allegro, 3D-печатном роботизированном плече и вращающейся платформе без датчиков. В каждом случае система успешно определяла форму робота и его реакцию на управляющие сигналы, опираясь только на видео с камеры и случайные движения. Нейронная сеть в основе NJF выявляет взаимосвязь между трёхмерной геометрией робота и его реакцией на команды. Система использует принцип нейронных полей излучения (NeRF), расширяя его для обучения не только форме робота, но и якобиановому полю, которое предсказывает движение любой точки тела в ответ на сигналы двигателя.
Модель обучается без участия человека и первоначальных знаний о конструкции робота. Робот выполняет случайные действия, фиксируемые камерой. Система устанавливает связь между сигналами управления и движением самостоятельно. После обучения роботу достаточно одной камеры для управления в режиме реального времени. Такой подход и скорость обучения делают NJF более эффективной по сравнению с физическими симуляторами мягких роботов, которые часто слишком ресурсоемки для использования в реальном времени.
Система NJF обладает большим потенциалом для практического использования. Роботы, оснащенные NJF, могут выполнять сельскохозяйственные работы с точностью до сантиметра, работать на стройках без сложных датчиков и передвигаться в динамичных средах, где традиционные методы неэффективны. Несмотря на то, что сейчас для обучения NJF требуется несколько камер, а обучение нужно повторять для каждого робота, исследователи разрабатывают более доступную версию. В перспективе пользователи смогут записывать движения робота с помощью телефона и использовать этот видеоматериал для создания модели управления без специального оборудования и предварительных знаний.