Apple разработала новый способ обучения роботов, напоминающих человека, используя информацию от людей и машин. Метод, названный PH2D, описан в исследовании «Humanoid Policy ~ Human Policy», вышедшем через неделю после объявления о нейросетевых моделях Matrix3D и StreamBridge.
Ученые отмечают недостатки традиционных методов обучения роботов, которые основываются только на их собственных действиях. Такой подход нуждается в дорогостоящем оборудовании для удаленного управления и трудно масштабируется. PH2D устраняет проблему за счет интеграции данных от людей, что снижает затраты.
Сбор информации осуществлялся с помощью модифицированных потребительских устройств. Apple Vision Pro применялась в усеченном формате: только нижняя левая камера обеспечивала визуальное наблюдение, а ARKit фиксировал позы головы и рук. В качестве бюджетной альтернативы использовали Meta* Quest со стереокамерами ZED Mini. Участники экспериментов, используя эти гарнитуры, выполняли задачи, такие как захват предметов, подъем объектов и переливание жидкостей, сопровождая действия голосовыми командами. Видеозаписи замедлялись для повышения эффективности обучения.
Модель HAT (Human-humanoid Action Transformer) объединяет данные человека и робота в единой системе управления, что повышает адаптацию алгоритмов к новым условиям. Например, по данным исследования, роботы, обученные методом PH2D, выполняли вертикальный захват объектов на 15% эффективнее, чем те, кто тренировался только на данных от других роботов.
Эффективность работы — ключевое преимущество PH2D. Использование обычных гарнитур вместо специализированного оборудования снижает расходы. Это особенно важно для Apple, которая, судя по патентам и утечкам, разрабатывает домашних роботов. Ранее компания показала прототип робота-лампы, а сейчас, по словам инсайдеров, тестирует мобильного помощника для дома. Внедрение PH2D ускорит создание таких продуктов, но точные сроки их выхода неизвестны — к маю 2025 года официальных заявлений нет.
В России деятельность компании Meta, владеющей Facebook и Instagram, признана экстремистской и запрещена.