Xiaomi предоставила более детальную информацию о специализированном ускорителе искусственного интеллекта Xring O100, разработанном для запуска ресурсоемких моделей непосредственно на мобильных устройствах.

Согласно информации от компании, данный чип обладает пропускной способностью памяти, достигающей 1,22 ТБ/с, и демонстрирует скорость обработки данных (инференса) до 330 токенов в секунду. Скорость инференса характеризует быстродействие при обработке данных; один токен приблизительно соответствует 0,75 слова, что позволяет оценить производительность Xring O100 как около 250 слов в секунду. Для сравнения, средняя скорость чтения у человека составляет примерно от 4 до 5 слов в секунду.

Представители Xiaomi заявляют, что Xring O100 является первым в мире решением, использующим технологию 6-нм 3D-упаковки на уровне пластины. Ключевой особенностью данной разработки является вертикальное расположение вычислительных блоков и высокоскоростной DRAM-памяти, соединенных посредством технологии гибридного соединения. Это позволило значительно уменьшить расстояние между вычислительными ядрами и памятью. Xiaomi подчеркивает, что подобная архитектура обеспечивает в 16 раз большую пропускную способность памяти по сравнению с обычными смартфонами, эффективно решая проблему ограничения скорости передачи данных, которая зачастую препятствует эффективной локальной работе больших языковых моделей.

В основе решения лежит многоядерная нейросетевая вычислительная архитектура (NPU) с динамической маршрутизацией данных, оптимизированная для различных этапов обработки информации.

Xiaomi уже демонстрировала прототип мини-ПК AI Cube, в котором микросхема Xring O100 функционирует совместно с другими элементами из линейки Xring.