Компания Apple не торопится участвовать в гонке по созданию чат-ботов и ИИ нового поколения, но развивает этот сектор. В частности, Apple изучает возможность использования больших языковых моделей прямо на устройствах пользователей.
Apple полагает, что такой подход предпочтителен для пользователей по сравнению с доступом через интернет. Стоит отметить, что большие языковые модели действительно велики: им нужны внушительные вычислительные мощности и солидное количество оперативной памяти.
Купертинцы предлагают хранить языковые модели на флеш-памяти, которая вмещает в себя больше данных, чем оперативная память. Техника Windowing предполагает повторное использование моделью некоторых обработанных ранее данных, что уменьшает необходимость непрерывной выборки из памяти и ускоряет процесс.
Техника Row-Column Bundling позволяет более эффективно группировать данные, благодаря чему модель искусственного интеллекта быстрее считывает данные из флеш-памяти и ускоряется обучение.
Применение этих методов может увеличить скорость работы модели в пять раз при использовании процессора и в двадцать пять раз — при применении GPU.