Сбер представил GFusion – первую языковую модель, использующую технологию диффьюзии. Компания характеризует этот проект как экспериментальный и базирующийся на GigaChat. Специалисты пояснили, что традиционные модели для работы с текстом формируют его последовательно, по одному слову за раз. В связи с этим исправление даже незначительной неточности требует полной переработки всего ответа.

В GFusion реализован иной подход: изначально создаётся предварительный вариант текста, после чего он поэтапно улучшается – подобно тому, как нейронные сети формируют изображения или видеоматериалы. Благодаря параллельной обработке информации, скорость создания текста с использованием GFusion значительно выше: тестирование показало увеличение производительности до 45% по сравнению с GigaChat 3, на котором она была обучена.

Разработчики GFusion также подчеркнули, что диффьюзионные модели обладают не только повышенной скоростью работы, но и большей гибкостью в процессе создания текста. Текст может формироваться не обязательно слева направо – модель самостоятельно определяет, какой фрагмент ответа следует дополнить следующим этапом. Кроме того, такие модели способны более эффективно использовать имеющиеся данные при обучении, повторяя процесс несколько раз с использованием одного и того же исходного материала.

Сбер считает диффьюзионные языковые модели одним из наиболее многообещающих и сложных направлений в области генеративного искусственного интеллекта. В компании сообщили о том, что GFusion – это первая российская диффузионная модель для создания текстовых данных такого масштаба, выпущенная с открытым исходным кодом. Помимо самой модели Сбер предоставил инструменты, предназначенные для оптимизации процесса обучения диффьюзионных моделей.