Новая модель Lightricks ускоряет генерацию видео с искусственным интеллектом на 30 раз без использования мощных GPU.

Компания Lightricks, известная приложениями Facetune и VideoLeap, представила модель генерации видео LTXV-13B. Система с 13 миллиардами параметров генерирует контент в 30 раз быстрее аналогов, работая на обычном оборудовании — даже на ноутбуках с видеокартами RTX 3090, 4090 или 5090. Такая скорость стала возможной благодаря технологии «многомасштабного рендеринга», напоминающей работу художника: модель создаёт видео послойно, от эскиза к деталям, снижая пиковую нагрузку на видеопамять.

Источник: Lightricks

Зив Фарбман, соучредитель Lightricks, назвал это крупнейшим техническим прорывом для локального ИИ. Технология позволяет обойтись без корпоративных GPU с объемом VRAM 80 ГБ, используемых конкурентами, например, Runway или Pika. LTXV-13B обрабатывает фрагменты видео, а не целые кадры, что экономит ресурсы. Компактное пространство уменьшает потребление памяти без потери качества.

Lightricks поделилась исходным кодом модели, разместив его на Hugging Face и GitHub.
Цель — ускорить развитие ИИ через совместную работу.
Решение снижает расходы на исследования и разработки, привлекая разработчиков, которые могут совершенствовать алгоритм.
Для коммерческого использования компания взаимодействует с Getty Images и Shutterstock, лицензируя контент, что минимизирует юридические риски.

Стартапы с доходом до 10 миллионов долларов в год получат бесплатный доступ к модели LTXV-13B. Крупные компании смогут подписать лицензионные соглашения, подобные тем, что заключаются для игровых движков. Модель пока не достигает уровня голливудской анимации, но уже автоматизирует трудоемкие этапы работы студий, экономя им время. Lightricks планирует создание мультимодальных систем, объединяющих видео, звук и музыку в единое латентное пространство.

После выпуска LTXV-13B в LTX Studio стали доступны новые возможности для создателей контента, позволяющие им быстро генерировать видеоролики без использования облачных серверов.