Несмотря на то, что вопросы, связанные с технологией DLSS, неоднократно освещались как на нашем сайте, так и на других ресурсах, мы решили подготовить эту статью. Вокруг этой технологии до сих пор существует множество неверных представлений среди пользователей, некоторые из которых никогда не видели, как она работает на современных видеокартах, или наблюдали её работу несколько лет назад в неоптимальном качестве. В результате некоторые люди сформировали мнение о её некачественности, искренне, но ошибочно считая DLSS технологией, создающей «мыльные» и искусственные кадры, а игры без неё – единственным способом получить «честное» и чёткое изображение. Подобные люди считают такие сгенерированные пиксели нетрадиционными и даже нечестными, обвиняя Nvidia в обмане и полагая, что разработчики игр не стремятся к оптимизации своих проектов, полагаясь на «мыльный» и «фейковый» DLSS. Поэтому, по их мнению, ответ на вопрос, рассмотренный в статье, однозначен: это плохо!
На практике ситуация оказывается сложнее. Если же отвлечься от субъективных оценок и попытаться проанализировать суть вопроса, становится ясно, что технология DLSS была разработана, главным образом, из-за того, что трассировка лучей и, особенно, трассировка пути, все чаще применяемые в современных играх, представляют собой чрезвычайно требовательные к ресурсам вычисления, значительно превосходящие по сложности привычный растеризационный метод, который используется на протяжении многих лет. Для создания изображения с трассировкой лучей в идеале требуется пробрасывать несколько лучей на каждый пиксель и рассчитывать множество их отражений, что даже при использовании десятка видеокарт GeForce RTX 5090 было бы невозможно без упрощений и компромиссов. Приходится использовать упрощения даже при трассировке лучей, однако даже небольшое количество рассчитываемых лучей позволяет добиться более реалистичного отображения освещения, отражений и преломлений по сравнению с методами растеризации, которые лишь приблизительно воспроизводят физические процессы.
Высокие требования к вычислительным ресурсам, предъявляемые трассировкой лучей, во многом стимулировали разработку технологий, интегрированных в Nvidia DLSS. Технология масштабирования, безусловно, известна давно и широко используется, например, на консолях с их ограниченными возможностями, однако именно Nvidia DLSS объединила сразу несколько технологий повышения производительности на качественно новом уровне, а также зачастую обеспечивает улучшенное качество изображения, в частности, более плавное сглаживание и стабильность картинки. Потребность в масштабировании разрешения и генерации кадров возникла вследствие невозможности обеспечить высочайшее качество при расчете каждого пикселя традиционным методом — создание 4K-изображения с трассировкой лучей в полном разрешении и с высокой детализацией сцены без использования подобных технологий пока не представляется возможным, и приходится искать альтернативные решения.
Ранее существовали компромиссы в компьютерной графике реального времени, и потребность в них сохраняется, до достижения идеала предстоит еще пройти долгий путь. Возможно создание изображений с разрешением 4K с помощью растеризации, демонстрирующих нереалистичное освещение, отражения и преломления, а также отрисовка всего в более низком разрешении с последующей полной трассировкой, используя данные из предыдущих кадров, что позволит получить 4K-изображение улучшенного качества, пусть и с небольшой потерей детализации в определенных ситуациях, что особенно заметно на текстурах. Вычислить каждый пиксель с желаемым качеством, не прибегая к упрощениям, становится все труднее, особенно при работе с высокими разрешениями, такими как 4K и выше, поэтому технология DLSS была разработана и внедрена компанией Nvidia, получив впоследствии широкое распространение и положительные отзывы от большинства пользователей. Однако, не все оценили эти технологии, существуют и критики, как с не вполне убедительными аргументами, так и с вполне обоснованными, и сегодня мы постараемся проанализировать обе стороны.
Ранее мы уже анализировали различные варианты DLSS, в том числе сравнивали схожие технологии от разных компаний – например, ознакомьтесь с информацией по ссылке во врезке. Однако там была представлена уже неактуальная версия DLSS, а с появлением новой графической архитектуры Blackwell в серии видеокарт GeForce RTX 50, существенно расширился и набор технологий DLSS, получивший уже четвертую версию – пожалуй, это самое значительное обновление с момента выпуска DLSS 2.0 в 2020 году. И если раньше мы определяли DLSS как технологию масштабирования разрешения, то с версии DLSS 3 такая классификация не совсем точна, поскольку DLSS теперь не просто увеличивает меньшее разрешение до большего, применяя детали из предыдущих кадров, но и генерирует дополнительные кадры, опираясь на данные из прошлых, использует алгоритмы на базе искусственного интеллекта для продвинутого шумоподавления (реконструкция лучей), а также включает специальные методы для уменьшения задержек.
Набор технологий DLSS 4 включает в себя следующие ключевые элементы: изменение разрешения Super Resolution, реконструкция лучей Ray Reconstruction и генерация дополнительных кадров Frame Generation — все эти элементы мы обсудим сегодня как по отдельности, так и в их взаимосвязи. Кроме того, к DLSS относятся технологии, предназначенные для уменьшения времени отклика Reflex. Главной особенностью DLSS 4 является технология многокадровой генерации Multi-Frame Generation (MFG), новая технология позволяет добавить от одного до трех дополнительных кадров, основываясь на паре уже отрендеренных. Ключевое отличие данного подхода к созданию кадров заключается в использовании не оптического потока, а специализированной нейронной сети, что обеспечивает более точное прогнозирование промежуточных кадров и уменьшает вероятность появления артефактов. Помимо этого, для масштабирования и восстановления лучей применяются усовершенствованные ИИ-модели на базе трансформеров, которые способны выявлять сложные и взаимосвязанные явления в пространстве и времени, обеспечивая ощутимые визуальные улучшения по сравнению с моделями, использующими свертки — мы также подробно изучим этот аспект.
Для полноценного использования расширенных возможностей DLSS 4, включая новые технологии, не требуется видеокарты серии GeForce RTX 50. Они необходимы только для реализации многокадровой генерации. Если же говорить об одно- или многокадровой генерации кадров, то остальные функции DLSS 4 совместимы со всеми ранее выпущенными видеокартами GeForce RTX.
Сегодня мы выясним, насколько эффективна новая версия технологии DLSS, какие улучшения она предлагает и какие конкретные изменения можно наблюдать на практике. Это особенно значимо, поскольку, если при первоначальном выпуске видеокарт GeForce RTX 50 лишь около 75 игр поддерживали DLSS 4 с многокадровой генерацией, то спустя полгода этот показатель увеличился свыше 175 игр и приложений, о чем недавно сообщили представители Nvidia.
К перечню игр, использующих современные технологии для повышения производительности, присоединились ожидаемые и востребованные проекты, включая Resident Evil Requiem, Directive 8020, Black State, Dying Light: The Beast, The Outer Worlds 2, Borderlands 4, Fate Trigger и другие. Полный список игр с поддержкой DLSS доступен по ссылке на сайте Nvidia, хотя самых новых проектов там еще нет.
Для игр, которые поддерживают более ранние версии DLSS, также доступна функция DLSS Override в приложении Nvidia App. В настоящее время большинство игр с поддержкой DLSS 4 используют именно этот подход. Для его активации в настройках игры включается поддержка Frame Generation, а в Nvidia App настраивается необходимое количество генерируемых кадров. В результате, при включении Frame Generation в настройках игры будет использоваться не кратный прирост в два раза, а в три или четыре×.
Масштабирование разрешения
Первая и основополагающая технология, лежащая в основе DLSS, — масштабирование разрешения. Изначально она не применяла нейросети, а представляла собой усовершенствованный алгоритм по сравнению с существующими аналогами. Однако, со временем Nvidia начала использовать искусственный интеллект, что позволило добиться значительных улучшений. В версии DLSS 4 была проведена масштабная работа над повышением не только производительности, но и качества изображения, с обновлением всех технологий, включая реконструкцию деталей при масштабировании. В DLSS 4 применяется новая модель искусственного интеллекта, основанная на трансформерах, которая заменила ранее используемые сверточные нейронные сети (CNN).
Ранее для создания пикселей при масштабировании в DLSS применялись сверточные нейронные сети, которые осуществляли анализ локального контекста и отслеживали изменения на протяжении нескольких последовательных кадров. В новой модели, основанной на трансформере, определяется относительная значимость каждого пикселя как в текущем кадре, так и в нескольких предыдущих. Модель трансформера использует вдвое больше входных параметров по сравнению с CNN, что позволяет более глубоко анализировать сцену и генерировать пиксели с повышенной стабильностью при динамических изменениях, уменьшает появление ореолов и обеспечивает более высокую четкость. Особенно эффективна новая модель при активном использовании трассировки лучей, благодаря улучшенной реконструкции лучей, что гарантирует высокое качество изображения в сценах со сложным освещением. Например, более реалистично отображаются заборы с мелкими деталями, особенно при движении – благодаря уменьшению мерцания, а быстро перемещающиеся объекты получают меньше артефактов, связанных со следами от предыдущих кадров.
Первоначально новые модели трансформера были интегрированы в алгоритм трассировки лучей, который мы рассмотрим позже. Однако в процессе разработки в Nvidia было установлено, что данная архитектура также способствует повышению качества изображения при увеличении разрешения. Это обусловлено тем, что механизм внимания трансформера позволяет выявлять долгосрочные зависимости, определяя взаимосвязи между пикселями как в пространстве, так и во времени. Аналогично тому, как это происходит при трассировке лучей, это обеспечивает более качественное сохранение и восстановление деталей, уменьшая количество артефактов и демонстрируя большую визуальную согласованность по сравнению с обычными сверточными сетями. Таким образом, модель трансформера оптимизировала процесс масштабирования изображений с использованием нейронных сетей.
Ключевым прогрессом модели трансформера при увеличении масштаба является способность поддерживать и воспроизводить мелкие детали на разных поверхностях, в особенности на сложных текстурах и узорах, которые плохо обрабатываются сверточными сетями, склонными к их чрезмерному сглаживанию. Механизм внимания модели трансформера позволяет более тонко и корректно определять взаимосвязи между элементами текстур, что обеспечивает более точное воспроизведение вида таких поверхностей, как ткань, земля и другие мелкие детали. Даже при использовании режима DLSS Super Resolution пониженного качества, новая модель сохраняет текстуры более четкими.
В процессе работы увеличение детализации становится еще более выраженным: в то время как традиционные подходы используют повторную выборку из предыдущих кадров, что приводит к сильному размытию в движении, модель трансформера решает эту проблему, создавая более четкие и согласованные текстуры, особенно при отображении динамичных сцен. Речь идет именно об увеличении детализации – не о простом повышении резкости с помощью постобработки, а о добавлении новых элементов, что очевидно при сравнении с изображениями, созданными с использованием большого количества выборок на пиксель. Хотя эталонное изображение и демонстрирует большую четкость, результат работы модели трансформера весьма близок к нему:
Архитектура трансформера позволяет существенно снизить частоту появления артефактов, характерных для повышения разрешения изображений, включая ореолы вокруг углов, нежелательное сглаживание (алиасинг) на участках с резкими перепадами яркости и потерю четкости мелких элементов. Благодаря улучшенному пониманию общей картины и сложных зависимостей, модель трансформера демонстрирует более высокое качество при работе с наклонными линиями, повторяющимися мотивами и участками с контрастными градиентами, что подтверждается сравнениями с CNN.
Улучшилось и качество сглаживания граней под разными углами при использовании трансформера. Традиционные сверточные сети часто отображают геометрические грани с неровностями, нестабильностью и временными колебаниями, в то время как модель трансформера делает их более гладкими и устойчивыми, эффективно устраняя муар и восстанавливая текстурные узоры с повышенной точностью:
Усовершенствованные алгоритмы искусственного интеллекта в новой версии DLSS позволили заметно лучше сохранять мелкие детали, даже при использовании режимов с пониженным качеством и меньшим разрешением для отрисовки. Это проявляется как в текстурах, так и в мелких элементах сцены. В основном, в новых версиях DLSS удалось устранить многие проблемы, характерные для предыдущих итераций, включая мерцание и временную нестабильность пикселей, заметную при движении.
Значимо, что эта функциональность поддерживается и на более ранних видеокартах GeForce RTX, включая модели RTX 30 и даже RTX 20. Однако, новая модель требует вдвое больше параметров и в четыре раза больше вычислительной мощности тензорных ядер. Это увеличение требований к производительности тензорных вычислений привело к заметному снижению эффективности DLSS 4 по сравнению с предыдущими версиями. На видеокартах высокого класса серий RTX 50 и RTX 40 использование этой технологии не вызывает сложностей, однако применение продвинутой модели искусственного интеллекта на видеокартах младших линеек RTX 20 и RTX 30 может оказаться нецелесообразным. Тем не менее, возможность использования масштабирования и реконструкции лучей в новой версии доступна на всех выпущенных видеокартах GeForce RTX.
В новых версиях DLSS также уменьшилось потребление видеопамяти при масштабировании. В частности, для моделей трансформеров, используемых при масштабировании и реконструкции лучей, начиная с версии DLSS 310.3.1.0 SDK, для разрешения Full HD требуется менее 80 МБ видеопамяти, что на 20% меньше, чем в предыдущих версиях. Аналогичное снижение использования видеопамяти наблюдается и в других разрешениях: 1440p, 4K и 8K. Таким образом, даже видеокарты с относительно небольшим объемом памяти в 8 ГБ смогут запускать модель трансформера, используя лишь 1% от общего объема памяти.
Оценка качества
При увеличении разрешения модель трансформера обеспечивает большую стабильность отображаемых пикселей, снижает количество и размер ореолов, повышает детализацию движущегося изображения и позволяет устранить некоторые артефакты, характерные для предыдущих версий CNN. Для подтверждения заявлений Nvidia и проведения личного тестирования мы провели испытания DLSS 4 в нескольких играх, использующих различные игровые движки.
Первичное сравнение моделей CNN и трансформера в статичном режиме демонстрирует заметную разницу в их эффективности – трансформер, безусловно, превосходит CNN. Более высокое качество сглаживания и сохранение деталей хорошо заметны на примере колеса и элементов кузова автомобиля: изображение, обработанное CNN, выглядит размытым, некоторые линии вовсе пропадают, в то время как трансформер справляется с этой задачей значительно лучше, приближаясь к качеству рендеринга в исходном разрешении, а в некоторых аспектах даже превосходя его, хотя в случае отражений на глянцевой поверхности лучше результат показала модель CNN. Деталей на расположенной сверху трубе при использовании CNN также явно недостаточно, а модель трансформера воспроизводит их достаточно хорошо.
Второе сопоставление, выполненное в Cyberpunk 2077 при использовании CNN и трансформерных моделей для масштабирования разрешения, лишь укрепляет ранее сделанные заключения: в случае использования трансформера линии и грани выглядят значительно более сглаженными, приближаясь к качеству изображения в полном разрешении, в то время как CNN оставила на них заметные дефекты. Недостаток детализации также характерен для старого алгоритма, что очевидно при взгляде на заднюю стену, текстуру пола под автомобилем и решетку внизу, которая при использовании CNN превратилась в неразборчивую совокупность пикселей, а трансформер справился с ней весьма достойно, почти на уровне оригинального разрешения. Теперь рассмотрим эту же игру в динамике, но уже без сравнения трансформера и CNN, а с сопоставлением DLSS в качественном режиме с DLAA и полным отключением технологий:
В динамике новый режим качества Quality демонстрирует впечатляющие результаты, превосходя родное разрешение рендеринга и почти не уступая DLAA. При этом он обеспечивает значительно более высокую производительность – более чем вдвое. Это позволяет использовать 4K-разрешение с максимальными настройками графики и трассировкой пути, которые являются очень требовательными к ресурсам. Даже GeForce RTX 5080 показывает лишь 15-20 FPS в таких условиях без использования DLSS. Поэтому, на наш взгляд, игнорировать масштабирование при недостаточной производительности не имеет смысла – вы практически не потеряете в качестве изображения, но получите вдвое-втрое больше FPS. Вы можете внимательно посмотреть 4K-видео в полноэкранном режиме, чтобы убедиться в этом.
Заметно снизился эффект ореолов, который ранее наблюдался при использовании модели CNN в процессе масштабирования — а в игре присутствует множество экранов с динамическими изображениями, на которых слишком заметны эти ореолы. Причиной являлось несоответствие векторов движения, описывающих перемещение объектов и используемых алгоритмом DLSS, и движению текстур. Новая модель трансформера анализирует сцену и, по сути, распознаёт такие анимированные текстуры, что позволяет корректно отображать их. Текст, расположенный на движущихся анимированных текстурах, теперь стабилен и не имеет размытости. Новая модель трансформера устраняет и некоторые случайные блики, которые не должны возникать.
В ряде игр, среди которых Alan Wake 2, удалось заметно уменьшить мерцание растительности благодаря применению новой модели искусственного интеллекта, в особенности при использовании низких настроек масштабирования. Наибольшие улучшения в DLSS 4 коснулись режимов «Performance» и «Ultra Performance», обеспечив существенное повышение общей четкости изображения. Также была достигнута большая стабильность текстур и геометрии в динамических сценах. Видима разница в детализации при использовании сверточных нейронных сетей и трансформеров, что особенно заметно на мелких объектах, таких как провода, проволочные заборы и другие решетки.
Хотя скриншоты и видеоролики не всегда способны полностью отобразить ситуацию, мы можем утверждать, что даже режим Performance стал вполне комфортным для игры и практически не уступает по общему качеству режиму Balanced. За это отвечает новая модель трансформера. Однако, если говорить об общем качестве, то по четкости текстур всё же присутствует небольшая разница, вот несколько примеров:
При отсутствии вопросов к сглаживанию граней и линий, настройка DLSS по умолчанию может приводить к некоторому снижению четкости текстур и потере мелких деталей. Однако это наиболее заметно в режиме Ultra Performance, в то время как режимы Quality и Balanced обеспечивают достаточно хорошее качество изображения даже без использования DLSS для повышения резкости. Эта технология доступна во многих играх и позволяет решить проблему недостаточной детализации текстур, что будет продемонстрировано в последующих сравнениях.
Раньше многие пользователи полагали, что оптимальным выбором является только режим масштабирования Quality, особенно при работе с меньшими разрешениями. В 4K же его рекомендовали использовать из-за снижения производительности при выборе других настроек. Это вполне объяснимо, поскольку в предыдущих версиях DLSS включение даже режима Performance приводило к появлению заметных артефактов, а Ultra Performance и вовсе выдавал размытое изображение. Однако в DLSS 4 ситуация значительно улучшилась: новая ИИ-модель позволяет сохранять высокую детализацию и приемлемое качество изображения при относительно низком разрешении рендеринга – в случае 4K это всего лишь 1080p. Даже Ultra Performance с разрешением рендеринга 720p может быть полезен при серьезной нехватке производительности, хотя этот режим уже представляет собой компромиссное решение.
Улучшения, внесенные DLSS 4 в новой модели трансформера, хорошо заметны благодаря повышенной детализации текстур. Также улучшилась стабильность динамики и уменьшились шлейфы на гранях объектов во время их движения в кадре. Особенно впечатляет, что даже в режиме Performance текстуры выглядят почти так же, как в качественном режиме Quality, хотя это справедливо не всегда. Если не рассматривать изображение при увеличении, то производительный режим теперь обеспечивает очень высокое качество картинки с превосходной четкостью. Например, в The Last of Us 2 по умолчанию резкость DLSS увеличена, поэтому изображение получается даже более четким, хотя это может не понравиться всем:
Для технологий, направленных на повышение производительности, критически важны сглаживание границ объектов и их устойчивость при движении – необходимо, чтобы текстуры оставались четкими в процессе отображения и отсутствовало мерцание на гранях геометрических фигур. Новейшая версия DLSS, использующая модель трансформера, демонстрирует превосходные результаты в решении этих задач, превосходя сверточные нейронные сети (CNN) предыдущих версий, и это справедливо не только для режима высокого качества, но и для производительного. DLSS 4 точнее определяет границы объектов и обеспечивает большую стабильность пикселей на их краях, что особенно заметно в режиме Performance. Безусловно, режим Quality по-прежнему демонстрирует лучшие результаты, он более корректно обрабатывает отрисовку тонких деталей, таких как провода, но даже Ultra Performance в DLSS 4 показывает достойные результаты. Вот еще одно сравнение моделей CNN и трансформера:
Сравнительный анализ демонстрирует существенную разницу между результатами, полученными с использованием CNN и трансформером, в особенности в отношении сглаживания граней: у современного метода оно практически достигает исходного разрешения, несмотря на то, что разрешение рендеринга вчетверо меньше выходного. Это заметно по деталям на оружии и другим элементам, которые трансформер отлично сглаживает, в то время как CNN создает эффект смазывания. Что касается детализации ткани героини, то в обоих случаях результаты неудовлетворительны, и улучшить текстуры не представляется возможным. Хотя модель трансформера и превосходит CNN в этом аспекте, до исходного разрешения ей еще далеко.
В режиме Ultra Performance, который обеспечивает высочайшее качество изображения с разрешением 1280×720, некоторые недостатки допустимы. Этот режим рекомендуется использовать только в крайних случаях. При сравнении различных настроек масштабирования DLSS становится очевидно, что проблемы в основном возникают в режиме Ultra Performance. Также в режиме Performance наблюдается незначительная потеря детализации текстур, в то время как в режимах Quality и Balanced с детальными и тонкими текстурами, например с тканями, всё в порядке:
Использование модели трансформера для масштабирования изображения в DLSS 4 обеспечивает значительно более качественное и стабильное изображение по сравнению с CNN, применявшимися в предыдущих версиях. Также новая технология эффективно решает проблему артефактов в виде шлейфов, которые иногда возникали на краях быстро движущихся объектов и в отражениях — это было заметно в некоторых версиях DLSS 3 в Cyberpunk 2077. Благодаря новой модели трансформера в DLSS 4 количество подобных артефактов существенно уменьшилось. Это хорошо заметно в коротком видео:
Особо сложными для повышения производительности рендеринга оказались такие объекты, как развевающиеся на ветру волосы, характеризующиеся обилием мелких деталей, а также схожие объекты, например, шерсть и мех. Новая модель трансформера, используемая в DLSS 4, демонстрирует возможность отображения большего количества деталей при обработке волос и шерсти по сравнению с CNN, благодаря чему они выглядят заметно более четкими:
Заметно, что при приблизительно одинаковом уровне детализации травы и веревок на заднем плане, которые незначительно улучшились при использовании модели трансформера, волосы героини демонстрируют существенные различия на двух изображениях. Модель CNN не справляется с их отображением в движении, делая волосинки толстыми и размытыми, в то время как трансформер проявил себя отлично: волосы остались тонкими и гладкими, и общее качество практически не уступает рендерингу в исходном разрешении, что подтверждается следующим сравнением:
Мы разделяем мнение о том, что в этой игре резкость изображения при использовании DLSS по умолчанию после масштабирования слишком высока. Однако, заметно, что при работе обновлённого алгоритма не возникло проблем с детализацией и сглаживанием волос. Лишь режим Performance несколько снижается из-за недостаточного разрешения рендеринга (в данном случае 1920×1080) по сравнению с DLAA и качественным методом. Также обратите внимание на сравнение работы CNN и трансформера на видео, оно весьма показательно:
CNN даже при максимальных настройках качества не справляется с прорисовкой волос должным образом: они выглядят более массивными, а пиксели демонстрируют нестабильность, что приводит к их растеканию. В то же время, модель трансформера, используемая в новой версии DLSS 4, позволяет сохранить тонкость волосинок и обеспечивает их лучшее сглаживание, а также повышает стабильность изображения во времени — пиксели не скачут и не мерцают.
Работа с технологиями вроде DLSS и обработка мелких, быстро и хаотично перемещающихся частиц представляют собой не менее сложную задачу. DLSS 4 в некоторой степени устранил проблему артефактов при движении частиц, например, в Cyberpunk 2077 и The Last of Us. Трансформер, используемый в составе DLSS 4, демонстрирует хорошие результаты при масштабировании динамично движущейся травы и листвы, что особенно заметно в Indiana Jones and the Great Circle. В большинстве игр DLSS 4 эффективно масштабирует траву из низкого разрешения до более высокого, в то время как в DLSS 3 подобный уровень качества обеспечивался только в режиме Quality.
Приведем дополнительные примеры сопоставления CNN и трансформера. Эти сравнения наглядно демонстрируют существенное улучшение обработки мелких деталей в DLSS 4: проводов, решеток и других подобных объектов с тонкими линиями. В подобных ситуациях трансформер в DLSS 4 превосходит CNN, используемый в DLSS 3. В Cyberpunk 2077, при использовании модели трансформера, решетка, показанная на приведенном выше сравнении, сохраняет четкость и ровные отверстия. Кроме того, на детализированных поверхностях отсутствует эффект размытости, характерный для CNN, даже при использовании режима Performance. Детали на текстуре потолка даже более выражены, чем при рендеринге в полном разрешении.
Новый алгоритм значительно эффективнее восстанавливает структуру заборов и других решеток, что также заметно при работе с другими повторяющимися узорами и паттернами, например, с сеткой на вентиляторе во втором сравнении. Благодаря DLSS 4 и трансформеру лучше воспроизводятся и другие мелкие детали, такие как сетки, и повышается видимость объектов, находящихся за ними. Если CNN превращал тонкие линии в пиксельную массу, то трансформер отлично проработал эти детали, не уступая качеству изображения в полном разрешении, что является сложной задачей при относительно низком разрешении рендеринга.
Более высокая степень детализации трансформера наиболее заметна при сравнении видео, например, таком: в то время как CNN размывает текстуры крыши и листву, трансформер точно сохраняет детали на указанных объектах. По результатам такого сравнения становится очевидно, что DLSS 4 превосходит более ранние технологии сглаживания, такие как TAA, хотя стоит отметить, что в данной игре при работе DLSS может наблюдаться некоторая избыточная резкость.
Режим Balanced в DLSS 4 по качеству изображения сопоставим с режимом Quality в DLSS 3, а новый Performance приблизительно равен прежнему Balanced. Усовершенствованные режимы Quality и Balanced в DLSS 4 обеспечивают уровень детализации, сопоставимый с рендерингом в нативном разрешении, и в отдельных ситуациях даже превышают его, поскольку технология масштабирования использует данные из предыдущих кадров. Обновленная технология масштабирования в DLSS 4 предоставляет расширенные возможности для повышения как визуального качества, так и производительности, что является нечастым явлением.
Здесь отчетливо заметно повышение четкости как на текстуре куртки, так и на надписях на коробке. При этом DLSS в высоком качестве практически не проигрывает по визуальному качеству технологии DLAA, при которой изображение формируется в полном разрешении. Оба варианта изображения сопоставимы по качеству, а детализация в них выше, чем при отсутствии DLSS.
Аналогичные выводы можно сделать, анализируя второй сравнительный тест в Cyberpunk 2077. В данном случае DLAA демонстрирует несколько более высокую детализацию, что заметно по автомобилю и другим элементам окружения, включая качество отражений на поверхности пола. Таким образом, DLAA обеспечивает наилучшее качество изображения, за ним следует родное разрешение, однако DLSS Quality практически не уступает ему, при этом обеспечивая значительно более высокую производительность рендеринга, в некоторых случаях в два раза, при условии, что производительность ограничена исключительно видеокартой.
Сравнительный анализ, выполненный на примере Indiana Jones and the Great Circle, показал, что технология DLSS хорошо справляется с контрастными градиентами, за исключением режима Ultra Performance, в котором наблюдается заметное снижение качества сглаживания. Однако, по части четкости текстур имеются вопросы ко всем режимам масштабирования. К сожалению, идеальных решений не существует, и даже режим Quality не обеспечил результат, сопоставимый с исходным разрешением, что вполне объяснимо, учитывая значительную разницу в разрешении рендеринга. Таким образом, разработчикам Nvidia предстоит еще многое улучшить: несмотря на отличные показатели, технология DLSS пока не смогла обеспечить достойное качество текстур даже в самом качественном режиме масштабирования. Предлагаем ознакомиться с еще одним сравнением из той же игры:
Сравнения с отключенным DLSS больше не проводится, теперь мы оцениваем исключительно различия между всеми уровнями качества масштабирования. И тут снижение детализации заметно практически на каждом этапе: даже между режимами Quality и Balanced прослеживается ощутимая разница, а об Ultra Performance и говорить не стоит, там действительно присутствует характерное «мыло», которое так критикуют противники технологий DLSS. Однако стоит учитывать, что подобное различие проявляется не во всех играх, и режим Quality демонстрирует весьма достойные результаты, обеспечивая заметное увеличение частоты кадров. К оценке которой мы и переходим.
Оценка производительности
При максимальных настройках и разрешении 4K активация функции Quality в DLSS 4 обеспечивает увеличение производительности примерно в два раза по сравнению с отрисовкой в исходном разрешении, причем этот прирост варьируется в зависимости от конкретной игры и степени загрузки графического процессора. Использование модели трансформера в технологии масштабирования разрешения DLSS 4 привело к небольшому снижению производительности по сравнению с предыдущей версией, основанной на CNN. На видеокартах уровня GeForce RTX 5080 и RTX 4080 это падение производительности невелико – около 4%-8% в зависимости от игры, однако более старые графические адаптеры могут продемонстрировать и более существенную потерю. Теперь изучим несколько игр с конкретными показателями.
Играть в Cyberpunk 2077 с максимальными настройками графики в разрешении 4K на указанных видеокартах без активации DLSS попросту невозможно, так как средняя частота кадров составит 16-19 FPS, что недостаточно для комфортного геймплея. Активация DLSS в режиме Quality увеличивает производительность до 32-35 FPS, однако этого всё равно мало для удобной игры. Для достижения приемлемой частоты кадров рекомендуется использовать режим Performance (можно также попробовать режим Balanced), который обеспечивает 52-57 FPS, достаточных для одиночной игры, не предъявляющей высоких требований к скорости отклика. Режим Quality повышает производительность на 85%-105%, а режим Performance – более чем в три раза. При этом визуальные различия при интенсивном геймплее вряд ли будут заметны.
Разница в производительности между RTX 5080 и RTX 4080 обычно колеблется в пределах 5%-7%, и выбор конкретной модели искусственного интеллекта для масштабирования оказывает на нее незначительное влияние. При переходе от сверточных нейронных сетей (CNN) к трансформерам обе модели теряют примерно одинаковую производительность: 3% в режиме Quality и до 5% для Performance. Такая потеря производительности вполне ожидаема, учитывая улучшение качества изображения, которое достигается при использовании модели трансформера, как продемонстрировали приведенные выше сравнения. Несколько кадров в секунду не являются решающим фактором, в то время как заметная разница в детализации в пользу более современной технологии DLSS 4 очевидна.
Что касается улучшенной версии игры Half-Life 2 в формате RTX с трассировкой лучей, результаты также соответствуют ожиданиям. Без использования DLSS игровой процесс становится неиграбельным в еще большей степени: 14-15 FPS – это явно недостаточно. Включение DLSS 4 в режиме Quality повышает частоту кадров до 29-33 FPS, в зависимости от используемого метода и видеокарты, однако этого все еще недостаточно. Играбельность обеспечивается режимом Performance, в котором частота кадров практически достигает 50 FPS при использовании RTX 4080 и превышает этот показатель при использовании RTX 5080 – с подобной плавностью и минимальной задержкой играть уже комфортно. Использование DLSS 4 увеличивает частоту кадров в 2,2 раза для режима Quality и в 3,4-3,5 раза для Performance – это весьма впечатляющий результат.
Заметна небольшая разница между RTX 5080 и RTX 4080 – около 6–8% в пользу новейшего графического ускорителя. При этом снижение скорости рендеринга при переходе от модели CNN к трансформеру в технологии DLSS составляет лишь 2% для режима Performance и 3% в режиме Quality. Это вполне допустимо, учитывая значительно улучшенное качество масштабирования.
Игра была выпущена вместе с консолями и не поддерживает сложную трассировку лучей, не говоря уже о трассировке пути. Тем не менее, даже без DLSS она демонстрирует вполне достойную производительность: 77 FPS и 81 FPS для RTX 4080 и RTX 5080 соответственно, причем в разрешении 4K. Включение DLSS в режиме Quality позволит достичь еще более высокой частоты кадров – 105-124 FPS, а Performance обеспечит 127-150 FPS, в зависимости от используемой видеокарты и модели искусственного интеллекта для масштабирования. Очевидно, что игра не сильно зависит от вычислительных возможностей графического процессора, поэтому включение DLSS также обеспечивает умеренный прирост скорости рендеринга: 1,4-1,5 раза для режима Quality и 1,6-1,9 раза для Performance.
Хотя технология DLSS, возможно, и не является критически важной в данном случае, мы рекомендуем ее активировать, учитывая превосходное качество масштабирования, обеспечиваемое моделью трансформера, и даже можно использовать самый качественный режим. В этой игре разница в производительности между видеокартами разных поколений составила 7–9%, а между моделями CNN и трансформера — 9–10% во всех протестированных сценариях. Это довольно существенная разница, однако, учитывая значительное повышение детализации изображения, использование устаревших алгоритмов масштабирования теряет всякий смысл.
Даже в последней игре при максимальных настройках трассировка лучей создает значительную нагрузку на видеокарту, из-за чего даже мощным моделям сложно обеспечить комфортную работу в разрешении 4K. Для достижения приемлемой частоты кадров необходимо активировать масштабирование DLSS 4 в режиме Quality, что позволяет получить 40-49 FPS. Включение режима Performance гарантирует плавность с частотой около 60 FPS для RTX 4080 и более 60 FPS для RTX 5080. Это примерно вдвое выше, чем показатели в качественном режиме, и на 2,7-2,8 раза больше FPS в производительном режиме.
Неожиданно, но в данной игре разница в производительности между двумя видеокартами составила 20% и более. RTX 4080 в режиме Performance лишь незначительно превосходит RTX 5080, использующую более высокое качество масштабирования. Снижение FPS, вызванное переходом с DLSS 4 на архитектуре CNN к трансформерной, в данной игре составило 5% во всех протестированных сценариях, что является относительно небольшим значением. Поэтому, если такая возможность доступна, мы рекомендуем выбирать улучшенный вариант.
По результатам проведенных тестов и визуального анализа мы пришли к выводу, что использование технологии DLSS, по крайней мере, в режиме Quality, является необходимым, если частота кадров при использовании DLAA оказывается недостаточной. Даже активация качественного режима в разрешении 4K часто приводит к двукратному увеличению скорости рендеринга, что имеет огромное значение, и при этом качество изображения практически не ухудшается. Если же двукратного увеличения производительности недостаточно, то можно добиться более чем трехкратного прироста с использованием режима Performance – при этом неизбежна небольшая потеря качества, но она незначительна по сравнению с улучшением плавности и отзывчивости игрового процесса.
При анализе различных настроек качества DLSS 4 отмечалось, что новые технологии обеспечивают улучшение качества изображения на ступень выше, чем DLSS 3. Однако, как видно, снижение производительности при этом незначительно, оно не превышает одного шага, и тем более не достигает половины шага. Новый режим Balanced в DLSS 4 обеспечивает частоту кадров, сопоставимую с режимами Balanced и Quality в DLSS 3, при этом он ближе к первому. Качество старого режима Quality приблизительно соответствует новому Balanced, что позволяет утверждать, что в случае использования нового режима Quality в DLSS 4 мы получили еще один, более качественный режим, который можно назвать «Super Quality». Приятно осознавать, что возможности пользователей расширились: старый режим Ultra Performance оказался не востребованным, в то время как новый вариант может быть полезен в ситуациях, когда производительности явно недостаточно.
Реконструкция лучей
При использовании технологии реконструкции лучей, представленной в DLSS 3.5, важно оценить изменения в качестве изображения. В новой версии также применяется усовершенствованная модель трансформера, что позволило добиться заметного повышения итогового качества. Учитывая, что трассировка лучей, и особенно пути, требует значительных вычислительных мощностей, ее использование практически неизбежно связано с применением технологий повышения производительности, таких как DLSS. Реконструкция лучей – одна из них, она направлена на улучшение подавления шумов при использовании трассировки лучей, когда на пиксель приходится небольшое количество рассчитанных лучей, что приводит к повышенному шуму на изображении.
Без использования данной технологии многие поверхности выглядят более текстурными, особенно заметен шум на движущихся объектах. Применение стандартных фильтров подавления шума приводит к потере чёткости текстур. Чтобы устранить эти недостатки, Nvidia в 2023 году представила технологию реконструкции лучей Ray Reconstruction. В DLSS 4 эта технология, основанная на нейронных сетях, перешла с архитектуры CNN на новую модель трансформера, что позволило существенно улучшить качество шумоподавления. Однако некоторые трудности сохраняются: при внезапных изменениях освещения или во время движения камеры качество отображения поверхностей временно ухудшается. Это связано с зависимостью от данных, накопленных за несколько предыдущих кадров, поскольку технология не способна прогнозировать будущие события, и для её совершенствования требуется повышение вычислительной мощности.
Подавление шума обычно применяется к изображениям с меньшим разрешением, ещё до этапа масштабирования. Отрисованные отражения, освещение и тени обрабатываются в пониженном разрешении, а затем переносятся в более высокое выходное разрешение. Это негативно сказывается на качестве, поскольку эффекты, созданные с помощью трассировки лучей, становятся чрезмерно размытыми после шумоподавления. Особенно заметно это в играх с трассировкой пути, где всё освещение и затенение генерируется с использованием трассировки лучей. Основные геометрические детали достаточно хорошо восстанавливаются благодаря масштабированию DLSS, однако качество затенения остаётся на уровне исходного разрешения.
При трассировке лучей традиционные шумоподавители применяют алгоритмы, требующие ручной настройки для каждой игры. Это приводит к увеличению трудозатрат и усложняет масштабирование, а также обеспечивает ограниченное качество шумоподавления. Причинами являются фиксированные данные об освещении и материалах в сцене, что вызывает артефакты в виде мерцания, ореолов и искаженных отражений. Технология DLSS с реконструкцией лучей устраняет два ключевых недостатка традиционных методов шумоподавления: недостаточную детализацию теней и необходимость ручной настройки. Алгоритм Ray Reconstruction обрабатывает трассировочные данные в высоком разрешении, что позволяет добиться более точного и стабильного изображения, не требующего ручной настройки.
Решение поставленной задачи осложняется применением строгой временной и пространственной фильтрации при трассировке пути, особенно при ограниченном количестве выборок. Эти фильтры необходимы для сохранения деталей геометрии и текстур объектов, а также для заполнения недостатков в информации о затенении. В отличие от обычных алгоритмов шумоподавления, которые фильтруют только результат затенения перед объединением с текстурами и геометрией, алгоритм реконструкции лучей обрабатывает всю сцену одновременно.
На обработку поступает изображение с низким разрешением, содержащее шум, возникший в процессе трассировки и сопровождаемый артефактами. Основная цель работы алгоритма — преобразование сильно зашумленного изображения в высококачественное изображение высокого разрешения, лишенное шума, но сохраняющее текстуры, детали и обеспечивающее сглаживание. Ключевым фактором здесь является баланс: реконструкция лучей должна точно различать шум, текстуры и материалы, избегая чрезмерного размытия. Кроме того, традиционные алгоритмы характеризуются медленной реакцией на изменения в кадре, что необходимо для уменьшения артефактов, таких как нестабильность и мерцание.
Разнообразие шаблонов, используемых алгоритмом, представляет собой существенную трудность, в отличие от унифицированных шаблонов, применяемых в алгоритмах повышения разрешения. Кроме того, современные алгоритмы вводят пространственные и временные зависимости, усложняющие процесс. Метод, основанный на ИИ-модели, способен обобщить все шаблоны, однако для обучения нейросети требуются обширные и разнообразные данные. Ранее для реконструкции лучей использовались сверточные нейронные сети, но они достигли предела своих возможностей, не устранив артефакты двоения изображения и несогласованности во времени. Чтобы преодолеть эти ограничения, в DLSS 4 применяется архитектура на основе модели трансформера, использующая тензорные ядра Ada и Blackwell, которые ускоряют матричные операции с точностью FP8, что позволило минимизировать задержку при сохранении достаточной точности вывода нейросети. Более высокая точность здесь невозможна, поскольку модель трансформера требует в четыре раза больше вычислительных ресурсов.
В отличие от CNN, модель трансформера демонстрирует более эффективное отслеживание долгосрочных связей в пространстве и времени, представленных во входных данных. Механизм внимания позволяет ей собирать информацию из отдельных фрагментов, которые могут находиться на значительном удалении друг от друга как во времени, так и в пространстве. В результате внедрение модели трансформера в реконструкции лучей привело к улучшению качества изображения и уменьшению количества артефактов в условиях сильного шума и слабой взаимосвязи между образцами при трассировке. CNN лучше всего подходит для работы с данными, обладающими высокой степенью корреляции, однако она неэффективна при обработке зашумленных данных после трассировки пути. Использование модели трансформера обеспечивает большую стабильность и более детальное сохранение информации при сохранении общей точности реконструкции:
Заметные улучшения в детализации поверхностей и временная стабильность изображения – ключевые преимущества модели трансформера. По сравнению с шумоподавлением, основанным на сверточных нейронных сетях CNN, она демонстрирует более четкую детализацию текстур, поскольку CNN склонны к сильному сглаживанию. Итоговое изображение, созданное моделью трансформера, приближается к эталонному, для вычисления которого требуется использование десятков тысяч выборок на каждый пиксель, что делает невозможным его создание в реальном времени. Благодаря новой модели удалось уменьшить количество артефактов, связанных с двоением быстро движущихся объектов и поверхностей, подверженных резким изменениям освещения; модель трансформера эффективно использует механизм внимания для их отслеживания. А области, содержащие пока еще скрытые участки, которые впоследствии становятся видимыми вследствие движения камеры, теперь более качественно заполняются недостающей информацией, опираясь на пространственный контекст.
Оценка качества
Сверточные модели испытывают сложности с обеспечением временной стабильности при смене сцены, что может проявляться в виде артефактов, таких как мерцание. Модель, основанная на трансформере, снижает эту проблему, демонстрируя более быструю реакцию на изменения, что особенно заметно в динамичных сценах. Кроме того, трансформерная модель обладает улучшенной поддержкой для воспроизведения кожи и волос, позволяющей сохранять мелкие детали, что является сложной задачей из-за тонких линий и полупрозрачности. Новая модель Ray Reconstruction в DLSS 4 демонстрирует существенные улучшения по всем перечисленным выше параметрам. Чтобы оценить это на практике, мы провели тестирование качества изображения при включении трассировки лучей в игре Cyberpunk 2077:
Разницу можно легко заметить на этом примере: использование реконструкции лучей заметно улучшило качество отображения металлической двери с отражениями на ее неровной поверхности, сделав ее значительно более четкой. Помимо этого, технология из DLSS 3 вызывает артефакты на многих объектах в движении, в то время как при использовании DLSS 4 детализация при движении сохраняется на более высоком уровне. В некоторых ситуациях может проявляться специфический сетчатый узор, но в целом качество с новым методом, безусловно, возросло:
В динамических сценах Cyberpunk 2077 это проявляется особенно заметно: отражения на влажном асфальте и металлических поверхностях стали более резкими, они меньше искажаются при перемещении камеры и объектов, не размываются, как это наблюдалось с DLSS 3. Благодаря этому многие поверхности демонстрируют большую детализацию, особенно при движении. В большинстве ситуаций вместо неясных, размытых участков теперь отчетливо видна текстура материала. Модель трансформера заметно улучшила качество своей работы, приблизившись к уровню DLAA даже при использовании режима Ultra Performance с очень низким разрешением рендеринга.
При работе с быстро движущимися объектами можно наблюдать схожие эффекты, например, с вращающимися лопастями вентилятора, которые часто применяют для демонстрации реконструкции лучей. При использовании обновленной технологии DLSS 4 лопасти практически не оставляют шлейфов. Однако наиболее заметна разница именно на отражающих поверхностях, где трассировка лучей и пути играют ключевую роль. Представим еще одно сравнительное изображение, полученное при включении трассировки лучей:
Разница очевидна: заметно улучшена четкость благодаря включению реконструкции лучей, детали меньше смазываются при движении камеры и объектов. Новая модель трансформера повышает качество трассировки лучей при реконструкции, обеспечивая большую детализацию отражений, особенно в динамичных сценах — на отражающих поверхностях, таких как мокрая дорога или зеркальные объекты. Улучшается и качество теней при трассировке лучей, они становятся более детализированными и стабильными. В результате получается более точное и реалистичное освещение и тени, что положительно сказывается на визуальном восприятии.
Обновленная система трассировки лучей в Cyberpunk 2077, несмотря на внесенные улучшения, сопровождается некоторыми визуальными недочетами, такими как чрезмерный эффект живописи и ореолы в виде артефактов. Однако даже в более ранних версиях, использующих модель CNN, реконструкция лучей обеспечивала более предсказуемый и детализированный рендеринг теней, а также повышала качество отражений при трассировке лучей. Переход к модели трансформера для алгоритма реконструкции лучей позволил добиться существенного прогресса: эффект живописи и артефакты ореолов и размытия сведены к минимуму, а изображение стало более стабильным в динамичных сценах.
Оценка производительности
Применение модели трансформера в технологии DLSS 4 для реконструкции лучей приводит к незначительному снижению производительности по сравнению с предыдущей версией на базе CNN. На современных видеокартах последних поколений эта разница составляет всего несколько процентов, в зависимости от конкретной игры. На более старых моделях видеокарт снижение производительности ощутимее: карты серии GeForce RTX 30 могут потерять до 25% при использовании модели трансформера для масштабирования и реконструкции лучей, и это не связано с недостатком тензорных ядер, а с их вычислительными возможностями. Даже GeForce RTX 3080 демонстрирует заметное снижение производительности при использовании новых методов масштабирования и реконструкции лучей. Однако у GeForce RTX 5080 и GeForce RTX 4080 с этим проблем нет — давайте проанализируем производительность реконструкции лучей на примере игры Cyberpunk 2077 и других проектов.
При использовании данной игры даже незначительный прирост производительности наблюдается при активации трассировки лучей — очевидно, что шумоподавление для трассировки лучей работает значительно лучше, чем используемый по умолчанию в игре. Замечено, что на видеокарте RTX 4080 включение трассировки лучей увеличивает частоту кадров на 6%-7%, а для RTX 5080 прирост составляет приблизительно 10%. Вероятно, новый алгоритм более эффективно оптимизирован для актуальной архитектуры. В целом, в этой игре рекомендуется всегда активировать трассировку лучей, поскольку она улучшает качество изображения и повышает его скорость.
Indiana Jones and the Great Circle демонстрирует ситуацию, когда активация трассировки лучей может незначительно снизить частоту кадров – на 2–4% на обеих протестированных видеокартах. Вероятно, разработчики не в полной мере оптимизировали программный код, однако включение трассировки лучей, по всей видимости, улучшает качество изображения в ряде сцен, что делает ее использование целесообразным даже при снижении производительности.
Поскольку трассировка лучей пока не получила широкого распространения в играх, мы также провели тестирование в демонстрационной программе Nvidia RamenShop, которая одной из первых продемонстрировала применение как трассировки лучей, так и генерации кадров с использованием DLSS 3.5. При этом мы приводим данные для RTX 4090, а не для RTX 5080, поскольку демонстрационная программа не была адаптирована для работы с новейшим поколением видеокарт и в целом поддерживает только DLSS 3.5 без новой модели ИИ-трансформера. Тем не менее, результаты оказались любопытными. В этой программе включение трассировки лучей даже в старой версии с моделью CNN обеспечивает заметное улучшение производительности: прирост составил 10% и 16–17% для режимов масштабирования DLSS Performance и Quality соответственно. Таким образом, эта технология хорошо демонстрирует потенциал одной из реализаций DLSS.
Генерация нескольких кадров
Ключевым и наиболее заметным нововведением в комплексе технологий DLSS 4, которое сейчас активно продвигает Nvidia для своих видеокарт, является многокадровая генерация Multi-Frame Generation (MFG). Эта технология функционирует исключительно на видеокартах новой серии GeForce RTX 50, однако её нельзя назвать принципиально новой, поскольку она является развитием и усовершенствованием уже существующей технологии генерации кадров Frame Generation (FG), известной по GeForce RTX 40. В DLSS 4 используется обновленная и оптимизированная версия технологии генерации кадров, основанная на современных алгоритмах и моделях искусственного интеллекта, что позволяет повысить производительность и улучшить качество изображения. При этом, улучшения в однокадровой генерации также применяются на GeForce RTX 40, а MFG отличается от неё только количеством создаваемых кадров.
Прежде всего необходимо объяснить, что представляет собой особенность технологии генерации кадров DLSS и почему она отличается от обычной интерполяции, применяемой, например, в видеотехнике для сглаживания переходов между кадрами. Традиционные методы интерполяции кадров, используемые в телевизорах, разработаны для обработки стандартных видеозаписей и работы с низкой частотой кадров, в то время как в играх используются более разнообразные данные, и игровое изображение обычно формируется с гораздо большей частотой кадров. Помимо этого, в игровом изображении присутствуют элементы пользовательского интерфейса, а существующие модели интерполяции кадров в телевизорах не всегда способны корректно обрабатывать их.
Кроме того, трехмерные игры предоставляют расширенные возможности для анализа благодаря использованию дополнительных данных, включая векторы движения, буфер глубины, маски и другие буферы, что упрощает более точную интерполяцию движений. Однако, это сопряжено с определенными трудностями: векторы движения, как правило, точны для большинства пикселей, но не отражают движение при создании бликов и отражений, а данные о глубине могут быть неточными при отрисовке пользовательского интерфейса. Использование только геометрических векторов движения может привести к появлению артефактов на элементах кадра, таких как интерфейс и тени. Элементы пользовательского интерфейса можно отрисовать отдельно, однако нейросеть также может быть использована для качественной интерполяции интерфейса.
Для создания промежуточных кадров в DLSS 3 в качестве входных данных используются уже отрисованные текущий и предыдущий кадры, поле оптического потока, а также данные от игрового движка, такие как буферы глубины и векторы движения. В поле оптического потока зафиксированы направление и скорость перемещения пикселей от одного кадра к другому. Помимо пиксельного анализа поля оптического потока, алгоритм DLSS 3 применяет векторы движения для точной отслеживания геометрии в сцене – в приведенном выше примере это позволяет отследить движение дорожного полотна, но не тени на нем. Сочетание этих методов способствует более точному определению предполагаемого движения в кадре; если оптический поток не используется при генерации промежуточных кадров, на итоговом изображении могут появиться артефакты, например, дрожащая тень. Для каждого пикселя нейросеть определяет, как использовать информацию из буфера векторов движения и из поля оптического потока – применение двух типов данных о движении в сцене обеспечивает точное воссоздание геометрических и пиксельных данных в сгенерированных кадрах. Иллюстрация демонстрирует, как алгоритмы анализа позволяют воссоздать тень от мотоцикла с большей точностью, чем при использовании только векторов движения или только оптического потока.
В то время как DLSS 3 позволял создавать только один промежуточный кадр, DLSS 4 использует нейросеть для генерации сразу нескольких – до трех. Алгоритм MFG способен создать от одного до трех промежуточных кадров между кадрами, которые GPU отрисовал обычным способом. Подобно FG в предыдущей версии DLSS, метод базируется на интерполяции с применением искусственного интеллекта, который генерирует дополнительные кадры для заполнения пространства между двумя последовательными кадрами, полученными непосредственно от графического процессора. Сгенерированные кадры добавляются в поток выходных кадров для улучшения плавности изображения. На текущем этапе используется генерация на основе уже отрисованных кадров, а не экстраполяция, позволяющая предсказывать будущие кадры – такая возможность появится в будущем, но пока что создаются только промежуточные кадры, основанные на предшествующих.
Чтобы повысить качество генерируемых кадров в DLSS 4, был изменен алгоритм, который теперь объединяет аппаратные возможности решений на базе архитектуры Blackwell и новую программную модель. В отличие от предыдущих версий, он не использует специализированный аппаратный блок для генерации оптического потока. Новый алгоритм основан на модели искусственного интеллекта, которая одновременно увеличивает производительность на 40% и уменьшает потребление видеопамяти примерно на треть. Фактическое снижение объема используемой видеопамяти варьируется в зависимости от конкретной игры и выбранного разрешения: при выводе изображения в 4K новый метод позволяет сэкономить от 500 до 600 МБ видеопамяти, при разрешении 2560×1440 — от 250 до 300 МБ, а при Full HD — около 200 МБ. Несмотря на то, что это может показаться незначительным улучшением, для моделей с объемом памяти 8 ГБ в 4K это составляет вполне ощутимые 7%-8% от общего объема, что является существенной экономией.
Для оптимальной работы нового многокадрового генератора применяются компоненты, реализованные в архитектуре Blackwell: это усовершенствованные тензорные ядра с повышенной производительностью и AI Management Processor, обеспечивающий эффективное распределение задач искусственного интеллекта и рендеринга между вычислительными ядрами. В процессе работы DLSS графическому процессору требуется одновременное выполнение пяти моделей искусственного интеллекта для повышения разрешения, восстановления лучей и создания нескольких кадров на каждый отрисованный, причем все эти операции должны быть выполнены за доли секунды. Новая модель искусственного интеллекта, отвечающая за генерацию кадров, активируется лишь один раз на каждый отрисованный кадр для создания нескольких дополнительных кадров, тогда как для реализации DLSS 3 потребовалось бы ее многократный запуск, что привело бы к увеличению времени задержки.
Аппаратный блок Flip Metering играет еще более значимую роль, поскольку он позволяет более качественно синхронизировать вывод кадров на дисплей. В DLSS 3 генерация каждого кадра осуществлялась с использованием синхронизации, контролируемой центральным процессором, что могло вызывать колебания частоты кадров и неплавный вывод изображения. Чтобы повысить стабильность при одновременной генерации нескольких кадров в Blackwell, применяется специальный аппаратный блок синхронизации кадров, интегрированный в дисплейный движок Flip Metering. Крайне важно обеспечивать максимально плавный и ровный вывод кадров на дисплей, поскольку планируется достичь очень высокой частоты – стабильные 240 FPS или выше – и для этого необходимо точное формирование каждого кадра, ведь даже минимальная задержка в одну миллисекунду будет восприниматься пользователем как неплавность и прерывистость изображения.
В отношении производительности, увеличение частоты кадров влечет за собой около 1 мс на создание каждого интерполированного кадра, и новые видеокарты GeForce RTX 50 успешно справляются с этой задачей благодаря новым архитектурам нейронных сетей и их оптимизации для тензорных ядер Blackwell. Новая технология многокадровой генерации DLSS 4 состоит из двух этапов: нейронная сеть обрабатывает пары входных кадров, а затем ее результаты используются для создания каждого интерполированного кадра. Такой подход позволил уменьшить задержки и повысить эффективность, а усовершенствованная оценка движения позволяет формировать более качественные выходные кадры.
Новая технология применяется не только в видеокартах серии GeForce RTX 50, но и в RTX 40. Однако возникает вопрос, почему многокадровую генерацию нельзя было активировать хотя бы на самых производительных моделях линейки RTX 40? Nvidia объясняет, что для стабильной выдачи большого числа кадров критически важен специализированный аппаратный блок управления выводом кадров, который впервые появился в решениях на архитектуре Blackwell. Подтвердить достоверность этой информации сложно, поскольку на картах RTX 40 он, в любом случае, эмулируется программным способом. Однако практика ограничения технологий новыми моделями для их продвижения стала вполне ожидаемой.
Генерация кадров также способна увеличить частоту кадров, даже если она ограничена мощностью центрального процессора. Это происходит потому, что она функционирует как постфильтр, полностью выполняемый на графическом процессоре на основе уже отрисованных кадров. Если система не способна создать больше кадров, чем позволяет CPU, технология DLSS по-прежнему может генерировать промежуточные кадры, что приводит к увеличению выходной частоты кадров. Это создает впечатление более плавного видеоряда для зрителя. Фактическое количество генерируемых кадров при использовании многокадровой генерации зависит от множества факторов, включая игру, выбранное разрешение и другие условия. При ограничении производительности графическим процессором, согласно оценкам Nvidia, новая модель способна генерировать больше кадров по сравнению со старой, что дополнительно повышает плавность отображения.
Оценка плавности и качества
На данном этапе это оставалось лишь теорией, а как обстоят дела с практикой? Если масштабирование и реконструкция лучей представляются достаточно понятными и приносят ощутимую пользу, то тестирование многокадровой генерации MFG и демонстрация её работы оказались сложной задачей. Дело в том, что технология создана для работы с очень высокой частотой кадров и соответствующими мониторами с высокой частотой обновления. Если обычный монитор не способен отобразить больше 60 FPS, то включение MFG с обеспечением до 240 FPS в максимальном режиме не принесёт игроку с таким монитором никакого преимущества. Так же, как и предоставление видеоролика с частотой кадров, превышающей 60 FPS, при условии использования вами стандартных мониторов, не представляется возможным.
Запись видео с частотой 240 кадров в секунду для анализа представляет собой непростую задачу. На рынке попросту отсутствуют специализированные карты видеозахвата, способные работать с разрешением 4K при такой частоте, а исследование Full HD разрешения сегодня кажется не самым разумным решением. Программные методы захвата также пока не превышают отметку в 120 кадров в секунду, и даже получение 240 кадров в секунду сопряжено с определенными трудностями, не говоря уже о необходимости демонстрации этих кадров. В связи с этим мы выбрали программно-аппаратный захват с частотой 120 кадров в секунду, поэтому, несмотря на все наши усилия, мы не сможем продемонстрировать все возможности DLSS 4 MFG – просто имейте в виду, что потенциал для дальнейшего улучшения существует как минимум вдвое. Чтобы вы могли просматривать видеосравнения без необходимости использования мониторов с частотой обновления 120 Гц и выше, мы снизили скорость воспроизведения соответствующих видеозаписей, чтобы вы могли рассмотреть все кадры, как реальные, так и сгенерированные, для оценки повышенной плавности.
В данном примере демонстрируется разница в отображении при отключенной и включенной генерации с максимальным режимом и тремя дополнительными кадрами: слева движения персонажей выглядят заметно более резкими и прерывистыми, а справа — более плавными и сглаженными. Принцип действия технологии заключается в интеллектуальной интерполяции промежуточных кадров, добавляя в них данные, отсутствующие в исходных кадрах. В результате этого могут возникать небольшие артефакты, напоминающие смазывание, характерное для motion blur, однако с более выраженными визуальными искажениями, которые мы рассмотрим позднее.
В идеале было бы записывать видео в разрешении 4K с частотой 240 кадров в секунду, чтобы обеспечить возможность просмотра на подходящем мониторе и получить полное представление о работе этой технологии. Однако на данный момент это не представляется возможным с технической точки зрения, поэтому приходится использовать существующие возможности. Генерацию кадров целесообразно применять при скорости рендеринга выше 30 FPS – оптимальным будет 45-50 FPS, а в идеале – стабильные 60 FPS, чтобы задержки при выводе изображения обеспечивали комфортный игровой процесс. Примеры с меньшей частотой кадров приводятся исключительно из-за технических ограничений. В то же время, стоит учитывать, что артефакты, возникающие при генерации кадров, становятся более заметными при воспроизведении замедленной записи, чем при игре с частотой кадров в диапазоне 120-240 FPS.
Вот еще один пример замедленного видео, снятый без использования технологии MFG и с ее применением, и второй вариант выглядит значительно более плавным. Как видно по счетчику FPS в углу изображения, выходная частота кадров существенно возрастает — от 50-60 FPS до 160-180 FPS, что и является целью многокадровой генерации. При базовой частоте около 60 FPS задержки будут вполне допустимы, а вывод с существенно увеличенной частотой кадров повысит плавность видеоряда — в данном случае требуемый эффект достигнут. На основании этих двух примеров становится ясно, что многокадровая генерация функционирует, делая именно то, что заявлено: она интерполирует дополнительные кадры между основными отрендеренными кадрами, что и обеспечивает более плавное воспроизведение.
В отношении качества изображения новый алгоритм многокадровой генерации в DLSS 4 не демонстрирует существенных изменений по сравнению с предыдущими версиями. Несмотря на то, что общее качество картинки становится менее размытым, более детализированным и с уменьшенным количеством артефактов, эти улучшения в основном обусловлены применением модели трансформера при масштабировании и реконструкции лучей, поскольку именно эти кадры служат основой для создания дополнительных. Однако, новая технология генерации кадров оказывает положительное влияние на другие параметры, такие как увеличение частоты кадров, обеспечение более стабильного вывода и снижение потребления видеопамяти — при одновременном решении этих задач.
В представленном выше видео мы включили сравнение не только двух роликов, демонстрирующих отключенную и максимальную MFG, но и версию в старом формате, где генерировался лишь один кадр, как это реализовано в DLSS 3.5. На этом примере наглядно видно, что существенных изменений не произошло, и по сути это лишь увеличение числа сгенерированных кадров и повышение частоты кадров. Следовательно, артефакты остались прежними:
В этом коротком видеосравнении The Last of Us 2 наглядно демонстрируются типичные трудности, возникающие при создании кадров. Во время быстрого перемещения объектов и размытия фона заметны артефакты, свидетельствующие о том, что система испытывает затруднения в четком определении содержимого промежуточных кадров. Отсюда и возникают на движущихся поверхностях двоения, полосы и другие характерные дефекты, связанные с созданием промежуточных кадров.
В случаях, когда видеодемонстрация не позволяет отчетливо увидеть проблему, мы предоставляем скриншоты с остановленными кадрами. На них показаны моменты, в которых наиболее заметны артефакты, возникающие при быстром перемещении объектов. Это связано с тем, что кадровая генерация не всегда способна реалистично создавать большое количество пикселей, по крайней мере, в существующей версии технологии, поскольку на формирование каждого кадра затрачивается минимальное время.
На представленных сравнительных скриншотах отчетливо заметны характерные недостатки при создании промежуточных кадров. Особенно это проявляется, когда крупные объекты находятся близко к объективу и быстро движутся в поле зрения камеры. В подобных ситуациях даже самые современные алгоритмы не обеспечивают абсолютно точную генерацию пикселей и не всегда корректно воссоздают изображение.
Для самостоятельного поиска подобных артефактов вы можете обратиться к полной видеозаписи встроенного бенчмарка Cyberpunk 2077 в 4K-разрешении без использования генерации кадров. Также доступны режимы масштабирования 2× и 4×: первый реализован для всех видеокарт GeForce RTX 40 и новее, а второй — эксклюзивен для GeForce RTX 50.
Наиболее заметной проблемой при использовании генеративного интеллекта является появление ореолов вокруг объектов, что особенно бросается в глаза в играх с видом от третьего лица, когда за объектом происходит быстрая смена фона. DLSS 4 не справляется с подобными артефактами безупречно, что проявляется в играх The Last of Us, Horizon Zero Dawn и Black Myth Wukong: при включении генерации вокруг головы персонажа можно заметить большое количество артефактов, если за ней появляется трава или другие мелкие детали. Однако при использовании разрешения 4K большинство подобных артефактов остаются незамеченными во время игры, хотя и становятся видны при детальном изучении скриншотов и видео с увеличением. В большинстве ситуаций эти искажения и артефакты не оказывают существенного влияния на общее впечатление от изображения в процессе игры.
Для более детального ознакомления с наиболее важными артефактами предлагаем изучить их в игре The Last of Us 2. При включении кадровой генерации, в особенности многокадровой, при быстрых перемещениях вокруг главного героя хорошо заметны остаточные следы, ореолы и другие артефакты, возникающие в процессе работы алгоритма MFG. Это достаточно продолжительное видео, демонстрирующее изменяемые графические настройки и полученный визуальный эффект.
Особое внимание стоит уделить голове героини, ее волосам, а также проводам в небе — на них отчетливо заметны вышеупомянутые дефекты качества. Если же вам не хочется искать эти артефакты в полном 4K-видео без замедления, то вот увеличенный и замедленный видеоролик из этой сцены, где все хорошо видно. Однако стоит повторить, что в процессе игры они практически незаметны, а здесь мы специально выводим их в наиболее удобной для восприятия форме, чтобы стало понятно, о чем идет речь:
Как вы уже могли заметить, все достоинства однокадровой генерации сопровождаются и усилением ее недостатков. Однако при высокой базовой частоте кадров, составляющей примерно 90-100 FPS, артефакты, возникающие в процессе генерации, практически незаметны при обычном просмотре (их можно увидеть только при детальном анализе скриншотов и замедленном воспроизведении). Но при частоте кадров около 60 FPS и ниже эти недостатки становятся более очевидными. Если в оптимальных условиях генерация обеспечивает плавность и гладкость видеоряда, то в сложных ситуациях артефакты могут быть даже более заметными, а задержки увеличатся сильнее, чем при однокадровой генерации, поэтому выбор количества генерируемых кадров требует взвешенного подхода. Вот еще один фрагмент из той же игры, демонстрирующий проблемы с качеством – также в сильно замедленном виде:
Мы полагаем, что теперь вам ясны все недостатки технологии генерации кадров, и важно осознавать, что вы получите при ее активации, а что можете потерять. В современных играх, поддерживающих DLSS 4 или получивших эту поддержку в рамках обновлений, пользователь обычно имеет возможность выбора из трех режимов генерации кадров: 2× – генерация одного промежуточного кадра, как это было реализовано в предыдущих версиях DLSS, а также 3× и 4× – которые создают два или три дополнительных кадра соответственно. Названия режимов указывают на величину увеличения частоты кадров – от двух до четырех. Выбор режима следует осуществлять с учетом базовой частоты кадров в конкретной игре и характеристик вашего монитора – нецелесообразно использовать режим 4× при наличии монитора с частотой обновления всего лишь 60-75 Гц.
Субъективно о частоте кадров и задержке
Использование MFG позволяет получить больше сгенерированных кадров, при этом задержка вывода изображения на экран не увеличивается по сравнению с оригинальной обработкой, а в большинстве случаев даже незначительно уменьшается. Конечно, GPU тратит время на интерполяцию этих дополнительных кадров, однако это время относительно невелико, особенно в сравнении с однокадровым FG.
При обычном процессе отрисовки информация, получаемая от игрока через клавиатуру, мышь или геймпад, обрабатывается центральным процессором (CPU), после чего кадр передается в очередь для графического процессора (GPU) и выводится на экран. В результате между действиями пользователя и их отображением на дисплее возникает временная задержка, которая, даже при высокой частоте кадров, может быть ощутимой. Чтобы уменьшить эту задержку, Nvidia еще в 2020 году представила новую технологию Reflex, это обновление уменьшило задержку благодаря оптимизированной обработке кадров на центральном процессоре. В нём реализована синхронизация работы центрального и графического процессоров, однако для достижения более существенного снижения задержки потребовались дальнейшие улучшения, поскольку другие этапы конвейера позволяли добиться прогресса.
На протяжении этого времени технология претерпела ряд усовершенствований, и в новейшей версии объединяет уже знакомый нам режим Low Latency с новой технологией Frame Warp, компания, известная своими разработками в области виртуальной реальности, дополнительно уменьшает задержку благодаря технологии, которая обновляет кадр, используя информацию о действиях игрока до его отправки на дисплей. Это репроекция – изменение параметров камеры, осуществляемое уже после завершения рендеринга, на основе самых последних данных о действиях игрока непосредственно перед отображением кадра. Аналогичный подход ранее применялся в приложениях виртуальной реальности, и у Nvidia имеется соответствующий опыт, однако артефакты, возникающие при репроекции, могут быть более заметны на мониторе, поскольку в VR они проявляются в периферийной области кадра и менее бросаются в глаза пользователям, фокусирующимся в основном на центральной части изображения.
Артефакты при репроекции представляют собой дефекты изображения, возникающие из-за необходимости отображения скрытых участков пространства, вызванных существенным сдвигом камеры, происходящим в результате действий игрока непосредственно перед выводом кадра на экран. Существуют различные способы устранения подобных артефактов. Один из них – отрисовка кадра с небольшим увеличением по краям и последующая обрезка, однако это не позволяет полностью решить проблему. Nvidia использует иной метод – предиктивный рендеринг, основанный на прогнозировании действий игрока. Вместо отрисовки кадра с точки зрения пользователя, происходит экстраполяция движения камеры на основе предыдущих данных о вводе, и рендеринг выполняется с учетом предполагаемого перемещения. Затем кадр корректируется, чтобы соответствовать фактической точке обзора перед отображением, приближаясь к реальным действиям игрока, что обеспечивает соответствие итогового изображения реальной перспективе. Такой подход существенно уменьшает размер артефактов по краям кадра, оказывая незначительное влияние на производительность, а оставшиеся пробелы можно легко заполнить пикселями – это стандартная задача для нейронной сети, использующей информацию из предыдущих кадров.
Frame Warp также способствует уменьшению задержек, что положительно сказывается на игровом процессе в соревновательных дисциплинах. Однако, вопрос задержек требует отдельного изучения с применением всего доступного комплекса программного и аппаратного обеспечения, что не входит в объем данного обзора. На данном этапе мы полагаемся на данные, предоставляемые программным обеспечением. По информации Nvidia, активация режима Reflex Low Latency позволяет значительно сократить время отклика на действия пользователя, особенно в играх, где производительность рендеринга ограничена мощностью центрального процессора. Соревновательные шутеры часто попадают под это описание. Поэтому сегодня мы сосредоточимся на частоте кадров, а задержки будем считать допустимыми при частоте как минимум 50-60 FPS до включения генерации кадров.
Вместе с внедрением технологии генерации кадров DLSS 4 был обновлён и программный комплекс для анализа стабильности частоты кадров в режиме генерации кадров. Это связано с тем, что Nvidia изменила подход к подаче кадров в связи с выпуском новой версии своего набора технологий. Теперь эта операция выполняется не в процессе подготовки к отрисовке, а уже после завершения конвейера рендеринга. При этом, реализация отличается в зависимости от используемого оборудования: на видеокартах новой линейки GeForce RTX 50 за это отвечает выделенный аппаратный модуль flip metering, тогда как на предыдущих моделях с поддержкой генерации кадров (только RTX 40) используется программная имитация этого модуля в драйвере.
Каждому созданному искусственным интеллектом кадру устанавливается определенная задержка, чтобы сдвинуть момент его отображения после завершения обработки в конвейере. Это необходимо, поскольку ИИ-кадры поступают в конвейер незамедлительно после создания, занимая крайне незначительное время, доли миллисекунды, и, таким образом, практически исключая задержку между кадрами. Вследствие того, что после каждого полноценно отрендеренного кадра, требующего нескольких миллисекунд, следует один или несколько коротких кадров, сгенерированных ИИ, график времени кадров в режиме генерации выглядит ступенчатым, наподобие пилы: «длинный-короткий-длинный-короткий» для RTX 40 или даже «длинный-короткий-короткий-короткий-длинный-короткий-короткий-короткий» при использовании MFG 4× на RTX 50. Данный график имеет пилообразную или «толстую» форму и может ввести в заблуждение пользователей, поскольку создается впечатление неравномерной частоты кадров, однако именно так и должен функционировать конвейер при использовании алгоритма генерации кадров DLSS 4.
Чтобы правильно оценить качество изображения при использовании DLSS 4, необходимо использовать самые свежие версии MSI Afterburner с RTSS версии 7.3.7 beta 8 build 28221. В эту версию добавили специальную модификацию PresentMon с поддержкой flip metering для видеокарт Nvidia. Новая утилита включает в себя специальный шаблон оверлея presentmon_framegen.ovl для плагина OverlayEditor, который облегчает понимание принципов работы frame pacing на видеокартах RTX 40 и RTX 50 при генерации изображений, поскольку он демонстрирует наглядную информацию о времени кадров на разных этапах работы графического конвейера. Верхние графики, отображающие время кадра и загрузку GPU, объединены и показывают стандартные интервалы времени, предшествующие входу в конвейер рендеринга (present-to-present), а нижний график показывает время кадра после выхода из конвейера (display-to-display).
На скриншотах выше продемонстрирован пример использования данной статистики в Cyberpunk 2077 при включенной и выключенной генерации кадров на GeForce RTX 4080. На графике слева, где генерация кадров неактивна, времена кадра на входе и выходе конвейера идентичны, как и на скриншоте без включения генерации кадров. Однако справа, на графике с FG, показана ситуация с включенной генерацией кадров DLSS 4, где график времени кадров приобрел вид широкой «пилы» с различным временем кадра. Но flip metering упорядочил кадры и преобразовал неравномерную последовательность кадров на входе («длинный-короткий-длинный-короткий») в равномерный вывод на экран, что соответствует принципу работы корректного алгоритма выдачи кадров. «Пила» на входе в конвейер при использовании генерации кадров DLSS 4 неизбежна, то же самое относится и к графику загрузки GPU – сгенерированные ИИ кадры требуют значительно меньше времени GPU для отрисовки по сравнению с реально отрендеренными.
На этом же оверлее также изменены числовые показатели времени кадров и загрузки GPU, чтобы избежать резких перепадов между фактическими отрендеренными кадрами и сгенерированными кадрами. Вместо мгновенных значений времени теперь отображается максимальное значение за последние четыре кадра. Это позволяет исключить времена, затраченные на генерацию кадров ИИ, и показывать только время рендеринга реальных кадров. Метрики процентилей 1% low и 0,1% low также рассчитываются и отображаются как для входного, так и для выходного времени кадров, что позволяет оценить плавность вывода. Однако еще раз подчеркнем, что подобный детальный анализ плавности вывода кадров выходит за рамки представленного материала.
Относительно частоты кадров, мы провели собственные тесты в разрешении 4K, используя режимы DLSS Quality и Performance, и их результаты с анализом представлены в следующем разделе. Первый из них обеспечивает превосходное качество изображения (которое в некоторых аспектах уступает нативному разрешению, но в других превосходит его – подробности в разделе, посвященном оценке качества), а второй позволит добиться высокой производительности при незначительной потере визуальной составляющей и будет оптимальным выбором для пользователей видеокарт с не самыми выдающимися характеристиками. Следует учитывать, что использование технологии генерации кадров при базовой частоте кадров ниже 40-45 FPS нецелесообразно, так как это не обеспечит необходимого комфорта даже на минимальных настройках, а предпочтительно иметь 50-60 FPS, что, по нашему мнению, является минимальным приемлемым порогом. Что касается настройки снижения задержек Reflex, то ее рекомендуется всегда оставлять активной, поскольку мы не выявили негативного воздействия, а положительный эффект точно присутствует.
Несмотря на заявления Nvidia о том, что генерация дополнительных кадров не вызывает существенного увеличения задержки вывода, пользователям, вероятно, будет достаточно и текущих параметров, а MFG по сравнению с FG незначительно увеличивает задержку. Однако, на практике даже на самых мощных видеокартах генерация кадров связана с определенными затратами – дополнительные кадры создаются с небольшой задержкой, которая, тем не менее, присутствует, и задержка с генерацией всё равно оказывается выше на несколько миллисекунд. Таким образом, при кажущемся увеличении частоты кадров, воспринимаемая отзывчивость игры и задержка вывода могут даже ухудшиться.
По мере увеличения числа создаваемых кадров, задержка будет увеличиваться. В режиме 4× она может снизиться до 25% из-за дополнительных ресурсов, затрачиваемых на генерацию большего количества кадров. Например, в одном из тестов, с исходных 35 мс, задержка возросла до 40 мс при создании одного дополнительного кадра и до 43 мс при создании трех дополнительных кадров. Таким образом, маркетинговые сравнения GeForce RTX 5070 с включенным MFG и GeForce RTX 4090 с FG, основанные исключительно на частоте кадров, являются ошибочными и не должны использоваться в материалах компании. Упоминание увеличения FPS без указания на задержку вывода вводит потребителей в заблуждение. Ситуация не столь критична, если задержка остается невысокой даже при создании трех дополнительных кадров, однако подобные графики, очевидно, не отражают реальность.
GeForce RTX 5070, используя многокадровый режим MFG 4×, потенциально может достичь частоты кадров, сопоставимой с RTX 4090 в однокадровом режиме. Однако, при одинаковом FPS вывода, задержки между вводом и выводом в первом случае возрастут на 40–50%. В некоторых ситуациях это различие можно не учитывать, например, при игре в однопользовательские проекты с минимальными колебаниями частоты кадров. Однако для соревновательных игр это негативно скажется на восприятии игрока: пользователь заметит визуальную плавность, но одновременно ощутит значительные задержки, как если бы использовалась низкая входная частота кадров.
Таким образом, MFG можно рассматривать как усовершенствованный способ устранения эффекта размытости движения (Motion Blur), поскольку он основан на интерполяции промежуточных кадров. Эта технология действительно позволяет увеличить частоту кадров на выходе, что положительно воспринимается зрительно и неврологически, однако она несколько увеличивает задержки даже в сравнении с FG – генерацией отдельного кадра. MFG усиливает как преимущества, так и недостатки этой технологии: количество кадров возрастает, но и артефактов становится больше, а задержки увеличиваются. Решение о включении MFG и выбор конкретного метода следует принимать в каждом отдельном случае, исходя из характеристик монитора и получаемой производительности, выраженной во входной частоте кадров. В идеальной ситуации MFG обеспечит более плавное отображение видеоряда при максимальной частоте обновления монитора, но легко может и ухудшить ситуацию, добавив артефакты и увеличив задержку вывода.
Можно утверждать с уверенностью, что технология генерации кадров наиболее эффективна при использовании относительно высокой частоты кадров. Минимальный приемлемый уровень – 45-50 FPS, однако мы настоятельно советуем стремиться как минимум к 60 FPS. При таких условиях задержки останутся на приемлемом уровне, хотя и немного увеличатся при включении MFG, а количество артефактов будет незначительным, поскольку визуальное отличие между последовательными кадрами не будет слишком заметным. Таким образом, генерация кадров MFG не способна улучшить ситуацию для пользователей с видеокартами невысокой производительности. При базовых 30 FPS она не обеспечит комфортные 60 или даже 120 FPS – изображение, безусловно, станет плавнее при включении, однако субъективные ощущения игрока в большей степени зависят от фактической скорости рендеринга и задержки между действием и его отображением на экране.
Поэтому мы советуем применять MFG на достаточно производительных видеокартах, в сочетании с игровым монитором, обладающим частотой обновления не менее 120 Гц, и обеспечивающим минимальную частоту кадров 60-70 FPS. Только в этом случае можно будет достичь желаемых 120-240 FPS (в зависимости от характеристик монитора). Визуальных искажений будет немного, а задержка останется незначительной. Хотя включение MFG и увеличит задержку, этого будет достаточно для игр с одиночным прохождением. Использование технологии при более низкой частоте кадров приведет к неприятному опыту: действия на экране будут отображаться с заметной задержкой, картинка станет слишком медленной и нечеткой, а артефакты станут более заметными.
Стремиться к экстремально высокой частоте кадров также не имеет большой практической ценности, поскольку увеличение плавности между 120 кадров в секунду и 240 кадрами в секунду не так заметно на практике, как переход с 60 кадров в секунду до 120 кадров в секунду. Это еще больше уменьшает значимость технологии MFG. Безусловно, она ориентирована в первую очередь на состоятельных энтузиастов, располагающих дорогостоящим оборудованием, таким как мощный компьютер и современный игровой монитор, но даже они могут не заметить существенной разницы между режимами с использованием MFG и без него. Многокадровая генерация вряд ли оправдывает замену решений линейки RTX 40 на аналоги серии RTX 50; это лишь дополнительное преимущество для владельцев мониторов с высокой частотой обновления, которое следует включать с пониманием и осторожностью, поскольку в определенных ситуациях можно столкнуться с ухудшением удобства использования из-за возросших задержек.
Итоговые результаты
Ключевым моментом является то, что повышение разрешения с помощью DLSS – это эффективный метод для увеличения производительности (всегда) и улучшения качества изображения (иногда). Однако, генерация кадров не способна повысить частоту кадров в обычном понимании, поскольку пользователи чаще сталкиваются с заметной задержкой вывода изображения на экран, которая, напротив, увеличится при использовании (M)FG. Эта технология востребована преимущественно владельцам игровых мониторов с высокой частотой обновления – для улучшения исключительно визуальной плавности, но не для повышения комфорта игрока в процессе игры. Благодаря ей вы не сможете улучшить точность стрельбы или управление транспортным средством.
Если у вас имеется современная видеокарта Nvidia и высокопроизводительный игровой монитор, то применение технологий DLSS 4 позволит одновременно повысить качество изображения и увеличить частоту кадров – по сравнению с обычным рендерингом в максимальном разрешении. Согласно данным Nvidia, активация технологий DLSS 4 в игре Avowed может увеличить частоту кадров с 35 FPS до 215 FPS, при этом качество картинки останется на сопоставимом уровне. Кроме того, время отклика снизится с 114 мс до 43 мс, что существенно улучшит отзывчивость игрового процесса и восприятие пользователя.
Действительно, снижение производительности по сравнению с рендерингом в исходном разрешении будет минимальным, хотя без использования генерации кадров задержка была бы еще меньше. Однако, если этих значений достаточно для комфортной игры, можно активировать технологию многокадровой генерации, что обеспечит очень плавный вывод изображения на монитор с высокой частотой обновления. Таким образом, утверждать, что технология многокадровой генерации не имеет практической пользы, не совсем верно. Давайте проанализируем на конкретном примере, какие результаты дает одновременное использование всех возможностей DLSS на видеокарте уровня GeForce RTX 5080.
Без применения технологии DLSS, при максимальном качестве графики, запуск этой игры в 4K становится невозможным – частота кадров 15-20 FPS неприемлемо низка для нормальной игры. Вначале активируем только трассировку лучей и масштабирование DLSS в высоком режиме, и уже получаем 35-40 FPS – этого может оказаться достаточно для многих игроков. Однако, если у вас есть игровой монитор и вы знаете, что даже при использовании режима Performance, качество масштабирования остается на хорошем уровне, можно включить как этот режим, так и многокадровую генерацию в максимальном варианте 4×. В этом случае задержка ввода останется на приемлемом уровне, порядка 60-70 FPS в стандартном режиме без MFG, а частота кадров возрастет до 160-190 FPS, что обеспечит комфортный игровой процесс как для зрения, так и для восприятия.
Для наглядного сравнения производительности в различных играх на видеокартах GeForce RTX 5080 и RTX 4080, у которой показатели несколько ниже, но зато отсутствует поддержка многокадровой генерации, мы воспользуемся удобными диаграммами. Это позволит понять, какую пользу технологии DLSS могут принести игрокам в разных проектах, включая многокадровую генерацию, вызывающую споры и не всегда оказывающую положительное влияние. В процессе тестирования всегда применялась новая модель трансформера для масштабирования разрешения, и при наличии поддержки включалась реконструкция лучей.
При максимальных графических настройках и 4K-разрешении без использования DLSS или подобных технологий, Cyberpunk 2077 демонстрирует неиграбельную производительность на двух протестированных видеокартах. Даже применение DLAA (технологии, схожей с DLSS, но без масштабирования изображения и с акцентом на качество картинки) не обеспечивает необходимого уровня комфорта. Активация DLSS позволяет достичь вполне удовлетворительные показатели частоты кадров: 55 FPS и 59 FPS для RTX 4080 и RTX 5080 соответственно.
При такой производительности задержка ввода не будет критичной. На игровых мониторах с частотой обновления выше 60 Гц можно использовать технологию генерации кадров для повышения плавности видео (пример демонстрируется в 4K-видео выше). Для RTX 4080 рекомендуется активировать генерацию всего одного промежуточного кадра, что обеспечит 94 кадра в секунду. Этот показатель будет достаточен для работы с некоторыми игровыми мониторами, в то время как для RTX 5080 можно включить генерацию трех кадров, что даст 180 FPS и станет оптимальным решением для мониторов с более высокой частотой обновления – 144-180 Гц.
Возможно ли использование режима Quality с генерацией кадров FG 2× или 4×? Достигнут ли уровень в 62-69 FPS или даже 127 FPS, чтобы видеокарта RTX 5080 оставалась игровой? Нет, это нереально, поскольку без генерации кадров и с использованием DLSS Quality базовая частота кадров не превышает 40 FPS, что приводит к неприемлемо высокой задержке ввода и делает игровой процесс некомфортным. Таким образом, режим Quality для разрешения 4K не подходит, и в целом, в данной игре производительность RTX 4080 и RTX 5080 оказывается примерно одинаковой, несмотря на более чем двукратное увеличение частоты кадров при включении генерации.
Для работы Half-Life 2 RTX в предварительной версии требуется значительно больше вычислительных ресурсов GPU. Без технологии DLSS запуск игры на перечисленных видеокартах невозможен при разрешении 4K и включенной трассировке лучей. Даже при использовании режима DLSS Quality не удается достичь необходимой частоты кадров и минимизировать задержки, а вариант Performance оказывается на пределе – даже видеокарта RTX 5080 может не обеспечить минимально допустимую частоту кадров в 51 FPS для комфортного игрового процесса с низкими задержками.
Поскольку генерация кадров не оказывает существенного влияния на ситуацию, нет необходимости ее активировать при столь низкой базовой частоте кадров, даже с использованием масштабирования DLSS, но без генерации кадров. В подобных обстоятельствах остается два варианта: либо смириться с относительно высокими задержками, даже если игра предназначена для одного игрока, либо уменьшить качество DLSS до режима Ultra Performance. Этот режим, хоть и претерпел заметные улучшения благодаря ИИ-модели трансформера, все же уступает более качественным режимам по детализации текстур и сглаживанию. Таким образом, в этом аспекте возможности RTX 4080 и RTX 5080 практически идентичны, и технология MFG не внесла изменений.
Даже при использовании трассировки и максимальных настройках графики, игра по мотивам Indiana Jones предъявляет несколько более скромные требования, однако остаётся неиграбельной в родном 4K-разрешении. Активация режима DLSS в настройках качества обеспечивает лишь 38-40 FPS, в то время как Performance-режим демонстрирует вполне играбельные 51-54 FPS, что позволяет достичь приемлемой задержки ввода, необходимой для данного жанра. При этом можно дополнительно включить технологию генерации кадров — на обеих видеокартах.
GeForce RTX 4080 покажет лишь 88 FPS, в то время как RTX 5080 с использованием технологии многокадровой генерации сможет достичь 163 FPS, что обеспечит более плавный вывод кадров на игровых мониторах с частотой обновления 120-144 Гц, и задержка останется на приемлемом уровне. Поэтому мы вновь выбираем режим DLSS Performance для обеих видеокарт, и более новая видеокарта выигрывает лишь за счет незначительно более плавного отображения при наличии подходящего монитора. Впечатления от игрового процесса будут схожими при использовании этих двух графических процессоров.
Благодаря отсутствию сложной трассировки лучей, в игру можно комфортно играть даже на тестовых видеокартах без использования технологий DLSS. Разница в производительности между видеокартами незначительна, поэтому имеет смысл активировать DLAA или хотя бы DLSS Quality, поскольку качество изображения в этом случае улучшится, а производительность позволит использовать более плавный вывод кадров с частотой 105-114 FPS.
В этой ситуации включение генерации кадров не просто возможно, а и является необходимостью. Количество генерируемых кадров следует подбирать с учетом возможностей имеющегося монитора. Если у вас 240 Гц монитор, то на видеокарте RTX 5080 можно активировать режим MFG 4×, что обеспечит превосходную плавность изображения. При этом задержка останется на уровне выше 100 FPS, что делает отклик быстрее, чем при отсутствии технологий DLSS. В данной игре видеокарта RTX 5080 демонстрирует определенное преимущество, поскольку она способна обеспечить максимальную плавность даже на мониторах с разрешением 4K и частотой 240 Гц, чего не под силу RTX 4080.
Последний проект, который мы изучим в заключительном анализе, — Alan Wake 2. Эта игра также использует трассировку лучей, поэтому предъявляет высокие требования к ресурсам, сопоставимые с Indiana Jones, хотя и уступающие Cyberpunk 2077. Без использования технологии DLSS запуск в разрешении 4K будет затруднен, но сразу проявится заметная разница в производительности между RTX 4080 и RTX 5080, что, безусловно, будет преимуществом более современной видеокарты.
При использовании DLSS Quality, RTX 5080 достигает приемлемого уровня частоты кадров и задержки, что является подходящим показателем для игр данного жанра. В то время как на системах с RTX 4080 необходимо использовать режим Performance или, как минимум, Balanced. Таким образом, новая видеокарта демонстрирует преимущество и в этом случае. Она способна обеспечить вывод более чем 150 кадров в секунду на монитор с частотой обновления 120-144 Гц, поддерживая приемлемую задержку и качество DLSS Quality. На же RTX 4080 потребуется включить DLSS Performance, и даже получение стабильных 100 кадров в секунду на мониторе с частотой 100 Гц не представляется возможным – именно в подобных сценариях решения нового поколения RTX 50 имеют некоторое преимущество благодаря поддержке технологии MFG. Пришло время сделать заключительные выводы относительно всего комплекса технологий DLSS 4.
Выводы
В технологии DLSS 4 реализованы значительные улучшения, затронувшие все ее компоненты: реконструкцию лучей Ray Reconstruction, масштабирование разрешения Super Resolution и DLAA, а также генерацию кадров. Если в предыдущих версиях DLSS применялись сверточные нейронные сети (CNN) для создания новых пикселей на основе анализа ближайшего окружения и отслеживания изменений между последовательными кадрами, то в новой модели используется трансформер, который точнее определяет значимость каждого пикселя как внутри одного кадра, так и в нескольких кадрах. Модели, применяемые в DLSS 4, обрабатывают вдвое больше параметров, что позволяет добиться более глубокого понимания сцены, и используют повышенную вычислительную мощность тензорных ядер для реконструкции изображений с улучшенным качеством как в статичных, так и в динамичных условиях. Новая модель трансформера создает изображение более высокого качества, более эффективно распознает крупные паттерны и лучше поддается масштабированию.
Аналогичные улучшения наблюдаются и при реконструкции лучей: использование модели трансформера позволило значительно повысить визуальное качество изображения, хотя и с незначительным снижением общей производительности. Реконструкция лучей улучшает изображение благодаря применению искусственного интеллекта для генерации дополнительных пикселей в сценах с интенсивной трассировкой лучей — DLSS заменяет стандартные алгоритмы подавления шума на специально обученную нейросеть, которая создает более качественный результат. Чем сложнее и интенсивнее трассировка лучей в сцене, тем более заметным будет улучшение качества при переходе на новую модель, особенно это проявляется в сценах со сложным освещением. Модели трансформера, применяемые для масштабирования и реконструкции лучей, совместно демонстрируют отличные результаты на практике, обеспечивая большую четкость и стабильность изображения во времени, уменьшая количество ореолов и других дефектов, а также повышая детализацию, особенно при движении.
В конечном итоге, новый режим Balanced в DLSS 4 по качеству сопоставим с режимом Quality в DLSS 3, а новый Performance приблизительно соответствует старому Balanced. Усовершенствованные режимы Quality и Balanced в DLSS 4 обеспечивают детализацию, практически идентичную рендерингу в исходном разрешении, а в ряде случаев даже превосходящую его благодаря стабильности изображения и детализации, поскольку технология масштабирования использует данные из предыдущих кадров. Таким образом, технология масштабирования в версии DLSS 4 стала еще эффективнее и предоставляет реальные возможности для одновременного улучшения качества изображения и производительности, что является редкостью в области графики. Можно утверждать, что использование искусственного интеллекта при рендеринге изменило привычный баланс между повышением качества изображения и увеличением частоты кадров, позволяя достигать обеих целей одновременно, а не искать компромиссное решение — это значимый прогресс в сфере компьютерной графики последних лет. Вероятно, применение ИИ в приложениях реального времени стало ключевой надеждой на заметное развитие технологий рендеринга будущего, поскольку традиционные методы повышения производительности и качества посредством создания все более сложных графических процессоров демонстрируют свою ограниченность.
С генерацией кадров ситуация складывается неоднозначно: с одной стороны, она сложна, с другой — проста. Мы знакомы с этой функцией еще с видеокарт серии GeForce предыдущего поколения, а технология MFG, интегрированная в DLSS 4, представляет собой генерацию большего числа дополнительных кадров, в отличие от уже известной интерполяции единственного кадра в FG. В целом, преимущества и недостатки остались прежними. Если FG повышает плавность вдвое, то MFG делает видеоряд еще более плавным. Однако артефакты, характерные для FG, никуда не исчезли, а их количество увеличилось — теперь они присутствуют в каждом из сгенерированных кадров, доля которых достигла 75% от общего потока. Технология генерации промежуточных кадров эффективно работает в сценах с умеренной динамикой, где объекты движутся плавно и предсказуемо, и в таких случаях достигается заметно более плавный результат по сравнению с кадрами, отрисованными без использования этой технологии. Интерполяция всех элементов обеспечивает визуальную точность и четкость при высокой итоговой частоте кадров, что актуально для игровых мониторов с высокой частотой обновления. В большинстве случаев MFG значительно улучшает плавность изображения в различных сценах и условиях, а технология добавляет артефактов в кадры относительно немного.
В более динамичных сценах, характеризующихся резкими и/или непредсказуемыми движениями объектов, а также содержащих большое количество мелких деталей, таких как провода и частицы, генерация кадров оказывается неэффективной, поскольку не способна точно воспроизвести все особенности движения. Артефакты, проявляющиеся в виде двоения, размытия, искажений на границах объектов и их нестабильности, становятся более выраженными по мере увеличения количества генерируемых кадров. К типичным примерам относятся движение листьев под воздействием ветра, летящие в воздухе листья и другие мелкие объекты, тонкие провода, а также быстрое перемещение крупных объектов в кадре. Интерполяция подобных деталей генератором кадров не всегда выполняется корректно, и включение многокадровых режимов с увеличением в 3 и 4 раза лишь усугубляет эти проблемы, делая их более заметными. При высокой исходной частоте кадров и в относительно спокойных сценах с небольшой динамикой технология MFG демонстрирует хорошие результаты, и артефакты практически незаметны. Однако при снижении базовой скорости до 30 FPS, артефакты становятся более заметными, а в сложных сценах они могут значительно ухудшить качество изображения. Но насколько внимательно вы будете рассматривать такие детали во время обычной игры – остается открытым вопросом.
Обсудили значительные преимущества и незначительные недостатки генерации кадров, а теперь перейдем к основному недостатку: ее активация неизбежно увеличивает задержку между действиями игрока и отображением их на экране, поскольку процесс генерации занимает определенное время. В связи с этим, для активации генерации кадров (одной или нескольких) предъявляются требования к базовой частоте кадров, которые зависят от жанра игры и даже от используемых устройств ввода. В частности, для шутеров от первого лица и других динамичных проектов, особенно при использовании высокоточных инструментов, таких как клавиатура и мышь, для обеспечения комфортной игры необходима достаточно высокая скорость рендеринга (частота кадров) – не менее 50-60 FPS, а в идеале – около 90 FPS, чтобы при генерации кадров задержка не увеличилась критически. В играх с видом от третьего лица и других менее динамичных проектах, а также при использовании геймпада, влияние задержки вывода ощутимо меньше, и даже начальные 40-45 FPS могут быть приемлемы. В многопользовательских играх любого жанра генерация кадров оказывается неэффективной, поскольку она лишь усугубляет задержку между действиями игрока и отображением результата на экране, хотя и не очень заметно.
Как правило, генерация одного кадра позволяет достичь приемлемой задержки при частоте 70 кадров в секунду и 120 кадров при выводе на экран, что обеспечивает удобство управления и плавность изображения на игровых мониторах с частотой обновления 120-144 Гц. Для мониторов, поддерживающих вывод изображения с частотой 180 FPS или даже 240 FPS, потребуется многокадровая генерация MFG. При тех же исходных параметрах скорость вывода кадров может достигать 240 FPS, а дополнительные кадры еще больше улучшат плавность и четкость движущегося изображения. Таким образом, многокадровая генерация нецелесообразна при использовании монитора с частотой обновления менее 180 Гц, и предпочтительнее иметь еще большую частоту, поскольку существуют модели мониторов с 360 и даже 480 Гц, хотя остается вопрос о практической пользе таких высоких частот. А при наличии монитора с частотой 120 Гц нет смысла генерировать 240 кадров в секунду, поскольку дисплей не сможет их отобразить, и может вывести на экран большее количество интерполированных кадров с артефактами, чем при однокадровой генерации.
В целом, сфера применения MFG довольно ограничена: для ее работы требуется игровой монитор с частотой обновления 180 Гц и выше, вы должны играть в однопользовательские игры, а также обладать достаточно мощной видеокартой, обеспечивающей приемлемую базовую частоту кадров – ограничений достаточно много. Главное отличие от технологии масштабирования разрешения DLSS заключается в том, что последнюю можно использовать везде, где ощущается нехватка производительности, в том числе для снижения задержек, а многокадровая генерация – более специализированное решение, предназначенное для поклонников однопользовательских игр и обладающих быстрыми игровыми мониторами. Мы лично заметили повышение плавности при использовании MFG на 4K-мониторе с частотой обновления 240 Гц в сочетании с видеокартой GeForce RTX 5080, но позволить себе подобную конфигурацию сможет далеко не каждый, и вообще насколько это необходимо рядовому пользователю? К сожалению, в отличие от привлекательных маркетинговых графиков с высокими значениями FPS, в реальных условиях многокадровая генерация DLSS 4 не производит столь сильного впечатления. Однако и недооценивать ее достоинства тоже не стоит – она имеет смысл, хотя и создает лишь визуальное увеличение частоты кадров, не всегда ощутимое в процессе игры.
При достижении необходимого уровня частоты кадров на входе, порядка 50-60 FPS, благодаря методам масштабирования и реконструкции лучей, включение (M)FG оказывает дополнительное положительное влияние, повышая частоту кадров до очень плавных 120-240 FPS, в зависимости от возможностей монитора. Это достигается с незначительным увеличением задержки и вполне приемлемым качеством интерполированных кадров. На изображении присутствуют артефакты, однако их количество невелико, и при динамичном отображении их трудно заметить без внимательного изучения. Качество сгенерированных кадров остается удовлетворительным, хотя при остановке воспроизведения можно обнаружить артефакты, такие как ореолы и другие ошибки интерполяции, но в процессе игры они вряд ли будут заметны. В целом, это полезная функция, но ее следует использовать обдуманно, поскольку ее эффективность сильно зависит от первоначальной производительности системы и характеристик монитора.
В целом, технологии DLSS 4 демонстрируют значительный прирост производительности и обеспечивают высокое качество изображения во многих сценариях. В некоторых случаях наблюдается даже улучшение картинки благодаря использованию данных из предыдущих кадров, хотя и с минимальным снижением качества. Технологии генерации кадров способны повысить плавность видеоряда, минимизируя потери в качестве и незначительно увеличивая задержки. Очевидна польза от этого комплекса технологий, направленных на оптимизацию производительности и улучшение визуальной составляющей. Некорректно судить об эффективности DLSS, опираясь на артефакты ранних версий, заметные лишь в ограниченном числе игр, выпущенных несколько лет назад. Конечно, существуют пользователи, предпочитающие «нативный» рендеринг в максимальном разрешении, однако, если визуальное различие между «реально» отрисованными пикселями и сгенерированными с использованием искусственного интеллекта практически неощутимо в процессе игры, то не имеет значения, каким способом были созданы изображения. Технологии нейронного рендеринга уже доказали свою эффективность и продолжают развиваться, и компания Nvidia, безусловно, является лидером в этой области, опережая конкурентов.
Относительно личного опыта использования многокадровой генерации, изначально автор испытывал к ней некоторую настороженность. Даже после тестирования однокадровой генерации на GeForce RTX 4080, сомнения в целесообразности более сложной технологии, создающей больше дополнительных кадров, не исчезли. Существенное изменение произошло при замене монитора с разрешением 4K и частотой 120 Гц на модель 4K/240 Гц, одновременно с переходом на видеокарту GeForce RTX 5080. После продолжительной игры на такой аппаратной конфигурации автор ощутил практическую пользу многокадровой генерации. В настоящее время многокадровая генерация (MFG) – почти единственное ощутимое преимущество RTX 5080 перед RTX 4080, которое проявляется особенно заметно при использовании игровых мониторов с высокой частотой обновления – от 144 до 180 Гц, а предпочтительнее – выше.
Как это функционирует и в чем выгода — если выставлять максимальные графические настройки во всех играх и использовать 4K-разрешение, то даже видеокарта RTX 5080 без использования DLSS с трассировкой лучей или продвинутой трассировкой пути часто испытывает трудности, приводящие к снижению частоты кадров (например, в Alan Wake 2, Cyberpunk 2077, Half-Life 2 RTX, Indiana Jones and the Great Circle, The Last of Us Part II Remastered и в других проектах). На помощь приходят технологии DLSS 4, в частности масштабирование разрешения. Практический опыт показывает, что зачастую достаточно качества уровня Balanced или Performance, и даже без генерации кадров можно достичь 50-60 FPS или выше. Играть становится возможно, однако картинка всё ещё не отличается плавностью, что особенно заметно на игровом мониторе с высокой частотой обновления.
В ситуациях, когда без генерации изображений, но с масштабированием удается достичь 50 кадров в секунду, имеет смысл активировать генерацию. Даже использование базовой генерации (условно, 2x) обеспечит заметное улучшение, позволяя получить 100-120 кадров в секунду и более, что идеально подходит для соответствующих мониторов. Если же монитор способен отображать изображение с частотой 180-240 Гц и выше, то использование расширенной генерации (MFG) обеспечит еще более плавную картинку, которую можно будет реально почувствовать. Вместо 50-60 кадров в секунду можно ожидать 160-180 кадров в секунду, и хотя задержка управления практически не изменится, изображение на соответствующем мониторе станет максимально плавным.
Автор считает, что наиболее сложной задачей при написании статьи о DLSS и многокадровой генерации является донесение информации о их преимуществах до аудитории, не имеющей возможности оценить их на практике. Даже демонстрация видеоролика, снятого без специализированного оборудования, ограничена 120 кадрами в секунду, а при выводе изображения на монитор, типичный для большинства пользователей, разницу будет сложно заметить. Неудивительно, что многие полагают, что частота кадров выше 60 FPS излишня. И сам автор когда-то разделял эту точку зрения – в эпоху зарождения трехмерной графики. Такое мнение может сохраняться, пока не будет возможности оценить преимущества более высоких частот – начиная с 120 Гц и далее, до 240 Гц. Каждый шаг вперед ощутим и влияет на восприятие видеоряда. Игры вполне можно запускать и при 60 FPS, но с 120/240 FPS впечатления будут более яркими, и это можно будет увидеть на собственном опыте. Стоит ли это дополнительных расходов? Однозначного ответа нет, решение остается за каждым. Не стоит доверять слепо авторам развлекательных видеороликов, которые бездумно критикуют все подряд, поскольку они либо не имели возможности протестировать DLSS 4, либо ругают технологию ради привлечения внимания, что хорошо сказывается на их популярности».
Еще раз подчеркнем, что создание дополнительных кадров не увеличивает производительность, если мощности графического процессора недостаточно. Для этого используется масштабирование с более низкого разрешения, что и обеспечивает технология DLSS. (M)FG — это способ сделать отображение на экране более плавным, когда задержки при использовании масштабирования уже приемлемы, но частота кадров ниже частоты обновления монитора. Таким образом, для комфортной игры необходимо достичь хотя бы 50-60 FPS в любом из режимов масштабирования DLSS, от Quality до Performance (режим Ultra Performance мы не рекомендуем из-за заметной потери детализации), и только после этого можно активировать MFG для получения более плавной многокадровой картинки на игровом мониторе. Повысить удобство игры на недостаточно мощной видеокарте с помощью генерации кадров не удастся, поскольку она не способна уменьшить задержки между действиями игрока и отображением на экране, а напротив, незначительно увеличивает их. Поэтому приобретение GeForce RTX 5070 и получение комфорта и задержек, сопоставимых с RTX 4090, не получится, хотя частота кадров может быть близкой. Вам придется искать баланс, жертвуя частью задержек между вводом и выводом в пользу повышения частоты кадров, что улучшает исключительно визуальную плавность.
Несмотря на это, технология поддерживается, хотя и в ограниченном количестве игр. Nvidia также проделала работу в этом направлении, добавив в свежих версиях драйверов функцию DLSS Override, позволяющую выбирать версию технологии. Среди существенных недостатков можно отметить небольшую потерю резкости при использовании менее качественных настроек масштабирования, а также появление артефактов, таких как остаточные изображения и ореолы вокруг движущихся объектов в сцене, при использовании многокадровой генерации. Сложно поддающийся измерению, но легко ощутимый недостаток – незначительное увеличение задержки отклика клавиатуры и мыши при включении MFG. Специальная технология Reflex помогает уменьшить эти задержки, однако не устраняет их полностью, и требует внимательного контроля, даже визуального. Тем не менее, несмотря на некоторые недостатки и ограничения, DLSS 4 можно считать полезным дополнением, которое обеспечивает значительные улучшения как в производительности, так и в качестве изображения.