FidelityFX Super Resolution против суперсэмплинга Deep Learning

NVIDIAалгоритмы суперсэмплинга Deep Learning в течение многих лет были одной из тех вещей, которые AMD не может конкурировать с эквивалентным решением. AMD FidelityFX Super Resolution представляет собой конкурента суперсэмплингу NVIDIA Deep Learning. В этой статье мы объясняем, как сравниваются обе архитектуры.

В последние годы тенденция к графике в реальном времени в компьютерных видеоиграх изменилась в нескольких направлениях. Начнем с того, что у нас есть 4K, для которого требуется пропускная способность и вычислительная мощность в 4 раза выше, чем 1080p, и в 2.5 раза выше, чем 1440p. Затем у нас есть недавнее появление функции трассировки лучей, которая требует больших вычислительных мощностей, чтобы максимально выразить освещение в играх. И в завершение у нас есть случай высокой частоты кадров для киберспорта.

FidelityFX Super Resolution против суперсэмплинга Deep Learning

Все это привело к появлению алгоритмов, позволяющих увеличить выходное разрешение игр по сравнению с родным, причем последнее понимается как разрешение, при котором GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР рендеринг и выходное разрешение, которое отображается на экране с точки зрения количества пикселей. Последнее дополнение - суперразрешение AMD Fidelity FX, которое объединяет суперсэмплинг NVIDIA Deep Learning и рендеринг шахматной доски в качестве более совершенного алгоритма, чем интерполяция, для достижения лучшего разрешения изображения из более низкого разрешения.

FidelityFX Super Resolution против суперсэмплинга Deep Learning

Супер разрешение AMD FidelityFX

Суперразрешение AMD Fidelity FX - это алгоритм, который отвечает за использование буфера изображения с определенным разрешением и создание из него изображения с более высоким разрешением и, следовательно, с большим количеством пикселей. Задача алгоритмов этого типа - узнать значение цвета новых пикселей.

FidelityFX Super Resolution по своей работе напоминает Deep Learning Supersampling 1.9, который NVIDIA запустила для видеоигры Remedy Control, в том смысле, что она не предназначена для работы с тензорным ядром, которое является эксклюзивным для NVIDIA, а скорее работает с обычными Блоки SIMD, и в частности он использует SIMD вместо возможности регистрации, которая есть у некоторых графических процессоров. Эта способность позволяет им удвоить скорость вычислений в обмен на снижение точности на ту же степень.

В отличие от решения NVIDIA, это не проприетарное решение, которое не задокументировано. AMD выпускает код под открытой лицензией MIT, и его можно будет использовать как на AMD, так и на Intel и графические процессоры NVIDIA. Следовательно, поскольку это лицензия с открытым исходным кодом, разработчики могут вносить изменения в код, чтобы оптимизировать его с учетом особенностей каждой архитектуры.

Последнее - палка о двух концах, потому что, с одной стороны, AMD вытирает руки, как Понтий Пилат, о поддержке FidelityFX Super Resolution в играх, а с другой стороны, она обеспечивает большую оптимизацию, чем та, что позволяет NVIDIA с суперсэмплингом глубокого обучения, но в зависимости от об участии разработчика каждой игры. Вместо этого у NVIDIA есть целый отдел, отвечающий за работу с разными разработчиками.

Является ли AMD FidelityFX Super Resolution алгоритмом искусственного интеллекта, подобным суперсэмплингу Deep Learning?

Inteligencia Искусственный чип

Суперсэмплинг глубокого обучения, как следует из названия, представляет собой алгоритм или серию алгоритмов, основанных на глубоком обучении, которое включает период обучения для создания того, что мы называем алгоритмом вывода. В случае AMD, хотя мы знаем, что им выдан патент, в котором алгоритм увеличения разрешения на основе глубокого обучения не относится к AMD FidelityFX Super Resolution, поскольку это не алгоритм глубокого обучения.

Это связано с тем, что графические процессоры AMD не имеют специализированных дисков для ускорения алгоритмов глубокого обучения. Как правило, это вычислительные блоки, оптимизированные для матричных операций, которые распространены в большинстве алгоритмов глубокого обучения.

ИА типос процессор

Следует уточнить, что алгоритмы искусственного интеллекта могут выполняться в любом типе процессора, будь то скалярный, SIMD или матричный. Нормальным является думать, что будущая версия FidelityFX Super Resolution, несмотря на то, что AMD включает модули, предназначенные для расчета матриц, будет оптимизирована для этого типа устройств, но на данный момент мы сталкиваемся с алгоритмом, который не использует их. .

Поскольку AMD FidelityFX Super Resolution не является алгоритмом искусственного интеллекта, он не требует предварительного обучения, что означает немедленную совместимость во всех играх, но, к сожалению, этот алгоритм увеличения разрешения не только отличается от NVIDIA Deep Learning Supersampling тем, что не является алгоритмом глубокого обучения. но также не хватает темпоральности, что само по себе является проблемой с точки зрения качества изображения алгоритма.

Как работает AMD FidelityFX Super Resolution?

AMD-FSR-GPU

Как мы обсуждали в предыдущем разделе, для восстановления изображения с более высоким разрешением AMD FSR использует один кадр для работы, из которого будет создана версия с более высоким разрешением. Итак, это алгоритм загрузки разрешения, который мы называем пространственным. В конкретном случае AMD FSR он обнаруживает различные края элементов на экране и на основе этой информации восстанавливает версию изображения с более высоким разрешением, тем самым применяя алгоритмы повышения резкости, уже доступные в AMD Fidelity FX, для улучшения качества. окончательного изображения.

Однако, как мы уже упоминали, в нем отсутствует временная информация для восстановления изображения. Это очень спорно, поскольку качество полученного изображения оказывается хуже, чем у алгоритмов сглаживания, которые используют данные из предыдущих кадров для лучшей триангуляции информации о неизвестных пикселях изображения. Это привело к тому, что такие разработчики, как Metro Exodus, отказались от FSR для своей Enhaced Edition, но мы не можем игнорировать давление со стороны NVIDIA на разработчиков с целью поддержки их DLSS.

Проблема темпоральности
Временной

В отличие от Deep Learning Supersampling 2.0 и несмотря на то, что AMD FidelityFX Super Resolution является алгоритмом сверхвысокого разрешения, таким как Deep Learning Supersampling 2.0, он не принимает во внимание темпоральность. Что мы имеем в виду под этим? Что ж, к тому простому факту, что, хотя Deep Learning Supersampling 2.0 учитывает информацию из предыдущих кадров для реконструкции изображения, AMD FidelityFX Super Resolution учитывает только информацию текущего изображения, поэтому в этом отношении он больше похож на первое поколение суперсэмплинга NVIDIA Deep Learning.

При создании цветового буфера сегодня обычно сохраняются несколько одновременных буферов, которые на сленге Direct3D называются целевыми объектами рендеринга, а в случае Vulkan и OpenGL - как FBO или Framebuffer Object, которые представляют собой текстуры, которые хранят буфер полного изображения, но у них нет для хранения информации о цвете. Здесь появляется то, что мы называем буфером идентификаторов, который помещает идентификационную метку на каждый объект на экране.

Супер разрешение AMD FidelityFX

Идея проста: с помощью буфера изображений, который мы называем ID Buffer, мы можем узнать, в какой позиции экрана находится пиксель каждого объекта в сцене. Это позволяет нам определять скорость каждого объекта от одной сцены к другой и знать, где находится каждый пиксель. Одно из приложений - создание промежуточных кадров в фильмах. Но в играх, где изменения от одного кадра к другому минимальны, это позволяет нам извлекать информацию из пикселей предыдущих кадров, сравнивать ее с текущим и исправлять в случае сбоя.

Однако FidelityFX Super Resolution, в отличие от DLSS 1.0, может использоваться с временными алгоритмами сглаживания, о которых мы знаем благодаря тому факту, что Epic подтвердила, что новая версия своего движка Unreal Engine 5 может сочетать свой TAA с AMD FSR. Конечно, стоимость этих временных алгоритмов должна быть добавлена ​​к вычислительным затратам FSR.

Уровни качества в NVIDIA DLSS 2.0

DLSS-2.0-12

В типах алгоритмов, с которыми мы имеем дело, информация для восстановления кадра зависит от входной информации, и при большем количестве пикселей, чем выше качество изображения. Другими словами, качество изображения при масштабировании от 1440p до 2160p всегда будет лучше, чем при масштабировании от 1080p до 2160p, потому что количество входных пикселей в первом случае намного выше, чем во втором.

Tabla Rendimiento DLSS

В случае Deep Learning Supersampling 2.0 у нас есть три режима работы: один с самым высоким качеством изображения занимает 1 пиксель информации для завершения 2 пикселей, среднее качество занимает 1 пиксель для завершения 4 и тот, который дает наихудшее качество изображения, но это решается быстрее, поэтому он создает информацию в 9 пикселей из одного пикселя. Следует учитывать, что у NVIDIA есть преимущество тензорных ядер, интегрированных в ее графические процессоры RTX, в то время как у AMD этого преимущества нет.

Уровни качества в AMD Fidelity FX Super Resolution

AMD FidelityFX Super Resolution niveles calidad

Как и в случае NVIDIA Deep Learning Supersampling 2.0, AMD предлагает разные уровни качества для FidelityFX Super Resolution или FidelityFX Super Resolution, которых всего четыре, и вы можете увидеть их ссылки на слайде, который сопровождает эти строки. Четыре режима: ультра-качество, качество, сбалансированность и производительность. Вот почему мы оставляем вам таблицу с информацией, оставленной AMD о своем суперразрешении FidelityFX.

режим качества Коэффициент масштабирования Входное разрешение для 1440p Входное разрешение для 4K Дифференциальный
Режим качества «Ультра качество» 1.3-кратный коэффициент масштабирования для каждого измерения Входное разрешение для 1440p 1970 x 1108 Входное разрешение для 4K 2954 x 1662 Дифференциал x 1.69
Качественный режим «Качество» 1.5-кратный коэффициент масштабирования для каждого измерения Входное разрешение для 1440p 1706 x 960 Входное разрешение для 4K 2560 x 1440 Дифференциал x 2.25
Качественный режим «Сбалансированный» Коэффициент масштабирования 1.7 x на размер Входное разрешение для 1440p 1506 x 847 Входное разрешение для 4K 2259 x 1270 Дифференциал x 2.89
Качественный режим «Производительность» 2-кратный коэффициент масштабирования для каждого измерения Входное разрешение для 1440p 1280 x 720 Входное разрешение для 4K 1920 x 1080 Дифференциал x 4

Таким образом, AMD в настоящее время не имеет эквивалента самому быстрому режиму NVIDIA, который генерирует 9 пикселей из всего 1. Это также не режим, обеспечивающий отличное качество изображения, и служит только для достижения разрешения 8K в некоторых играх без нагрузки на видеокарту. Однако решение AMD, поскольку ему не хватает темпоральности данных, которые оно использует для восстановления изображения, в конечном итоге дает немного худшее качество изображения. Помимо достижения более низкого увеличения частоты кадров. Хотя это будет больше зависеть от характера каждой игры.

Решение о том, стоит ли FSR того или нет, полностью субъективно, но качество изображения - это не только разрешение и тот факт, что FSR хуже, чем некоторые временные алгоритмы сглаживания, и этого достаточно, чтобы многие разработчики сказали, что нет. алгоритму AMD. Которая компания Лизы Су продает как совместимую со всеми входными видеокартами, но полуправда по-прежнему является явной ложью.

AMD FidelityFX против суперсэмплинга глубокого обучения, какой из них будет иметь больше поддержки?

AMD NVIDIA

AMD заявляет, что ее FidelityFX Super Resolution может использоваться и реализовываться в любом из графических процессоров конкурентов, однако это утверждение имеет определенную ловушку, поскольку алгоритм, как он есть, не может быть реализован в графических процессорах NVIDIA и Intel - соответствующие изменения в форме оптимизации. в коде для конкурирующих графических процессоров.

Где подвох? Что ж, NVIDIA не добавляла эту емкость к модулям SIMD своих графических процессоров, они не поддерживают регистр SIMD в модулях CUDA, поскольку цель NVIDIA состоит в том, чтобы тензорные ядра использовались для вычислений с низкой точностью. Поэтому, если мы применим FidelityFX Super Resolution как есть и без оптимизации на графическом процессоре NVIDIA, оно будет хуже, чем на AMD, из-за того, что для этого требуется оптимизация кода для указанного графического процессора. Ключевой вопрос, который мы все должны задать себе о AMD FidelityFX Super Resolution, заключается в том, увидим ли мы его оптимизацию для различных графических архитектур или нет, полагая, что усилия должны быть предприняты не самой AMD, а разными разработчиками.

Суперсэмплинг Deep Learning от NVIDIA, несмотря на то, что он является огромным черным ящиком с точки зрения его работы, запрашивает для работы только ряд параметров, а библиотеки NVIDIA делают все волшебство, не беспокоя разработчиков. Не по этой причине Deep Learning Supersampling в версии 2.0 лучше, и мы должны учитывать соглашения, которые AMD и NVIDIA заключают с разными разработчиками.

Консоли - ключ к внедрению алгоритма AMD

PS5 Xbox

Секретным оружием AMD является тот факт, что три консоли следующего поколения, две Xbox Серия и PlayStation 5, основаны на RDNA 2 и будут совместимы с FidelityFX Super Resolution. Необходимо учитывать, что на консоли, в отличие от того, что происходит на ПК, код игры обычно оптимизирован, поэтому все указывает на то, что оптимизация FidelityFX Super Resolution на консоли может принести пользу версиям для ПК.

Конечно, как мы уже комментировали ранее, это будет зависеть от интересов каждого разработчика и от того, не будет ли у них какого-либо соглашения с NVIDIA о предоставлении преимущества суперсэмплингу Deep Learning. Например, мы можем обнаружить, что консольные версии Metro Exodus и Cyberpunk 2077 используют FidelityFX Super Resolution на консоли, но не используют его на ПК из-за соглашений с NVIDIA.