NVIDIAалгоритмы суперсэмплинга Deep Learning в течение многих лет были одной из тех вещей, которые AMD не может конкурировать с эквивалентным решением. AMD FidelityFX Super Resolution представляет собой конкурента суперсэмплингу NVIDIA Deep Learning. В этой статье мы объясняем, как сравниваются обе архитектуры.
В последние годы тенденция к графике в реальном времени в компьютерных видеоиграх изменилась в нескольких направлениях. Начнем с того, что у нас есть 4K, для которого требуется пропускная способность и вычислительная мощность в 4 раза выше, чем 1080p, и в 2.5 раза выше, чем 1440p. Затем у нас есть недавнее появление функции трассировки лучей, которая требует больших вычислительных мощностей, чтобы максимально выразить освещение в играх. И в завершение у нас есть случай высокой частоты кадров для киберспорта.
Все это привело к появлению алгоритмов, позволяющих увеличить выходное разрешение игр по сравнению с родным, причем последнее понимается как разрешение, при котором GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР рендеринг и выходное разрешение, которое отображается на экране с точки зрения количества пикселей. Последнее дополнение - суперразрешение AMD Fidelity FX, которое объединяет суперсэмплинг NVIDIA Deep Learning и рендеринг шахматной доски в качестве более совершенного алгоритма, чем интерполяция, для достижения лучшего разрешения изображения из более низкого разрешения.
FidelityFX Super Resolution против суперсэмплинга Deep Learning
Суперразрешение AMD Fidelity FX - это алгоритм, который отвечает за использование буфера изображения с определенным разрешением и создание из него изображения с более высоким разрешением и, следовательно, с большим количеством пикселей. Задача алгоритмов этого типа - узнать значение цвета новых пикселей.
FidelityFX Super Resolution по своей работе напоминает Deep Learning Supersampling 1.9, который NVIDIA запустила для видеоигры Remedy Control, в том смысле, что она не предназначена для работы с тензорным ядром, которое является эксклюзивным для NVIDIA, а скорее работает с обычными Блоки SIMD, и в частности он использует SIMD вместо возможности регистрации, которая есть у некоторых графических процессоров. Эта способность позволяет им удвоить скорость вычислений в обмен на снижение точности на ту же степень.
В отличие от решения NVIDIA, это не проприетарное решение, которое не задокументировано. AMD выпускает код под открытой лицензией MIT, и его можно будет использовать как на AMD, так и на Intel и графические процессоры NVIDIA. Следовательно, поскольку это лицензия с открытым исходным кодом, разработчики могут вносить изменения в код, чтобы оптимизировать его с учетом особенностей каждой архитектуры.
Последнее - палка о двух концах, потому что, с одной стороны, AMD вытирает руки, как Понтий Пилат, о поддержке FidelityFX Super Resolution в играх, а с другой стороны, она обеспечивает большую оптимизацию, чем та, что позволяет NVIDIA с суперсэмплингом глубокого обучения, но в зависимости от об участии разработчика каждой игры. Вместо этого у NVIDIA есть целый отдел, отвечающий за работу с разными разработчиками.
Является ли AMD FidelityFX Super Resolution алгоритмом искусственного интеллекта, подобным суперсэмплингу Deep Learning?
Суперсэмплинг глубокого обучения, как следует из названия, представляет собой алгоритм или серию алгоритмов, основанных на глубоком обучении, которое включает период обучения для создания того, что мы называем алгоритмом вывода. В случае AMD, хотя мы знаем, что им выдан патент, в котором алгоритм увеличения разрешения на основе глубокого обучения не относится к AMD FidelityFX Super Resolution, поскольку это не алгоритм глубокого обучения.
Это связано с тем, что графические процессоры AMD не имеют специализированных дисков для ускорения алгоритмов глубокого обучения. Как правило, это вычислительные блоки, оптимизированные для матричных операций, которые распространены в большинстве алгоритмов глубокого обучения.
Следует уточнить, что алгоритмы искусственного интеллекта могут выполняться в любом типе процессора, будь то скалярный, SIMD или матричный. Нормальным является думать, что будущая версия FidelityFX Super Resolution, несмотря на то, что AMD включает модули, предназначенные для расчета матриц, будет оптимизирована для этого типа устройств, но на данный момент мы сталкиваемся с алгоритмом, который не использует их. .
Поскольку AMD FidelityFX Super Resolution не является алгоритмом искусственного интеллекта, он не требует предварительного обучения, что означает немедленную совместимость во всех играх, но, к сожалению, этот алгоритм увеличения разрешения не только отличается от NVIDIA Deep Learning Supersampling тем, что не является алгоритмом глубокого обучения. но также не хватает темпоральности, что само по себе является проблемой с точки зрения качества изображения алгоритма.
Как работает AMD FidelityFX Super Resolution?
Как мы обсуждали в предыдущем разделе, для восстановления изображения с более высоким разрешением AMD FSR использует один кадр для работы, из которого будет создана версия с более высоким разрешением. Итак, это алгоритм загрузки разрешения, который мы называем пространственным. В конкретном случае AMD FSR он обнаруживает различные края элементов на экране и на основе этой информации восстанавливает версию изображения с более высоким разрешением, тем самым применяя алгоритмы повышения резкости, уже доступные в AMD Fidelity FX, для улучшения качества. окончательного изображения.
Однако, как мы уже упоминали, в нем отсутствует временная информация для восстановления изображения. Это очень спорно, поскольку качество полученного изображения оказывается хуже, чем у алгоритмов сглаживания, которые используют данные из предыдущих кадров для лучшей триангуляции информации о неизвестных пикселях изображения. Это привело к тому, что такие разработчики, как Metro Exodus, отказались от FSR для своей Enhaced Edition, но мы не можем игнорировать давление со стороны NVIDIA на разработчиков с целью поддержки их DLSS.
Проблема темпоральности
В отличие от Deep Learning Supersampling 2.0 и несмотря на то, что AMD FidelityFX Super Resolution является алгоритмом сверхвысокого разрешения, таким как Deep Learning Supersampling 2.0, он не принимает во внимание темпоральность. Что мы имеем в виду под этим? Что ж, к тому простому факту, что, хотя Deep Learning Supersampling 2.0 учитывает информацию из предыдущих кадров для реконструкции изображения, AMD FidelityFX Super Resolution учитывает только информацию текущего изображения, поэтому в этом отношении он больше похож на первое поколение суперсэмплинга NVIDIA Deep Learning.
При создании цветового буфера сегодня обычно сохраняются несколько одновременных буферов, которые на сленге Direct3D называются целевыми объектами рендеринга, а в случае Vulkan и OpenGL - как FBO или Framebuffer Object, которые представляют собой текстуры, которые хранят буфер полного изображения, но у них нет для хранения информации о цвете. Здесь появляется то, что мы называем буфером идентификаторов, который помещает идентификационную метку на каждый объект на экране.
Идея проста: с помощью буфера изображений, который мы называем ID Buffer, мы можем узнать, в какой позиции экрана находится пиксель каждого объекта в сцене. Это позволяет нам определять скорость каждого объекта от одной сцены к другой и знать, где находится каждый пиксель. Одно из приложений - создание промежуточных кадров в фильмах. Но в играх, где изменения от одного кадра к другому минимальны, это позволяет нам извлекать информацию из пикселей предыдущих кадров, сравнивать ее с текущим и исправлять в случае сбоя.
Однако FidelityFX Super Resolution, в отличие от DLSS 1.0, может использоваться с временными алгоритмами сглаживания, о которых мы знаем благодаря тому факту, что Epic подтвердила, что новая версия своего движка Unreal Engine 5 может сочетать свой TAA с AMD FSR. Конечно, стоимость этих временных алгоритмов должна быть добавлена к вычислительным затратам FSR.
Уровни качества в NVIDIA DLSS 2.0
В типах алгоритмов, с которыми мы имеем дело, информация для восстановления кадра зависит от входной информации, и при большем количестве пикселей, чем выше качество изображения. Другими словами, качество изображения при масштабировании от 1440p до 2160p всегда будет лучше, чем при масштабировании от 1080p до 2160p, потому что количество входных пикселей в первом случае намного выше, чем во втором.
В случае Deep Learning Supersampling 2.0 у нас есть три режима работы: один с самым высоким качеством изображения занимает 1 пиксель информации для завершения 2 пикселей, среднее качество занимает 1 пиксель для завершения 4 и тот, который дает наихудшее качество изображения, но это решается быстрее, поэтому он создает информацию в 9 пикселей из одного пикселя. Следует учитывать, что у NVIDIA есть преимущество тензорных ядер, интегрированных в ее графические процессоры RTX, в то время как у AMD этого преимущества нет.
Уровни качества в AMD Fidelity FX Super Resolution
Как и в случае NVIDIA Deep Learning Supersampling 2.0, AMD предлагает разные уровни качества для FidelityFX Super Resolution или FidelityFX Super Resolution, которых всего четыре, и вы можете увидеть их ссылки на слайде, который сопровождает эти строки. Четыре режима: ультра-качество, качество, сбалансированность и производительность. Вот почему мы оставляем вам таблицу с информацией, оставленной AMD о своем суперразрешении FidelityFX.
| режим качества | Коэффициент масштабирования | Входное разрешение для 1440p | Входное разрешение для 4K | Дифференциальный |
|---|---|---|---|---|
| Режим качества «Ультра качество» | 1.3-кратный коэффициент масштабирования для каждого измерения | Входное разрешение для 1440p 1970 x 1108 | Входное разрешение для 4K 2954 x 1662 | Дифференциал x 1.69 |
| Качественный режим «Качество» | 1.5-кратный коэффициент масштабирования для каждого измерения | Входное разрешение для 1440p 1706 x 960 | Входное разрешение для 4K 2560 x 1440 | Дифференциал x 2.25 |
| Качественный режим «Сбалансированный» | Коэффициент масштабирования 1.7 x на размер | Входное разрешение для 1440p 1506 x 847 | Входное разрешение для 4K 2259 x 1270 | Дифференциал x 2.89 |
| Качественный режим «Производительность» | 2-кратный коэффициент масштабирования для каждого измерения | Входное разрешение для 1440p 1280 x 720 | Входное разрешение для 4K 1920 x 1080 | Дифференциал x 4 |
Таким образом, AMD в настоящее время не имеет эквивалента самому быстрому режиму NVIDIA, который генерирует 9 пикселей из всего 1. Это также не режим, обеспечивающий отличное качество изображения, и служит только для достижения разрешения 8K в некоторых играх без нагрузки на видеокарту. Однако решение AMD, поскольку ему не хватает темпоральности данных, которые оно использует для восстановления изображения, в конечном итоге дает немного худшее качество изображения. Помимо достижения более низкого увеличения частоты кадров. Хотя это будет больше зависеть от характера каждой игры.
Решение о том, стоит ли FSR того или нет, полностью субъективно, но качество изображения - это не только разрешение и тот факт, что FSR хуже, чем некоторые временные алгоритмы сглаживания, и этого достаточно, чтобы многие разработчики сказали, что нет. алгоритму AMD. Которая компания Лизы Су продает как совместимую со всеми входными видеокартами, но полуправда по-прежнему является явной ложью.
AMD FidelityFX против суперсэмплинга глубокого обучения, какой из них будет иметь больше поддержки?
AMD заявляет, что ее FidelityFX Super Resolution может использоваться и реализовываться в любом из графических процессоров конкурентов, однако это утверждение имеет определенную ловушку, поскольку алгоритм, как он есть, не может быть реализован в графических процессорах NVIDIA и Intel - соответствующие изменения в форме оптимизации. в коде для конкурирующих графических процессоров.
Где подвох? Что ж, NVIDIA не добавляла эту емкость к модулям SIMD своих графических процессоров, они не поддерживают регистр SIMD в модулях CUDA, поскольку цель NVIDIA состоит в том, чтобы тензорные ядра использовались для вычислений с низкой точностью. Поэтому, если мы применим FidelityFX Super Resolution как есть и без оптимизации на графическом процессоре NVIDIA, оно будет хуже, чем на AMD, из-за того, что для этого требуется оптимизация кода для указанного графического процессора. Ключевой вопрос, который мы все должны задать себе о AMD FidelityFX Super Resolution, заключается в том, увидим ли мы его оптимизацию для различных графических архитектур или нет, полагая, что усилия должны быть предприняты не самой AMD, а разными разработчиками.
Суперсэмплинг Deep Learning от NVIDIA, несмотря на то, что он является огромным черным ящиком с точки зрения его работы, запрашивает для работы только ряд параметров, а библиотеки NVIDIA делают все волшебство, не беспокоя разработчиков. Не по этой причине Deep Learning Supersampling в версии 2.0 лучше, и мы должны учитывать соглашения, которые AMD и NVIDIA заключают с разными разработчиками.
Консоли - ключ к внедрению алгоритма AMD
Секретным оружием AMD является тот факт, что три консоли следующего поколения, две Xbox Серия и PlayStation 5, основаны на RDNA 2 и будут совместимы с FidelityFX Super Resolution. Необходимо учитывать, что на консоли, в отличие от того, что происходит на ПК, код игры обычно оптимизирован, поэтому все указывает на то, что оптимизация FidelityFX Super Resolution на консоли может принести пользу версиям для ПК.
Конечно, как мы уже комментировали ранее, это будет зависеть от интересов каждого разработчика и от того, не будет ли у них какого-либо соглашения с NVIDIA о предоставлении преимущества суперсэмплингу Deep Learning. Например, мы можем обнаружить, что консольные версии Metro Exodus и Cyberpunk 2077 используют FidelityFX Super Resolution на консоли, но не используют его на ПК из-за соглашений с NVIDIA.
