FidelityFXスーパーレゾリューションとディープラーニングスーパーサンプリング

近年、PCビデオゲームのリアルタイムグラフィックスのトレンドは、いくつかの異なる方向に進んでいます。 まず、4pの4倍、1080pの2.5倍の帯域幅と計算能力を必要とする1440Kがあります。 次に、ゲームの照明を最大限に表現するために優れた計算能力を必要とするレイトレーシングが最近登場しました。 最後に、eSportsのフレームレートが高い場合があります。

これらすべてが、ネイティブゲームと比較してゲームの出力解像度を上げることを可能にするアルゴリズムにつながりました。ネイティブゲームの出力解像度は、 GPU レンダリングと、ピクセル数の観点から画面に表示される出力解像度。 最新の追加は、AMD Fidelity FXスーパーレゾリューションです。これは、NVIDIAのディープラーニングスーパーサンプリングとチェッカーボードレンダリングを補間よりも高度なアルゴリズムとして組み合わせて、低解像度の画像からより良い解像度の画像を実現します。

FidelityFXスーパーレゾリューションとディープラーニングスーパーサンプリング

AMD Fidelity FX超解像は、特定の解像度で画像バッファーを取得し、そこからより高い解像度に等しい、したがってより多くのピクセル数の画像を作成するアルゴリズムです。 新しいピクセルの色の値を知るためのこのタイプのアルゴリズムの課題です。

動作中のFidelityFXスーパーレゾリューションは、NVIDIA専用のTensor Coreで動作することを意図しておらず、従来のSIMDユニット、特に一部のGPUが持つSIMD overRegistration機能を活用します。 この機能により、精度を同程度に下げる代わりに、計算速度を1.9倍にすることができます。

NVIDIAのソリューションとは異なり、これは文書化されていない独自のソリューションではありません。 AMDはMITオープンライセンスの下でコードをリリースしており、AMDとAMDの両方で使用できるようになります インテル およびNVIDIAGPU。 したがって、これはオープンソースライセンスであるため、開発者はコードを変更して、各アーキテクチャの特殊性に合わせてコードを最適化できます。

後者は両刃の剣です。AMDはゲームでのFidelityFXスーパーレゾリューションのサポートでポンティウスピラトのように手を拭き、もう一方ではディープラーニングスーパーサンプリングでNVIDIAが許可するよりも優れた最適化を可能にしますが、各ゲームの開発者の関与について。 代わりに、NVIDIAには、さまざまな開発者のために働くことを担当する部門全体があります

AMD FidelityFXスーパーレゾリューションはディープラーニングスーパーサンプリングのようなAIアルゴリズムですか？

ディープラーニングスーパーサンプリングは、その名前が示すように、アルゴリズムまたは一連のアルゴリズムであり、ディープラーニングに基づいています。これには、推論アルゴリズムと呼ばれるものを生成するためのトレーニング期間が含まれます。 AMDの場合、ディープラーニングに基づいて解像度を上げるアルゴリズムがAMD FidelityFXスーパーレゾリューションの場合ではないという特許が割り当てられていることはわかっていますが、これはディープラーニングアルゴリズムではないためです。

これは、AMDGPUにディープラーニングアルゴリズムを高速化するための専用ドライブがないためです。 これは通常、ほとんどの深層学習アルゴリズムで一般的な行列演算用に最適化された計算単位です。

人工知能アルゴリズムは、スカラー、SIMD、マトリックスなど、あらゆるタイプの処理ユニットで実行できることを明確にする必要があります。 通常、AMDに行列の計算用に設計されたユニットが含まれている場合、FidelityFX超解像の将来のバージョンは、このタイプのユニット用に最適化されると考えられますが、現時点では、次のようなアルゴリズムに直面しています。それらを使用しません。 。

AMD FidelityFXスーパーレゾリューションは人工知能アルゴリズムではないため、事前のトレーニングは必要ありません。つまり、すべてのゲームですぐに互換性がありますが、残念ながら、解像度を上げるためのこのアルゴリズムは、ディープラーニングアルゴリズムではないという点でNVIDIAディープラーニングスーパーサンプリングとは異なります。しかし、それ自体がアルゴリズムの画質に関して問題となる一時性も欠いています。

AMD FidelityFXスーパーレゾリューションはどのように機能しますか？

前のセクションで説明したように、高解像度の画像を再構築するために、AMD FSRは単一のフレームを使用して機能し、そこから高解像度のバージョンが作成されます。 したがって、これは、空間と呼ばれる解像度アップロードアルゴリズムです。 AMD FSRの特定のケースでは、画面上の要素のさまざまなエッジを検出し、この情報から画像の高解像度バージョンを再構築します。これにより、AMD FidelityFXですでに利用可能なシャープニングアルゴリズムを適用して品質を向上させます。 最終的な画像の。

ただし、すでに述べたように、画像を再構成するための時間情報が不足しています。 得られた画質は、前のフレームのデータを利用して画像内の未知のピクセルの情報をより適切に三角測量するアンチエイリアシングアルゴリズムよりも劣っているため、これは非常に物議を醸しています。 これにより、MetroExodusのような開発者はEnhacedEditionのFSRを廃止しましたが、DLSSをサポートするように開発者に求めるNVIDIAからのプレッシャーを無視することはできません。

テンポラリティの問題

Deep Learning Supersampling 2.0とは異なり、AMD FidelityFX SuperResolutionはDeepLearning Supersampling 2.0のような超解像アルゴリズムであるにもかかわらず、一時性は考慮されていません。 これはどういう意味ですか？ ディープラーニングスーパーサンプリング2.0は画像再構成のために前のフレームからの情報を考慮に入れますが、AMDのFidelityFX超解像は現在の画像の情報のみを考慮に入れるという単純な事実に、その点でそれは第XNUMX世代のように見えますNVIDIAのディープラーニングスーパーサンプリングの概要。

今日カラーバッファを生成するとき、複数の同時バッファは通常、レンダリングターゲットとしてDirect3Dスラングに格納され、VulkanとOpenGLの場合はFBOまたはフレームバッファオブジェクトとして格納されます。これらはフルイメージのバッファを格納するテクスチャですが、色情報を保存します。 ここでIDバッファーと呼ばれるものが登場し、画面上の各オブジェクトに識別ラベルが付けられます。

アイデアは単純です。IDバッファと呼ばれる画像バッファを介して、シーン内の各オブジェクトのピクセルがどの画面位置にあるかを知ることができます。 これにより、あるシーンから別のシーンへの各オブジェクトの速度を導き出し、各ピクセルがどこにあるかを知ることができます。 XNUMXつのアプリケーションは、ムービーに中間フレームを作成することです。 ただし、あるフレームから別のフレームへの変更が最小限であるゲームでは、これにより、前のフレームのピクセルから情報を取得して現在のフレームと比較し、障害が発生した場合に修正することができます。

ただし、DLSS1.0とは異なりFidelityFXSuper Resolutionは、一時的なアンチエイリアスアルゴリズムで使用できます。これは、Epicがエンジンの新しいバージョンであるUnreal Engine5がTAAとAMDFSRを組み合わせることができることを確認したおかげです。 もちろん、これらの一時的なアルゴリズムのコストは、FSRの計算コストに追加する必要があります。

NVIDIA DLSS2.0の品質レベル

私たちが扱っているアルゴリズムのタイプでは、フレームを再構築するための情報は入力情報に依存し、ピクセル数が多いほど画質が高くなります。 言い換えると、1440pから2160pへのスケーリングの画質は、1080pから2160pへのスケーリングよりも常に優れています。これは、最初のケースの方がXNUMX番目のケースよりも入力ピクセル数がはるかに多いためです。

Deep Learning Supersampling 2.0の場合、1つの動作モードがあります。最高の画質の2つは1ピクセルを完了するのに4ピクセルの情報を必要とし、中程度の品質は9を完了するのにXNUMXピクセルを必要とし、もうXNUMXつは最低の画質を提供します。しかし、それが行うことは、XNUMXピクセルから合計XNUMXピクセルの情報を作成することでより速く解決されます。 NVIDIAにはRTXGPUに統合されたTensorCoreの利点がありますが、AMDにはこの利点がないことを考慮に入れる必要があります。

AMD FidelityFX超解像技術の品質レベル

NVIDIAのディープラーニングスーパーサンプリング2.0と同様に、AMDにはFidelityFXスーパーレゾリューションまたはFidelityFXスーパーレゾリューションの品質レベルが異なります。これらは合計XNUMXつであり、これらの行に付属するスライドで参照されています。 XNUMXつのモードは次のとおりです。 超高品質、高品質、バランスの取れた、そしてパフォーマンス。 そのため、AMDがFidelityFX超解像について残した情報を表に残しておきます。

そのため、AMDには現在NVIDIAの最速モードに相当するものがありません。NVIDIAの最速モードは9つだけから1ピクセルを生成します。また、優れた画質を提供し、グラフィックカードに負担をかけずに一部のゲームで8Kの解像度を達成するだけのモードでもありません。 ただし、AMDのソリューションは、画像の再構築に使用するデータに一時性がないため、最終的に画像の品質がわずかに低下します。 より低いフレームレートの増加を達成することに加えて。 それは各ゲームの性質にもっと依存しますが。

FSRが価値があるかどうかをユーザーが判断するのは完全に主観的ですが、画質は解像度だけでなく、一時的なアンチエイリアスアルゴリズムよりも画質が悪いFSRで十分であるため、多くの開発者はそうは言わないでしょう。 AMDアルゴリズムに。 どのリサ・スーの会社がすべての入力グラフィックカードと互換性があるとして販売していますが、半端な真実はまだ露骨な嘘です。

AMDFidelityFXとディープラーニングスーパーサンプリングのどちらがより多くのサポートを提供しますか？

AMDは、FidelityFX超解像は競合他社のGPUのいずれでも使用および実装できると述べていますが、NVIDIAおよびIntel GPUで実装できないアルゴリズムは最適化の形で対応する変更であるため、このステートメントには特定のトラップがあります競争力のあるGPUのコードで。

キャッチはどこにありますか？ NVIDIAは、GPUのSIMDユニットにその容量を追加しませんでした。NVIDIAの目的は、テンソルコアを低精度の計算に使用することであるため、CUDAユニットでのSIMDオーバーレジスタをサポートしていません。 したがって、NVIDIA GPUで最適化を行わずにFidelityFX超解像をそのまま適用すると、GPUのコードを最適化する必要があるため、AMDよりも悪くなります。 AMD FidelityFX超解像について私たち全員が自問すべき重要な質問は、さまざまなグラフィックアーキテクチャの最適化を確認するかどうかです。AMD自体ではなく、さまざまな開発者が努力する必要があると考えてください。

NVIDIAのディープラーニングスーパーサンプリングは、その操作の点で巨大なブラックボックスであるにもかかわらず、機能する一連のパラメーターを要求するだけであり、NVIDIAライブラリは開発者が心配することなくすべての魔法を実行します。 この理由ではなく、バージョン2.0のディープラーニングスーパーサンプリングの方が優れており、AMDとNVIDIAの両方が異なる開発者と締結している合意を考慮に入れる必要があります。

コンソールはAMDアルゴリズムを採用するための鍵です

AMDの秘密兵器は、XNUMXつの次世代コンソール、XNUMXつが 携帯 シリーズ PlayStation 5、RDNA 2に基づいており、FidelityFX超解像と互換性があります。 コンソールでは、PCで行われることとは異なり、ゲームコードは通常最適化されているため、コンソールでのFidelityFX超解像の最適化がPCバージョンに役立つ可能性があることをすべてが示していることを考慮に入れる必要があります。

もちろん、以前にコメントしたように、これは各開発者の関心と、ディープラーニングスーパーサンプリングに利点を与えるためにNVIDIAと何らかの合意がないかどうかによって異なります。 たとえば、MetroExodusとCyber​​punk2077のコンソールバージョンはコンソールでFidelityFXSuper Resolutionを使用していますが、NVIDIAとの契約により、PCでは使用していないことがわかります。