NVIDIALes algorithmes de Deep Learning Supersampling sont depuis des années l'une des choses qui AMD ne pouvait rivaliser avec une solution équivalente. L'AMD FidelityFX Super Resolution est présenté comme un rival du Deep Learning Supersampling de NVIDIA. Dans cet article, nous expliquons comment les deux architectures se comparent.
Ces dernières années, la tendance des graphismes en temps réel dans les jeux vidéo sur PC a évolué dans plusieurs directions différentes. Pour commencer, nous avons du 4K qui nécessite des bandes passantes et une puissance de calcul 4 fois supérieure à 1080p et 2.5 fois supérieure à 1440p. Ensuite, nous avons l'apparition récente du Ray Tracing qui nécessite une grande puissance de calcul afin d'amener l'éclairage des jeux à l'expression maximale. Et pour finir, nous avons le cas des taux de trame élevés pour les eSports.
Tout cela a conduit à des algorithmes qui permettent d'augmenter la résolution de sortie des jeux par rapport à la résolution native, cette dernière étant comprise comme la résolution à laquelle un GPU rendus et la résolution de sortie affichée à l'écran en termes de nombre de pixels. Le dernier ajout est l'AMD Fidelity FX Super Resolution, qui rejoint le Deep Learning Supersampling et le Checkerboard Rendering de NVIDIA en tant qu'algorithme avancé que l'interpolation pour obtenir une meilleure résolution d'image à partir d'une résolution inférieure.
Super résolution FidelityFX par rapport au suréchantillonnage Deep Learning
L'AMD Fidelity FX Super Resolution est un algorithme qui est chargé de prendre le tampon d'image à une résolution spécifique et de créer à partir de celui-ci une image égale à une résolution plus élevée et donc avec un plus grand nombre de pixels. Être le défi pour ce type d'algorithmes de connaître la valeur de couleur des nouveaux pixels.
Le FidelityFX Super Resolution dans son fonctionnement rappelle le Deep Learning Supersampling 1.9 que NVIDIA a lancé pour le jeu vidéo Remedy Control, dans le sens où il n'est pas destiné à fonctionner avec le Tensor Core qui sont exclusifs à NVIDIA, mais fonctionne plutôt avec des Unités SIMD et en particulier, il exploite la capacité d'enregistrement SIMD sur certains GPU. Cette capacité leur permet de doubler la vitesse de calcul en échange d'une réduction de la précision du même degré.
Contrairement à la solution de NVIDIA, ce n'est pas une solution propriétaire qui n'est pas documentée. AMD publie le code sous la licence ouverte MIT et il sera utilisable à la fois sur AMD et Intel et les GPU NVIDIA. Par conséquent, puisqu'il s'agit d'une licence open source, les développeurs peuvent apporter des modifications au code pour l'optimiser en fonction des particularités de chaque architecture.
Ce dernier est une arme à double tranchant, car d'une part AMD s'essuie les mains comme Ponce Pilate sur le support de FidelityFX Super Resolution dans les jeux et d'autre part il permet une plus grande optimisation que celle permise par NVIDIA avec Deep Learning Supersampling, mais en fonction sur l'implication du développeur de chaque jeu. Au lieu de cela, NVIDIA a tout un département chargé de travailler pour les différents développeurs
AMD FidelityFX Super Resolution est-il un algorithme d'IA comme le Deep Learning Supersampling ?
Le Deep Learning Supersampling, comme son nom l'indique, est un algorithme ou une série d'algorithmes, qui est basé sur le deep learning, qui implique une période de formation pour générer ce que nous appelons un algorithme d'inférence. Dans le cas d'AMD, bien que nous sachions qu'un brevet leur a été attribué où un algorithme d'augmentation de la résolution basé sur le Deep Learning n'est pas le cas d'AMD FidelityFX Super Resolution, puisqu'il ne s'agit pas d'un algorithme de Deep Learning.
En effet, les GPU AMD ne disposent pas de lecteurs spécialisés pour accélérer les algorithmes de Deep Learning. Qui sont généralement des unités de calcul optimisées pour les opérations matricielles, qui sont courantes dans la plupart des algorithmes de Deep Learning.
Il convient de préciser que les algorithmes d'intelligence artificielle peuvent être exécutés dans tout type d'unité de traitement, qu'elle soit scalaire, SIMD ou matricielle. La chose normale est de penser qu'une future version de FidelityFX Super Resolution, face au moment où AMD inclut des unités conçues pour le calcul de matrices, sera optimisée pour ce type d'unités, mais pour le moment nous sommes confrontés à un algorithme qui ne les utilise pas. .
Comme AMD FidelityFX Super Resolution n'est pas un algorithme d'intelligence artificielle, il ne nécessite pas de formation préalable, ce qui signifie une compatibilité immédiate dans tous les jeux, mais malheureusement cet algorithme pour augmenter la résolution diffère non seulement de NVIDIA Deep Learning Supersampling en n'étant pas un algorithme d'apprentissage en profondeur, mais aussi un manque de temporalité, ce qui en soi est un problème au regard de la qualité d'image de l'algorithme.
Comment fonctionne la super résolution AMD FidelityFX ?
Comme nous l'avons vu dans la section précédente, pour reconstruire une image à plus haute résolution, l'AMD FSR utilise une seule image pour fonctionner, à partir de laquelle une version à plus haute résolution sera créée. C'est donc un algorithme de téléchargement de résolution que nous appelons spatial. Dans le cas particulier de l'AMD FSR, il détecte les différents bords des éléments à l'écran et à partir de ces informations reconstitue une version plus haute résolution de l'image, appliquant ainsi des algorithmes de netteté déjà disponibles dans l'AMD Fidelity FX pour améliorer la qualité. de l'image finale.
Cependant, comme nous l'avons déjà mentionné, il manque l'information temporelle pour la reconstruction de l'image. Ceci est très controversé, car la qualité d'image obtenue s'avère inférieure aux algorithmes d'antialiasing qui utilisent les données des trames précédentes pour mieux trianguler les informations des pixels inconnus de l'image. Ce qui a conduit des développeurs comme Metro Exodus à renoncer au FSR pour leur édition améliorée, mais nous ne pouvons pas ignorer la pression de NVIDIA sur les développeurs pour qu'ils prennent en charge leur DLSS.
Le problème de la temporalité
Contrairement au Deep Learning Supersampling 2.0, et malgré le fait qu'AMD FidelityFX Super Resolution soit un algorithme de super-résolution comme le Deep Learning Supersampling 2.0, il ne prend pas en compte la temporalité. Qu'entendons-nous par là? Eh bien, au simple fait que tandis que Deep Learning Supersampling 2.0 prend en compte les informations des images précédentes pour la reconstruction d'image, FidelityFX Super Resolution d'AMD ne prend en compte que les informations de l'image actuelle, donc à cet égard, elle ressemble plus à la première génération du Deep Learning Supersampling de NVIDIA.
Lors de la génération du tampon de couleur aujourd'hui, plusieurs tampons simultanés sont généralement stockés appelés dans l'argot Direct3D en tant que cibles de rendu et dans le cas de Vulkan et OpenGL en tant que FBO ou objet Framebuffer, qui sont des textures qui stockent un tampon d'image complète, mais ils n'ont pas pour stocker les informations de couleur. C'est là qu'intervient ce que nous appelons le tampon d'identification, qui place une étiquette d'identification sur chaque objet à l'écran.
L'idée est simple, grâce à un tampon d'image que nous appelons ID Buffer, nous pouvons savoir dans quelle position d'écran se trouve le pixel de chaque objet de la scène. Cela nous permet de dériver la vitesse de chaque objet d'une scène à l'autre et de savoir où se trouve chaque pixel. Une application consiste à créer des images intermédiaires dans les films. Mais dans les jeux où les changements sont minimes d'une image à l'autre, cela nous permet de récupérer les informations des pixels des images précédentes pour les comparer avec l'actuelle et la corriger en cas de panne.
Cependant, le FidelityFX Super Resolution contrairement au DLSS 1.0 peut être utilisé avec des algorithmes d'antialiasing temporaire, que l'on sait grâce au fait qu'Epic a confirmé que la nouvelle version de son moteur, Unreal Engine 5, peut combiner son TAA avec l'AMD FSR. Bien entendu, le coût de ces algorithmes temporaires doit être ajouté au coût de calcul du FSR.
Niveaux de qualité dans NVIDIA DLSS 2.0
Dans le type d'algorithmes auxquels nous avons affaire, l'information pour reconstruire la trame dépend de l'information d'entrée, et avec un nombre de pixels plus élevé, donc une qualité d'image plus élevée. En d'autres termes, la qualité d'image de la mise à l'échelle de 1440p à 2160p sera toujours meilleure que la mise à l'échelle de 1080p à 2160p, car le nombre de pixels d'entrée est beaucoup plus élevé dans le premier cas que dans le second.
Dans le cas du Deep Learning Supersampling 2.0 nous avons trois modes de fonctionnement, celui avec la qualité d'image la plus élevée prend 1 pixel d'information pour compléter 2 pixels, la qualité moyenne prend 1 pixel pour compléter 4 et celui qui donne la pire qualité d'image, mais cela est résolu plus rapidement, ce qu'il fait, c'est créer les informations de 9 pixels au total à partir d'un pixel. Il faut prendre en compte que NVIDIA a l'avantage des Tensor Cores intégrés dans ses GPU RTX, alors qu'AMD n'a pas cet avantage.
Niveaux de qualité dans AMD Fidelity FX Super Resolution
Comme avec le Deep Learning Supersampling 2.0 de NVIDIA, AMD a différents niveaux de qualité pour FidelityFX Super Resolution ou FidelityFX Super Resolution, qui sont quatre au total et vous pouvez les voir référencés dans la diapositive qui accompagne ces lignes. Les quatre modes sont : ultra-qualité, qualité, équilibré et performance. C'est pourquoi nous vous laissons un tableau avec les informations qu'AMD a laissées sur sa FidelityFX Super Resolution.
| Mode Qualité | Facteur d'échelle | Résolution d'entrée pour 1440p | Résolution d'entrée pour 4K | Différentielle |
|---|---|---|---|---|
| Mode qualité « Ultra Qualité » | Facteur d'échelle 1.3x par dimension | Résolution d'entrée pour 1440p 1970 x 1108 | Résolution d'entrée pour 4K 2954 x 1662 | Différentiel x 1.69 |
| Mode qualité « Qualité » | Facteur d'échelle 1.5x par dimension | Résolution d'entrée pour 1440p 1706 x 960 | Résolution d'entrée pour 4K 2560 x 1440 | Différentiel x 2.25 |
| Mode qualité « Équilibré » | Facteur d'échelle 1.7 x par dimension | Résolution d'entrée pour 1440p 1506 x 847 | Résolution d'entrée pour 4K 2259 x 1270 | Différentiel x 2.89 |
| Mode qualité « Performance » | Facteur d'échelle 2x par dimension | Résolution d'entrée pour 1440p 1280 x 720 | Résolution d'entrée pour 4K 1920 x 1080 | Différentiel x 4 |
AMD n'a donc pas actuellement d'équivalent au mode le plus rapide de NVIDIA, qui génère 9 pixels à partir de seulement 1. Ce n'est pas non plus un mode qui offre une excellente qualité d'image et ne sert qu'à atteindre des résolutions 8K dans certains jeux sans stresser la carte graphique. Cependant, la solution d'AMD, faute de temporalité dans les données qu'elle utilise pour reconstruire l'image, finit par donner une qualité d'image légèrement moins bonne. En plus d'obtenir une augmentation de la fréquence d'images plus faible. Bien que cela dépende davantage de la nature de chaque jeu.
Il est complètement subjectif pour l'utilisateur de décider si le FSR en vaut la peine ou non, mais la qualité d'image n'est pas seulement la résolution et le fait que le FSR de moins bonne qualité d'image que certains algorithmes d'anticrénelage temporaire est suffisant pour que de nombreux développeurs disent non à l'algorithme AMD. Que la société de Lisa Su vend comme compatible avec toutes les cartes graphiques d'entrée, mais une demi-vérité est toujours un mensonge flagrant.
AMD FidelityFX vs Deep Learning Supersampling, lequel aura le plus de support ?
AMD déclare que sa super résolution FidelityFX peut être utilisée et implémentée dans n'importe quel GPU du concurrent, mais cette déclaration a un certain piège, car l'algorithme tel qu'il est ne peut pas être implémenté dans NVIDIA et les GPU Intel sont les changements correspondants sous la forme d'optimisations dans le code des GPU concurrents.
Où est le piège ? Eh bien, NVIDIA n'a pas ajouté cette capacité aux unités SIMD de leurs GPU, ils ne prennent pas en charge SIMD over register dans ce que sont les unités CUDA, car l'objectif de NVIDIA est que les Tensor Cores soient utilisés pour les calculs de faible précision. Donc si on applique la FidelityFX Super Resolution telle quelle et sans optimisations sur un GPU NVIDIA, ce sera pire que sur un AMD, car cela nécessite d'optimiser le code dudit GPU. La question clé que l'on doit tous se poser sur l'AMD FidelityFX Super Resolution est de savoir si on va voir ses optimisations pour les différentes architectures graphiques ou non, pensez que l'effort ne doit pas être fait par AMD lui-même, mais par différents développeurs.
Le Deep Learning Supersampling de NVIDIA, bien qu'étant une énorme boîte noire en termes de fonctionnement, ne demande qu'une série de paramètres pour fonctionner et les bibliothèques NVIDIA font toute la magie sans que les développeurs aient à s'inquiéter. Ce n'est pas pour cette raison que le Deep Learning Supersampling dans sa version 2.0 est meilleur et nous devons prendre en compte les accords qu'AMD et NVIDIA concluent avec les différents développeurs.
Les consoles sont la clé de l'adoption de l'algorithme AMD
L'arme secrète d'AMD réside dans le fait que les trois consoles de nouvelle génération, les deux Xbox Series PlayStation 5, sont basés sur RDNA 2 et seront compatibles avec FidelityFX Super Resolution. Il faut prendre en compte que sur la console et contrairement à ce qui se passe sur PC, le code du jeu est généralement optimisé, donc tout indique que les optimisations de la FidelityFX Super Resolution sur la console pourraient profiter aux versions PC.
Bien sûr, comme nous l'avons déjà commenté, cela dépendra de l'intérêt de chaque développeur et s'il n'a aucun accord avec NVIDIA pour donner un avantage au Deep Learning Supersampling. Par exemple, nous pouvons constater que les versions console de Metro Exodus et Cyberpunk 2077 utilisent la Super Résolution FidelityFX sur la console, mais qu'elles ne l'utilisent pas sur PC en raison des accords avec NVIDIA.
