FidelityFX Super opløsning vs Deep Learning Supersampling

I de senere år har tendensen for realtidsgrafik i pc-videospil bevæget sig i flere forskellige retninger. Til at begynde med har vi 4K, der kræver båndbredder og computerkraft 4 gange højere end 1080p og 2.5 gange højere end 1440p. Så har vi det nylige udseende af Ray Tracing, der kræver stor computerkraft for at bringe belysningen af ​​spil til det maksimale udtryk. Og til sidst har vi tilfældet med høje billedhastigheder for eSports.

Alt dette har ført til algoritmer, der giver mulighed for at øge outputopløsningen for spillene i forhold til den oprindelige, idet sidstnævnte forstås som den opløsning, hvor en GPU gengives og den outputopløsning, der vises på skærmen med hensyn til dens antal pixel. Den seneste tilføjelse er AMD Fidelity FX Super Resolution, som slutter sig til NVIDIAs Deep Learning Supersampling og Checkerboard Rendering som en avanceret algoritme end interpolering for at opnå et bedre opløsningbillede fra en lavere opløsning.

FidelityFX Super opløsning versus Deep Learning supersampling

AMD Fidelity FX Super Resolution er en algoritme, der er ansvarlig for at tage billedbufferen med en bestemt opløsning og skabe et billede der svarer til en højere opløsning og derfor med et større antal pixels. At være udfordringen for denne type algoritmer at kende farveværdien af ​​de nye pixels.

FidelityFX Super Resolution i sin drift minder om Deep Learning Supersampling 1.9, som NVIDIA lancerede til Remedy Control-videospillet, i den forstand at det ikke er beregnet til at arbejde med Tensor Core, der er eksklusive for NVIDIA, men snarere fungerer med konventionelle SIMD-enheder, og specifikt udnytter den SIMD over registreringsfunktion, som nogle GPU'er har. Denne evne giver dem mulighed for at fordoble beregningshastigheden til gengæld for at reducere præcisionen med samme grad.

I modsætning til NVIDIAs løsning er det ikke en proprietær løsning, der ikke er dokumenteret. AMD frigiver koden under den åbne MIT-licens, og den kan bruges på både AMD og Intel og NVIDIA GPU'er. Derfor, da det er en open source-licens, kan udviklere foretage ændringer i koden for at optimere den til de særlige forhold i hver arkitektur.

Sidstnævnte er et dobbeltkantet sværd, fordi på den ene side AMD tørrer sine hænder som Pontius Pilate på støtte fra FidelityFX Super Resolution i spil og på den anden side giver det større optimering end det, der er tilladt af NVIDIA med Deep Learning Supersampling, men afhængigt om involvering af udvikleren af ​​hvert spil. I stedet har NVIDIA en hel afdeling med ansvar for at arbejde for de forskellige udviklere

Er AMD FidelityFX Super Resolution en AI-algoritme som Deep Learning Supersampling?

Deep Learning Supersampling, som navnet siger, er en algoritme eller række algoritmer, der er baseret på dyb læring, som involverer en træningsperiode for at generere det, vi kalder en inferensalgoritme. I tilfælde af AMD, selvom vi ved, at et patent er tildelt dem, hvor en algoritme til at øge opløsning baseret på Deep Learning ikke er tilfældet med AMD FidelityFX Super Resolution, da det ikke er en Deep Learning-algoritme.

Dette skyldes, at AMD GPU'er ikke har specialiserede drev, der kan accelerere Deep Learning-algoritmer. Som generelt er beregningsenheder optimeret til matrixoperationer, som er almindelige i de fleste Deep Learning-algoritmer.

Det bør præciseres, at kunstig intelligensalgoritmer kan udføres i enhver form for behandlingsenhed, det være sig skalær, SIMD eller matrix. Den normale ting er at tro, at en fremtidig version af FidelityFX Super Resolution, i lyset af når AMD inkluderer enheder designet til beregning af matricer, vil blive optimeret til denne type enheder, men for øjeblikket står vi over for en algoritme, der bruger dem ikke. .

Da AMD FidelityFX Super Resolution ikke er en kunstig intelligensalgoritme, behøver den ikke forudgående træning, hvilket betyder øjeblikkelig kompatibilitet i alle spil, men desværre adskiller denne algoritme til at øge opløsning sig ikke kun fra NVIDIA Deep Learning Supersampling ved ikke at være en dyb læringsalgoritme, men også mangler tidsmæssighed, hvilket i sig selv er et problem med hensyn til algoritmens billedkvalitet.

Hvordan fungerer AMD FidelityFX Super Resolution?

Som vi diskuterede i det foregående afsnit, for at genopbygge et billede med højere opløsning tager AMD FSR en enkelt ramme til at fungere, hvorfra der oprettes en version med højere opløsning. Så det er en algoritme til opløsning af opløsning, som vi kalder rumlig. I det specifikke tilfælde af AMD FSR registrerer den de forskellige kanter på elementerne på skærmen og fra denne information rekonstrueres en version med højere opløsning af billedet og anvender derved skarphedsalgoritmer, der allerede er tilgængelige i AMD Fidelity FX for at forbedre kvaliteten. af det endelige billede.

Som vi allerede har nævnt, mangler den imidlertid den tidsmæssige information til rekonstruktion af billedet. Dette er meget kontroversielt, da den opnåede billedkvalitet viser sig at være ringere end antialiaseringsalgoritmer, der bruger data fra tidligere rammer for bedre at triangulere informationen om de ukendte pixels i billedet. Hvilket har ført til, at udviklere som Metro Exodus dispenserer med FSR til deres Enhaced Edition, men vi kan ikke ignorere presset fra NVIDIA på udviklere om at støtte deres DLSS.

Problemet med tidsmæssighed

I modsætning til Deep Learning Supersampling 2.0, og på trods af at AMD FidelityFX Super Resolution er en superopløsningsalgoritme som Deep Learning Supersampling 2.0, tager den ikke hensyn til temporalitet. Hvad mener vi med dette? Til det enkle faktum, at mens Deep Learning Supersampling 2.0 tager hensyn til oplysningerne fra tidligere rammer til billedrekonstruktion, tager AMDs FidelityFX Super Resolution kun hensyn til informationen om det aktuelle billede, så i den henseende ligner det mere den første generation af NVIDIAs Deep Learning Supersampling.

Når der genereres farvebuffer i dag, gemmes flere samtidige buffere normalt kaldet i Direct3D-slang som gengivelsesmål og i tilfælde af Vulkan og OpenGL som FBO eller Framebuffer Object, som er strukturer, der gemmer en buffer med fuldt billede, men de har ikke for at gemme farveoplysningerne. Det er her, hvad vi kalder ID Buffer kommer ind, som sætter en identifikationsetiket på hvert objekt på skærmen.

Ideen er enkel, gennem en billedbuffer, som vi kalder ID Buffer, kan vi vide, i hvilken skærmposition pixel for hvert objekt i scenen er. Dette giver os mulighed for at udlede hastigheden på hvert objekt fra en scene til en anden og at vide, hvor hver pixel er placeret. En applikation er at oprette mellemrammer i film. Men i spil, hvor ændringerne er minimale fra en ramme til en anden, giver dette os mulighed for at hente oplysningerne fra pixlerne fra tidligere rammer for at sammenligne det med den aktuelle og rette det, hvis der er nogen fejl.

FidelityFX Super Resolution i modsætning til DLSS 1.0 kan dog bruges med midlertidige antialiasing-algoritmer, hvilket vi ved takket være det faktum, at Epic har bekræftet, at den nye version af sin motor, Unreal Engine 5, kan kombinere sin TAA med AMD FSR. Naturligvis skal omkostningerne ved disse midlertidige algoritmer føjes til beregningsomkostningerne ved FSR.

Kvalitetsniveauer i NVIDIA DLSS 2.0

I den type algoritmer, vi har at gøre med, afhænger informationen til at rekonstruere rammen af ​​inputinformationen og med et højere antal pixels og derefter højere billedkvalitet. Med andre ord vil billedkvaliteten for skalering fra 1440p til 2160p altid være bedre end skalering fra 1080p til 2160p, fordi antallet af inputpixels er meget højere i det første tilfælde end i det andet.

I tilfælde af Deep Learning Supersampling 2.0 har vi tre driftstilstande, den med den højeste billedkvalitet tager 1 pixel information for at fuldføre 2 pixels, den mellemstore kvalitet tager 1 pixel for at færdiggøre 4 og den der giver den dårligste billedkvalitet, men det løses hurtigere, hvad det gør er at oprette informationen på i alt 9 pixels fra en pixel. Det skal tages i betragtning, at NVIDIA har fordelen ved, at Tensor Cores er integreret i sine RTX GPU'er, mens AMD ikke har denne fordel.

Kvalitetsniveauer i AMD Fidelity FX Super opløsning

Som med NVIDIAs Deep Learning Supersampling 2.0 har AMD forskellige kvalitetsniveauer for FidelityFX Super Resolution eller FidelityFX Super Resolution, som er fire i alt, og du kan se dem refereret i diaset, der ledsager disse linjer. De fire tilstande er: ultra-kvalitet, kvalitet, afbalanceret og ydeevne. Derfor efterlader vi dig et bord med de oplysninger, som AMD har efterladt om sin FidelityFX Super-opløsning.

Så AMD har i øjeblikket ikke noget, der svarer til NVIDIAs hurtigste tilstand, som genererer 9 pixels fra kun 1. Det er heller ikke en tilstand, der giver god billedkvalitet og kun tjener til at opnå 8K-opløsninger i nogle spil uden at understrege grafikkortet. Men AMDs løsning, da den mangler tidsmæssighed i de data, den bruger til at rekonstruere billedet, ender med at give en lidt dårligere billedkvalitet. Ud over at opnå en lavere stigning i billedhastighed. Selvom det afhænger mere af arten af ​​hvert spil.

Det er helt subjektivt for brugeren at beslutte, om FSR er det værd eller ej, men billedkvaliteten er ikke kun opløsningen og det faktum, at FSR med dårligere billedkvalitet end nogle midlertidige antialiasing-algoritmer er nok for mange udviklere at sige ikke til AMD-algoritmen. Hvilket Lisa Su's firma sælger som kompatibelt med alle input-grafikkort, men en halv sandhed er stadig en åbenlys løgn.

AMD FidelityFX vs Deep Learning Supersampling, hvilken vil have mere support?

AMD siger, at dens FidelityFX Super-opløsning kan bruges og implementeres i nogen af ​​konkurrentens GPU'er, men denne erklæring har en vis fælde, da algoritmen, som den ikke er, kan implementeres i NVIDIA og Intel GPU'er er de tilsvarende ændringer i form af optimeringer i koden til konkurrencedygtige GPU'er.

Hvor er fangsten? Nå, NVIDIA tilføjede ikke den kapacitet til SIMD-enhederne på deres GPU'er, de understøtter ikke SIMD over register i hvad der er CUDA-enhederne, da formålet med NVIDIA er, at Tensor Cores bruges til beregningerne med lav præcision. Så hvis vi anvender FidelityFX Super-opløsning, som den er og uden optimeringer på en NVIDIA GPU, vil den være værre end på en AMD, fordi det kræver optimering af koden til den nævnte GPU. Det nøglespørgsmål, som vi alle skal stille os selv om AMD FidelityFX Super Resolution, er, om vi vil se dens optimeringer for de forskellige grafiske arkitekturer eller ej, tænk at indsatsen ikke skal gøres af AMD selv, men af ​​forskellige udviklere.

Deep Learning Supersampling fra NVIDIA til trods for at være en enorm sort boks med hensyn til dens drift, beder kun om en række parametre til at fungere, og NVIDIA-bibliotekerne gør al den magi uden udviklerne at skulle bekymre sig. Ikke af denne grund er Deep Learning Supersampling i sin version 2.0 bedre, og vi er nødt til at tage højde for de aftaler, som både AMD og NVIDIA indgår med de forskellige udviklere.

Konsoller er nøglen til vedtagelse af AMD-algoritmen

AMDs hemmelige våben er det faktum, at de tre næste generations konsoller, de to Xbox Serier og PlayStation 5, er baseret på RDNA 2 og vil være kompatibel med FidelityFX Super Resolution. Det skal tages i betragtning, at på konsollen og i modsætning til hvad der sker på pc'en, er spilkoden normalt optimeret, så alt indikerer, at optimeringerne af FidelityFX Super Resolution på konsollen kan gavne pc-versionerne.

Som vi har kommenteret før, vil dette naturligvis afhænge af hver udviklers interesse, og hvis de ikke har nogen form for aftale med NVIDIA om at give Deep Learning Supersampling en fordel. For eksempel kan vi finde ud af, at konsolversionerne af Metro Exodus og Cyberpunk 2077 bruger FidelityFX Super Resolution på konsollen, men at de ikke bruger den på pc på grund af aftalerne med NVIDIA.