FidelityFX Super Resolution vs Deep Learning Supersampling

De siste årene har trenden for sanntidsgrafikk i PC-videospill beveget seg i flere forskjellige retninger. Til å begynne med har vi 4K som krever båndbredder og datakraft 4 ganger høyere enn 1080p og 2.5 ganger høyere enn 1440p. Så har vi det siste utseendet til Ray Tracing som krever stor datakraft for å få belysningen til spill maksimalt. Og for å fullføre har vi høye bildefrekvenser for eSports.

Alt dette har ført til algoritmer som tillater å øke utgangsoppløsningen til spillene i forhold til det opprinnelige, sistnevnte blir forstått som oppløsningen der en GPU gjengir og utgangsoppløsningen som vises på skjermen når det gjelder antall piksler. Det siste tilskuddet er AMD Fidelity FX Super Resolution, som slutter seg til NVIDIAs Deep Learning Supersampling og Checkerboard Rendering som en avansert algoritme enn interpolering for å oppnå et bedre oppløsningsbilde fra en lavere oppløsning.

FidelityFX Super Resolution versus Deep Learning supersampling

AMD Fidelity FX Super Resolution er en algoritme som er ansvarlig for å ta bildebufferen med en bestemt oppløsning og lage et bilde som tilsvarer en høyere oppløsning og derfor med et større antall piksler. Å være utfordringen for denne typen algoritmer å kjenne fargeverdien til de nye pikslene.

FidelityFX Super Resolution i driften minner om Deep Learning Supersampling 1.9 som NVIDIA lanserte for Remedy Control-videospillet, i den forstand at det ikke er ment å jobbe med Tensor Core som er eksklusivt for NVIDIA, men snarere fungerer med konvensjonelle SIMD-enheter, og spesielt den utnytter SIMD over registreringsfunksjon som noen GPUer har. Denne muligheten lar dem doble beregningshastigheten i bytte for å redusere presisjonen med samme grad.

I motsetning til NVIDIAs løsning er det ikke en proprietær løsning som ikke er dokumentert. AMD frigjør koden under MIT åpen lisens, og den kan brukes både på AMD og Intel og NVIDIA GPUer. Derfor, siden det er en åpen kildekode-lisens, kan utviklere gjøre endringer i koden for å optimalisere den til det spesielle ved hver arkitektur.

Sistnevnte er et tveegget sverd, fordi på den ene siden AMD tørker hendene som Pontius Pilate på støtte fra FidelityFX Super Resolution i spill, og på den andre gir det større optimalisering enn det som er tillatt av NVIDIA med Deep Learning Supersampling, men avhengig av om involvering av utvikleren av hvert spill. I stedet har NVIDIA en hel avdeling som har ansvaret for å jobbe for de forskjellige utviklerne

Er AMD FidelityFX Super Resolution en AI-algoritme som Deep Learning Supersampling?

Deep Learning Supersampling, som navnet sier, er en algoritme eller serie algoritmer, som er basert på deep learning, som innebærer en treningsperiode for å generere det vi kaller en inferensalgoritme. I tilfelle AMD, selv om vi vet at et patent tildelt dem der en algoritme for å øke oppløsningen basert på Deep Learning ikke er tilfellet med AMD FidelityFX Super Resolution, siden det ikke er en Deep Learning-algoritme.

Dette er fordi AMD GPUer ikke har spesialiserte stasjoner for å akselerere Deep Learning-algoritmer. Som generelt er beregningsenheter optimalisert for matriseoperasjoner, som er vanlige i de fleste Deep Learning-algoritmer.

Det bør avklares at kunstig intelligensalgoritmer kan kjøres i alle typer prosesseringsenheter, det være seg skalar, SIMD eller matrise. Det normale er å tenke at en fremtidig versjon av FidelityFX Super Resolution, i møte med når AMD inkluderer enheter designet for beregning av matriser, vil være optimalisert for denne typen enheter, men for øyeblikket står vi overfor en algoritme som bruker dem ikke. .

Siden AMD FidelityFX Super Resolution ikke er en kunstig intelligensalgoritme, trenger den ikke tidligere trening, noe som betyr umiddelbar kompatibilitet i alle spill, men dessverre skiller denne algoritmen for å øke oppløsningen seg ikke bare fra NVIDIA Deep Learning Supersampling ved ikke å være en dyplæringsalgoritme, men også mangler tidsmessighet, som i seg selv er et problem med hensyn til algoritmens bildekvalitet.

Hvordan fungerer AMD FidelityFX Super Resolution?

Som vi diskuterte i forrige avsnitt, for å gjenoppbygge et bilde med høyere oppløsning, tar AMD FSR en enkelt ramme for å fungere, hvorfra en høyere oppløsningsversjon vil bli opprettet. Så det er en oppløsningsopplastingsalgoritme som vi kaller romlig. I det spesifikke tilfellet med AMD FSR, oppdager den de forskjellige kantene på elementene på skjermen, og fra denne informasjonen rekonstrueres en høyere oppløsningsversjon av bildet, og bruker derved skjerpingsalgoritmer som allerede er tilgjengelige i AMD Fidelity FX for å forbedre kvaliteten. av det endelige bildet.

Imidlertid, som vi allerede har nevnt, mangler den tidsmessig informasjon for rekonstruksjon av bildet. Dette er veldig kontroversielt, siden bildekvaliteten som oppnås viser seg å være dårligere enn antialiaseringsalgoritmer som bruker data fra tidligere rammer for å bedre triangulere informasjonen til de ukjente pikslene i bildet. Noe som har ført til at utviklere som Metro Exodus dispenserer med FSR for deres Enhaced Edition, men vi kan ikke se bort fra presset fra NVIDIA på utviklere om å støtte deres DLSS.

Problemet med temporalitet

I motsetning til Deep Learning Supersampling 2.0, og til tross for at AMD FidelityFX Super Resolution er en superoppløsningsalgoritme som Deep Learning Supersampling 2.0, tar det ikke hensyn til temporalitet. Hva mener vi med dette? Vel, til det enkle faktum at mens Deep Learning Supersampling 2.0 tar hensyn til informasjonen fra tidligere rammer for bildekonstruksjon, tar AMDs FidelityFX Super Resolution bare hensyn til informasjonen til det nåværende bildet, så i den forbindelse ser det mer ut som den første generasjonen av NVIDIAs Deep Learning Supersampling.

Når vi genererer fargebufferen i dag, lagres vanligvis flere samtidige buffere kalt Direct3D slang som Render Targets og i tilfelle Vulkan og OpenGL som FBO eller Framebuffer Object, som er teksturer som lagrer en buffer med fullbilde, men de har for å lagre fargeinformasjonen. Det er her det vi kaller ID Buffer kommer inn, som setter en identifikasjonsetikett på hvert objekt på skjermen.

Ideen er enkel, gjennom en bildebuffer som vi kaller ID Buffer kan vi vite i hvilken skjermposisjon pikselet til hvert objekt i scenen er. Dette lar oss utlede hastigheten til hvert objekt fra en scene til en annen og å vite hvor hver piksel er plassert. En applikasjon er å lage mellombilder i filmer. Men i spill der endringene er minimale fra en ramme til en annen, tillater dette oss å hente informasjonen fra pikslene i forrige rammer for å sammenligne den med den nåværende og korrigere den hvis det oppstår feil.

Imidlertid kan FidelityFX Super Resolution i motsetning til DLSS 1.0 brukes med midlertidige antialiasing-algoritmer, noe vi vet takket være at Epic har bekreftet at den nye versjonen av motoren, Unreal Engine 5, kan kombinere TAA med AMD FSR. Selvfølgelig må kostnadene for disse midlertidige algoritmene legges til beregningskostnaden for FSR.

Kvalitetsnivåer i NVIDIA DLSS 2.0

I den typen algoritmer som vi har å gjøre med, avhenger informasjonen for å rekonstruere rammen av inngangsinformasjonen, og med et høyere antall piksler, deretter høyere bildekvalitet. Med andre ord vil bildekvaliteten til skalering fra 1440p til 2160p alltid være bedre enn skalering fra 1080p til 2160p, fordi antallet inngangspiksler er mye høyere i det første tilfellet enn i det andre.

Når det gjelder Deep Learning Supersampling 2.0, har vi tre driftsmodi, den med høyest bildekvalitet tar 1 piksel informasjon for å fullføre 2 piksler, middels kvalitet tar 1 piksel for å fullføre 4 og den som gir den verste bildekvaliteten, men det løses raskere. Det den gjør er å lage informasjonen på 9 piksler totalt fra en piksel. Det må tas i betraktning at NVIDIA har fordelen med Tensor Cores integrert i RTX GPU-ene, mens AMD ikke har denne fordelen.

Kvalitetsnivåer i AMD Fidelity FX Super Resolution

Som med NVIDIAs Deep Learning Supersampling 2.0, har AMD forskjellige kvalitetsnivåer for FidelityFX Super Resolution eller FidelityFX Super Resolution, som er totalt fire, og du kan se dem referert i lysbildet som følger med disse linjene. De fire modusene er: ultra-kvalitet, kvalitet, balansert og ytelse. Derfor gir vi deg en tabell med informasjonen som AMD har lagt igjen om FidelityFX Super Resolution.

Så AMD har foreløpig ikke noe som tilsvarer NVIDIAs raskeste modus, som genererer 9 piksler fra bare 1. Det er heller ikke en modus som gir god bildekvalitet og kun tjener til å oppnå 8K oppløsninger i noen spill uten å stresse grafikkortet. AMDs løsning, da den mangler tidsmessighet i dataene den bruker til å rekonstruere bildet, ender imidlertid opp med å gi en litt dårligere bildekvalitet. I tillegg til å oppnå en lavere økning i bildefrekvens. Selv om det vil avhenge mer av naturen til hvert spill.

Det er helt subjektivt for brukeren å bestemme om FSR er verdt det eller ikke, men bildekvaliteten er ikke bare oppløsningen og det faktum at FSR med dårligere bildekvalitet enn noen midlertidige antialiasing-algoritmer er nok for mange utviklere å si ikke til AMD-algoritmen. Hvilket Lisa Su-selskap selger som kompatibelt med alle grafikkort, men en halv sannhet er fortsatt en åpenbar løgn.

AMD FidelityFX vs Deep Learning Supersampling, hvilken vil ha mer støtte?

AMD uttaler at FidelityFX Super-oppløsningen kan brukes og implementeres i noen av konkurrentens GPUer, men denne uttalelsen har en viss felle, siden algoritmen slik den er, ikke kan implementeres i NVIDIA og Intel GPUer, er de tilsvarende endringene i form av optimaliseringer. i koden for konkurransedyktige GPUer.

Hvor er fangsten? Vel, NVIDIA la ikke til kapasiteten til SIMD-enhetene til deres GPUer, de støtter ikke SIMD over register i hva som er CUDA-enhetene, siden målet med NVIDIA er at Tensor Cores brukes til beregninger med lav presisjon. Så hvis vi bruker FidelityFX Super Resolution som den er og uten optimaliseringer på en NVIDIA GPU, vil den være verre enn på en AMD, på grunn av at det krever optimalisering av koden for nevnte GPU. Nøkkelspørsmålet som vi alle burde stille oss selv om AMD FidelityFX Super Resolution, er om vi skal se optimaliseringene for de forskjellige grafiske arkitekturer eller ikke, tro at innsatsen ikke må gjøres av AMD selv, men av forskjellige utviklere.

Deep Learning Supersampling fra NVIDIA til tross for at den er en enorm svart boks når det gjelder drift, ber bare om en rekke parametere som skal fungere, og NVIDIA-bibliotekene gjør all magien uten at utviklerne trenger å bekymre seg. Ikke av denne grunn er Deep Learning Supersampling i sin versjon 2.0 bedre, og vi må ta hensyn til avtalene som både AMD og NVIDIA inngår med de forskjellige utviklerne.

Konsoller er nøkkelen til adopsjon av AMD-algoritmen

AMDs hemmelige våpen er det faktum at de tre neste generasjons konsoller, de to Xbox Serier og PlayStation 5, er basert på RDNA 2 og vil være kompatibel med FidelityFX Super Resolution. Det må tas i betraktning at på konsollen og i motsetning til hva som skjer på PC-en, er spillkoden vanligvis optimalisert, så alt indikerer at optimaliseringene av FidelityFX Super Resolution på konsollen kan være til fordel for PC-versjonene.

Som vi har kommentert tidligere, vil dette selvfølgelig avhenge av interessene til hver utvikler, og hvis de ikke har noen form for avtale med NVIDIA om å gi Deep Learning Supersampling en fordel. For eksempel kan vi finne at konsollversjonene av Metro Exodus og Cyberpunk 2077 bruker FidelityFX Super Resolution på konsollen, men at de ikke bruker den på PC på grunn av avtalene med NVIDIA.