FidelityFX Super Resolution vs Deep Learning Supersampling

Under de senaste åren har trenden för realtidsgrafik i datorspel gått i flera olika riktningar. Till att börja med har vi 4K som kräver bandbredd och datorkraft 4 gånger högre än 1080p och 2.5 gånger högre än 1440p. Sedan har vi det senaste utseendet på Ray Tracing som kräver stor datorkraft för att få belysningen av spel till maximalt uttryck. Och för att avsluta har vi fallet med höga bildhastigheter för eSports.

Allt detta har lett till algoritmer som möjliggör ökad utgångsupplösning för spelen i förhållande till den inhemska, den senare uppfattas som upplösningen vid vilken en GPU renderar och den utgångsupplösning som visas på skärmen när det gäller antalet pixlar. Det senaste tillskottet är AMD Fidelity FX Super Resolution, som går med i NVIDIAs Deep Learning Supersampling och Checkerboard Rendering som en avancerad algoritm än interpolering för att uppnå en bättre upplösning från en lägre upplösning.

FidelityFX Superupplösning kontra supersampling med Deep Learning

AMD Fidelity FX Super Resolution är en algoritm som ansvarar för att ta bildbufferten med en specifik upplösning och skapa en bild som är lika med en högre upplösning och därmed med ett större antal pixlar. Att vara en utmaning för denna typ av algoritmer att känna till färgvärdet på de nya pixlarna.

FidelityFX Super Resolution i sin verksamhet påminner om Deep Learning Supersampling 1.9 som NVIDIA lanserade för Remedy Control-videospelet, i den meningen att det inte är avsett att arbeta med Tensor Core som är exklusiva för NVIDIA, utan snarare fungerar med konventionella SIMD-enheter och specifikt utnyttjar den SIMD-funktionen över registrering som vissa GPU: er har. Denna förmåga gör det möjligt för dem att fördubbla beräkningshastigheten i utbyte mot att minska precisionen med samma grad.

I motsats till NVIDIA: s lösning är det inte en egen lösning som inte är dokumenterad. AMD släpper koden under den öppna MIT-licensen och den kan användas på både AMD och Intel och NVIDIA GPU: er. Eftersom det är en öppen källkodslicens kan utvecklare därför göra ändringar i koden för att optimera den för varje arkitekturs särdrag.

Det senare är ett tveeggat svärd, för å ena sidan torkar AMD sina händer som Pontius Pilate med stöd av FidelityFX Super Resolution i spel och å andra sidan möjliggör det större optimering än det som tillåts av NVIDIA med Deep Learning Supersampling, men beroende på om medverkan från utvecklaren av varje spel. Istället har NVIDIA en hel avdelning som ansvarar för att arbeta för de olika utvecklarna

Är AMD FidelityFX Super Resolution en AI-algoritm som Deep Learning Supersampling?

Deep Learning Supersampling, som namnet säger, är en algoritm eller serie algoritmer, som är baserad på deep learning, vilket innebär en träningsperiod för att generera det vi kallar en inferensalgoritm. När det gäller AMD, även om vi vet att ett patent tilldelats dem där en algoritm för att öka upplösningen baserat på Deep Learning inte är fallet med AMD FidelityFX Super Resolution, eftersom det inte är en Deep Learning-algoritm.

Detta beror på att AMD-grafikprocessorer inte har specialenheter för att påskynda Deep Learning-algoritmer. Vilka är i allmänhet beräkningsenheter optimerade för matrisoperationer, som är vanliga i de flesta Deep Learning-algoritmer.

Det bör klargöras att artificiell intelligensalgoritmer kan exekveras i vilken typ av bearbetningsenhet som helst, vare sig det är skalärt, SIMD eller matris. Det normala är att tänka att en framtida version av FidelityFX Super Resolution, när AMD innehåller enheter som är utformade för beräkning av matriser, kommer att optimeras för denna typ av enheter, men för tillfället står vi inför en algoritm som använder dem inte. .

Eftersom AMD FidelityFX Super Resolution inte är en artificiell intelligensalgoritm behöver den inte träna tidigare, vilket innebär omedelbar kompatibilitet i alla spel, men tyvärr skiljer sig denna algoritm för att öka upplösningen inte bara från NVIDIA Deep Learning Supersampling genom att inte vara en deep learning-algoritm, men också saknar temporalitet, vilket i sig är ett problem med avseende på algoritmens bildkvalitet.

Hur fungerar AMD FidelityFX Super Resolution?

Som vi diskuterade i föregående avsnitt, för att bygga om en bild med högre upplösning, tar AMD FSR en enda ram för att fungera, från vilken en version med högre upplösning kommer att skapas. Så det är en upplösningsalgoritm som vi kallar rumslig. I det specifika fallet med AMD FSR detekterar den olika kanter på elementen på skärmen och från denna information rekonstrueras en version med högre upplösning av bilden och därigenom tillämpas skärpningsalgoritmer som redan finns i AMD Fidelity FX för att förbättra kvaliteten. av den slutliga bilden.

Men som vi redan har nämnt saknar den tidsinformation för rekonstruktionen av bilden. Detta är mycket kontroversiellt eftersom den erhållna bildkvaliteten är sämre än antialiaseringsalgoritmer som använder data från tidigare ramar för att bättre triangulera informationen om de okända pixlarna i bilden. Vilket har lett till att utvecklare som Metro Exodus avstår från FSR för deras Enhaced Edition, men vi kan inte ignorera trycket från NVIDIA på utvecklare att stödja deras DLSS.

Problemet med temporitet

Till skillnad från Deep Learning Supersampling 2.0, och trots att AMD FidelityFX Super Resolution är en superupplösningsalgoritm som Deep Learning Supersampling 2.0, tar det inte hänsyn till temporiteten. Vad menar vi med detta? Till det enkla faktum att medan Deep Learning Supersampling 2.0 tar hänsyn till informationen från tidigare ramar för bildrekonstruktion, tar AMDs FidelityFX Super Resolution bara hänsyn till informationen om den aktuella bilden, så i det avseendet ser det mer ut som den första generationen av NVIDIA: s Deep Learning Supersampling.

När man genererar färgbufferten idag lagras vanligtvis flera samtidiga buffertar som kallas i Direct3D-slang som Render Targets och i fallet med Vulkan och OpenGL som FBO eller Framebuffer Object, som är texturer som lagrar en buffert med full bild, men de har inte för att lagra färginformation. Det är här det vi kallar ID-bufferten kommer in, som sätter en identifieringsetikett på varje objekt på skärmen.

Tanken är enkel, genom en bildbuffert som vi kallar ID Buffer kan vi veta i vilken skärmposition pixeln för varje objekt i scenen är. Detta gör att vi kan härleda varje objekts hastighet från en scen till en annan och veta var varje pixel finns. En applikation är att skapa mellanliggande ramar i filmer. Men i spel där förändringarna är minimala från en ram till en annan, gör det att vi kan hämta informationen från pixlarna från tidigare bilder för att jämföra den med den aktuella och korrigera den om det finns något fel.

FidelityFX Super-upplösning till skillnad från DLSS 1.0 kan dock användas med tillfälliga antialiaseringsalgoritmer, vilket vi vet tack vare att Epic har bekräftat att den nya versionen av sin motor, Unreal Engine 5, kan kombinera sin TAA med AMD FSR. Naturligtvis måste kostnaden för dessa tillfälliga algoritmer läggas till beräkningskostnaden för FSR.

Kvalitetsnivåer i NVIDIA DLSS 2.0

I den typ av algoritmer som vi har att göra med beror informationen för att rekonstruera ramen på inmatningsinformationen och med ett högre antal pixlar och sedan högre bildkvalitet. Med andra ord kommer bildkvaliteten för skalning från 1440p till 2160p alltid att vara bättre än skalning från 1080p till 2160p, eftersom antalet ingångspixlar är mycket högre i det första fallet än i det andra fallet.

När det gäller Deep Learning Supersampling 2.0 har vi tre driftslägen, den med den högsta bildkvaliteten tar 1 pixel information för att slutföra 2 pixlar, medelkvaliteten tar 1 pixel för att slutföra 4 och den som ger den sämsta bildkvaliteten, men det löses snabbare vad det gör är att skapa informationen om 9 pixlar totalt från en pixel. Det måste tas i beaktande att NVIDIA har fördelen med Tensor Cores integrerade i sina RTX GPU: er, medan AMD inte har denna fördel.

Kvalitetsnivåer i AMD Fidelity FX Super Resolution

Som med NVIDIA: s Deep Learning Supersampling 2.0 har AMD olika kvalitetsnivåer för FidelityFX Super Resolution eller FidelityFX Super Resolution, som är fyra totalt och du kan se dem refererade i bilden som följer med dessa rader. De fyra lägena är: ultra-kvalitet, kvalitet, balanserad och prestanda. Det är därför vi lämnar en tabell med den information som AMD har lämnat om sin FidelityFX Super Resolution.

Så AMD har för närvarande inte motsvarande NVIDIAs snabbaste läge, som genererar 9 pixlar från bara 1. Det är inte heller ett läge som ger bra bildkvalitet och bara tjänar till att uppnå 8K-upplösningar i vissa spel utan att betona grafikkortet. AMD: s lösning, eftersom den saknar temporitet i de data som används för att rekonstruera bilden, ger emellertid en något sämre bildkvalitet. Förutom att uppnå en lägre bildhastighetsökning. Även om det beror mer på naturen hos varje spel.

Det är helt subjektivt för användaren att avgöra om FSR är värt det eller inte, men bildkvaliteten är inte bara upplösningen och det faktum att FSR av sämre bildkvalitet än vissa tillfälliga antialiasing-algoritmer räcker för många utvecklare att säga inte till AMD-algoritmen. Vilket Lisa Sus företag säljer som kompatibelt med alla grafikkort, men en halv sanning är fortfarande en uppenbar lögn.

AMD FidelityFX vs Deep Learning Supersampling, vilken kommer att ha mer stöd?

AMD säger att dess FidelityFX Super Resolution kan användas och implementeras i någon av konkurrentens GPU: er, men detta uttalande har en viss fälla, eftersom algoritmen som den inte kan implementeras i NVIDIA och Intel GPU: er är motsvarande förändringar i form av optimeringar i koden för konkurrenskraftiga GPU: er.

Var är fångsten? Tja, NVIDIA lade inte till den kapaciteten till SIMD-enheterna i deras GPU: er, de stöder inte SIMD över registreringen i vad som är CUDA-enheterna, eftersom målet med NVIDIA är att Tensor Cores används för beräkningarna med låg precision. Så om vi tillämpar FidelityFX Super Resolution som det är och utan optimeringar på en NVIDIA GPU, kommer det att bli värre än på en AMD, på grund av att det kräver optimering av koden för nämnda GPU. Nyckelfrågan som vi alla borde ställa oss om AMD FidelityFX Super Resolution är om vi kommer att se dess optimeringar för de olika grafiska arkitekturerna eller inte, tror att ansträngningen inte måste göras av AMD själv utan av olika utvecklare.

Deep Learning Supersampling från NVIDIA trots att det är en enorm svart ruta när det gäller dess funktion, ber bara om en serie parametrar för att fungera och NVIDIA-biblioteken gör all magi utan att utvecklarna behöver oroa sig. Inte av denna anledning är Deep Learning Supersampling i sin version 2.0 bättre och vi måste ta hänsyn till de avtal som både AMD och NVIDIA gör med de olika utvecklarna.

Konsoler är nyckeln till antagandet av AMD-algoritmen

AMDs hemliga vapen är det faktum att de tre nästa generationens konsoler, de två xbox Serie och PlayStation 5, är baserade på RDNA 2 och kommer att vara kompatibla med FidelityFX Super Resolution. Det måste tas med i beräkningen att på konsolen och till skillnad från vad som händer på datorn är spelkoden vanligtvis optimerad, så allt tyder på att optimeringarna av FidelityFX Super Resolution på konsolen kan gynna PC-versionerna.

Naturligtvis, som vi har kommenterat tidigare, kommer detta att bero på varje utvecklares intresse och om de inte har någon form av avtal med NVIDIA för att ge Deep Learning Supersampling en fördel. Vi kan till exempel upptäcka att konsolversionerna av Metro Exodus och Cyberpunk 2077 använder FidelityFX Super Resolution på konsolen, men att de inte använder den på PC på grund av avtalen med NVIDIA.