AMD FidelityFX Super Resolution este ridicat ca un rival al DLSS, care începe cu două avantaje. În primul rând, necesită hardware mai modest pentru a funcționa și este compatibil cu un număr mai mare de jocuri și plăci grafice, nefiind bazat pe algoritmi de inferență. Dar cum funcționează AMD FidelityFX Super Resolution?
AMD FSR a revoluționat GPU peisaj din ultimele săptămâni, nu numai rivalizând NVIDIADLSS în furnizarea de imagini cu rezoluție mai mare folosind mai puține resurse. Dacă nu și datorită naturii sale deschise, care îi permite să fie implementat în orice GPU, indiferent de arhitectura sa.
Ce sunt algoritmii Super Resolution?
Algoritmii de super-rezoluție au devenit foarte populari în ultima vreme, în special cei care utilizează rețele neuronale convoluționale precum DLSS-ul NVIDIA. Particularitatea soluției AMD? Faptul că nu se bazează pe inteligență artificială și, prin urmare, nu trebuie instruit cu un set de imagini anterioare ale aceluiași joc. Deoarece o rețea neuronală convoluțională pentru viziunea computerizată, ceea ce face este să învețe o serie de modele comune pentru a efectua o reconstrucție.
Avantajul pe care îl are metoda utilizată de AMD FidelityFX Super Resolution asupra DLSS atunci când vine vorba de implementarea în orice joc este că AI nu are o tendință atunci când generează noile imagini. Pentru a înțelege conceptul, ceea ce trebuie să facem este să ne imaginăm că antrenăm un AI cu un set de imagini cu un artefact sau o eroare de imagine în comun. Apoi facem ca AI să reproducă acele imagini sau variante ale acestora. Cum există tendința învățată în timpul fazei de învățare AI de a învăța aceste erori de imagine le va reproduce cu respectiva eroare de imagine.
Acest lucru face ca într-un sistem de super rezoluție bazat pe AI să ajungeți la concluzii care nu sunt exacte. De aceea, jocurile sub DLSS ale NVIDIA apar în mod controlat și cu picături, în timp ce FidelityFX Super Resolution este un algoritm care poate fi aplicat oricărui joc.
Super Resolution FidelityFX este un algoritm spațial și nu temporal
Metoda aleasă de AMD se bazează pe preluarea informațiilor cadrului curent și doar cadrului curent, deci diferă de alte metode de scalare a rezoluției imaginii, cum ar fi redarea în tablă. Când vorbim despre temporalitate, ne referim la aceasta pentru a generează versiunea cu rezoluție mai mare a cadrului curent, acesta procedează parțial din cadrul anterior. Deci, îi lipsește ceea ce numim temporalitate și ia informațiile de cadru la o rezoluție mai mică decât GPU tocmai a generat pentru a crea versiunea cu rezoluție mai mare a imaginii.
Dar ce înțelegem prin rezoluție? Ei bine, la numărul de pixeli care o alcătuiesc, așa că atunci când creștem rezoluția unei imagini, ceea ce facem este să creștem cantitatea acestora, cu acest nou se generează pixeli care ocupă spațiul, dar a căror valoare de culoare nu o facem stii. Cea mai simplă soluție? Utilizați algoritmi de interpolare, care se bazează pe pictarea pixelilor lipsă cu culori care sunt la jumătatea drumului către pixelii vecini. Cu cât luați mai mulți pixeli vecini ca informații sursă, cu atât informațiile vor fi mai exacte.
Problema este că interpolarea brută nu este suficient de bună și nu este utilizată, calitatea imaginilor rezultate este foarte scăzută și adesea diferă de realitate. Astăzi, majoritatea aplicațiilor de editare a imaginilor folosesc algoritmi de inteligență artificială pentru a genera versiuni la rezoluții mai mari. Dacă ne concentrăm deja exclusiv pe Super Resolution FidelityFX, metoda sa de a obține informațiile pixelilor lipsă nu se bazează pe o interpolare directă, ci este mai complexă.
Aceasta crește rezoluția AMD FidelityFX Super Resolution
Vom rămâne la explicația oficială oferită de AMD, pe care o vom cita mai jos:
Super Resolution FidelityFX este alcătuit din doi pași principali.
Ceea ce se traduce în doi algoritmi consecutivi, care sunt executați unul după altul sau mai bine zis, unde al doilea ia informațiile generate de primul. Să vedem care sunt fiecare dintre acești pași.
O trecere de scalare numită EASU (Margine Adaptive Spatial Up Sampling), care efectuează, de asemenea, reconstrucția marginilor. În acest pas, cadrul de intrare este analizat și partea principală a algoritmului detectează inversiunile gradientului, analizând în mod esențial diferențierea gradienților vecini de un set de pixeli de intrare. Intensitatea inversiunilor de gradient definește greutățile care vor fi aplicate pixelilor reconstruiți la rezoluția ecranului.
Pentru a înțelege citatul, primul lucru pe care trebuie să îl știm este la ce se referă explicația cu detectarea muchiilor dintr-o imagine. Pentru a face acest lucru, ceea ce se face este o versiune alb-negru a cadrului final, care este în format RGB. Deci, se face este să adăugați valorile fiecăruia dintre canale și să împărțiți la 3 pentru a obține valoarea într-o imagine alb-negru. Dacă lăsăm în imaginea în tonuri de gri doar valorile 00000 pur albe, FFFFFF sau pur negre, atunci vom obține o imagine care va delimita marginile.
În AMD FidelityFX Super Resolution, realizează imaginea generată prin detectarea muchiilor la o rezoluție de ieșire mult mai mare decât cea care a fost redată inițial, dar care corespunde rezoluției de ieșire pe care doriți să o obțineți. Toate acestea vor fi combinate cu un buffer de imagine care stochează modificările de gradient ale fiecărui pixel. Care măsoară modificările intensității culorii între pixeli. Aceste informații sunt combinate cu interpolare clasică pentru a obține imaginea la o rezoluție mai mare.
Un pas de ascuțire numit RCAS (Robust Contrast Adaptive Sharpening) care extrage detaliile pixelilor în imaginea îmbunătățită.
Imaginea generată în primul pas este îmbunătățită de o versiune modificată a Contrast Adaptive Sharpening, rezultatul final este o imagine la jumătatea distanței dintre interpolare pură și dură și cea a inteligenței artificiale.
