Algoritmii de super-rezoluție executați din GPU-urile pentru jocuri au devenit vârful de lance al diferitelor jocuri GPU producători. Odată cu intrarea Intel pe această piață nu au vrut să rămână în urmă și și-au dezvoltat propriul omolog al NVIDIA DLSS și AMD FSR sub denumirea de Intel Xe Super Sampling. Cum funcționează Intel XeSS și cum diferă de rivalii săi?
Împreună cu prezentarea definitivă a ceea ce anterior era cunoscut sub numele de Xe-HPG și care a fost redenumit ARC Alchemist. Intel nu ne-a vorbit doar despre noua sa generație de arhitecturi grafice, ci despre angajamentul față de inteligența artificială pentru viitor, atât în Procesor și GPU. În cazul specific al GPU-urilor lor, au dezvoltat un algoritm numit Intel XeSS, care vine să concureze cu FSR-ul AMD și DLSS-ul NVIDIA. Unde coincid în obiective, dar nu și modul de lucru între cei trei algoritmi.
De ce avem nevoie de algoritmi de super rezoluție?
La procesarea graficelor, fiecărui vârf, fragment sau pixel i se atribuie cel puțin un fir de execuție pe GPU și trebuie luat în considerare faptul că numărul de pixeli este mult mai mare decât numărul de vârfuri din scenă. Aceasta înseamnă că, atunci când rezoluția este mărită, ceea ce se întâmplă este că ajungem să creștem în același mod cantitatea de instrucțiuni care trebuie executate în GPU, precum și datele sale și, prin urmare, crește și lățimea de bandă.
Problema este că acest lucru implică a avea un GPU mult mai mare ca dimensiune, nu numai datorită creșterii diferitelor unități, ci și datorită faptului că necesitând o lățime de bandă mai mare necesită și controlere de memorie mai complexe. Să nu uităm că acestea sunt plasate pe perimetrul exterior al oricărui procesor și, prin urmare, au legătură cu dimensiunea sa. Și mai ales nu putem uita consumul ridicat al amintirilor utilizate în plăcile grafice de jocuri.
Algoritmi de super-rezoluție precum AMD FSR, Intel Xess și NVIDIA DLSS caută să rezolve această problemă. Se bazează pe creșterea hardware-ului cu un procent minuscul, mai mic de 10%, pentru a obține performanțe care altfel ar necesita în mod tradițional dublarea dimensiunii unui GPU. Pentru toate acestea nu putem uita Ray Tracing, al cărui algoritm chiar folosind structuri de accelerație precum BVH funcționează la nivel de pixeli, prin urmare algoritmii de super-rezoluție au fost adoptați ca o parte esențială a graficii în timp real.
Ce este Intel XeSS?
Intel va oferi două versiuni ale Intel XeSS și, prin urmare, doi algoritmi diferiți. În ambele cazuri vorbim despre un algoritm care se bazează pe învățarea profundă și viziunea pe computer și, prin urmare, este utilizată o rețea neuronală de inferență care prezice imaginea la o rezoluție mai mare, cu mai mulți pixeli, de la o rezoluție mai mică. și, prin urmare, mai puțini pixeli.
Prima variantă folosește SIMD over register sau SWAR pe care îl au unele GPU-uri, acest mecanism constă în faptul că ALU pe 32 de biți poate fi subdivizat în două ALU pe 16 biți care efectuează aceeași instrucțiune sau 4 din 8 biți. Ei bine, formatul DP4A constă în gruparea a 4 operanzi de 8 biți într-un registru de 32 de biți. Deci, una dintre variantele XeSS va putea rula pe GPU-uri integrate Intel, precum și pe orice GPU care acceptă acest format, deoarece Intel îl va face open source.
A doua variantă a Intel XeSS, pe de altă parte, este mai complexă, deoarece funcționează folosind unitățile Tensor ale Intel Arc numite XMX, dar nu funcționează în GPU-urile NVIDIA cu Tensor Cores. Explicația Intel nu este alta decât faptul că NVIDIA păstrează blocat modul în care funcționează nucleele tensorului GPU-ului său, utilizarea unităților XMX și capacitatea de a efectua calcule matriciale extrem de rapide solicitate de rețelele convoluționale. Deoarece nu funcționează pe GPU-urile AMD și GPU-urile AMD nu au în prezent astfel de unități, a doua variantă ar fi exclusiv pentru GPU-urile Intel.
În ce este diferit Intel XeSS de soluțiile AMD și NVIDIA?
De fapt, ar fi între cele două lumi, deoarece, în ciuda faptului că este un soluție bazată pe Deep Learning ca și NVIDIA, de la Intel au afirmat că sunt urmează să publice codul implementării sale așa cum a făcut AMD cu FidelityFX Super Resolution. Astfel, dezvoltatorii îl pot aplica mai ușor în jocurile și aplicațiile lor. Este o strategie care, în cazul algoritmului AMD, a permis implementarea sa dincolo de ceea ce se așteaptă, cum ar fi emulatoarele de console vechi, Linux aplicații și chiar jocuri care nu ar fi primit un patch de acest tip.
La fel ca NVIDIA DLSS, ia în considerare și datele de temporalitate, care sunt obținute din informațiile cadrelor anterioare, ceea ce nu face AMD FSR, deoarece soluția roșie ia doar informațiile cadrului curent. Să nu uităm nici că algoritmul AMD nu se bazează pe inteligență artificială și, prin urmare, nu necesită instruire în timp ce NVIDIA o face. Ei bine, Intel a susținut că nici XeSS nu este, și aici lucrurile devin interesante.
De ce XeSS nu are nevoie de instruire?
Unul dintre lucrurile care diferențiază XeSS de NVIDIA DLSS este că primul nu necesită pregătire . În procesul de instruire avem două elemente care funcționează în același timp, primul este responsabil de predicție și al doilea de supraveghere. Când o predicție a rețelei neuronale convoluționale este incorectă, atunci hardware-ul de supraveghere returnează răspunsul negativ, iar rețeaua neuronală este rafinată din ce în ce mai mult până când învață să facă predicțiile corecte.
Într-un joc video în care nu se repetă niciun cadru, este mult mai dificil de făcut decât într-un film în care există întotdeauna aceleași cadre. De aceea ceea ce se face de obicei este să antrenăm rețeaua neuronală cu supraveghere. Care constă în executarea jocului la rezoluție înaltă într-un sistem, reducerea imaginii într-un proces care adaugă zgomot și din aceste date creează o rețea neuronală în sistem care va trebui să facă inferența, astfel încât să poată genera imaginea la o valoare mai mare rezoluţie.
Intel afirmă că, cu XeSS, nu este necesară nicio formare și, prin urmare, nu nu este necesară supravegherea de către un sistem extern. Realitatea acestei afirmații nu este alta decât procesul de instruire se realizează în cadrul hardware-ului propriu al GPU-ului în loc să fie efectuat pe hardware la distanță. Pentru aceasta, ceea ce face GPU este să ruleze jocul în două instanțe simultane în același timp, unul acționând ca supraveghetor, iar în celălalt rețeaua neuronală este reglată. Acest lucru permite celor care implementează Intel Xess în jocurile și aplicațiile lor să regleze algoritmul și să nu depindă de servere externe.
Ingredientele secrete pe care Intel le-a integrat în GPU-urile sale pentru XeSS
Pentru a accelera antrenamentul, Intel va include o serie de unități suplimentare în GPU , la fel ca Subsampler , unitatea pentru a obține aceeași imagine la o rezoluție mai mică și cea care calculează pierderea calității semnalului. Să nu uit de Backpropagator , care este cheia în timpul procesului de instruire de la GPU în sine. În acest moment nu știm unde sunt aceste unități pentru antrenarea rețelei neuronale convoluționale, dar presupunem că sunt o unitate de suport în afară de ceea ce este motorul de redare, dar în cadrul GPU-ului în sine.
Algoritmii de super-rezoluție se folosesc adesea algoritmi de supersantionare în procesul de a obține imaginea la rezoluție mai mare. Unii folosesc interpolare bicubică, în timp ce alții, cum ar fi FSR, folosesc o variantă Lanczos, deși toate rulează pe unitățile Shader ale GPU și, prin urmare, ajung să le retragă. Intel ar fi inclus unități de scalare , care ar fi capabil să execute automat unul sau mai mulți algoritmi de supra-eșantionare și ar elibera unitățile Xe Core SIMD de această sarcină, permițându-le să fie utilizate în altă parte, unde sunt, de asemenea, necesare.
Deci, în concluzie, Intel XeSS adaugă o serie de hardware suplimentar că până acum a fost fără precedent în GPU-uri. Nu numai pentru a accelera acești algoritmi, ci și pentru a spori compatibilitatea și a facilita implementarea acestora în diferitele jocuri de pe piață. Fie că sunt ultimele știri sau jocuri cu câțiva ani în spate. Deci, se poate spune că Intel cu XeSS a luat în considerare bine deficiențele și limitările rivalilor săi.
