Realtid skalering af billede teknikker gennem brug af AI algoritmer, accelereret gennem dedikeret hardware, har fået betydning i nyere tid. Vi forklarer, hvordan disse opløsningsalgoritmer fungerer, hvilke ydelsesfordele der medfører vores pc'er. Hvordan vil fremtidens nye spil være takket være denne opløsning øge teknologien?
Stigningen i opløsning i både videospil og film har konsekvenser med hensyn til den krævede effekt til at generere et billede, da jo flere opløsningspixels vi vil opnå som outputopløsning, jo mere strøm har vi brug for. Ideen bag at bruge algoritmer til at generere billeder med højere opløsning fra dem med lavere opløsning sigter mod at spare beregningskraft og tid.
Årsager til brug af AI til at generere billeder med øget opløsning
Billedskaleringsalgoritmer eller superopløsningsalgoritmer er dem, der konverterer en billedbuffer i "X" -opløsning til en højere opløsning.
Billedskaleringsalgoritmer, der ikke er baseret på AI
For at forstå behovet for kunstig intelligens som et redskab til at øge billedopløsningen er det nødvendigt at kende på forhånd begrænsningen af klassiske algoritmer, der ikke er baseret på AI.
Men hvordan skal vi skalere et billede med hensyn til opløsning? Når vi øger opløsningen, finder vi ud af, at de fleste af de nye pixels i forhold til den tidligere opløsning ikke har en defineret farveværdi, så vi er nødt til at udfylde dem på en eller anden måde.
Den nemmeste måde at gøre opløsningsforøgelsen på er at kopiere farveværdien af de tilstødende pixels, men det faktiske resultat er ikke et billede med en højere opløsning, men et billede med den samme opløsning ved hjælp af et højere antal pr. Pixel. Denne algoritme kaldes Nærmeste nabo (a) (Tæt nabo)
Andre teknikker er baseret på interpolationsalgoritmer, disse bruger farveværdien af de tilstødende pixels til at kende værdien af de mellemliggende pixels under anvendelse af et større eller mindre antal prøver for at kende værdien af de nævnte pixels. De mest berømte er bilinær interpolation (b), der også bruges til at filtrere teksturer i spil og bikubisk interpolation (c).
Ingen af disse skaleringsalgoritmer når et optimalt kvalitetsniveau, og de producerer aldrig et billede så skarpt som at generere billedet direkte ved højere opløsning (d).
Kunstig intelligens til undsætning
Når algoritmerne for kunstig intelligens skalerer et billede, kan de forestille sig eller opfinde de mellemliggende pixels, som vi ikke kender, for det er det nødvendigt at træne den kunstige intelligens med en række eksempler på billeder, så længe den kunstige intelligens lærer et mønster. hvorfra billederne skal rekonstrueres i en højere opløsning fra andre med en lavere opløsning.
Til dette er det nødvendigt at fodre det neurale netværk under træningsfasen med hundreder og endda tusinder af billeder, så det finder et fast mønster, som det derefter kan anvende, når de genererer de manglende pixels, dette kaldes AI-træning.
Når kunstig intelligens har fundet mønsteret, hvad det gør er at oprette en generativ algoritme, som den altid vil anvende til at skabe billederne med højere opløsning, og som vil udføre den tilsvarende specialiserede AI-hardware, som vi bruger i systemet, vi kalder denne slutning af AI.
Neurale netværk for højere billedopløsning
Der er mange typer neurale netværk, men dem, der normalt bruges til at generere billeder med højere opløsning, er de såkaldte generative modstandernetværk på engelsk Generative Adversial Netværk eller GAN.
Den enkleste form for denne type netværk er som et eksempel i begyndelsen af dette underafsnit. GAN'er arbejder med to neurale netværk, der kaldes Generator og Discriminator.
Generatoren har ansvaret for at generere prøver, der oprindeligt ikke er andet end støj, mens den anden, som vi kalder Diskriminator, vurderer dem ved at sammenligne dem med prøver af rigtige billeder. Denne evaluering har kun to svar, der er sande eller falske. Hvis evalueringen er positiv, bruges billedet som feedback, så det generative netværk lærer, hvad mønsteret er for at skabe nye billeder, der i stigende grad ligner det, vi ønsker, at det skal lære at generere.
For eksempel, hvis vi fodrer Diskriminatoren med fotos af katte i slutningen, vil Generatoren ende med at lære, at de billeder, den skal generere, er fotos af katte.
Ved hjælp af AI opnås en stigning i opløsning i videospil
Når vi spiller et videospil, er det ikke det samme som med en film, hvor alle rammerne er gemt på forhånd, og derfor mangler Diskriminatoren fuldstændigt eksempler på billeder som et eksempel.
Vi kan træne et GAN, så det lærer at skalere billeder fra gamle film til en højere opløsning, idet vi tager et eksempel på dets træningsbilleder fra andre nyere og højere opløsningsfilm, da vi taler om rammer taget fra det virkelige liv.
Men i tilfælde af et videospil er ikke kun hver ramme unik og gentages ikke igen, så der er ingen tidligere ramme med en højere opløsning at sammenligne, men også det faktum, at hvert spil har sin egen visuelle stil, får algoritmerne til at lære at generere en billedbuffer med en højere opløsning i et spil fungerer ikke for andre spil, hvis de ikke deler en lignende kunstnerisk stil.
Dette tvinger det generative modstandernetværk, som vi skal bruge til at træne AI og derved generere inferensalgoritmen til at kunne generere billeder med højere opløsning, til at være noget andet.
At træne AI til at lære at hæve opløsningen af et videospil, hvad der gøres er at bruge en meget kraftig pc med evnen til at gengive billeder i meget høj opløsning.
Denne meget kraftfulde pc kan være noget som en server med flere GPU'er, der arbejder sammen for at gengive billedet i meget høj opløsning. For eksempel, NVIDIA bruger sin Saturn V supercomputer til at generere billedbufferen med højere opløsning.
På den anden side har vi en GPU gengiver den samme scene med en lavere opløsning, bruges denne scene med lavere opløsning som en inputprøve til generatoren, som ud fra dette billede vil forsøge at generere et billede i en højere opløsning, som diskriminatoren selv skal evaluere, hvorfra billedet med en højere opløsning, der sammenligner begge dele.
Som forventet er resultatet en højere ydeevne, en stigning i opløsning på grund af billedskalering og dermed større klarhed i spillerens syn.
