In de afgelopen jaren waren de eufemismen kunstmatige intelligentie, Deep Learning en andere magische woorden geen andere manier om de toevoeging aan de hardware van een nieuw type eenheid te noemen die in staat is om met hoge snelheid wiskundige bewerkingen met matrices uit te voeren. Nou, tegen alle verwachtingen in, AMD heeft een detail in zijn grafische processors verborgen met RDNA 3-architectuur dat heeft er mee te maken. Ze worden genoemd WMMA-instructies: en ze brengen een zeer belangrijke verandering met zich mee, tot nu toe ongehoord in AMD gaming grafische kaarten.
Degenen onder jullie die meer veteranen zijn, zullen zich herinneren hoe in de jaren 90 het woord multimedia net zo resoneerde als kunstmatige intelligentie vandaag. De reden? De toevoeging van SIMD-eenheden in de processors van weleer. Vandaag gebeurt hetzelfde met de berekening van matrices en kunstmatige intelligentie. Nou, AMD zou deze eenheden eindelijk in zijn binnenlandse GPU's hebben opgenomen, na vier jaar sindsdien NVIDIA zal zijn eerste RTX met hen lanceren.
Een eenheid om met matrices te werken
Een van NVIDIA's speerpunten in zijn GPU's is de toevoeging van de zogenaamde Tensor kernen naar de RTX, die niets meer zijn dan een type uitvoering dat een systolische array wordt genoemd. Het belangrijkste voordeel? De mogelijkheid om met hoge snelheid met data-arrays te werken. Dit soort wiskundige structuren zijn cruciaal voor kunstmatige intelligentie-algoritmen en voor het kunnen opslaan van grote hoeveelheden gegevens. Wat is bijvoorbeeld een afbeelding? Een array van pixels.
Aangezien een matrix niets meer is dan een vector met N-afmetingen, zijn tot nu toe vectoreenheden of SIMD's gebruikt om deze bewerkingen uit te voeren, die dezelfde instructie parallel met verschillende operanden kunnen uitvoeren. Hoewel ze dergelijke instructies kunnen uitvoeren, zijn ze veel langzamer om dit te doen dan wat we een systolische array noemen.
Nou, met NVIDIA met hun Tensor-schijven en Intel nadat ze hun XMX hadden toegevoegd, wat slechts handelsnamen zijn voor hetzelfde concept, was AMD degene die ontbrak. In ieder geval zat de afwezigheid eerder in de GPU's voor thuiscomputers en werkstations. Omdat in de wereld van high-performance computing of HPC hun op CDNA gebaseerde AMD Instinct al heel lang bij deze schijven is.
WMMA, Matrix Core Units voor de RX 7000
De naam die AMD aan zijn systolische arrays geeft, is Matrix Core Units , die zijn geweest niet vrijgegeven in RDNA en RDNA . Welnu, na verschillende geruchten waarin werd gezegd dat AMD niet zou wedden op dit type eenheid in zijn GPU's, blijkt dat er in de LLVM-repository verwijzingen zijn naar de opname van WMMA-instructies voor GFX11 , wat AMD de RDNA 3-architectuur van zijn toekomstige GPU's zoals de RX 7000 en processors zoals Phoenix .
In de repository het acroniem WMA wordt beschreven als Wave Matrix Vermenigvuldigen Accumuleren en wordt omschreven als:
Deze bewerkingen voeren matrixvermenigvuldiging en optelling uit in de vorm van: D = A*B+C.
Dat herinnert ons aan de structuur die door NVIDIA is gedefinieerd om zijn Tensor Cores te beschrijven. Bovendien gebruikte AMD's rivaliserende bedrijf, zoals je kunt zien, ook het WMMA-concept. Bovendien wordt de adoptie in AMD GPU's van dit type eenheid onthuld met een diagonale blik op de broncode.
- De resulterende matrix (D) gegeven in 32-bits of 16-bits drijvende komma en de 3 matrices die werken in 16-bits drijvende komma of BFLOAT16-formaat.
- De uiteindelijke waarde van D is in 32-bits gehele getallen, en A, B en C in 4- of 8-bits gehele getallen.
Dus samenvattend: we vinden dat AMD heeft de WMMA-instructies toegevoegd in RDN A, wat verwijst naar de toevoeging van een eenheid om met matrices te werken, dat wil zeggen, AMD GPU's hebben eindelijk hun eigen Tensor Cores . Die veel worden gebruikt in de wereld van kunstmatige intelligentie en een van de elementen waren
