Die Euphemismen künstliche Intelligenz, Deep Learning und andere Zauberworte waren in den letzten Jahren keine andere Bezeichnung dafür, die Hardware um eine neuartige Einheit zu erweitern, die in der Lage ist, mathematische Operationen mit Matrizen in hoher Geschwindigkeit durchzuführen. Nun, allen Widrigkeiten zum Trotz, AMD hat ein Detail in seinen Grafikprozessoren mit versteckt RDNA 3-Architektur das hat damit zu tun. Sie heißen WMMA-Anweisungen und sie bringen eine sehr wichtige Änderung, die bei AMD-Gaming-Grafikkarten bisher unbekannt war.
Diejenigen unter Ihnen, die eher Veteranen sind, werden sich daran erinnern, dass das Wort Multimedia in den 90er Jahren genauso viel Resonanz fand wie heute künstliche Intelligenz. Der Grund? Das Hinzufügen von SIMD-Einheiten in den Prozessoren von gestern. Heute passiert dasselbe mit der Berechnung von Matrizen und künstlicher Intelligenz. Nun, AMD hätte diese Einheiten nach vier Jahren endlich in seine heimischen GPUs übernommen NVIDIA wird mit ihnen seine erste RTX auf den Markt bringen.
Eine Einheit zum Arbeiten mit Matrizen
Eine der Speerspitzen von NVIDIA bei seinen GPUs ist die Hinzufügung des sogenannten Tensorkerne zum RTX, die nichts anderes als eine Ausführungsart sind, die als systolisches Array bezeichnet wird. Sein Hauptvorteil? Die Fähigkeit, mit Datenarrays mit hoher Geschwindigkeit zu arbeiten. Solche mathematischen Strukturen sind entscheidend für Algorithmen der künstlichen Intelligenz und um große Datenmengen speichern zu können. Was ist zum Beispiel ein Bild? Ein Array von Pixeln.
Da eine Matrix nichts anderes als ein Vektor mit N Dimensionen ist, werden zur Durchführung dieser Operationen bisher Vektoreinheiten oder SIMDs verwendet, die denselben Befehl parallel mit mehreren unterschiedlichen Operanden ausführen können. Obwohl sie solche Anweisungen ausführen können, sind sie dabei viel langsamer als das, was wir ein systolisches Array nennen.
Nun, NVIDIA hat seine Tensor-Laufwerke und Intel nachdem sie ihre XMX hinzugefügt hatten, die nur Handelsnamen für dasselbe Konzept sind, fehlte AMD. Auf jeden Fall fehlt es eher an GPUs für Heimcomputer und Workstations. Denn in der Welt des High Performance Computing oder HPC ist ihr CDNA-basierter AMD Instinct schon lange bei diesen Laufwerken.
WMMA, Matrix Core Units für den RX 7000
Der Name, den AMD seinen systolischen Arrays gibt, lautet Matrix Core Units , die gewesen sind unveröffentlicht in RDNA und RDNA 2 . Nun, nach mehreren Gerüchten, in denen gesagt wurde, dass AMD in seinen GPUs nicht auf diese Art von Einheit setzen würde, stellt sich heraus, dass es im LLVM-Repository Verweise auf die gibt Aufnahme von WMMA-Anweisungen für GFX11 , wie AMD seine RDNA 3-Architektur nennt zukünftige GPUs wie die RX 7000 und Prozessoren wie Phoenix .
Im Repository das Akronym WMMA wird als beschrieben Wellenmatrix Multiplizieren Akkumulieren und wird beschrieben als:
Diese Operationen führen eine Matrixmultiplikation und -addition in folgender Form aus: D = A*B+C.
Was uns an die von NVIDIA definierte Struktur erinnert, um seine Tensor Cores zu beschreiben. Darüber hinaus verwendete, wie Sie sehen können, auch das Konkurrenzunternehmen von AMD das WMMA-Konzept. Darüber hinaus wird die Übernahme dieses Einheitentyps in AMD-GPUs durch einen schrägen Blick auf den Quellcode deutlich.
- Die resultierende Matrix (D) wird im 32-Bit- oder 16-Bit-Gleitkommaformat angegeben, und die 3 Matrizen arbeiten im 16-Bit-Gleitkomma- oder BFLOAT16-Format.
- Der Endwert von D ist in 32-Bit-Ganzzahlen und A, B und C in 4- oder 8-Bit-Ganzzahlen.
Also zusammengefasst: das finden wir AMD hat die WMMA-Anweisungen in RDN hinzugefügt A, was sich auf das Hinzufügen einer Einheit zum Arbeiten mit Matrizen bezieht, d.h. AMD-GPUs werden endlich ihre eigenen Tensor-Kerne haben . Die in der Welt der künstlichen Intelligenz stark verbreitet sind und eines der Elemente waren
