Samsung HBM-PIM pro urychlení umělé inteligence

První věc, kterou musíme v době psaní tohoto článku pochopit, je, že HBM-PIM není standardem schváleným JEDEC, což je výbor 300 společností, který má na starosti vytváření různých standardů paměti, ať už jsou nestálé. nebo přetrvávající. . V tuto chvíli se jedná o návrh a design Samsungu, který by mohl být přeměněn na nový typ HBM pamětí a vyráběn třetími stranami, nebo v opačném případě na exkluzivní produkt jihokorejské slévárny.

Ať už se to stane standardem nebo ne, HBM-PIM se bude vyrábět pro Alveo AI Accelerator od Xilinx, společnosti, o které si pamatujeme, že ji zcela získala AMD. Nejde tedy o koncept na papíře a ani o laboratorní výrobek, ale tento typ paměti HBM lze vyrábět ve velkém množství. Xilinx Álveo je samozřejmě akcelerační karta založená na FPGA, která se používá v datových centrech. Nejedná se o produkt pro masový trh a musíme mít na paměti, že se jedná pouze o variantu paměti HBM, která je sama o sobě velmi drahá a vzácná na výrobu, což snižuje její použití v komerčních produktech, jako jsou herní grafické karty. nebo procesory.

Koncept in-memory computingu

Programy, které spouštíme na našich počítačích, fungují prostřednictvím manželství mezi nimi RAM a procesor, což by bylo perfektní, kdybychom obojí mohli umístit na jeden čip. Bohužel to není možné a vede to k řadě úzkých míst vlastní architektuře jakéhokoli počítače, což je produkt latence mezi systémovou pamětí a centrální procesorovou jednotkou:

• S větší vzdáleností se data přenášejí pomaleji.
• Spotřeba energie se zvyšuje, čím více prostoru je mezi procesorovou jednotkou, která provádí program, a úložnou jednotkou, kde je program umístěn. To znamená, že přenosová rychlost nebo šířka pásma je nižší než rychlost procesu.
• Obvyklým způsobem řešení tohoto problému je přidání hierarchie mezipaměti na CPU, GPU nebo APU; který kopíruje data z RAM uvnitř pro rychlejší přístup k potřebným informacím.
• Jiné architektury používají takzvanou Scratchpad RAM, která se nazývá embedded RAM, nepracuje automaticky a její obsah musí být řízen programem.

Paměť RAM integrovaná v procesoru má tedy problém a je to její kapacita, kde uvnitř ukládá velmi málo dat z důvodu omezení fyzického prostoru, protože drtivá většina tranzistorů je věnována zpracování instrukcí a ne ukládání.

Koncept in-memory computingu funguje obráceně ve srovnání s DRAM nebo embedded SRAM, protože mluvíme o RAM, ke které přidáváme logiku, kde bitové buňky mají větší váhu. Nejde tedy o integraci složitého procesoru, ale o doménově specifický a dokonce i hardwarově drátové nebo pevné akcelerátory.

A jaké jsou výhody tohoto typu paměti? Když na libovolném procesoru spustíme program alespoň pro každou instrukci, dojde k přístupu do paměti RAM přiřazené uvedenému CPU resp GPU. Myšlenka in-memory computingu není nic jiného než mít program uložený v paměti PIM a že CPU nebo GPU musí použít pouze jednu instrukci volání a čekat, až procesorová jednotka v paměti výpočetní program spustí a vrátí konečnou odpověď. k CPU, který je zdarma pro ostatní úkoly.

Procesor v Samsung HBM-PIM

Malý CPU byl integrován do každého z čipů v zásobníku HBM-PIM čipu, takže úložná kapacita je ovlivněna nasměrováním tranzistorů, které by šly do paměťových buněk, aby je přiřadily k logickým bránám, které tvoří integrovaný procesor a jak jsme již pokročili dříve, je velmi jednoduchý.

• Nepoužívá žádné známé ISA, ale vlastní s velmi malým počtem instrukcí celkem: 9.
• Má dvě sady 16 jednotek s plovoucí desetinnou čárkou s přesností každé 16 bitů. První sada má schopnost provádět sčítání a druhá provádět násobení.
• Prováděcí jednotka typu SIMD, jedná se tedy o vektorový procesor.
• Jeho aritmetické schopnosti jsou: A + B, A * B, (A + B) * C a (A * C) + B.
• Spotřeba energie na operaci je o 70 % nižší, než kdyby stejnou úlohu dělalo CPU, zde musíme vzít v úvahu vztah mezi spotřebou energie a vzdáleností s daty.
• Samsung tento malý procesor pokřtil pod názvem PCU.
• Každý procesor může pracovat pouze s paměťovým čipem, jehož je součástí, nebo s celým zásobníkem. Také jednotky v HBM-PIM mohou spolupracovat na urychlení algoritmů nebo programů, které to vyžadují.

Jak lze z jeho jednoduchosti vyvodit, není vhodný pro spouštění složitých programů. Na oplátku jej Samsung propaguje pod myšlenkou, že jej spojujeme jako jednotku, která urychluje algoritmy strojového učení, ale nezvládá ani složité systémy, protože jde o vektorový a netensorový procesor. Jejich možnosti v tomto oboru jsou tedy velmi omezené a zaměřují se na věci, které nevyžadují příliš mnoho energie, jako je rozpoznávání hlasu, překlad textu a zvuku a tak dále. Nezapomeňme, že jeho výpočetní kapacita je 1.2 TFLOPS.

Uvidíme HBM-PIM na našich počítačích?

Aplikace, které Samsung uvádí jako příklad výhod HBM-PIM, jsou již zrychleny na vyšší rychlost jinými komponentami v našich PC, navíc vysoké náklady na výrobu tohoto typu paměti již vylučují jeho použití v rámci domácí počítač. V případě, že jste programátoři specializovaní na umělou inteligenci, je nejbezpečnější, že máte ve svých počítačích hardware s mnohem vyšší zpracovatelskou kapacitou než HBM-PIM od Samsungu.

Realita je taková, že pro marketingové oddělení jihokorejského giganta se jeví jako špatná volba mluvit o AI. A ano, bereme v úvahu, že je to módní technologie na rtech každého, ale myslíme si, že HBM-PIM má jiné trhy, kde může využít své schopnosti.

Jaké jsou tyto aplikace? Slouží například k urychlení vyhledávání informací ve velkých databázích, které denně využívají stovky firem a věřte nám, že jde o obrovský trh, který se pohybuje v řádech milionů dolarů ročně. V žádném případě nevidíme jeho použití na domácí úrovni a ve vědeckých výpočtech, i když existuje možnost, že stále nedokončený HBM3 zdědí část myšlenek HBM-PIM.