HBM-PIM on muunnos niin kutsutusta High Bandwidth -muistista, jonka on esittänyt Samsung vuonna 2021, jolloin sen lyhenne PIM on käännetty nimellä "Processing in Memory", mikä tarkoittaa, että edessämme on muunnos, jonka sisään on integroitu prosessori. Miten tällainen prosessikapasiteetilla varustettu HBM esitetään, kenelle se on suunnattu ja mitä hyötyä siitä on?
Ensimmäinen asia, joka meidän on ymmärrettävä tätä artikkelia kirjoitettaessa, on, että HBM-PIM ei ole JEDEC:n hyväksymä standardi, joka on 300 yrityksen komitea, joka vastaa erilaisten muististandardien luomisesta, olivatpa ne haihtuvia. tai pysyviä. . Tällä hetkellä kyseessä on Samsungin ehdotus ja suunnittelu, joka voitaisiin muuntaa uudentyyppiseksi HBM-muistiksi ja valmistaa kolmannet osapuolet, tai jos se ei ole mahdollista, Etelä-Korean valimon eksklusiiviseksi tuotteeksi.
Tulipa siitä standardi tai ei, HBM-PIM valmistetaan Alveo AI Acceleratorille Xilinxiltä, yritys, jonka muistamme, että se on kokonaan ostanut. AMD. Se ei siis ole konsepti paperilla eikä laboratoriotuote, mutta tämän tyyppistä HBM-muistia voidaan valmistaa suuria määriä. Tietenkin Xilinx Álveo on FPGA-pohjainen kiihdytinkortti, jota käytetään datakeskuksissa. Se ei ole massamarkkinoille tarkoitettu tuote, ja meidän on pidettävä mielessä, että se on vain HBM-muistin muunnos, joka itsessään on erittäin kallis ja niukasti valmistettavissa, mikä vähentää sen käyttöä kaupallisissa tuotteissa, kuten pelinäytönohjaimet. tai prosessorit.
Muistissa olevan tietojenkäsittelyn käsite
Tietokoneillamme käyttämämme ohjelmat toimivat avioliiton kautta RAM ja prosessori, mikä olisi täydellistä, jos voisimme laittaa molemmat yhdelle sirulle. Valitettavasti tämä ei ole mahdollista ja johtaa sarjaan minkä tahansa tietokoneen arkkitehtuurille ominaisia pullonkauloja, jotka johtuvat järjestelmämuistin ja keskusyksikön välisestä viiveestä:
- Koska etäisyys on suurempi, data siirtyy hitaammin.
- Energiankulutus kasvaa, mitä enemmän tilaa on ohjelman suorittavan prosessointiyksikön ja tallennusyksikön, jossa ohjelma sijaitsee, väliin. Tämä tarkoittaa, että siirtonopeus tai kaistanleveys on pienempi kuin prosessinopeus.
- Tavallinen tapa ratkaista tämä ongelma on lisätä välimuistihierarkia suorittimeen, grafiikkasuorittimeen tai APU:hun. joka kopioi tietoja sisällä olevasta RAM-muistista, jotta tarvittavat tiedot saadaan nopeammin käsiksi.
- Muut arkkitehtuurit käyttävät niin kutsuttua Scratchpad RAM -muistia, jota kutsutaan sulautetuksi RAMiksi, se ei toimi automaattisesti ja sen sisältöä on ohjattava ohjelman toimesta.
Joten prosessoriin integroidussa RAM-muistissa on ongelma ja se on sen kapasiteetti, johon se tallentaa hyvin vähän dataa fyysisen tilan rajoitusten vuoksi, koska suurin osa transistoreista on omistettu käskyjen käsittelyyn, ei tallennustilaan.
Muistin sisäisen laskennan käsite toimii päinvastoin verrattuna DRAM-muistiin tai sulautettuun SRAM-muistiin, koska puhumme RAM-muistista, johon lisäämme logiikkaa, jossa bittisoluilla on suurempi paino. Kysymys ei siis ole monimutkaisen prosessorin integroimisesta, vaan toimialuekohtaisesta ja jopa laitteistokiihdyttimistä.
Ja mitkä ovat tämän tyyppisen muistin edut? Kun suoritamme ohjelman millä tahansa prosessorilla ainakin jokaiselle käskylle, päästään mainitulle CPU:lle tai RAM-muistiin. GPU. Muistin sisäisen laskennan idea ei ole mikään muu kuin se, että ohjelma on tallennettu PIM-muistiin ja että prosessorin tai GPU:n tarvitsee käyttää vain yhtä kutsukäskyä ja odottaa, että muistilaskennan prosessointiyksikkö suorittaa ohjelman ja palauttaa lopullisen vastauksen. prosessoriin, joka on ilmainen muihin tehtäviin.
Prosessori Samsung HBM-PIM:ssä
Jokaiseen HBM-PIM-sirun piiriin on integroitu pieni prosessori, joten muistikapasiteettiin vaikuttaa ohjaamalla transistorit, jotka menevät muistisoluihin osoittamaan ne logiikkaporteille, jotka muodostavat integroidun sirun. prosessori ja kuten olemme kehittäneet aiemmin, se on hyvin yksinkertainen.
- Se ei käytä mitään tunnettuja ISA:ita, vaan omaa, ja siinä on yhteensä hyvin vähän ohjeita: 9.
- Siinä on kaksi 16 liukulukuyksikön sarjaa 16 bitin tarkkuudella. Ensimmäisessä sarjassa on kyky suorittaa yhteenlasku ja toisessa kertolasku.
- SIMD-tyyppinen suoritusyksikkö, joten tämä on vektorisuoritin.
- Sen aritmeettiset ominaisuudet ovat: A + B, A * B, (A + B) * C ja (A * C) + B.
- Energiankulutus toimintoa kohden on 70 % pienempi kuin jos prosessori tekisi saman tehtävän, tässä on otettava huomioon energiankulutuksen ja datan etäisyyden välinen suhde.
- Samsung on kastanut tämän pienen prosessorin nimellä PCU.
- Jokainen prosessori voi toimia vain sen muistisirun kanssa, jonka osa se on, tai koko pinon kanssa. Myös HBM-PIM:n yksiköt voivat toimia yhdessä nopeuttaakseen sitä vaativia algoritmeja tai ohjelmia.
Kuten sen yksinkertaisuuden vuoksi voidaan päätellä, se ei sovellu monimutkaisten ohjelmien suorittamiseen. Vastineeksi Samsung mainostaa sitä ajatuksella, että suhtaudumme siihen koneoppimisalgoritmeja nopeuttavaksi yksiköksi, mutta se ei myöskään voi käsitellä monimutkaisia järjestelmiä, koska se on vektori- ja ei-tensorinen prosessori. Joten heidän kykynsä tällä alalla ovat hyvin rajalliset ja keskittyvät asioihin, jotka eivät vaadi paljon tehoa, kuten äänentunnistus, tekstin ja äänen kääntäminen ja niin edelleen. Älä unohda, että sen laskentakapasiteetti on 1.2 TFLOPS.
Nähdäänkö HBM-PIM tietokoneillamme?
Samsungin esimerkkinä HBM-PIM:n eduista mainitsemia sovelluksia kiihdytetään jo suuremmalla nopeudella tietokoneidemme muilla komponenteilla, minkä lisäksi tämäntyyppisten muistien korkeat valmistuskustannukset sulkevat pois sen käytön jo nyt. kotitietokone. Siinä tapauksessa, että olet tekoälyyn erikoistunut ohjelmoija, turvallisinta on, että tietokoneessasi on laitteistoa, jonka prosessointikapasiteetti on paljon suurempi kuin Samsungin HBM-PIM.
Tosiasia on, että näyttää siltä, että Etelä-Korean jättiläisen markkinointiosastolla on huono valinta puhua tekoälystä. Ja kyllä, otamme huomioon, että se on muodikas tekniikka kaikkien huulilla, mutta uskomme, että HBM-PIM:llä on muita markkinoita, joilla se voi hyödyntää kykyjään.
Mitä nämä sovellukset ovat? Se esimerkiksi nopeuttaa tiedonhakua suurista tietokannoista, joita sadat yritykset käyttävät päivittäin, ja uskomme, että kyseessä on valtava markkina, joka liikkuu miljoonia dollareita vuodessa. Joka tapauksessa emme näe sen olevan käytössä kotimaisella tasolla ja tieteellisessä laskennassa, vaikka on mahdollista, että vielä keskeneräinen HBM3 perii osan HBM-PIM:n ideoista.
