Det var på CES 2022 tidigare i år när NVIDIA avslöjade några av sina nyheter för vad de presenterade idag, sina nya servrar baserade på Grace-plattformen, det senaste inom HPC och AI. Och det är att dessa servrar kommer att omdefiniera alla sektorer på marknaden där de kommer in, sedan NVIDIA har visat HGX Grace Data Center modeller som den planerar att inkludera och... Med mer än 12,000 1 kärnor och XNUMX TB RAM, kommer de att vara referensen att slå.
Flera företag kommer att göra någon av de fyra typer av servrar som NVIDIA har designat tillgänglig för sina kunder: ASUS, Foxconn, GIGABYTE, OCT, Supermicro och Wiwynn, där deras anpassning kommer att höja de fyra typerna av Huang-modeller till över ett dussin olika företagsservrar. De kommer om ett år, 2023, men vi har redan hjärtat och den maximala konfigurationen av dem alla på bordet: HGX Grace CPU Superchips och Grace Hopper Superchip.
NVIDIA HGX Grace: den monstruösa servern med 12,096 XNUMX kärnor
Som alltid är de detaljer som inte sägs viktigast, eftersom de avslöjar data som företaget inte vill visa fast de ligger framför oss. HGX Grace-servrar representerar det största jättesprånget i denna värld som man minns.
De kommer att bära NVIDIA Grace Superchip CPU, det vill säga två processorer som är sammanhängande anslutna via NVLink C2C baserat på ARM V9 Neoverse och designad för AI- och HPC-infrastruktur. Den består därför av vad NVIDIA kallar en CPU-CPU-modul och har för varje PCB som integrerar den inte mindre än 144 kärnor med LPDDR5X-minne med upp till 1 TB per rack och en bandbredd på inte mindre än 1 TB / s .
Alla konsumerar 500 watt och att kunna kyla med luft eller vatten. Det mest imponerande här är att NVIDIA tillåter servrar med upp till 84 noder per rack, vilket är en enorm 12,096-kärnor totalt. Med tanke på att HGX Grace är 1.5 gånger snabbare än DGX A100 till att börja med, kan vi redan föreställa oss besten som det gröna laget har skapat.
HGX Grace Hopper: CPU och GPU på en PCB
Den här typen av server satsar på det andra alternativet i NVIDIA. Och det är att här har vi inte två processorer, utan processor och GPU på samma substrat, som kommunicerar igen av NVLink C2C för att få en högpresterande koherent minnesmodell som kommer att kopplas samman kl. 900 GB / s är 7 gånger snabbare än PCIe 5.0-bussen.
Vad NVIDIA har skapat är den ultimata multitasking-servern, som kan arbeta med vilken som helst av företagets mjukvarustackar, oavsett om det gäller HPC, AI eller Omniverse , så det är mångfacetterat. Schemat att följa är enkelt här med dessa HGX Grace Hopper servrar, kommer var och en att integrera en 4nm Hopper GPU med en Grace CPU, där var och en kommer att ha sitt eget minne, den första har inte mindre än 80 GB HBM3 och den andra 512 GB LPDDR5X tillgängliga.
Detta läggs till den totala bandbredden skulle ge oss 3.5 TB / s med en total förbrukning på 1000 watt per ställ och har möjlighet att kylas med luft eller vatten. NVIDIA säkerställer det 42 noder per ställ kan installeras i HGX Grace Hopper.
Serverdesigner och din portfölj
Det kommer att finnas fyra specifika konstruktioner beroende på den arbetsbelastning som tillverkarna kan behöva, där inom dessa fyra typer kan var och en konfigurera och anpassa dem efter sina behov, vilket ger ett brett utbud av fördelar och priser:
- NVIDIA HGX Grace Hopper system för AI-träning, slutledning och HPC är tillgängliga med Grace Hopper Superchip och NVIDIA BlueField-3.
- NVIDIA HGX Grace System för HPC och Supercomputing: Har en design som endast är CPU med Grace CPU Superchip, BlueField-3 och NVIDIA GPU:er.
- NVIDIA OVX system för digitala tvillingar och kollaborativa arbetsbelastningar har Grace CPU Superchip, BlueField-3 och NVIDIA.
- NVIDIA CGX System för grafik och molnspel har Grace Superchip-processorer, BlueField-3 och NVIDIA A16 GPU:er.
Som väntat har inga priser avslöjats ännu, eftersom vi är ett år kvar till dess officiella lansering, så det är att förvänta sig att NVIDIA under denna tid kommer att avslöja kostnaderna, vilket säkert inte kommer att vara billigt.