Sedan en tid tillbaka har grafikkort lagt till fler och fler funktioner, till den grad att de inte bara går längre än att generera realistisk grafik på vår skärm, utan också stödjer framväxten av artificiell intelligens. Detta har möjliggjort skapandet av tjänster över Internet för generering av automatiska bilder som t.ex DALL-E eller andra tjänster som t.ex ChatGPT. Men, vad kostar det att kunna skapa en AI-tjänst baserad på hårdvara?
Trots det faktum att vi fortfarande har en lång väg kvar att gå inom området artificiell intelligens, uppkomsten av tjänster där de, genom att placera en rad nyckelord eller fraser, kan generera en berättelse i text eller, om det inte, en bild som kan vara mer eller mindre korrekt. Och trots nivån av misslyckanden som den här tekniken har, är många människor fascinerade av den, men de är omedvetna om att en nivå av komplexitet behövs och att det är omöjligt att emulera även på den mest kraftfulla datorn som du kan montera med den dyraste komponenter som du kan hitta just nu.
Hur mycket kostar hårdvaran ChatGPT eller Dall-E?
Tja, många tusen euro, om inte tiotals euro, eftersom mängden data de hanterar för att göra sitt jobb och mängden kraft som behövs för att göra det kräver konfigurationer av tiotals och till och med hundratals grafikkort. Inte bara för att generera svaren från slutledningsalgoritmen, vilket är vad användaren interagerar med, utan också för att träna AI:n, det vill säga att lära sig värdena och dra sina egna slutsatser.
Hårdvaran som används i många av dessa fall är NVIDIA DGX SuperPOD , en server byggd av NVIDIA som består av hundratals grafikkort, men inte för spel, utan de som används för högpresterande datorer. Tänk till exempel att priset på en NVIDIA H100 kan kosta oss totalt 5,000 9 euro och vi har till och med modeller som går till femsiffriga, detta är mycket mer än vad en stående användare kommer att spendera på sin dator, även med en i4090 senaste generationen och en RTX XNUMX idag.
Och högt, att saken inte slutar där. Datavolymen är sådan att den inte får plats på ett grafikkort och det är nödvändigt att använda flera av dem. ChatGPT kräver till exempel team med 8 grafikkort av denna typ, en kostnad på minst 40,000 XNUMX euro per server som ett minimum. Och om vi pratar om Dall-E, som hanterar bilder och är mer komplex, så kan kostnaden skjuta i höjden med flera dussin. Så vi har fortfarande lång tid på oss att ha något sådant här på inhemsk nivå och för detta måste vi vänta ett helt decennium för att ha något av denna kapacitet i vår hemdator.
Minnet är den största flaskhalsen för att uppnå det
Allt detta beror på mängden information som den artificiella intelligensalgoritmen kräver för att dra sina slutsatser, precis som det händer med den mänskliga hjärnan som drar slutsatser från den information och kunskap den har. Så du kommer att behöva lagra internetsökningsdata som grund för att utföra ditt jobb. Vilket är enormt och tvingar till användning av extremt dyr infrastruktur.
Dessutom är de inte helt funktionella, man måste bara se vissa avvikelser som ChatGPT ger som svar på vissa frågor eller teckningarna värda de värsta mardrömmarna och utan någon känsla som Dall-E ibland visar oss och som vi inte vet hur han kunde komma till en sådan slutsats. Även om det måste erkännas att vissa till och med är nyfikna och värda att rama in, men det är fortfarande många år kvar innan de inte har så hög felmarginal vad gäller vad de tillfrågas och vad de visar.
