Samsung'un HBM-PIM'i yapay zekayı hızlandıracak

Bu makaleyi yazarken anlamamız gereken ilk şey, HBM-PIM'in, değişken olsalar da, farklı bellek standartlarını oluşturmaktan sorumlu 300 şirketin komitesi olan JEDEC tarafından onaylanan bir standart olmadığıdır. veya ısrarcı. . Şu anda bu, Samsung'un yeni bir HBM belleği tipine dönüştürülebilen ve üçüncü taraflarca üretilebilen veya bu olmazsa Güney Kore dökümhanesinin özel bir ürününe dönüştürülebilen bir önerisi ve tasarımıdır.

Standart olsun ya da olmasın, HBM-PIM, Xilinx'ten Alveo AI Accelerator için tamamen satın alındığını hatırladığımız bir şirket olacak. AMD. Bu nedenle kağıt üzerinde bir kavram veya laboratuvar ürünü değildir, ancak bu tip HBM bellekler büyük miktarlarda üretilebilir. Elbette Xilinx Álveo, veri merkezlerinde kullanılan FPGA tabanlı bir hızlandırıcı karttır. Kitlesel pazar için bir ürün değildir ve kendi başına çok pahalı ve üretimi kıt olan, oyun grafik kartları gibi ticari ürünlerde kullanımını azaltan HBM belleğinin yalnızca bir çeşidi olduğunu unutmamalıyız. veya işlemciler.

Bellek içi hesaplama kavramı

Bilgisayarlarımızda çalıştırdığımız programlar, aralarında bir evlilik yoluyla çalışır. RAM ve işlemci, ki ikisini de tek bir çipe koyabilseydik mükemmel olurdu. Ne yazık ki, bu mümkün değildir ve sistem belleği ile merkezi işlem birimi arasındaki gecikmenin bir ürünü olan herhangi bir bilgisayarın mimarisinde bulunan bir dizi darboğaza yol açar:

• Daha fazla mesafe olduğu için, veriler daha yavaş iletilir.
• Enerji tüketimi, programı yürüten işlem birimi ile programın bulunduğu depolama birimi arasındaki boşluk arttıkça artar. Bu, aktarım hızının veya bant genişliğinin işlem hızından daha düşük olduğu anlamına gelir.
• Bu sorunu çözmenin genel yolu CPU, GPU veya APU'ya bir önbellek hiyerarşisi eklemektir; gerekli bilgilere daha hızlı erişim için verileri RAM'den kopyalar.
• Diğer mimariler, gömülü RAM olarak adlandırılan Scratchpad RAM'i kullanır, otomatik olarak çalışmaz ve içeriği program tarafından kontrol edilmelidir.

Bu nedenle, işlemciye entegre edilen RAM'in bir sorunu vardır ve transistörlerin büyük çoğunluğu depolamaya değil işleme talimatlarına adanmış olduğundan, fiziksel alan sınırlamaları nedeniyle içeride çok az veri depoladığı kapasitesidir.

Bellek içi hesaplama kavramı, DRAM veya gömülü SRAM'a kıyasla ters çalışır, çünkü bit hücrelerinin daha fazla ağırlığa sahip olduğu mantık eklediğimiz RAM'den bahsediyoruz. Bu nedenle, karmaşık bir işlemciyi entegre etme sorunu değil, alana özgü ve hatta donanıma bağlı veya sabit işlevli hızlandırıcılar.

Ve bu tür belleğin avantajları nelerdir? En azından her komut için herhangi bir işlemci üzerinde bir program çalıştırdığımızda, söz konusu CPU'ya atanan RAM'e erişim yapılır veya GPU. Bellek içi hesaplama fikri, PIM belleğinde depolanan bir programa sahip olmaktan ve CPU veya GPU'nun yalnızca tek bir çağrı talimatı kullanması ve bellek hesaplamadaki işlem biriminin programı yürütmesini ve son yanıtı döndürmesini beklemesinden başka bir şey değildir. diğer görevler için ücretsiz olan CPU'ya.

Samsung HBM-PIM'deki işlemci

Bir HBM-PIM çipinin yığınındaki çiplerin her birine küçük bir CPU entegre edilmiştir, bu nedenle depolama kapasitesi, onları entegreyi oluşturan mantık kapılarına atamak için bellek hücrelerine gidecek olan transistörlerin yönlendirilmesinden etkilenir. işlemci ve daha önce ilerlediğimiz gibi, çok basit.

• Bilinen herhangi bir ISA'yı kullanmaz, ancak toplamda çok az talimatla kendine ait: 9.
• Her biri 16 bit hassasiyete sahip iki adet 16 kayan nokta birimine sahiptir. İlk küme toplama, ikinci küme çarpma yapma yeteneğine sahiptir.
• SIMD tipinde bir yürütme birimi, yani bu bir vektör işlemcidir.
• Aritmetik yetenekleri şunlardır: A + B, A * B, (A + B) * C ve (A * C) + B.
• İşlem başına enerji tüketimi, CPU'nun aynı görevi yaptığı duruma göre %70 daha düşüktür, burada enerji tüketimi ve verilerle olan mesafe arasındaki ilişkiyi hesaba katmalıyız.
• Samsung, bu küçük işlemciyi PCU adı altında vaftiz etti.
• Her işlemci yalnızca parçası olduğu bellek yongasıyla veya tüm yığınla çalışabilir. Ayrıca HBM-PIM'deki birimler birlikte çalışarak algoritmaları veya onu gerektiren programları hızlandırabilir.

Basitliğinden de anlaşılacağı gibi, karmaşık programları yürütmek için uygun değildir. Buna karşılık Samsung, onu Makine Öğrenimi algoritmalarını hızlandıran bir birim olarak ilişkilendirdiğimiz fikri altında tanıtıyor, ancak vektör ve tensör olmayan bir işlemci olduğu için karmaşık sistemleri de kaldıramıyor. Dolayısıyla bu alandaki yetenekleri çok sınırlıdır ve ses tanıma, metin ve ses çevirisi vb. gibi fazla güç gerektirmeyen şeylere odaklanır. Hesaplama kapasitesinin 1.2 TFLOPS olduğunu unutmayalım.

HBM-PIM'i bilgisayarlarımızda görecek miyiz?

Samsung'un HBM-PIM'in avantajlarına bir örnek olarak verdiği uygulamalar, bilgisayarlarımızdaki diğer bileşenler tarafından zaten daha yüksek bir hızda hızlandırılıyor, dahası, bu tür bir bellek üretmenin yüksek maliyeti, bir süre içinde kullanımını zaten dışlıyor. ev bilgisayarı. Yapay zeka konusunda uzman programcılarsanız en güvenlisi bilgisayarlarınızda Samsung'un HBM-PIM'inden çok daha yüksek işlem kapasitesine sahip donanımların olması.

Gerçek şu ki, Güney Koreli devin pazarlama departmanının yapay zeka hakkında konuşması kötü bir seçim gibi görünüyor. Ve evet, herkesin ağzındaki modaya uygun teknoloji olduğunu hesaba katıyoruz, ancak HBM-PIM'in yeteneklerini kullanabileceği başka pazarlara da sahip olduğunu düşünüyoruz.

Bu uygulamalar nelerdir? Örneğin, yüzlerce şirketin günlük olarak kullandığı büyük veri tabanlarında bilgi aramayı hızlandırmaya hizmet ediyor ve yılda milyonlarca dolar hareket eden devasa bir pazar olduğuna inanıyoruz. Her halükarda, hala bitmemiş HBM3'ün HBM-PIM'in fikirlerinin bir kısmını devralma olasılığı olmasına rağmen, yerel düzeyde ve bilimsel hesaplamada kullanıldığını görmüyoruz.