Yapay zeka için mükemmel bir bellek: Raptor 3D-DRAM

Yapay zeka işlemcilerinde belleğe erişim hızını artırmaya odaklanan d-Matrix, Hot Chips 2026 etkinliğinde Raptor adlı yeni hızlandırıcı mimarisini tanıttı. Şirket, geleneksel HBM yaklaşımından farklı olarak DRAM yongalarını işlemci mantığının yanına değil, doğrudan altına yerleştiriyor.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Raptor’da TSMC’nin N4 üretim sürecinde hazırlanan bir mantık yongası, özel tasarlanmış DRAM’in üzerine yerleştiriliyor. Bu yapı, işlemci ile bellek arasındaki bağlantıyı önemli ölçüde kısaltıyor. d-Matrix, bunun daha yüksek bant genişliği ve daha düşük veri aktarım gücü sağlayabildiğini belirtiyor.

100 TB/s üzerinde bant genişliği sağlıyor

Raptor’un 3D-DRAM tasarımı 32 GB bellek kapasitesi ve 100 TB/s’nin üzerinde bant genişliği sunuyor. d-Matrix’in karşılaştırmasına göre 192 GB HBM4 kullanan bir yapı yaklaşık 18 TB/s bant genişliğine ulaşabiliyor.

Şirket bu mimariyi özellikle oyun ekran kartlarından ziyade yapay zeka iş yükleri için geliştiriyor. Bunun temel nedenlerinden biri, büyük dil modellerinin çözümleme aşamasında belleğe yönelik yoğun erişim ihtiyacı.

Dolayısıyla Raptor’un asıl öne çıktığı alan sunduğu veri aktarım kapasitesi. HBM çok daha büyük miktarda veri barındırabilirken d-Matrix’in 3D-DRAM yaklaşımı daha küçük bir veri havuzuna çok daha hızlı erişim sağlamayı hedefliyor.

Bir dil modeli her yeni tokenı üretirken model verilerine ve KV cache olarak adlandırılan önbelleğe tekrar tekrar erişmek zorunda kalıyor. Bu aşamada performans, işlem gücünden çok bellek bant genişliği tarafından sınırlandırılabiliyor. Yeni çözüm de buradaki darboğazı azaltıyor.

Yeni sorunlar ortaya çıkıyor

Ancak Raptor’un ulaştığı 100 TB/s üzerindeki hızın yine de yüksek bir güç maliyeti var. Sistem, yalnızca bellek ile veri alışverişi için yaklaşık 296 W güç harcıyor. d-Matrix ayrıca Raptor’un, Nvidia’nın Rubin R200 HBM4 çözümüne kıyasla aynı alanda yaklaşık 20 kat daha fazla bant genişliği sunduğunu ve bant genişliği başına 13,5 kat daha az güç tükettiğini belirtiyor.

Raptor henüz ticari bir ürün değil

Belleği işlemciye çok yakın yerleştirmek, verilerin daha az enerji harcayarak aktarılmasını da sağlıyor. d-Matrix, Raptor’daki bellek bağlantısının bit başına HBM4’e kıyasla yaklaşık 5 ila 8 kat daha az enerji harcadığını söylüyor.

Raptor şu aşamada tamamlanmış ve piyasaya çıkmış bir ürün değil. Hot Chips 2026 sunumunda, planlanan ticari hızlandırıcının özellikleri ve hedeflenen teknik değerler paylaşıldı.

Şirket, teknolojinin temelini oluşturan yapıyı Pavehawk adlı 3D-DRAM test çipiyle çalışır durumda göstermişti. Bu da teknolojinin sadece bir konseptten ibaret olmadığına işaret ediyor.

Bununla birlikte DRAM’i yüksek güç tüketen işlemciye bu kadar yakın konumlandırmak ısı, bellek yenileme ve güvenilirlik sorunlarını beraberinde getiriyor. Ayrıca 32 GB kapasite, HBM tabanlı yapay zeka hızlandırıcılarına göre oldukça düşük kalıyor. d-Matrix bu sorunları aşmak için daha hızlı yenileme, ECC hata düzeltme ve yedek bellek bankaları kullanıyor.