Nvidia, GPU’larda yerel yapay zekâ kurulumunu basitleştiriyor

Nvidia, yerel olarak çalışan yapay zekâ modelleri ve otonom ajanlar için RTX ve DGX platformlarına yönelik yeni geliştirmeleri duyurdu. Şirket, açık kaynaklı llama.cpp ve vLLM topluluklarıyla yapılan optimizasyonların bazı iş yüklerinde performansı önemli ölçüde artırdığını açıkladı. Yeni geliştirmeler özellikle yerel yapay zekâ çıkarımı yapan kullanıcıları ilgilendiriyor.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Nvidia, RTX ve DGX sistemlerinde token üretim hızında önemli artışlar elde etti. Şirketin sağladığı verilere göre GeForce RTX 5090 gibi üst seviye RTX GPU’larında llama.cpp kullanılarak yapılan testlerde Qwen3.6-27B modelinde token üretim hızı %50’ye kadar yükseldi. Daha büyük Qwen3.6-35B modelinde ise hızlanmanın %90’a kadar ulaştığı bildirildi.

DGX Spark platformunda ise Qwen3.6-27B modeliyle gerçekleştirilen vLLM testlerinde 1,4 katına kadar hızlanma gözlemlendi. DeepSeek v4 Flash ile yapılan yapay zekâ çıkarım işlemlerinde ise yaklaşık %20’lik bir artış yaşandı. Nvidia, bu performans kazanımlarının yeni çekirdek optimizasyonları sayesinde elde edildiğini belirtti.

Nvidia’nın ikinci önemli duyurusu, yerel yapay zekâ kullanımını daha erişilebilir kılmayı hedefliyor. Şirket, 24 GB veya daha yüksek VRAM kapasitesine sahip Nvidia GPU’lar için çeşitli yapay zekâ ajanlarında kolaylaştırılmış kurulum desteği sunacak. Bu destek ilk aşamada üç önemli platformu kapsıyor: Hermes Agent, OpenClaw ve Perplexity Computer.

Bu sonuçlar, SpeedBench-Coding 8K Throughput testi ve AIPerf kullanılarak ölçüldü. Optimizasyonlar yalnızca oyuncu odaklı RTX ekran kartlarıyla sınırlı değil. RTX PRO 6000 Blackwell ekran kartında vLLM üzerinden gerçekleştirilen testlerde, ilgili modellerde yüzde 20’ye kadar performans artışı sağlandığı belirtiliyor.

Nvidia, Microsoft ve OpenClaw tarafından geliştirilen Windows uygulaması da benzer şekilde 24 GB ve üzeri VRAM’e sahip RTX GPU’larda optimize edilmiş yerel modellerin daha kolay kurulmasını sağlayacak.

Perplexity Portable Computer’ın eylül ayında Windows ve Linux’taki uygun RTX sistemlerine gelmesi planlanıyor. Kullanıcılar iş akışlarını yerel olarak çalıştırabilecek, ihtiyaç halinde ise buluttaki gelişmiş modellere geçebilecek. Hermes Agent tarafında sistem, Nvidia GPU’yu otomatik olarak algılayarak uygun model ve yapılandırmayı seçebilecek. Böylece manuel model indirme ve ayar yapma ihtiyacı azaltılacak.

Güncellemeler, speculative decoding tekniklerinin geliştirilmesini ve modelin ilk veri işleme aşamasının hızlandırılmasını içeriyor. Nvidia’nın paylaştığı verilere göre bazı iş yüklerinde elde edilen toplam hızlanma 1,9 kata kadar çıkabiliyor.