RTX 4080’e Yapay Zeka Hızlandırıcısı Taktı, 32GB VRAM’a Ulaşıldı

Yüksek kaliteli dil modellerini çalıştırmak, ekran kartının geniş bir video belleğine (VRAM) sahip olmasını gerektiriyor. Ancak bir RTX 4080 sahibi, modern oyunları rahatlıkla oynatabilen sisteminin büyük dil modelleri (LLM) konusunda yetersiz kaldığını fark ederek ilginç bir modifikasyon gerçekleştirdi.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Kullanıcı, NVIDIA Tesla V100 ekran kartını kendi oyun bilgisayarına entegre ederek hem oyun hem de yapay zeka performansı elde etmeyi başardı. Bu süreçte karşılaşılan teknik zorluklar, özel adaptörler ve soğutma çözümleriyle aşıldı.

Tesla V100 kartını standart bir masaüstü anakarta bağlamak için SXM2-PCIe dönüştürücü adaptör kullanılması gerekti. Toplamda yaklaşık 266 dolara mal olan bu kurulum, 16GB HBM2 belleğe sahip olan kartın sisteme dahil edilmesini sağladı.

Tesla V100, 5.120 CUDA çekirdeği ve 900GB/s bant genişliği sunan 4.096-bit veri yolu ile dikkat çekiyor. Kartın üzerinde görüntü çıkışı veya standart PCIe güç bağlantısı bulunmaması, kurulum aşamasında modder için ek uğraş gerektirdi.

Soğutma sisteminin çıkardığı 82dB seviyesindeki yüksek gürültü, 9V pil ve PWM jumper kullanımıyla kontrol altına alındı. Fan hızı orijinal maksimum değerinin yüzde 10’una düşürülerek sistemin daha sessiz çalışması sağlandı.

Sisteme eklenen 32GB toplam VRAM, Qwen3.6 27B gibi modellerin çalıştırılması için gerekli alanı sağladı. Q5_K_M kuantizasyon seviyesinde 19GB yer kaplayan model, 128K token bağlam boyutuyla saniyede 32 token hızında çalıştırılabiliyor.

İşlem süreci saniyede 133 ile 160 token arasında değişen bir performans sergiliyor. Bu kurulum, 300 doların altında bir maliyetle internet bağlantısı gerektirmeyen yerel bir yapay zeka çalışma ortamı sunuyor.

Eski nesil sunucu odaklı ekran kartlarının bu tür ev tipi projelerde kullanılması, donanım meraklıları için yeni olanaklar yaratıyor. Sizce eski nesil profesyonel ekran kartlarını ev tipi sistemlerde kullanmak mantıklı bir yatırım mı?