Nvidia, evde bekleyen bilgisayarları yapay zeka kümesine dönüştürüyor

Nvidia, evdeki masaüstü ve dizüstü bilgisayarların kullanılmadıkları zamanlardaki işlem gücünü bir araya getiren Personal AI Router (PAIR) adlı açık kaynaklı aracını duyurdu. Ücretsiz bir şekilde sunulan yazılım, birden fazla bilgisayarı yerel yapay zeka görevleri için ortak bir sistem gibi çalıştırıyor.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Nvidia PAIR nedir?

Adındaki “Router” ifadesine rağmen PAIR, fiziksel bir ağ cihazı değil. Nvidia tarafından geliştirilen açık kaynaklı bir yazılım olan PAIR, aynı ağ üzerindeki uyumlu bilgisayarları otomatik olarak keşfedip birbirine bağlıyor ve yapay zeka çıkarım görevleri için ortak bir işlem havuzu oluşturuyor.

Sistem özellikle ajan tabanlı yapay zeka iş akışlarına odaklanıyor. Karmaşık görevleri daha küçük parçalara ayıran bu iş akışlarında, farklı bilgisayarların işlem gücünden paralel olarak yararlanılması hedefleniyor. Böylece tüm yükün tek bir ekran kartına binmesi ve işlem sırasında darboğaz oluşması önlenebiliyor.

PAIR, Nvidia GeForce RTX 20 serisi ve daha yeni ekran kartlarını, RTX Pro GPU‘ları ve DGX Spark sistemlerini destekliyor. Nvidia’nın verdiği bilgilere göre Apple’ın M4 ve daha yeni çipleri de sisteme dahil edilebiliyor.

Bilgisayarlar kullanılmadığında devreye giriyor

PAIR’ın en önemli özelliği, bilgisayarların boşta kalan işlem gücünü değerlendirmesi. Şirketin senaryosuna göre tek bir evde bile 165 TFLOPS’luk kapasite atıl durumda kalıyor.

Şirket bu işlem gücüne ekonomik açıdan da bakıyor. Nvidia, atıl kapasitenin bulut API hizmetleri üzerinden alınmasının aylık 1.200 dolar gerektireceğini söylüyor. Nvidia, elektrik tüketiminin maliyeti hesaba katıldığında bile evlerde halihazırda kullanılmadan bekleyen önemli miktarda işlem kapasitesi bulunduğunu savunuyor.

Sistem, evdeki cihazları sürekli tam kapasite çalıştırmak yerine kullanılmadıkları sırada yapay zeka görevlerine yönlendiriyor. Bu sayede kullanıcıların günlük bilgisayar kullanımının mümkün olduğunca etkilenmemesi amaçlanıyor.

Üstelik ağdaki cihazların durumu değiştiğinde sistem buna uyum sağlayabiliyor. Örneğin masaüstü bilgisayardaki RTX ekran kartı PAIR tarafından kullanılırken kullanıcı oyuna başladığında cihaz ağdaki ortak işlem havuzundan çıkarılabiliyor. Diğer bilgisayarlar ise çalışmaya devam ediyor. Bu yapı, özellikle çok sayıda küçük işlemin aynı anda yürütüldüğü ajan tabanlı görevlerde avantaj sağlayabilir.

Buna karşılık PAIR, bilgisayarların GPU’larını tek bir dev hızlandırıcı gibi birleştirmiyor. VRAM kapasitelerini havuzlamıyor, tek bir modeli farklı ekran kartlarına bölmiyor ve tek bir çıkarım isteğini makineler arasında parçalara ayırmıyor.

Birden fazla bilgisayarın birbirine bağlanması güvenlik açısından da bazı riskler oluşturduğu için Nvidia, PAIR’da cihazların eşleştirilmesi ve iletişimin korunması için iki aşamalı bir yapı kullanıyor. Cihazlar önce altı haneli bir kod aracılığıyla eşleştiriliyor. Ardından bilgisayarlar arasındaki iletişim, mTLS ile güvence altına alınıyor.

Nvidia PAIR beta sürümü bugün itibarıyla Windows, Linux ve macOS için kullanılabiliyor. Araç, yerel yapay zeka modellerini çalıştırmak için kullanılan Ollama ve LM Studio gibi yazılımlarla birlikte çalışacak şekilde tasarlanmış durumda.