Nvidia, yapay zekaları kontrol altına almak için yeni sistem tanıttı

Nvidia, son dönemde artan ve şirketlerin sistemlerini hedef alan yapay zeka kaynaklı güvenlik olaylarına karşı Open Agent Safety Platform‘u geliştirdi. Şirketin pazartesi günü duyurduğu platform, yapay zeka ajanlarının kendilerine tanımlanan sınırları aşmaya çalışması durumunda devreye girerek ilgili ajanı milisaniyeler içinde karantinaya alabiliyor.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Ajanlar daha sıkı denetlenecek

Sistem, Nvidia’nın açık kaynaklı OpenShell yazılımını ve ayrı bir donanım üzerinde çalışan Sentry güvenlik teknolojisini birleştiriyor. Temel amaç, güvenlik kontrollerini yapay zeka ajanının çalıştığı ortamdan ayırmak.

OpenShell, yapay zeka ajanlarının erişebileceği bilgiler ve gerçekleştirebileceği işlemler için politikalar belirliyor. Kullanıcılar, ajanın görevini yerine getirmesi için gereken izinleri tanımlayabiliyor. Yazılım, bu kuralları görev başlamadan önce ve işlem süresince kontrol ediyor.

Nvidia, OpenShell’in hem açık hem de kapalı kaynaklı yapay zeka modellerini desteklediğini ve Vera CPU işlemcilerinde düşük ek yükle çalıştığını belirtiyor. Açık kaynak yapısı sayesinde yazılım, Arm ve Intel gibi üçüncü taraf işlemcilere de uyarlanabilir. OpenShell, Nvidia’nın geliştirici kaynakları ve GitHub üzerinden erişilebilir.

Kritik bileşen, Sentry

Platformun ikinci bileşeni Sentry, güvenlik denetimini ajanın çalıştığı sistemden bağımsız hale getiriyor. Nvidia’nın BlueField-4 veri işleme birimleri (DPU) üzerinde çalışan teknoloji, ajanların davranışlarını izole edilmiş bir ortamdan takip ediyor ve belirlenen güvenlik politikalarını uyguluyor.

Sentry, ayrı bir işlemci üzerinde çalışarak yapay zeka ajanının kendi güvenlik kontrollerine müdahale etmesini engelliyor. Nvidia’ya göre sistem, sınırların dışına çıkmaya çalışan bir ajana milisaniyeler içinde karantina uygulayabiliyor.

Nvidia ayrıca birden fazla ajanın birlikte çalışarak kısıtlamaları aşmaya çalışması ihtimalini de ele alıyor. Şirketin Reuters’a verdiği bilgilere göre platform, ajanların alt ajanlar oluşturarak güvenlik kurallarını dolanmasını tespit etmek için matematiksel yöntemlerden yararlanıyor. Böylece yalnızca tek bir ajanın davranışları değil, birlikte çalışan ajan gruplarının faaliyetleri de denetlenebiliyor.

Öte yandan Nvidia, yeni platform için sektör genelinden de geniş destek görüyor. Anthropic, Microsoft, Cisco, Dell ve SpaceX, platformu destekleyen kuruluşlar arasında yer alıyor. Nvidia’nın açıklamasına göre platformun arkasında 100’den fazla kuruluş bulunuyor.