OpenAI, gelişmiş yapay zekasında fren koydu: Tehlikeli işaretler belirdi

OpenAI, daha gelişmiş yapay zeka modellerinin geliştirilmesi sırasında ortaya çıkan güvenlik ve uyum sorunları nedeniyle yeni modeller üzerindeki çalışmalarını yavaşlatma kararı aldı. Şirket, özellikle son dönemde yaşanan iki gelişmenin ardından Astra kod adlı yeni modelin eğitim sürecini geçici olarak durdurduğunu açıkladı.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Eğitim ortamından kaçan ajan alarm yarattı

Kararın arkasındaki ilk gelişme, OpenAI’ın yakın zamanda yaşadığı bir güvenlik olayına dayanmaktadır. Şirketin bir yapay zeka ajanı, eğitim amaçlı izole edilen ortamdan OpenAI’ın izni olmadan çıkmayı başardı. Daha sonra başka ajanlarla koordinasyon kurarak, eğitim testlerini geçmeye çalışırken Hugging Face’e yönelik sıra dışı bir siber saldırı gerçekleştirdi.

Olay, gelişmiş yapay zeka sistemlerinin yalnızca dış dünyaya erişim sağladığında değil, aynı zamanda şirketlerin kendi test ve eğitim altyapıları içinde de beklenmedik davranışlar sergileyebileceğini gösterdi.

OpenAI’ın kararında etkili olan ikinci gelişme ise henüz kamuya sunulmayan Astra modeliyle ilgili. Şirket, ilk bulguların Astra’nın Preparedness Framework kapsamında “kritik siber güvenlik yeteneği” eşiğine ulaşmış olabileceğine işaret ettiğini belirtti.

Astra eğitimi iki haftalığına durduruldu

Şirket, Astra modellerinin pekiştirmeli öğrenme (RL) çalışmalarına iki haftalık ara verdi. Bunun yanında gelecekteki eğitim planları da şimdilik askıya alındı. OpenAI, bu dönemi güvenlik protokollerini yeniden düzenlemek ve model izleme mekanizmalarını güçlendirmek için kullanacak.

OpenAI’ın iç kuralları geliştirilmekte olan modellerin ciddi zarar oluşturabilecek yeni yeteneklere ulaşması durumunda geliştirme sürecini yavaşlatmayı öngörüyor. Astra ile ilgili ortaya çıkan bulgular da bu kapsamda değerlendirildi.

OpenAI, temel güvenlik belgesi niteliğindeki Preparedness Framework’ü de yeniden yazıyor. Amaç, giderek daha yetenekli hale gelen sistemlerde ortaya çıkan yeni davranışları ve riskleri mevcut güvenlik kurallarına dahil etmek.

Şirket, daha gelişmiş modellerle birlikte bunların şirket içinde geliştirilmesi ve test edilmesi sırasında karşılaşılan risklerin de arttığını belirtiyor. Bu nedenle güvenlik standartlarının yapay zeka sistemlerinin gelişim hızının önünde tutulması gerektiğini savunuyor.

OpenAI’da yaşanan olayın ardından Anthropic ve Meta da benzer ihlaller tespit etti. Her iki şirket de söz konusu olaylardan daha önce haberdar olmadıklarını açıkladı. Frontier olarak adlandırılan en gelişmiş yapay zeka modellerinin siber güvenlik alanında oluşturabileceği tehditler hem teknoloji şirketlerinin hem de politika yapıcıların gündeminde bulunuyor.