ChatGPT’nin cinsel içerikli ve şiddet içeren imajlar üretebildiği ortaya çıktı

OpenAI’ın en güncel ChatGPT sürümünün, basit bir istem manipülasyonu ile cinsellik ve aşırı şiddet içeren görseller üretebildiği ortaya çıktı. Bulgular, İngiltere merkezli yapay zeka güvenlik şirketi Mindgard tarafından paylaşıldı.

Keşfin odağında, ChatGPT’nin görüntü oluşturma özelliğinin en güncel genel sürümü olan OpenAI’ın GPT-5.4 modeli yer alıyor.  Araştırmacılar, internette daha önce mizahi sonuçlar üretmek amacıyla yaygın şekilde kullanılan bir istemi küçük değişikliklerle düzenleyerek ChatGPT’nin güvenlik önlemlerini aşmayı başardı. Konuyla ilgili BBC’ye konuşan Mindgard ekibi, yapay zekanın son derece rahatsız edici içerikler oluşturduğunu belirtti.

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

OpenAI ek güvenlik önlemleri uyguladı

OpenAI ise BBC’nin sorularının ardından söz konusu açığı incelediğini ve ilgili isteme karşı ek güvenlik önlemleri uyguladığını açıkladı. Şirket, “Bu eğilimi araştırdıktan sonra bu tür istemlere karşı ilave korumalar ekledik” ifadelerini kullandı.

Mindgard’ın yapay zeka güvenliği araştırmacısı Jim Nightingale, oluşturulan görsellerin kendisini derinden etkilediğini söyledi. Araştırmacılar tarafından üretilen görüntüler arasında ağır kafa travması geçirmiş bir erkek, kanlar içinde yerde yatan genç bir kadın ve bağlanmış halde korkmuş görünen yetişkin kadın figürleri yer aldı. Bazı görsellerde cinsel çağrışımlar ve çıplaklık unsurları da bulunduğu belirtildi.

Mindgard kurucusu ve Lancaster Üniversitesi Bilgisayar Bilimleri Profesörü Peter Garraghan, en endişe verici noktanın istemlerde bu tür içeriklerin açıkça talep edilmemesi olduğunu vurguladı. 

OpenAI, ChatGPT’nin görsel üretim sistemlerinde çok katmanlı güvenlik önlemleri bulunduğunu ve kullanıcıların politika ihlali içeren içerikler oluşturmasını engellemeye yönelik çeşitli filtreler kullandığını belirtti.

Şirketin kurallarına göre cinsel şiddet, rıza dışı mahrem içerikler, çocuk istismarı materyalleri ve güvenlik önlemlerini aşmaya yönelik girişimler yasaklanmış durumda. Buna rağmen Mindgard, yapılan ilk düzeltmelerin ardından küçük değişikliklerle güvenlik mekanizmalarının yeniden aşılabildiğini ve benzer içeriklerin üretilebildiğini iddia ediyor.

Sorunun nedeni, yapay zekanın niyeti ve bağlamı anlamaması

Humane Intelligence CEO’su ve yapay zeka uzmanı Dr. Rumman Chowdhury, sorunun temelinde yapay zeka modellerinin insanlardaki gibi niyet ve bağlam anlayışına sahip olmamasının yattığını söyledi. Chowdhury, “Modeller niyeti, bağlamı veya doğru ile yanlışı anlamıyor. Bu nedenle güvenlik önlemleri ile bunları aşmaya çalışan yöntemler arasında sürekli bir kedi-fare oyunu yaşanıyor” dedi.

Geçtiğimiz yıl İngiltere’nin AI Security Institute tarafından yapılan araştırmalar da birçok önde gelen yapay zeka sisteminin çeşitli “jailbreak” teknikleriyle güvenlik kurallarının aşılabildiğini ortaya koymuştu.

Uzmanlar, üretken yapay zeka sistemlerinin güvenliğini artırmak için önemli ilerlemeler kaydedildiğini ancak özellikle görsel üretim tarafında halen çözülmesi gereken ciddi zorluklar bulunduğunu belirtiyor.