Yapay zekalarda “mobil” devrimi: iPhone’da çalışabilen dev model

Haberi okuduğunuz için teşekkürler, bizi takip etmeyi unutmayın!

Yapay zeka modelleri ölçekleme yasası doğrultusunda giderek büyümeye devam etse de bu yaklaşım özellikle telefon, bilgisayar ve robotlar gibi cihazlarda ciddi donanım ve enerji gereksinimi yaratıyor. ABD merkezli AI girişimi PrismML ise model boyutunu büyütmek yerine “zeka yoğunluğu” kavramına odaklanarak aynı donanımla daha yüksek performans sunmayı hedefliyor.

Farklı bir yöntem kullanıyor

PrismML, yalnızca belirli katmanları küçülten geleneksel kuantizasyon yöntemlerinden farklı olarak tüm modeli 1-bit veya üçlü (ternary) ağırlık yapısına dönüştürüyor. Şirket ayrıca bu yapı için özel çıkarım çekirdekleri geliştirerek sıkıştırılmış ağırlıkların doğrudan kullanılmasını sağlıyor. Böylece model boyutu, bellek kullanımı ve veri aktarımı önemli ölçüde azaltılıyor.

Mart 2026’da tanıtılan ve bu tekniği kullanan 1-bit Bonsai 8B, şirketin ticari kullanıma uygun ilk modeli olmuştu. PrismML’ye göre model, Llama 3 8B’den 14 kat daha küçük, 8 kat daha hızlı ve 4-5 kat daha verimli çalışıyor. Yaklaşık 1,15 GB boyutundaki model, M4 Pro işlemcili Mac’te 131 token/saniye, RTX 4090’da 368 token/saniye, iPhone 17 Pro Max’te ise 44 token/saniye hızına ulaşıyor.

27 milyar parametreli model iPhone’da çalışıyor

Şirketin yeni modeli Bonsai 27B ise Qwen3.6 27B temel alınarak geliştirildi. PrismML, bunun aynı kapasitedeki modeller arasında akıllı telefonda yerel olarak çalışabilen ilk model olduğunu iddia ediyor.

Model, MLX üzerinden Mac, iPhone ve iPad’de, CUDA ile Nvidia GPU’larda çalışabiliyor. 1-bit sürümü RTX 5090’da 163 token/saniye, üçlü sürümü 134 token/saniye hız sunarken, M5 Max işlemcili Mac’te sırasıyla 87 ve 58 token/saniye seviyesine ulaşıyor.

Şirkete göre yaklaşık 4 GB boyutundaki 1-bit Bonsai 27B, iPhone 17 Pro Max gibi 12 GB RAM’li iPhone’larda çalışabilen ilk 27 milyar parametreli model konumunda. Bu model, normal şartlarda 54 GB yer kaplıyordu.

Apple teknolojiyi değerlendiriyor

CNBC’ye konuşan PrismML CEO’su Babak Hassibi, Apple’ın da aralarında bulunduğu çeşitli şirketlerin PrismML modellerini hız, enerji verimliliği ve cihaz üzerindeki performans açısından test ettiğini söyledi.

Hassibi, Apple ile görüşmelerin henüz erken aşamada olduğunu vurgulayarak, “Şu anda teknolojimizi gerçekten değerlendiriyorlar” dedi. Görüşmelerin henüz çok erken aşamada olduğunu belirten Hassibi, bunların nereye varacağının belirsiz olduğunu ancak “işlerin iyi bir şekilde ilerlediğini” ifade etti. Apple ise konuya ilişkin yorum yapmadı.