Google Research, yapay zeka alanında gizliliğe odaklanan yeni bir model tanıttı. Şirket, diferansiyel gizlilik yöntemiyle sıfırdan eğitilmiş güçlü bir büyük dil modeli olan VaultGemma’yı duyurdu. 1 milyar parametreye sahip model, Hugging Face ve Kaggle üzerinden herkese açık olarak yayımlandı. Bu sayede hem araştırmacılar hem de şirketler, bu modeli indirip kullanabiliyor.
Google, VaultGemma teknolojisini duyurdu
VaultGemma, diferansiyel gizlilik adı verilen bir yöntemle eğitildi. Bu yöntem, kullanıcı verilerinin doğrudan hatırlanmasını engellemek için eğitim sırasında kontrollü şekilde gürültü ekliyor. Bu yaklaşım eğitim sürecinde zorlukları beraberinde getiriyor ve modelin stabil şekilde öğrenmesi için çok daha büyük veri grupları ile yüksek hesaplama gücü istiyor.
Google, DeepMind ile yürüttüğü çalışmalarla bu süreci yönetecek yeni ölçeklenme yasaları tanımladı ve böylece gizlilik ile performans arasında bir denge kurarak VaultGemma’yı geliştirdi.
Modelin en önemli teknik özelliği yalnızca 3 milyar aktif parametreyle çalışması. Bu yapı, performanstan ödün vermeden verimlilik sağlıyor. Aynı zamanda 256 bin token uzunluğundaki metinleri tek seferde işleyebiliyor ve RoPE yöntemleriyle bu sınır 1 milyon tokene kadar çıkabiliyor. Bu rakam, günümüzün en gelişmiş ticari yapay zeka modelleriyle aynı seviyeye ulaşıyor.
VaultGemma’nın en dikkat çekici yanlarından biri sağladığı gizlilik güvencesi. Model, ε ≤ 2.0, δ ≤ 1.1e-10 gibi sıkı bir gizlilik garantisiyle eğitildi. Bu garanti, tek bir eğitim örneğinin model çıktıları üzerinde belirgin bir etki bırakmasını matematiksel olarak engelliyor.
Google’ın yaptığı testler, VaultGemma’nın eğitim sırasında gördüğü verileri ezberlemediğini ve yeniden üretemediğini doğruladı. Performans açısından VaultGemma, beş yıl önceki GPT-2 gibi modellerle aynı seviyede sonuçlar veriyor.
Bu durum, gizlilik için harcanan hesaplama maliyetinin halen yüksek olduğunu gösterse de, modern diferansiyel gizlilik yöntemlerinin artık pratikte kullanılabilir bir noktaya geldiğini ortaya koyuyor. Google bu çalışmayla birlikte, topluluğa hem açık kaynaklı bir model hem de gelecekteki gizlilik odaklı yapay zeka geliştirmeleri için güvenilir bir yol haritası sunmuş oldu.
