9to5Mac tarafından “OpenAI, ChatGPT, Codex ve API için yeni metin filigranlama sistemini duyurdu” başlığıyla aktarıldığı kadarıyla,
OpenAI, üretken yapay zekâ sistemleri sağlayıcılarının yapay zekâyla üretilen metinleri belirgin biçimde işaretlemesini gerektiren AB Yapay Zekâ Yasası’na uyum konusunda izleyeceği yöntemi açıkladı.
Genel çerçeve
Birkaç ay önce Anthropic, Claude’un metin çıktılarını filigranlama kararı tartışmalara yol açmıştı. Şirket, AB Yapay Zekâ Yasası’na uyum sağlamak amacıyla bazı kelime seçimlerinin ölçülü biçimde değiştirileceğini bildirmişti.
Claude, eşit derecede uygun seçenekler arasında gizli bir örüntüye göre belirli kelimeleri tercih ediyor. Anthropic, bu düzenlemenin yanıtların anlamını, kalitesini veya okunabilirliğini pratik ölçüde etkilemediğini açıklıyor.
Anthropic ayrıca, metinlerdeki bu örüntüyü arayarak bir içeriğin Claude tarafından üretilmiş olma olasılığını değerlendiren bir dedektör geliştirdi.
Dedektör, Claude’a özgü gizli bir anahtarla oluşturulan filigranı tanıdığı için OpenAI veya başka bir rakip tarafından üretilmiş metinleri belirlemek için kullanılamıyor.
Anthropic, Claude’un bu konudaki tartışmayla birlikte tek başına olmadığını ve AB gerekliliklerine uyum amacıyla başka birçok büyük yapay zekâ sağlayıcısının da işaretleme sistemleri geliştirdiğini belirtmişti.
OpenAI’in açıklanan çözümü benzer bir yaklaşıma dayanıyor; ancak başlangıç aşamasında daha sınırlı bir kullanım ve kapsama alanına sahip.
OpenAI’in metin filigranlama sistemi
OpenAI, açıklamanın yapıldığı günden itibaren dünya genelindeki API müşterilerinin seçili modeller için metin filigranlamayı etkinleştirebileceğini, izleyen haftalarda ise uygun ChatGPT ve Codex metin çıktılarına AB’de görünmez filigran ekleneceğini duyurdu.
Buna göre API’de filigranlama özellikle varsayılan olarak kapalı kalacak. ChatGPT ve Codex’te ise özellik ilk aşamada yalnızca AB’deki uygun kullanıcılara uygulanacak.
OpenAI ayrıca metin filigranı dedektörüne erişim için başvuruları açarak teknolojinin değerlendirilmesi ve geliştirilmesi amacıyla ilk aşamada onaylı araştırmacılara ve uzman kuruluşlara erişim sağlayacak.
Dedektörün doğruluğu konusunda önemli sınırlamalar bulunduğunu belirten OpenAI, kısa metinlerde veya matematik gibi kelime seçiminin daha sınırlı olduğu belirli alanlarda yanlış negatif ve yanlış pozitif sonuçlar üretilebileceğini açıkladı.
OpenAI, metin filigranlama teknolojisi textGrain’i şu şekilde tanımladı:
textGrain, modelin kelime seçimlerine görünmez bir istatistiksel sinyal ekliyor. OpenAI dedektörü, bir metinde şirketin filigranının bulunup bulunmadığını değerlendirmek üzere bu sinyali arıyor. Teknolojinin çalışma yöntemine ilişkin ayrıntılar, önümüzdeki haftalarda genişletilecek teknik raporda yer alacak. OpenAI ayrıca teknolojiyi açık kaynak olarak sunmayı ve başka sistemlerin bu alanda geliştirme yapmasını sağlamayı planlıyor.
Kısa içeriklerde filigranın tespit edilmesi daha zor olmanın yanı sıra metin düzenlemeleriyle belirgin biçimde zayıflatılabiliyor:
400 jetonluk bölümler üzerinde yapılan değerlendirmede, kelimelerin yüzde 10’unun eş anlamlılarla değiştirilmesi filigranın tespit oranını yaklaşık yüzde 92’den yüzde 66’ya düşürdü. Kelimelerin yüzde 25’inin değiştirilmesi ise bu oranı yüzde 17’ye indirdi.
OpenAI’in filigranlı ve filigransız metinler üzerinde yaptığı karşılaştırmada, filigranlı çıktılar bazı kıdemli değerlendirme testlerinde biraz daha yüksek puanlar aldı. Şirket, genel performans bakımından anlamlı bir fark bulunmadığını bildirdi.
Astra’nın en yüksek ayarında elde edilen sonuçlar şöyleydi:
- Artificial Analysis Intelligence Index: Filigransız metin 49,57 puan, filigranlı metin 49,76 puan aldı.
- AutomationBench: Filigransız metin yüzde 34,09, filigranlı metin yüzde 34,86 puan aldı.
- DeepSWE v1.1: Filigransız metin yüzde 72,80, filigranlı metin yüzde 71,68 puan aldı.
- Terminal-Bench 4.0: Filigransız metin yüzde 53,90, filigranlı metin yüzde 56,06 puan aldı.
- Terminal-Bench Science 0.1: Filigransız metin yüzde 56,90, filigranlı metin yüzde 60,00 puan aldı.
- BrowseComp: Filigransız metin yüzde 87,92, filigranlı metin yüzde 87,35 puan aldı.
- HealthBench Professional: Filigransız metin yüzde 64,27, filigranlı metin yüzde 64,60 puan aldı.
- GPQA Diamond: Filigransız metin yüzde 94,44, filigranlı metin yüzde 93,94 puan aldı.
OpenAI, yanlış pozitif ve yanlış negatif tespitlerin yanı sıra filigranın insan katkısını ölçmediğini, mülkiyet veya sorumluluk tesis etmediğini, kullanıcıyı belirlemediğini ve doğruluğu doğrulamadığını vurguladı.
Şirket, bir metinde filigran bulunmamasının insan tarafından yazıldığını kanıtlamadığını da açıkladı.
OpenAI, teknoloji, standartlar ve kanıtlar geliştikçe yaklaşımını yeniden değerlendirmeyi; filigranların düzenleme ve çeviri sonrasında ne ölçüde korunabildiğini incelemeyi ve yapay zekâ desteğini yapay zekâ kaynaklı yazımından daha anlamlı biçimde ayırt edip edemeyeceğini araştırmayı öngörüyor.
OpenAI’nin duyurusunun tamamı, ilgili bağlantı üzerinden incelenebilir.
OpenAI’nin metin filigranlama yönteminin uygulanma biçimi, kapsamı ve etkileri konusundaki değerlendirmeler tartışma bölümünde paylaşılabilir.