Bilinmesi gerekenler
- Google, günler sürebilen karmaşık Android geliştirme görevlerinde yapay zekâ modellerini sınamak için Android Bench 2.0'ı kullanıma sundu.
- Yeni kıyaslama; bağımlılıkları yükseltme, önemli özellikler ekleme ve Android uygulamalarını sıfırdan oluşturma gibi görevleri içeriyor.
- GPT-6 Astra, Google'ın yeni kıyaslamasında %28 geçme oranıyla lider durumda; Gemini 3.8 Flash ise yalnızca %8 puan aldı.
Google, büyük dil modellerinin (LLM'ler) ve yapay zekâ ajanlarının karmaşık Android geliştirme görevlerindeki performansını değerlendirmeye yönelik Android Bench'in güncellenmiş sürümü olan Android Bench 2.0'ı duyurdu.
Şirket, yılın başlarında yapay zekâ modellerinin gerçek dünyadaki Android geliştirme işlerindeki başarısını ölçmek için Android Bench'in ilk sürümünü sunmuştu. Android Bench 2.0 ile kıyaslama, modelleri ve ajanları gerçek yazılım geliştirmeyi daha iyi yansıtan daha karmaşık görevler üzerinden değerlendirecek şekilde güncellendi.
En önemli yeniliklerden biri, Google'ın uzun ufuklu görevler (LHT) olarak adlandırdığı görevler. Bunlar, bir insan mühendisin tamamlaması günler, hatta bir hafta sürebilecek ölçüde karmaşık geliştirme işlerini kapsıyor.
Google'a göre Android Bench'in ilk sürümü ve birçok erken yapay zekâ kodlama kıyaslaması ağırlıklı olarak daha küçük, artımlı değişikliklere odaklanıyordu. Android Bench 2.0 ise bağımlılıkları yükseltme, önemli yeni özellikler ekleme ve Android uygulamalarını sıfırdan oluşturma gibi görevlerle çıtayı yükseltmeyi amaçlıyor.
Android Bench 2.0 ile Google, modellerin değerlendirilme biçimini de değiştirdi. Yalnızca ikili geçti/kaldı sistemine dayanmak yerine Android Bench 2.0 "sürekli puanlama" kullanıyor. Şirkete göre bu yöntem, bir model görevi tamamen tamamlayamasa bile performansının ne düzeyde olduğuna dair daha "anlamlı bir gösterge" sunuyor.
Google, yeni kıyaslamayı kullanarak Gemini 3.8 Flash, GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol ve Claude Opus 5 gibi güncel yapay zekâ modellerinden birçoğunu test etti. Sonuçlara göre GPT-6 Astra, %28 geçme oranıyla kıyaslamanın zirvesinde yer alıyor. Gemini 3.8 Flash ise yalnızca %8 puan aldı.
Google, modellerin LHT veri kümesi üzerinden test edilmesinin güçlü ve zayıf yönlerinin daha iyi anlaşılmasını sağlayacağını, ayrıca geliştiricilere farklı Android geliştirme görevleri için hangi modellerin daha uygun olduğuna dair daha pratik rehberlik sunacağını belirtiyor.
Güncellenmiş Android Bench 2.0 liderlik tablosu artık kullanıma açık. Google, zaman içinde daha fazla model ve sonuçla tabloyu genişletmeyi planlıyor.