9to5Mac tarafından “App Store'da gizli cinsel ve şiddet içerikli deepfake özellikleri bulunan yapay zeka uygulamaları tespit edildi” başlığıyla aktarıldığı kadarıyla,
Yüzlerce yapay zekâ uygulaması, gizli cinsel ve şiddet içerikli deepfake özellikleri taşımasına rağmen Apple'ın App Store incelemesinden geçerek mağazaya girdi. Aynı uygulamalar Google Play Store'da da yer aldı.
Bir araştırma, tek bir Çinli organizasyon tarafından oluşturulduğu anlaşılan 400'den fazla uygulama tespit etti. Uygulamalar, kullanıcıların fotoğraf yüklemesine ve bu fotoğraflardan kurbanları küçük düşürmek ya da tehdit etmek amacıyla kullanılabilecek cinsel ve şiddet içerikli deepfake'ler üretmesine olanak tanıyor.
Araştırma, gizli kötüye kullanım işlevleri bulunan 400'den fazla bağlantılı alan adı ve uygulamadan oluşan bir ağ ortaya çıkardı.
Örneğin evcil hayvan fotoğraflarına kıyafet eklemek için kullanıldığı iddia edilen Viefur gibi uygulamalar çoğu zaman dil eğitimi veya yapay zekâ destekli antrenman koçu gibi sıradan hizmetler sunduğunu öne sürüyor. Ancak belirli koşullar altında erişildiğinde, ağdaki uygulamalar kullanıcıların yüklediği fotoğraflardan açık cinsel yapay zekâ görüntüleri ve videoları üretmeye imkân veren bir web arayüzünü gizlice yüklüyor. Uygulamalar; bir erkeğin kadının boynuna bıçak dayadığı "yatak odası tecavüzü" ve "bıçak tehdidi" gibi yapay zekâ sahneleri içeriyor.
Araştırmaya göre ağ, Facebook ve Instagram'da yayımlanan binlerce video reklam sayesinde "göz önünde" gizleniyor. Bazı uygulamalar bir yıldır piyasada ve her biri zararlı deepfake içerikleri yasaklayan net politikaları bulunan Apple, Google ve Meta'nın incelemesinden geçti.
Uygulama incelemesini geçmek için "yemle ve değiştir" taktikleri kullanıldı. Uygulamalar normalde zararsız içerik gösteriyor; ancak bir sunucu kontrolü gizli özellikleri etkinleştirebiliyor. Meta platformlarındaki deepfake işlevine yönelik bir reklama tıklayıp uygulamayı indirmek, bu tetikleyicilerden biri olarak öne çıkıyor. Ardından onlarca pornografik fotoğraf ve video şablonu indirilebiliyor; kullanıcıların yüklediği fotoğraflardan deepfake üretmek için kredi satın alınabiliyor.
Apple, araştırma ayrıntıları paylaşıldıktan sonra 19 uygulamayı mağazadan kaldırdı.
Her uygulamayı yayımlanmadan önce inceliyoruz ve bu uygulamalar incelendiğimizde kurallarımıza uyuyordu. Onaydan sonra geliştiriciler, uygulamanın içerik aldığı web sitesini değiştirerek onayladığımız içeriği pornografik içerikle değiştirdi ve bunu üçüncü taraf bir platformda barındırılan pornografik reklamlar aracılığıyla tanıttı.
Şirket bu yaklaşıma karşı korumalarını yakın zamanda güçlendirdi. Meta, bu uygulamalarla bağlantılı alan adlarıyla ilişkili 10 binden fazla reklam hesabına işlem yaptığını açıkladı.