Gerçek Zamanlı Deepfake Tespiti Nasıl Yapılır

Son yıllarda, yapay zeka teknolojilerindeki ilerlemeler sayesinde gerçekçi görüntü üretimi oldukça kolaylaşmıştır. Deepfake olarak adlandırılan bu sentetik içerikler, toplumda ciddi zararlara yol açabilmektedir. Dolandırıcılık, kişilik hırsızlığı, gizlilik ihlali ve manipülasyon gibi tehditlerin önüne geçebilmek için, deepfake görüntülerini güvenilir bir şekilde tespit edebilen tekniklerin geliştirilmesi hayati önem taşımaktadır.

Bu çalışmada, Anthropic AI Araştırma Enstitüsü ekibi tarafından gerçekleştirilen kapsamlı bir araştırma sonucunda “Yerel Farkındalıklı Deepfake Tespit Algoritması” (LaDeDa) adlı yeni bir yöntem sunulmaktadır. LaDeDa, 9×9 piksellik görüntü parçalarını kullanarak deepfake tespiti yapar. Her bir parçanın deepfake skoru hesaplanır ve bu skorların birleştirilmesiyle görüntünün nihai deepfake skoru elde edilir. Ayrıca, LaDeDa’dan türetilen daha verimli bir model olan Tiny-LaDeDa da tanıtılmaktadır.

Çalışmanın temel amacı, gerçek dünya deepfake tespiti için etkin çözümler sunmaktır. Mevcut yöntemlerin sınırlarını aşarak, toplumun bu tehditten korunmasına katkıda bulunmayı hedefliyoruz.

İlgili Çalışmalar

Deepfake tespiti üzerine yapılan akademik çalışmalar iki ana yaklaşım etrafında şekillenmektedir: Denetimli öğrenme tabanlı yöntemler ve artifakt tabanlı yöntemler.

Denetimli Öğrenme Tabanlı Deepfake Tespiti

Bu yöntemler, gerçek ve sahte görüntüleri ayırt etmek için model mimarisi ve ayırt edici öznitelikler üzerine yoğunlaşır. Örneğin, PatchFor yöntemi, görüntü parçalarını kullanarak deepfake skoru hesaplamaktadır. Diğer çalışmalar ise Xception, EfficientNet, ResNet gibi derin öğrenme modellerini kullanmaktadır.

Artifakt Tabanlı Tespit Yöntemleri

Bu yöntemler, görüntü ön-işleme aşamasındaki ipuçlarını kullanarak gerçek ve sahte görüntüleri ayırt etmeye çalışır. DIRE yöntemi gibi, giriş görüntüsü ile önceden eğitilmiş bir difüzyon modeli kullanılarak elde edilen rekonstrüksiyon hatası üzerinden deepfake tespiti yapar. Bununla birlikte, görüntülerdeki gürültü, karşıtlık ve renk ipuçları da bu tür yöntemlerde kullanılmaktadır.

Mevcut çalışmalar, laboratuvar ortamında iyi performans gösterse de, gerçek dünyadaki sosyal medya görüntülerinde başarısız olmaktadır. Bunun temel nedeni, eğitim ve test verilerinin gerçek dünyadaki karmaşık dönüşüm ve varyasyonları yeterince yansıtamamasıdır.

Yöntem

LaDeDa: Yerel Farkındalıklı Deepfake Tespit Algoritması

LaDeDa, görüntüyü 9×9 piksellik parçalara bölerek her bir parça için bir deepfake skoru tahmin eder. Tüm parçaların skorlarının ortalama alınmasıyla, görüntünün nihai deepfake skoru elde edilir. LaDeDa, ResNet50 mimarisine dayanan ancak çoğu 3×3 konvolüsyonu 1×1 konvolüsyona dönüştüren bir yapı kullanır. Bu sayede modelin sadece lokal özniteliklere odaklanması sağlanır.

LaDeDa’nın mimarisi, gerçek ve sahte görüntüler arasındaki küçük farkları yakalamaya odaklanır. Örneğin, yüz dokularındaki küçük artifaktlar, arka planındaki değişimler veya görüntü içindeki küçük bozulmalar gibi öznitelikler, modelin deepfake tespitinde önemli rol oynar. Bu yaklaşım, gerçek dünyadaki karmaşık dönüşümlere ve varyasyonlara daha dayanıklı bir model oluşturmayı hedefler.

Tiny-LaDeDa

LaDeDa’nın yüksek performansı, deepfake tespitinin neredeyse çözüldüğü fikrini uyandırabilir. Ancak, gerçek dünya uygulamaları için hesaplama ve parametre verimliliği de önemlidir. Bu nedenle, Tiny-LaDeDa adlı çok daha küçük bir mimariye sahip bir modeli, LaDeDa’nın bilgisini kullanarak eğitiyoruz.

Tiny-LaDeDa, LaDeDa’nın patch-tabanlı çıkışlarını taklit ederek çok daha az hesaplama ve parametre kullanarak benzer performansı elde eder. Böylece, gerçek zamanlı deepfake tespiti uygulamalarında kullanılabilecek, verimli ve düşük maliyetli bir çözüm sunar.

Deneyler ve Sonuçlar

LaDeDa ve Tiny-LaDeDa, standart veri setlerinde neredeyse mükemmel performans göstermektedir. Örneğin, FaceForensics++ veri setinde LaDeDa %99,3 doğruluk elde etmiştir. Bu sonuçlar, deepfake tespitinin çözüldüğü fikrini uyandırabilir.

Ancak, gerçek dünyadaki sosyal medya içeriklerinde test edildiğinde, başarım önemli ölçüde düşmektedir. Örneğin, Reddit, Twitter ve Facebook gibi popüler sosyal ağlardan toplanan “WildRF” adındaki veri setinde LaDeDa %93,7 ortalama hassasiyet göstermiştir. Bu sonuç, gerçek dünya deepfake tespitinin hala çözülmemiş bir sorun olduğunu göstermektedir.

Bunun temel nedeni, mevcut veri setlerinin gerçek dünyadaki karmaşık dönüşümleri ve