DETECTING AND CLASSIFYING DATA MANIPULATED WİTH DEEPFAKE


Baysal M. E., Arısoy Ç.

11th INTERNATIONAL ANTALYA SCIENTIFIC RESEARCH AND INNOVATIVE STUDIES CONGRESS, Antalya, Türkiye, 25 - 26 Ağustos 2026, cilt.11, ss.1330-1333, (Tam Metin Bildiri)

  • Yayın Türü: Bildiri / Tam Metin Bildiri
  • Cilt numarası: 11
  • Basıldığı Şehir: Antalya
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.1330-1333
  • Yozgat Bozok Üniversitesi Adresli: Evet

Özet

Amaç: Bu çalışmanın temel amacı, derin öğrenme tabanlı üretici ağlar (GAN) vasıtasıyla oluşturulan sahte ve manipüle edilmiş video içeriklerinin (deepfake) otomatik, kararlı, yüksek doğruluklu ve açıklanabilir bir biçimde tespit edilerek adli bilişim standartlarında sınıflandırılmasını sağlayan uçtan uca bir siber savunma sistemi geliştirmektir.

Materyal ve Yöntem: Çalışmada, akademik literatürde benchmark kabul edilen Celeb-DF veri kümesi kullanılmıştır. Veri sızıntısını engellemek amacıyla video ID bazlı izole bölme stratejisi (%70 Eğitim, %15 Doğrulama, %15 Test) uygulanmış ve MTCNN motoru ile yüz bölgeleri tespit edilip hizalanmıştır. Sınıflandırma motoru olarak literatür standardı olan Xception mimarisi ile uzamsal ve FFT tabanlı frekans özniteliklerini eş zamanlı işleyen Çok Kanallı EfficientNet-B0 modeli karşılaştırmalı olarak eğitilmiştir. Karar mekanizmalarını şeffaflaştırmak adına sisteme Grad-CAM tabanlı Açıklanabilir Yapay Zeka (XAI) katmanı entegre edilmiştir.

Bulgular: Elde edilen deneysel sonuçlara göre Xception mimarisi %99.87 AUC skoru ve %97 F1skoru ile en yüksek tespit doğruluğuna ulaşmıştır. Önerilen Çok Kanallı EfficientNet-B0 yapısı ise %94.62 AUC başarımı sunarken, sadece 1.45 GB VRAM tüketimi ve 87.5 FPS işlem hızı sergileyerek donanım kısıtlı siber operasyon merkezleri (SOC) ve uç cihazlar için üstün bir operasyonel verimlilik sağlamıştır.

Sonuç: Geliştirilen derin öğrenme modelleri; canlı yüz takip kutusu (bounding box), siber log akışı ve resmi adli raporlama paneli sunan Streamlit tabanlı modüler bir yazılım ürününe dönüştürülmüştür. Çalışma, deepfake tehditlerine karşı kaynak verimli, şeffaf ve ölçeklenebilir bir siber güvenlik çözümü sunmaktadır.

Anahtar Kelimeler: Deepfake, Derin Öğrenme, Görüntü İşleme, Evrişimsel Sinir Ağları, Medya Adli Bilişim.