Intel ile DeepFake Tespit Teknolojisi FakeCatcher Üzerine Konuştuk

DeepFake, yapay zeka ve makine öğrenimi teknolojilerinin gelişmesiyle neredeyse tespit edilemez noktaya geldi. Bu sebeple şirketler de bu video ve görsellerin sahte olup olmadığını anlamak için bazı çözümler geliştirmeye çalışıyor.

Bu çözümlerden biri de Intel Labs’de Kıdemli Personel Araştırma Bilimcisi İlke Demir’in geliştirdiği FakeCatcher. Yeni DeepFake tespit aracıyla ilgili merak edilenleri, geliştiricisi İlke Demir’e sorduk.

Soru: Sizce DeepFake videolar toplum için bir tehdit teşkil ediyor mu?

Son birkaç yıldır internette çoğalan DeepFake videolar, yanlış bilgi ve kafa karışıklığı tohumları ekiyor. DeepFake teknolojisi, gerçekmiş gibi görünen, ağır manipülasyona uğramış videolar yaratmak için çirkin bir şekilde kullanılabiliyor.

Bu videolar gerçek insanların yüz ve ses özelliklerini taklit ederek izleyicileri yanlış bilgilendiriyor ve kandırıyor. DeepFake videoların zarar verici olduğu çeşitli durumlar var. Yasadışı faaliyetler, kimlik hırsızlığı, sahtecilik ve propaganda bunlardan bazıları.

Soru: FakeCatcher hakkında bilgi verebilir misiniz?

FakeCatcher, gerçek videolardaki orijinallik ipuçları olarak kalp atışlarını kullanan bir DeepFake tespit algoritmasıdır.

Dünyanın ilk gerçek zamanlı DeepFake detektörü olan Intel’in DeepFake tespit platformu, sonuçları birkaç saat ya da dakika içinde değil, milisaniyeler içinde getirmek için Intel donanım ve yazılımlarından yararlanıyor.

Soru: FakeCatcher’ı diğer tespit algoritmalarından farklı kılan nedir? FakeCatcher nasıl çalışıyor? 

Diğer derin öğrenme tabanlı dedektörler, ham verilere bakarak videonun özgün olmadığına ilişkin işaretleri bulmaya ve videonun sorunlu yanlarını belirlemeye çalışıyor. FakeCatcher ise gerçek videolarda, belli belirsiz kan akışı gibi bizi insan yapan şeyleri değerlendirerek gerçek ipuçları arıyor.

Kalbimiz kan pompaladığında, damarlarımızın rengi değişir. Bu kan akışı sinyalleri yüzün her yerinden toplanıyor ve algoritmalar, bu sinyalleri uzamsal-zamansal haritalara dönüştürüyor. Bu şekilde, derin öğrenmeyi kullanarak bir videonun gerçek mi yoksa sahte mi olduğunu anında tespit edebiliyoruz.

Soru: Intel’in FakeCatcher teknolojisi piyasaya sürüldüğünden bu yana sıkça kullanıldı mı?

Ne zaman yanlış bilgi yayan yeni bir viral video ortaya çıksa, FakeCatcher’ın bu video üzerindeki performansını değerlendirmeye çalışıyoruz. Videoların ya da sorguların tam sayısını saklamıyoruz fakat piyasaya sürüldüğünden bu yana 20’den fazla etkileşimde herkese açık ve özel olarak gösterildi.

Soru: Intel’in FakeCatcher teknolojisini benzersiz kılan nedir?

Intel’in gerçek zamanlı platformu, sonuçları birkaç saat ya da dakika yerine milisaniyeler içinde (64 karelik ilk segmentten sonra saniyede 30 kare) getiriyor. Böylece büyük video dosyalarını bir DeepFake tespit sitesine yükleme ve sonuçları bekleme ihtiyacını ortadan kalkmış oluyor.

Bu yazılım, bir videonun piksellerindeki belli belirsiz “kan akışı” gibi insan gözünün göremediği şeyleri analiz ederek, sahte videoları %96 gibi çarpıcı bir doğruluk oranıyla tespit edebiliyor. Karmaşık sinirsel mimarilere sahip dünyanın önde gelen yedi DeepFake detektörüyle karşılaştırıldığında, FakeCatcher en iyi performansa sahip bir sonraki uygulama algoritmasına kıyasla %8’den daha iyi bir performans gösteriyor.

Soru: Intel’in FakeCatcher teknolojisini kullanmak herhangi bir potansiyel riski teşkil ediyor mu?

Her teknolojide olduğu gibi, her zaman bir nebze potansiyel risk var. PPG sinyallerinin önemli ölçüde bozulduğu çok düşük çözünürlüklü gerçek videolar söz konusu olduğunda, FakeCatcher bunların sahte olduğunu belirleme hatasına düşebilir. Ağır şekilde sıkıştırılmış ya da düşük çözünürlüklü videolar da içeriği bozar ve hem insanların hem de deepfake tespit algoritmalarının, videonun sahte olduğunu ilan edebilmesi için gerekli bilgileri elde etmeyi zorlaştırır. Fakat bu gibi videolar için ulaşılan yanlış tespitler, hakikaten sahte bir videonun gerçek olduğunun ilan edilmesi kadar zararlı değildir.

Soru: FakeCatcher ırk, cinsiyet ve başka unsurlara dayalı yanlılığı azaltabilir mi?

Fotopletismografi sinyalleri, uzun süredir tıp alanında uzaktan hasta izleme için kullanılıyor. PPG’nin farklı varyasyonları vardır. Örneğin GPPG sinyalleri aydınlatma ve hareket değişikliklerine karşı daha iyi sonuçlar verirken, chromPPG sinyallerinin cilt rengi değişikliklerine karşı daha iyi performans gösterdiğini görüyoruz. Bu nedenle, biz daha doğru sonuçlara ulaşmak ve ırk gibi ten rengi farklılıklarının etkisini başarılı bir şekilde hafifletmek için bu farklı PPG sinyallerini birleştiriyoruz.

Ayrıca teknolojimizin farklı cinsiyetler ve ırklar arasındaki PPG sinyallerinin gücünü değerlendirdiği FakeCelebAV adlı dengeli etiketli bir veri setimiz de var. Bu veri setiyle deepfake kaynak tespit probleminin üstesinden gelmeyi amaçlıyoruz. Cinsiyetler ya da ten renkleri arasındaki tespit doğrulukları arasındaki farkın önemli olmadığını tespit ettik. Asyalı yüzlerdeki tespitlerin Kafkasyalı yüzlerdekinden daha yüksek doğruluğa sahip olduğunu görmek olağandışı değil ve bunun tersi de geçerli.

Sahtelik tespitinin bir adım ötesi olduğunu söyleyebileceğimiz daha zor bir problem olan kaynak tespitiyle ilgili deneylerimizi FakeAVCeleb veri seti üzerinde gerçekleştirdik. Bu veri setinin dörtte biri kapsam dışı deepfake’leri içeriyor, bu nedenle doğruluklar yalnızca kategoriler arasında karşılaştırma yapmak için belgelendi. Deneylerimiz sonucunda, farklı cinsiyetler ve ırklar arasında aşağıdaki özgünlük tespiti doğrulukları belirlendi:

• %82,64 – Genel
• %89,47 – Afrikalı Amerikan
• %85 – Kafkasyalı
• %77,11 – Asyalı
• %81,63 – Erkek
• %83,67 – Kadın