Kaynakça atıflı teknik referans
AI yüz değiştirme sözlüğü
Yüz değiştirme araştırması ve değerlendirmesinde kullanılan 24 terim için, her biri birincil bir kaynak ve aşırı iddiacılığı önleyen bir sınırla eşleştirilmiş, sade İngilizce tanımlar.
Doğrudan cevap
Yüz değiştirme terminolojisinin bir tanıma ve bir sınıra ihtiyacı vardır
Bir kaynak yüz, kimlik ipuçlarını sağlar. Hedef medya, sahneyi ve amaçlanan kimlik dışı nitelikleri sağlar. Algılama, hizalama, maskeleme ve oluşturma, bir iş akışının parçalarını tanımlar; kimlik benzerliği, algısal metrikler ve insan incelemesi farklı değerlendirme sorularını yanıtlar.
Uygulama sınırı: bu sayfa, araştırma makalelerinde, değerlendirme protokollerinde ve C2PA şartnamesinde bulunan terminolojiyi açıklar. Buradaki bir alıntı, DeepSwapAI'nin adı geçen her yöntemi, mimariyi, modeli, metriği veya kaynak özelliğini kullandığı anlamına gelmez.
Terim dizini
İhtiyacınız olan konsepte atlayın
İş akışı temelleri
İş akışı temelleri
Bir yüz değiştirme iş akışına neyin girdiğini tanımlayan medya rolleri ve geometrik ön işleme terimleri.
Yüz değiştirme
#Ayrıca şöyle bilinir: AI yüz değiştirme, yüz takası
Bir kaynak yüzden kimlik ipuçlarını hedef bir görüntüye veya videoya aktaran, hedefin poz, ifade, saç ve arka plan gibi niteliklerini korumaya çalışan bir bilgisayar görüşü görevi.
Kanıt sınırı: Bu bir görev tanımıdır, her sistemin her özelliği koruduğunun veya belirli bir kullanımın izni olduğunun garantisi değildir.
Birincil kaynaklar: PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion; Fine-Grained Face Swapping via Regional GAN Inversion
Kaynak yüzü
#Ayrıca şöyle bilinir: kaynak kimlik, kimlik referansı
Oluşturulan yüz için amaçlanan kimlik ipuçlarını sağlayan kişi veya referans görüntüsü.
Kanıt sınırı: Kaynak normalde hedef sahneyi, vücudu, saçı, pozu veya arka planı tanımlamaz ve tam bölünme yönteme bağlıdır.
Birincil kaynaklar: PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion; Reinforced Disentanglement for Face Swapping without Skip Connection
Hedef medya
#Ayrıca şöyle bilinir: hedef görüntü, hedef video
Bir yüz değiştirme yönteminin korumaya çalıştığı sahneyi ve kimlik dışı nitelikleri sağlayan görüntü veya video.
Kanıt sınırı: Yöntemler, hangi hedef özelliklerini korudukları konusunda farklılık gösterir, bu nedenle hedef koruma varsayılmak yerine değerlendirilmelidir.
Birincil kaynaklar: PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion; DynamicFace: High-Quality and Consistent Face Swapping for Image and Video
Yüz algılama
#Ayrıca şöyle bilinir: yüz lokalizasyonu, yüz yerelleştirmesi
Hizalama, özellik çıkarma veya oluşturmadan önce bir görüntü veya video karesinde bir veya daha fazla yüz bölgesini bulma süreci.
Kanıt sınırı: Algılanan bir yüz bölgesi, bir kimlik kararı, bir izin kontrolü veya sonraki işlemenin başarılı olacağının kanıtı değildir.
Birincil kaynaklar: RetinaFace: Single-Shot Multi-Level Face Localisation in the Wild
Yüz işaret noktaları
#Ayrıca şöyle bilinir: yüz işaret noktaları, işaret noktası koordinatları
Hizalama veya koşullandırma için yüz geometrisini tanımlamak amacıyla kullanılan, göz köşeleri, burun ve ağız konumları gibi tahmini yüz anahtar noktaları.
Kanıt sınırı: İşaret noktası düzenleri, nokta sayıları ve hata birimleri, algılayıcıya ve protokole göre değişir; doğrudan birbirlerinin yerine kullanılamazlar.
Birincil kaynaklar: RetinaFace: Single-Shot Multi-Level Face Localisation in the Wild; DiffSwap: High-Fidelity and Controllable Face Swapping via 3D-Aware Masked Diffusion
Yüz hizalama
#Ayrıca şöyle bilinir: yüz hizalaması, hizalanmış yüz kırpma
Daha sonraki işlemler için bir yüzü tutarlı bir kırpma, ölçek ve yönlendirmeye yerleştirmek üzere algılanan yüz yapısını kullanan geometrik bir normalleştirme adımı.
Kanıt sınırı: Hizalama kuralları ve dönüşümleri değişiklik gösterir ve hizalanmış bir kırpma, kimlik, kalite veya izin oluşturmaz.
Birincil kaynaklar: RetinaFace: Single-Shot Multi-Level Face Localisation in the Wild; ArcFace: Additive Angular Margin Loss for Deep Face Recognition
Kimlik ve koruma
Kimlik ve koruma
Kaynak yüz kimlik ipuçlarını, bir sonucun korumaya çalıştığı hedef özelliklerden ayırmak için kullanılan kavramlar.
Yüz gömme
#Ayrıca şöyle bilinir: kimlik gömme, yüz özellik vektörü
Yüz görüntülerinin belirli bir tanıma modeli ve ön işleme protokolü altında bir özellik uzayında karşılaştırılabilmesi için tasarlanmış öğrenilmiş bir sayısal temsil.
Kanıt sınırı: Vektör boyutları, mesafe fonksiyonları ve karar eşikleri, modele ve değerlendirme kurulumuna bağlıdır; bir gömme, doğası gereği bir kimlik kararı değildir veya matematiksel olarak yeniden oluşturulamaz olduğu garanti edilmez.
Birincil kaynaklar: ArcFace: Additive Angular Margin Loss for Deep Face Recognition
Kimlik benzerliği
#Ayrıca şöyle bilinir: kimlik koruma, kimlik koruma puanı
Kaynak kimlik ve çıktı temsilleri arasında, genellikle adlandırılmış bir yüz kodlayıcı ve benzerlik işlevinden hesaplanan, protokole bağlı bir karşılaştırma.
Kanıt sınırı: Puanlar, kodlayıcılar, kırpmalar, veri kümeleri, eşikler veya demografik özellikler arasında taşınabilir değildir ve tek bir çıktı için biyometrik bir karar olarak sunulmamalıdır.
Birincil kaynaklar: ArcFace: Additive Angular Margin Loss for Deep Face Recognition; PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion
Hedef nitelik koruma
#Ayrıca şöyle bilinir: özellik koruma, hedef tutarlılık
Bir sonucun, yüz kimlik ipuçlarını değiştirirken poz, ifade, saç, aydınlatma, giysi ve arka plan gibi amaçlanan hedef özelliklerini ne ölçüde koruduğu.
Kanıt sınırı: Değerlendirilen özellikler ve tahmin ediciler adlandırılmalıdır; tek bir toplam puan, bireysel bir özellikteki başarısızlıkları gizleyebilir.
Birincil kaynaklar: PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion; DynamicFace: High-Quality and Consistent Face Swapping for Image and Video
Yüz maskesi
#Ayrıca şöyle bilinir: maske değiştirme, yüz maskesi
Bir yüz değiştirme işleminin parçası olarak hangi görüntü bölgesinin oluşturulabileceğini, harmanlanabileceğini veya değerlendirilebileceğini belirleyen uzamsal bir harita.
Kanıt sınırı: Maske yapısı ve anlamı yönteme göre değişir; bir maske tek başına tıkanma, sınır veya renk tutarsızlığını çözmez.
Birincil kaynaklar: DiffSwap: High-Fidelity and Controllable Face Swapping via 3D-Aware Masked Diffusion; Fine-Grained Face Swapping via Regional GAN Inversion
Yüz ayrıştırma
#Ayrıca şöyle bilinir: yüz anlamsal bölütlemesi
Cilt, gözler, ağız, saç veya arka plan gibi yüz bileşenlerinin ve çevresindeki bölgelerin piksel düzeyinde anlamsal segmentasyonu.
Kanıt sınırı: Etiket kümeleri ve bölütleme kalitesi, ayrıştırıcıya ve veri kümesine bağlıdır ve yanlış bölgeler daha sonraki sentez veya birleştirme işlemlerine yayılabilir.
Birincil kaynaklar: Fine-Grained Face Swapping via Regional GAN Inversion
Yüz sınırı harmanlama
#Ayrıca şöyle bilinir: sınır harmanlama, yüz birleştirme
Sentezlenmiş bir yüz bölgesini cilt tonu, kenarlar, aydınlatma ve yakındaki içerik etrafında hedefe geçiren birleştirme adımı.
Kanıt sınırı: Görsel olarak düzgün bir sınır, doğru kimliği, doğal iç özellikleri veya video kareleri arasında tutarlı davranışı sağlamaz.
Birincil kaynaklar: Fine-Grained Face Swapping via Regional GAN Inversion; Reinforced Disentanglement for Face Swapping without Skip Connection
Tıkanma
#Ayrıca şöyle bilinir: yüz engeli, tıkanmış yüz
Bir yüzün bir kısmının saç, eller, gözlük, nesneler, başka bir kişi veya görüntü sınırı tarafından gizlendiği bir durum.
Kanıt sınırı: Tıkanma işleme, yönteme ve sahneye bağlıdır; bir kıyaslama, etkilenen bölgeyi ve görüş koşullarını belirtmelidir.
Birincil kaynaklar: Fine-Grained Face Swapping via Regional GAN Inversion; DynamicFace: High-Quality and Consistent Face Swapping for Image and Video
Kafa pozu
#Ayrıca şöyle bilinir: yüz pozu, kafa yönelimi
Bir kafanın kameraya göre tahmini yönelimi, genellikle yalpalama, eğim ve yuvarlanma veya işaret noktaları ve 3B parametrelerle temsil edilir.
Kanıt sınırı: Poz değerleri, tahmin ediciye ve koordinat kuralına bağlıdır; yalnızca pozu eşleştirmek çıktının gerçekçiliğini tahmin edemez.
Birincil kaynaklar: DiffSwap: High-Fidelity and Controllable Face Swapping via 3D-Aware Masked Diffusion; PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion
Yüz ifadesi
#Ayrıca şöyle bilinir: ifade koruma
Gülümseme, göz kırpma veya ağız açma gibi hareketlerle ilişkili yüz özelliklerinin görünür konfigürasyonu, genellikle yüz değiştirmede hedef özellik olarak ele alınır.
Kanıt sınırı: İfade etiketleri ve parametreleri tahmin ediciye bağlıdır ve ince, asimetrik veya kültürel olarak yorumlanan davranışları gözden kaçırabilir.
Birincil kaynaklar: PixSwap: High-Resolution Face Swapping for Effective Reflection of Identity via Diffusion; DynamicFace: High-Quality and Consistent Face Swapping for Image and Video
Video tutarlılığı
Video tutarlılığı
Tek bir hareketsiz görüntüde bulunmayan hareket ve kare-dizisi kavramları.
Zamansal tutarlılık
#Ayrıca şöyle bilinir: zamansal bütünlük, kareler arası tutarlılık
Kimlik ipuçlarının, hedef niteliklerin ve görsel detayın izole bir kare yerine ardışık video kareleri boyunca kararlılığı.
Kanıt sınırı: Yüksek bir tutarlılık ölçüsü, yanlış sonucu tutarlı bir şekilde koruyabilir, bu nedenle kimlik doğruluğu ve görünür kalite ayrı ayrı değerlendirilmelidir.
Birincil kaynaklar: DynamicFace: High-Quality and Consistent Face Swapping for Image and Video; CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation
Optik akış
#Ayrıca şöyle bilinir: hareket alanı, piksel karşılığı
Kareler arasındaki görüntü konumlarını eşleyen ve hareket analizini, çarpıtmayı veya zamansal teşhisi destekleyebilen tahmini bir yoğun hareket alanı.
Kanıt sınırı: Optik akış, tıkanma, bulanıklık, aydınlatma değişiklikleri ve yeni görünen bölgeler etrafında başarısız olabilen bir tahmindir; tek başına bir kalite puanı değildir.
Birincil kaynaklar: RAFT: Recurrent All-Pairs Field Transforms for Optical Flow; CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation
Değerlendirme
Değerlendirme
Açık koşullar altında farklı kalite sorularını yanıtlayan metrikler ve inceleme protokolleri.
Structural Similarity Index (SSIM)
#Ayrıca şöyle bilinir: SSIM
Bir test görüntüsü ile bir referans görüntüsü arasındaki parlaklık, kontrast ve yapıyı karşılaştıran tam referanslı bir görüntü benzerlik ölçüsü.
Kanıt sınırı: SSIM, anlamlı bir hizalanmış referans gerektirir, yüze özgü değildir ve değeri ölçek, pencereleme, renk işleme ve ön işlemeye bağlıdır.
Birincil kaynaklar: Image Quality Assessment: From Error Visibility to Structural Similarity
Learned Perceptual Image Patch Similarity (LPIPS)
#Ayrıca şöyle bilinir: LPIPS, öğrenilmiş algısal benzerlik
Görüntü parçası benzerliğine ilişkin insan yargılarına karşı değerlendirilen, derin ağ özelliklerine dayalı algısal bir mesafe.
Kanıt sınırı: LPIPS bir kimlik puanı değildir; değerler seçilen ağa, kalibrasyona, görüntü hazırlığına ve karşılaştırma protokolüne bağlıdır.
Birincil kaynaklar: The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
Frechet Inception Distance (FID)
#Ayrıca şöyle bilinir: FID
Başlangıç özellikleriyle hesaplanan, oluşturulan ve referans görüntü koleksiyonlarından gelen özellik dağılımları arasındaki küme düzeyinde mesafe.
Kanıt sınırı: FID savunulabilir bir tek görüntü puanı değildir ve sonuçlar örnek sayısına, özellik çıkarıcıya, ön işlemeye, referans kümesine ve uygulamaya bağlıdır.
Birincil kaynaklar: GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium; Rethinking FID: Towards a Better Evaluation Metric for Image Generation
Referanssız kalite değerlendirmesi
#Ayrıca şöyle bilinir: NR-IQA, kör görüntü kalite değerlendirmesi
Eşleştirilmiş bozulmamış bir referans görüntüsü gerektirmeden bir çıktıdan görsel kaliteyi tahmin eden bir yöntem.
Kanıt sınırı: Geçerliliği eğitim verilerine ve doğrulama tasarımına bağlıdır; bir puan, görülmemiş yöntemler, içerik veya bozulmalarda başarısız olabilir.
Birincil kaynaklar: Rank-based No-reference Quality Assessment for Face Swapping
İnsan inceleme puan kartı
#Ayrıca şöyle bilinir: insan değerlendirme rubriği, çıktı inceleme rubriği
Bir incelemeciden belirli bir çıktı için görünür kriterleri, derecelendirme çıpalarını, kritik geçitleri ve notları kaydetmesini isteyen tekrarlanabilir bir rubrik.
Kanıt sınırı: Yapılandırılmış insan gözlemlerini kaydeder, model doğruluğunu, biyometrik kimliği, bir olasılığı veya sağlayıcı çapında bir sıralamayı değil.
Birincil kaynaklar: DeepSwapAI yüz değiştirme çıktı kalite skor kartı; Rank-based No-reference Quality Assessment for Face Swapping
Kaynak
Kaynak
Dijital içeriğin nereden geldiğini ve ona ne olduğunu kaydetme standartları.
C2PA
#Ayrıca şöyle bilinir: İçerik Kaynağı ve Orijinalliği Koalisyonu
Dijital içerik hakkında imzalı bildirimler, iddialar, bileşenler ve talepler aracılığıyla kurcalamaya karşı korumalı kaynak bilgilerini kaydetmek için açık bir teknik standart.
Kanıt sınırı: C2PA, kaynak kanıtı ve kurcalama sinyalleri sağlayabilir, ancak belirtim, tasvir edilen içeriğin doğru, kesin veya etik olarak izin verilebilir olup olmadığını belirlemez.
Birincil kaynaklar: C2PA Technical Specification 2.4; C2PA Açıklayıcı 2.3
İçerik Kimlik Bilgileri
#Ayrıca şöyle bilinir: C2PA İçerik Kimlik Bilgileri, içerik kaynağı kimlik bilgileri
C2PA ekosistemi aracılığıyla dijital bir varlıkla ilişkili kaynak bilgilerinin kullanıcıya yönelik sunumu.
Kanıt sınırı: Kullanılabilirlik ve görüntülenen ayrıntılar, kimlik bilgisine, imzalayana, doğrulayıcıya, varlığa ve platforma bağlıdır; bir kimlik bilgisi, içeriğin gerçek olduğuna dair bir beyan değildir.
Birincil kaynaklar: C2PA Açıklayıcı 2.3; C2PA Technical Specification 2.4
Metrik yorumlama
Yanıltıcı karşılaştırmaları önleyen dört kural
İlişkiyi adlandırın
Kimlik metrikleri normalde çıktıyı kaynak kimlikle karşılaştırır. Poz ve ifade koruması normalde çıktıyı hedefle karşılaştırır. Bunlar farklı sorulardır.
Protokolü sabit tutun
Veri kümesi, kırpma, değerlendirici, ön işleme, uygulama, örnek sayısı ve toplama, bildirilen bir değeri değiştirebilir. Paylaşılan bir metrik adı yeterli değildir.
Küme düzeyi ve tek çıktı kanıtlarını ayrı tutun
FID, görüntü kümesi dağılımlarını tanımlar. SSIM ve LPIPS anlamlı bir karşılaştırma referansı gerektirir. Bir insan skor kartı, incelenen bir çıktı hakkında görünür gözlemleri kaydeder.
Her kalite boyutunu tek bir ölçüye indirgemeyin
Kimlik, hedef-öznitelik koruması, sınırlar, tıkanma, teknik bütünlük ve zamansal kararlılık bağımsız olarak başarısız olabilir ve incelenebilir kalmalıdır.
Sürümlendirilmiş karar haritasını kullanın: yüz değiştirme değerlendirme metrik haritası yüz değiştirme değerlendirme metrik haritası bu terimleri karşılaştırılan girdilere, protokol seviyelerine, ön koşullara, yorumlama yönergelerine ve birincil kaynaklara bağlar. Bunun JSON, CSV ve BibTeX kayıtları şurada listelenmiştir: listelenmiştir..
Sözlük soruları
Bu tanımlar nasıl kullanılır
Bu sayfa tam DeepSwapAI model yığınını açıklıyor mu?
Hayır. Endüstri ve araştırma kavramlarını, atıfta bulunulan her yöntemin üretim uygulamasının bir parçası olduğunu iddia etmeden tanımlar.
Aynı metriği iki farklı makalede karşılaştırabilir miyim?
Yalnızca veri kümelerinin, değerlendiricilerin, ön işlemenin, uygulamaların ve toplama kurallarının eşleştiğini kontrol ettikten sonra.
FID tek bir çıktıyı ölçebilir mi?
Hayır. FID bir dağıtım düzeyi ölçüsüdür ve oluşturulmuş ve referans görüntü kümelerine ihtiyaç duyar.
İçerik Kimlik Bilgileri bir görüntünün doğru olduğunu kanıtlar mı?
Hayır. Kaynak bilgisi ve doğrulama sinyalleri sağlarlar, olgusal bir doğruluk yargısı değil.
Terimleri görünür bir çıktıya uygulayın
Bir örneği sağlayıcı genelinde bir iddiaya dönüştürmeden kimlik, sınırlar, poz, aydınlatma, tıkanma, teknik bütünlük ve video kararlılığını incelemek için ücretsiz puan kartını kullanın.