Ücretsiz insan inceleme protokolü
Fotoğraflar, videolar ve GIF'ler için yüz değiştirme kalite skor kartı
Bir oluşturulmuş çıktıyı yedi görünür kriter, üç kritik yayın eşiği ve şeffaf bir ağırlıklı formülle derecelendirin. Ardından incelemeyi dokuz metrik ailesine ve üç yayınlanmış video kıyaslama protokolüne, uyumsuz puanları eşdeğer kabul etmeden haritalayın.
Doğrudan cevap
Bir yüz değiştirme kalite puanının görünür kriterlere ve bir kanıt sınırına ihtiyacı vardır
Bu skor kartı, belirli bir çıktının insan incelemesini yapılandırır. Bir yüzü biyometrik olarak incelemez, görülmeyen bir sonucu tahmin etmez veya tek bir olumlu örneği tüm bir model veya sağlayıcı hakkında bir iddiaya dönüştürmez.
Etkileşimli değerlendirme
Bir çıktıyı aynı standartla puanlayın
Medya türünü seçin, eşikleri tamamlayın, uygulanabilir her kriteri derecelendirin ve başka bir inceleyenin bulabilmesi gereken herhangi bir şey için kısa bir kanıt notu tutun.
Değerlendirme referansları
Her kriter için aynı 0-4 anlamını kullanın
Ölçek, o kriter için örneklenen malzemede gözlemlenen en güçlü kusuru tanımlar. Bir güven puanı, olasılık veya biyometrik ölçüm değildir.
| Değerlendirme | Referans | Tanım |
|---|---|---|
| 0 | Kullanılamaz | Bir başarısızlık veya ciddi kusur, amaçlanan kullanımı engeller. |
| 1 | Büyük kusur | Açıkça görülebilen bir kusur, normal izlemeye hakimdir. |
| 2 | Fark edilebilir kusur | Bir kusur fark edilmesi kolaydır ve hedefli düzeltme gerektirir. |
| 3 | Küçük kusur | İncelemede küçük bir kusur görünür ancak normal izlemeye hakim değildir. |
| 4 | Maddi kusur gözlemlenmedi | Bu kriter için örneklenen çıktıda maddi bir kusur gözlemlenmedi. |
Derecelendirme boyutları
Ağırlıklar açıktır ve hareket yalnızca hareket mevcut olduğunda puanlanır
Video ve GIF, 100 temel ağırlık puanının tamamını kullanır. Fotoğraf, zamansal kararlılığı hariç tutar ve kalan 90 puanı 100 puanlık bir sonuca normalleştirir.
| Kriter | Temel ağırlık | Medya | İnceleme sorusu |
|---|---|---|---|
| Kimlik koruma | 24% | fotoğraf, video, gif | Görünür gözler, kaşlar, burun, ağız, çene, yaş ipuçları ve genel kimlik, amaçlanan referansla tutarlı mı? |
| Yüz sınırı ve karışım | 16% | fotoğraf, video, gif | Cilt dokusu, yüz kenarları, kulaklar, çene, saç çizgisi ve boyun, yapıştırılmış bir sınır olmaksızın hedef sahneye geçiş yapıyor mu? |
| Duruş ve ifade tutarlılığı | 14% | fotoğraf, video, gif | Yüz geometrisi, hedef kafa açısı, bakış, göz durumu, ağız şekli ve ifadeyle tutarlı kalıyor mu? |
| Aydınlatma ve renk sürekliliği | 14% | fotoğraf, video, gif | Pozlama, renk, cilt gölgelendirmesi, vurgular ve gölgeler hedef sahneyle tutarlı kalıyor mu? |
| Kapanma ve aksesuar sürekliliği | 12% | fotoğraf, video, gif | Saç, eller, gözlükler, maskeler, mikrofonlar, ön plan nesneleri ve diğer engellemeler doğru görsel sırada kalıyor mu? |
| Teknik bütünlük | 10% | fotoğraf, video, gif | Çıktı, maddi bulanıklık, halkalanma, blok yapaylıkları, yırtılma, yinelenen özellikler, ani doku değişiklikleri veya hasarlı karelerden arınmış mı? |
| Zamansal kararlılık | 10% | video, gif | Hareket boyunca kimlik, titreme, kayma, yüz kaybı, ani geometri değişiklikleri veya görünür bir döngü dikişi olmadan sabit kalıyor mu? |
Yeniden kullanılabilir protokolü indirin
JSON, tam ölçeği, eşikleri, kriterleri, formülü, karar bantlarını, kanıt sınırlarını, lisansı ve referansları içerir. CSV, boş yedi satırlık bir inceleme şablonudur ve BibTeX dosyası sabit bir alıntı sağlar.
Otomatik kıyaslama haritası
Yüz değiştirme kalite metrikleri farklı soruları yanıtlar
Savunulabilir bir kıyaslama, kaynak kimlik aktarımını, hedef özellik korunumunu, görüntü ve video dağılım gerçekçiliğini, kareler arası davranışı, yalnızca çıktı değerlendirmesini ve insan incelemesini ayrı tutar. Sürümlendirilmiş karar haritası, her ailenin neyi karşılaştırdığını ve bir değerin yorumlanabilmesi için gereken protokolü adlandırır.
| Ölçü | Karşılaştırır | Kullan | Sınır |
|---|---|---|---|
| Kimlik alma veya yerleştirme benzerliği | Kaynak kimlik ile değiştirilmiş çıktı, adlandırılmış bir yüz kodlayıcı veya kaynak galerisi kullanılarak. | Çıktı, sabit değerlendirici altında kaynak kimlik kanıtını ne kadar güçlü koruyor? Aynı protokol içinde daha yüksek benzerlik veya erişim performansı genellikle daha iyidir. | Kodlayıcı, kırpma, galeri, demografi, eşik ve ön işleme değeri etkiler. Bu, tek bir kişi için biyometrik bir karar değildir. |
| Kare bazında kimlik benzerliği kararlılığı | Algılanan çıktı kareleri boyunca kaynaktan çıktıya kimlik benzerliklerinin, adlandırılmış bir yüz kodlayıcı altındaki sırası. | Poz, ifade, tıkanma ve sahne koşulları zamanla değişirken kaynak kimlik kanıtı sabit kalıyor mu? Daha düşük dağılım, yalnızca ortalama kimlik benzerliği veya erişim sonucu yanında raporlandığında daha fazla kararlılık gösterebilir. | Sürekli yanlış bir kimlik düşük varyansa sahip olabilir. Dağılım, ortalama benzerlik veya erişimin yerini alamaz ve değerler kodlayıcılar veya kare işlem hatları arasında taşınabilir değildir. |
| Duruş ve ifade hatası | Hedef poz veya ifade tahminleri ile değiştirilmiş çıktı, adlandırılmış bir tahminci altında. | Çıktı, sabit tahminci altında hedef kafa pozu ve ifadesini ne kadar yakından koruyor? Aynı tahminci ve parametrelendirme içinde daha düşük hata genellikle daha iyidir. | Değerler farklı tahminciler, kırpmalar, parametre uzayları, işaret noktası kuralları veya ön işleme hatları arasında taşınabilir değildir. |
| Frechet Inception Distance (FID) | Oluşturulan görüntülerin veya karelerin bir dağılımı ile belgelenmiş bir referans dağılımı. | Sabit özellik çıkarıcı ve örnekleme protokolü altında iki özellik dağılımı ne kadar yakın? Aynı veri kümesi, çıkarıcı, ön işleme ve örnek protokolü içinde daha düşük daha iyidir. | Tek bir yüz değiştirme çıktısı savunulabilir bir FID'ye sahip olamaz çünkü tek bir görüntü bir dağılım değildir. FID, kimlik doğruluğunu izole etmez. |
| Frechet Video Distance (FVD) | Oluşturulan video kliplerinin bir dağılımı ile adlandırılmış bir video özellik çıkarıcı altında belgelenmiş bir referans klip dağılımı. | Oluşturulan ve referans video özellik dağılımları, sabit bir klip örnekleme protokolü altında ne kadar yakın? Aynı veri kümesi, özellik çıkarıcı, klip süresi, kare hızı, ön işleme ve örnek protokolü içinde daha düşük daha iyidir. | Tek bir çıktı klibi savunulabilir bir dağılım düzeyinde FVD sonucu değildir. FVD, kaynak kimliği, hedef özellik korunumunu, dudak senkronizasyonunu veya belirli bir zamansal kusuru izole etmez. |
| Özne ve arka plan tutarlılığı | Çıktı kareleri arasında ve önceki, hedef veya referans karelere karşı özellik tutarlılığı. | Sabit video protokolü altında hareket boyunca özne ve arka plan özellikleri ne kadar kararlı? Aynı uygulama altında daha yüksek tutarlılık genellikle daha iyidir. | Tutarlılık tek başına doğru kimlik eşlemesi, görsel gerçekçilik, hareket doğruluğu veya yayına hazır olma durumunu belirleyemez. |
| Bakış, göz açıklığı, dudak senkronizasyonu ve hareket tanılamaları | Hedef ve çıktı dizileri arasında adlandırılmış göz, ses-dudak, işaret noktası veya optik akış davranışı. | Oluşturulan video boyunca hangi belirli dinamik hedef özellikleri senkronize kalıyor? Yön ve birim, adlandırılmış tanıya bağlıdır; her birini ayrı ayrı raporlayın. | Bu tanılar birbirinin yerine geçmez, belgelenmiş bir video protokolü gerektirir ve her medya türüne uygulanmaz. |
| Öğrenilmiş referanssız kalite değerlendirmesi | Yalnızca çıktı, sıralanmış insan yargılarına veya etiketlenmiş kalite verilerine karşı eğitilmiş bir model tarafından değerlendirilir. | Eğitimli bir değerlendirici, açık referans medya mevcut olmadığında görünür çıktı kalitesini nasıl sıralar? Yön model çıktısına bağlıdır; belgelenmiş bir ayrılmış dağılımda doğrulayın. | Performans, eğitim verilerine ve doğrulama kapsamına bağlıdır. Yalnızca çıktı puanı tek başına doğru kaynak kimlik aktarımını belirleyemez. |
| Yapılandırılmış insan skor kartı | Bir görünür çıktı, açık kusur çapalarına, yayın eşiklerine ve incelemeci notlarına karşı. | Bir incelemeci bu belirli çıktıda hangi görünür kusurları veya çözülmemiş kullanım eşiklerini gözlemliyor? Sabitlenmiş sıralı derecelendirmeler kullanın; sonucu bir olasılık veya biyometrik puan olarak yeniden yorumlamayın. | İncelenen örnek hakkında öznel kanıt, model doğruluğu, sağlayıcı sıralaması, olasılık veya biyometrik benzerlik değil. |
Yayınlanmış kıyaslama protokolleri birbirinin yerine geçmez
Aşağıdaki çapraz referans, yalnızca birincil makaleler tarafından açıklanan kurulumları kaydeder. Sonuç tablolarını kopyalamaz, her veri kümesinin indirilebilir olduğunu iddia etmez veya farklı değerlendiricilerden gelen değerleri tek bir lider tablosuna dönüştürmez.
| Protokol ve kaynak | Karşılaştırma birimi | Raporlanan ölçüler | Karşılaştırılabilirlik sınırı |
|---|---|---|---|
| CASIA FaceSwapping | Üç faktör izolasyon protokolü altında birleştirilmiş kaynak-hedef video çiftleri. Normal: normal kayıtlardan 4.500 örtüşmeyen aynı etnik kökene sahip çift. Çapraz etnik: Asya, Afrika ve Kafkas grupları arasında her iki yönde 1.200 çift. Çapraz özellik: normal ve poz, ifade veya aydınlatma varyasyonlarını her iki yönde kapsayan 4.300 çift. | kimlik erişimi, kimlik benzerliği, poz hatası, ifade hatası, FID, özne tutarlılığı, arka plan tutarlılığı. Bu çapraz referansta hiçbir insan inceleme protokolü özetlenmemiştir. | Üç dilim, CASIA kurulumu içinde farklı faktörleri izole eder. Değerleri, o makalenin çift oluşturma, modeller, özellik çıkarıcılar, çözünürlükler ve toplamaya bağlıdır. |
| IDBench-V | Makalede bildirilen 200 gerçek dünya kaynak videosu ve hedef görüntü çifti. Küçük yüzler, aşırı kafa pozları, şiddetli tıkanmalar, karmaşık veya dinamik ifadeler ve karmaşık çok kişili sahneleri kapsayan bir 200 çiftlik değerlendirme seti. | ArcFace kimlik benzerliği, InsightFace kimlik benzerliği, CurricularFace kimlik benzerliği, kare bazında kimlik benzerliği varyansı, poz hatası, ifade hatası, arka plan tutarlılığı, özne tutarlılığı, hareket düzgünlüğü, FVD. Makale, kimlik benzerliği, özellik korunumu ve video kalitesi için 1-5 arası derecelendirmeler kullanan 19 değerlendirici bildirmektedir. | Satır yalnızca makale tarafından bildirilen protokolü kaydeder. Herkese açık indirme mevcudiyetini iddia etmez, bir sonucu yeniden üretmez veya değerlerini başka bir kıyaslamaya taşınabilir kılmaz. |
| CanonSwap VFS kıyaslaması | VFHQ'dan örneklenmiş 100 kaynak-hedef çifti; her hedef ilk 100 kareyi ve dört saniyelik karşılık gelen sesi kullanır. Sabit kare ve ses pencerelerine sahip bir 100 çiftlik video yüz değiştirme değerlendirme seti. | kimlik benzerliği, kimlik erişimi, poz hatası, ifade hatası, bakış hatası, göz en-boy oranı hatası, LSE-D, LSE-C, optik akış zamansal tutarlılığı, FVD. Bu çapraz referansta hiçbir insan inceleme protokolü özetlenmemiştir. | Protokol, makaleye özgü kare, ses, tahminci ve özellik çıkarıcı seçimlerini kullanır. Değerleri doğrudan IDBench-V veya CASIA değerleriyle karşılaştırılmamalıdır. |
Metrik karar haritasını indir
JSON, 9 metrik ailesinin tamamını, 3 protokollü çapraz referansı, ön koşulları, yorumlama yönergelerini, kanıt sınırlarını ve birincil kaynakları korur. CSV, metrik ailesi tablosunu içerir; BibTeX kaydı sabit atıf sağlar.
Karar için doğru kanıtı kullanın: otomatik metrikler sabit bir veri kümesi, değerlendirici, ön işleme hattı, örnek sayısı ve tekrarlanan çıktılar gerektirir. Bu yerel puan kartı, incelenen bir sonuçtaki görünür kusurları kaydeder ve kasıtlı olarak otomatik bir kıyaslamayı taklit etmez.
Beş adımlı değerlendirme protokolü
Her incelemeyi başka bir kişinin denetleyebileceği kadar tekrarlanabilir kılın
- Çıktı türünü seçin ve örneği tanımlayın. Fotoğraf, video veya GIF seçin ve bir örnek tanımlayıcı, inceleyen ve inceleme tarihi kaydedin.
- Üç kritik yayın eşiğini onaylayın. İzni onaylayın, amaçlanan kimlik eşlemesini doğrulayın ve bir yapay zeka içeriği bildiriminin gerekli olup olmadığını gözden geçirin.
- Uygulanabilir her kriteri gözden geçirin. Kimlik, yüz sınırı, duruş ve ifade, aydınlatma, kapanma, teknik bütünlük ve geçerli olduğunda zamansal kararlılığı derecelendirin.
- Ağırlıklı sonucu, eşikleri geçersiz kılmadan okuyun. Düzeltmelere öncelik vermek için sonucu kullanın. Sayısal bir puan, çözülmemiş izin, eşleme veya bildirim eşiklerini asla geçersiz kılmaz.
- Tam kanıt kaydını dışa aktarın. JSON veya CSV'yi indirin, notları saklayın ve karşılaştırmayı planladığınız her çıktı için aynı protokolü tekrarlayın.
Sağlayıcı karşılaştırmaları daha fazla kanıt gerektirir: aynı izin verilen girdileri, tekrarlanan bağımsız çalıştırmaları, birden fazla incelemecinin belgelenmiş izleme koşullarını ve istatistiksel raporlamayı kullanın. Elle seçilmiş bir çıktı, ortalama model kalitesini belirleyemez.
Kanıt sınırı ve kaynakları
Öznel inceleme yalnızca sınırları görünür olduğunda kullanışlıdır
Sınır
Puan, incelenen bir çıktının yapılandırılmış bir insan gözlemidir, biyometrik bir kimlik ölçümü değildir.
Sınır
Derecelendirme çizelgesi, model doğruluğunu, ortalama kaliteyi, güvenliği, hızı, güvenilirliği veya sağlayıcı üstünlüğünü belirlemez.
Sınır
Yüksek bir puan, onay, açıklama, yasal, erişilebilirlik veya hedef kitleye özgü incelemenin yerini almaz.
Sınır
Sağlayıcılar arası bir iddia, aynı girdileri, tekrarlanan çalıştırmaları, bağımsız incelemecileri, belgelenmiş izleme koşullarını ve istatistiksel raporlamayı gerektirir.
- ITU-R BT.500-15: Methodologies for the subjective assessment of the quality of television images - Belgelenmiş öznel görüntü değerlendirmesi için genel ilkeler; DeepSwapAI derecelendirme çizelgesi bir ITU laboratuvar testi değildir.
- ITU-T P.910 (10/2023): Subjective video quality assessment methods for multimedia applications - Belgelenmiş öznel çoklu ortam değerlendirmesi için genel ilkeler; DeepSwapAI derecelendirme çizelgesi pratik bir tek inceleme iş akışıdır.
- Towards High Fidelity Face Swapping: A Comprehensive Survey and New Benchmark - CASIA FaceSwapping kıyaslamasını tanımlar ve kimlik, hedef özellik, dağılım ve video tutarlılığı protokollerini belgeler.
- DreamID-V: Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer - 200 çiftlik IDBench-V protokolünü tanıtır ve çoklu kodlayıcı kimlik benzerliği, kare bazında varyans, hedef özellik, video tutarlılığı, FVD ve insan inceleme ölçülerini raporlar.
- CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation - Videoya özgü kimlik, hedef özellik, senkronizasyon, zamansal tutarlılık ve dağılım ölçülerini raporlar.
- Rank-based No-reference Quality Assessment for Face Swapping - Sıralanmış yargılara karşı eğitilmiş, öğrenilmiş yalnızca çıktı yüz değiştirme kalite değerlendirmesini inceler.
- GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium - Frechet Başlangıç Mesafesini bir dağılım düzeyinde değerlendirme ölçüsü olarak tanıtır.
- DeepSwapAI kontrollü girdi hazırlığı araştırması - yalnızca girdi kanıtı olan ve üretilmiş çıktı puanı olmayan ayrı bir bölüm.
- Kanonik skor kartı veri seti - mevcut JSON, resmi web sitesi tarafından yayınlanmıştır.
- Araştırma manifestosu sağlama toplamı doğrulandı - 17 kanonik dosya için bayt boyutları ve SHA-256 sağlama toplamları.
- Tarihi Yazılım Mirası deposu anlık görüntüsü - v1.6.2 durumu bağımsız olarak korunmuştur swh:
1: .snp: f11738615eea 9f999c8709a0 da73130f0426 6209 - DeepSwapAI iddia doğrulama metodolojisi - ürün bilgileri, karşılaştırmalar ve kanıt sınırlarının nasıl incelendiği.
Puan kartı soruları
Sayının neyi belirleyip belirleyemeyeceği
Bu, medyamı veya notlarımı yükler mi?
Hayır. Sayfada medya girişi yoktur ve puan kartı kontrolleri puanları veya notları DeepSwapAI'ye göndermez.
Bu bir biyometrik kimlik puanı mı?
Hayır. Bu, görünür çıktı özelliklerinin belgelenmiş insan gözlemidir; yüz tanıma doğruluğu veya yerleştirme benzerliği değildir.
Bir puan, yüz değiştirme sağlayıcılarını sıralayabilir mi?
Hayır. Savunulabilir bir karşılaştırma, paylaşılan girdiler, tekrarlanan çıktılar, birden fazla değerlendirici, kontrollü görüntüleme koşulları ve istatistiksel raporlama gerektirir.
Geçici kararlılık neden fotoğraflardan hariç tutulmuştur?
Bir durağan görüntüde kare dizisi yoktur. Fotoğraf modu, geçerli altı kriteri 90 temel puan noktasından 100'e normalleştirir.
Kriteri yeniden kullanabilir miyim?
Evet. Yayınlanan JSON ve boş CSV, CC BY 4.0 kullanır ve gerekli atıf bildirimini ve indirilebilir bir BibTeX kaydını içerir.
FID, tek bir yüz değiştirme çıktısını ölçebilir mi?
Hayır. FID, oluşturulmuş ve referans görüntü kümelerinin dağılımlarını karşılaştırır. Bir görüntü bir dağılım değildir.
Kimlik, kaynak veya hedefle mi karşılaştırılmalıdır?
Kimlik alma ve benzerlik normalde çıktıyı kaynakla karşılaştırır. Poz ve ifade koruması normalde çıktıyı hedefle karşılaştırır.
CASIA FaceSwapping, IDBench-V ve CanonSwap değerleri doğrudan karşılaştırılabilir mi?
Hayır. Bunların çift yapıları, zorluk dilimleri, değerlendiricileri, özellik çıkarıcıları, kare veya ses pencereleri, ön işleme ve toplama yöntemleri farklıdır. Değerleri karşılaştırmadan önce ortak bir protokolü tekrarlayın.
Önce en küçük temsili çıktıyı oluşturun
İzin verilen bir hedef ve kimlik referansı seçin, temsili bir sonuç oluşturun, ardından bir toplu iş veya uzun klibi ölçeklendirmeden önce puanlamak için geri dönün.