Protokol tinjauan manusia gratis
Kartu skor kualitas pertukaran wajah untuk foto, video, dan GIF
Nilai satu keluaran yang dihasilkan dengan tujuh kriteria yang terlihat, tiga gerbang publikasi kritis, dan rumus berbobot yang transparan. Kemudian petakan tinjauan ke sembilan keluarga metrik dan tiga protokol tolok ukur video yang dipublikasikan tanpa memperlakukan skor yang tidak kompatibel sebagai setara.
Jawaban langsung
Skor kualitas pertukaran wajah memerlukan kriteria yang terlihat dan batas bukti
Kartu skor ini menyusun tinjauan manusia dari satu keluaran tertentu. Ini tidak memeriksa wajah secara biometrik, memprediksi hasil yang tidak terlihat, atau mengubah satu sampel yang menguntungkan menjadi klaim tentang seluruh model atau penyedia.
Evaluasi interaktif
Nilai satu keluaran dengan standar yang sama
Pilih jenis media, selesaikan gerbang, nilai setiap kriteria yang berlaku, dan simpan catatan bukti singkat untuk apa pun yang harus dapat ditemukan oleh peninjau lain.
Jangkar peringkat
Gunakan arti 0-ke-4 yang sama untuk setiap kriteria
Skala menggambarkan cacat terkuat yang diamati dalam materi sampel untuk kriteria tersebut. Ini bukan skor kepercayaan, probabilitas, atau pengukuran biometrik.
| Peringkat | Jangkar | Definisi |
|---|---|---|
| 0 | Tidak dapat digunakan | Kegagalan atau cacat parah mencegah penggunaan yang dimaksud. |
| 1 | Cacat besar | Cacat yang terlihat jelas mendominasi tampilan normal. |
| 2 | Cacat yang terlihat | Cacat tetap mudah terlihat dan memerlukan koreksi yang ditargetkan. |
| 3 | Cacat kecil | Cacat kecil terlihat saat peninjauan tetapi tidak mendominasi tampilan normal. |
| 4 | Tidak ada cacat material yang diamati | Tidak ada cacat material yang diamati dalam keluaran sampel untuk kriteria ini. |
Dimensi rubrik
Bobot eksplisit dan gerak hanya diberi skor saat gerak ada
Video dan GIF menggunakan semua 100 poin bobot dasar. Foto mengecualikan stabilitas temporal dan menormalkan 90 poin yang tersisa menjadi hasil 100 poin.
| Kriteria | Bobot dasar | Media | Pertanyaan tinjauan |
|---|---|---|---|
| Pelestarian identitas | 24% | foto, video, gif | Apakah mata, alis, hidung, mulut, rahang, isyarat usia, dan identitas keseluruhan yang terlihat tetap koheren dengan referensi yang dimaksud? |
| Batas dan perpaduan wajah | 16% | foto, video, gif | Apakah tekstur kulit, tepi wajah, telinga, rahang, garis rambut, dan leher bertransisi ke dalam adegan target tanpa batas yang ditempel? |
| Koherensi pose dan ekspresi | 14% | foto, video, gif | Apakah geometri wajah tetap koheren dengan sudut kepala target, arah pandangan, keadaan mata, bentuk mulut, dan ekspresi? |
| Kontinuitas pencahayaan dan warna | 14% | foto, video, gif | Apakah eksposur, warna, bayangan kulit, sorotan, dan bayangan tetap konsisten dengan adegan target? |
| Kontinuitas oklusi dan aksesori | 12% | foto, video, gif | Apakah rambut, tangan, kacamata, masker, mikrofon, objek latar depan, dan oklusi lainnya tetap dalam urutan visual yang benar? |
| Integritas teknis | 10% | foto, video, gif | Apakah keluaran bebas dari keburaman material, dering, artefak blok, robekan, fitur duplikat, perubahan tekstur mendadak, atau bingkai rusak? |
| Stabilitas temporal | 10% | video, gif | Di seluruh gerakan, apakah identitas tetap stabil tanpa kedipan, penyimpangan, kehilangan wajah, perubahan geometri mendadak, atau jahitan loop yang terlihat? |
Unduh protokol yang dapat digunakan kembali
JSON berisi skala lengkap, gerbang, kriteria, rumus, pita keputusan, batas bukti, lisensi, dan referensi. CSV adalah templat tinjauan tujuh baris kosong, dan file BibTeX menyediakan kutipan yang stabil.
Peta tolok ukur otomatis
Metrik kualitas pertukaran wajah menjawab pertanyaan yang berbeda
Tolok ukur yang dapat dipertahankan menjaga transfer identitas sumber, pelestarian atribut target, realisme distribusi gambar dan video, perilaku antar-bingkai, penilaian hanya keluaran, dan tinjauan manusia tetap terpisah. Peta keputusan berversi menyebutkan apa yang dibandingkan oleh setiap keluarga dan protokol yang diperlukan sebelum suatu nilai dapat ditafsirkan.
| Ukur | Membandingkan | Gunakan | Batas |
|---|---|---|---|
| Kesamaan pengambilan atau penyematan identitas | Identitas sumber versus keluaran yang ditukar, menggunakan penyandi wajah bernama atau galeri sumber. | Seberapa kuat output mempertahankan bukti identitas sumber di bawah evaluator tetap? Kemiripan atau kinerja pengambilan yang lebih tinggi biasanya lebih baik dalam protokol yang sama. | Encoder, crop, galeri, demografi, ambang batas, dan prapemrosesan memengaruhi nilainya. Ini bukan keputusan biometrik untuk satu orang. |
| Stabilitas kesamaan identitas per bingkai | Urutan kemiripan identitas sumber-ke-output di seluruh frame output yang terdeteksi di bawah satu encoder wajah bernama. | Apakah bukti identitas sumber tetap stabil saat pose, ekspresi, okulasi, dan kondisi pemandangan berubah seiring waktu? Dispersi yang lebih rendah dapat menunjukkan stabilitas yang lebih besar hanya ketika rata-rata kemiripan identitas atau hasil pengambilan dilaporkan di sampingnya. | Identitas yang salah secara konsisten dapat memiliki varians yang rendah. Dispersi tidak dapat menggantikan rata-rata kemiripan atau pengambilan, dan nilai tidak dapat dipindahkan antar encoder atau pipeline frame. |
| Kesalahan pose dan ekspresi | Perkiraan pose target atau ekspresi versus output yang ditukar di bawah estimator bernama. | Seberapa dekat output mempertahankan pose kepala target dan ekspresi di bawah estimator tetap? Kesalahan yang lebih rendah biasanya lebih baik dalam estimator dan parameterisasi yang sama. | Nilai tidak dapat dipindahkan antar estimator, crop, ruang parameter, konvensi landmark, atau pipeline prapemrosesan yang berbeda. |
| Frechet Inception Distance (FID) | Distribusi gambar atau frame yang dihasilkan versus distribusi referensi yang terdokumentasi. | Seberapa dekat dua distribusi fitur di bawah ekstraktor fitur tetap dan protokol pengambilan sampel? Lebih rendah lebih baik hanya dalam kumpulan data, ekstraktor, prapemrosesan, dan protokol sampel yang sama. | Satu output pertukaran wajah tidak dapat memiliki FID yang dapat dipertahankan karena satu gambar bukanlah distribusi. FID tidak mengisolasi kebenaran identitas. |
| Frechet Video Distance (FVD) | Distribusi klip video yang dihasilkan versus distribusi klip referensi yang terdokumentasi di bawah ekstraktor fitur video bernama. | Seberapa dekat distribusi fitur video yang dihasilkan dan referensi di bawah satu protokol pengambilan sampel klip tetap? Lebih rendah lebih baik hanya dalam kumpulan data, ekstraktor fitur, durasi klip, kecepatan bingkai, prapemrosesan, dan protokol sampel yang sama. | Satu klip output bukanlah hasil FVD tingkat distribusi yang dapat dipertahankan. FVD tidak mengisolasi identitas sumber, pelestarian atribut target, sinkronisasi bibir, atau cacat temporal tertentu. |
| Konsistensi subjek dan latar belakang | Konsistensi fitur di seluruh frame output dan terhadap frame sebelumnya, target, atau referensi. | Seberapa stabil fitur subjek dan latar belakang melalui gerakan di bawah protokol video tetap? Konsistensi yang lebih tinggi biasanya lebih baik dalam implementasi yang sama. | Konsistensi saja tidak dapat menetapkan pemetaan identitas yang benar, realisme visual, akurasi gerakan, atau kesiapan publikasi. |
| Diagnostik tatapan, bukaan mata, sinkronisasi bibir, dan gerak | Perilaku mata, audio-bibir, landmark, atau aliran optik bernama antara urutan target dan output. | Atribut target dinamis spesifik mana yang tetap tersinkronisasi melalui video yang dihasilkan? Arah dan unit tergantung pada diagnostik bernama; laporkan masing-masing secara terpisah. | Diagnostik ini tidak dapat dipertukarkan, memerlukan protokol video yang terdokumentasi, dan tidak berlaku untuk setiap jenis media. |
| Penilaian kualitas tanpa referensi yang dipelajari | Output saja, dievaluasi oleh model yang dilatih terhadap penilaian manusia yang diperingkatkan atau data kualitas berlabel. | Bagaimana penilai terlatih memeringkat kualitas output yang terlihat ketika media referensi eksplisit tidak tersedia? Arah tergantung pada output model; validasi pada distribusi hold-out yang terdokumentasi. | Kinerja tergantung pada data pelatihan dan ruang lingkup validasi. Skor hanya-output tidak dapat menetapkan transfer identitas sumber yang benar dengan sendirinya. |
| Kartu skor manusia terstruktur | Satu output yang terlihat terhadap jangkar cacat eksplisit, gerbang publikasi, dan catatan peninjau. | Cacat terlihat atau gerbang penggunaan yang belum terselesaikan mana yang diamati oleh peninjau dalam output spesifik ini? Gunakan peringkat ordinal berjangkar; jangan menafsirkan ulang hasilnya sebagai probabilitas atau skor biometrik. | Bukti subjektif tentang sampel yang ditinjau, bukan akurasi model, peringkat penyedia, probabilitas, atau kemiripan biometrik. |
Protokol tolok ukur yang dipublikasikan tidak dapat dipertukarkan
Penyeberangan di bawah hanya mencatat pengaturan yang dijelaskan oleh makalah utama. Itu tidak menyalin tabel hasil mereka, mengklaim bahwa setiap kumpulan data dapat diunduh, atau mengubah nilai dari evaluator yang berbeda menjadi satu papan peringkat.
| Protokol dan sumber | Unit perbandingan | Ukuran yang dilaporkan | Batas keterbandingan |
|---|---|---|---|
| CASIA FaceSwapping | Pasangan video sumber-target yang disusun di bawah tiga protokol isolasi faktor. Normal: 4.500 pasangan etnis yang sama tidak tumpang tindih dari rekaman normal. Lintas-etnis: 1.200 pasangan mencakup kedua arah antara kelompok Asia, Afrika, dan Kaukasia. Lintas-atribut: 4.300 pasangan mencakup variasi normal dan pose, ekspresi, atau pencahayaan di kedua arah. | pengambilan identitas, kemiripan identitas, kesalahan pose, kesalahan ekspresi, FID, konsistensi subjek, konsistensi latar belakang. Tidak ada protokol tinjauan manusia yang dirangkum dalam penyeberangan ini. | Tiga irisan mengisolasi faktor yang berbeda di dalam pengaturan CASIA. Nilai mereka tergantung pada konstruksi pasangan makalah itu, model, ekstraktor fitur, resolusi, dan agregasi. |
| IDBench-V | 200 pasangan video sumber dan gambar target dunia nyata yang dilaporkan makalah. Satu set evaluasi 200 pasangan yang mencakup wajah kecil, pose kepala ekstrem, okulasi parah, ekspresi kompleks atau dinamis, dan pemandangan multi-orang yang berantakan. | Kemiripan identitas ArcFace, kemiripan identitas InsightFace, kemiripan identitas CurricularFace, varians kemiripan identitas per frame, kesalahan pose, kesalahan ekspresi, konsistensi latar belakang, konsistensi subjek, kehalusan gerakan, FVD. Makalah melaporkan 19 evaluator menggunakan peringkat 1-5 untuk kemiripan identitas, pelestarian atribut, dan kualitas video. | Baris hanya mencatat protokol yang dilaporkan makalah. Itu tidak menyatakan ketersediaan unduhan publik, mereproduksi hasil, atau membuat nilainya dapat dipindahkan ke tolok ukur lain. |
| CanonSwap VFS benchmark | 100 pasangan sumber-target yang diambil sampel dari VFHQ; setiap target menggunakan 100 frame pertama dan empat detik audio yang sesuai. Satu set evaluasi pertukaran wajah video 100 pasangan dengan jendela frame dan audio tetap. | kemiripan identitas, pengambilan identitas, kesalahan pose, kesalahan ekspresi, kesalahan tatapan, kesalahan rasio aspek mata, LSE-D, LSE-C, konsistensi temporal aliran optik, FVD. Tidak ada protokol tinjauan manusia yang dirangkum dalam penyeberangan ini. | Protokol menggunakan pilihan frame, audio, estimator, dan ekstraktor fitur spesifik makalah. Nilainya tidak boleh dibandingkan langsung dengan nilai IDBench-V atau CASIA. |
Unduh peta keputusan metrik
JSON melestarikan semua 9 keluarga metrik, penyeberangan 3 protokol, prasyarat, arah interpretasi, batas bukti, dan sumber utama. CSV berisi tabel keluarga metrik; catatan BibTeX memberikan atribusi yang stabil.
Gunakan bukti yang tepat untuk keputusan: metrik otomatis memerlukan kumpulan data tetap, evaluator, pipeline prapemrosesan, jumlah sampel, dan output berulang. Kartu skor lokal ini mencatat cacat yang terlihat dalam satu hasil yang ditinjau dan sengaja tidak meniru tolok ukur otomatis.
Protokol evaluasi lima langkah
Buat setiap tinjauan cukup dapat direproduksi bagi orang lain untuk diperiksa
- Pilih jenis output dan identifikasi sampel. Pilih foto, video, atau GIF dan catat pengidentifikasi sampel, peninjau, dan tanggal tinjauan.
- Konfirmasi tiga gerbang publikasi kritis. Konfirmasi izin, verifikasi pemetaan identitas yang dimaksud, dan tinjau apakah pengungkapan konten AI diperlukan.
- Tinjau setiap kriteria yang berlaku. Nilai identitas, batas wajah, pose dan ekspresi, pencahayaan, okulasi, integritas teknis, dan stabilitas temporal jika berlaku.
- Baca hasil tertimbang tanpa menimpa gerbang. Gunakan hasil untuk memprioritaskan koreksi. Skor numerik tidak pernah menimpa gerbang izin, pemetaan, atau pengungkapan yang belum terselesaikan.
- Ekspor catatan bukti lengkap. Unduh JSON atau CSV, simpan catatan, dan ulangi protokol yang sama untuk setiap keluaran yang ingin Anda bandingkan.
Perbandingan penyedia membutuhkan lebih banyak bukti: gunakan input yang diizinkan identik, proses independen berulang, banyak peninjau, kondisi tampilan yang terdokumentasi, dan pelaporan statistik. Satu output yang dipilih tangan tidak dapat menetapkan kualitas model rata-rata.
Batas bukti dan sumber
Tinjauan subjektif hanya berguna ketika batasannya terlihat
Batas
Skor adalah pengamatan manusia terstruktur dari satu keluaran yang ditinjau, bukan pengukuran identitas biometrik.
Batas
Rubrik tidak menetapkan akurasi model, kualitas rata-rata, keamanan, kecepatan, keandalan, atau keunggulan penyedia.
Batas
Skor tinggi tidak menggantikan persetujuan, pengungkapan, tinjauan hukum, aksesibilitas, atau tinjauan khusus audiens.
Batas
Klaim lintas penyedia memerlukan input yang sama, proses berulang, peninjau independen, kondisi tampilan yang terdokumentasi, dan pelaporan statistik.
- ITU-R BT.500-15: Methodologies for the subjective assessment of the quality of television images - Prinsip umum untuk penilaian gambar subjektif yang terdokumentasi; rubrik DeepSwapAI bukanlah tes laboratorium ITU.
- ITU-T P.910 (10/2023): Subjective video quality assessment methods for multimedia applications - Prinsip umum untuk penilaian multimedia subjektif yang terdokumentasi; rubrik DeepSwapAI adalah alur kerja tinjauan tunggal yang praktis.
- Towards High Fidelity Face Swapping: A Comprehensive Survey and New Benchmark - Mendefinisikan tolok ukur CASIA FaceSwapping dan mendokumentasikan protokol identitas, atribut target, distribusi, dan konsistensi video.
- DreamID-V: Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer - Memperkenalkan protokol IDBench-V 200 pasangan dan melaporkan kemiripan identitas multi-encoder, varians per frame, atribut target, konsistensi video, FVD, dan ukuran tinjauan manusia.
- CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation - Melaporkan ukuran identitas spesifik video, atribut target, sinkronisasi, konsistensi temporal, dan distribusi.
- Rank-based No-reference Quality Assessment for Face Swapping - Mempelajari penilaian kualitas pertukaran wajah hanya-output yang dipelajari yang dilatih terhadap penilaian yang diperingkatkan.
- GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium - Memperkenalkan Frechet Inception Distance sebagai ukuran evaluasi tingkat distribusi.
- Penelitian kesiapan input terkontrol DeepSwapAI - bukti hanya-input terpisah tanpa skor output yang dihasilkan.
- Kumpulan data kartu skor kanonik - saat ini JSON diterbitkan oleh situs web kanonik.
- Manifest riset terverifikasi checksum - ukuran byte dan checksum SHA-256 untuk 17 file kanonik.
- Snapshot repositori Warisan Perangkat Lunak Bersejarah - versi v1.6.2 disimpan secara independen sebagai swh:
1: .snp: f11738615eea 9f999c8709a0 da73130f0426 6209 - Metodologi verifikasi klaim DeepSwapAI - bagaimana fakta produk, perbandingan, dan batas bukti ditinjau.
Pertanyaan kartu skor
Apa yang dapat dan tidak dapat ditetapkan oleh angka tersebut
Apakah ini mengunggah media atau catatan saya?
Tidak. Halaman tidak memiliki input media, dan kontrol kartu skor tidak mengirim peringkat atau catatan ke DeepSwapAI.
Apakah ini skor identitas biometrik?
Tidak. Ini adalah pengamatan manusia yang terdokumentasi dari karakteristik output yang terlihat, bukan akurasi pengenalan wajah atau kemiripan embedding.
Dapatkah satu skor memeringkat penyedia pertukaran wajah?
Tidak. Perbandingan yang dapat dipertahankan membutuhkan input bersama, output berulang, banyak peninjau, kondisi tampilan terkontrol, dan pelaporan statistik.
Mengapa stabilitas temporal dikecualikan dari foto?
Gambar diam tidak memiliki urutan frame. Mode foto menormalkan enam kriteria yang berlaku dari 90 poin bobot dasar menjadi 100.
Dapatkah saya menggunakan kembali rubrik?
Ya. JSON yang diterbitkan dan CSV kosong menggunakan CC BY 4.0 dan menyertakan pernyataan atribusi yang diperlukan dan catatan BibTeX yang dapat diunduh.
Bisakah FID mengukur satu output pertukaran wajah?
Tidak. FID membandingkan distribusi set gambar yang dihasilkan dan referensi. Satu gambar bukanlah distribusi.
Haruskah identitas dibandingkan dengan sumber atau target?
Pengambilan dan kemiripan identitas biasanya membandingkan output dengan sumber. Pelestarian pose dan ekspresi biasanya membandingkan output dengan target.
Bisakah nilai CASIA FaceSwapping, IDBench-V, dan CanonSwap dibandingkan secara langsung?
Tidak. Konstruksi pasangan, irisan tantangan, evaluator, ekstraktor fitur, jendela frame atau audio, prapemrosesan, dan agregasi mereka berbeda. Reproduksi satu protokol bersama sebelum membandingkan nilai.
Hasilkan output representatif terkecil terlebih dahulu
Pilih satu target yang diizinkan dan referensi identitas, hasilkan satu hasil representatif, lalu kembali untuk menilainya sebelum menskalakan batch atau klip panjang.