Giao thức đánh giá của con người miễn phí
Thẻ điểm chất lượng hoán đổi khuôn mặt cho ảnh, video và GIF
Đánh giá một đầu ra được tạo ra với bảy tiêu chí có thể nhìn thấy, ba cổng xuất bản quan trọng và một công thức có trọng số minh bạch. Sau đó, ánh xạ đánh giá tới chín họ chỉ số và ba giao thức video chuẩn đã công bố mà không coi các điểm số không tương thích là tương đương.
Câu trả lời trực tiếp
Điểm chất lượng hoán đổi khuôn mặt cần các tiêu chí có thể nhìn thấy và một ranh giới bằng chứng
Thẻ điểm này cấu trúc một đánh giá của con người về một đầu ra cụ thể. Nó không kiểm tra khuôn mặt bằng sinh trắc học, dự đoán kết quả chưa thấy hoặc biến một mẫu thuận lợi thành tuyên bố về toàn bộ mô hình hoặc nhà cung cấp.
Đánh giá tương tác
Chấm điểm một đầu ra với cùng một tiêu chuẩn
Chọn loại phương tiện, hoàn thành các cổng, đánh giá mọi tiêu chí áp dụng và giữ một ghi chú bằng chứng ngắn gọn cho bất kỳ điều gì người đánh giá khác có thể tìm thấy.
Mốc đánh giá
Sử dụng cùng ý nghĩa 0-đến-4 cho mọi tiêu chí
Thang đo mô tả lỗi mạnh nhất được quan sát thấy trong tài liệu mẫu cho tiêu chí đó. Nó không phải là điểm tin cậy, xác suất hay phép đo sinh trắc học.
| Đánh giá | Mốc | Định nghĩa |
|---|---|---|
| 0 | Không thể sử dụng | Lỗi hoặc khiếm khuyết nghiêm trọng ngăn cản mục đích sử dụng. |
| 1 | Khiếm khuyết lớn | Một khiếm khuyết có thể nhìn thấy rõ ràng chi phối việc xem bình thường. |
| 2 | Khiếm khuyết đáng chú ý | Một khiếm khuyết vẫn dễ nhận thấy và cần sửa chữa có mục tiêu. |
| 3 | Khiếm khuyết nhỏ | Có một khuyết điểm nhỏ có thể thấy khi xem xét nhưng không chiếm ưu thế khi xem bình thường. |
| 4 | Không quan sát thấy khuyết điểm vật chất nào | Không quan sát thấy khuyết điểm vật chất nào trong đầu ra được lấy mẫu cho tiêu chí này. |
Kích thước thang điểm
Trọng số là rõ ràng và chuyển động chỉ được chấm điểm khi có chuyển động
Video và GIF sử dụng tất cả 100 điểm trọng số cơ bản. Ảnh loại trừ độ ổn định thời gian và chuẩn hóa 90 điểm còn lại thành kết quả 100 điểm.
| Tiêu chí | Trọng số cơ bản | Phương tiện | Câu hỏi đánh giá |
|---|---|---|---|
| Bảo toàn danh tính | 24% | ảnh, video, gif | Mắt, lông mày, mũi, miệng, hàm, dấu hiệu tuổi tác và tổng thể danh tính có còn nhất quán với tham chiếu dự kiến không? |
| Ranh giới và hòa trộn khuôn mặt | 16% | ảnh, video, gif | Kết cấu da, mép mặt, tai, hàm, chân tóc và cổ có chuyển tiếp vào cảnh mục tiêu mà không có ranh giới như bị dán lên không? |
| Sự nhất quán về tư thế và biểu cảm | 14% | ảnh, video, gif | Hình dạng khuôn mặt có nhất quán với góc đầu mục tiêu, hướng nhìn, trạng thái mắt, hình dạng miệng và biểu cảm không? |
| Tính liên tục của ánh sáng và màu sắc | 14% | ảnh, video, gif | Độ phơi sáng, màu sắc, tông màu da, vùng sáng và bóng đổ có nhất quán với cảnh mục tiêu không? |
| Tính liên tục của vật che khuất và phụ kiện | 12% | ảnh, video, gif | Tóc, tay, kính, khẩu trang, micrô, vật thể tiền cảnh và các vật che khuất khác có giữ đúng thứ tự thị giác không? |
| Tính toàn vẹn kỹ thuật | 10% | ảnh, video, gif | Đầu ra có không bị mờ đáng kể, vòng tròn, hiện vật khối, xé hình, đặc điểm trùng lặp, thay đổi kết cấu đột ngột hoặc khung hình bị hỏng không? |
| Độ ổn định thời gian | 10% | video, gif | Trong suốt chuyển động, danh tính có ổn định mà không bị nhấp nháy, trôi, mất khuôn mặt, thay đổi hình dạng đột ngột hoặc đường nối vòng lặp có thể thấy không? |
Tải xuống quy trình có thể tái sử dụng
JSON chứa thang đo đầy đủ, các cổng, tiêu chí, công thức, dải quyết định, giới hạn bằng chứng, giấy phép và tài liệu tham khảo. CSV là một mẫu đánh giá bảy hàng trống và tệp BibTeX cung cấp một trích dẫn ổn định.
Bản đồ điểm chuẩn tự động
Các chỉ số chất lượng hoán đổi khuôn mặt trả lời các câu hỏi khác nhau
Một điểm chuẩn có thể bảo vệ giữ cho việc chuyển giao danh tính nguồn, bảo tồn thuộc tính mục tiêu, tính chân thực của phân phối ảnh và video, hành vi giữa các khung hình, đánh giá chỉ dựa trên đầu ra và đánh giá thủ công riêng biệt. Bản đồ quyết định có phiên bản đặt tên cho những gì mỗi họ so sánh và quy trình cần thiết trước khi một giá trị có thể được diễn giải.
| Thước đo | So sánh | Sử dụng | Ranh giới |
|---|---|---|---|
| Độ tương đồng nhúng hoặc truy xuất danh tính | Danh tính nguồn so với đầu ra đã hoán đổi, sử dụng bộ mã hóa khuôn mặt được đặt tên hoặc thư viện nguồn. | Đầu ra giữ lại bằng chứng nhận dạng nguồn mạnh mẽ như thế nào dưới bộ đánh giá cố định? Độ tương đồng cao hơn hoặc hiệu suất truy xuất thường tốt hơn trong cùng một quy trình. | Bộ mã hóa, crop, thư viện, nhân khẩu học, ngưỡng và tiền xử lý ảnh hưởng đến giá trị. Nó không phải là phán quyết sinh trắc học cho một người. |
| Độ ổn định độ tương đồng danh tính theo từng khung hình | Trình tự các độ tương đồng nhận dạng từ nguồn đến đầu ra trên các khung hình đầu ra được phát hiện dưới một bộ mã hóa khuôn mặt được đặt tên. | Bằng chứng nhận dạng nguồn có ổn định khi tư thế, biểu cảm, độ che khuất và điều kiện cảnh thay đổi theo thời gian không? Độ phân tán thấp hơn có thể chỉ ra độ ổn định cao hơn chỉ khi độ tương đồng nhận dạng trung bình hoặc kết quả truy xuất được báo cáo bên cạnh nó. | Một danh tính sai nhất quán có thể có phương sai thấp. Độ phân tán không thể thay thế độ tương đồng trung bình hoặc truy xuất và các giá trị không thể chuyển đổi qua các bộ mã hóa hoặc đường ống khung hình khác nhau. |
| Lỗi tư thế và biểu cảm | Ước tính tư thế hoặc biểu cảm mục tiêu so với đầu ra đã hoán đổi dưới một bộ ước tính được đặt tên. | Đầu ra bảo tồn tư thế đầu và biểu cảm mục tiêu chặt chẽ như thế nào dưới bộ ước tính cố định? Sai số thấp hơn thường tốt hơn trong cùng một bộ ước tính và tham số hóa. | Các giá trị không thể chuyển đổi qua các bộ ước tính, crop, không gian tham số, quy ước điểm mốc hoặc đường ống tiền xử lý khác nhau. |
| Frechet Inception Distance (FID) | Phân phối các ảnh hoặc khung hình được tạo ra so với phân phối tham chiếu đã được ghi chép. | Hai phân phối đặc trưng gần nhau như thế nào dưới bộ trích xuất đặc trưng cố định và quy trình lấy mẫu? Thấp hơn chỉ tốt hơn trong cùng một tập dữ liệu, bộ trích xuất, tiền xử lý và quy trình mẫu. | Một đầu ra hoán đổi khuôn mặt không thể có FID có thể bảo vệ được vì một ảnh đơn lẻ không phải là một phân phối. FID không cô lập tính đúng đắn của danh tính. |
| Frechet Video Distance (FVD) | Phân phối các clip video được tạo ra so với phân phối clip tham chiếu đã được ghi chép dưới một bộ trích xuất đặc trưng video được đặt tên. | Các phân phối đặc trưng video được tạo ra và tham chiếu gần nhau như thế nào dưới một quy trình lấy mẫu clip cố định? Thấp hơn chỉ tốt hơn trong cùng một tập dữ liệu, bộ trích xuất đặc trưng, thời lượng clip, tốc độ khung hình, tiền xử lý và quy trình mẫu. | Một clip đầu ra không phải là kết quả FVD cấp phân phối có thể bảo vệ được. FVD không cô lập danh tính nguồn, bảo tồn thuộc tính mục tiêu, đồng bộ hóa môi hoặc một lỗi thời gian cụ thể. |
| Sự nhất quán của chủ thể và nền | Tính nhất quán của đặc trưng trên các khung hình đầu ra và so với các khung hình trước đó, mục tiêu hoặc tham chiếu. | Các đặc trưng của chủ thể và nền ổn định như thế nào qua chuyển động dưới quy trình video cố định? Tính nhất quán cao hơn thường tốt hơn trong cùng một triển khai. | Riêng tính nhất quán không thể thiết lập ánh xạ danh tính chính xác, tính chân thực trực quan, độ chính xác chuyển động hoặc sự sẵn sàng xuất bản. |
| Chẩn đoán hướng nhìn, độ mở mắt, khớp môi và chuyển động | Hành vi mắt, âm thanh-môi, điểm mốc hoặc quang học được đặt tên giữa các chuỗi mục tiêu và đầu ra. | Những thuộc tính động mục tiêu cụ thể nào vẫn được đồng bộ hóa trong suốt video được tạo ra? Hướng và đơn vị phụ thuộc vào chẩn đoán được đặt tên; báo cáo từng cái riêng biệt. | Các chẩn đoán này không thể thay thế cho nhau, cần một quy trình video được ghi chép và không áp dụng cho mọi loại phương tiện. |
| Đánh giá chất lượng không tham chiếu đã học | Chỉ đầu ra, được đánh giá bởi một mô hình được huấn luyện dựa trên các đánh giá thủ công được xếp hạng hoặc dữ liệu chất lượng được gắn nhãn. | Một người đánh giá đã được huấn luyện xếp hạng chất lượng đầu ra nhìn thấy được như thế nào khi không có phương tiện tham chiếu rõ ràng? Hướng phụ thuộc vào đầu ra của mô hình; xác thực nó trên một phân phối dữ liệu giữ lại đã được ghi chép. | Hiệu suất phụ thuộc vào dữ liệu huấn luyện và phạm vi xác thực. Một điểm số chỉ dựa trên đầu ra không thể tự nó thiết lập việc chuyển giao danh tính nguồn chính xác. |
| Thẻ điểm có cấu trúc của con người | Một đầu ra nhìn thấy được so với các mốc lỗi rõ ràng, cổng xuất bản và ghi chú của người đánh giá. | Người đánh giá quan sát thấy những lỗi nhìn thấy được hoặc các cổng sử dụng chưa được giải quyết nào trong đầu ra cụ thể này? Sử dụng xếp hạng thứ tự có mốc; không diễn giải lại kết quả như một xác suất hoặc điểm sinh trắc học. | Bằng chứng chủ quan về mẫu được đánh giá, không phải độ chính xác của mô hình, xếp hạng nhà cung cấp, xác suất hoặc độ tương đồng sinh trắc học. |
Các quy trình điểm chuẩn đã công bố không thể thay thế cho nhau
Bảng đối chiếu bên dưới chỉ ghi lại các thiết lập được mô tả bởi các bài báo chính. Nó không sao chép bảng kết quả của họ, khẳng định rằng mọi tập dữ liệu đều có thể tải xuống hoặc biến các giá trị từ các bộ đánh giá khác nhau thành một bảng xếp hạng duy nhất.
| Quy trình và nguồn | Đơn vị so sánh | Các thước đo được báo cáo | Ranh giới khả năng so sánh |
|---|---|---|---|
| CASIA FaceSwapping | Các cặp video nguồn-mục tiêu được tập hợp theo ba quy trình cô lập yếu tố. Bình thường: 4.500 cặp cùng dân tộc không chồng lấn từ các bản ghi bình thường. Đa dân tộc: 1.200 cặp trải dài cả hai hướng giữa các nhóm Châu Á, Châu Phi và Da trắng. Đa thuộc tính: 4.300 cặp trải dài các biến thể bình thường và tư thế, biểu cảm hoặc ánh sáng theo cả hai hướng. | truy xuất danh tính, độ tương đồng danh tính, lỗi tư thế, lỗi biểu cảm, FID, tính nhất quán của chủ thể, tính nhất quán của nền. Không có quy trình đánh giá thủ công nào được tóm tắt trong bảng đối chiếu này. | Ba lát cắt cô lập các yếu tố khác nhau bên trong thiết lập CASIA. Các giá trị của chúng phụ thuộc vào cấu trúc cặp, mô hình, bộ trích xuất đặc trưng, độ phân giải và tổng hợp của bài báo đó. |
| IDBench-V | 200 cặp video nguồn và ảnh mục tiêu trong thế giới thực được báo cáo trong bài báo. Một bộ đánh giá 200 cặp bao gồm khuôn mặt nhỏ, tư thế đầu cực đoan, che khuất nghiêm trọng, cảnh nhiều người lộn xộn và biểu cảm phức tạp hoặc động. | Độ tương đồng danh tính ArcFace, Độ tương đồng danh tính InsightFace, Độ tương đồng danh tính CurricularFace, phương sai độ tương đồng danh tính theo khung hình, lỗi tư thế, lỗi biểu cảm, tính nhất quán của nền, tính nhất quán của chủ thể, độ mượt chuyển động, FVD. Bài báo báo cáo 19 người đánh giá sử dụng xếp hạng 1-đến-5 cho độ tương đồng danh tính, bảo tồn thuộc tính và chất lượng video. | Hàng này chỉ ghi lại quy trình được báo cáo trong bài báo. Nó không khẳng định tính khả dụng tải xuống công khai, tái tạo kết quả hoặc làm cho các giá trị của nó có thể chuyển đổi sang một điểm chuẩn khác. |
| CanonSwap VFS benchmark | 100 cặp nguồn-mục tiêu được lấy mẫu từ VFHQ; mỗi mục tiêu sử dụng 100 khung hình đầu tiên và bốn giây âm thanh tương ứng. Một bộ đánh giá hoán đổi khuôn mặt video 100 cặp với các cửa sổ khung hình và âm thanh cố định. | độ tương đồng danh tính, truy xuất danh tính, lỗi tư thế, lỗi biểu cảm, lỗi hướng nhìn, lỗi tỷ lệ khung hình mắt, LSE-D, LSE-C, tính nhất quán thời gian dòng quang học, FVD. Không có quy trình đánh giá thủ công nào được tóm tắt trong bảng đối chiếu này. | Quy trình sử dụng các lựa chọn khung hình, âm thanh, bộ ước tính và bộ trích xuất đặc trưng cụ thể của bài báo. Các giá trị của nó không được so sánh trực tiếp với các giá trị IDBench-V hoặc CASIA. |
Tải xuống bản đồ quyết định chỉ số
JSON bảo tồn tất cả 9 họ chỉ số, bảng đối chiếu 3 quy trình, các điều kiện tiên quyết, hướng dẫn diễn giải, ranh giới bằng chứng và các nguồn chính. CSV chứa bảng họ chỉ số; bản ghi BibTeX cung cấp sự ghi nhận tác giả ổn định.
Sử dụng đúng bằng chứng cho quyết định: các chỉ số tự động cần một tập dữ liệu cố định, bộ đánh giá, đường ống tiền xử lý, số lượng mẫu và đầu ra lặp lại. Bảng điểm cục bộ này ghi lại các lỗi nhìn thấy được trong một kết quả được đánh giá và cố tình không bắt chước một điểm chuẩn tự động.
Quy trình đánh giá năm bước
Làm cho mỗi đánh giá có thể tái tạo đủ để người khác kiểm tra
- Chọn loại đầu ra và xác định mẫu. Chọn ảnh, video hoặc GIF và ghi lại mã định danh mẫu, người đánh giá và ngày đánh giá.
- Xác nhận ba cổng xuất bản quan trọng. Xác nhận quyền, xác minh ánh xạ danh tính dự kiến và xem xét liệu có cần công bố nội dung AI hay không.
- Đánh giá mọi tiêu chí áp dụng. Đánh giá danh tính, ranh giới khuôn mặt, tư thế và biểu cảm, ánh sáng, vật che khuất, tính toàn vẹn kỹ thuật và độ ổn định thời gian nếu có.
- Đọc kết quả có trọng số mà không ghi đè các cổng. Sử dụng kết quả để ưu tiên các chỉnh sửa. Điểm số không bao giờ ghi đè lên các cổng quyền, ánh xạ hoặc công bố chưa được giải quyết.
- Xuất bản ghi bằng chứng hoàn chỉnh. Tải xuống JSON hoặc CSV, giữ lại ghi chú và lặp lại cùng một giao thức cho mỗi đầu ra bạn định so sánh.
So sánh nhà cung cấp cần nhiều bằng chứng hơn: sử dụng đầu vào được phép giống hệt nhau, các lần chạy độc lập lặp lại, nhiều người đánh giá, điều kiện xem được ghi chép và báo cáo thống kê. Một đầu ra được chọn thủ công không thể thiết lập chất lượng mô hình trung bình.
Ranh giới bằng chứng và nguồn
Đánh giá chủ quan chỉ hữu ích khi các giới hạn của nó được nhìn thấy
Ranh giới
Điểm số là một quan sát có cấu trúc của con người về một đầu ra đã được đánh giá, không phải là phép đo danh tính sinh trắc học.
Ranh giới
Tiêu chí đánh giá không thiết lập độ chính xác của mô hình, chất lượng trung bình, độ an toàn, tốc độ, độ tin cậy hoặc sự vượt trội của nhà cung cấp.
Ranh giới
Điểm cao không thay thế cho việc đánh giá về sự đồng ý, công bố, pháp lý, khả năng tiếp cận hoặc đối tượng cụ thể.
Ranh giới
Một tuyên bố so sánh giữa các nhà cung cấp yêu cầu cùng một đầu vào, các lần chạy lặp lại, người đánh giá độc lập, điều kiện xem được ghi chép và báo cáo thống kê.
- ITU-R BT.500-15: Methodologies for the subjective assessment of the quality of television images - Các nguyên tắc chung cho đánh giá ảnh chủ quan đã được ghi chép; thang điểm DeepSwapAI không phải là một thử nghiệm phòng thí nghiệm ITU.
- ITU-T P.910 (10/2023): Subjective video quality assessment methods for multimedia applications - Các nguyên tắc chung cho đánh giá đa phương tiện chủ quan đã được ghi chép; thang điểm DeepSwapAI là một quy trình đánh giá đơn lẻ thực tế.
- Towards High Fidelity Face Swapping: A Comprehensive Survey and New Benchmark - Xác định điểm chuẩn CASIA FaceSwapping và ghi chép các quy trình về danh tính, thuộc tính mục tiêu, phân phối và tính nhất quán video.
- DreamID-V: Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer - Giới thiệu quy trình IDBench-V 200 cặp và báo cáo độ tương đồng danh tính đa bộ mã hóa, phương sai theo khung hình, thuộc tính mục tiêu, tính nhất quán video, FVD và các thước đo đánh giá thủ công.
- CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation - Báo cáo các thước đo cụ thể về video về danh tính, thuộc tính mục tiêu, đồng bộ hóa, tính nhất quán thời gian và phân phối.
- Rank-based No-reference Quality Assessment for Face Swapping - Nghiên cứu đánh giá chất lượng hoán đổi khuôn mặt chỉ dựa trên đầu ra đã được học, được huấn luyện dựa trên các đánh giá được xếp hạng.
- GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium - Giới thiệu Frechet Inception Distance như một thước đo đánh giá cấp phân phối.
- Nghiên cứu sẵn sàng đầu vào có kiểm soát DeepSwapAI - bằng chứng riêng biệt chỉ dựa trên đầu vào, không có điểm số đầu ra được tạo ra.
- Bộ dữ liệu thẻ điểm chuẩn hóa - hiện tại JSON được xuất bản bởi trang web chính thức.
- Danh mục nghiên cứu đã xác minh tổng kiểm tra - Kích thước byte và tổng kiểm SHA-256 cho 17 tệp chuẩn.
- Ảnh chụp kho lưu trữ Di sản Phần mềm Lịch sử - phiên bản v1.6.2 được bảo tồn độc lập swh:
1: .snp: f11738615eea 9f999c8709a0 da73130f0426 6209 - Phương pháp xác minh tuyên bố DeepSwapAI - cách các sự kiện sản phẩm, so sánh và ranh giới bằng chứng được đánh giá.
Câu hỏi về bảng điểm
Con số có thể và không thể thiết lập điều gì
Điều này có tải lên phương tiện hoặc ghi chú của tôi không?
Không. Trang không có đầu vào phương tiện và các điều khiển bảng điểm không gửi đánh giá hoặc ghi chú đến DeepSwapAI.
Đây có phải là điểm nhận dạng sinh trắc học không?
Không. Đây là một quan sát thủ công đã được ghi chép về các đặc điểm đầu ra nhìn thấy được, không phải độ chính xác nhận dạng khuôn mặt hoặc độ tương đồng nhúng.
Một điểm số có thể xếp hạng các nhà cung cấp hoán đổi khuôn mặt không?
Không. Một so sánh có thể bảo vệ cần có đầu vào được chia sẻ, đầu ra lặp lại, nhiều người đánh giá, điều kiện xem được kiểm soát và báo cáo thống kê.
Tại sao độ ổn định thời gian bị loại trừ khỏi ảnh?
Một ảnh tĩnh không có chuỗi khung hình. Chế độ ảnh chuẩn hóa sáu tiêu chí áp dụng từ 90 điểm trọng số cơ bản lên 100.
Tôi có thể sử dụng lại tiêu chí đánh giá không?
Có. JSON đã công bố và CSV trống sử dụng CC BY 4.0 và bao gồm câu khẳng định ghi nhận tác giả bắt buộc và một bản ghi BibTeX có thể tải xuống.
FID có thể đo một đầu ra hoán đổi khuôn mặt không?
Không. FID so sánh các phân phối của các tập ảnh được tạo ra và tham chiếu. Một ảnh không phải là một phân phối.
Có nên so sánh danh tính với nguồn hay mục tiêu?
Truy xuất và độ tương đồng danh tính thường so sánh đầu ra với nguồn. Bảo tồn tư thế và biểu cảm thường so sánh đầu ra với mục tiêu.
Các giá trị CASIA FaceSwapping, IDBench-V và CanonSwap có thể được so sánh trực tiếp không?
Không. Cấu trúc cặp, lát cắt thử thách, bộ đánh giá, bộ trích xuất đặc trưng, cửa sổ khung hình hoặc âm thanh, tiền xử lý và tổng hợp của chúng khác nhau. Tái tạo một quy trình được chia sẻ trước khi so sánh các giá trị.
Tạo đầu ra đại diện nhỏ nhất trước
Chọn một tham chiếu danh tính và mục tiêu được phép, tạo một kết quả đại diện, sau đó quay lại chấm điểm nó trước khi mở rộng quy mô một lô hoặc clip dài.