কিভাবে AI ফেস সোয়াপ কাজ করে, ধাপে ধাপে

সরাসরি উত্তর

একটি AI ফেস সোয়াপ আইডেন্টিটি সংকেত স্থানান্তর করে যখন একটি টার্গেট দৃশ্য সংরক্ষণ করে

সাধারণ গবেষণা গঠনে, source আইডেন্টিটি তথ্য সরবরাহ করে এবং target পোজ, এক্সপ্রেশন, দৃষ্টি, চুল, শরীর, পোশাক, আলোকসজ্জা প্রসঙ্গ, ফ্রেমিং এবং ব্যাকগ্রাউন্ড সরবরাহ করে। একটি সিস্টেম প্রথমে মুখ স্থানীয়করণ এবং স্বাভাবিক করে, সোর্স আইডেন্টিটি এবং টার্গেট অ্যাট্রিবিউট উপস্থাপন করে, একটি প্রতিস্থাপন মুখের অঞ্চল সংশ্লেষণ করে, তারপর সেই অঞ্চলটি টার্গেটে পরিমার্জিত এবং কম্পোজিট করে। ভিডিও সিস্টেমগুলিকে অবশ্যই সময় জুড়ে ফলাফল স্থিতিশীল রাখতে হবে।

সেই পার্থক্যটি গুরুত্বপূর্ণ। RetinaFace মুখ স্থানীয়করণ এবং ল্যান্ডমার্ক কী সরবরাহ করতে পারে তার জন্য দরকারী প্রমাণ; ArcFace আইডেন্টিটি উপস্থাপনার জন্য দরকারী প্রমাণ; FaceShifter, BlendFace, DiffSwap এবং VividFace আইডেন্টিটি স্থানান্তর, অ্যাট্রিবিউট সংরক্ষণ, অবরোধ এবং অস্থায়ী সামঞ্জস্যের জন্য বিভিন্ন গবেষণা পদ্ধতি দেখায়। এখানে তাদের অন্তর্ভুক্তির অর্থ এই নয় যে তারা একটি সিস্টেমের উপাদান। মডেল ধারণার পরিবর্তে অ্যাপ্লিকেশন সারি, নিষ্পত্তি, বিতরণ এবং ধরে রাখার জন্য, পৃথক উৎপাদন পাইপলাইন আর্কিটেকচার গাইড.

Source versus target

আইডেন্টিটি এবং দৃশ্যের বিভিন্ন কাজ আছে

এটি একটি ধারণাগত বিভাজন, গ্যারান্টি নয় যে প্রতিটি পিক্সেল এটি পুরোপুরি অনুসরণ করে। দুই-ছবি প্রস্তুতি নির্দেশিকা বর্তমান ওয়ার্কস্পেসে একই ভূমিকা প্রয়োগ করে, যখন প্রযুক্তিগত শব্দকোষ উৎস সীমানা সহ পরিচয় স্থানান্তর এবং লক্ষ্য-বৈশিষ্ট্য সংরক্ষণ সংজ্ঞায়িত করে।

সাত-পর্যায়ের ধারণাগত পাইপলাইন

মুখ শনাক্তকরণ থেকে পর্যালোচিত ফলাফল পর্যন্ত

1. লক্ষ্য মুখ সনাক্ত এবং স্থানীয়করণ করুন। একটি ডিটেক্টর একটি মুখের বক্স এবং ল্যান্ডমার্ক অনুমান করে। RetinaFace একটি গবেষণা নকশা প্রদর্শন করে যা যৌথভাবে মুখের বক্স, 2D ল্যান্ডমার্ক এবং 3D মুখের ভার্টেক্স অনুমান করে, ব্যাখ্যা করে কেন স্থানীয়করণ একটি আয়তক্ষেত্রাকার ক্রপের চেয়ে বেশি প্রদান করতে পারে।
2. মুখের ক্রপ সারিবদ্ধ এবং নর্মালাইজ করুন। ল্যান্ডমার্ক-নির্দেশিত ট্রান্সফর্ম মুখকে আরও স্থিতিশীল স্কেল এবং ওরিয়েন্টেশনে নিয়ে আসে। Nirkin এবং সহকর্মীদের উচ্চ-রেজোলিউশন VFX পাইপলাইন স্পষ্টভাবে সনাক্তকরণ, ল্যান্ডমার্ক-ভিত্তিক নর্মালাইজেশন, রিভার্স নর্মালাইজেশন এবং ব্লেন্ডিং বর্ণনা করে।
3. উৎস পরিচয় উপস্থাপন করুন। পরিচয় এনকোডার একটি উৎস মুখকে এমন বৈশিষ্ট্যে ম্যাপ করে যা একটি পরিচয়কে অন্যটি থেকে আলাদা করার উদ্দেশ্যে। ArcFace বৈষম্যমূলক মুখ-শনাক্তকরণ এম্বেডিংয়ের একটি প্রাথমিক উদাহরণ; BlendFace দেখায় কেন একটি পরিচয় এনকোডার অবাঞ্ছিত বৈশিষ্ট্যও বহন করতে পারে এবং ডিসএনট্যাঙ্গলমেন্টকে একটি মুখ-বদল সমস্যা হিসেবে ফ্রেম করে।
4. লক্ষ্য বৈশিষ্ট্যের উপর শর্ত আরোপ করুন। লক্ষ্য ভঙ্গি, অভিব্যক্তি, দৃষ্টি, আলোর প্রসঙ্গ এবং দৃশ্য প্রদান করে। FaceShifter লক্ষ্য বৈশিষ্ট্যে পরিচয় একীকরণ বর্ণনা করে, যখন এর ফলাফল এবং অ্যাবলেশন পরিচয় পুনরুদ্ধারকে বৈশিষ্ট্য এবং অক্লুশন হ্যান্ডলিং থেকে আলাদা করে।
5. প্রতিস্থাপন মুখ সংশ্লেষণ করুন। রূপান্তরটি 3D নির্দেশিকা, একটি অ্যাডভারসারিয়াল জেনারেটর, ডিফিউশন বা হাইব্রিড দিয়ে তৈরি করা যেতে পারে। DiffSwap, উদাহরণস্বরূপ, 3D-সচেতন মাস্কড ডিফিউশন ব্যবহার করে; এটি একটি প্রকাশিত পরিবার, একটি সার্বজনীন রেসিপি নয়।
6. মাস্ক, পরিমার্জন এবং কম্পোজিট করুন। উৎপন্ন মুখের অঞ্চলটিকে লক্ষ্য স্থানাঙ্কে ফিরে আসতে হবে এবং বিশ্বাসযোগ্য সীমানায় মূল পিক্সেলের সাথে মিলিত হতে হবে। অক্লুশন, চুল, চশমা, ত্বকের টোন, কনট্রাস্ট এবং আলোকসজ্জার জন্য একটি সাধারণ আয়তক্ষেত্রাকার পেস্টের পরিবর্তে মাস্ক এবং পরিমার্জন প্রয়োজন হতে পারে।
7. ভিডিও সময়ের সাথে স্থিতিশীল এবং পর্যালোচনা করুন। ভিডিও ফ্রেমের মধ্যে সঙ্গতি যোগ করে। ল্যান্ডমার্ক স্মুথিং, অস্থায়ীভাবে সচেতন জেনারেশন এবং সামঞ্জস্যপূর্ণ মাস্ক জিটার কমাতে পারে, কিন্তু পর্যালোচনায় এখনও টার্ন, স্পিচ, ব্লিঙ্ক, মোশন ব্লার, অক্লুশন এবং পুনরুদ্ধার ফ্রেম প্রয়োজন।

আর্কিটেকচার পরিবার

3D, অ্যাডভারসারিয়াল, ডিফিউশন এবং হাইব্রিড পদ্ধতি বিভিন্ন উপ-সমস্যা সমাধান করে

ইনপুট এবং দৃশ্যের অসুবিধা

সবচেয়ে দৃশ্যমান ব্যর্থতা অনুপস্থিত প্রমাণ বা বিরোধপূর্ণ প্রমাণে খুঁজে পাওয়া যায়

এটি একটি সরকারি ব্যাখ্যামূলক কম্পোজিট, ব্যবহারকারীর আপলোড, কাজের রসিদ, গড়-মানের নমুনা বা অন্য কোনো ছবির গ্যারান্টি নয়। স্থানীয় ইনপুট চেকার পরিমাপযোগ্য মাত্রা, লুমিন্যান্স, কনট্রাস্ট, ক্লিপিং এবং এজ ডিটেইলের জন্য। সেই পরিমাপগুলি কেবল ইনপুট বর্ণনা করে; তারা পরিচয় সাদৃশ্য, বাস্তবতা, সাফল্য বা চূড়ান্ত আউটপুট গুণমান ভবিষ্যদ্বাণী করে না।

ভিডিও ধারাবাহিকতা

একটি ভিডিও ফেস সোয়াপ অবশ্যই ফ্রেমের মধ্যে সুসংগত হতে হবে, শুধু স্টিলে আকর্ষণীয় নয়

স্বাধীন ফ্রেম প্রক্রিয়াকরণ সনাক্তকরণ, ল্যান্ডমার্ক, মাস্ক, রঙ বা পরিচয় বৈশিষ্ট্যের ছোট পরিবর্তনকে দৃশ্যমান ফ্লিকারে বাড়িয়ে তুলতে পারে। VFX পাইপলাইন রেন্ডারিংয়ের আগে ল্যান্ডমার্ক স্থিতিশীলতা বর্ণনা করে, যখন VividFace অস্থায়ী সঙ্গতি, অক্লুশন এবং ভঙ্গি পরিবর্তনকে স্পষ্ট ভিডিও চ্যালেঞ্জ হিসেবে বিবেচনা করে। এগুলি প্রকাশিত পদ্ধতি, DeepSwapAI-এর ব্যক্তিগত বাস্তবায়নের বর্ণনা নয়।

দ্য video preparation guide এই ধারণাগুলিকে একটি ক্লিপ-স্কাউটিং ওয়ার্কফ্লোতে পরিণত করে।

Evaluation map

প্রতিটি পরিমাপ কোন সম্পর্ক মূল্যায়ন করে তা জিজ্ঞাসা করুন

সঠিক মেট্রিক পূর্বশর্ত এবং ব্যাখ্যার জন্য, সংস্করণযুক্ত ব্যবহার করুন evaluation metric map. একটি দৃশ্যমান আউটপুট প্রদানকারী-ব্যাপী দাবিতে পরিণত না করে নথিভুক্ত করতে, ব্যবহার করুন human-review scorecard.

সনাক্তকরণ, প্রমাণ এবং প্রকাশ

তিনটি ভিন্ন প্রশ্নের জন্য তিনটি ভিন্ন সরঞ্জাম প্রয়োজন

FaceForensics++ ম্যানিপুলেশন সনাক্তকরণ এবং কম্প্রেশন অবস্থার জন্য প্রাথমিক বেঞ্চমার্ক প্রমাণ সরবরাহ করে। C2PA 2.4 specification প্রমাণ দাবি এবং বৈধতার জন্য প্রাথমিক উত্স। পড়ুন সম্মতি এবং প্রকাশ পরিকল্পনাকারী প্রযুক্তিগত সংকেত প্রতিস্থাপন করতে পারে না এমন মানব সিদ্ধান্তের জন্য।

দায়িত্বশীল ব্যবহার

প্রযুক্তিগত ক্ষমতা অনুমতি প্রতিষ্ঠা করে না

শুধুমাত্র প্রয়োজনীয় অধিকার এবং অনুমতি নিয়ে ফেস সোয়াপিং ব্যবহার করুন। অনুমতি ছাড়া ব্যক্তির জড়িত ছদ্মবেশ, জালিয়াতি, হয়রানি, যৌন বিষয়বস্তু, নাবালকদের জড়িত বিষয়বস্তু, প্রতারণামূলক রাজনৈতিক বা বাণিজ্যিক দাবি, পরিচয় নথি, অ্যাক্সেস নিয়ন্ত্রণ বা অন্যান্য নিষিদ্ধ কার্যকলাপের জন্য এটি ব্যবহার করবেন না। মূল ফাইলগুলি সংরক্ষণ করুন, উদ্দেশ্যযুক্ত ব্যবহার এবং সম্মতির ভিত্তি রেকর্ড করুন, সঠিক এক্সপোর্ট পর্যালোচনা করুন এবং প্রসঙ্গ দর্শকদের বিভ্রান্ত করতে পারে এমন উপাদান সম্পাদনা প্রকাশ করুন।

Technical questions

প্রমাণ সীমানা সহ সংক্ষিপ্ত উত্তর