يُعَدُّ استيفاء الصور بالاعتماد على نماذج الانتشار من الأساليب الواعدة في توليد صور جديدة ومبتكرة. تتمحور الطرق المتقدمة للاستيفاء حول الاستيفاء الخطي الكروي، حيث تُرمّز الصور في فضاء الضوضاء ثم يُستكمل استيفاؤها لإزالة التشويش. ومع ذلك، تواجه التقنيات الحالية صعوبة في استيفاء الصور الطبيعية (غير المولدة بواسطة نماذج الانتشار) بكفاءة، مما يقيّد تطبيقاتها العملية. تكشف نتائج تجاربنا أن هذه العقبات تنبع من عدم انطباق ضوضاء التشفير للتوزيع المفترض، مثل التوزيع الطبيعي. لمواجهة ذلك، نقترح نهجاً جديداً لتصحيح الضوضاء أثناء الاستيفاء، NoiseDiffusion. بالتحديد، يقرّب NoiseDiffusion الضوضاء غير الصالحة من التوزيع المتوقع بإضافة قدر ضئيل من ضوضاء غاوسية معيارية، ويُطبّق قيداً لكبح القيم الشاذة. يعزز هذا القيد من صلاحية الضوضاء ويخفّف من تشوهات الصور، غير أن ذلك قد يقلّل نسبة الإشارة إلى الضوضاء ويؤدي إلى فقدان بعض المعلومات الأصلية. لذا، ينفّذ NoiseDiffusion الاستيفاء داخل فضاء الصور الضوضائي ثم يحقن الصور الأصلية في تلك النظائر الضوضائية لتعويض أي نقص في المعلومات. ونتيجة لذلك، يستطيع NoiseDiffusion استيفاء الصور الطبيعية دون تشوه أو فقد للمحتوى، محققاً أفضل أداء للاستيفاء حتى الآن. الكود متاح على https://github.com/tmlr-group/NoiseDiffusion.
درسنا عملية الاستيفاء وعزونا فشلها إلى إدخال ضوضاء غير مناسبة مع معلومات الصورة، مما أدّى إلى تشوهات واضطراب في الصور المستوفاة. لذلك، استكشفنا طريقة إضافة الضوضاء مباشرةً إلى المتغيرات الكامنة للنموذج، التي حسّنت جودة الصورة ولكنها أضافت معلومات زائدة. بناءً على ذلك، دمجنا المنهجين لاقتراح نهج جديد يستفيد من ضوضاء حاملة للمعلومات الأصلية ويضيف مقداراً محدوداً من ضوضاء غاوسية لتعزيز جودة الاستيفاء. إلى جانب ذلك، قدمنا قيوداً مبتكرة على مكونات الضوضاء المسببة للتشوهات. لم يقتصر تأثير هذا على تحسين نتائج الاستيفاء للصور ضمن نطاق التدريب، بل امتد أيضاً إلى الصور الطبيعية خارج النطاق، محققاً بذلك أداءً رائداً في الاستيفاء. حالياً، الاستيفاء الخطي الكروي هو الأسلوب الأشيع بناءً على نماذج الانتشار، ويعطي نتائج ممتازة مع الصور المولَّدة بواسطة هذه النماذج. ولكن عند تطبيقه على الصور الطبيعية، غالباً ما تقل جودة النتائج وتظهر تشوهات.
لتعزيز جودة الصورة، دمجنا أولاً طريقة تحرير الانتشار العشوائي (meng2021sdedit)، التي تستبدل خطوة التشفير بإدخال الضوضاء المباشر. رغم تحسن الجودة، فإن الضوضاء الإضافية قد تخفي بعض الميزات الأصلية. ولتحقيق استيفاء عالِ الجودة مع الحفاظ على السمات الرئيسية، جمعنا بين المنهجين عبر إضافة الضوضاء على المتغيرات الكامنة لتصحيح التشوهات.
ونتيجة لذلك، يستطيع نهجنا المقترح الاستيفاء ليس فقط على الصور ضمن نطاق التدريب، بل يتوسع أيضاً ليشمل الصور الخارجية مع الحفاظ على سماتها الأساسية.
تُعَدُّ عملية استيفاء الصور مهمةً شيقةً للغاية، ليس فقط لتوليد صور متقاربة ولكن أيضاً لفتح آفاق تطبيقية إبداعية، لا سيما في مجالات مثل الإعلان وتوليد الفيديو. في الوقت الراهن، أظهرت النماذج التوليدية المتقدمة قدرةً فائقة على إنتاج صور مركبة وجذابة، مع العديد من الاختراقات الحديثة المستندة إلى نماذج الانتشار (ho2020denoising, song2020denoising, Rombach_2022_CVPR, saharia2022photorealistic, ramesh2022hierarchical). على الرغم من الاعتراف الواسع بإمكانات نماذج الانتشار، إلا أن البحث في استيفاء الصور باستخدام هذه النماذج لا يزال محدوداً (croitoru2023diffusion).
في سياق نماذج الانتشار، تُعَدُّ تقنية الاستيفاء الخطي الكروي السائدة (song2020denoising, song2020score) فعّالة مع الصور التي تم توليدها بواسطة النماذج. ومع ذلك، عند استخدامها لاستيفاء الصور الطبيعية، غالباً ما تقل جودة النتائج وتظهر تشوهات ملحوظة.
نحلل بدايةً عملية الاستيفاء الخطي الكروي، ونعزو ضعف النتائج إلى عدم صلاحية الضوضاء المشفرة، إذ لا تتبع التوزيع المفترض وقد تحتوي على مستويات ضوضاء أعلى أو أقل من عتبة إزالة التشويش، مما ينتج عنه تشوهات في الصور النهائية. التلاعب المباشر بمتوسط الضوضاء وتباينها عبر الترجيح والتحجيم أسلوبٌ بسيط لتقريبها من التوزيع المطلوب، لكنه يفشل في تحسين الجودة ويُفقد الكثير من معلومات الصورة. بالتوازي مع ذلك، نقدم ضوضاء غاوسية معيارية مباشرةً عن طريق تحرير الانتشار العشوائي (meng2021sdedit)، مما يحسن جودة الصور على حساب إدخال بيانات إضافية.
لمعالجة هذه القضايا، نقترح نهجاً جديداً لتصحيح الضوضاء في استيفاء الصور، NoiseDiffusion. يقرّب NoiseDiffusion الضوضاء غير الصالحة للتوزيع المتوقع بإضافة ضوضاء غاوسية دقيقة، ويطبق قيداً للحد من القيم الشاذة. هذا التعزيز لصلاحية الضوضاء يقلل من التشوهات، لكن القيد والإدخال الخارجي لضوضاء غاوسية قد يضعفان نسبة الإشارة إلى الضوضاء ويخرجان بعض المعلومات الأصلية. لذا، ينقل NoiseDiffusion عملية الاستيفاء إلى فضاء الصور الضوضائي، ثم يحقن الصور الخام في هذه النظائر الضوضائية لتعويض ما فقدته من معلومات. بفضل هذه الخطوات، يستطيع أسلوبنا استيفاء الصور الطبيعية دون تشوهات، محققاً أفضل نتائج مقاسة حتى الآن. وبالنظر إلى محدودية البحوث السابقة في هذا المجال (croitoru2023diffusion), نأمل أن يلهم عملنا مزيداً من الدراسات المستقبلية.
من خلال تعديل المعاملات، يمكن لنهجنا إجراء الاستيفاء ليس فقط على الصور المدربة عليها بل أيضاً توسيع نطاقه إلى الصور الخارجة عن مجموعة التدريب مع الحفاظ على سمات الصورة الأساسية سليمة.
نماذج الانتشار تولّد نماذج الانتشار عينات من الضوضاء الغاوسية وتزيل التشويش خطوةً بخطوة. حتى الآن، استُخدمت في مهام متنوعة تشمل توليد الصور (Rombach_2022_CVPR, song2020improved, nichol2021glide, jiang2022text2human), تحسين دقة الصور (saharia2022image, batzolis2021conditional, daniels2021score), إصلاح الصور (esser2021imagebart), تحرير الصور (meng2021sdedit), وترجمة صورة إلى أخرى (saharia2022palette). وبرزت نماذج الانتشار الكامنة (Rombach_2022_CVPR) بقدرتها على توليد صور مشروطة بالنصوص بجودة واقعية عالية.
إدخال الصور اعتمدت أساليب سابقة، مثل StyleGAN (karras2019style), على المتغيرات الكامنة لإعادة بناء الصور. ومع ذلك، يقتصر نطاقها على الفئة المدربة عليها من صورة إلى أخرى، فتواجه تحديات مع الصور الطبيعية (xia2022gan). بالإضافة إلى ذلك، يستخدم بعض نماذج الانتشار الكامنة أوامر مخصصة لإدخال الصور المولَّدة (مثل Lunarring)، ولكن إدخال الصور الطبيعية عبر المتغيرات الكامنة في نماذج الانتشار لم يُستكشف بعد. حسب علمنا، لا توجد حتى الآن طريقة معتمدة لإدخال الصور الطبيعية باستخدام المتغيرات الكامنة في نماذج الانتشار.
``` **ملاحظات حول LaTeX:** - لم يكن هناك أي معادلات LaTeX أو صيغ رياضية في النص الأصلي تحتاج إلى تصحيح أو إصلاح. - جميع الرموز الرياضية أو الإشارات إلى المراجع كانت ضمن وسوم `...` أو نص عادي، وليست بصيغة LaTeX. - إذا أضيفت معادلات LaTeX لاحقًا، يجب التأكد من وضعها بين `\( ... \)` أو `\[ ... \]` أو `$$ ... $$` حتى يتعرف عليها MathJax ويعرضها بشكل صحيح. - النص الحالي لا يحتوي على أي أخطاء LaTeX ولن يسبب مشاكل في العرض مع MathJax. **تمت مراجعة النص بالكامل والتأكد من عدم وجود أي أخطاء LaTeX أو تنسيقية.**