اِسْتِيفاءُ الصُوَرِ بِناءَ عَلَى نَماذِجَ الاِنْتِشارِ يَعُد وَأَعَدّا فِي خَلْقُ صُور جَدِيدَةٍ وَمُثِيره لِلاِهْتِمامِ. تُرَكِّز الطُرُقِ المُتَقَدِّمَةِ لِلاِسْتِيفاء بِشَكْلٍ رَئِيسِيٍّ عَلَى الاِسْتِيفاء الخَطِّيِّ الكُرَوِيِّ، حَيْثُ يَتِمّ ترميز الصُوَرِ فِي فَضاءِ الضَوْضاء ثُمَّ يَتِمّ اِسْتِيفاؤها لِإِزالَةِ الضَوْضاء مِن الصُوَرِ. وَمَعَ ذٰلِكَ، تُواجِه الطُرُقِ الحالِيَّةِ تَحَدِّياتٍ فِي اِسْتِيفاءُ الصُوَرِ الطَبِيعِيَّةِ (غَيْرِ المُوَلِّدَة بِواسِطَةِ نَماذِجَ الاِنْتِشارِ) بِشَكْلٍ فَعّالٌ، مِمّا يُقَيِّد تَطْبِيقاتها العَمَلِيَّةِ. تَكْشِف تَحْقِيقاتِنا التَجْرِيبِيَّة أَنَّ هٰذِهِ التَحَدِّياتِ ناجِمَةً عَن عَدَمِ صَلاحِيَّةِ ضَوْضاء الترميز، وَالَّتِي قَد لا تَخْضَع بُعْدَ لِتَوْزِيعِ الضَوْضاء المُتَوَقَّعِ، مِثْلَ التَوْزِيعِ الطَبِيعِيِّ. لِمُواجَهَةِ هٰذِهِ التَحَدِّياتِ، نَقْتَرِح نَهْجاً جَدِيداً لِتَصْحِيحِ الضَوْضاء لَاِسْتِيفاء الصُوَرِ، NoiseDiffusion. عَلَى وَجْهِ التَحْدِيدِ، يَقْتَرِب NoiseDiffusion مِن الضَوْضاء غَيْرِ الصالِحَةِ إِلَى التَوْزِيعِ المُتَوَقَّعِ مِن خِلالَ إِدْخالُ ضَوْضاء غاوسيه دَقِيقَةً وَيُقَدِّم قَيْداً لِقَمْعِ الضَوْضاء ذاتِ القِيَمِ القُصْوَى. فِي هٰذا السِياقِ، يُساهِم تَعْزِيزِ صَلاحِيَّةِ الضَوْضاء فِي التَخْفِيفِ مِن تَشَوُّهات الصُوَرِ، لٰكِنَّ القَيْد وَالضَوْضاء الغَرِيبَةِ المدخله تُؤَدِّي عادَةً إِلَى تَقْلِيلِ نِسْبَةَ الإِشارَةُ إِلَى الضَوْضاء، أَيّ فُقْدانِ المَعْلُوماتِ الأَصْلِيَّةِ لِلصُورَةِ. وَبِالتالِي، يُؤَدِّي NoiseDiffusion الاِسْتِيفاء داخِلَ فَضاءِ الصُوَرِ الضوضائيه وَيَحْقُن الصُوَرِ الخامِ فِي هٰذِهِ النَظائِر الضوضائيه لِمُواجَهَةِ تَحَدِّي فُقْدانِ المَعْلُوماتِ. وَنَتِيجَةَ لِذٰلِكَ، يُمْكِن NoiseDiffusion مِن اِسْتِيفاءُ الصُوَرِ الطَبِيعِيَّةِ دُونِ التَسَبُّبِ فِي تَشَوُّهات أَو فُقْدانِ المَعْلُوماتِ، مِمّا يُحَقِّق أَفْضَلَ نَتائِجِ الاِسْتِيفاء. رَمْزنا مُتاحٌ عَلَى https://github.com/tmlr-group/NoiseDiffusion.
لَقَد قُمْنا بِدِراسَةِ عَمَلِيَّةِ الاِسْتِيفاء وَعَزَوْنا فَشَلِها إِلَى إِدْخالُ ضَوْضاء غَيْرِ مُناسَبَةِ مَعَ مَعْلُوماتٍ مُتَعَلِّقَةٍ بِالصُورَة، مِمّا أَدَّى إِلَى إِدْخالُ الضَوْضاء وَالتَشَوُّهات فِي الصُوَرِ المستيفاه. لِذٰلِكَ، اِسْتَكْشَفَنا طَرِيقَةِ إِضافَةً الضَوْضاء مُباشَرَةً، وَالَّتِي قَد تَحَسُّنِ مِن جُودَة الصُورَةِ وَلٰكِنَّها أَدْخَلَت مَعْلُوماتٍ زائِدَةٌ. اِسْتِناداً إِلَى المُلاحَظاتِ أَعْلاه، قُمْنا بِدَمْجِ الطَرِيقَتَيْنِ لِاِقْتِراحِ نَهْجٍ اِسْتِيفاءُ جَدِيدٍ، يَحْتَفِظ بِالضَوْضاء الَّتِي تَحْتَوِي عَلَى مَعْلُوماتٍ مِن الصُوَرِ الأَصْلِيَّةِ بَيْنَما يُقَدِّم قَلِيلاً مِن الضَوْضاء الغاوسيه لِتَعْزِيزِ جُودَة الاِسْتِيفاء. بِالإِضافَةِ إِلَى ذٰلِكَ، قَدَّمْنا بِشَكْلٍ مُبْتَكَر قُيُوداً عَلَى مُكَوِّن الضَوْضاء المَسْؤُولُ عَن تَوْلِيدِ التَشَوُّهاتِ. هٰذا لَم يُحَسِّن فَقَط نَتائِجِ الاِسْتِيفاء لِلصُوَرِ ضِمْنَ نِطاقِ التَدْرِيبِ وَلٰكِنَّهُ اِمْتَدَّ أَيْضاً لِيَشْمَل الاِسْتِيفاء مَعَ الصُوَرِ الطَبِيعِيَّةِ خارِجَ نِطاقِ التَدْرِيبِ، مِمّا أَدَّى إِلَى تَحْقِيقِ أَفْضَلَ نَتائِجِ الاِسْتِيفاء حَتَّى الآنَ. حالِيّاً، الطَرِيقَةِ الأَكْثَرَ اِسْتِخْداما لِلاِسْتِيفاء بِناءَ عَلَى نَماذِجَ الاِنْتِشارِ هِيَ الاِسْتِيفاء الكُرَوِيِّ الخَطِّيِّ، وَالَّذِي يُقَدِّم نَتائِجِ مُمْتازَةٌ عِنْدَ تَطْبِيقِهِ عَلَى الصُوَرِ الَّتِي تَمَّ إِنْشاؤها بِواسِطَةِ نَماذِجَ الاِنْتِشارِ. وَمَعَ ذٰلِكَ، عِنْدَ تَطْبِيقِ هٰذِهِ الطَرِيقَةِ عَلَى الصُوَرِ الَّتِي لَم يَتِمّ إِنْشاؤها بِواسِطَةِ نَماذِجَ الاِنْتِشارِ، قَد تَكُون جُودَة الصُوَرِ المستيفاه أَقَلَّ رِضا.
لِتَعْزِيزِ جُودَة الصُورَةِ، قُمْنا فِي البِدايَةِ بِدَمْجِ طَرِيقَةِ تَحْرِيرِ الاِنْتِشارِ العَشْوائِيِّ، مِمّا يُحِلّ مَحَلَّ عَمَلِيَّةِ تَعْيِينِ الصُوَرِ إِلَى مُتَغَيِّراتِ كامِنَةٍ بِإِدْخال الضَوْضاء مُباشَرَةً. عَلَى الرَغْمِ مِن أَنَّ هٰذا النَهْجِ يُعَزِّز جُودَة الصُورَةِ، فَإِنَّ إِدْخالُ الضَوْضاء الإِضافِيَّة قَد يُؤَدِّي إِلَى فُقْدانِ العَدِيدَ مِن المِيزاتِ الأَصْلِيَّةِ. لِتَحْقِيقِ اِسْتِيفاءُ عالِي الجُودَةِ وَالحِفاظِ عَلَى المِيزاتِ البارِزَةِ، نَجْمَع بَيِّنَ هٰذَيْنِ النهجين مِن خِلالَ إِدْخالُ الضَوْضاء عَلَى المُتَغَيِّراتِ الكامِنَةِ لِتَصْحِيحِ التَشَوُّهاتِ.
وَنَتِيجَةَ لِذٰلِكَ، يُمْكِن نَهْجنا المُقْتَرَحِ الاِسْتِيفاء لَيِسَ فَقَط عَلَى الصُوَرِ ضِمْنَ نِطاقِ التَدْرِيبِ وَلٰكِنَّهُ يَمْتَدّ أَيْضاً إِلَى الصُوَرِ خارِجَ نِطاقِ التَدْرِيبِ.
تُعْتَبَر عَمَلِيَّةِ اِسْتِيفاءُ الصُوَرِ مُهِمَّةً شَيِّقه لِلغايَةِ، لَيِسَ فَقَط لَتَوْلِيد صُور مُماثِلَةٍ وَلٰكِن أَيْضاً لَأَثارَهُ التَطْبِيقات الإِبْداعِيَّة، خاصَّةٍ فِي مَجالاتِ مِثْلَ الإِعْلانُ وَتَوْلِيدِ الفِيدْيُو. فِي الوَقْتِ الحاضِرِ، تُظْهِر النَماذِجِ التوليديه المُتَقَدِّمَةِ القُدْرَةِ عَلَى إِنْتاجِ صُور مُعَقَّدَةٌ وَجَذّابه، مَعَ العَدِيدَ مِن الاِخْتِراقات الحَدِيثَةِ المُسْتَمَدَّةِ مِن نَماذِجَ الاِنْتِشارِ (ho2020denoising, song2020denoising, Rombach_2022_CVPR, saharia2022photorealistic, ramesh2022hierarchical). يَعْتَرِف عَلَى نِطاقِ واسِعٍ بِإِمْكانِيّات نَماذِجَ الاِنْتِشارِ، وَلٰكِن حَسَبَ عَلَّمَنا، كانَ هُناكَ بَحَثَ نِسْبِيّاً قَلِيلٍ حَوْلَ اِسْتِيفاءُ الصُوَرِ بِاِسْتِخْدامِ نَماذِجَ الاِنْتِشارِ (croitoru2023diffusion).
فِي سِياقِ نَماذِجَ الاِنْتِشارِ، تُعْتَبَر تَقْنِيَّةٍ الاِسْتِيفاء الخَطِّيِّ الكُرَوِيِّ السائِدَةِ (song2020denoising, song2020score) مُتَمَيِّزَةٍ عِنْدَ اِسْتِخْدامُها مَعَ الصُوَرِ الَّتِي تَمَّ إِنْشاؤها بِواسِطَةِ نَماذِجَ الاِنْتِشارِ. وَمَعَ ذٰلِكَ، عِنْدَ تَطْبِيقِها عَلَى الصُوَرِ الطَبِيعِيَّةِ، قَد تَكُون جُودَة نَتائِجِ الاِسْتِيفاء دُونِ التَوَقُّعاتِ وَغالِباً ما تَقَدَّمَ تَشَوُّهات.
نَحْنُ نُحَلِّل فِي البِدايَةِ عَمَلِيَّةِ الاِسْتِيفاء الخَطِّيِّ الكُرَوِيِّ وَنَعْزُو نَتائِجِ الاِسْتِيفاء الدونيه إِلَى عَدَمِ صَلاحِيَّةِ الضَوْضاء المشفره. هٰذِهِ الضَوْضاء لا تَتْبَع التَوْزِيعِ الطَبِيعِيِّ المُتَوَقَّعِ وَقَد تَحْتَوِي عَلَى مُكَوِّناتِ ضَوْضاء عَلَى مُسْتَوَياتٍ أَعْلَى أَو أَقَلَّ مِن عَتَبَةِ إِزالَةِ الضَوْضاء، مِمّا يُؤَدِّي إِلَى تَشَوُّهات فِي الصُوَرِ المستيفاه النِهائِيَّةِ. التَلاعُبِ المُباشِرِ بِالمُتَوَسِّط وَالتَبايُنُ لِلضَوْضاء مِن خِلالَ التَرْجَمَةَ وَالتَحْجِيم هُوَ نَهْجٍ مُباشِرٍ لَجَعَلَها أَقْرَبِ إِلَى التَوْزِيعِ المَطْلُوبِ. وَمَعَ ذٰلِكَ، لا يَفْشَل هٰذا فَقَط فِي تَحْسِينِ جُودَة الصُورَةِ وَلٰكِنَّهُ يُؤَدِّي أَيْضاً إِلَى فُقْدانِ مَعْلُوماتٍ الصُورَةِ. بِالإِضافَةِ إِلَى ذٰلِكَ، بِالاِقْتِران مَعَ طَرِيقَةِ تَحْرِيرِ الاِنْتِشارِ العَشْوائِيِّ (meng2021sdedit)، نُقَدِّم مُباشَرَةً ضَوْضاء غاوسيه قِياسِيَّةٍ لِلاِسْتِيفاء. بَيْنَما تَحَسُّنِ هٰذِهِ الطَرِيقَةِ جُودَة الصُوَرِ، فَإِنَّها تَأْتِي عَلَى حِسابِ إِدْخالُ مَعْلُوماتٍ إِضافِيَّةً.
لِتَحْسِينِ نَتائِجِ الاِسْتِيفاء، نَقْتَرِح نَهْجاً جَدِيداً لِتَصْحِيحِ الضَوْضاء لَاِسْتِيفاء الصُوَرِ، NoiseDiffusion. عَلَى وَجْهِ التَحْدِيدِ، يَقْتَرِب NoiseDiffusion مِن الضَوْضاء غَيْرِ الصالِحَةِ إِلَى التَوْزِيعِ المُتَوَقَّعِ مِن خِلالَ إِدْخالُ ضَوْضاء غاوسيه دَقِيقَةً وَيُقَدِّم قَيْداً لِقَمْعِ الضَوْضاء ذاتِ القِيَمِ القُصْوَى. فِي هٰذا السِياقِ، يُساهِم تَعْزِيزِ صَلاحِيَّةِ الضَوْضاء فِي التَخْفِيفِ مِن تَشَوُّهات الصُوَرِ، وَلٰكِن القَيْد وَالضَوْضاء الخارِجِيَّةِ المدخله تُؤَدِّي عادَةً إِلَى تَقْلِيلِ نِسْبَةَ الإِشارَةُ إِلَى الضَوْضاء، أَيّ فُقْدانِ مَعْلُوماتٍ الصُورَةِ الأَصْلِيَّةِ. وَبِالتالِي، يَقُوم NoiseDiffusion لاحِقاً بِأَداء الاِسْتِيفاء فِي فَضاءِ الصُوَرِ الضوضائيه وَيَحْقُن الصُوَرِ الخامِ فِي هٰذِهِ الصُوَرِ الضوضائيه لِمُعالَجَةِ مُشْكِلَةِ فُقْدانِ المَعْلُوماتِ. تَمَكَّنَ هٰذِهِ التَحْسِيناتِ مِن اِسْتِيفاءُ الصُوَرِ الطَبِيعِيَّةِ دُونِ تَشَوُّهات، مِمّا يُؤَدِّي إِلَى تَحْقِيقِ أَفْضَلَ نَتائِجِ اِسْتِيفاءُ حَتَّى الآنَ. بِالنَظَرِ إِلَى الاِسْتِكْشافِ المَحْدُودِ لِلأَبْحاثِ السابِقَةِ فِي هٰذا المَجالِ (croitoru2023diffusion)، نَأْمَل أَنَّ يُمْكِن أَنَّ تُوَفِّر أَبْحاثنا إِلْهاماً لِلأَبْحاثِ المُسْتَقْبَلِيَّةِ.
بِتَعْدِيلِ المُعامَلاتِ، يُمْكِننا أَداءِ الإِدْخال البَيْنِيّ لَيِسَ فَقَط عَلَى الصُوَرِ ضِمْنَ نِطاقِ التَدْرِيبِ وَلٰكِن أَيْضاً تَوْسِيعِ هٰذِهِ العَمَلِيَّةِ لِتَشْمَل الصُوَرِ خارِجَ نِطاقِ التَدْرِيبِ، مَعَ الحِفاظِ عَلَى السِمات الأَساسِيَّةِ لِلصُوَرِ سَلِيمَةٍ.
نَماذِجَ الاِنْتِشارِ تَقُوم نَماذِجَ الاِنْتِشارِ بِإِنْشاءِ عَيِّناتٍ مِن الضَوْضاء الغاوسيه بِاِسْتِخْدامِ خَطَواتٍ إِزالَةِ التَشْوِيشُ التسلسليه. حَتَّى الآنَ، تَمَّ تَطْبِيقِ نَماذِجَ الاِنْتِشارِ عَلَى مَهامِّ مُتَنَوِّعَةٍ، بِما فِي ذٰلِكَ تَوْلِيدِ الصُوَرِ (Rombach_2022_CVPR, song2020improved, nichol2021glide, jiang2022text2human)، تَحْسِينِ دِقَّةٍ الصُوَرِ (saharia2022image, batzolis2021conditional, daniels2021score)، إِصْلاحِ الصُوَرِ (esser2021imagebart)، تَحْرِيرِ الصُوَرِ (meng2021sdedit)، وَتَرْجَمَة الصُوَرِ إِلَى صُور (saharia2022palette). بِشَكْلٍ خاصٍّ، تَتَفَوَّق نَماذِجَ الاِنْتِشارِ الكامِنَةِ (Rombach_2022_CVPR) فِي تَوْلِيدِ الصُوَرِ المَشْرُوطَةِ بِالنُصُوص، حَيْثُ حازَت عَلَى أَشادَهُ واسِعَةً لَقُدْرَتها عَلَى إِنْتاجِ صُور واقِعِيَّةٍ.
إِدْخالُ الصُوَرِ كانَت النَهْجِ السابِقَةِ، مِثْلَ StyleGAN (karras2019style)، تَسْمَح بِالإِدْخال بِاِسْتِخْدامِ المُتَغَيِّراتِ الكامِنَةِ لِلصُوَرِ. وَمَعَ ذٰلِكَ، فَإِنَّ فَعّالِيَّتها مُقَيَّدَةٌ بِقُدْرَةٍ النَمُوذَجِ عَلَى تَمْثِيلِ مَجْمُوعَةِ فَرْعِيَّةٍ فَقَط مِن مَتْنِ الصُورَةِ، مِمّا يُطْرَح تَحَدِّياتٍ عِنْدَ تَطْبِيقِها عَلَى الصُوَرِ الطَبِيعِيَّةِ (xia2022gan). عِلاوَةً عَلَى ذٰلِكَ، يُمْكِن لَنَماذِج الاِنْتِشارِ الكامِنَةِ اِسْتِخْدامِ الأَوامِرَ لِإِدْخالِ الصُوَرِ المُوَلِّدَة (مِثْلَ Lunarring)، وَلٰكِن لَم يَتِمّ اِكْتِشافِ إِمْكانِيَّةَ الإِدْخال عَلَى الصُوَرِ الطَبِيعِيَّةِ بُعْدَ. حَسَبَ عَلَّمَنا، لَم يَتِمّ بُعْدَ العُثُورِ عَلَى طَرِيقَةِ لِإِدْخالِ الصُوَرِ الطَبِيعِيَّةِ بِاِسْتِخْدامِ المُتَغَيِّراتِ الكامِنَةِ مَعَ نَماذِجَ الاِنْتِشارِ.
فِي هٰذا القِسْمِ، نُقَدِّم أَوَّلاً كَيْفِيَّةِ وَصَفَ عَمَلِيَّةِ حَقَنَ الضَوْضاء وَإِزالَةُ الضَوْضاء فِي نَماذِجَ الاِنْتِشارِ مِن خِلالَ اِسْتِخْدامِ المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ (SDEs). بِناءَ عَلَى ذٰلِكَ، نُقَدِّم نَظْرَةٌ عامَّةٍ مُوجَزه حَوْلَ كَيْفِيَّةِ اِسْتِخْدامِ نَماذِجَ الاِنْتِشارِ لِتَحْقِيقِ التَداخُلَ وَالتَعْدِيل فِي الصُوَرِ. مِن خِلالَ تَعْدِيلِ الصُوَرِ، يُمْكِننا تَنْفِيذِ طَرِيقَةِ تَداخُلٌ لا تَتَطَلَّب مُتَغَيِّراتِ كامِنَةٍ، أَيّ إِدْخالُ الضَوْضاء الغاوسيه ثُمَّ إِزالَةِ الضَوْضاء. تُشَكِّل هٰذِهِ الطُرُقِ أَساسِ النَهْجِ المُقْتَرَحِ، NoiseDiffusion.
تَعْكِير البَياناتِ بِاِسْتِخْدامِ المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ (song2020score) نَرْمُز لِتَوْزِيعِ البَياناتِ التَدْرِيبِيَّةِ ب \(p_{\mathrm{data}}(\vx)\)، وَيُمْكِن وَصَفَ الاِضْطِراباتِ الغاوسيه المُطَبَّقَةِ عَلَى \(p_{\mathrm{data}}(\vx)\) بِواسِطَةِ نَمُوذَجَ الاِنْتِشارِ مِن خِلالَ التَعْبِيرِ التالِي لِلمُعادَلَة التَفاضُلِيَّةِ العَشْوائِيَّةِ: \[d \vx_t=\vmu(\vx_t, t)dt+\sigma(t)d\vw_t,\] حَيْثُ \(t\in[0, T], T>0\) هِيَ ثابِتَةٍ مُحَدَّدَةٍ، \({{\{\vw}_t}\}_{t\in [0, T]}\) تَدُلّ عَلَى عَمَلِيَّةِ وَيُنِر القِياسِيَّةِ (المَعْرُوفَةِ أَيْضاً بِالحَرَكَةِ البراونيه)، \(\vmu(\cdot, \cdot):\R^d\rightarrow \R^d\) هِيَ دالَّةٍ مُتَّجِهَيْهِ تُسَمَّى مَعامِلِ الاِنْجِرافِ لِ \(\vx_t\)، وَ\(\sigma(\cdot):\R\rightarrow\R\) هِيَ دالَّةٍ قِياسِيَّةٍ تَعْرِف بِمَعامِل الاِنْتِشارِ.
نَرْمُز لِتَوْزِيعِ \(\vx_t\) ب \(p_t(\vx_t)\) وَبِالتالِي، \(p_0\) تُمَثِّل تَوْزِيعِ البَياناتِ التَدْرِيبِيَّةِ \(p_{\mathrm{data}}\) وَ\(p_T\) هُوَ تَوْزِيعِ أُولَى غَيْرِ مهيكل يَحْتَوِي عَلَى أَيّ مَعْلُوماتٍ عَن \(p_0\).
تَوْلِيدِ العَيْنات بِعَكْسِ المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ (song2020score) بِالبَدْء مِن عَيِّناتٍ \(p_T\) وَعَكَسَ عَمَلِيَّةِ الاِضْطِرابِ، يُمْكِننا الحُصُولِ عَلَى عَيِّناتٍ \(\vx_0\sim p_0\). عَكْسَ عَمَلِيَّةِ الاِنْتِشارِ هُوَ أَيْضاً عَمَلِيَّةِ اِنْتِشارِ وَيُمْكِن أَنَّ يُعْطَى بِواسِطَةِ المُعادَلَةَ التَفاضُلِيَّةِ العَشْوائِيَّةِ لِلزَمَن المَعْكُوس (anderson1982reverse): \[d\vx=[\vmu(\vx_t, t)-\sigma(t)^2\nabla\log p_t(\vx_t)]dt+\sigma(t)d\bar{\vw},\] حَيْثُ \(\bar{\vw}\) هِيَ عَمَلِيَّةِ وَيُنِر قِياسِيَّةٍ عِنْدَما يَتَدَفَّق الزَمَنِ إِلَى الوَراءِ مِن \(T\) إِلَى \(0\)، وَ\(dt\) هُوَ خَطْوَةٍ زَمَنِيَّةٍ سَلْبِيَّةٍ لا نِهائِيَّةٍ. بِمُجَرَّدِ مَعْرِفَةُ دَرَجَةِ كُلِّ تَوْزِيعِ هامِشَيَّ، \(\nabla\log p_t(\vx)\)، لِجَمِيعِ \(t\)، يُمْكِننا اِسْتِنْتاجِ عَمَلِيَّةِ الاِنْتِشارِ العَكْسِيَّة مِن المُعادَلَةَ وَمُحاكاتها لِأَخْذِ عَيِّناتٍ مِن \(p_0\). وَيُمْكِن اِسْتِخْدامِ طُرُقٍ مِثْلَ طُرُقٍ رونج-كُوَّتا العَشْوائِيَّةِ (kloeden1992stochastic) لِحَلِّ هٰذا.
مُعادَلَةِ تَدَفُّقِ الاِحْتِمالاتِ العادِيَّةِ (song2020score) تَمَكَّنَ نَماذِجَ الاِنْتِشارِ طَرِيقَةِ عَدَدَيْهِ أُخْرَى لِحَلِّ المُعادَلَةَ التَفاضُلِيَّةِ العَشْوائِيَّةِ لِلزَمَن المَعْكُوس. لِجَمِيعِ عَمَلِيّاتِ الاِنْتِشارِ، تُوجَد عَمَلِيَّةِ حَتْمِيَّةِ مُقابَلَةٍ تُشارِك نَفْسِ كثافات الاِحْتِمالاتِ الهامِشِيَّة \(\{p_t(\vx_t)\}_{t=0}^T\) كَما فِي المُعادَلَةَ التَفاضُلِيَّةِ العَشْوائِيَّةِ. تُرْضِي هٰذِهِ العَمَلِيَّةِ الحَتْمِيَّةِ مُعادَلَةِ تَفاضُلِيَّةً عادِيَّةٍ (ODE) : \[d\vx_t=[\vmu(\vx_t, t)-\frac{1}{2}\sigma(t)^2 \nabla \log{p_t(\vx_t)} ]dt,\] وَالَّتِي يُمْكِن تَحْدِيدِها مِن المُعادَلَةَ التَفاضُلِيَّةِ العَشْوائِيَّةِ بِمُجَرَّدِ مَعْرِفَةُ الدَرَجاتِ. عادَةً ما نُسَمَّى المُعادَلَةَ التَفاضُلِيَّةِ العادِيَّةِ فِي المُعادَلَةَ بِمُعادَلَةٍ تَدَفُّقِ الاِحْتِمالاتِ.
التَدْوِير الخَطِّيِّ الكُرَوِيِّ فِي نَماذِجَ الاِنْتِشارِ، الطَرِيقَةِ السائِدَةِ لِتَحْرِيرِ الصُوَرِ هِيَ التَدْوِير الخَطِّيِّ الكُرَوِيِّ (song2020denoising, song2020score): \[\vx_T^{(\lambda)}=\frac{\sin((1-\lambda)\theta)}{\sin (\theta)}\vx_T^{(0)}+\frac{\sin(\lambda\theta)}{\sin(\theta)}\vx_T^{(1)},\] حَيْثُ \(\theta=\arccos(\frac{(\vx_T^{(0)})^{\intercal}\vx_T^{(1)}}{\parallel\vx_T^{(0)}\parallel \parallel\vx_T^{(1)}\parallel})\)، وَ\(\lambda\) هُوَ مَعامِلِ يَتَحَكَّم فِي أُسْلُوبِ التَدْوِير بَيِّنَ صُورَتَيْنِ. يُمْكِن أَنَّ يَكُون \(\vx_T^{(i)}\) إِمّا صُورَةِ مَشُوشه مِشْفَره مِن الصُورَةِ \(\vx_0^{(i)}\) بِدَمْجِ المُعادَلَةَ [PF ODE]، أَو ضَجِيج غاوسي مِعْيارَيَّ مُعَيَّنٍ بِشَكْلٍ عَشْوائِيٍّ. بُعْدَ إِكْمالَ تَدْوِيرِ المُتَغَيِّراتِ الكامِنَةِ مِن خِلالَ المُعادَلَةَ أَعْلاه، يُمْكِن تَحْقِيقِ فَكِّ التشفير بِدَمْجِ المُعادَلَةَ التَفاضُلِيَّةِ العَكْسِيَّة لِلزَمَن لِلاِنْتِشار العَشْوائِيِّ. فِي بَقِيَّةِ الوَرَقَةَ، نَسْتَخْدِم slerp\((\vx_t^{(0)}, \vx_t^{(1)}, \lambda)\) لِلإِشارَة إِلَى التَدْوِير الخَطِّيِّ الكُرَوِيِّ لِلمُتَغَيِّرات الكامِنَةِ \(\vx_t^{(0)}\) وَ \(\vx_t^{(1)}\) مَعَ مَعامِلِ التَدْوِير \(\lambda\).
تَحْرِيرِ الصُوَرِ بِاِسْتِخْدامِ تَحْرِيرِ الاِنْتِشارِ العَشْوائِيِّ يُحَقِّق تَحْرِيرِ الاِنْتِشارِ العَشْوائِيِّ تَعْدِيلاتٍ الصُورَةِ بِوَضْعِ التَعْدِيلاتِ المَطْلُوبَةِ فَوْقَ الصُورَةِ، مَعَ إِدْخالُ الضَجِيجِ، وَمِن ثُمَّ إِزالَةِ الضَوْضاء مِن المَرْكَبِ. هٰذِهِ العَمَلِيَّةِ تَضَمَّنَ أَنَّ الصُورَةِ الناتِجَةِ تُحافِظ عَلَى مُسْتَوَى عالٍ مِن الجُودَةِ. لِأَيّ صُورَةِ مُعْطاة \(\vx_0\)، يَعْرِف إِجْراءِ تَحْرِيرِ الاِنْتِشارِ العَشْوائِيِّ كَما يَلِي: \[\text{Sample}\ \vx_t \sim \mathcal{N}(\vx_0;\sigma^2(t_0)\bm{I}), \text{then produce } \hat{\vx}_0 \text{ by solving Eq.}\ref{eq:reverse-SDE}.\] لَنَماذِج الاِنْتِشارِ العَشْوائِيِّ المُدَرِّبَة بِشَكْلٍ مُناسِبٍ، يُظْهِر تَوازُنٍ بَيِّنَ الواقِعِيَّةِ وَالإِخْلاص عِنْدَ تَغْيِيرٍ قِيَمِ \(t_0\). عِنْدَما نُضِيف المَزِيدِ مِن الضَجِيجِ الغاوسي وَنُدِير الاِنْتِشارِ العَشْوائِيِّ لِفَتْرَةٍ أَطْوَلِ، تَكُون الصُوَرِ المَرْكَبَةِ أَكْثَرَ واقِعِيَّةٍ وَلٰكِن أَقَلَّ إِخْلاصا. بِالمُقابِلِ، إِضافَةً ضَجِيج غاوسي أَقَلَّ وَتَشْغِيلِ الاِنْتِشارِ العَشْوائِيِّ يُنْتِج صُوَراً مُرَكَّبَةٌ أَكْثَرَ إِخْلاصا وَلٰكِن أَقَلَّ واقِعِيَّةٍ.
لِنَبْدَأ بِتَقْدِيمِ عَمَلِيَّةِ التَدْوِير الخَطِّيِّ الكُرَوِيِّ لِلصُوَرِ. بِالنَظَرِ إِلَى صُورَتَيْنِ، يَتَضَمَّن الخَطْوَةِ الأُولَى ترميزهما فِي فَضاءِ كَأَمْن، أَيّ المُعادَلَةَ [eq1] وَ [eq2]. بُعْدَ ذٰلِكَ، يُمْكِننا أَداءِ التَدْوِير الخَطِّيِّ الكُرَوِيِّ عَلَى المُتَغَيِّراتِ الكامِنَةِ، أَيّ المُعادَلَةَ [eq3]، يَلِيها إِزالَةِ التَشْوِيشُ لَتَوْلِيد نَتائِجِ التَدْوِير بِاِسْتِخْدامِ المُعادَلَةَ [eq4].
\[\label{eq1} \vx^{(0)}_t=\vf(\vx^{(0)}_0, t),\]
\[\label{eq2} \vx^{(1)}_t=\vf(\vx^{(1)}_0, t),\]
\[\label{eq3} \vx_t=\verb|slerp|(\vx_t^{(0)}, \vx_t^{(1)}, \lambda),\]
\[\label{eq4} \hat{\vx}_0=\vf^{-1}(\vx_t, t).\]
فِي هٰذا السِياقِ، نَعْرِف الضَوْضاء الغاوسيه ب \(\epsilon_t\sim\mathcal{N}(\mathbf{0}, \sigma(t)^2\bm{I})\) وَالصُورَةِ الأَصْلِيَّةِ ب \(\vx_0^{(i)}\) حَيْثُ \(i \in \{0, 1\}\)، عَلَى التَوالِي. وِفْقاً لِذٰلِكَ، يُمَثِّل \(\vx_t^{(i)}\) الصُورَةِ المُشَوَّشَة المُقابَلَةِ لَمُتَغَيِّر الصُورَةِ فِي الفَضاءِ الكامِن مَعَ مُسْتَوَى الضَوْضاء \(\sigma(t)\). بِاِسْتِخْدامِ مُعادَلَةِ التَدَفُّقِ الاِحْتِمالِيَّة لَاِسْتِقْرارها وَقُدْراتِ الترميز الفَرِيدَة، نَقُوم بترميز \(\vx_0\) فِي الفَضاءِ الكامِن مِن خِلالَ دَمْجِ المُعادَلَةَ [PF ODE]، وَنَعْرِف هٰذِهِ العَمَلِيَّةِ الترميزيه بِوَظِيفَة \(\vf\). بِالمِثْلِ، نَعْرِف عَمَلِيَّةِ فَكِّ الترميز ب \(\vf^{-1}\)، وَالَّتِي تَتَوافَق مَعَ إِزالَةِ التَشْوِيشُ مِن خِلالَ المُعادَلَةَ التَفاضُلِيَّةِ العَشْوائِيَّةِ المُرْتَبِطَةِ بِالزَمَنِ العَكْسِيّ.
لِفَحْصٍ أَيّ مِن المُتَغَيِّراتِ المُحْتَمَلَةِ يُمْكِن تَنْقِيَتها بِشَكْلٍ أَفْضَلَ، نُضِيف ضَوْضاء غاوسيه إِلَى الصُورَةِ عِنْدَ مُسْتَوَياتٍ ضَوْضاء مُخْتَلِفَةٍ \(\sigma(t)\)، مِمّا يُنْتِج \(\vx_t = \vx_0 + \epsilon_t\)، ثُمَّ نَقُوم بِتَنْقِيَتها عِنْدَ نَفْسِ مُسْتَوَى الضَوْضاء \(\sigma(t')\)، مِمّا يُؤَدِّي إِلَى \(\hat{\vx}_0 = \vf^{-1}(\vx_t, t')\).
اِسْتِناداً إِلَى النَتائِجِ، لاحَظْنا أَنَّ إِضافَةً ضَوْضاء غاوسيه تَتَطابَق مَعَ مُسْتَوَى التَنْقِيَة يُنْتِج صُوَراً عالِيَةٍ الجُودَةِ. وَمَعَ ذٰلِكَ، عِنْدَما يَتَجاوَز مُسْتَوَى الضَوْضاء عَتَبَةِ التَنْقِيَة، يَتِمّ إِدْخالُ تَشَوُّهات إِضافِيَّةً فِي الصُوَرِ المُوَلِّدَة. عَلَى العَكْسِ، عِنْدَما يَقِلّ مُسْتَوَى الضَوْضاء عَن عَتَبَةِ التَنْقِيَة، تُظْهِر الصُوَرِ الناتِجَةِ ضَبابِيّه إِلَى حَدٍّ ما، مَصْحُوبه بِفِقْدانِ مَلْحُوظٍ لِلمِيزات.
هٰذِهِ الظاهِرَةِ غَرِيبه نَوْعاً ما، حَيْثُ أَنَّهُ فِي سِياقِ تَوْزِيعِ غاوسي، تُظْهِر النِقاطِ الأَقْرَبُ إِلَى الوَسَطِ كَثافَةُ اِحْتِمالَيْهِ أَعْلَى عادَةً. بِمَعْنَى آخَرِ، ضِمْنَ إِطارِ نَمُوذَجَ الاِنْتِشارِ، يَنْبَغِي idealيا تَنْقِيَةِ الصُوَرِ الضوضائيه ذاتِ مُسْتَوَياتٍ الضَوْضاء المُنْخَفِضَة (الأَقْرَبُ إِلَى الوَسَطِ) بِشَكْلٍ أَكْثَرَ فَعّالِيَّةِ. اِسْتِناداً إِلَى هٰذِهِ المُلاحَظاتِ، نُقَدِّم نَظَرِيَّةَ [theorem1] لِتَقْدِيمِ تَفْسِيرٍ لِهٰذِهِ الظاهِرَةِ:
[theorem1] التَوْزِيعِ الطَبِيعِيِّ القِياسِيَّ \(\mathcal{N}(\mathbf{0},\bm{I}_n)\) فِي الأَبْعاد العالِيَةِ يَقْتَرِب مِن التَوْزِيعِ المُوَحَّدَ عَلَى سَطْحِ الكُرَةِ بِنِصْفِ قَطَرِ \(\sqrt{n}\).
يُمْكِن العُثُورِ عَلَى عَمَلِيَّةِ الإِثْبات التَفْصِيلِيَّةِ لِنَظَرِيَّةِ [theorem1] فِي المُلْحَقِ [theorem1:appendix]. تُشِير نَظَرِيَّةَ [theorem1] إِلَى أَنَّ المُتَغَيِّراتِ العَشْوائِيَّةِ الَّتِي تَتْبَع التَوْزِيعِ الطَبِيعِيِّ القِياسِيَّ فِي الأَبْعاد العالِيَةِ تَتَوَزَّع بِشَكْلٍ أَساسِيٌّ عَلَى فَراغٍ فائِق الأَبْعاد. وَذٰلِكَ لِأَنَّهُ، كَلْماً اِقْتَرَبَنا مِن الوَسَطِ، تَزْداد كَثافَةُ الاِحْتِمالِ، لٰكِنَّ حَجْمِ الفَضاءِ ذُو الأَبْعاد العالِيَةِ يَتَوَسَّع تَدْرِيجِيّاً كَلْماً اِبْتَعَدَنا عَن الوَسَطِ. هٰذِهِ النَتِيجَةُ تُفَسِّر بِشَكْلٍ جَيِّدٍ لِماذا فَقَط الصُوَرِ الضوضائيه ذاتِ مُسْتَوَياتٍ الضَوْضاء المُطابَقَة لَعَتَبَة التَنْقِيَة يُمْكِن أَنَّ تُنْتِج نَتائِجِ عالِيَةٍ الجُودَةِ بُعْدَ التَنْقِيَة: خِلالَ عَمَلِيَّةِ التَدْرِيبِ، يُمْكِن لِلنَمُوذَج فَقَط مُلاحَظَةُ الصُوَرِ الضوضائيه الَّتِي تُقِيم بِشَكْلٍ أَساسِيٌّ عَلَى الفَراغِ فائِق الأَبْعاد. وَنَتِيجَةَ لِذٰلِكَ، يُمْكِنه فَقَط اِسْتِعادَةِ الصُوَرِ مِن هٰذا النَوْعِ بِفَعّالِيَّةٍ.
اِسْتِناداً إِلَى نَظَرِيَّةَ [theorem1]، يُمْكِننا أَنَّ نَعْزُو فَشَلِ التَحْوِيلِ الخَطِّيِّ الكُرَوِيِّ لِلصُوَرِ إِلَى عَدَمِ التَطابُقِ بَيِّنَ مُسْتَوَياتٍ الضَوْضاء وَعَتَبَة التَنْقِيَة. تَشْتَمِل الصُوَرِ الطَبِيعِيَّةِ عَلَى العَدِيدَ مِن المِيزاتِ الَّتِي لَم يَسْبِق لِلنَمُوذَج مُواجَهَتِها. وَنَتِيجَةَ لِذٰلِكَ، لا تَخْضَع المُتَغَيِّراتِ الكامِنَةِ لِلتَوْزِيع الطَبِيعِيِّ المُتَوَقَّعِ، وَقَد تَحْتَوِي عَلَى مُكَوِّناتِ ضَوْضاء عِنْدَ مُسْتَوَياتٍ أَعْلَى أَو أَقَلَّ مِن عَتَبَةِ التَنْقِيَة، مِمّا يُؤَدِّي إِلَى جُودَة صُورَةِ مُنْخَفَضه بُعْدَ التَنْقِيَة. مستلهمين مِن SDEdit، يُمْكِننا أَنَّ نُقَدِّم مُباشَرَةً ضَوْضاء غاوسيه إِلَى الصُوَرِ كَحَلٍّ لِمُشْكِلَةِ عَدَمِ التَطابُقِ هٰذِهِ. التَفاصِيلِ كَالتالِي.
فِي هٰذا القِسْمِ، نُقَدِّم طَرِيقَةِ تَحْوِيلِ الصُورَةِ المَرْكَبَةِ مَعَ اِسْتِخْدامِ SDEdit. عِنْدَ إِعْطاءِ صُورَتَيْنِ، تَبْدَأ الطَرِيقَةِ بِإِدْخال ضَوْضاء غاوسيه بِنَفْسِ المُسْتَوَى لِكُلِّ مِنهُما. بُعْدَ ذٰلِكَ، نَسْتَخْدِم التَحْوِيلِ الخَطِّيِّ الكُرَوِيِّ وَمِن ثُمَّ نُطَبِّق إِزالَةِ الضَوْضاء: \[\vx_t^{(0)}=\vx^{(0)}_0+\epsilon_t,\] \[\vx_t^{(1)}=\vx^{(1)}_0+\epsilon_t,\] \[\vx_t=\verb|slerp|(\vx_t^{(0)}, \vx_t^{(1)}, \lambda),\] \[\hat{\vx}_0=\vf^{-1}(\vx_t, t).\]
يُمْكِن أَنَّ تَكُون الضَوْضاء المُضافَةِ إِلَى الصُوَرِ مُتَماثِله أَو مُخْتَلِفَةٍ. قَرِيباً، سَنُوضَح أَنَّها تُظْهِر اِخْتِلافاتٍ طَفِيفَةٍ فَقَط. وَمَعَ ذٰلِكَ، مِن الضَرُورِيِّ التَأْكِيدُ عَلَى أَنَّهُ نَظَراً لِأَنَّ هٰذِهِ الطَرِيقَةِ فِي تَحْوِيلِ الصُوَرِ تَعْتَمِد عَلَى SDEdit، فَإِنَّها تَرِث بِالضَرُورَةِ عُيُوبٍ طَرِيقَةِ SDEdit.
تُشِير نَتائِجِ التَحْوِيلِ المُقَدَّمَةِ إِلَى أَنَّ الطَرِيقَةِ يُمْكِن أَنَّ تُعالِج مُشْكِلَةِ جُودَة الصُورَةِ الرَدِيئَة. وَمَعَ ذٰلِكَ، عِنْدَما نُضِيف المَزِيدِ مِن الضَوْضاء الغاوسيه وَنُزِيل الضَوْضاء، تُظْهِر الصُوَرِ المُحَوِّلَة، مَعَ الحِفاظِ عَلَى الأُسْلُوبِ الأَصْلِيُّ، ظاهِرَةِ تُشْبِه التراكب المُباشِرِ لِلصُوَرِ. عَلَى العَكْسِ مِن ذٰلِكَ، عِنْدَ اِخْتِيارِ ضَوْضاء غاوسيه أَقَلَّ وَإِزالَةُ الضَوْضاء، مَعَ ضَمانِ الحُصُولِ عَلَى صُور واقِعِيَّةٍ، يَتِمّ إِدْخالُ مَعْلُوماتٍ إِضافِيَّةً، مِمّا يُؤَدِّي فِي النِهايَةِ إِلَى فَشَلِ التَحْوِيلِ.
اِسْتِناداً إِلَى النَتائِجِ التَجْرِيبِيَّة أَعْلاه، يُمْكِننا اِسْتِنْتاجِ ما يَلِي: عِنْدَما يَتِمّ تَطْبِيقِ التَكامُلِ الخَطِّيِّ الكُرَوِيِّ مُباشَرَةً عَلَى الصُوَرِ الطَبِيعِيَّةِ، فَإِنَّ الصُوَرِ الناتِجَةِ يُمْكِن أَنَّ تُحافِظ بِشَكْلٍ أَفْضَلَ عَلَى المِيزاتِ الأَصْلِيَّةِ وَلٰكِن قَد تَحْتَوِي عَلَى تَشَوُّهات. بِالمُقابِلِ، فَإِنَّ إِدْخالُ الضَوْضاء مُباشَرَةً لَتَكامُل الصُوَرِ قَد يُنْتِج صُوَراً عالِيَةٍ الجُودَةِ وَلٰكِن غالِباً ما يُسَبِّب مُشْكِلَةِ فُقْدانِ المَعْلُوماتِ. لَدَمْج هٰذَيْنِ الأُسْلُوبَيْنِ، نَقْتَرِح النَظَرِيَّةِ التالِيَةِ.
[theorem2] فِي الفَضاءات ذاتِ الأَبْعاد العالِيَةِ، تَمِيل المُتَّجِهات العَشْوائِيَّةِ المُسْتَقِلَّةِ وَالمُتَساوِيَة الاِتِّجاهاتِ إِلَى أَنَّ تَكُون شِبْهِ عَمُودَيْهِ.
يُمْكِن العُثُورِ عَلَى عَمَلِيَّةِ الإِثْبات التَفْصِيلِيَّةِ لِلنَظَرِيَّة [theorem2] فِي المُلْحَقِ [theorem2:appendix]. اِسْتِناداً إِلَى النَظَرِيَّةِ [theorem1] وَالنَظَرِيَّة [theorem2]، اِقْتَرَحْنا طَرِيقَةِ جَدِيدَةٍ لَتَكامُل الصُوَرِ تُسَمَّى اِنْتِشارِ الضَوْضاء: نَبْدَأ بتشفير الصُورَتَيْنِ فِي الفَضاءِ الكامِن وَنَقْصهما لِتَقْلِيلِ الضَوْضاء ذاتِ القِيَمِ القُصْوَى. بُعْدَ ذٰلِكَ، نَقُوم بتوليف المُتَغَيِّراتِ الكامِنَةِ مَعَ الضَوْضاء الغاوسيه، وَدَمْجها مَعَ الصُوَرِ الأَصْلِيَّةِ، وَأَخِيرا نُطَبِّق التَقَصِّي وَإِزالَةُ الضَوْضاء لِإِنْتاجِ نَتائِجِ التَكامُلِ: \[\vx^{(0)}_t=\verb|clip|(\vf(\vx^{(0)}_0, t)),\] \[\vx^{(1)}_t=\verb|clip|(\vf(\vx^{(1)}_0, t)),\] \[\vx_t=\alpha*\vx^{(0)}_t+\beta*\vx^{(1)}_t+(\mu-\alpha)*\vx^{(0)}_0+(\nu-\beta)*\vx^{(1)}_0+\gamma*\epsilon_t,\] \[\hat{\vx}_0=\vf^{-1}(\verb|clip|(\vx_t), t).\]
فِي هٰذِهِ المُعادَلات، يَتَوافَق \(\alpha\) وَ \(\beta\) مَعَ مُعامَلاتِ لَأُسْلُوب الصُورَةِ، بَيْنَما يَعْمَل \(\mu\) وَ \(\nu\) كَمُعامَلات تَعْوِيضِ لِضَبْطِ كَمِّيَّةِ مَعْلُوماتٍ الصُورَةِ الأَصْلِيَّةِ. بِالإِضافَةِ إِلَى ذٰلِكَ، يُمَثِّل \(\gamma\) مَعامِلِ التَزْيِيت، الَّذِي يُمْكِن اِسْتِخْدامه لِضَبْطِ كَمِّيَّةِ الضَوْضاء لِتَحْسِينِ جُودَة الصُورَةِ.
مِن الضَرُورِيِّ التَأَكُّدَ مِن أَنَّ الصِيغَةِ \(\sqrt{\alpha^2+\beta^2+\gamma^2}=1\) مَرَضِيَّةٍ. اِسْتِناداً إِلَى النَظَرِيَّةِ [theorem1] وَالنَظَرِيَّة [theorem2]، يُمْكِننا اِسْتِنْتاجِ أَنَّهُ لِأَيّ ثَلاثَةِ مُتَّجِهات ذاتِ أَبْعادَ عالِيَةٍ عَلَى كُرَةِ فائِقه بِنِصْفِ قَطَرِ \(\|r\|\)، المُشارِ إِلَيها ب \(\vv_1\)، \(\vv_2\) وَ \(\vv_3\)، فَإِنَّ مِقْدارٍ الجَمْع المَوْزُون \(\vv_{12}\) يُعْطَى ب \(\|\vv_{12}\|=\|\alpha\cdot\vv_1+\beta\cdot\vv_2\|=\sqrt{\alpha^2\|\vv_1\|^2+\beta^2\|\vv_2\|^2+2\|\vv_1\|\|\vv_2\|\cos{\theta}}=\sqrt{\alpha^2+\beta^2}\|r\|\). عِلاوَةً عَلَى ذٰلِكَ، مِن المُهِمِّ مُلاحَظَةُ أَنَّ المُتَّجِه الجَدِيدِ المُحَصِّل \(\vv_{12}\) وَالمُتَّجِه \(\vv_3\) يَظَلّانِ أَيْضاً عَمُودِيَّيْنِ. وَنَتِيجَةَ لِذٰلِكَ، يُمْكِننا تَمْثِيلِ مِقْدارٍ الجَمْع المَوْزُون لِهٰذِهِ المُتَّجِهات كَما يَلِي: \(\|\alpha\cdot\vv_1+\beta\cdot\vv_2+\gamma\cdot\vv_3\|=\sqrt{\alpha^2+\beta^2+\gamma^2}\|r\|\). بَيْنَما تَعَرَّضَ الصُورَةِ المزاله الضَوْضاء فِي الشَكْلِ \(\ref{figure15}\) بِعَضِّ التَشَوُّهاتِ، فَإِنَّ مُعْظَمَ مُحْتَواها يَظَلّ واضِحاً. هٰذِهِ المُلاحَظَةُ تَعْنِي أَنَّ المُتَغَيِّراتِ الكامِنَةِ لِلصُوَرِ الطَبِيعِيَّةِ \(\vv_1=\vx^{(0)}_t\)، \(\vv_2=\vx^{(1)}_t\) تَمِيل أَيْضاً إِلَى أَنَّ تَكُون قَرِيبَةٌ مِن الكُرَةِ الفائِقَةِ. وَبِالتالِي، بِما أَنَّ الضَوْضاء الغاوسيه \(\vv_3=\epsilon_t\) تُقِيم أَيْضاً عَلَى الكُرَةِ الفائِقَةِ، فَمِن الضَرُورِيِّ الحِفاظِ عَلَى الصِيغَةِ \(\sqrt{\alpha^2+\beta^2+\gamma^2}=1\) لِضَمانِ أَنَّ المُتَغَيِّر الكامِن المَرْكَبِ النِهائِيِّ يَمْتَلِك أَيْضاً نَفْسِ الخَصائِص.
وِفْقاً لِلمَبْدَأ الإِحْصائِيّ المُعْتَرَفِ بِهِ عَلَى نِطاقِ واسِعٍ وَالمَعْرُوفُ بِاِسْمِ قاعِدَةِ التَجْرِيبِيَّة (المَعْرُوفَةِ أَيْضاً بِاِسْمِ قاعِدَةِ 68–95–99.7) (pukelsheim1994three)، وَالَّتِي تَتَعَلَّق بِسُلُوك البَياناتِ ضِمْنَ تَوْزِيعِ طَبِيعِيٍّ، يَقَع تَقْرِيباً \(99.7\%\) مِن نِقاطٍ البَياناتِ ضِمْنَ ثَلاثَةِ اِنْحِرافات مِعْيارَيْهِ مِن المُتَوَسِّطِ. وَبِالتالِي، بِالنَظَرِ إِلَى تَحْلِيلنا لَكَيْفِيَّة تَأْثِيرِ الضَوْضاء فَوْقَ عَتَبَةِ إِزالَةِ التَشْوِيشُ عَلَى الصُوَرِ، تُعْتَبَر نِقاطٍ البَياناتِ الَّتِي تُظْهِر اِنْحِرافات كَبِيرَةٍ عَن المُتَوَسِّطِ مَصادِرُ مُحْتَمَلَةٍ لَعُيُوب الصُوَرِ، وَهِيَ فَرْضِيَّةَ سَيَتِمّ التَحَقُّقِ مِنها فِي التَجارِبِ اللاحِقَةِ. لِلتَقْلِيل مِن تَأْثِيرِها، نَسْتَخْدِم إِجْراءِ التَحَكُّمِ بِالحُدُودِ (القَصّ) التالِي: \[\begin{aligned} \text{قِيمَةَ البكسل} = \begin{cases} \text{الحَدِّ,} & \text{إِذا كانَت قِيمَةَ البكسل} > \text{الحَدِّ,} \\ -\text{الحَدِّ,} & \text{إِذا كانَت قِيمَةَ البكسل} < -\text{الحَدِّ,} \\ \text{قِيمَةَ البكسل,} & \text{فِي الحالاتِ الأُخْرَى.} \end{cases}\end{aligned}\]
فِي هٰذا القِسْمِ، نُقِيم العَلاقَةِ بَيِّنَ طَرِيقَتِنا وَالطُرُقِ الأُخْرَى، مَعَ التَأْكِيدُ عَلَى مَزايا طَرِيقَتِنا. لِلبَدْء، يُمْكِن تَكْيِيفَ طَرِيقَتِنا، عِنْدَ دَمْجها مَعَ اِخْتِيارات المُعامَلاتِ المُناسَبَةِ، لِتَتَحَوَّل إِلَى طَرِيقَتَيْنِ أُخْرَيَيْنِ:
التَكامُلِ الخَطِّيِّ الكُرَوِيِّ بِالجَمْع بَيِّنَ نَظَرِيَّةَ [theorem2]، حَيْثُ أَنَّ المُتَّجِهات العَشْوائِيَّةِ ذاتِ الأَبْعاد العالِيَةِ مُتَعامِده، يُمْكِننا التَعْبِيرِ عَن التَكامُلِ الخَطِّيِّ الكُرَوِيِّ بِالصِيغَة التالِيَةِ مَعَ \(\theta=\frac{\pi}{2}\): \[\vx_t^{(\lambda)}=\frac{\sin((1-\lambda)\theta)}{\sin (\theta)}\vx_t^{(0)}+\frac{\sin(\lambda\theta)}{\sin(\theta)}\vx_t^{(1)}=\sin((1-\lambda)\cdot\frac{\pi}{2})\vx_t^{(0)}+\sin(\lambda\cdot\frac{\pi}{2})\vx_t^{(1)}.\]
هٰذا مُكافِئ لَطَرِيقَتنا مَعَ \(\gamma=0\), \(\mu=\alpha=\sin((1-\lambda)\cdot\frac{\pi}{2})\), وَ \(\nu=\beta=\sin(\lambda\cdot\frac{\pi}{2})\).
إِدْخالُ الضَوْضاء لِلتَكامُل نُصَنِّف طَرِيقَةِ إِدْخالُ الضَوْضاء لَتَكامُل الصُورَةِ إِلَى فِئَتَيْنِ، بِناءَ عَلَى اِفْتِراضِ أَنَّ مُسْتَوَى الضَوْضاء أَعْلَى بِكَثِيرٍ مِن مُسْتَوَى الصُورَةِ، وَهُوَ الحالِ الشائِعُ غالِباً. فِي هٰذا السِينارِيو، يُمْكِننا أَظْهار أَنَّ طَرِيقَتِنا يُمْكِن تَكْيِيفها مَعَ هٰذِهِ الطَرِيقَةِ:
الضَوْضاء المُضافَةِ إِلَى الصُورَةِ هِيَ نَفْسِها: \[\begin{aligned} \notag &\vx_t=\text{\texttt{slerp}}(\vx_t^{(0)}, \vx_t^{(1)}, \lambda)=\frac{\sin((1-\lambda)\cdot0)}{\sin (0)}\vx_t^{(0)}+\frac{\sin(\lambda\cdot0)}{\sin(0)}\vx_t^{(1)} \\ &=(1-\lambda)\vx_t^{(0)}+\lambda\vx_t^{(1)}=(1-\lambda)\vx_0^{(0)}+\lambda\vx_0^{(1)}+(1-\lambda+\lambda)\epsilon_t \\ &=(1-\lambda)\vx_0^{(0)}+\lambda\vx_0^{(1)}+\epsilon_t . \end{aligned}\] هٰذا مُكافِئ لَطَرِيقَتنا مَعَ \(\alpha=\beta=0, \mu=1-\lambda, \nu=\lambda.\)
الضَوْضاء المُضافَةِ إِلَى الصُورَةِ مُخْتَلِفَةٍ: \[\begin{aligned} \notag & \vx_t=\text{\texttt{slerp}}(\vx_t^{(0)}, \vx_t^{(1)}, \lambda)=\frac{\sin((1-\lambda)\cdot\frac{\pi}{2})}{\sin (\frac{\pi}{2})}\vx_t^{(0)}+\frac{\sin(\lambda\cdot\frac{\pi}{2})}{\sin(\frac{\pi}{2})}\vx_t^{(1)} \\ &=\sin((1-\lambda)\cdot\frac{\pi}{2})\vx_0^{(0)}+\sin(\lambda\cdot\frac{\pi}{2})\vx_0^{(1)}+\sin((1-\lambda)\cdot\frac{\pi}{2})\epsilon_t^{(0)}+\sin(\lambda\cdot\frac{\pi}{2})\epsilon_t^{(1)} \\ &=\sin((1-\lambda)\cdot\frac{\pi}{2})\vx_0^{(0)}+\sin(\lambda\cdot\frac{\pi}{2})\vx_0^{(1)}+\epsilon_t'. \end{aligned}\] هٰذا مُكافِئ لَطَرِيقَتنا مَعَ \(\alpha=\beta=0, \mu=\sin((1-\lambda)\cdot\frac{\pi}{2}), \nu=\sin(\lambda\cdot\frac{\pi}{2}).\)
مُقارَنَةً بِالتَكامُل الخَطِّيِّ الكُرَوِيِّ، تَقَدَّمَ طَرِيقَتِنا ضَوْضاء غاوسيه لِتَحْسِينِ تموضع المُتَغَيِّراتِ الكامِنَةِ عَلَى الكُرَةِ الفائِقَةِ. عَلَى عَكْسَ طَرِيقَةِ إِدْخالُ الضَوْضاء لِلتَكامُل، تَتَضَمَّن طَرِيقَتِنا تَصْحِيحِ الضَوْضاء، مِمّا يُمْكِننا مِن تموضع المُتَغَيِّراتِ الكامِنَةِ عَلَى الكُرَةِ الفائِقَةِ وَإِزالَةُ التَشَوُّهاتِ بِكَمِّيَّةِ أَقَلَّ مِن الضَوْضاء الغاوسيه.
يَتِمّ تَصْمِيمِ المُعادَلَةَ التَفاضُلِيَّةِ العَشْوائِيَّةِ بِحَيْثُ يَكُون \(p_{T}\) قَرِيباً مِن تَوْزِيعِ غاوسي قابِلٌ لِلتَعامُلِ \(\pi(\vx)\). نَتَبَنَّى هُنا التَكْوِيناتِ فِي (karras2022elucidating)، الَّذِينَ حَدَّدُوا \(\vmu(\vx, t)=0\) وَ \(\sigma(t)=\sqrt{2t}\). فِي هٰذِهِ الحالَةِ، لَدَينا \(p_t(\vx)=p_{\mathrm{data}}(\vx)\otimes\mathcal{N} (\mathbf{0}, t^2\bm{I})\)، حَيْثُ يُشِير \(\otimes\) إِلَى عَمَلِيَّةِ الاِلْتِفافِ، وَ \(\pi(\vx)=N(\mathbf{0}, T^2\bm{I})\). نُجْرِي تَقْيِيمات عَلَى نَماذِجَ الاِنْتِشارِ المُدَرِّبَة عَلَى صُور (LSUN Cat-256) وَ (LSUN Bedroom-256) كَأَساسٍ لَتَقْيِيمنا. نَحْنُ نُؤَكِّد فَعّالِيَّةِ طَرِيقَتِنا عَلَى الاِنْتِشارِ المُسْتَقِرُّ (Rombach_2022_CVPR)، وَالنَتائِجِ مُقَدِّمَةِ فِي المُلْحَقِ [results of stable diffusion].
نُحافِظ عَلَى ثَباتَ جَمِيعِ المُعامَلاتِ الأُخْرَى وَنَزِيد \(\gamma\) تَدْرِيجِيّاً مِن 0 إِلَى 1. مِن خِلالَ المُلاحَظَةُ، يَتَّضِح أَنَّهُ مَعَ زِيادَةِ \(\gamma\)، تَتَناقَص الشَوائِبِ فِي الصُورَةِ تَدْرِيجِيّاً، مِمّا يُؤَدِّي إِلَى تَحَسُّنِ مَلْحُوظٍ فِي جُودَة الصُورَةِ. وَمَعَ ذٰلِكَ، فِي الوَقْتِ نَفْسِهِ، تَفَقَّدَ الصُورَةِ بَعْضاً مِن مِيزاتها الأَصْلِيَّةِ وَتَقَدَّمَ مَعْلُوماتٍ إِضافِيَّةً.
كَما هُوَ مُوَضِّح، يُمْكِننا تَغْيِيرٍ أُسْلُوبِ الصُوَرِ بِتَعْدِيلِ قِيَمِ \(\alpha\) وَ \(\beta\). لِتَسْهِيلِ المُقارَنَةِ مَعَ نَتائِجِ الاِسْتِيفاء الخَطِّيِّ الكُرَوِيِّ، نَخْتار \(\alpha=\sin\left(\frac{\pi}{2} \cdot \lambda \right)\)، \(\beta=\cos\left(\frac{\pi}{2} \cdot \lambda\right)\) وَ \(\gamma=0\). بِالإِضافَةِ إِلَى ذٰلِكَ، تَتَوَفَّر نَتائِجِ اِسْتِيفاءُ إِضافِيَّةً فِي المُلْحَقِ.
لَقَد قُمْنا بِتَطْبِيقِ التَحَكُّمِ بِالحُدُودِ عَلَى المُتَغَيِّراتِ الكامِنَةِ، وَتُظْهِر النَتائِجِ فِي الشَكْلِ [figure25]. يُمْكِن مُلاحَظَةُ أَنَّهُ مَعَ تَقْلِيلِ الحُدُودِ، تُقِلّ الشَوائِبِ عَلَى الصُورَةِ بِشَكْلٍ كَبِيرٍ، مِمّا يُحَسِّن جُودَة الصُوَرِ بِشَكْلٍ مَلْحُوظٍ. عِلاوَةً عَلَى ذٰلِكَ، قُمْنا بِمُقارَنَة ثَلاثِ طُرُقٍ لِلتَحَكُّمِ بِالحُدُودِ: التَحَكُّمِ قِبَلَ التَكْبِير، التَحَكُّمِ بُعْدَ التَكْبِير، وَالتَحَكُّمِ قِبَلَ وَبُعْدَ التَكْبِير. تُظْهِر نَتائِجِ الطُرُقِ الثَلاثِ فِي الشَكْلِ [figure21]. عِنْدَ الفَحْصِ، يُمْكِن مُلاحَظَةُ أَنَّ طَرِيقَةِ تَطْبِيقِ القُيُودِ عَلَى المُتَغَيِّراتِ الكامِنَةِ قِبَلَ وَبُعْدَ التَكْبِير هِيَ الأَكْثَرَ فَعّالِيَّةِ فِي تَقْلِيلِ الشَوائِبِ.
وَمَعَ ذٰلِكَ، فَإِنَّ تَقْلِيلِ الحُدُودِ يُؤَدِّي أَيْضاً إِلَى بِعَضِّ الفُقْدان فِي مِيزاتِ الصُورَةِ وَالتَعْتِيم، مِمّا يَعْنِي أَنَّ التَحَكُّمِ بِالحُدُودِ قَد يُؤَدِّي إِلَى فُقْدانِ المَعْلُوماتِ. لِمُعالَجَةِ هٰذِهِ المُشْكِلَةِ، إِحْدَى الإِسْتراتِيجِيّات الفَعّالَةَ هِيَ دَمْجِ مَعْلُوماتٍ الصُورَةِ الأَصْلِيَّةِ فِي فَضاءِ الصُوَرِ الضوضائيه، كَما هُوَ مُفَصَّلٍ أَدَنّاهُ.
يُمْكِن مُلاحَظَةُ أَنَّ القِيَمِ الأَصْغَرِ لِ \(\mu\) وَ \(\nu\) تُؤَدِّي إِلَى صُور أَكْثَرَ قَتامَةً بَيْنَما زِيادَتُها تُؤَدِّي إِلَى صُور مُفْرِطَةً الإِضاءَة. الصُوَرِ الَّتِي تَمَّ الحُصُولِ عَلَيها بِقِيَمِ \(\mu\) وَ \(\nu\) الأَصْغَرِ تُظْهِر تَشابُهات مَعَ تِلْكَ الَّتِي تَمَّ الحُصُولِ عَلَيها بِاِسْتِخْدامِ التَحَكُّمِ بِالحُدُودِ. وَبِالتالِي، مِن خِلالَ تَعْدِيلِ قِيَمِ \(\mu\) وَ \(\nu\)، قَد نَتَمَكَّن مِن التَخْفِيفِ مِن مَشاكِلَ فُقْدانِ المِيزاتِ وَالتَعْتِيم الناتِجَةِ عَن التَحَكُّمِ بِالحُدُودِ. عِلاوَةً عَلَى ذٰلِكَ، تَضَمَّنَ طَرِيقَتِنا أَنَّ مُسْتَوَياتٍ الضَوْضاء تُلَبِّي العَتَبَةَ اللازِمَةِ، لٰكِنَّ مَعْلُوماتٍ الصُوَرِ قَد تَتَجاوَز أَو تُقِلّ عَن العَتَبَةَ المَطْلُوبَةِ لِأَنَّ ذٰلِكَ يَتَحَدَّد بِواسِطَةِ \(\alpha\) وَ \(\beta\). لُذّاً، مِن خِلالَ ضَبْطِ المُعامَلاتِ \(\mu\) وَ \(\nu\)، يُمْكِننا تَنْظِيمِ مَعْلُوماتٍ الصُوَرِ، مِمّا يُحَسِّن نَتائِجِ الاِسْتِيفاء.
قُمْنا بِجَمْعِ الصُوَرِ مِن الإِنْتِرْنِت وَاُسْتُخْدِمْنا ثَلاثِ طُرُقٍ مُخْتَلِفَةٍ لِإِعادَةِ تَكْوِينِ الصُوَرِ. خِلالَ عَمَلِيَّةِ الإِعادَة، حافَظْنا عَلَى ثَباتَ إِعْدادات المُعامَلاتِ، وَالَّتِي تَتَوَفَّر مَعْلُوماتها بِالتَفْصِيلِ فِي المُلْحَقِ. مِن نَتائِجِ الإِعادَة، لاحَظْنا أَنَّ طَرِيقَتِنا تُقَلِّل بِفَعّالِيَّةٍ مِن التَشَوُّهاتِ وَتُحافِظ عَلَى المَعْلُوماتِ بِأَقْصَى قَدْرَ مُقارَنَةً بِتَطْبِيقِ التَكْوِين الخَطِّيِّ الكُرَوِيِّ مُباشَرَةً. عِلاوَةً عَلَى ذٰلِكَ، تَتَفَوَّق طَرِيقَتِنا عَلَى الطُرُقِ الَّتِي تَشْمَل إِدْخالُ الضَوْضاء فِي الحِفاظِ عَلَى مِيزاتِ الصُورَةِ الأَصْلِيَّةِ.
فِي هٰذِهِ الوَرَقَةَ، نَقْتَرِح طَرِيقَةِ جَدِيدَةٍ تَتَجاوَز قُيُودٍ التَكامُلِ الخَطِّيِّ الكُرَوِيِّ. تَقُوم طَرِيقَتِنا بِإِنْشاءِ إِطارِ عَمَلٍ مُوَحَّدٍ لِكُلِّ مِن التَكامُلِ الخَطِّيِّ الكُرَوِيِّ وَإِدْخال الضَوْضاء مُباشَرَةً لِطُرُقِ التَكامُلِ، مُسْتَفِيده مِن مَزايا كُلِّ مِنهُما. بِالإِضافَةِ إِلَى ذٰلِكَ، مِن خِلالَ فَرْضِ السَيْطَرَةِ عَلَى الحُدُودِ لِلضَوْضاء وَتُكْمِله مَعْلُوماتٍ الصُورَةِ الأَصْلِيَّةِ، تَتَغَلَّب طَرِيقَتِنا بِفَعّالِيَّةٍ عَلَى التَحَدِّياتِ الَّتِي تَطْرَحها مُسْتَوَياتٍ الضَوْضاء الَّتِي تَتَجاوَز أَو تُقِلّ عَن عَتَبَةِ إِزالَةِ الضَوْضاء. مِن خِلالَ تَصْحِيحِ المُتَغَيِّراتِ الكامِنَةِ، تَحَسُّنِ طَرِيقَتِنا نَتائِجِ التَكامُلِ لِلصُوَرِ الطَبِيعِيَّةِ، مِمّا يُحَقِّق نَتائِجِ تَكامُلٍ مُتَفَوِّقَةً.
القُيُودِ وَالعَمَلِ المُسْتَقْبَلِيِّ. طَرِيقَتِنا، مِثْلَ أَيّ طَرِيقَةِ، لَيِسَت خالِيَةً مِن العُيُوبِ وَالقُيُود. مُقارَنَةً بِإِدْخال الضَوْضاء مُباشَرَةً لِلتَكامُل، تَتَضَمَّن طَرِيقَتِنا خَطْوَةٍ إِضافِيَّةً: تَعْيِينِ الصُوَرِ إِلَى المُتَغَيِّراتِ الكامِنَةِ. سَيُؤَدِّي هٰذا العِبْءَ الإِضافِيّ إِلَى مُضاعَفَةَ وَقْتٍ المُعالَجَةِ. وَمَعَ ذٰلِكَ، يُؤَدِّي هٰذا العِبْءَ الإِضافِيّ إِلَى الحِفاظِ عَلَى الخَصائِص بِشَكْلٍ أَفْضَلَ. عِلاوَةً عَلَى ذٰلِكَ، تُرَكِّز وَرَقَتنا بِشَكْلٍ رَئِيسِيٍّ عَلَى بَياناتٍ الصُوَرِ. وَبِالتالِي، لَم يَتِمّ التَحَقُّقِ مِن فَعّالِيَّتها فِي وَسائِطَ أُخْرَى، وَهُوَ ما يُمَثِّل قَيْداً مُحْتَمَلاً لَعَمَلنا. وَبِالتالِي، سَنَسْتَكْشِف إِمْكانِيَّةَ طَرِيقَتِنا فِي وَسائِطَ مُخْتَلِفَةٍ فِي أَعْمالنا المُسْتَقْبَلِيَّةِ. سَنَسْتَكْشِف أَيْضاً إِمْكانِيَّةَ تَطْبِيقِ طَرِيقَتِنا عَلَى سِينارِيُوهاتٍ مُخْتَلِفَةٍ، مِثْلَ أَ) التَحْقِيقِ فِي التَكامُلِ بَيِّنَ الصُوَرِ الطَبِيعِيَّةِ وَالصُوَرِ المُعادِيَةِ (zhang2021causaladv)، ب) دِراسَةٌ التَكامُلِ بَيِّنَ بِيئات مُخْتَلِفَةٍ (arjovsky2019invariant)، وَ ج) اِسْتِكْشافٍ التَكامُلِ بَيِّنَ البَياناتِ داخِلَ التَوْزِيعِ وَخارِجَ التَوْزِيعِ (fang2022out). عِلاوَةً عَلَى ذٰلِكَ، مِن المُثِيرِ تَطْبِيقِ طَرِيقَتِنا عَلَى سِينارِيُوهاتٍ مُثِيرَةٍ لِلاِهْتِمامِ، مِثْلَ التَكامُلِ بَيِّنَ صُور أَشْخاصٍ مُخْتَلِفِينَ، التَكامُلِ لِرُؤْيَةِ الحاسُوب المُنْخَفِضَة المُسْتَوَى (zamir2021multi)، وَالتَكامُلِ لَتَوْلِيد الفِيدْيُو (liu2024sora).
تَمَّ دَعْمِ هٰذا العَمَلِ مِن خِلالَ مَنْحِ مِن البَرْنامَجِ الوَطَنِيِّ لِلبَحْثِ وَالتَطْوِيرِ الرَئِيسِيُّ فِي الصِينِ (رَقْمِ 2021ZD0111801). تَمَّ دَعْمِ YGZ وَ BH مِن خِلالَ بَرْنامَجِ NSFC العامِّ رَقْمِ 62376235، وَمُؤَسَّسَةُ قوانغدونغ لِلبُحُوثِ الأَساسِيَّةِ وَالتَطْبِيقِيَّة الأَساسِيَّةِ رَقْمِ 2022A1515011652، وَمَناطِقِ البَحْثِ المُتَخَصِّصَةِ فِي كُلِّيَّةِ HKBU رَقْمِ RC-FNRA-IG/22-23/SCI/04، وَنِظامِ تحفيز القِسْمِ فِي HKBU CSD. يُدَعِّم TL جُزْئِيّاً مِن خِلالَ مَشارِيعِ مَجْلِسِ البُحُوثِ الأُسْتُرالِيّ التالِيَةِ: FT220100318, DP220102121, LP220100527, LP220200949, IC190100031.
لِنَفْتَرِض أَنَّ \(\bm{X} = (X_1, . . . , X_n) \in \mathbb{R}^n\) هُوَ مُتَّجِه عَشْوائِيٍّ بِإِحْداثِيّات مُسْتَقِلَّةٍ وَتَحْتَ غاوسيه \(X_i\) الَّتِي تَحَقَّقَ \(\mathbb{E} X^2_i =1\). إِذا \[\|\|\bm{X}\|_2-\sqrt{n}\|_{\psi_2}\leq CK^2\] حَيْثُ \(K=\max_i\|X_i\|_{\psi_2}\)، وC هِيَ ثابِتَةٍ مُطْلَقَةٍ وَنَعْرِف: \[\|\bm{X}\|_{\psi_1}=\inf\{t>0:\mathbb{E}\exp(|\bm{X}|/t)\leq2\}\] \[\|\bm{X}\|_{\psi_2}=\inf\{t>0:\mathbb{E}\exp(\bm{X}^2/t^2)\leq2\}\]
لِلتَبْسِيط، نَفْتَرِض أَنَّ \(K \geq 1\). سَنُطَبِّق مُتَبايِنه بيرنشتاين لِلمَجْمُوع المعياري لِلمُتَغَيِّرات العَشْوائِيَّةِ المُسْتَقِلَّةِ ذاتِ المُتَوَسِّطِ صِفْر \[\frac{1}{n}\|\bm{X}\|_2^2-1=\frac{1}{n}\sum_{i=1}^n{(X_i^2-1)}\] بِما أَنَّ المُتَغَيِّر العَشْوائِيِّ \(X_i\) تَحْتَ غاوسي، فَإِنَّ \(X_i^2-1\) هُوَ تَحْتَ أَسَى، وَبِدِقَّة أَكْثَرَ \[\begin{aligned} \|X_i^2-1\|_{\psi_1}&\leq C\|X_i^2\|_{\psi_1}\\ &=C\|X_i\|^2_{\psi_2}\\ &\leq CK^2\end{aligned}\] بِتَطْبِيقِ مُتَبايِنه بيرنشتاين، نَحْصُل عَلَى أَيّ \(u \geq 0\) أَنَّ \[\mathbb{P}\{|\frac{1}{n}\|\bm{X}\|_2^2-1|\geq u\}\leq 2\exp(-\frac{cn}{K^4}\min(u^2, u))\] هٰذِهِ مُتَبايِنه تَرْكِيزِ جَيِّدَةٍ لِ \(\|X\|_2^2\)، وَالَّتِي سَنَسْتَنْتِج مِنها مُتَبايِنه تَرْكِيزِ لِ \(\|\bm{X}\|\). لِعَمَلِ الرَبْطِ، يُمْكِننا اِسْتِخْدامِ المُلاحَظَةُ الأَوَّلِيَّةِ التالِيَةِ الَّتِي تَنْطَبِق عَلَى جَمِيعِ الأَعْدادُ \(z \geq 0\): \[|z-1|\geq \delta \text{ يَعْنِي } |z^2-1|\geq\max(\delta, \delta^2)\] نَحْصُل عَلَى أَيّ \(\delta \geq 0\) أَنَّ \[\begin{aligned} \mathbb{P}\{|\frac{1}{n}\|\bm{X}\|_2^2-1|\geq \delta\}&\leq\mathbb{P}\{|\frac{1}{n}\|\bm{X}\|_2^2-1|\geq \max(\delta, \delta^2)\} \\ &\leq 2\exp(-\frac{cn}{K^4}\cdot \delta^2)\quad (\text{لِ } u=\max(\delta, \delta^2))\end{aligned}\] بِتَغْيِيرِ المُتَغَيِّراتِ إِلَى \(t=\delta\sqrt{n}\)، نَحْصُل عَلَى الذَيْل تَحْتَ غاوسي المَطْلُوبِ \[\mathbb{P}\{|\|\bm{X}\|_2-\sqrt{n}|\geq t\}\leq 2\exp(-\frac{ct^2}{K^4})\quad \text{لِجَمِيعِ } t\geq 0\] كَما نَعْلَم مِن خَصائِصِ تَحْتَ غاوسيه، هٰذا مُكافِئ لَاِسْتِنْتاج النَظَرِيَّةِ.
التَوْزِيعِ الطَبِيعِيِّ القِياسِيَّ \(\mathcal{N}(\mathbf{0},\bm{I}_n)\) فِي الأَبْعاد العالِيَةِ قَرِيبٍ مِن التَوْزِيعِ المُوَحَّدَ عَلَى الكُرَةِ بِنِصْفِ قَطَرِ \(\sqrt{n}\).
مِن الليما 1، لِلمِعْيار \(g\sim \mathcal{N}(0, \bm{I}_n)\) لَدَينا المُتَبايِنَة التَرْكِيزِ التالِيَةِ: \[\mathbb{P}\{|\|g\|_2-\sqrt{n}|\geq t\}\leq 2\exp(-ct^2)\quad \text{لِجَمِيعِ } t\geq 0\]
لِنُمَثِّل \(g\sim \mathcal{N}(0, \bm{I}_n)\) بِالشَكْل القُطْبِيّ كَالتالِي: \[g=r\theta\] حَيْثُ \(r=\|g\|_2\) هُوَ الطُولَ وَ\(\theta=g/\|g\|_2\) هُوَ الاِتِّجاهِ.
تَقُول مُتَبايِنه التَرْكِيزِ أَنَّ \(r=\|g\|_2\approx\sqrt{n}\) بِاِحْتِمالَيْهِ عالِيَةٍ، لُذّاً \[g\approx\sqrt{n}\theta\sim \text{Unif}(\sqrt{n}S^{n-1})\]
بِعِبارَةٍ أُخْرَى، التَوْزِيعِ الطَبِيعِيِّ القِياسِيَّ فِي الأَبْعاد العالِيَةِ قَرِيبٍ مِن التَوْزِيعِ المُوَحَّدَ عَلَى الكُرَةِ بِنِصْفِ قَطَرِ \(\sqrt{n}\)، أَيّ \[\mathcal{N} (0, \bm{I}_n)\approx\sqrt{n}\theta\sim \text{Unif}(\sqrt{n}S^{n-1})\]
يَعْرِف المُتَّجِه العَشْوائِيِّ \(\bm{X}\) فِي \(\mathbb{R}^n\) بِأَنَّهُ مُتَساوِي القِياس إِذا كانَ \[\sum(\bm{X})=\mathbb{E}\bm{X}\bm{X}^T=\bm{I}_n\] حَيْثُ \(\bm{I}_n\) تُمَثِّل مَصْفُوفه الهُوِيَّةِ فِي \(\mathbb{R}^n\).
المُتَّجِه العَشْوائِيِّ \(\bm{X}\) فِي \(\mathbb{R}^n\) هُوَ مُتَساوِي القِياس إِذا وَفَقَط إِذا كانَ \[\mathbb{E}\langle \bm{X}, \bm{x}\rangle^2=\|\bm{x}\|_2^2 \quad \text{ لِكُلِّ } \bm{x} \in \mathbb{R}^n\]
تُذَكِّر أَنَّ مَصْفُوفَتَيْنِ مُتَماثِلَتَيْنِ \(n \times n\)، \(\mA\) وَ \(\mB\)، مُتَساوِيَتانِ إِذا وَفَقَط إِذا كانَ \(\bm{x}^T\mA\bm{x} = \bm{x}^T\mB\bm{x}\) لِكُلِّ \(\bm{x}\in \mathbb{R}^n\). وَبِالتالِي \(\bm{X}\) هُوَ مُتَساوِي القِياس إِذا وَفَقَط إِذا كانَ \[\bm{x}^T(\mathbb{E}\bm{X}\bm{X}^T)\bm{x}=\bm{x}^T\bm{I}_n\bm{x}\quad \text{لِكُلِّ }\bm{x}\in\mathbb{R}^n\]
الجانِبِ الأَيْسَر مِن هٰذِهِ الهُوِيَّةِ يُساوِي \(\mathbb{E}\langle \bm{X}, \bm{x}\rangle^2\)، وَالجانِبِ الأَيْمَن هُوَ \(\|\bm{x}\|^2_2\).
لِنَفْتَرِض أَنَّ \(\bm{X}\) هُوَ مُتَّجِه عَشْوائِيٍّ مُتَساوِي القِياس فِي \(\mathbb{R}^n\). إِذا \[\mathbb{E}\|\bm{X}\|_2^2=n\] عِلاوَةً عَلَى ذٰلِكَ، إِذا كانَ \(\bm{X}\) وَ \(\bm{Y}\) هُما مُتَّجِهانِ عَشْوائِيّانِ مُسْتَقِلّانِ مُتَساوِيا القِياس فِي \(\mathbb{R}^n\)، فَإِنَّ \[\mathbb{E}\langle\bm{X}, \bm{Y}\rangle^2=n\]
لِإِثْباتِ الجُزْء الأَوَّلِ، لَدَينا \[\begin{aligned} \mathbb{E}\|\bm{X}\|_2^2&=\mathbb{E}\bm{X}^T\bm{X}=\mathbb{E}\, \text{tr}(\bm{X}^T\bm{X})\quad(\text{مَنْظُورٍ } \bm{X}^T\bm{X} \text{ كَمَصْفُوفه } 1\times 1)\\ &=\mathbb{E}\, \text{tr}(\bm{X}\bm{X}^T)\quad(\text{بِاِسْتِخْدامِ خاصَّيْهِ التبادليه لِلأَثَر})\\ &=\text{tr}\, \mathbb{E}(\bm{X}\bm{X}^T)\quad(\text{بِاِسْتِخْدامِ الخَطِيَّة}) \\ &=\text{tr}(\bm{I}_n)\quad(\text{بِسَبَبِ التَساوِي القِياسِيَّ}) \\ &=n\end{aligned}\]
لِإِثْباتِ الجُزْء الثانِي، نَسْتَخْدِم حُجَّةُ التَكْيِيف. نُثْبِت تَحْقِيقاً لِ \(\bm{Y}\) وَنَأْخُذ التَوَقُّعُ الشُرْطِيَّ (بِالنِسْبَةِ لِ \(\bm{X}\)) الَّذِي نَرْمُز لَهُ ب \(\mathbb{E}_{\bm{X}}\). قانُونِ التَوَقُّعُ الكُلِّيِّ يَقُول أَنَّ \[\mathbb{E}\langle \bm{X}, \bm{Y}\rangle^2=\mathbb{E}_{\bm{Y}}\mathbb{E}_{\bm{X}}[\langle \bm{X}, \bm{Y}\rangle^2|\bm{Y}],\]
حَيْثُ ب \(\mathbb{E}_{\bm{Y}}\) نَعْنِي بِالطَبْعِ التَوَقُّعُ بِالنِسْبَةِ لِ \(\bm{Y}\). لِحِسابِ التَوَقُّعُ الداخِلِيِّ، نُطَبِّق الليما 2. مَعَ \(\bm{x} = \bm{Y}\) وَنَسْتَنْتِج أَنَّ التَوَقُّعُ الداخِلِيِّ يُساوِي \(\|\bm{Y}\|_2^2\). وَبِالتالِي \[\begin{aligned} \mathbb{E}\langle \bm{X}, \bm{Y}\rangle^2&=\mathbb{E}_{\bm{Y}}\|\bm{Y}\|_2^2 \\ &=n \quad(\text{بِناءَ عَلَى الجُزْء الأَوَّلِ مِن الليما})\end{aligned}\]
فِي الفَضاءات ذاتِ الأَبْعاد العالِيَةِ، تَمِيل المُتَّجِهات العَشْوائِيَّةِ المُسْتَقِلَّةِ وَالمُتَساوِيَة القِياس إِلَى أَنَّ تَكُون شِبْهِ عَمُودَيْهِ
لَنِقَم بِتَقْيِيد المُتَّجِهات العَشْوائِيَّةِ X وَ Y فِي الليما 3 بِوَضْعِ \[\bar{\bm{X}}:=\frac{\bm{X}}{\|\bm{X}\|_2}\quad\text{وَ}\quad\bar{\bm{Y}}:=\frac{\bm{Y}}{\|\bm{Y}\|_2}\] الليما 3 تُخْبِرنا بِشَكْلٍ أَساسِيٌّ أَنَّ \(\|X\|_2\asymp\sqrt{n}\)، \(\|\bm{Y}\|_2\asymp\sqrt{n}\) وَ \(\langle \bm{X}, \bm{Y}\rangle\asymp\sqrt{n}\) بِاِحْتِمالِ عالٍ، مِمّا يَعْنِي أَنَّ \[|\langle\bar{\bm{{X}}}, \bar{\bm{{Y}}}\rangle|\asymp\frac{1}{\sqrt{n}}\] وَبِالتالِي، فِي الفَضاءات ذاتِ الأَبْعاد العالِيَةِ تَمِيل المُتَّجِهات العَشْوائِيَّةِ المُسْتَقِلَّةِ وَالمُتَساوِيَة القِياس إِلَى أَنَّ تَكُون شِبْهِ عَمُودَيْهِ.
اِخْتِيارات المُعامَلاتِ لِتَسْهِيلِ المُقارَنَةِ مَعَ نَتائِجِ الاِسْتِيفاء الخَطِّيِّ الكُرَوِيِّ، نُحافِظ عَلَى الشَرْطُ \(\alpha/\beta=\sin\left(\frac{\pi}{2} \cdot \lambda \right)/\cos\left(\frac{\pi}{2} \cdot \lambda\right)\)، وَنَضْمَن أَنَّ \(\sqrt{\alpha^2+\beta^2+\gamma^2}=1\) عِنْدَ حِسابِ \(\alpha\) وَ \(\beta\). وَنَضْبُط \(\mu=2.0*\alpha/(\alpha+\beta)\)، \(\nu=2.0*\beta/(\alpha+\beta)\). بِالإِضافَةِ إِلَى ذٰلِكَ، تُوجَد عِدَّةٍ مُعامَلاتِ أُخْرَى، عَلَى الرَغْمِ مِن أَنَّها مُعامَلاتِ فائِقه، لَها نطاقات مُحَدَّدَةٍ مُسْبَقاً لِراحَةِ المُسْتَخْدِمُ. عَلَى سَبِيلِ المِثالِ، تَتَراوَح الحُدُودِ مِن 2.0 إِلَى 2.4، \(\gamma \in [0, \sqrt{0.1}]\). يَحْتاج المُسْتَخْدَمُونَ فَقَط إِلَى تَحْدِيدِ قِيمَةَ \(\lambda\) لِتَحْدِيدِ أُسْلُوبِ نَتائِجِ الاِسْتِيفاء.
قُمْنا بِمُقارَنَة ثَلاثِ طُرُقٍ لِلتَحَكُّمِ بِالحُدُودِ: التَحَكُّمِ قِبَلَ التَحْوِيلِ، التَحَكُّمِ بُعْدَ التَحْوِيلِ، وَالتَحَكُّمِ قِبَلَ وَبُعْدَ التَحْوِيلِ، كَما هُوَ مُوَضِّح فِي الشَكْلِ figure21. مِن الشَكْلِ، يُمْكِننا مُلاحَظَةُ أَنَّ جَمِيعِ الطُرُقِ الثَلاثَةِ أَدَّت إِلَى مُسْتَوَى مُماثِلٍ مِن الضَبابِيَّةُ، مِمّا يَدُلّ عَلَى فُقْدانِ مَعْلُوماتٍ الصُورَةِ، وَتَطْبِيقِ القُيُودِ عَلَى الضَوْضاء قِبَلَ وَبُعْدَ التَحْوِيلِ أَكْثَرَ فَعّالِيَّةِ فِي تَقْلِيلِ التَشَوُّهاتِ.
لَقَد بَحَثْنا عَبْرَ الإِنْتِرْنِت عَن صُور لَغُرَف نَوْمٍ وَاُسْتُخْدِمْنا نَمُوذَجَ تَشْتِيتِ مُدَرِّبُ حَصْرِيّا عَلَى صُور غُرَفِ نَوْمٍ LSUN-256 لِلتَحْوِيلِ. قُمْنا بِزِيادَةٍ قِيمَةَ \(\lambda\) تَدْرِيجِيّاً لِتَعْدِيلِ أُسْلُوبِ صُور التَحْوِيلِ وَضَمانِ أَنَّ تَكُون البارامترات الأُخْرَى ضِمْنَ النِطاقِ المُحَدَّدِ. النَتائِجِ مَعْرُوضه فِي الشَكْلِ [figure28].
لَقَد بَحَثْنا عَبْرَ الإِنْتِرْنِت عَن صُور لِلقِطَط وَاُسْتُخْدِمْنا نَمُوذَجَ تَشْتِيتِ مُدَرِّبُ حَصْرِيّا عَلَى صُور LSUN Cat-256 لِلتَحْوِيلِ. قُمْنا بِزِيادَةٍ قِيمَةَ \(\lambda\) تَدْرِيجِيّاً لِتَعْدِيلِ أُسْلُوبِ صُور التَحْوِيلِ وَضَمانِ أَنَّ تَكُون البارامترات الأُخْرَى ضِمْنَ النِطاقِ المُحَدَّدِ.
قُمْنا بِمُقارَنَة طَرِيقَتِنا مَعَ التَكامُلِ الخَطِّيِّ الكُرَوِيِّ وَطَرِيقَةُ إِدْخالُ الضَوْضاء لِلتَكامُل، بِاِسْتِخْدامِ نَماذِجَ تَمَّ تَدْرِيبها بِشَكْلٍ مُنْفَصِل عَلَى مَجْمُوعاتٍ بَياناتٍ LSUN Cat-256 وLSUN Bedroom-256. مِن الرُسُومِ البَيانِيَّةِ، يَتَّضِح أَنَّ التَكامُلِ الخَطِّيِّ الكُرَوِيِّ يُقَدِّم تَشَوُّهات كَبِيرَةٍ، بَيْنَما يُقَدِّم إِدْخالُ الضَوْضاء لِلتَكامُل مَعْلُوماتٍ إِضافِيَّةً. بِالمُقابِلِ، طَرِيقَتِنا لا تُحافِظ فَقَط عَلَى مَعْلُوماتٍ الصُورَةِ الأَصْلِيَّةِ وَلٰكِنَّها أَيْضاً تُعَزِّز جُودَة الصُوَرِ.
لَقَد قُمْنا بِتَوْسِيعِ تَجارِبنا عَلَى الاِنْتِشارِ المُسْتَقِرُّ وَقارَناهُ بِطُرُقٍ أُخْرَى. بِسَبَبِ الاِخْتِلافاتِ فِي شَكْلٍ \(\vmu(\vx_t, t)\) وَ \(\sigma(t)\) فِي الاِنْتِشارِ المُسْتَقِرُّ، كانَت هُناكَ تَغْيِيراتٍ كَبِيرَةٍ فِي المُتَغَيِّراتِ الكامِنَةِ لَهُ. وَمَعَ ذٰلِكَ، فَإِنَّ التَحَدِّياتِ الَّتِي تُواجِهها طُرُقٍ الإِدْخال المُخْتَلِفَةِ مُتَشابِهَةً: الإِدْخال الخَطِّيِّ الكُرَوِيِّ يُنْتِج صُوَراً بِعُيُوب واضِحَةٍ، بَيْنَما طَرِيقَةِ إِدْخالُ الضَوْضاء لِلإِدْخال تَقَدَّمَ مَعْلُوماتٍ إِضافِيَّةً. نَظَراً لِلفَضاءِ الكامِن غَيْرِ المُنَظَّمِ بِشَكْلٍ كَبِيرٍ لِلاِنْتِشار المُسْتَقِرُّ، يُصْبِح مِن الصَعْبِ الإِدْخال بَيِّنَ عَيِّنَتَيْنِ مِن الصُوَرِ. لِذٰلِكَ، نَحْنُ نُفَكِّر فِي إِدْخالُ المُتَغَيِّراتِ الكامِنَةِ فِي فَضاءِ الصُورَةِ الضوضائيه، حَيْثُ اِخْتَرْنا إِدْخالُ الصُوَرِ عِنْدَما \(t=700\).
لَقَد جَمَعَنا مَجْمُوعَةِ مُتَنَوِّعَةٍ مِن الصُوَرِ عَبْرَ الإِنْتِرْنِت لِلتَداخُل بِاِسْتِخْدامِ تَقْنِيَّةٍ الاِنْتِشارِ الثابِتُ. لِتَسْهِيلِ المُقارَنَةِ مَعَ نَتائِجِ التَداخُلَ الخَطِّيِّ الكُرَوِيِّ، نُحافِظ عَلَى الشَرْطُ \(\alpha/\beta=\sin\left(\frac{\pi}{2} \cdot \lambda \right)/\cos\left(\frac{\pi}{2} \cdot \lambda\right)\)، وَنَضْمَن أَنَّ \(\sqrt{\alpha^2+\beta^2+\gamma^2}=1\) عِنْدَ حِسابِ \(\alpha\) وَ \(\beta\). بِالإِضافَةِ إِلَى ذٰلِكَ، يَتِمّ تَحْدِيدِ الحَدِّ عِنْدَ \(2.0\)، \(\gamma \in [0, \sqrt{0.1}]\)، وَ \(\mu=1.2*\alpha/(\alpha+\beta)\)، \(\nu=1.2*\beta/(\alpha+\beta)\). يَحْتاج المُسْتَخْدَمُونَ إِلَى تَحْدِيدِ قِيمَةَ \(\lambda\) لِتَعْدِيلِ أُسْلُوبِ نَتائِجِ التَداخُلَ.
المُؤَلِّفُ المُراسِلُ Defu Lian (liandefu@ustc.edu.cn)↩