مُلَخَّصُ

هٰذا البَحْثِ يُقَدِّم طَرِيقَةِ جَدِيدَةٍ لِلاِنْدِماج المُتَعَدِّدِ الوَسائِط بِاِسْتِخْدامِ اِنْتِباهَ قَناةِ الوَضْعِ، وَالَّذِي يُعَزِّز الأَداءِ بِشَكْلٍ كَبِيرٍ عَلَى مَجْمُوعاتٍ البَياناتِ المُخْتَلِفَةِ. نَظَراً لِلطَبِيعَة المُتَناثِرَة لِلبَيانات فِي العَدِيدَ مِن التَطْبِيقات، فَإِنَّ تَقْنِيَّتنا تُوَفِّر طَرِيقَةِ فَعّالَةٍ لَدَمْج المَعْلُوماتِ مِن مَصادِرُ مُتَعَدِّدَةِ بِطَرِيقَةٍ تُحافِظ عَلَى السِياقِ الأَساسِيُّ وَتُعَزِّز الخَصائِص الهامَّةِ لِكُلِّ وَضْعِ.

مُقَدِّمَةِ

فِي السَنَواتِ الأَخِيرَةِ، شَهِدْنا تَقَدُّماً كَبِيراً فِي مَجالِ تَعْلَم الآلَةِ، خاصَّةٍ فِي مُعالَجَةِ البَياناتِ المُتَعَدِّدَةِ الوَسائِط. الاِنْدِماجِ المُتَعَدِّدِ الوَسائِط يُعْتَبَر تَحَدِّيا كَبِيراً بِسَبَبِ التَنَوُّعِ فِي البَياناتِ وَالحاجَةُ إِلَى الحِفاظِ عَلَى السِياقِ الأَساسِيُّ أَثْناءَ دَمْجِ المَعْلُوماتِ مِن مَصادِرُ مُتَعَدِّدَةِ. تَقْنِيَّةٍ اِنْتِباهَ قَناةِ الوَضْعِ (Modal Channel Attention) الَّتِي نُقَدِّمها تُعالِج هٰذِهِ التَحَدِّياتِ بِفَعّالِيَّةٍ.

الأَساسِ النَظَرِيّ

الأَساسِ النَظَرِيّ لَتَقْنِيّه اِنْتِباهَ قَناةِ الوَضْعِ يَعْتَمِد عَلَى فِكْرَةَ أَنَّهُ يُمْكِن تَحْسِينِ دِقَّةٍ الاِنْدِماجِ عَن طَرِيقِ التَرْكِيزِ عَلَى المَعْلُوماتِ الأَكْثَرَ أَهَمِّيَّةً مِن كُلِّ وَضْعِ. هٰذا يَتِمّ مِن خِلالَ تَعْلَم كَيْفِيَّةِ تَوْزِيعِ الاِنْتِباهِ عَبْرَ مُخْتَلِفِ القَنَواتِ فِي كُلِّ وَضْعِ، مِمّا يَسْمَح بِتَحْسِين التَمْثِيلِ النِهائِيِّ لِلبَيانات المُدْمَجَة.

التَجارِبِ وَالنَتائِجِ

أَجْرَيْنا سِلْسِلَةٍ مِن التَجارِبِ لَتَقْيِيم أَداءِ تَقْنِيَّةٍ اِنْتِباهَ قَناةِ الوَضْعِ. النَتائِجِ تُظْهِر تَحَسُّناً مَلْحُوظاً فِي الأَداءِ مُقارَنَةً بِالتَقْنِيّات الأُخْرَى، خاصَّةٍ فِي مَهامِّ التَصْنِيفِ وَالتَعَرُّف عَلَى الأَنْماط. هٰذِهِ النَتائِجِ تُؤَكِّد فَعّالِيَّةِ تَقْنِيَّتنا فِي التَعامُلِ مَعَ البَياناتِ المُتَعَدِّدَةِ الوَسائِط.

الخاتِمَة

تَقْنِيَّةٍ اِنْتِباهَ قَناةِ الوَضْعِ تَقَدَّمَ طَرِيقَةِ فَعّالَةٍ وَقَوِيَّةٌ لِلاِنْدِماج المُتَعَدِّدِ الوَسائِط فِي مَجالِ تَعْلَم الآلَةِ. بِفَضْلِ قُدْرَتِها عَلَى التَرْكِيزِ عَلَى المَعْلُوماتِ الأَكْثَرَ أَهَمِّيَّةً مِن كُلِّ وَضْعِ، فَإِنَّها تُعَزِّز الأَداءِ بِشَكْلٍ كَبِيرٍ وَتَوَفُّرُ أَساساً قَوِيّاً لِلتَطْبِيقات المُسْتَقْبَلِيَّةِ فِي هٰذا المَجالِ.

المُلَخَّص

تَمَّت دِراسَةٌ قُدْرَةِ الهَياكِل المُحَوِّلَة مُتَعَدِّدَةِ الوَسائِط المُقْنِعَةِ عَلَى تَعْلَم فَضاءِ تَضْمِينِ قَوِيٍّ عِنْدَما تَكُون عَيِّناتٍ الوَسائِط مُتَباعِدَةً بِشَكْلٍ مُتَفَرِّق مِن خِلالَ قِياسُ جُودَة فَضاءات التَضْمِين المُوَلِّدَة كَدالّه لِتُفَرِّق الوَسائِط. تَمَّ اِقْتِراحِ تَوْسِيعِ لَنَمُوذَج المُحَوِّلُ مُتَعَدِّدِ الوَسائِط المُقْنِع الَّذِي يُدْمَج قَنَواتٍ غَيْرِ مُكْتَمَلَةٍ الوَسائِط فِي آلِيَّةِ الاِنْتِباهِ مُتَعَدِّدِ الرُؤُوسِ وَالَّتِي تُسَمَّى اِنْتِباهَ قَناةِ الوَسائِط (MCA). تَمَّ اِسْتِخْدامِ مَجْمُوعَتَيَّ بَياناتٍ مَعَ أَرْبَع وَسائِطَ، CMU-MOSEI لِلتَعَرُّفِ عَلَى المَشاعِرِ مُتَعَدِّدَةِ الوَسائِط وَTCGA لِلمُتَعَدِّد الاوميات. أَظْهَرَت النَماذِجِ قُدْرَتِها عَلَى تَعْلَم فَضاءات تَضْمِينِ مُوَحَّدَةٍ ومتوافقه مَعَ اِسْتِخْدامِ اِثْنَيْنِ فَقَط مِن أَرْبَع وَسائِطَ فِي مُعْظَمَ العَيْنات. وَجَدَ أَنَّهُ، حَتَّى بِدُونِ تُفَرِّق الوَسائِط، فَإِنَّ آلِيَّةِ MCA المُقْتَرَحَةِ تَحَسُّنِ جُودَة فَضاءات التَضْمِين المُوَلِّدَة، وَمَقايِيس الاِسْتِرْجاع، وَالأَداء اللاحِقِ فِي المَهامّ الهابِطَة.

مُقَدِّمَةِ

تَزْداد النَماذِجِ مُتَعَدِّدَةِ الوَسائِط شُيُوعاً كَمِعْيارٍ لِتَطْبِيقاتِ التَعَلُّمِ العَمِيقِ (xu2023multimodal, han2023survey, liang2022foundations). العَدِيدَ مِن الدِراساتِ تُسْتَخْدَم نَمُوذَجاً تَمَّ تَدْرِيبه بِاِسْتِخْدامِ وَسِيطَتَيْنِ متوافقتين (lynch2022mira, noriy2023clara, akbari2021vatt, singh2022flava, radford2021learning, alayrac2020self, huang2021multilingual, fei2022towards, huang2024mavil, huang2021multilingual, hager2023best)، بِما فِي ذٰلِكَ دَمْجِ الصُوَرِ فِي نَماذِجَ اللُغَةِ الكَبِيرَةِ (alayrac2022flamingo, rahman2020integrating). كَما تَمَّت دِراسَةٌ تَدْرِيبِ النَماذِجِ بِاِسْتِخْدامِ أَكْثَرَ مِن وَسِيطَتَيْنِ متوافقتين (mizrahi20244m, shvetsova2022everything, recasens2023zorro, srivastava2024omnivec, shi2023m, zhang2022mmformer, akbari2021vatt)، وَتَسْتَكْشِف الأَمْثِلَة الحَدِيثَةِ التَعَلُّمِ مِن وَسائِطَ مُتَعَدِّدَةِ غَيْرِ متوافقه أَو متوافقه جُزْئِيّاً (yang2021multi, zhang2023learning, wang2020understanding, tran2023training, wei2023one, nakada2023understanding).

تُسْتَخْدَم مُعْظَمَ هٰذِهِ الأَمْثِلَة مَزِيجاً مِن النُصُوصِ، وَالصَوْت، وَالصُوَرِ، وَالفِيدْيُو. وَمَعَ ذٰلِكَ، يُمْكِن لِلتَطْبِيقات اِسْتِخْدامِ بَياناتٍ غَيْرِ هٰذِهِ الأَشْكال الإِعْلامِيَّةِ التَقْلِيدِيَّةِ. عَلَى سَبِيلِ المِثالِ، يَشْمَل دَمْجِ المستشعرات المُتَعَدِّدَةِ فِي أَنْظِمَةِ المُراقَبَةِ المَنْزِلِيَّةِ وَالرُوبُوتات بَياناتٍ المستشعرات الجدوليه وَبَياناتِ السَلاسِل الزَمَنِيَّةِ مِن أَنْواعِ مُخْتَلِفَةٍ مِن المستشعرات (tonkin2023multi). تُسْتَخْدَم التَطْبِيقات البِيُولُوجِيَّةِ وَالطِبِّيَّةِ الحَيَوِيَّةِ بَياناتٍ تَتَكَوَّن مِن بَياناتٍ جَدْوَلَيْهِ، وَصُوَرٍ، وَبَياناتِ تَسَلْسُلَيْهِ. فِي هٰذِهِ المَجالاتِ، يُمْكِن أَنَّ يَتَأَلَّف كُلِّ شَكْلٍ إِعْلامِي فِي البَياناتِ أَيْضاً مِن وَسائِطَ مُخْتَلِفَةٍ لَها نَفْسِ نَوْعٍ البَياناتِ وَلٰكِن مِن مَصْدَرٌ بَياناتٍ مُخْتَلِفِ، عَلَى سَبِيلِ المِثالِ كَما فِي جَدْوَلَيْنِ لِلبَيانات مِن أَنْواعِ مُخْتَلِفَةٍ مِن التَجارِبِ (cui2023deep).

تَعْلَم التَبايُنِ لِلبَيانات مُتَعَدِّدَةِ الوَسائِط هُوَ فِئَةٌ مُهِمَّةً مِن النَماذِجِ مُتَعَدِّدَةِ الوَسائِط (liang2022mind, shvetsova2022everything, singh2022flava, akbari2021vatt, noriy2023clara, radford2021learning). فِي نَمُوذَجَ CLIP المَعْرُوفُ، يُولَد تَضْمِينات مُشْتَرَكَةٍ لِلوَسائِط، وَالَّتِي يُمْكِن اِسْتِخْدامُها لِلتَصْنِيفِ وَالاِنْحِدار مُتَعَدِّدِ الوَسائِط أَو لَتَكْيِيف نَماذِجَ الاِحْتِمالِيَّة الانتشاريه. يُمْكِن أَيْضاً اِسْتِخْدامِ هٰذِهِ التَضْمِينات لَاِسْتِرْجاع مُتَعَدِّدِ الوَسائِط، مِثْلَ فِي Everything At Once حَيْثُ يُمْكِن أَداءِ اِسْتِرْجاعِ الفِيدْيُو عَبْرَ النَصِّ أَو الصَوْتِ عَبْرَ تَضْمِينِ ثُلاثِيّ الوَسائِط. مَعَ زِيادَةِ عَدَدٍ الوَسائِط المُسْتَخْدَمَةِ لِتَدْرِيبِ نَمُوذَجَ، مِن المُرَجِّحِ أَنَّ تَحَدَّثَ عَيِّناتٍ غَيْرِ مُكْتَمَلَةٍ الوَسائِط. لِذٰلِكَ، فَإِنَّ نَماذِجَ دَمْجِ الوَسائِط الَّتِي لا يُمْكِن أَنَّ تَشْمَل عَيِّناتٍ غَيْرِ مُكْتَمَلَةٍ الوَسائِط لَيِسَت مُناسَبَةِ جَيِّداً لِلاِسْتِخْدامِ فِي التَطْبِيقات الَّتِي تَحْتَوِي مَجْمُوعاتٍ البَياناتِ عَلَى العَدِيدَ مِن الوَسائِط.

هُناكَ بِعَضِّ النَهْجِ الَّتِي يُمْكِن أَنَّ تَحَقَّقَ التَعَلُّمِ الذاتِيِّ بِاِسْتِخْدامِ عَيِّناتٍ غَيْرِ مُكْتَمَلَةٍ الوَسائِط خارِجَ تَعْلَم التَمْثِيلِ التَبايُنِيّ. يُمْكِن لِلبَيانات المتداخله اِسْتِخْدامِ الوَسائِط غَيْرِ المُكْتَمَلَة بِسَبَبِ مُعامَلَتها لِلعَيْنات كَتَسَلْسُل (alayrac2022flamingo). وَبِالمِثْل، يُمْكِن اِسْتِخْدامِ التَخَفِّي فِي النَمُوذَجِ فِي كُتْلَةِ الاِنْدِماجِ المُتَأَخِّر (zhang2022mmformer, tran2023training). تَتَطَلَّب هٰذِهِ الهندسات المِعْمارِيَّةِ لِلنَمُوذَج هَدَفاً لُغَوِيّا تِلْقائِيّا أَو مُقْنِعا مِن أَجْلِ التَدْرِيبِ عَلَى البَياناتِ المتداخله أَو التَنَبُّؤ بِالبَياناتِ المَفْقُودَةَ. قَد تَكُون هٰذِهِ الأَنْواع مِن النَماذِجِ غَيْرِ متوافقه مَعَ الأَهْدافِ حَيْثُ يَجِب أَنَّ يَكُون التَضْمِين فِي وَقْتٍ الاِسْتِدْلال مُكافِئا سَواءُ كانَت الوَسِيطَة مَفْقُودَةٍ مِن العَيِّنَةُ المُضَمَّنَة أَم لا. عَلَى سَبِيلِ المِثالِ، بِالنَظَرِ إِلَى عَيِّنَةً بِها 3 وَسائِطَ، فَلَن يَكُون مِن المُمْكِنِ تَوْلِيدِ تَضْمِينات مِن أَيّ مَجْمُوعَةِ مِن 2 وَسائِطَ فَقَط وَالَّتِي كُلُّها مُتَشابِهَةً عَدَدِيّا.

أَظْهَرَت الدِراساتِ الحَدِيثَةِ أَنَّ اِسْتِخْدامِ التَعَلُّمِ التَبايُنِيّ بَيِّنَ التَمْثِيلات أُحادِيَّةُ الوَسِيطِ وَتَمْثِيل الاِنْدِماجِ القابِل لِلتَعَلُّمِ يُمْكِن أَنَّ يُولَد تَضْمِينات مُشْتَرَكَةٍ مُفِيدَةٌ (shi2023m, recasens2023zorro). يَسْتَخْدِم هٰذا النَوْعِ مِن النَماذِجِ قِناع اِنْتِباهَ الكُتَلِ لَأَداء الاِنْتِباهِ الذاتِيِّ بِشَكْلٍ فَعّالٌ عَلَى التَمْثِيلات أُحادِيَّةُ الوَسِيطِ وَالاِنْتِباه المُتَقاطِعِ مَعَ تَمْثِيلِ مُدْمَج فِي كُتْلَةِ الاِنْتِباهِ. وَمَعَ ذٰلِكَ، فَإِنَّ تَطْبِيقِ هٰذِهِ الهَنْدَسَةِ المِعْمارِيَّةِ لَنَمُوذَج الاِنْتِباهِ مُتَعَدِّدِ الوَسائِط المُقْنِع (MMA) عَلَى مَجْمُوعاتٍ البَياناتِ الَّتِي تَكُون فِيها الوَسائِط غَيْرِ مُكْتَمَلَةٍ لا يَزال غَيْرِ مُسْتَكْشِف. تَهْدِف هٰذِهِ الدِراسَةُ إِلَى أَظْهار أَنَّ الاِنْتِباهِ مُتَعَدِّدِ الوَسائِط المُقْنِع يَعْمَل بِشَكْلٍ جَيِّدٍ حَتَّى عِنْدَما تَكُون الوَسائِط متوافقه بِشَكْلٍ مُتَقَطِّع. نَقْتَرِح تَوْسِيعِ نَمُوذَجَ المُحَوِّلُ مُتَعَدِّدِ الوَسائِط المُقْنِع الَّذِي يُدْمَج قَنَواتٍ غَيْرِ مُكْتَمَلَةٍ الوَسائِط فِي كُتْلَةِ الاِنْتِباهِ مُتَعَدِّدَةِ الرُؤُوسِ تُسَمَّى اِنْتِباهَ قَناةِ الوَسائِط (MCA). بِاِسْتِخْدامِ مَجْمُوعَتَيَّ بَياناتٍ مَعْرُوفَتَيْنِ، كُلِّ مِنهُما بِأَرْبَع وَسائِطَ، يُظْهِر كُلّاً النَمُوذَجَيْنِ أَنَّهُما يَتَعَلَّمانِ مِساحاتٍ تَضْمِينِ عالِيَةٍ الجُودَةِ حَتَّى مُسْتَوَى التَخَلُّف بِنِسْبَةِ 40%، مِمّا يُعادِل مُتَوَسِّطُ عَدَدٍ الوَسائِط لِكُلِّ عَيِّنَةً 2.4. نَجِد أَنَّ MCA يُحَسِّن عُمُوماً جُودَة مِساحاتٍ التَضْمِين المُوَلِّدَة، وَمَقايِيس الاِسْتِرْجاع، وَالأَداء اللاحِقِ فِي المَهامّ الهابِطَة مِن خِلالَ الاِسْتِقْصاءِ الخَطِّيِّ. نَخْتَتِم بِمُناقَشَة التَطْبِيقات المُحْتَمَلَةِ وَالاِتِّجاهات لِلأَعْمال المُسْتَقْبَلِيَّةِ.

الأَعْمالِ ذاتِ الصِلَةِ

نَمُوذَجَ “كُلِّ شَيْء دَفْعَةً واحِدَةٍ” (shvetsova2022everything) يَسْتَخْدِم ترميز المُحَوِّلُ لِعِدَةِ وَسائِطَ (أَيّ مُحَوِّلِ الدَمْجِ) مَعَ خَسارَةِ تَبايُنَيْهِ. يَتِمّ تَطْبِيقِ مُحَوِّلِ الدَمْجِ عِدَّةٍ مَرّاتٍ لِكُلِّ دَفْعَةً صَغِيرَةٌ لِصِياغَةِ التَضْمِينات لِكُلِّ وَسِيطه وَلِكُلِّ زَوْج مِن الوَسائِط. يَتِمّ تَطْبِيقِ هٰذِهِ التَضْمِينات فِي دالَّةٍ خَسارَةِ تَبايُنَيْهِ تَرْكِيبَيْهِ. يَتِمّ تَجْمِيعِ التَضْمِينات أُحادِيَّةُ الوَسِيطَة وَثُنائِيّه الوَسِيطَة وَتَوْجِيهها إِلَى فَضاءِ تَضْمِينِ مُتَعَدِّدِ الوَسائِط. تَتَطَلَّب هٰذِهِ الطَرِيقَةِ عَدَداً مِن المرورات الأَمامِيَّةِ الَّتِي تَزْداد بِشَكْلٍ أَسَى مَعَ عَدَدٍ الوَسائِط، وَهُوَ أَمْرٌ غَيْرِ مَرْغُوبٌ فِيهِ لَكَفاءَة الحِسابِ وَقابِلَيْهِ التَوَسُّعِ.

يَسْتَخْدِم نَمُوذَجَ FLAVA (singh2022flava) نَماذِجَ خَسارَةِ مُتَعَدِّدَةِ لِلبَيانات الَّتِي تَفْتَقِر إِلَى وَسِيطه. عَلَى سَبِيلِ المِثالِ، مَعَ اللُغَةِ يَسْتَخْدِمُونَ هَدَفَ اللُغَةِ المُقْنِعَةِ، بَيْنَما لَأَزْواج الصُورَةِ-النَصِّ، يَسْتَخْدِمُونَ خَسارَةِ تَبايُنَيْهِ. تَسْمَح طَرِيقَتِهِم بِالاِسْتِدْلال أُحادِيٍّ الوَسِيطَة وَمُتَعَدِّدٍ الوَسائِط، لٰكِنَّها لا تُولَد فَضاءِ تَضْمِينِ دَمْجِ مُتَعَدِّدِ الوَسائِط. بِالمِثْلِ، طَوْرِ Zhang وَآخَرُونَ نَمُوذَجاً يُمْكِن تَدْرِيبه مَعَ تَرْكِيبات وَسائِطَ مَفْقُودَةٍ. (zhang2023learning) يَقُوم النَمُوذَجِ بِتَوْجِيهِ الترميزات أُحادِيَّةُ الوَسِيطَة إِلَى فَضاءِ مِيزاتِ متوافق مَعَ الوَسِيطَة، ثُمَّ يُؤَدِّي التَنَبُّؤ بِالاِنْتِباهِ المُزْدَوِجِ المُشْتَرَكِ بِوَزْنِ لِمَجْمُوعَتَيْنِ مِن النواتج. يَتِمّ تَدْرِيبِ الناتِجِ الأَوَّلِ بِإِشْراف عَلَى تَصْنِيفات الفِئاتِ، بَيْنَما يَتِمّ تَدْرِيبِ التَنَبُّؤ الثانِي بِإِشْراف عَلَى التَنَبُّؤات أُحادِيَّةُ الوَسِيطَة عَبْرَ العُصُورِ. وَقَد أَظْهَرَ ذٰلِكَ تَحْسِينِ التَنَبُّؤات لِلوَسائِط غَيْرِ المَرْئِيَّةِ.

طَرِيقَةِ أُخْرَى مِن قِبَلَ Wei وَآخَرُونَ تُسْتَخْدَم نَمُوذَجَ دَمْجِ مُتَعَدِّدِ الوَسائِط مُدَرِّبُ لَتَوْلِيد وَسائِطَ مَفْقُودَةٍ. (wei2023one) تَمَّ اِتِّخاذِ نَهْجٍ مُماثِلٍ مَعَ LORRETA بِاِسْتِخْدامِ هَدَفَ التَنَبُّؤ بِوَسِيطه ثالِثَةٍ بِناءَ عَلَى وَسِيطَتَيْنِ أُخْرَيَيْنِ. تَتَطَلَّب هٰذِهِ الطَرِيقَةِ أَزْواج ثُنائِيَّةٍ الوَسِيطَة لِكُلِّ مُرُورِ أَمامِي وَلا يُمْكِنها تَضْمِينِ تَرْكِيبات وَسائِطَ ذاتِ تَرْتِيبَ أَعْلَى مُباشَرَةً. (tran2023training) لا تُولَد أَيّ مِن الطَرِيقَتَيْنِ فَضاءِ تَضْمِينِ مُدْمَج يُمْكِن تَطْبِيقِهِ مُباشَرَةً عَلَى المَهامّ المُسْتَنِدَةَ إِلَى تَضْمِينات البَياناتِ المُدْمَجَة مِثْلَ الاِسْتِرْجاع أَو الاِسْتِقْصاءِ الخَطِّيِّ.

Zorro هُوَ نَمُوذَجَ MMA الَّذِي يُنْتِج كُلِّ مِن النواتج أُحادِيَّةُ الوَسِيطَة وَمُتَعَدِّدَةِ الوَسائِط المُدَرِّبَة بِخَسارَةِ تَبايُنَيْهِ. (recasens2023zorro) تَمَّ تَطْبِيقِ هَنْدَسَةُ MMA مُماثِلَةٍ مُؤَخَّراً مِن قِبَلَ Shi وَآخَرُونَ مِن أَجْلِ دَمْجِ 3 وَسائِطَ لَتَجْزِئَة الصُوَرِ فِي تَطْبِيقِ طِبِّيٌّ حَيَوِيٌّ. (shi2023m) بَيْنَما لاحَظَت الدِراسَةُ الأَخِيرَةِ أَنَّ MMA بَدَت تَعْمَل بِشَكْلٍ جَيِّدٍ مَعَ الوَسائِط المَفْقُودَةَ، لَم يَسْتَكْشِفُوا بِشَكْلٍ مُباشِرٍ أَداءِ هٰذا النَوْعِ مِن دَمْجِ الوَسائِط مَعَ بَياناتٍ مُتَعَدِّدَةِ الوَسائِط المُحاذاة بِشَكْلٍ مُتَفَرِّق.

النَمُوذَجِ

يَتِمّ تَقْدِيمِ هَنْدَسَةُ النَمُوذَجِ المَدْرُوس فِي هٰذِهِ الدِراسَةُ، وَالَّتِي تَتَكَوَّن مِن مِشْفَر مُحَوِّلِ مَعَ طَبَقَةٌ تَجْمِيعِ قابِلَةٍ لِلتَعَلُّمِ وَخَسارَةِ تَقْدِيرٍ التَبايُنِ الضوضائي (NCE) بَيِّنَ الرُمُوزَ المُجَمَّعَة. كَما يَتِمّ اِسْتِخْدامِ تَحْوِيلاتِ قابِلَةٍ لِلتَدْرِيبِ عَلَى البَياناتِ الوارِدَةِ - تَحْوِيلاتِ خَطَّيْهِ أَو شَبَكاتِ عَصَبِيَّةُ مُتَعَدِّدَةِ الطَبَقاتِ تُطَبِّق عَلَى أَساسِ رَمْزُ بِرَمْز لترميز البَياناتِ الجدوليه أَو ضَغْطِ التَضْمِينات المُجَمَّدَةِ المُسْبَقَةِ كمدخلات. يَسْتَخْدِم نَمُوذَجَ الاِنْتِباهِ MMA. يَسْتَخْدِم MMA كُتَلِ رُمُوزِ الاِنْدِماجِ الَّتِي يَتِمّ الاِنْتِباهِ إِلَيها مِن قِبَلَ كُتَلِ الرُمُوزَ أُحادِيَّةُ الوَضْعِ. كُتَلِ الرُمُوزَ أُحادِيَّةُ الوَضْعِ قادِرَةٍ فَقَط عَلَى الاِنْتِباهِ الذاتِيِّ.

تَقَدَّمَ هٰذِهِ الدِراسَةُ اِنْتِباهَ مُتَعَدِّدِ القَنَواتِ إِلَى MMA، حَيْثُ يَتِمّ الاِنْتِباهِ إِلَى كُتَلِ اِنْتِباهَ الاِنْدِماجِ فَقَط مِن قِبَلَ مَجْمُوعَةِ فَرْعِيَّةٍ مِن الأَوْضاعِ. عَلَى عَكْسَ طَرِيقَةِ (shvetsova2022everything)، يُحافِظ هٰذا عَلَى كَفاءَةِ اِسْتِخْدامِ مُرُورِ أَمامِي واحِدٍ لِكُلِّ عَيِّنَةً، بِغَضِّ النَظَرِ عَن عَدَدٍ الأَوْضاعِ المَوْجُودَةِ فِي العَيِّنَةُ. يَتَوافَق كُلِّ قَناةِ اِنْدِماجَ مَعَ اِنْدِماجَ مَجْمُوعَةِ مُخْتَلِفَةٍ مِن الأَوْضاعِ. يَتِمّ تَطْبِيقِ خَسارَةِ NCE بَيِّنَ كُلِّ زَوْج مِن الرُمُوزَ أُحادِيَّةُ الوَضْعِ وَرُمُوزِ قَناةِ الاِنْدِماجِ. يَتِمّ اِعْتِبارِ قَناةِ الاِنْدِماجِ الَّتِي يَتِمّ الاِنْتِباهِ إِلَيها مِن قِبَلَ جَمِيعِ الأَوْضاعِ كَتَضْمِين الاِنْدِماجِ لَتَحْلِيلات مِساحَةِ التَضْمِين وَالمَهامّ اللاحِقَةِ. تَحْتَوِي طَبَقَةٌ التَجْمِيع القابِلَةِ لِلتَعَلُّمِ عَلَى قِناع مُتَعَدِّدِ الوَسائِط مُماثِلٍ، مِمّا يَمْنَع رُمُوزِ الاِنْدِماجِ مِن الاِنْتِباهِ إِلَى الرُمُوزَ أُحادِيَّةُ الوَضْعِ. تَشْمَل الطَبَقَةِ المُجَمَّعَة رَمْزاً لِكُلِّ وَضْعِ وَكُلُّ نَوْعٍ مِن الاِنْدِماجِ.

فِي هٰذِهِ الدِراسَةُ، يَتِمّ اِسْتِخْدامِ 5 طَبَقاتِ مِشْفَر مُحَوِّلِ، كُلِّ مِنها بِحَجْمِ مَخْفِيّ 512 وَ 8 رُؤُوسِ اِنْتِباهَ. تُسْتَخْدَم طَبَقاتِ التَغْذِيَةِ الأَمامِيَّةِ مُضاعَف تَغْذِيَةِ أَمامِي قَدَّرَهُ 4 وَوَظِيفَة التَنْشِيط GeGLU. يُوجَد ما مَجْمُوعُهُ 88 رَمْزُ اِنْدِماجَ فِي كُلّاً النَمُوذَجَيْنِ المَدْرُوسَيْنِ. فِي المُحَوِّلُ مُتَعَدِّدِ الوَسائِط المُقْنِع، يَتِمّ تَجْمِيعِ جَمِيعِ رُمُوزِ الاِنْدِماجِ ال 88 فِي طَبَقَةٌ التَجْمِيع، بَيْنَما فِي المُحَوِّلُ MCA، يَسْتَخْدِم كُلِّ قَناةِ 8 رُمُوزِ وَيُوجَد 11 قَناةِ. كَما هُوَ مُوَضِّح أَعْلاه، يَتِمّ تَجْمِيعِ كُلِّ مَجْمُوعَةِ مِن 8 رُمُوزِ بِشَكْلٍ مُنْفَصِل فِي طَبَقَةٌ التَجْمِيع. مِن المُهِمِّ أَنَّ يَكُون هُناكَ عَدَدٍ مُتَطابِقٌ مِن الرُمُوزَ القابِلَةِ لِلتَدْرِيبِ فِي كُلِّ نَمُوذَجَ وَعَدَدٌ مُتَقارِبٌ مِن المُعَلِّماتُ، مَعَ زِيادَةِ فِي MCA فَقَط بِواسِطَةِ 10 رُمُوزِ تَجْمِيعِ قابِلَةٍ لِلتَعَلُّمِ إِضافِيَّةً فِي طَبَقَةٌ التَجْمِيع.

الطُرُقِ

مَجْمُوعاتٍ البَياناتِ

سِي إِم يُو-مُوسَى

تَمَّ الحُصُولِ عَلَى سِي إِم يُو-مُوسَى وَمُعالَجَته بِاِسْتِخْدامِ إِصْدارِ 1.1 مِن mmdatasdk بِاِسْتِخْدامِ مِثالٌ مُحاذاةِ عَلَى مُسْتَوَى الكَلِمَةِ المِرْفَقِ. أَسْفَرَ ذٰلِكَ عَن 23248 عَيِّنَةً مِن البَياناتِ المُضَمَّنَة أُحادِيَّةُ الوَضْعِ المتوافقه مَعَ مُتَّجِه القُفّاز وَOpenFace وَCOVAREP ومشفرات FACET (zadeh2018multi). تَمَّ اِخْتِيارِ تَقْسِيمِ اِخْتِبارِ عَشْوائِيّا بِعَدَدٍ 2324 عَيِّنَةً.

لِكُلِّ وَضْعِ، تَكُون العَيِّنَةُ عِبارَةٌ عَن سِلْسِلَةٍ مِن التَضْمِينات لَخَطَوات زَمَنِيَّةٍ مُتَعَدِّدَةِ. يَخْتَلِف عَدَدٍ المُتَّجِهات لِكُلِّ عَيِّنَةً، بِسَبَبِ اِخْتِلافِ مُدَّةَ مَقاطِعَ الفِيدْيُو المُضَمَّنَة. لَتَحْضِير الأَوْضاعِ لِلإِدْخال فِي كُتْلَةِ المُحَوِّلُ، يَتِمّ تَحْوِيلِ كُلِّ مُتَّجِه فِي عَيِّنَةً بِاِسْتِخْدامِ طَبَقَةٌ خَطَّيْهِ وَتَطْبِيعُ الطَبَقَةِ، مِمّا يُنْتِج عَنهُ حَجْمِ تَضْمِينِ رَمْزِي يُساوِي \(N_{emb}\). يُضاف هٰذا المُتَّجِه المُحَوِّلُ والمعياري إِلَى مُتَّجِه تَضْمِينِ مَوْضِعَيَّ جَيْبِي تَمامِي قِياسِيٌّ لترميز مَوْضِعه فِي تَسَلْسُلُ المُتَّجِهات لِوَضْعِ مُعَيَّنٍ. لا يَسْتَخْدِم أَيّ تَضْمِينِ رَمْزِي قابِلٌ لِلتَعَلُّمِ آخَرِ لِهٰذِهِ العَيْنات. نَتِيجَةَ هٰذِهِ العَمَلِيَّةِ هِيَ أَنَّ كُلِّ رَمْزُ عَيِّنَةً يَتَحَوَّل إِلَى رَمْزُ لِلإِدْخال فِي النَمُوذَجِ المَدْرُوس فِي هٰذِهِ الوَرَقَةَ.

أَطْلَس الجينوم السَرْطانِيَّ

يُوَفِّر أَطْلَس الجينوم السَرْطانِيَّ (weinstein2013cancer) مَجْمُوعَةِ بَياناتٍ مُتَعَدِّدَةِ الاوميات تَتَكَوَّن مِن بَياناتٍ جَدْوَلَيْهِ لَتَعْبِير الجِينات، مَصْفُوفات البرُوتِين المرحلي العَكْسِيّ (RPPA)، الميثله الحَمْضِ النَوَوِيِّ، وَقِياسات miRNA. تَمَّ تَنْزِيل هٰذِهِ البَياناتِ مِن المَعْلُوماتِ الداعِمَةِ لِلمَرْجِع (weinstein2013cancer). لِتَقْلِيلِ عَدَدٍ أَعْمِدَةٍ تَعْبِيرِ الجِينات والميثله الحَمْضِ النَوَوِيِّ فِي مَجْمُوعَةِ البَياناتِ، تَمَّ اِسْتِخْدامِ أَعْلَى 800 جِين وَمَواقِعِ الميثله بِأَعْلَى تَبايُنٍ لِإِنْشاءِ تَوْقِيعِ لَبَيانات تَعْبِيرِ الجِينات والميثله. بِالنِسْبَةِ لَبَيانات RPPA وَجَداوِل miRNA، يُوجَد 198 عَمُود برُوتِين وَ662 عَمُود MiRNA. لَمُحاذاة العَيْنات أُحادِيَّةُ الوَضْعِ فِي مَجْمُوعَةِ بَياناتٍ مُتَعَدِّدَةِ الأَوْضاعِ، نَسْتَخْدِم أَرْقامِ تَعْرِيفٍ مُقَدِّمَةِ لِلمَرِيضِ وَالعَيِّنَة، مِمّا يُؤَدِّي إِلَى تُقاطِع 7017 عَيِّنَةً تَحْتَوِي عَلَى جَمِيعِ الأَوْضاعِ. يَتِمّ اِخْتِيارِ تَقْسِيمِ الاِخْتِبارُ بِشَكْلٍ عَشْوائِيٍّ مَعَ 707 عَيِّناتٍ.

لَتَحْضِير جَداوِلِ أَطْلَس الجينوم السَرْطانِيَّ لمشفرات MCA وَMMA، يَتِمّ تَمْرِيرَ القِيَمِ الجدوليه عَبْرَ شَبَكَةِ عَصَبِيَّةُ مُتَعَدِّدَةِ الطَبَقاتِ قابِلَةٍ لِلتَدْرِيبِ مُكَوَّنَةٍ مِن طَبَقَتَيْنِ MLP(1,\(N_{emb}\),\(N_{emb}\)) وَوَظِيفَة التَنْشِيط ReLU. يَسْمَح هٰذا بِتَمْثِيلِ مُسْتَمِرٍّ لِلقِيمَةِ الجدوليه فِي مُتَّجِه بِنَفْسِ حَجْمِ فَضاءِ التَضْمِين لَمِشْفَر التَحْوِيلِ \(N_{emb}\). يَتِمّ ترميز فَهَرَسَ العَمُودِ الجدولي بِمُتَّجِه التَضْمِين القِياسِيَّ القابِل لِلتَعَلُّمِ بِحَجْمِ \(N_{emb}\) لِكُلِّ فَهَرَسَ. يَتِمّ إِضافَةً ترميزات القِيمَةِ وَفَهْرَسَ العَمُودِ مَعاً لِتَشْكِيلِ مُتَّجِهات التَضْمِين الأَوَّلِيَّةِ لمشفرات التَحْوِيلِ.

النُدْرَةِ الوَضْعِيَّةِ

لَتَقْيِيم أَداءِ الاِنْتِباهِ المُتَعَدِّدِ الأَوْضاعِ المُقْنِع مَعَ الأَوْضاعِ المَفْقُودَةَ، يَتِمّ إِسْقاطِ عَيِّناتٍ أُحادِيَّةُ الوَضْعِ مِن قَواعِدَ البَياناتِ. تَسْقُط العَيْنات المُخْتارَة عَشْوائِيّا بِشَكْلٍ فَرِيد لِكُلِّ وَضْعِ بِنِسْبَةِ اِحْتِمالِ مُحَدَّدَةٍ هُنا بِاِسْمِ النُدْرَةِ الوَضْعِيَّةِ. تُمَثِّل النُدْرَةِ الوَضْعِيَّةِ المَذْكُورَةِ فِي الأَشْكال التالِيَةِ النِسْبَةِ المِئَوِيَّة لِلعَيْنات المسقطه فِي كُلِّ وَضْعِ. نَظَراً لِتَكْلِفَةِ تَدْرِيبِ العَدِيدَ مِن النَماذِجِ، أُجْرِيَت التَجارِبِ مَعَ مَجْمُوعاتٍ بَياناتٍ تَتَوافَق مَعَ نَدْرَةُ وَضْعِيّه بِنِسْبَةِ 0، 0.2، 0.4، 0.6، وَ 0.8.

بِما أَنَّ كُلّاً المَجْمُوعَتَيْنِ المُسْتَخْدَمَتَيْنِ فِي هٰذِهِ الدِراسَةُ تَحْتَوِيانِ عَلَى أَرْبَعَةِ أَوْضاعِ، فَإِنَّ نَدْرَةُ وَضْعِيّه بِنِسْبَةِ 0.2 تُشِير إِلَى أَنَّ مُعْظَمَ العَيْنات لَدَيها ثَلاثَةِ أَوْضاعِ مَوْجُودَةٌ، بَيْنَما تُشِير نَدْرَةُ وَضْعِيّه بِنِسْبَةِ 0.6 إِلَى أَنَّ مُعْظَمَ العَيْنات لَدَيها وَضْعِ واحِدٍ أَو اِثْنَيْنِ فَقَط مَوْجُودِينَ. عِنْدَما يَتِمّ إِسْقاطِ وَضْعِ مِن عَيِّنَةً، يَسْتَخْدِم رَمْزُ تَعْبِئَةِ لِجَمِيعِ الرُمُوزَ المُقابَلَةِ لِذٰلِكَ الوَضْعِ بِحَيْثُ يَتِمّ إِخْفاؤها مِن كُتَلِ الاِنْتِباهِ اللاحِقَةِ وَيَتِمّ إِسْقاطِ مُصْطَلَحاتٍ دالَّةٍ الخَسارَةِ اللاحِقَةِ. عِنْدَما يَتِمّ إِخْفاء جَمِيعِ الأَوْضاعِ الَّتِي تُحْضَر إِلَى قَناةِ دَمْجِ مُحَدَّدَةٍ، يَتِمّ أَيْضاً القَضاءِ عَلَى مُصْطَلَحاتٍ دالَّةٍ الخَسارَةِ InfoNCE الَّتِي تُسْتَخْدَم الرَمْزُ المُقابِلِ مِن دالَّةٍ الخَسارَةِ.

التَدْرِيبِ

تَمَّ التَدْرِيبِ لِكُلِّ نَمُوذَجَ عَلَى 4xA10G وَحَداتٍ مُعالَجَةِ الرُسُومات مِن نَوْعٍ Nvidia. تَمَّ اِخْتِيارِ المُعَلِّماتُ الفائِقَةِ بِشَكْلٍ مُتَطابِقٌ لِتَجارِبِ MMA وَMCA. يَسْتَخْدِم حَجْمِ دَفْعَةً فَعّالٌ يُساوِي 32 وَمُعَدَّل تَعْلَم مَجْدُول بِتَقْنِيّه cosine بِحَدِّ أَقْصَى \(10^{-4}\) وَفَتْرَةُ تَسْخَِينَ تَبْلُغ 2000 خَطْوَةٍ لِجَمِيعِ التَجارِبِ. تَمَّ اِخْتِيارِ تَقْسِيمات الاِخْتِبارُ لَمَجْمُوعات البَياناتِ بِشَكْلٍ عَشْوائِيٍّ كَجُزْء يُساوِي 0.15 مِن مَجْمُوعَةِ البَياناتِ. بِالنِسْبَةِ لِتَجارِبِ CMU-MOSEI، تَمَّ التَدْرِيبِ لِمُدَّةِ 32 دَوْرَةِ. بِالنِسْبَةِ لَدَمْج TCGA، تَمَّ التَدْرِيبِ لِمُدَّةِ 128 دَوْرَةِ. تَمَّ اِخْتِيارِ عَدَدٍ الدَوْراتِ لَتَقْيِيم التَضْمِينات يَدَوِيّاً مِن خِلالَ تَحْدِيدِ أَفْضَلَ مَجْمُوعَةِ مِن دَرَجاتٍ خَسارَةِ التَقْيِيم لَزَوْج نَمُوذَجَ/مَجْمُوعَةِ بَياناتٍ فِي جَمِيعِ كثافات الوَضْعِ كَما هُوَ مُوَضِّح فِي الشَكْلِ. تَمَّ تَطْوِيرِ النَمُوذَجِ وَكَوُدّ التَدْرِيبِ بِاِسْتِخْدامِ Pytorch 2.1 (paszke2019pytorch).

تَقْيِيمِ التَضْمِينات

تَهْدِف هٰذِهِ الفَقْرَةِ إِلَى تَحْلِيلِ خَصائِصِ التَضْمِينات الَّتِي أَنْتَجَتْها النَماذِجِ المُدَرِّبَة. تَتَمَيَّز فَضاءات التَضْمِين المُدَرِّبَة بِالتَعَلُّم التَبايُنِيّ بِالتَوافُقِ وَالتَجانُس (wang2020understanding). تَمَّ حِسابِ التَوافُقُ وَالتَجانُس وِفْقاً لِلمَرْجِع (wang2020understanding) بِاِسْتِخْدامِ تَقْسِيمِ الاِخْتِبارُ لَمَجْمُوعات البَياناتِ.

إِذا تَمَّ تَدْرِيبِ نَمُوذَجَ لَتَوْلِيد فَضاءِ تَضْمِينِ بِتَجانُس أَقَلَّ (مِمّا يُشِير إِلَى فَضاءِ تَضْمِينِ أَكْثَرَ تَجانُسا)، فَسَيَمِيل تَوافُقٌ الأَمْثِلَة الإِيجابِيَّةِ إِلَى الاِنْخِفاضِ (wang2020understanding). تَجانُس الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ أَقَلَّ بِشَكْلٍ مَلْحُوظٍ (مُحْسِن)، مِمّا يُنْتِج فَضاءِ تَضْمِينِ أَكْثَرَ تَجانُسا مِن الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُتَعَدِّدِ الأَوْضاعِ، بَيْنَما يَزْداد التَوافُقُ (يَسُوء). يَتِمّ حِسابِ التَوافُقُ هُنا لِقَناةِ الاِنْدِماجِ الكامِلَةِ (جَمِيعِ الأَوْضاعِ) فِي الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ، بَيْنَما يَتِمّ حِسابِ الخَسارَةِ فِي الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ بِاِسْتِخْدامِ قَنَواتٍ اِنْدِماجَ مُتَعَدِّدَةِ. مَعَ زِيادَةِ نَدْرَةُ الوَضْعِ إِلَى أَكْثَرَ مِن 40%، تَزْداد تَجانُس اِنْدِماجَ كُلّاً النَمُوذَجَيْنِ (يَسُوء). كَما يَزْداد التَجانُس أُحادِيٍّ الوَضْعِ، مِمّا يُشِير إِلَى فَضاءات تَضْمِينِ أُحادِيَّةُ الوَضْعِ أَقَلَّ تَجانُسا. وَمَعَ ذٰلِكَ، لا يَتَغَيَّر التَوافُقُ بِشَكْلٍ مَلْحُوظٍ مَعَ زِيادَةِ نَدْرَةُ الوَضْعِ.

تَمَّ فَحْص مَقايِيسِ الاِسْتِرْجاع لَمَجْمُوعات البَياناتِ التَحَقُّقِ المُوَلِّدَة (التَرْتِيبِ الوَسِيطِ، \(R_1\), \(R_5\)، وَ \(R_{10}\)). تُظْهِر مَقايِيسِ الاِسْتِرْجاع هٰذِهِ قُدْرَةِ النَمُوذَجِ عَلَى اِسْتِخْدامِ تَضْمِينِ أُحادِيٍّ الوَضْعِ لَاِسْتِرْجاع تَضْمِينِ مُدْمَج. تُنْتِج هندسات كُلِّ مِن الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُتَعَدِّدِ الأَوْضاعِ وَالهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ نَفْسِ التَضْمِينات أُحادِيَّةُ الوَضْعِ لِمَجْمُوعَةِ مُعَيَّنَةٍ مِن الرُمُوزَ أُحادِيَّةُ الوَضْعِ، بِغَضِّ النَظَرِ عَمّا إِذا كانَت الأَوْضاعِ الأُخْرَى غائِبَةٌ أَو مُخْتَلِفَةٍ عَن العَيْنات مُتَعَدِّدَةِ الأَوْضاعِ الَّتِي تَمَّ تَدْرِيبِ النَمُوذَجِ عَلَيها. يَعْرِف التَرْتِيبِ هُنا بِأَنَّهُ الوَسِيطِ لَتَرْتِيبات مُتَّجِه التَضْمِين المُدْمَج المطابق لَتَضْمِين أُحادِيٍّ الوَضْعِ فِي المَجْمُوعَةِ المَرْتَبَةِ مِن التَشابُهات الجَيْبِيَّة التماميه بَيِّنَ تَضْمِينِ أُحادِيٍّ الوَضْعِ وَكُلُّ تَضْمِينِ مُدْمَج.

التَرْتِيبِ الوَسِيطِ هُوَ الوَسِيطِ لِهٰذِهِ التَرْتِيباتِ لِجَمِيعِ التَضْمِينات أُحادِيَّةُ الوَضْعِ. مِقْياسِ \(R_x\) هُوَ اِحْتِمالِ أَنَّ يَكُون مُتَّجِه التَضْمِين الصَحِيحِ ضِمْنَ أَعْلَى \(x\) تَضْمِينات مُدْمَجه مُشابِهَةٍ لَتَضْمِين أُحادِيٍّ الوَضْعِ. يَتِمّ عَرَضَ مُتَوَسِّطُ هٰذِهِ المَقايِيسِ عَبْرَ جَمِيعِ الأَوْضاعِ. مِن المُهِمِّ أَنَّهُ مَعَ زِيادَةِ نَدْرَةُ الوَضْعِ، يَنْخَفِض عَدَدٍ العَيْنات أُحادِيَّةُ الوَضْعِ بِشَكْلٍ مُتَناسِب، بَيْنَما يَتِمّ إِسْقاطِ بِعَضِّ العَيْنات المُدْمَجَة مِن مَجْمُوعَةِ التَضْمِينات عِنْدَما يَتِمّ إِسْقاطِ جَمِيعِ العَيْنات أُحادِيَّةُ الوَضْعِ بِواسِطَةِ إِجْراءِ إِدْخالُ نَدْرَةُ الوَضْعِ. بَيْنَما يَمْنَع هٰذا المُقارَنَةِ المُباشِرَةِ لِلمَقايِيسِ بَيِّنَ مَجْمُوعاتٍ البَياناتِ المُعالَجَةِ مَعَ نَدْرَةُ وَضْعِ مُخْتَلِفَةٍ، فَإِنَّهُ لا يَزال مُفِيداً كَمُقارَنَة بَيِّنَ نَماذِجَ الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ وَالهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُتَعَدِّدِ الأَوْضاعِ.

تَحَسُّنِ التَرْتِيبِ الوَسِيطِ المُتَوَسِّطِ لَتَضْمِينات اِخْتِبارِ أُحادِيَّةُ الوَضْعِ فِي الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ عَن الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُتَعَدِّدِ الأَوْضاعِ. فِي مَجْمُوعَةِ البَياناتِ الأَكْبَرُ CMU-MOSEI، الفِرَقِ هُوَ الأَكْبَرُ عِنْدَ نَدْرَةُ وَضْعِ عالِيَةٍ. فِي مَجْمُوعَةِ البَياناتِ الأَصْغَرِ TCGA، الفِرَقِ هُوَ الأَكْبَرُ عِنْدَ نَدْرَةُ وَضْعِ مُنْخَفَضه. قَد يَكُون ذٰلِكَ بِسَبَبِ تَجانُس أَفْضَلَ وَتَوافَقَ أَسْوَأ فِي الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ. عِنْدَ أَعْلَى نَدْرَةُ وَضْعِ 0.8، يَكُون هُناكَ مُتَوَسِّطُ عَدَدٍ الأَوْضاعِ لِكُلِّ عَيِّنَةً أَقَلَّ مِن 1 وَيَنْخَفِض التَرْتِيبِ الوَسِيطِ المُتَوَسِّطِ بِشَكْلٍ مَلْحُوظٍ. قَد يُعْزَى ذٰلِكَ إِلَى عَدَدٍ أَقَلَّ مِن التَضْمِينات أُحادِيَّةُ الوَضْعِ وَالمُدْمَجَة.

تُظْهِر مَقايِيسِ الاِسْتِرْجاع (\(R_1\), \(R_5\)، وَ \(R_{10}\)) قُدْرَةِ فَضاءات التَضْمِين أُحادِيَّةُ الوَضْعِ عَلَى اِسْتِخْدامُها لِتَحْدِيدِ التَضْمِينات المُدْمَجَة المُطابَقَة. تَحَسَّنَت مَقايِيسِ الاِسْتِرْجاع لِلهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ عَن الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُتَعَدِّدِ الأَوْضاعِ لِمُعْظَمِ ندرات الوَضْعِ الَّتِي تَمَّ فَحْصُها فِي كُلّاً المَجْمُوعَتَيْنِ البَيانِيَّتَيْنِ. مُشابِها لَمُتَوَسِّط مَقايِيسِ التَرْتِيبِ الوَسِيطِ، تُظْهِر مَجْمُوعَةِ البَياناتِ الأَصْغَرِ TCGA أَفْضَلَ تَحَسُّنِ فِي مِقْياسِ الاِسْتِرْجاع لِلهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ عِنْدَ نَدْرَةُ وَضْعِ مُنْخَفَضه. بِالنِسْبَةِ لِمَجْمُوعَةِ البَياناتِ الأَكْبَرُ CMU-MOSEI، التَحَسُّنِ أَصْغَرِ وَقَد يَكُون ضِمْنَ نِطاقِ تَبايُنٍ النَمُوذَجِ بِسَبَبِ اِخْتِيارِ المُعَلِّماتُ الفائِقَةِ وَاِخْتِيارَ حِقْبَةِ التَقْيِيم، وَمَعَ ذٰلِكَ، فَإِنَّ الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ لَدَيها مَقايِيسِ اِسْتِرْجاعِ أَعْلَى مِن الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُتَعَدِّدِ الأَوْضاعِ لِمُعْظَمِ ندرات الوَضْعِ المَدْرُوسَة. تُظْهِر النَتائِجِ فائِدَةٍ اِسْتِخْدامِ الهَنْدَسَةِ المِعْمارِيَّةِ لِلتَحْلِيل المُكَوَّنِ الرَئِيسِيُّ كَطَرِيقه لَاِسْتِرْجاع التَضْمِين الَّذِي يَحْتَوِي عَلَى مَعْلُوماتٍ مِن أَوْضاعِ مُتَعَدِّدَةِ، حَتَّى عِنْدَما يَكُون وَضْعِ واحِدٍ فَقَط مُتاحا فِي وَقْتٍ الاِسْتِدْلال وَتَحْتَوَى أُمَثِّله التَدْرِيبِ عَلَى أَوْضاعِ مُتَباعِدَةً بِشَكْلٍ مُتَقَطِّع.

أَداءِ المُهِمَّةِ

تُعْتَبَر تَحْلِيلِ التَضْمِينات المُوَلِّدَة عَلَى المَهامّ اللاحِقَةِ جُزْءاً حاسِماً فِي التَحَقُّقِ مِن أَداءِ النَمُوذَجِ. فِي هٰذا القِسْمِ، يَتِمّ عَرَضَ أَداءِ الاِسْتِقْصاءِ الخَطِّيِّ لِلتَضْمِينات كَدالّه لِنَدْره الوَضْعِ. يَتِمّ تَدْرِيبِ طَبَقَةٌ خَطَّيْهِ بِاِسْتِخْدامِ التَضْمِينات المُنْتِجَةِ مِن تَقْسِيمِ تَدْرِيبِ مَجْمُوعَةِ البَياناتِ بِاِسْتِخْدامِ إِمّا خَسارَةِ L1 لِلاِنْحِدار أَو خَسارَةِ الانتروبيا المُتَقاطِعَة لِلتَصْنِيفِ. يَتِمّ حِسابِ المَقايِيسِ المَعْرُوضَةِ فِي الشَكْلِ بِاِسْتِخْدامِ النَمُوذَجِ الخَطِّيِّ المُدَرِّبِ لِتَشْغِيلِ الاِسْتِدْلال عَلَى تَقْسِيمات مَجْمُوعَةِ بَياناتٍ الاِخْتِبارُ الَّتِي لَم يَتِمّ اِسْتِخْدامُها لِتَدْرِيبِ التَضْمِينات أَو الاِسْتِقْصاءِ الخَطِّيِّ. مِن المُهِمِّ أَنَّهُ لا يَتِمّ تَخْفِيفِ اوزان النَمُوذَجِ المُدَرِّبِ مُسْبَقاً فِي هٰذا التَقْيِيم. جَمِيعِ المَهامّ هِيَ بِذٰلِكَ اِسْتِقْصاء خُطَى مُباشِرٍ لَمِساحات التَضْمِين المُوَلِّدَة لَتَقْسِيمات مَجْمُوعَةِ بَياناتٍ الاِخْتِبارُ. بِشَكْلٍ عامَ، يُوَفِّر تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ نَتائِجِ مُحَسِّنه عَلَى تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ المُعَدَّلِ لَكَلَآ مَجْمُوعَتَيَّ البَياناتِ.

المُهِمَّةِ المُنَفِّذَةِ لِمَجْمُوعَةِ بَياناتٍ TCGA هِيَ مُشْكِلَةِ مُتَعَدِّدَةِ الفِئاتِ مَعَ 32 فِئَةٌ. تَتَوافَق هٰذِهِ مَعَ نَوْعٍ السَرَطانِ المَوْجُودِ فِي العَيِّنَةُ الَّتِي تَمَّ إِنْتاجِ عَيِّنَةً مِنها. يَتِمّ تَقْدِيمِ المِنْطَقَةِ المُتَوَسِّطَةِ لِلفِئَةِ تَحْتَ مَنَحَنِي الدِقَّةِ-الاِسْتِدْعاء (AUPR) فِي الشَكْلِ. يُؤَدِّي كُلِّ مِن تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ وَتَحْلِيلٌ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ المُعَدَّلِ بِشَكْلٍ جَيِّدٍ، بَيْنَما يُظْهِر تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ مُسْتَوَى مُتَزايِدٍ قَلِيلاً مِن التَحَسُّنِ عَلَى تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ المُعَدَّلِ مَعَ زِيادَةِ نَدْرَةُ الوَضْعِ إِلَى 0.4.

مُهِمَّةً تَحْلِيلِ المَشاعِرِ CMU-MOSEI هِيَ اِنْحِدارٌ إِلَى قِيمَةَ واحِدَةٍ. تَتَراوَح هٰذِهِ القِيمَةِ بَيِّنَ 0 وَ 1، وَتَتَوافَق مَعَ المَشاعِرِ السَلْبِيَّةِ وَالإِيجابِيَّة. فِي الدِراسَةُ الأَوَّلِيَّةِ الَّتِي تَصِف مَجْمُوعَةِ بَياناتٍ CMU-MOSEI، يَتِمّ تَحْقِيقِ مَعامِلِ اِرْتِباطِ قَدَّرَهُ 0.54 بِاِسْتِخْدامِ هَنْدَسَةُ دَمْجِ الوَضْعِ القائِمَةِ عَلَى LSTM.(zadeh2018multi) بَيْنَما تَمَّ أَظْهار مُعامَلاتِ اِرْتِباطِ أَفْضَلَ لِهٰذِهِ المَجْمُوعَةِ مِن البَياناتِ مُؤَخَّراً، يَتِمّ اِعْتِبارِ هٰذِهِ النَتِيجَةُ كَأَساسٍ لِلتَقْيِيم. يُمْكِن لِتَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ تَحْقِيقِ هٰذِهِ النَتِيجَةُ الأَساسِيَّةِ بِمُجَرَّدِ الاِنْحِدارِ الخَطِّيِّ لِلتَضْمِينات المُنْتِجَةِ عِنْدَما لا تُوجَد نَدْرَةُ وَضْعِ. مَعَ زِيادَةِ نَدْرَةُ الوَضْعِ، يَتِمّ تَقْلِيلِ مَعامِلِ الاِرْتِباطِ، وَتُصْبِح نَتائِجِ تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ وَتَحْلِيلٌ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ المُعَدَّلِ مُتَشابِهَةً مَعَ زِيادَةِ طَفِيفَةٍ فِي تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ مُقابِلَ تَحْلِيلِ المُكَوِّناتِ الرَئِيسِيَّةِ المُتَعَدِّدَةِ المُعَدَّلِ.

الخُلاصَةِ

يُمْكِن لَهَياكِل المُحَوِّلات مُتَعَدِّدَةِ الوَسائِط المُقْنِعَةِ أَنَّ تَتَعَلَّم فَضاءات تَضْمِينِ قَوِيَّةٍ فِي مُواجَهَةِ النَواقِص فِي الوَسائِط. تَمَّ تَقْدِيمِ اِنْتِباهَ مُتَعَدِّدِ القَنَواتِ كَاِمْتِداد لَنَمُوذَج المُحَوِّلُ مُتَعَدِّدِ الوَسائِط المُقْنِع وَيُدْمَج القَنَواتِ غَيْرِ المُكْتَمَلَة فِي آلِيَّةِ الاِنْتِباهِ مُتَعَدِّدِ الرُؤُوسِ. بِاِسْتِخْدامِ مَجْمُوعَتَيْنِ بَياناتٍ مَعْرُوفَتَيْنِ، كُلِّ مِنهُما بِأَرْبَع وَسائِطَ، تُظْهِر كُلِّ مِن MMA وMCA أَنَّهُما تَتَعَلَّمانِ فَضاءات تَضْمِينِ عالِيَةٍ الجُودَةِ حَتَّى مَعَ نَدْرَةُ الوَسائِط الَّتِي تَصِل إِلَى 0.4، مِمّا يُعادِل فُقْدانِ 1-2 وَسائِطَ فِي أَغْلِب العَيْنات لِلمَجْمُوعات المَدْرُوسَة هُنا. نَجِد أَنَّ MCA تَحَسُّنِ عُمُوماً جُودَة فَضاءات التَضْمِين، مَقايِيسِ الاِسْتِرْجاع، وَالأَداء اللاحِقِ فِي المَهامّ الهابِطَة.

يُمْكِن أَنَّ تَمْتَدّ الاِتِّجاهاتِ المُسْتَقْبَلِيَّةِ لِلبَحْثِ لِتَشْمَل الهَنْدَسَةِ المُقَدَّمَةِ هُنا إِلَى الهندسات التَنَبُّؤِيَّة لِلتَضْمِين المُشْتَرَكِ أَو الترميز التِلْقائِيّ لِلمُحَوِّلات مُتَعَدِّدَةِ الوَسائِط، اِسْتِكْشافٍ قَوانِينِ التَوَسُّعِ مُتَعَدِّدَةِ الوَسائِط مَعَ نَدْرَةُ الوَسائِط، وَاِسْتِكْشاف مَجْمُوعاتٍ بَياناتٍ نَمُوذَجِيَّةٍ أَساسِيَّةٍ لِتَعْلَم تَمْثِيلِ مُتَعَدِّدِ الوَسائِط مَعَ مَجْمُوعاتٍ بَياناتٍ مُتَباعِدَةً بِشَكْلٍ نادِر.

الشُكْرِ وَالتَقْدِيرِ

يَتَقَدَّم المُؤَلِّفُ بِالشُكْر إِلَى كلايْتُون رابيدو، غابرِييِل غريفين، كالوم بيرش-سايكس وارشيس جوغليكار عَلَى المُحادَثاتِ المُفِيدَةَ خِلالَ هٰذِهِ الدِراسَةُ. النَتائِجِ المَعْرُوضَةِ هُنا تَعْتَمِد كُلِّيّاً أَو جُزْئِيّاً عَلَى البَياناتِ الَّتِي أَنْتَجَتْها شَبَكَةِ أَبْحاثٍ TCGA: https://www.cancer.gov/tcga.

الأَشْكال الإِضافِيَّة