مُلَخَّص
يُقَدِّم هٰذا البَحْث طَرِيقَةً جَدِيدَةً لِلَاِنْدِماجِ المُتَعَدِّدِ الوَسائِطِ بِاسْتِخْدامِ اِنْتِباهِ قَناةِ الوَضْعِ، الَّتِي تُحَسِّنُ الأَدَاءَ بِشَكلٍ كَبِيرٍ عَلَى مَجْمُوعاتٍ مِنَ البَيَانَاتِ المُتَنَوِّعَةِ. نَظَرًا لِلطَّبِيعَةِ المُتَناثِرَةِ لِلبَيَانَاتِ فِي العَدِيدِ مِن التَّطْبِيقَاتِ، فَإِنَّ تَقْنِيَّتَنا تُوَفِّرُ طَرِيقَةً فَعَّالَةً لِدَمْجِ المَعْلُومَاتِ مِن مَصَادِرَ مُتَعَدِّدَةٍ بِصُورَةٍ تَحافِظُ عَلَى السِّيَاقِ الأَسَاسِيِّ وَتُعَزِّزُ الخَصَائِصَ الهَامَّةَ لِكُلِّ وَضْعٍ.
مُقَدِّمَة
فِي السَّنَوَاتِ الأَخِيرَةِ، شَهِدْنا تَقَدُّمًا مَلْحُوظًا فِي مَجَالِ تَعَلُّمِ الآلَةِ، خُصُوصًا فِي مَعَالَجَةِ البَيَانَاتِ المُتَعَدِّدَةِ الوَسَائِطِ. يُعْتَبَرُ الاِنْدِماجُ المُتَعَدِّدُ الوَسَائِطِ تَحَدِّيًا رَئيسِيًّا نَاتِجًا عَن تَنَوُّعِ البَيَانَاتِ وَالحَاجَةِ إِلَى الحِفاظِ عَلَى السِّيَاقِ الأَسَاسِيِّ أَثْنَاءِ دَمْجِ المَعْلُومَاتِ مِن مَصَادِرَ مُتَعَدِّدَةٍ. تَقْنِيَّةُ اِنْتِباهِ قَناةِ الوَضْعِ (Modal Channel Attention) الَّتِي نُقَدِّمُها تُعالِجُ هَذِهِ التَّحَدِّيَاتِ بِفَعَّالِيَّةٍ.
الأَساس النَّظَرِيّ
يَعْتَمِدُ الأَساسُ النَّظَرِيّ لِتَقْنِيَّةِ اِنْتِباهِ قَناةِ الوَضْعِ عَلَى فِكْرَةٍ أَنَّهُ يُمْكِنُ تَحْسِينُ دِقَّةِ الاِنْدِماجِ عَن طَرِيقِ التَّرْكِيزِ عَلَى المَعْلُومَاتِ الأَكْثَرَ أَهَمِّيَّةً فِي كُلِّ وَضْعٍ. يَتِمُّ ذٰلِكَ مِن خِلَالِ تَعَلُّمِ كَيْفِيَّةِ تَوْزِيعِ الاِنْتِباهِ عَبْرَ مُختَلِفِ القَنَواتِ فِي كُلِّ وَضْعٍ، مِمَّا يُساعِدُ عَلَى تَحسِينِ التَّمْثِيلِ النِّهَائِيِّ لِلبَيَانَاتِ المُدْمَجَةِ.
التَجارِب وَالنَتائِج
أَجْرَيْنا سِلْسِلَةً مُمَيَّزَةً مِنَ التَّجَارِبِ لِتَقْييمِ أَدَاءِ تَقْنِيَّةِ اِنْتِباهِ قَناةِ الوَضْعِ. تُظْهِرُ النَّتَائِجُ تَحَسُّنًا مَلْحُوظًا فِي الأَدَاءِ العَامِّ مُقَارَنَةً بِالتَّقْنِيَّاتِ الأُخْرَى، وَخُصُوصًا فِي مَهَامِّ التَّصْنِيفِ وَالتَّعَرُّفِ عَلَى الأَنْماطِ. هَذِهِ النَّتَائِجُ تُؤَكِّدُ فَعَّالِيَّةَ تَقْنِيَّتِنَا فِي التَّعامُلِ مَعَ البَيَانَاتِ المُتَعَدِّدَةِ الوَسَائِطِ.
الخاتِمَة
عَلاوَةً عَلَى ذٰلِكَ، تُقَدِّمُ تَقْنِيَّةُ اِنْتِباهِ قَناةِ الوَضْعِ طَرِيقَةً فَعَّالَةً وَقَوِيَّةً لِلَاِنْدِماجِ المُتَعَدِّدِ الوَسَائِطِ فِي مَجَالِ تَعَلُّمِ الآلَةِ. بِفَضْلِ قُدْرَتِها عَلَى التَّرْكِيزِ عَلَى المَعْلُومَاتِ الأَكْثَرَ أَهَمِّيَّةً فِي كُلِّ وَضْعٍ، تُعَزِّزُ هَذِهِ التِّقْنِيَةُ الأَدَاءَ بِشَكْلٍ كَبِيرٍ وَتُوَفِّرُ أُسُسًا صَلْبَةً لِلتَّطْبِيقَاتِ المُسْتَقْبَلِيَّةِ فِي هٰذَا المَجَالِ.
المُلَخَّص
تَمَّتْ دِراسَةُ قُدْرَةِ الهَياكِلِ المُحَوَّلَةِ مُتَعَدِّدَةِ الوَسَائِطِ المُقْنِعَةِ عَلَى تَعَلُّمِ فَضَاءِ تَضْمِينٍ قَوِيٍّ عِنْدَمَا تَكُونُ عَيِّنَاتُ الوَسَائِطِ مُتَفَرِّقَةً وَمُبَعْثَرَةً، وَذٰلِكَ مِن خِلَالِ قِياسِ جُودَةِ فَضَاءاتِ التَّضْمِينِ المُوَلَّدَةِ كَدالَّةٍ لِتَفَرُّقِ الوَسَائِطِ. تَمَّ اقْتِراحُ تَوْسِيعِ نَمُوذَجِ المُحَوِّلِ مُتَعَدِّدِ الوَسَائِطِ المُقْنِعِ لِيُدْمِجَ قَنَواتٍ نَاقِصَةَ الوَسَائِطِ فِي آلِيَّةِ الاِنْتِباهِ مُتَعَدِّدِ الرُّؤُوسِ، الَّتِي أُطْلِقَ عَلَيْها اسْمُ "اِنْتِباهِ قَناةِ الوَسَائِطِ" (MCA). وَاسْتُخْدِمَت مَجْمُوعَتا بَيَانَاتٍ رُباعِيَّتا الوَسائِطِ: CMU-MOSEI لِلتَّعَرُّفِ عَلَى المَشَاعِرِ وَTCGA لِعِدَّةِ الأومِيَّاتِ. أَظْهَرَتِ النَّمَاذِجُ قُدْرَتَهَا عَلَى تَعَلُّمِ فَضَاءاتِ تَضْمِينٍ مُوَحَّدَةٍ وَمُتَوَافِقَةٍ بِاسْتِخْدامِ وَسِيطَيْنِ فَقَطٍ مِن أَرْبَعَةِ وَسَائِطٍ فِي مُعْظَمِ العَيِّنَاتِ. وَوُجِدَ أَنَّهُ، حَتَّى بِدُونِ تَفَرُّقِ الوَسَائِطِ، تُحَسِّنُ آلِيَّةُ MCA المُقْتَرَحَةُ جُودَةَ فَضَاءاتِ التَّضْمِينِ المُوَلَّدَةِ، وَمَقَايِيسَ الاِسْتِرْجاعِ، وَالأَدَاءَ البَعْدِيَّ فِي المَهَامِّ التَّبَعِيَّةِ.
مُقَدِّمَة
تَزدادُ النماذجُ مُتَعَدِّدَةُ الوَسَائِطِ شُيُوعًا كَمِعْيَارٍ لِتَطْبِيقَاتِ التَّعَلُّمِ العَمِيقِ (xu2023multimodal, han2023survey, liang2022foundations). وَقَدْ اسْتُخْدِمَتْ العَدِيدُ مِنَ الدِّرَاسَاتِ نَمُوذَجًا تَمَّ تَدْرِيبُهُ بِاسْتِخْدامِ وَسِيطَتَيْنِ مُتَوافِقَتَيْنِ (lynch2022mira, noriy2023clara, akbari2021vatt, singh2022flava, radford2021learning, alayrac2020self, huang2021multilingual, fei2022towards, huang2024mavil, huang2021multilingual, hager2023best)، بِمَا فِي ذَٰلِكَ دَمْجُ الصُّوَرِ فِي نَمَاذِجِ اللُّغَةِ الكَبِيرَةِ (alayrac2022flamingo, rahman2020integrating). كَمَا دَرَسَتْ بَعْضُ الأَبْحَاثِ تَدْرِيبَ النَّمَاذِجِ بِاسْتِخْدَامِ أَكْثَرَ مِن وَسِيطَتَيْنِ مُتَوافِقَتَيْنِ (mizrahi20244m, shvetsova2022everything, recasens2023zorro, srivastava2024omnivec, shi2023m, zhang2022mmformer, akbari2021vatt)، وَاسْتَكْشَفَتِ الأَعْمَالُ الحَدِيثَةُ التَّعَلُّمَ مِن وَسَائِطٍ مُتَعَدِّدَةٍ غَيْرِ مُتَوافِقَةٍ أَو مُتَوافِقَةٍ جُزْئِيًّا (yang2021multi, zhang2023learning, wang2020understanding, tran2023training, wei2023one, nakada2023understanding).
تَستخدِمُ مُعظمُ هَذِهِ الأَمْثِلَةِ مَزيجًا مِنَ النُّصُوصِ، وَالصَّوتِ، وَالصُّوَرِ، وَالفِيدْيُو. وَمَعَ ذٰلِكَ، يُمكِنُ لِلتَّطْبِيقَاتِ الاسْتِعَانَةُ ببياناتٍ خَارِجَ هَذِهِ الأَشْكَالِ التِّقْلِيدِيَّةِ. عَلَى سَبِيلِ المِثَالِ، يَشْمَلُ دَمْجُ المُسْتَشْعِرَاتِ المُتَعَدِّدَةِ فِي أَنْظِمَةِ المُرَاقَبَةِ المَنْزِلِيَّةِ وَالرُّوبُوتاتِ بَيَانَاتٍ جَدْوَلِيَّةٍ وَسَلَاسِلٍ زَمَنِيَّةٍ مِنْ أَنْوَاعٍ مُخْتَلِفَةٍ مِنَ المُسْتَشْعِرَاتِ (tonkin2023multi). كَمَا تَسْتَخْدِمُ التَّطْبِيقَاتُ البِيُولُوجِيَّةُ وَالطِّبِّيَّةُ الحَيَوِيَّةُ بَيَانَاتٍ تَتَكَوَّنُ مِن جَدَاوِلٍ، وَصُوَرٍ، وَبَيَانَاتٍ تَسَلْسُلِيَّةٍ. فِي هَذِهِ المَجَالاتِ، قَدْ يَتَأَلَّفُ كُلُّ شَكْلٍ إِعْلَامِيٍّ أَيْضًا مِن وَسَائِطَ مُتَنَوِّعَةٍ لَهَا نَفْسُ نَوْعِ البَيَانَاتِ وَلَكِنْ مِن مَصَادِرَ مُتَبَايِنَةٍ، كَمَا فِي جَدَاوِلَ لِبَيَانَاتٍ نَاجِمَةٍ عَنْ تَجَارُبٍ مُتَنَوِّعَةٍ (cui2023deep).