مُلَخَّص

يُقَدِّم هٰذا البَحْث طَرِيقَة جَدِيدَة لِلاِنْدِماجِ المُتَعَدِّدِ الوَسائِط بِاِسْتِخْدامِ اِنْتِباهِ قَناةِ الوَضْعِ، والَّتي تُحَسِّن الأَداء بِشَكلٍ كَبِيرٍ عَلَى مَجْمُوعاتِ بَياناتٍ مُخْتَلِفَة. نَظَرًا لِلطَبِيعَةِ المُتَناثِرَةِ لِلبَياناتِ فِي العَدِيدِ مِن التَطْبِيقَات، فَإِنَّ تَقْنِيَّتَنا تُوَفِّر طَرِيقَة فَعّالَة لِدَمْجِ المَعْلُوماتِ مِن مَصادِر مُتَعَدِّدَة بِشَكلٍ يُحافِظ عَلَى السِياقِ الأَساسِي وَيُعَزِّز الخَصائِص الهامَّة لِكُلِّ وَضْع.

مُقَدِّمَة

فِي السَنَواتِ الأَخِيرَةِ، شَهِدْنا تَقَدُّمًا كَبِيرًا فِي مَجالِ تَعَلُّمِ الآلَةِ، خُصُوصًا فِي مُعالَجَةِ البَياناتِ المُتَعَدِّدَةِ الوَسائِط. يُعْتَبَر الاِنْدِماجُ المُتَعَدِّدُ الوَسائِطِ تَحَدِّيًا كَبِيرًا بِسَبَبِ التَنَوُّعِ فِي البَياناتِ وَالحاجَةِ إِلَى الحِفاظِ عَلَى السِياقِ الأَساسِي أَثْناءَ دَمْجِ المَعْلُوماتِ مِن مَصادِر مُتَعَدِّدَة. تَقْنِيَّةُ اِنْتِباهِ قَناةِ الوَضْعِ (Modal Channel Attention) الَّتي نُقَدِّمُها تُعالِج هٰذِهِ التَحَدِّياتِ بِفَعّالِيَّة.

الأَساس النَظَرِيّ

يَعْتَمِد الأَساس النَظَرِيّ لِتَقْنِيَّةِ اِنْتِباهِ قَناةِ الوَضْعِ عَلَى فِكْرَةِ أَنَّهُ يُمْكِن تَحْسِينُ دِقَّةِ الاِنْدِماجِ عَن طَرِيقِ التَرْكِيزِ عَلَى المَعْلُوماتِ الأَكْثَرَ أَهَمِّيَّةً مِن كُلِّ وَضْع. يَتِمُّ ذٰلِكَ مِن خِلال تَعَلُّمِ كَيْفِيَّةِ تَوْزِيعِ الاِنْتِباهِ عَبْرَ مُخْتَلِفِ القَنَواتِ فِي كُلِّ وَضْع، مِمّا يُسَاعِدُ عَلَى تَحْسِينِ التَمْثِيلِ النِهائِيِّ لِلبَياناتِ المُدْمَجَة.

التَجارِب وَالنَتائِج

أَجْرَيْنا سِلْسِلَةً مِن التَجارِبِ لِتَقْيِيمِ أَداءِ تَقْنِيَّةِ اِنْتِباهِ قَناةِ الوَضْعِ. تُظْهِر النَتائِج تَحَسُّنًا مَلْحُوظًا فِي الأَداءِ مُقارَنَةً بِالتَقْنِيّاتِ الأُخْرَى، خُصُوصًا فِي مَهامِّ التَصْنِيفِ وَالتَعَرُّفِ عَلَى الأَنْماط. هٰذِهِ النَتائِج تُؤَكِّد فَعّالِيَّةَ تَقْنِيَّتِنا فِي التَعامُلِ مَعَ البَياناتِ المُتَعَدِّدَةِ الوَسائِط.

الخاتِمَة

تُقَدِّم تَقْنِيَّةُ اِنْتِباهِ قَناةِ الوَضْعِ طَرِيقَةً فَعّالَةً وَقَوِيَّةً لِلاِنْدِماجِ المُتَعَدِّدِ الوَسائِطِ فِي مَجالِ تَعَلُّمِ الآلَةِ. بِفَضْلِ قُدْرَتِها عَلَى التَرْكِيزِ عَلَى المَعْلُوماتِ الأَكْثَرَ أَهَمِّيَّةً مِن كُلِّ وَضْع، فَإِنَّهَا تُعَزِّز الأَداء بِشَكلٍ كَبِيرٍ وَتُوَفِّر أَساسًا قَوِيًّا لِلتَطْبِيقَاتِ المُسْتَقْبَلِيَّةِ فِي هٰذَا المَجالِ.

المُلَخَّص

تَمَّت دِراسَةُ قُدْرَةِ الهَياكِلِ المُحَوِّلَةِ مُتَعَدِّدَةِ الوَسائِطِ المُقْنِعَةِ عَلَى تَعَلُّمِ فَضاءِ تَضْمِينٍ قَوِيٍّ عِنْدَمَا تَكُون عَيِّناتُ الوَسائِطِ مُتَباعِدَةً بِشَكلٍ مُتَفَرِّق، مِن خِلال قِياسِ جُودَةِ فَضاءاتِ التَضْمِينِ المُوَلَّدَةِ كَدالَّةٍ لِتَفَرُّقِ الوَسائِطِ. تَمَّ اقتِراحُ تَوْسِيعٍ لِنَمُوذَجِ المُحَوِّلِ مُتَعَدِّدِ الوَسائِطِ المُقْنِعِ الَّذِي يُدْمِجُ قَنَواتٍ غَيْرَ مُكْتَمِلَةِ الوَسائِطِ فِي آلِيَّةِ الاِنْتِباهِ مُتَعَدِّدِ الرُؤُوسِ، وَالَّتِي تُسَمَّى اِنْتِباهَ قَناةِ الوَسائِطِ (MCA). تَمَّ اِسْتِخْدامُ مَجْمُوعَتَيْ بَياناتٍ مَعَ أَرْبَعِ وَسائِطَ، CMU-MOSEI لِلتَعَرُّفِ عَلَى المَشاعِرِ مُتَعَدِّدَةِ الوَسائِطِ وَTCGA لِلمُتَعَدِّدِ الأوميات. أَظْهَرَت النَماذِجُ قُدْرَتَها عَلَى تَعَلُّمِ فَضاءاتِ تَضْمِينٍ مُوَحَّدَةٍ ومُتوافِقَةٍ مَعَ اِسْتِخْدامِ اِثْنَيْنِ فَقَط مِن أَرْبَعِ وَسائِطَ فِي مُعْظَمِ العَيِّنات. وُجِدَ أَنَّهُ، حَتَّى بِدُونِ تَفَرُّقِ الوَسائِطِ، فَإِنَّ آلِيَّةَ MCA المُقْتَرَحَةِ تُحَسِّنُ جُودَةَ فَضاءاتِ التَضْمِينِ المُوَلَّدَةِ، وَمَقايِيسِ الاِسْتِرْجاعِ، وَالأَداءِ اللاحِقِ فِي المَهامِّ الهابِطَة.

مُقَدِّمَة

تَزْداد النَماذِجُ مُتَعَدِّدَةُ الوَسائِطِ شُيُوعًا كَمِعْيارٍ لِتَطْبِيقَاتِ التَعَلُّمِ العَمِيقِ (xu2023multimodal, han2023survey, liang2022foundations). العَدِيدُ مِن الدِراساتِ تَسْتَخْدِمُ نَمُوذَجًا تَمَّ تَدْرِيبُهُ بِاِسْتِخْدامِ وَسِيطَتَيْنِ مُتوافِقَتَيْنِ (lynch2022mira, noriy2023clara, akbari2021vatt, singh2022flava, radford2021learning, alayrac2020self, huang2021multilingual, fei2022towards, huang2024mavil, huang2021multilingual, hager2023best)، بِما فِي ذٰلِكَ دَمْجُ الصُوَرِ فِي نَماذِجِ اللُغَةِ الكَبِيرَةِ (alayrac2022flamingo, rahman2020integrating). كَمَا تَمَّت دِراسَةُ تَدْرِيبِ النَماذِجِ بِاِسْتِخْدامِ أَكْثَرَ مِن وَسِيطَتَيْنِ مُتوافِقَتَيْنِ (mizrahi20244m, shvetsova2022everything, recasens2023zorro, srivastava2024omnivec, shi2023m, zhang2022mmformer, akbari2021vatt)، وَتَسْتَكْشِفُ الأَمْثِلَةُ الحَدِيثَةُ التَعَلُّمَ مِن وَسائِطَ مُتَعَدِّدَةٍ غَيْرِ مُتوافِقَةٍ أَو مُتوافِقَةٍ جُزْئِيًّا (yang2021multi, zhang2023learning, wang2020understanding, tran2023training, wei2023one, nakada2023understanding).

تَسْتَخْدِمُ مُعْظَمُ هٰذِهِ الأَمْثِلَةِ مَزِيجًا مِن النُصُوصِ، وَالصَوْتِ، وَالصُوَرِ، وَالفِيدْيُو. وَمَعَ ذٰلِكَ، يُمْكِن لِلتَطْبِيقَاتِ اِسْتِخْدامُ بَياناتٍ غَيْرِ هٰذِهِ الأَشْكالِ الإِعْلامِيَّةِ التَقْلِيدِيَّةِ. عَلَى سَبِيلِ المِثالِ، يَشْمَل دَمْجُ المُسْتَشْعِراتِ المُتَعَدِّدَةِ فِي أَنْظِمَةِ المُراقَبَةِ المَنْزِلِيَّةِ وَالرُوبُوتاتِ بَياناتِ المُسْتَشْعِراتِ الجَدْوَلِيَّةِ وَبَياناتِ السَلاسِلِ الزَمَنِيَّةِ مِن أَنْواعٍ مُخْتَلِفَةٍ مِن المُسْتَشْعِراتِ (tonkin2023multi). تَسْتَخْدِمُ التَطْبِيقَاتُ البِيُولُوجِيَّةُ وَالطِبِّيَّةُ الحَيَوِيَّةُ بَياناتٍ تَتَكَوَّنُ مِن بَياناتٍ جَدْوَلِيَّةٍ، وَصُوَرٍ، وَبَياناتِ تَسَلْسُلِيَّةٍ. فِي هٰذِهِ المَجالاتِ، يُمْكِن أَنْ يَتَأَلَّفَ كُلُّ شَكْلٍ إِعْلامِيٍّ فِي البَياناتِ أَيْضًا مِن وَسائِطَ مُخْتَلِفَةٍ لَها نَفْسُ نَوْعِ البَياناتِ وَلٰكِن مِن مَصْدَرِ بَياناتٍ مُخْتَلِفٍ، عَلَى سَبِيلِ المِثالِ كَما فِي جَدْوَلَيْنِ لِلبَياناتِ مِن أَنْواعٍ مُخْتَلِفَةٍ مِن التَجارِبِ (cui2023deep).