latex

مُلَخَّصُ

فِي الاِسْتِشْعارِ عَن بُعْدَ، نَهْتَمّ بنمذجه وَسائِطَ مُتَعَدِّدَةِ لَمَوْقِع جُغْرافِيٌّ مُعَيَّنٍ. رَكَّزَت العَدِيدَ مِن الأَعْمالِ عَلَى تَعْلَم العَلاقَةِ بَيِّنَ مَوْقِعِ وَنَوْع المَناظِر الطَبِيعِيَّةِ، وَالصَلاحِيَّة لِلسَكَن، وَالصَوْت، وَالأَوْصاف النصيه، وَما إِلَى ذٰلِكَ. مُؤَخَّراً، أَصْبَحَ النَهْجِ الشائِعُ لِمُعالَجَةِ هٰذِهِ المُشْكِلاتِ هُوَ تَدْرِيبِ نَمُوذَجَ تَعْلَم عَمِيقٍ يَسْتَخْدِم صُور الأَقْمارِ الصِناعِيَّةِ لَاِسْتِنْتاج خَصائِصِ فَرِيدَةٍ لِلمَوْقِعِ. فِي هٰذا العَمَلِ، نُقَدِّم نَمُوذَجَ تَعْلَم عَمِيقٍ، GeoBind، يُمْكِنه الاِسْتِدْلال عَلَى وَسائِطَ مُتَعَدِّدَةِ، وَتَحْدِيداً النَصِّ وَالصُورَةِ وَالصَوْت، مِن صُور الأَقْمارِ الصِناعِيَّةِ لَمَوْقِع ما. لِلقِيامِ بِذٰلِكَ، نَسْتَخْدِم صُور الأَقْمارِ الصِناعِيَّةِ كَعُنْصُرٍ رَبْطُ وَنُوائِم تَبايُنِيّا جَمِيعِ الوَسائِط الأُخْرَى مَعَ بَياناتٍ صُور الأَقْمارِ الصِناعِيَّةِ. تُؤَدِّي تَدْرِيباتُنا إِلَى فَضاءِ تَضْمِينِ مُشْتَرَكٍ مَعَ أَنْواعِ مُتَعَدِّدَةِ مِن البَياناتِ: صُورَةِ القَمَر الصِناعِيِّ، صُورَةِ مُسْتَوَى الأَرْضِ، الصَوْتِ، وَالنَصَّ. عِلاوَةً عَلَى ذٰلِكَ، لا يَتَطَلَّب نَهْجنا مَجْمُوعَةِ بَياناتٍ مُعَقَّدَةٌ واحِدَةٍ تَحْتَوِي عَلَى جَمِيعِ الوَسائِط المَذْكُورَةِ أَعْلاه. بَل يَتَطَلَّب فَقَط بَياناتٍ مُتَعَدِّدَةِ مُقْتَرِنه بِصُوَرٍ الأَقْمارِ الصِناعِيَّةِ. بَيْنَما نَقُوم فَقَط بِمُحاذاة ثَلاثِ وَسائِطَ فِي هٰذِهِ الوَرَقَةَ، نُقَدِّم إِطارا عاماً يُمْكِن اِسْتِخْدامه لِإِنْشاءِ فَضاءِ تَضْمِينِ مَعَ أَيّ عَدَدٍ مِن الوَسائِط بِاِسْتِخْدامِ صُور الأَقْمارِ الصِناعِيَّةِ كَعُنْصُرٍ رَبْطُ. تُظْهِر نَتائِجنا أَنَّهُ، عَلَى عَكْسَ النَماذِجِ أُحادِيَّةُ الوَسِيطِ التَقْلِيدِيَّةِ، GeoBind مُتَعَدِّدِ الاِسْتِخْدامات وَيُمْكِنه التَفْكِيرِ فِي وَسائِطَ مُتَعَدِّدَةِ لِإِدْخالِ صُورَةِ القَمَر الصِناعِيِّ المُعْطَى.

مُقَدِّمَةِ

اِسْتِنْتاجِ الخَصائِص المُخْتَلِفَةِ المُرْتَبِطَةِ بِمَواقِع جُغْرافِيَّةٍ مُحَدَّدَةٍ هُوَ مُهِمَّةً هامَّةً فِي الاِسْتِشْعارِ عَن بُعْدَ. تَرَكَّزَت الجُهُودِ البَحْثِيَّة السابِقَةِ بِشَكْلٍ رَئِيسِيٍّ عَلَى إِقامَةِ عَلاقاتٍ بَيِّنَ مَوْقِعِ وَخاصَّيْهِ واحِدَةٍ مِثْلَ اِسْتِخْدامِ الأَرْضِ، مَقايِيسِ الصَلاحِيَّة لِلسَكَن، خَصائِصِ الصَوْتِ، المَناظِر الأَرْضِيَّة، وَالوَصْف النصي (yurui2020towards, zhu2022land, khanal2023learning, basu2021investigating, dhakal2023sat2cap). أَدَّى ذٰلِكَ إِلَى تَطْوِيرِ نَماذِجَ التَعَلُّمِ العَمِيقِ الَّتِي تَسْتَنْتِج خَصائِصِ فَرِيدَةٍ لَمَوْقِع مُعَيَّنٍ بِناءَ عَلَى صُورَةِ القَمَر الصِناعِيِّ المُقابَلَةِ (greenwell2018goes, zang2021land, 9323706, sastry2024birdsat, klemmer2023satclip). تَهْدِف هٰذِهِ الدِراسَةُ إِلَى تَقَدَّمَ الوَضْعِ الحالِيَّ مِن خِلالَ تَطْوِيرِ فَضاءِ تَضْمِينِ مُوَحَّدٍ يَرْبِط بِسَلاسَةٍ بَيِّنَ الوَسائِط المُتَعَدِّدَةِ وَالمَوْقِعُ الجُغْرافِيِّ. يَكْمُن المُساهَمَةِ الرَئِيسِيَّةِ فِي خَلْقُ فَضاءِ تَضْمِينِ فَرْدِيٌّ، وَالَّذِي يُمْكِن اِسْتِخْدامه لَاِسْتِنْتاج خَصائِصِ مُخْتَلِفَةٍ لَمَوْقِع بِاِسْتِخْدامِ صُور الأَقْمارِ الصِناعِيَّةِ. وَمَعَ ذٰلِكَ، يُمْكِن أَنَّ يَكُون هٰذا تَحَدِّيا بِسَبَبِ عِدَّةٍ عَوامِلِ. بِشَكْلٍ أَساسِيٌّ، يَتَطَلَّب تَدْرِيبِ مِثْلَ هٰذا النَمُوذَجِ مِن خِلالَ نَهْجٍ التَعَلُّمِ العَمِيقِ التَقْلِيدِيِّ بَياناتٍ ذاتِ أَبْعادَ عالِيَةٍ تَمْتَدّ عَبْرَ جَمِيعِ هٰذِهِ الوَسائِط. عَلَى سَبِيلِ المِثالِ: لِإِنْشاءِ فَضاءِ تَضْمِينِ يَرْتَبِط بِصُوَرٍ الأَقْمارِ الصِناعِيَّةِ مَعَ النُصُوصِ، الصَوْتِ، وَالصُوَرِ المُسْتَوِيَة، سَتَحْتاج إِلَى إِنْشاءِ مَجْمُوعَةِ بَياناتٍ رُباعِيَّةٍ مَعَ نُصُوصُ مُتَواجِده، صَوْتٍ، صُورَةِ أَرْضِيَّةٍ، وَصُورَةِ قَمَرَ صِناعِيٌّ. إِذا كانَ يَجِب أَنَّ يَحْتَوِي كُلِّ نُقْطَةً بَياناتٍ عَلَى مَعْلُوماتٍ حَوْلَ كُلِّ وَسِيطه واحِدَةٍ، مَعَ نُمُوِّ عَدَدٍ الوَسائِط، يُصْبِح مِن الصَعْبِ لِلغايَةِ جَمْعِ مِثْلَ هٰذِهِ البَياناتِ.

تَناوَلَت الأَعْمالِ الحَدِيثَةِ (girdhar2023imagebind) هٰذِهِ المُشْكِلَةِ مِن خِلالَ أَظْهار أَنَّهُ مِن المُمْكِنِ تَعْلَم فَضاءِ تَضْمِينِ مُشْتَرَكٍ لِلوَسائِط المُتَعَدِّدَةِ بِاِسْتِخْدامِ الصُوَرِ لَرَبَطَها جَمِيعاً. يَسْتَخْدِم ImageBind (girdhar2023imagebind) مَجْمُوعاتٍ بَياناتٍ مُتَعَدِّدَةِ مُقْتَرِنه بِالصُوَر حَيْثُ تَتَكَوَّن كُلِّ مَجْمُوعَةِ مِن صُورَةِ مُقْتَرِنه بِنَوْعٍ بَياناتٍ مُحَدَّدٍ مِثْلَ الصَوْتِ، الفِيدْيُو، آلخ. ثُمَّ يَقُوم ImageBind بِمُحاذاة تَضْمِينِ كُلِّ وَسِيطه مَعَ تَضْمِينات الصُوَرِ، مِمّا يُؤَدِّي إِلَى فَضاءِ تَمْثِيلِ مُشْتَرَكٍ مَعَ جَمِيعِ الوَسائِط مِن مَجْمُوعاتٍ بَياناتٍ مُخْتَلِفَةٍ. مُسْتَوْحاة مِن هٰذا، نَقْتَرِح إِطارِ عَمَلٍ يَسْتَخْدِم بَياناتٍ مُتَعَدِّدَةِ مُقْتَرِنه بِصُوَرٍ الأَقْمارِ الصِناعِيَّةِ لِتَعْلَم فَضاءِ تَضْمِينِ مُشْتَرَكٍ حَيْثُ تَرْتَبِط الوَسائِط المُتَعَدِّدَةِ بِفَضاء تَمْثِيلِ مُشْتَرَكٍ. سَيَكُون مِثْلَ هٰذا الفَضاءِ مُفِيداً لِحَلِّ مَجْمُوعَةِ واسِعَةً مِن المَهامّ الجُغْرافِيَّةِ المَكانِيَّة. فِي هٰذِهِ الوَرَقَةَ، نَسْتَخْدِم نَوْعَيْنِ مِن البَياناتِ: الصَوْتِ المُقْتَرِن بِصُوَرٍ الأَقْمارِ الصِناعِيَّةِ، وَالصُوَرِ الأَرْضِيَّة المُقْتَرِنَة بِالصُوَر الجَوِّيَّةِ. نَسْتَخْدِم صُور الأَقْمارِ الصِناعِيَّةِ كَوَسِيط مُشْتَرَكٍ لِرَبْطِ الوَسائِط المُخْتَلِفَةِ. يَحْدُث تَدْرِيبنا فِي مَرْحَلَتَيْنِ. فِي المَرْحَلَةِ الأُولَى، نَقُوم بِمُحاذاة تَضْمِينات صُور الأَقْمارِ الصِناعِيَّةِ مَعَ تَضْمِينات الصُوَرِ الأَرْضِيَّة بِطَرِيقَةٍ تَنافُسِيَّةٌ بِاِتِّباعِ Sat2Cap (dhakal2023sat2cap). بِشَكْلٍ أَكْثَرَ تَحْدِيداً، يَتِمّ مُحاذاةِ تَضْمِينات صُور الأَقْمارِ الصِناعِيَّةِ مَعَ تَضْمِينات CLIP (radford2021learning) لِلصُوَرِ الأَرْضِيَّة المُقابَلَةِ. يَقُوم فَضاءِ CLIP بِالفِعْلِ بِمُحاذاة النُصُوصِ وَالصُوَرِ ذاتِ الصِلَةِ دَلالِيّا. بِاِسْتِخْدامِ تَضْمِينات CLIP لِلمُحاذاة، نَقُوم تِلْقائِيّا بِمُحاذاة تَضْمِينات صُور الأَقْمارِ الصِناعِيَّةِ مَعَ الوَصْفَ النصي لِلمَناظِر الأَرْضِيَّة كَما هُوَ مُوَضِّح فِي الشَكْلِ [fig:embedding_space]. فِي المَرْحَلَةِ الثانِيَةِ، نَقُوم بِمُحاذاة تَضْمِينات الصَوْتِ مَعَ تَضْمِينات صُور الأَقْمارِ الصِناعِيَّةِ بِاِسْتِخْدامِ نَمُوذَجنا المُدَرِّبِ فِي المَرْحَلَةِ الأُولَى. هٰذا يُؤَدِّي إِلَى فَضاءِ تَضْمِينِ مُشْتَرَكٍ نِهائِيِّ، حَيْثُ يَتِمّ دَفْعِ الصُوَرِ الأَقْمارِ الصِناعِيَّةِ، الصُوَرِ الأَرْضِيَّة، الصَوْتِ، وَالنُصُوصَ ذاتِ الصِلَةِ دَلالِيّا مَعاً.

الطَرِيقَةِ

مَجْمُوعَةِ البَياناتِ

نَسْتَخْدِم مَجْمُوعَتَيْنِ مُخْتَلِفَتَيْنِ مِن البَياناتِ المُقْتَرِنَة بِصُوَرٍ الأَقْمارِ الصِناعِيَّةِ فِي عَمَلِنا. أَوَّلاً، نَسْتَخْدِم مَجْمُوعَةِ البَياناتِ مِن (dhakal2023sat2cap) وَالَّتِي تَحْتَوِي عَلَى 6.1M زَوْج مِن الصُوَرِ العَلَوِيَّة وَصُوَرٍ مُسْتَوَى الأَرْضِ. تَبْلُغ دِقَّةٍ الصُوَرِ العَلَوِيَّة \(0.6m/px\) وَتَمَّ الحُصُولِ عَلَيها مِن خَرائِطِ Bing. يَبْلُغ حَجْمِ كُلِّ صُورَةِ عَلَوِيّه 800x800 بِكَسَل. ثانِياً، نَسْتَخْدِم بَياناتٍ SoundingEarth (wu2023large) وَالَّتِي تَحْتَوِي عَلَى 50k صَوْتٍ مَوْسُوم جُغْرافِيّاً. يَتِمّ أَقْران كُلِّ عَيِّنَةً صَوْتِيَّةٌ مَعَ صُورَةِ عَلَوِيّه مُتَمَرْكِزَةً بِدِقَّةٍ \(0.6m/px\). تَبْلُغ دِقَّةٍ كُلِّ صُورَةِ عَلَوِيّه 800x800 بِكَسَل وَتَمَّ الحُصُولِ عَلَيها مِن خَرائِطِ Bing.

المَنْهَجِ

لَدَينا طَرِيقَةِ تَتَكَوَّن مِن خَطْوَتَيْنِ لِلتَدْرِيبِ. الخَطْوَةِ الأُولَى تَقُوم بِمُحاذاة الصُوَرِ الجَوِّيَّةِ مَعَ الصُوَرِ الأَرْضِيَّة وَبِالتالِي البَياناتِ النصيه. الخَطْوَةِ الثانِيَةِ تَقُوم بِمُحاذاة البَياناتِ الصَوْتِيَّةَ مَعَ تَضْمِينات الصُوَرِ الفَضائِيَّةِ الناتِجَةِ مِن المَرْحَلَةِ السابِقَةِ.

فِي خَطْوَتنا الأُولَى، نَقُوم بِمُحاذاة الصُوَرِ الجَوِّيَّةِ مَعَ الصُوَرِ الأَرْضِيَّة فِي فَضاءِ (CLIP). لِهٰذِهِ الخَطْوَةِ، نَتْبَع الإِجْراءَ مِن وَرَقَةً (dhakal2023sat2cap). لَدَفَعَهُ مِن الصُوَرِ الأَرْضِيَّة \(G_i\)، نَحْصُل عَلَى تَضْمِينات (CLIP) \(C_i\). لَدَينا مِشْفَر الصُوَرِ الفَضائِيَّةِ، الَّذِي يَأْخُذ دَفْعَةً مِن الصُوَرِ الفَضائِيَّةِ \(S_i\) وَيُعِيد التَضْمِينات \(O_i\). الآنَ نَقُوم بِمُحاذاة تَضْمِينات الصُوَرِ الفَضائِيَّةِ مَعَ التَضْمِينات المُقابَلَةِ لِ(CLIP) بِاِسْتِخْدامِ خَسارَةِ (InfoNCE): \[L = \frac{1}{k}\sum_{i=0}^{k} -\log\frac{exp(o_i \cdot c_i / \tau)}{\sum_{j=0}^{k} exp(o_i \cdot c_j / \tau) }\] ، حَيْثُ \(\tau\) هُوَ مَعامِلِ الحَرارَةِ وk هُوَ حَجْمِ الدُفْعَةِ. بِما أَنَّ فَضاءِ (CLIP) يَقُوم بِمُحاذاة الصُوَرِ الطَبِيعِيَّةِ وَالنُصُوصَ ذاتِ الصِلَةِ الدَلالِيَّة، فَإِنَّ هٰذِهِ العَمَلِيَّةِ تَقُوم أَيْضاً بِمُحاذاة الصُوَرِ الفَضائِيَّةِ مَعَ الأَوْصاف النصيه لَمَشاهِدها الأَرْضِيَّة. فِي نِهايَةِ هٰذِهِ الخَطْوَةِ، نَحْصُل عَلَى مِشْفَر الصُوَرِ الفَضائِيَّةِ، الَّذِي يَأْخُذ صُورَةِ فَضائِيَّةٍ كَمَدْخَلٍ وَيَقُوم بِتَوْجِيهها إِلَى فَضاءِ (CLIP) بِحَيْثُ يَكُون التَضْمِين الناتِجِ قَرِيباً مِن صُورَتِهِ الأَرْضِيَّة المُتَمَرْكِزَةُ وَأَوْصافها النصيه فِي ذٰلِكَ الفَضاءِ.

فِي المَرْحَلَةِ الثانِيَةِ، هَدَفَنا هُوَ مُحاذاةِ التَضْمِينات الصَوْتِيَّةَ مَعَ تَضْمِينات الصُوَرِ الفَضائِيَّةِ مِن المَرْحَلَةِ الأُولَى. لِتَحْقِيقِ ذٰلِكَ، نَسْتَخْدِم بَياناتٍ (SoudingEarth)، الَّتِي تَحْتَوِي عَلَى بَياناتٍ صَوْتِيَّةٌ مُقْتَرِنه بِالصُوَر الفَضائِيَّةِ. لَدَفَعَهُ مُعَيَّنَةٍ مِن الصُوَرِ الفَضائِيَّةِ \(S_i\)، نَحْسِب تَضْمِيناتها \(O_i\) بِاِسْتِخْدامِ المِشْفَر الفَضائِيُّ المُدَرِّبِ مِن المَرْحَلَةِ الأُولَى. الآنَ نَقُوم بِتَهْيِئَة مِشْفَر الصَوْتِ، الَّذِي يَأْخُذ دَفْعَةً مِن التَسْجِيلاتِ الصَوْتِيَّةَ \(H_i\) وَيُعِيد دَفْعَةً مِن التَضْمِينات الصَوْتِيَّةَ \(A_i\). نُحافِظ عَلَى تَجْمِيدَ المِشْفَر الفَضائِيُّ وَنُدَرِّب مِشْفَر الصَوْتِ بِشَكْلٍ تَبايُنَيَّ، بِحَيْثُ تَقْتَرِب التَضْمِينات الصَوْتِيَّةَ مِن تَضْمِينات الصُوَرِ الفَضائِيَّةِ المُقابَلَةِ. إِطارِ عَمَلٍ التَدْرِيبِ بِأَكْمَلِهِ مُوَضِّح فِي الشَكْلِ. \[L_1 = \frac{1}{k}\sum_{i=0}^{k} -\log\frac{exp(o_i \cdot a_i / \tau)}{\sum_{j=0}^{k} exp(o_i \cdot a_j / \tau) }\]

\[L_2 = \frac{1}{k}\sum_{i=0}^{k} -\log\frac{exp(a_i \cdot o_i / \tau)}{\sum_{j=0}^{k} exp(a_i \cdot o_j / \tau) }\]

\[L = \frac{(L_1 + L_2)}{2}\]

بِاِقْتِراب التَضْمِينات الصَوْتِيَّةَ مِن تَضْمِينات الصُوَرِ الفَضائِيَّةِ المُقابَلَةِ، فَإِنَّها تَتَماشَى أَيْضاً بِشَكْلٍ طَبِيعِيٍّ مَعَ الصُوَرِ الأَرْضِيَّة ذاتِ الصِلَةِ الدَلالِيَّة وَالتَعْلِيقات النصيه كَما هُوَ مُوَضِّح فِي الشَكْلِ. هٰذا يَخْلُق فَضاءِ تَضْمِينِ مُشْتَرَكٍ حَيْثُ يُمْكِن لِلوَسائِط المُخْتَلِفَةِ التَفاعُل مَعَ بِعَضُّها البَعْضُ. عَلَى وَجْهِ التَحْدِيدِ، يُمْكِننا اِسْتِخْدامِ المِشْفَر الفَضائِيُّ، مِشْفَر الصَوْتِ، مِشْفَر الصُوَرِ (CLIP)، وَمِشْفَر النَصِّ (CLIP) لِتَوْجِيهِ صُورَةِ القَمَر الصِناعِيِّ، الصَوْتِ، الصُورَةِ الأَرْضِيَّة، وَالنَصَّ عَلَى التَوالِي، إِلَى فَضاءِ مُشْتَرَكٍ. وُجُودِ مِثْلَ هٰذا الفَضاءِ المُشْتَرَكِ يُتِيح لَنا أَداءِ المَهامّ الَّتِي تَتَطَلَّب أَيّ تَبادُلِ أَو مَزِيجٍ مِن الوَسائِط المُعْطاة مِمّا يُلْغِي الحاجَةِ إِلَى نَمُوذَجَ مُحَدَّدٍ لِمُهِمَّةِ واحِدَةٍ. عِلاوَةً عَلَى ذٰلِكَ، مِن السَهْلِ إِضافَةً مَراحِلِ إِضافِيَّةً لَمُحاذاة وَسائِطَ أُخْرَى مَعَ الصُوَرِ الفَضائِيَّةِ وَتَوْجِيهها إِلَى نَفْسِ فَضاءِ التَضْمِين. وَبِالتالِي، تَمْتَدّ فائِدَةٍ هٰذا الإِطارِ إِلَى ما وَراءَ التَطْبِيقِ الَّذِي نُوضِحه فِي عَمَلِنا.

التَجارِبِ وَالنَتائِجِ

تَفاصِيلَ التَنْفِيذِ

نَسْتَخْدِم نَمُوذَجَ CLIP ViT-32B المُدَرِّبِ مُسْبَقاً لَتَوْلِيد تَضْمِينات CLIP. كَما نَسْتَخْدِم ViT-32B كَمِشْفَر القَمَر الصِناعِيِّ وَنَقُوم بِتَهْيِئَته بِاِسْتِخْدامِ مُعامَلاتِ نَمُوذَجَ CLIP. نَسْتَخْدِم مِشْفَر الصَوْتِ CLAP مِن Hugging Face لَتَهْيِئَة مِشْفَر الصَوْتِ لَدَينا. نَسْتَخْدِم RandAugment (cubuk2020randaugment) مَعَ 3 عَمَلِيّاتِ لِزِيادَةِ صُور القَمَر الصِناعِيِّ خِلالَ التَدْرِيبِ. نَسْتَخْدِم مُحْسِن AdamW (loshchilov2017decoupled) بِمُعَدَّلِ تَعْلَم قَدَّرَهُ \(5e-05\) مَعَ \(\beta_1=0.99\) وَ \(\beta_2=0.98\). كَما نَسْتَخْدِم CosineAnnealing مَعَ إِعادَةِ التَشْغِيلِ الدافِئ (loshchilov2016sgdr) كَمَجْدُول لَمُعَدَّل التَعَلُّمِ. تَمَّ ضَبْطِ مَعامِلِ الحَرارَةِ لِيَكُون قابِلاً لِلتَعَلُّمِ أَثْناءَ التَدْرِيبِ وَتَمَّ تَهْيِئَته إِلَى \(0.07\).

اِسْتِرْجاعِ مُتَعَدِّدِ الوَسائِط

لِإِظْهارِ أَنَّ مِساحَةِ التَضْمِين لَدَينا تَصْطَفّ البَياناتِ ذاتِ الصِلَةِ الدَلالِيَّة مَعاً، نَقُوم بِتَجارِبِ اِسْتِرْجاعِ. عَلَى وَجْهِ التَحْدِيدِ، نَقُوم بِإِسْقاط نَوْعَيْنِ مُخْتَلِفِينَ مِن البَياناتِ فِي مِساحَةِ التَضْمِين المُشْتَرَكَةِ لَدَينا وَحِساب تُشابِه الجِيْب التمامي بَيِّنَهُما. تُجْرَى جَمِيعِ التَجارِبِ بِاِسْتِخْدامِ مَجْمُوعَةِ اِخْتِبارِ محجوزه تَحْتَوِي عَلَى (10000) عَيِّنَةً. أَوَّلاً، نُظْهِر أَنَّ مِساحَةِ التَضْمِين لَدَينا تَلْتَقِط العَلاقَةِ بَيِّنَ الصُوَرِ الفَضائِيَّةِ المُتَواجِدَة فِي نَفْسِ المَوْقِعِ وَالصُوَرِ عَلَى مُسْتَوَى الأَرْضِ. نَحْسِب التَضْمِين لِلصُوَرِ الفَضائِيَّةِ بِاِسْتِخْدامِ مِشْفَر الصُوَرِ الفَضائِيَّةِ الخاصِّ بِنا وَنَسْتَخْدِم مِشْفَر الصُوَرِ CLIP لِحِسابِ التَضْمِين لِلصُوَرِ عَلَى مُسْتَوَى الأَرْضِ. ثُمَّ نَحْسِب تُشابِه الجِيْب التمامي بَيِّنَ جَمِيعِ الأَزْواج المُمْكِنَةِ وَنَحْسِب مَقايِيسِ الأَعْلَى-k. نَظَراً لِأَنَّ التَدْرِيبِ فِي المَرْحَلَةِ الأُولَى مطابق لِ Sat2Cap (dhakal2023sat2cap)، نَرِي أَداءِ اِسْتِرْجاعِ مطابق عِنْدَ عَدَمِ تَوْفِيرِ أَيّ بَياناتٍ تَعْرِيفِيّه لِلنَمُوذَج فِي الجَدْوَلُ (table:image_retrieval). كَمِعْيارٍ أَساسِيٌّ، نَسْتَخْدِم تَضْمِينات CLIP لِلصُورَةِ الفَضائِيَّةِ كَما فِي (dhakal2023sat2cap). تُشِير النَتائِجِ فِي الجَدْوَلُ (table:image_retrieval) إِلَى أَنَّ الصُورَةِ الحَقِيقِيَّةِ تَقَع ضِمْنَ الأَعْلَى-10 حِوالِي (56%) مِن الوَقْتِ عِنْدَ تَصْنِيفِها وِفْقاً لِتُشابِه الجِيْب التمامي. هٰذا يُخْبِرنا أَنَّ الصُوَرِ الفَضائِيَّةِ وَالصُوَرِ عَلَى مُسْتَوَى الأَرْضِ ذاتِ الصِلَةِ الدَلالِيَّة متوافقه فِي مِساحَةِ التَضْمِين لَدَينا. نَظَراً لِأَنَّنا نَقُوم بِالتَحْسِين عَلَى مِساحَةِ CLIP، فَمِن الطَبِيعِيِّ أَنَّ تَتَحَرَّك تَضْمِينات الصُوَرِ الفَضائِيَّةِ أَيْضاً بِالقُرْبِ مِن الأَوْصاف النصيه لِلمَناطِقِ، كَما هُوَ مُوَضِّح فِي الشَكْلِ (fig:embedding_space). يُظْهِر Sat2Cap (dhakal2023sat2cap) نَتائِجِ نَوْعِيَّةً وَكَمِّيَّةٌ تُوَضِّح أَنَّ هٰذا النَوْعِ مِن التَدْرِيبِ يُؤَدِّي فِي النِهايَةِ إِلَى مُحاذاةِ الصُوَرِ الفَضائِيَّةِ مَعَ الأَوْصاف النصيه لِلمُشاهِدِ عَلَى مُسْتَوَى الأَرْضِ.

ثانِياً، نُقِيم أَداءِ اِسْتِرْجاعِ الصُوَرِ الفَضائِيَّةِ إِلَى الصَوْتِ لِنَمُوذَجِنا. لِلقِيامِ بِذٰلِكَ، نَحْسِب التَضْمِينات الفَضائِيَّةِ بِاِسْتِخْدامِ مِشْفَر الصُوَرِ الفَضائِيَّةِ الخاصِّ بِنا وَالتَضْمِينات الصَوْتِيَّةَ بِاِسْتِخْدامِ مِشْفَر الصَوْتِ الخاصِّ بِنا. مُشابِها لِلتَجْرِبَة السابِقَةِ، نَحْسِب مَقايِيسِ الأَعْلَى-k، وَالَّتِي تُظْهِر فِي الجَدْوَلُ (table:sound_retrieval). أَوَّلاً، نُلاحِظ أَنَّ النَتائِجِ أَسْوَأ بِكَثِيرٍ مِن اِسْتِرْجاعِ الصُوَرِ الفَضائِيَّةِ إِلَى الصُوَرِ عَلَى مُسْتَوَى الأَرْضِ. وَمَعَ ذٰلِكَ، يَحْدُث هٰذا لِأَنَّ اِسْتِرْجاعِ الصُوَرِ الفَضائِيَّةِ إِلَى الصَوْتِ هُوَ مُهِمَّةً أَصْعَب بِطَبِيعَتها بِسَبَبِ طَبِيعَةِ المُشْكِلَةِ المَوْضُوعَةِ بِشَكْلٍ سَيِّء. تَمَّت مُناقَشَةِ هٰذِهِ المَسْأَلَةِ بِمَزِيدٍ مِن التَفْصِيل فِي وَرَقَةً SoundingEarth (heidler2023self). يُظْهِر الجَدْوَلُ (table:sound_retrieval) أَنَّهُ بَيْنَما لا نُحَقِّق أَعْلَى اِسْتِدْعاءَ، فَإِنَّ نَتائِجنا مُماثِلَةٍ لِلنَماذِج الحالِيَّةِ لِهٰذِهِ المُهِمَّةِ. تُشِير النَتائِجِ إِلَى أَنَّ إِطارِ عَمَلٍ GeoBind يَخْلُق مِساحَةِ تَضْمِينِ مُشْتَرَكَةٍ مِن خِلالَ مُحاذاةِ الصُوَرِ الفَضائِيَّةِ ذاتِ الصِلَةِ الدَلالِيَّة وَالصُوَرِ عَلَى مُسْتَوَى الأَرْضِ وَالصَوْت (وَبِالتالِي النَصِّ بِسَبَبِ مُحاذاةِ الصُورَةِ-النَصِّ فِي مِساحَةِ CLIP). وَبِالتالِي، يَمْنَحنا إِطارِ عَمَلٍ GeoBind مِشْفَر صُور فَضائِيَّةٍ واحِدٍ يُمْكِنه التَفْكِيرِ فِي أَنْواعِ مُخْتَلِفَةٍ مِن البَياناتِ، مِمّا يُلْغِي الحاجَةِ إِلَى نَماذِجَ التَعَلُّمِ العَمِيقِ المُتَمَيِّزَةِ لِكُلِّ وَضْعِ. عِلاوَةً عَلَى ذٰلِكَ، نُحَقِّق هٰذِهِ القُدْرَةِ عَلَى التَكَيُّفِ مَعَ الحِفاظِ عَلَى أَداءِ مُماثِلٍ لِلنَماذِج المُحَدَّدَةِ لِلوَضْعِ. الدَفْعِ نَحْوَ مِثْلَ هٰذِهِ النَماذِجِ سَيَجْعَل مِن الأَسْهَل بِكَثِيرٍ العَمَلِ عَبْرَ الأَوْضاعِ المُخْتَلِفَةِ وَكَذٰلِكَ العَمَلِ عَلَى المَهامّ الَّتِي تَتَطَلَّب بِعَضِّ التوليفات مِن أَنْواعِ البَياناتِ المُتَعَدِّدَةِ.

المُناقَشَةِ وَالخُلاصَة

فِي دِراسَتنا، قَدَّمْنا إِطارِ عَمَلٍ يَسْمَح لِلصُوَرِ الفَضائِيَّةِ بِالتَفاعُل مَعَ أَنْواعِ مُتَعَدِّدَةِ مِن البَياناتِ. مِن خِلالَ رَبْطُ وَسائِطَ مُتَعَدِّدَةِ بِالصُوَر الفَضائِيَّةِ، أَنْشَآنا فَضاءِ تَضْمِينِ مُشْتَرَكٍ يَجْمَع النُصُوصِ ذاتِ الصِلَةِ الدَلالِيَّة، وَالصُوَرِ عَلَى مُسْتَوَى الأَرْضِ، وَالصَوْت، وَالصُوَرِ الفَضائِيَّةِ. يُمْكِن تَعْدِيلِ هٰذا الفَضاءِ التضميني المُشْتَرَكِ لِحَلِّ مُشْكِلاتِ أَكْثَرَ تَحْدِيداً حَسَبَ مُتَطَلَّباتِ المُسْتَخْدِمُ.

الهَدَفَ الرَئِيسِيُّ مِن هٰذِهِ الوَرَقَةَ هُوَ تَشْجِيعِ تَطْوِيرِ نَماذِجَ التَعَلُّمِ العَمِيقِ العامَّةِ الغَرَضِ الَّتِي يُمْكِنها التَفْكِيرِ فِي خَصائِصِ مُتَعَدِّدَةِ لَبَيانات الصُوَرِ الفَضائِيَّةِ المُعْطاة. بَيْنَما اُسْتُخْدِمْنا عَمَلِيَّةِ تَدْرِيبِ مِن مَرْحَلَتَيْنِ، مِن المُمْكِنِ إِضافَةً المَزِيدِ مِن المَراحِلِ إِلَى إِطارِ عَمَلِنا وَالتَدْرِيبِ مَعَ مَجْمُوعَةِ أَكْبَرَ مِن أَنْواعِ البَياناتِ. مِن خِلالَ مُحاذاةِ أَنْواعِ بَياناتٍ جَدِيدَةٍ مِن خِلالَ الصُوَرِ الفَضائِيَّةِ، يُمْكِننا إِنْشاءِ فَضاءِ تَضْمِينِ مُشْتَرَكٍ مَعَ أَيّ عَدَدٍ مِن الوَسائِط، جَمِيعُها مُرْتَبِطَةً مِن خِلالَ الجُغْرافِيا. يَحْفِز عَمَلِنا تَطْوِيرِ عَدَدٍ قَلِيلٍ مِن النَماذِجِ المُتَعَدِّدَةِ الاِسْتِخْدامات وَالفَعّالَة، بَدَلاً مِن عَدَدٍ كَبِيرٍ مِن النَماذِجِ أُحادِيَّةُ الوَضْعِ المُحَدَّدَةِ لِلغايَةِ. فِي الأَعْمالِ المُسْتَقْبَلِيَّةِ، نَوَدّ اِسْتِكْشافٍ إِضافَةً المَزِيدِ مِن الوَسائِط بِاِسْتِخْدامِ هٰذا الإِطارِ بِالإِضافَةِ إِلَى إِجْراءِ دِراساتٍ حَوْلَ الخَصائِص الناشِئَةِ.