LaTeX

ملخص

تعتمد تطبيقات الرصد الأرضي التي تتعامل عادةً مع مصادر بيانات معقدة ومتنوعة على نماذج التعلم الآلي. ومع ذلك، يُفترض غالباً أن هذه المصادر متاحة باستمرار. غير أن عوامل عدة قد تؤثر على توفر البيانات، مثل الضوضاء، والسحب، أو فشل مهمات الأقمار الصناعية. في هذا العمل، نقيم تأثير فقدان المصادر الزمنية والثابتة في نماذج التعلم الآلي من خلال أربع مجموعات بيانات تغطي مهام التصنيف والانحدار. نقارن دقة التنبؤ لأساليب مختلفة ونجد أن بعضها أكثر قدرةً على تحمل فقدان البيانات. تبرز استراتيجية الانسامبل بشكل خاص بقدرة تنبؤية تصل إلى 100%. نبيّن أيضاً أن سيناريوهات فقدان البيانات تشكل تحدياً أكبر في مهام الانحدار مقارنةً بالتصنيف. أخيراً، نجد أن الواجهة البصرية هي الأكثر تأثيراً عندما تغيب بمفردها.

مقدمة

تستفيد العديد من الحلول المعتمدة على البيانات في الاستشعار عن بعد من مصادر بيانات متعددة (garnot2022multi, mena2022common). الهدف من استخدام هذه المصادر هو تعزيز المعلومات حول الملاحظات الفردية للمهمة المحددة. توفر الأدبيات دليلاً على أن إدراج بيانات إضافية أمرٌ حاسمٌ لإثراء الوصف وتحسين جودة التنبؤ (garnot2022multi, hong2020more, mena2023comparative). ومع ذلك، قد لا يكون الافتراض القائل بأن مصادر البيانات متاحة دائماً صحيحاً.

هناك مسببات عديدة قد تؤدي إلى انعدام توفر مصادر البيانات. فقد يكون لأجهزة الاستشعار عن بعد عمرٌ تشغيلي محدود (مثلاً بسبب استهلاك الوقود)، وقد تتأثر بالضوضاء (hong2020more) أو بالسحب في حالة المستشعرات البصرية (garnot2022multi). بالإضافة إلى ذلك، يمكن أن تؤدي الأخطاء غير المتوقعة إلى إنهاء العمليات مبكراً، كما حدث مع فشل القمر الصناعي Sentinel-1B في عام 2021.

رغم التركيز البحثي على نماذج التعلم متعدد الواجهات (mvl) الأكثر تعقيداً (mena2022common)، فإن القليل من الأعمال تناول تحدي فقدان الواجهات. اقترح Srivastava وآخرون (srivastava2019understanding) تقنية لاسترجاع عينة مماثلة عند فقدان واجهة واحدة. وأظهر Hong وآخرون (hong2020more) أن تنبؤات نماذج التعلم متعدد الواجهات تتأثر بدرجة أقل عند فقدان بعض الواجهات. كما أظهر Gawlikowski وآخرون (gawlikowski2023handling) أن فقدان الواجهة البصرية يؤثر على التنبؤات أكثر من فقدان الواجهة الرادارية. على عكس هذه الأعمال، نقدم دراسة تشمل أربع مجموعات بيانات تضم مصادر زمنية وثابتة.

نستقصي السؤال البحثي الآتي: ما هو تأثير فقدان الواجهات في نماذج التعلم متعدد الواجهات المعتمدة على مصادر البيانات الزمنية والثابتة في مجال الاستشعار عن بعد؟ تُعدّ هذه الحالة مثالاً على انحراف المجال، إذ يرتكب توزيع المدخلات المنبثقة عن فقدان الواجهات انحرافاً عن التوزيع المستخدم أثناء التدريب. استناداً إلى نتائج المتانة عند فقدان البيانات، نطرح توصيات لاختيار النموذج المناسب تبعاً لنوع المهمة ومدخلات الاستشعار المتاحة. وعلاوةً على ذلك، تسهم هذه الدراسة في فهم حساسية النماذج لكل واجهة مستخدمة.

التعلم متعدد الواجهات وفقدان الواجهات

تقوم إعدادات التعلم متعدد الواجهات على استخدام واجهات متعددة كمدخلات لنموذج التعلم الآلي لتحسين جودة التنبؤ (mena2022common). وقد تمثل الواجهة أي مجموعة من الميزات أو مصادر البيانات التي تعكس وجهة نظر مختلفة لكل عينة، مثل الصور البصرية أو الرادارية، مؤشرات الغطاء النباتي، معلومات التضاريس، أو البيانات الوصفية.

استكشفت العديد من الدراسات نماذج التعلم متعدد الواجهات باستخدام الشبكات العصبية لتحقيق دمج مثالي للبيانات (garnot2022multi, mena2023comparative). تعتمد بعض النماذج استراتيجيات دمج الإدخال أو الميزة أو القرار، حيث يشير الاسم إلى الطبقة التي يتم عندها الدمج (الأولى، الوسطى، أو الأخيرة على التوالي). بالإضافة إلى ذلك، في استراتيجية الانسامبل (mena2023comparative)، تُجمع التنبؤات الصادرة عن النماذج المخصصة لكل واجهة.

أثناء مرحلة الاستدلال، يُعدُّ فقدان الواجهات حالةً خاصةً من انحراف المجال (gawlikowski2023handling). بفقدانها، ينحرف توزيع المدخلات عن توزيع التدريب، مما يؤدي إلى سيناريو لم تتم معالجته أثناء التدريب. فيما يلي بعض الأساليب القابلة للتطبيق على النماذج المدربة للتخفيف من هذا التأثير.

التقدير. تقنية بسيطة لملء الواجهات المفقودة (hong2020more)، حيث نستخدم متوسط كل واجهة في بيانات التدريب كقيمة بديلة.

النموذج. بدلاً من التقدير الثابت، يمكن استبدال الواجهة المفقودة بعينة مماثلة من بيانات التدريب. نعتمد طريقة Srivastava وآخرون (srivastava2019understanding) التي تبحث عن الواجهة المفقودة باستخدام الواجهات المتاحة في فضاء مشترك مُسقط بواسطة CCA.

التجاهل. تتكيف بعض النماذج مع فقدان الواجهات عبر دمج ديناميكي. ففي استراتيجية الانسامبل، تُحذف تنبؤات النموذج المخصص للواجهة المفقودة من التجميع. وبالمثل، في استراتيجيات دمج الميزات، تُتجاهل ميزات الواجهة المفقودة عند حساب المتوسط. كما ندرج نموذج دمج موجه (mena2023comparative) يقوم بإعادة تطبيع أوزان الواجهات المتاحة بعد حذف المفقودة.

التقييم

مجموعات البيانات

فيما يلي وصف لأربع مجموعات بيانات استخدمت في هذه الدراسة، ويعرض الجدول [tab:data] بعض خصائصها.

مجموعة بيانات الحصاد الزراعي ذات التصنيف الثنائي: نعتمد بيانات الحصاد الزراعي في مهمة تصنيف ثنائية (tseng2021crop) لتحديد وجود أو عدم وجود محصول معين في موقع محدد على مدار موسم زراعي. تشمل المدخلات صوراً بصرية (S2) ورادارية (S1)، بالإضافة إلى سلاسل زمنية لبيانات الطقس. أُعيد تجميع العينات على أساس شهري لمدة عام، كما يتوفر ثابت يمثل التضاريس.

مجموعة بيانات الحصاد الزراعي متعددة الفئات: نسخة من المجموعة السابقة تضم 10 فئات (tseng2021crop). نستخدم نفس المدخلات السابقة.

مجموعة بيانات محتوى الرطوبة متعدد الواجهات: مجموعة لتقدير محتوى الرطوبة النباتية (rao2020sar)، حيث نتنبأ بنسبة الماء في النباتات بالنسبة للكتلة الجافة. تشمل المدخلات صوراً بصرية (L8) وسلاسل زمنية رادارية (S1) على مدى 4 أشهر، بالإضافة إلى بيانات طوبوغرافية وخصائص التربة وارتفاع الغطاء النباتي وفئة تغطية الأرض.

مجموعة بيانات تقدير محصول الحبوب متعدد الواجهات: مجموعة لتقدير محصول الحبوب (perich2023pixel) في مهمة انحدار، حيث نتنبأ بالطن لكل هكتار خلال موسم النمو. تشمل المدخلات صوراً بصرية (S2) وسلاسل زمنية للطقس مؤرخة بعينات كل 5 أيام.

إعدادات التجربة

نطبق التسوية على القيم، ونرمز البيانات الفئوية والترتيبية باستخدام الترميز المتجه الحار. نستخدم مشفرات متعددة الطبقات للبيانات الثابتة، وشبكات تلافيف أحادية البعد للبيانات الزمنية (عدا بيانات الرطوبة حيث نستخدم شبكة متكررة بوحدات LSTM). تتألف المشفرات من طبقتين بوسع 128 وحدة لكل منهما، تليها شبكة تنبؤ متعددة الطبقات ذات طبقة مخفية واحدة بحجم 128 وحدة. نعتمد محسن ADAM مع حجم دفعة مقداره 128 وتوقف مبكر. تُستخدم دالة الانتروبيا المتقاطعة للتصنيف والخطأ التربيعي الوسطي للانحدار.

تُجرى التجارب باستخدام تحقق متقاطع بعشر طيات. نقيس جودة التنبؤ بالدقة المطلقة في التصنيف ومعامل التحديد (R²) في الانحدار. نُدرج نتائج هاينريش وآخرون (heinrich2023targeted) للمقارنة، عبر مقارنة الخطأ عند فقدان الواجهات بنفسه مع الخطأ عند توفر جميع الواجهات.

سيناريوهات فقدان الواجهات

تبدأ تقييماتنا من نماذج مدربة على جميع الواجهات. يُنشأ سيناريو فقدان الواجهات عبر إجراء التنبؤات باستخدام عدد من الواجهات أقل مما استُخدم في التدريب. نجري تجارب على ثلاث درجات من النقص: معتدلة (غياب واجهة الرادار أو البصرية)، ومتوسطة (وجود واجهتي الرادار والبصرية فقط)، وشديدة (خلوّ الواجهات إلا واحدة: رادارية أو بصرية). نقارن بين التقنيات الواردة في القسم [sec:methods]، بما في ذلك طريقتان من نوع دمج الإدخال (Input-concat, Feature-concat)، وثلاث طرق من نوع التجاهل (Feature-avg, Ensemble-avg, Feature-gated)، وطريقة واحدة لدمج الميزات عبر CCA (Feature-cca).

نتائج التجربة

في الجداول [tab:missing:aa:cropB]–[tab:missing:aa:cropM] نعرض جودة التنبؤ في مهام التصنيف. ينخفض أداء أساليب دمج الإدخال بشكل ملحوظ عند فقدان الواجهات. في المقابل، تساهم أساليب دمج الميزات مع التجاهل (Feature-avg وFeature-gated) في التخفيف من أثر الفقدان أكثر من أساليب التقدير أو نموذج الاستبدال (Feature-cca). ومع ذلك، فإنها لا ترتقي إلى متانة متوسط الانسامبل (Ensemble-avg)، الذي يعدّ الأقل تأثراً بالواجهات المفقودة.

تشبه نتائج مهام الانحدار (الجداول [tab:missing:r2:lfmc]–[tab:missing:r2:yield])، إلا أن أساليب دمج الميزات مع التجاهل قد تظهر قيماً سالبة لمعامل التحديد في بعض سيناريوهات الفقدان. فيما يحقق متوسط الانسامبل أداءً متوسطاً تقريباً (\( R^2 \approx 0.3\)) في السيناريوهات غير القاسية.

في منحنيات القوة (الشكل [fig:prs:cropbinary] و[fig:prs:lfmc])، نؤكد مرةً أخرى التأثير الأقل لفقدان الواجهات عند استخدام تقنيات التجاهل. حقق متوسط الانسامبل قيمةً قريبةً من واحد في بعض الحالات، مما يعني أن الخطأ عند الفقدان لا يتجاوز الخطأ في حالة توفر جميع الواجهات. بيد أن هناك تراجعاً في بعض السيناريوهات، مثل غياب الرادار في بيانات المحاصيل الثنائية (PRS=1) أو الأداء الضعيف نسبياً في بيانات الرطوبة (R² منخفض). كما تتمتع طريقة دمج الميزات بقوة أعلى من متوسط الميزات وبوابة الميزات في الانحدار، بينما تعاني CCA من قوة منخفضة خاصة في هذه المهمة (PRS= 0 في بعض السيناريوهات).

بشكل عام، يتوقف تأثير فقدان الواجهات على النموذج وطريقة التعامل معها، كما أظهرت الدراسات السابقة (hong2020more, garnot2022multi, gawlikowski2023handling). يزداد التأثير السلبي بزيادة حدة نقص الواجهات من المعتدل إلى الشديد. بالإضافة إلى ذلك، يتبين أن فقدان الواجهة البصرية يؤثر أكثر من فقدان الواجهة الرادارية، مما يعكس أهميتها الأكبر لتطبيقات المراقبة الأرضية، في حين تظل الواجهات الثانوية، كالبيانات الثابتة والجوّية، مصادر معلومات قيمة.

الخلاصة

في هذا العمل، قيّمنا تأثير فقدان الواجهات في نماذج التعلم متعدد الواجهات عبر مهامٍ متنوعة تعتمد على بيانات زمنية وثابتة. أظهرنا أن فقدان واجهاتٍ محددة (مثل الواجهة البصرية) يؤدي إلى تراجع ملحوظ في جودة التنبؤ، وأن حدة التأثير تتصاعد بزيادة عدد الواجهات المفقودة. مع ذلك، يمكن تعزيز متانة التنبؤ بتضمين آليات تكيف مع فقدان الواجهات. فضلاً عن ذلك، يتضح أن فقدان الواجهات أكثر حدة في مهام الانحدار مقارنةً بمهام التصنيف. بناءً على النتائج، نوصي بما يلي لاختيار النموذج في سيناريوهات فقدان الواجهات: إذا كانت الواجهات المتبقية كافية للتفريق بدقة، يُفضّل استخدام استراتيجية الانسامبل التي تتجاهل التنبؤات الناقصة؛ وإلا فيُستحسن تبني استراتيجية دمج الميزات مع تجاهل الواجهات المفقودة في التصنيف، أو معالجتها صراحةً في مهام الانحدار. ينبغي أن يتركز البحث المستقبلي على تعديل عمليات التعلم لاستيعاب فقدان الواجهات أثناء التدريب.