latex
ملخص
تعتمد تطبيقات المراقبة الأرضية التي تتعامل عادةً مع مصادر بيانات معقدة ومتنوعة على نماذج التعلم الآلي. ومع ذلك، هناك افتراض شائع بأن مصادر البيانات ستكون متاحة بشكل مستمر. يمكن أن تؤثر حالات مختلفة على توفر مصادر المراقبة الأرضية، مثل الضوضاء، السحب، أو فشل مهام الأقمار الصناعية. في هذا العمل، نقوم بتقييم تأثير فقدان مصادر المراقبة الأرضية الزمنية والثابتة في النماذج المدربة عبر أربع مجموعات بيانات تشمل مهام التصنيف والانحدار. نقارن جودة التنبؤ للطرق المختلفة ونجد أن بعضها أكثر قدرة على تحمل فقدان البيانات. تحقق استراتيجية الانسامبل، على وجه الخصوص، قدرة تنبؤية تصل إلى 100%. نوضح أن سيناريوهات البيانات المفقودة تمثل تحدياً أكبر بكثير في مهام الانحدار مقارنة بمهام التصنيف. وأخيراً، نجد أن الواجهة البصرية هي الأكثر أهمية عندما تكون مفقودة بشكل فردي.
مقدمة
تستفيد العديد من الحلول المعتمدة على البيانات في الاستشعار عن بعد من مصادر بيانات متعددة (garnot2022multi, mena2022common). الهدف من استخدام هذه المصادر هو تعزيز وتكملة المعلومات حول الملاحظات الفردية للمهمة المحددة. توفر الأدبيات دليلاً على أن إدراج بيانات إضافية حاسم لإثراء التوصيف وتحسين جودة التنبؤ (garnot2022multi, hong2020more, mena2023comparative). ومع ذلك، قد لا يكون الافتراض القائل بأن مصادر البيانات متاحة دائماً صحيحاً.
هناك مواقف مختلفة قد لا تتوفر فيها مصادر البيانات. قد يكون لأجهزة الاستشعار عن بعد عمر محدود (على سبيل المثال، بناءً على استهلاك الوقود)، وقد تتأثر بالضوضاء (hong2020more) أو بالغيوم في حالة المستشعرات البصرية (garnot2022multi). بالإضافة إلى ذلك، يمكن أن تؤدي الأخطاء غير المتوقعة إلى إنهاء العمليات مبكراً، مثل فشل القمر الصناعي Sentinel-1B في عام 2021.
على الرغم من التركيز البحثي على نماذج التعلم متعدد الواجهات (mvl) الأكثر تعقيداً (mena2022common), فإن القليل من الأعمال استكشفت تحدي الواجهات المفقودة. اقترح Srivastava وآخرون (srivastava2019understanding) تقنية لاسترجاع عينة مماثلة عند فقدان واجهة واحدة. أظهر Hong وآخرون (hong2020more) أن تنبؤات نماذج التعلم متعدد الواجهات تتأثر بشكل أقل عند فقدان بعض الواجهات. أظهر Gawlikowski وآخرون (gawlikowski2023handling) أن فقدان الواجهة البصرية يؤثر على التنبؤات أكثر من فقدان الواجهة الرادارية. على عكس الأعمال السابقة، نقدم دراسة تشمل أربع مجموعات بيانات تضم بيانات زمنية وثابتة.
نستكشف السؤال البحثي التالي: ما هو تأثير فقدان الواجهات في نماذج التعلم متعدد الواجهات القائمة على مصادر الاستشعار عن بعد الزمنية والثابتة؟ تعتبر تحليلاتنا حالة خاصة من انتقال المجال، حيث يكون التغيير في توزيع البيانات نتيجة فقدان تلك الواجهات أثناء الاستدلال. بناءً على نتائج متانة التنبؤ في ظل فقدان البيانات، نطرح توصيات لاختيار النموذج المناسب تبعاً لنوع المهمة ومدخلات الاستشعار المتاحة. علاوة على ذلك، تساعد هذه الدراسة على فهم مدى حساسية النماذج لكل واجهة مستعملة.
التعلم متعدد الواجهات والواجهات المفقودة
تتكون إعدادات التعلم متعدد الواجهات من وجود واجهات متعددة كمدخلات لنموذج التعلم الآلي لتعزيز جودة التنبؤ (mena2022common). يمكن أن تمثل الواجهة أي مجموعة من الميزات أو مصادر البيانات التي تعكس وجهة نظر مختلفة لكل عينة، مثل الصور البصرية أو الرادارية، مؤشرات الغطاء النباتي، معلومات التضاريس، أو البيانات الوصفية.
استكشفت العديد من الأعمال نماذج التعلم متعدد الواجهات باستخدام الشبكات العصبية لدمج مثالي للبيانات (garnot2022multi, mena2023comparative). تستخدم بعض النماذج استراتيجيات دمج الإدخال، الميزة، أو القرار، حيث يحدد الاسم الطبقة التي يحدث عندها الدمج (الأولى، الوسطى، أو الأخيرة على التوالي). بالإضافة إلى ذلك، في استراتيجية الانسامبل (mena2023comparative)، يتم تجميع التنبؤات الصادرة عن النماذج المخصصة لكل واجهة.
أثناء الاستدلال، يعتبر فقدان الواجهات حالة خاصة من تحول المجال (gawlikowski2023handling). بفقدانها، ينحرف توزيع المدخلات عن تدريب النموذج، مما يؤدي إلى سيناريو لم يتم التدريب عليه مباشرة. يتوفر بعض الأساليب التي يمكن تطبيقها على النماذج المدربة للتخفيف من هذا التأثير فيما يلي.
التقدير. تقنية بسيطة لملء الواجهات المفقودة (hong2020more)، حيث نستخدم متوسط كل واجهة في بيانات التدريب كقيمة تقديرية بديلة.
النموذج. بدلاً من التقدير الثابت، يمكن استبدال الواجهة المفقودة بعينة مماثلة من بيانات التدريب. نعتمد طريقة Srivastava وآخرون (srivastava2019understanding) التي تبحث عن الواجهة المفقودة باستخدام الواجهات المتاحة في فضاء مشترك مُسقط بواسطة CCA.
التجاهل. تتكيف بعض النماذج مع الواجهات المفقودة عبر دمج ديناميكي. في استراتيجية الانسامبل، تُحذف تنبؤات النموذج المخصص للواجهة المفقودة من التجميع. وبالمثل، في استراتيجيات دمج الميزات، تُتجاهل ميزات الواجهة المفقودة عند حساب المتوسط. كما ندرج نموذج دمج موجه (mena2023comparative) يعيد تطبيع الأوزان للواجهات المتاحة بعد حذف المفقودة.
التقييم
مجموعات البيانات
فيما يلي وصف لأربع مجموعات بيانات استخدمت في هذه الدراسة، ويعرض الجدول [tab:data] بعض خصائصها.
بيانات الحصاد الزراعي الثنائية: نستخدم بيانات الحصاد الزراعي للتعرف على المحاصيل في مهمة ثنائية (tseng2021crop)، حيث نحدد وجود محصول معين أو عدمه في موقع محدد خلال موسم محدد. المدخلات هي الصور البصرية (من S2) والرادارية (من S1)، وسلاسل زمنية للطقس. تمت إعادة تحديد العينات شهرياً لمدة عام، ويتوفر أيضاً طابع ثابت يمثل التضاريس.
بيانات الحصاد الزراعي المتعددة: نسخة متعددة الفئات من بيانات الحصاد الزراعي التي تضم 10 فئات (tseng2021crop). نستخدم نفس المدخلات كالسابق.
محتوى الرطوبة متعدد الواجهات: مجموعة لتقدير محتوى الرطوبة النباتية (rao2020sar)، حيث نتنبأ بنسبة الماء في النباتات بالنسبة للكتلة الجافة. المدخلات هي الصور البصرية (من L8) وسلاسل زمنية رادارية (من S1) تمت إعادة تحديدها شهرياً على مدى 4 أشهر، بالإضافة إلى بيانات طوبوغرافية وخصائص التربة وارتفاع الغطاء النباتي وفئة تغطية الأرض.
تقدير محصول الحبوب متعدد الواجهات: مجموعة لتقدير محصول الحبوب (perich2023pixel) في مهمة انحدار، حيث نتنبأ بالطن لكل هكتار خلال موسم النمو. المدخلات هي الصور البصرية (من S2) وسلاسل زمنية للطقس المحاذية تواريخها (عينة كل 5 أيام).
إعدادات التجربة
نطبق تسوية للقيم ونرمز العروض الفئوية والترتيبية بترميز المتجه الساخن. نستخدم مشفّرات متعددة الطبقات للعروض الثابتة، وشبكات تلافيفية أحادية البعد للعروض الزمنية (باستثناء بيانات الرطوبة حيث نستخدم شبكة متكررة مع وحدات LSTM). تتألف المشفّرات من طبقتين بأبعاد 128، ويعقبها شبكة تنبؤ متعددة الطبقات بطبقة مخفية واحدة من 128 وحدة. نستخدم محسن ADAM مع حجم دفعة 128 وتوقف مبكر. دالة الخسارة هي الانتروبيا المتقاطعة للتصنيف والخطأ التربيعي الوسطي للانحدار.
تُجرى التجارب باستخدام التحقق المتقاطع 10-أضعاف. نقيس جودة التنبؤ بالدقة المطلقة في التصنيف ومعامل التحديد في الانحدار. نُدرج نتائج هاينريش وآخرون (heinrich2023targeted) للمقارنة، عبر مقارنة الخطأ مع عروض مفقودة بنفسه مع الخطأ عندما تكون كل العروض متاحة.
سيناريوهات الواجهة المفقودة
ينطلق تقييمنا من نماذج مدربة باستخدام جميع الواجهات. يُنشأ سيناريو الواجهات المفقودة عبر إجراء التنبؤات بواجهات أقل من تلك المستخدمة في التدريب. نجري تجارب بدرجات نقص معتدلة (عند غياب الرادار أو غياب البصري)، ومتوسطة (وجود الرادار والبصري فقط)، وشديدة (عرض واحد فقط: راداري أو بصري). نقارن التقنيات الموصوفة في القسم [sec:methods]، بما في ذلك نموذجين مع استراتيجية الإدخال (Input-concat, Feature-concat )، ثلاثة نماذج مع تقنيات التجاهل (Feature-avg, Ensemble-avg, Feature-gated )، ونموذج واحد مع دمج الميزات عبر CCA (Feature-cca).
نتائج التجربة
في الجداول [tab:missing:aa:cropB]-[tab:missing:aa:cropM] نعرض جودة التنبؤ في مهام التصنيف. تنخفض نتائج دمج المدخلات بشكل ملحوظ عند فقدان الواجهات. لوحظ أن تقنيات دمج الميزات مع التجاهل (متوسط الميزات وبوابة الميزات) تخفف من تأثير الفقدان أكثر من تقنيات التقدير أو النموذج (دمج الميزات وCCA). ومع ذلك، لا تصل إلى المتانة التي يوفرها متوسط الانسامبل، وهو الأقل تأثراً بالواجهات المفقودة.
تشبه النتائج في مهام الانحدار (الجداول [tab:missing:r2:lfmc]-[tab:missing:r2:yield])، باستثناء أن نماذج دمج الميزات مع التجاهل تصبح سلبية في بعض سيناريوهات الفقدان. كما أن متوسط الانسامبل يحقق أداءً متوسطاً \( \approx 0.3 \) في السيناريوهات غير القاسية.
في منحنيات القوة (الشكل [fig:prs:cropbinary] و[fig:prs:lfmc])، نؤكد مرة أخرى التأثير الأقل للواجهات المفقودة عند استخدام تقنيات التجاهل. حقق متوسط الانسامبل قيمة قريبة من واحد في بعض الحالات، مما يعني أن الخطأ مع الفقدان لا يتجاوز الخطأ دون فقدان. بيد أن هناك تغيرات سلبية في بعض السيناريوهات، مثل غياب الرادار في بيانات المحاصيل الثنائية (PRS=1) أو الأداء الضعيف نسبياً في بيانات الرطوبة (R² منخفض). كما تتمتع طريقة دمج الميزات بقوة أعلى من متوسط الميزات وبوابة الميزات في الانحدار، بينما تعاني CCA من قوة منخفضة خاصة في الانحدار (PRS= 0 في بعض السيناريوهات).
بشكل عام، يعتمد تأثير الواجهات المفقودة على النموذج وكيفية التعامل معها، كما أظهرت الدراسات السابقة (hong2020more, garnot2022multi, gawlikowski2023handling). يزداد التأثير السلبي من ترتيبات النقص المعتدلة إلى القصوى. بالإضافة إلى ذلك، يتبين أن فقدان الواجهة البصرية يؤثر أكثر من فقدان الرادار، مما يعكس أهميتها الأكبر لتطبيقات المراقبة الأرضية. وتظل الواجهات الثانوية، كالبيانات الثابتة والجوية، مصادر معلومات قيمة.
الخلاصة
في هذا العمل، قمنا بتقييم تأثير فقدان الواجهات في نماذج التعلم متعدد الواجهات عبر مهام متنوعة تشمل بيانات زمنية وثابتة. أظهرنا أن فقدان واجهات محددة (مثل البصرية) يؤدي إلى انخفاض ملحوظ في جودة التنبؤ، وأن التأثير يزداد مع عدد الواجهات المفقودة. مع ذلك، يمكن تعزيز متانة التنبؤ بتصميم آليات تكيفية مع الواجهات المفقودة. وعلاوة على ذلك، يكون فقدان الواجهات أكثر حدة في مهام الانحدار مقارنة بمهام التصنيف. بناءً على النتائج، نوصي بما يلي لاختيار النموذج في سيناريوهات الواجهات المفقودة: إذا كانت الواجهات المتبقية كافية للتفرقة والتحقيق بدقة، فاستعن باستراتيجية الانسامبل التي تتجاهل التنبؤات الناقصة؛ وإلا استخدم استراتيجية دمج الميزات مع تجاهل الواجهات المفقودة في التصنيف، أو معالجتها صراحة في مهام الانحدار. ركز البحث المستقبلي على تعديل تعلم النماذج ليأخذ بعين الاعتبار الفقدان أثناء التدريب.