تقييم تأثير البيانات المفقودة في تنبؤات النماذج لتطبيقات المراقبة الأرضية

Francisco Mena

Diego Arenas

Marcela Charfuelan

Marlon Nuske

Andreas Dengel

latex

ملخص

تعتمد تطبيقات المراقبة الأرضية التي تتعامل عادةً مع مصادر بيانات معقدة ومتنوعة على نماذج التعلم الآلي. ومع ذلك، هناك افتراض شائع بأن مصادر البيانات ستكون متاحة بشكل مستمر. يمكن أن تؤثر حالات مختلفة على توفر مصادر المراقبة الأرضية، مثل الضوضاء، السحب، أو فشل مهام الأقمار الصناعية. في هذا العمل، نقوم بتقييم تأثير فقدان مصادر المراقبة الأرضية الزمنية والثابتة في النماذج المدربة عبر أربع مجموعات بيانات مع مهام التصنيف والانحدار. نقارن جودة التنبؤ للطرق المختلفة ونجد أن بعضها أكثر قدرة على تحمل البيانات المفقودة بشكل طبيعي. تحقق استراتيجية الانسامبل، على وجه الخصوص، قدرة تنبؤية تصل إلى 100%. نوضح أن سيناريوهات البيانات المفقودة تمثل تحدياً أكبر بكثير في مهام الانحدار مقارنة بمهام التصنيف. وأخيراً، نجد أن الرؤية البصرية هي الأكثر أهمية عندما تكون مفقودة بشكل فردي.

مقدمة

تستفيد العديد من الحلول المعتمدة على البيانات في الاستشعار عن بعد من بيانات مصادر متعددة (garnot2022multi, mena2022common). الهدف من استخدام مصادر متعددة هو تعزيز وتكملة المعلومات حول الملاحظات الفردية (أو الآراء) للمهمة المحددة. توفر الأدبيات دليلاً على أن إدراج بيانات إضافية أمر حاسم لإثراء التوصيف وتحسين الجودة التنبؤية (garnot2022multi, hong2020more, mena2023comparative). ومع ذلك، قد لا يكون الافتراض القائل بأن مصادر البيانات متاحة دائماً صحيحاً.

هناك مواقف مختلفة قد لا تتوفر فيها مصادر البيانات. قد يكون لأجهزة الاستشعار عن بعد المحددة عمر محدود (على سبيل المثال، بناءً على استهلاك الوقود)، وقد تتأثر بالضوضاء (hong2020more) أو السحب في حالة أجهزة الاستشعار البصرية (garnot2022multi). بالإضافة إلى ذلك، يمكن أن تؤدي الأخطاء غير المتوقعة إلى إنهاء العمليات مبكراً، مثل فشل القمر الصناعي Sentinel-1B في عام 2021.

على الرغم من التركيز البحثي على نماذج التعلم متعدد الآراء (mvl) الأكثر تعقيداً (mena2022common)، فقد استكشفت أعمال قليلة تحدي الآراء المفقودة، وخاصة مصادر البيانات المفقودة. اقترح Srivastava وآخرون (srivastava2019understanding) تقنية لاسترجاع عينة مماثلة عند فقدان رأي واحد. أظهر Hong وآخرون (hong2020more) أن تنبؤات نماذج التعلم متعدد الآراء تتأثر بشكل أقل عند فقدان الآراء. أظهر Gawlikowski وآخرون (gawlikowski2023handling) أن فقدان الرؤية البصرية يؤثر على التنبؤات أكثر من فقدان الرؤية الرادارية. على عكس الأعمال الحديثة، نقدم دراسة حول مجموعات بيانات متعددة تشمل البيانات الزمنية والثابتة.

نستكشف السؤال البحثي التالي: ما هو تأثير الآراء المفقودة في نماذج التعلم متعدد الآراء مع مصادر الاستشعار عن بعد الزمنية والثابتة؟ تعتبر تحليلاتنا حالة خاصة من انتقال المجال، حيث يكون التغيير هو البيانات المفقودة أثناء الاستدلال. استناداً إلى نتائج متانة التنبؤ للبيانات المفقودة، يتيح لنا ذلك صياغة نصائح حول اختيار النموذج بناءً على نوع المهمة والمدخلات المتاحة. علاوة على ذلك، يمكن أن تكون هذه الدراسة وسيلة لمراقبة وفهم تأثير الآراء المحددة في النماذج المدربة، فضلاً عن حساسية هذه النماذج للبيانات المفقودة.

التعلم متعدد الواجهات والواجهات المفقودة

تتكون إعدادات التعلم متعدد الواجهات من وجود واجهات متعددة كبيانات إدخال لنموذج التعلم الآلي لتحسين جودة التنبؤ (mena2022common). يمكن أن تكون الواجهة أي مجموعة من الميزات أو مصادر البيانات التي تعبر عن وجهة نظر مختلفة لكل عينة، مثل الصور البصرية أو الرادارية، مؤشرات الغطاء النباتي، معلومات التضاريس أو البيانات الوصفية.

لقد استكشفت العديد من الأعمال في الأدبيات نماذج تعلم متعدد الواجهات باستخدام الشبكات العصبية لتحقيق دمج مثالي للبيانات (garnot2022multi, mena2023comparative). تستخدم بعض نماذج تعلم متعدد الواجهات القياسية استراتيجيات دمج الإدخال، الميزة، أو القرار، حيث يشير الاسم إلى الجزء من بنية النموذج الذي يتم فيه وضع الدمج (الطبقة الأولى، الوسطى، أو الأخيرة على التوالي). بالإضافة إلى ذلك، في استراتيجية الانسامبل (mena2023comparative)، يتم تجميع التنبؤات من النماذج المخصصة للواجهات (المدربة مسبقاً).

أثناء الاستدلال، يمكن اعتبار حدوث واجهات مفقودة كحالة خاصة من تحول المجال (gawlikowski2023handling). من خلال فقدان الواجهات، تنحرف بيانات الإدخال عن توزيع التدريب، مما يؤدي إلى سيناريو لم يكن النموذج مستعداً له. ومع ذلك، هناك بعض التقنيات المطبقة على النماذج المدربة التي يمكن أن تخفف من هذا التأثير، والتي نصفها أدناه.

التقدير. تقنية بسيطة هي ملء الواجهات المفقودة (hong2020more). نظراً لأننا نعتبر الحالة التي تكون فيها الواجهة المفقودة مصدر بيانات كامل، لا توجد ميزات متاحة لتقنيات الاستيفاء أو الرسم الداخلي. لذلك، نستخدم متوسط كل واجهة في بيانات التدريب كقيمة للتقدير، حيث إنها توفر معلومات أكثر من قيمة عشوائية.

النموذج. استناداً إلى استرجاع المعلومات، يمكن استبدال الواجهة المفقودة بعينة مماثلة من خلال البحث في مجموعة التدريب. نعتمد التقنية في (srivastava2019understanding) التي تبحث عن الواجهة المفقودة باستخدام الواجهات المتاحة في مساحة مشتركة. يتم الحصول على المساحة بالإسقاط (عبر CCA) من الميزات المستخرجة من أي نموذج تعلم متعدد الواجهات منفصل.

التجاهل. تم تكييف بعض نماذج تعلم متعدد الواجهات للتعامل مع الواجهات المفقودة من خلال دمج ديناميكي. في استراتيجية الانسامبل، يتم حذف التنبؤات للنموذج المخصص للواجهة المفقودة في التجميع. بالمثل، مع دمج الميزات، يتم تجاهل ميزات الواجهات المفقودة عند استخدام المتوسط كوظيفة دمج. علاوة على ذلك، ندرج نموذج تعلم متعدد الواجهات مع دمج موجه (mena2023comparative) يعيد تطبيع الأوزان الموجهة بناءً على الواجهات المتاحة (يتم حذف الواجهات المفقودة).

التقييم

مجموعات البيانات

فيما يلي نصف أربع مجموعات بيانات استخدمت في هذه الدراسة، ويعرض الجدول [tab:data] بعض خصائص هذه المجموعات.

بيانات الحصاد الزراعي الثنائية: نستخدم بيانات الحصاد الزراعي للتعرف على المحاصيل متعددة الواجهات (tseng2021crop). هذه مهمة ثنائية يتم فيها التنبؤ بوجود أو عدم وجود محصول معين في موقع معين خلال موسم معين. المدخلات هي الصور البصرية (من S2)، والرادار (من S1)، وسلاسل زمنية للطقس. تم إعادة تحديد عينات هذه الواجهات الزمنية شهرياً لمدة عام. واجهة نظر إضافية ثابتة هي المعلومات الطبوغرافية.

بيانات الحصاد الزراعي المتعددة: نستخدم نسخة متعددة المحاصيل من بيانات الحصاد الزراعي مع 10 فئات، انظر (tseng2021crop) للتفاصيل. نستخدم نفس المدخلات كما في بيانات الحصاد الزراعي الثنائية.

محتوى الرطوبة متعدد الواجهات: نستخدم مجموعة بيانات لتقدير محتوى الرطوبة متعدد الواجهات (rao2020sar). هذه مهمة انحدار حيث يتم التنبؤ بنسبة الماء في النباتات مقارنة بالكتلة الجافة (بالنسبة المئوية) في موقع معين في لحظة محددة. المدخلات هي الصور البصرية (من L8) وسلاسل زمنية للرادار (من S1). تم إعادة تحديد عينات هذه الواجهات شهرياً على مدى 4 أشهر. واجهات نظر إضافية ثابتة هي المعلومات الطبوغرافية، خصائص التربة، ارتفاع الغطاء النباتي، وفئة تغطية الأرض.

تقدير محصول الحبوب متعدد الواجهات: نستخدم مجموعة بيانات لتقدير محصول الحبوب متعدد الواجهات (perich2023pixel)، مع التركيز على الحبوب. هذه مهمة انحدار حيث يتم التنبؤ بكمية المحصول (بالطن لكل هكتار) التي تمت زراعتها في موقع معين خلال موسم النمو. المدخلات هي الصور البصرية (من S2)، وسلاسل زمنية للطقس. تم محاذاة واجهة الطقس مع السلسلة الزمنية البصرية (عينة كل 5 أيام) من البذر حتى الحصاد (طول متغير).

إعدادات التجربة

نطبق تسوية القيم الزائدة على البيانات المدخلة. يتم ترميز العرض الفئوي والترتيبي (تغطية الأرض وارتفاع الغطاء النباتي) بترميز المتجه الساخن. نستخدم شبكة عصبية متعددة الطبقات كمشفر للعروض الثابتة. بالنسبة للعروض الزمنية، نستخدم شبكة تلافيفية أحادية البعد، باستثناء بيانات محتوى الرطوبة القابلة للاشتعال حيث نستخدم شبكة متكررة (مع وحدات متكررة مسيطَر عليها) كمشفر. نستخدم طبقتين بأبعاد 128 في المشفرات، وشبكة عصبية متعددة الطبقات بطبقة مخفية واحدة من 128 وحدة كرأس تنبؤ. يستخدم محسن ADAM مع حجم دفعة 128 وتوقف مبكر. تكون دالة الخسارة هي الانتروبيا المتقاطعة في التصنيف والخطأ التربيعي الوسطي في مهمة الانحدار.

نقوم بالتدريب والتقييم باستخدام التحقق المتقاطع 10-أضعاف. يتم قياس جودة التنبؤ بالدقة المطلقة في التصنيف، ومعامل التحديد في الانحدار. ندرج النتائج المقدمة من قبل هاينريش وآخرون (heinrich2023targeted). تعتمد على الخطأ في التنبؤات مع العروض المفقودة مقارنة بنفس الخطأ عند توفر جميع العروض.

سيناريوهات العرض المفقود

تعتمد التقييمات على نماذج تم تدريبها باستخدام جميع العروض. يتكون سيناريو العروض المفقودة من إجراء التنبؤات على طية التحقق باستخدام عدد أقل من العروض المتاحة مقارنة بفترة التدريب. نجري تجارب مع درجة معتدلة من النقص، كما في الحالة التي يكون فيها الرادار فقط مفقوداً، وعندما يكون البصري مفقوداً؛ درجة نقص متوسطة، عندما تكون جميع العروض الأخرى مفقودة باستثناء الرادار والبصري (الاستدلال باستخدام الرادار والبصري)؛ ودرجة نقص شديدة، عندما تكون جميع العروض مفقودة باستثناء واحدة: استدلال بعرض واحد فقط باستخدام الرادار أو البصري. نقارن التقنيات الموصوفة في القسم [sec:methods]. نموذجين من نماذج Multi-View Learning مع تقنية الإدخال: الإدخال والميزة مع الدمج (Input-concat, Feature-concat). ثلاثة نماذج من Multi-View Learning مع تقنيات التجاهل: الميزة والتجميع مع التوسيط (Feature-avg, Ensemble-avg)، والميزة مع الدمج الموجه (Feature-gated). وأخيراً، نموذج واحد من Multi-View Learning يعتمد على دمج الميزات مع تقنية النموذج الأسوة (Feature-cca، انظر القسم [sec:methods] للتفاصيل).

نتائج التجربة

في الجداول [tab:missing:aa:cropB]-[tab:missing:aa:cropM] نعرض جودة التنبؤ في مهام التصنيف. تنخفض نتائج طريقة دمج المدخلات بشكل ملحوظ عندما تكون العروض مفقودة. لوحظ أنه عند استخدام تقنيات دمج الميزات مع تقنيات التجاهل (متوسط الميزات، بوابة الميزات) يتم التخفيف من تأثير العروض المفقودة أكثر من استخدام تقنيات الاستبدال أو النموذج (دمج الميزات، تحليل المكونات القانونية للميزات). ومع ذلك، لا تحقق هذه القيم التي يحققها متوسط الانسامبل، والذي هو الأقل تأثراً بالعروض المفقودة.

نلاحظ نتائج مماثلة في مهام الانحدار، كما هو موضح في الجداول [tab:missing:r2:lfmc]-[tab:missing:r2:yield]، باستثناء عند استخدام تقنيات التجاهل. تصبح تنبؤات نماذج دمج الميزات التي تستخدم تقنيات التجاهل أسوأ، حتى تصل إلى قيم سالبة عند وجود عروض مفقودة. بالإضافة إلى ذلك، فإن نتائج طريقة متوسط الانسامبل في بيانات سيئة نسبياً (\( \approx 0.3\)) بدون أو بدرجة معتدلة من العروض المفقودة.

لنتائج القوة في الشكل [fig:prs:cropbinary] و [fig:prs:lfmc]، نؤكد على التأثير الأقل للعروض المفقودة في النماذج عند استخدام تقنيات التجاهل. حصلت طريقة متوسط الانسامبل على قيمة قريبة من واحد في بعض الحالات، مما يعني أن خطأ التنبؤات مع العروض المفقودة أقل أو مماثل للخطأ في التنبؤات بدون عروض مفقودة. ومع ذلك، هذا متوسط، حيث لا تزال هناك تغييرات سلبية في جودة التنبؤ، مثل عندما يكون الرادار مفقوداً في بيانات (الجدول [tab:missing:aa:cropB]، مع PRS من واحد)، أو جودة تنبؤية سيئة نسبياً، كما في بيانات (الجدول [tab:missing:r2:lfmc]). نلاحظ أن طريقة دمج الميزات لديها قوة أعلى من متوسط الميزات وبوابة الميزات في الانحدار. بالإضافة إلى ذلك، فإن طريقة تحليل المكونات القانونية للميزات لديها قوة منخفضة جداً، خاصة في مهام الانحدار، حيث تصل إلى PRS من 0 في بعض السيناريوهات.

بشكل عام، نلاحظ أن تأثير العروض المفقودة يعتمد على النموذج بالإضافة إلى كيفية التعامل مع العروض المفقودة، كما أظهرت الأعمال السابقة (hong2020more, garnot2022multi, gawlikowski2023handling). يزداد التأثير السلبي للعرض المفقود من الدرجة المعتدلة إلى الدرجة المتوسطة ثم إلى الدرجة القصوى. بالإضافة إلى ذلك، نلاحظ أن تأثير فقدان العرض البصري أقوى من فقدان الرادار. هذا يعني أن العرض البصري أصعب في التعويض من غيره، مما يعكس أهميته الأكبر لتطبيقات المراقبة الأرضية المدروسة. لا تزال البيانات الثانوية، مثل العروض الثابتة والجوية، توفر معلومات قيمة للنماذج. على سبيل المثال، تصبح جودة التنبؤ لبعض الطرق في بيانات سيئة جداً عندما تكون العروض الثابتة مفقودة، وفي حالات أخرى، تصبح بعضها أسوأ بكثير عندما تكون العروض الجوية والثابتة مفقودة مقارنة بالعرض البصري.

الخلاصة

في هذا العمل، قمنا بتقييم تأثير النواحي المفقودة في نماذج التعلم متعدد النواحي عبر مهام متنوعة مع بيانات السلاسل الزمنية وبيانات الرصد الأرضي الثابتة. أظهرنا أن فقدان نواحي معينة (مثل البصرية) يؤثر بشكل كبير على جودة التنبؤ، ومع زيادة عدد النواحي المفقودة، يزداد التأثير السلبي أيضاً. مع ذلك، يمكن تحسين متانة التنبؤ بتصميم طريقة قابلة للتكيف مع النواحي المفقودة. بالإضافة إلى ذلك، بسبب الاختلافات في التنبؤ بقيمة مستمرة مقابل قيمة فئوية، يكون تأثير النواحي المفقودة أكثر حدة في مهام الانحدار مقارنة بمهام التصنيف. استناداً إلى النتائج، نقدم النصائح التالية لاختيار النموذج في سيناريوهات النواحي المفقودة: إذا كانت النواحي كافية للتمييز للسماح بالتنبؤات الفردية للمهمة، استخدم استراتيجية الانسامبل التي تتجاهل التنبؤات المفقودة، وإلا استخدم استراتيجية دمج الميزات متجاهلاً النواحي المفقودة في التصنيف، أو معالجة النواحي المفقودة في مهام الانحدار. بما أننا استكشفنا حالة نماذج التعلم متعدد النواحي المدربة، سيركز البحث المستقبلي على تعديل تعلم النموذج.