تمت كتابة هذه الورقة باستخدام LaTeX.
مُلَخَّص
تسعى الطرق الحديثة للتجزئة الدلالية ضعيفة الإشراف (WSSS) إلى دمج المعرفة السياقية لتحسين اكتمال خرائط تنشيط الفئة (CAM). في هذا العمل، نؤكد أن التحيز المعرفي بين الحالات والسياقات يؤثر على قدرة النموذج النمطي على فهم دلالات الحالة بشكل كافٍ. مستوحين من نظرية تعلم النموذج النمطي، نقترح استخدام الوعي بالنموذج النمطي لالتقاط السمات المتنوعة والدقيقة للحالات. تفترض الفرضية أن النماذج النمطية السياقية قد تنشط بشكل خاطئ فئات الأشياء المتشابهة والمتكررة بسبب هذا التحيز المعرفي. لذلك، نقترح تعزيز القدرة التمثيلية للنموذج النمطي من خلال تخفيف التحيز لالتقاط التغطية المكانية بشكل أفضل في مناطق الأشياء الدلالية. لتحقيق هذا الهدف، نقدم استراتيجية التعلم المدرك للنموذج النمطي السياقي (CPAL)، والتي تستفيد من السياق الدلالي لإثراء فهم بنية الحالة. جوهر هذه الطريقة هو التقاط التباينات داخل الفئة في ميزات الأشياء بدقة من خلال النماذج النمطية المدركة للسياق، مما يسهل التكيف مع السمات الدلالية لمختلف الحالات. نقوم بتصميم محاذاة توزيع الميزات لتحسين الوعي بالنموذج النمطي، عبر محاذاة توزيعات ميزات الحالة مع الميزات الكثيفة. بالإضافة إلى ذلك، كما نقترح إطار تدريب موحد يدمج الإشراف التصنيفي الموجه بالتسميات والإشراف الذاتي الموجه بالنماذج النمطية. تظهر النتائج التجريبية على PASCAL VOC 2012 و MS COCO 2014 أن CPAL يحسن بشكل كبير الطرق المتاحة ويحقق أداءً رائداً. المشروع متاح على https://github.com/Barrett-python/CPAL للمزيد من التفاصيل والتطبيق العملي.
مُقَدِّمَة
تُعَدُّ مهمة التجزئة الدلالية أحد أهم المهام في مجال الرؤية الحاسوبية. أصبحت التجزئة الدلالية ضعيفة الإشراف (WSSS) نهجاً شائعاً في المجتمع، حيث تتعلم من تسميات ضعيفة مثل تسميات مستوى الصورة (kolesnikov2016seed, lee2021anti)، أو الخربشات (lin2016scribblesup,vernaza2017learning)، أو مربعات الحدود (dai2015boxsup,lee2021bbam,song2019box)، بدلاً من التعليقات التوضيحية على مستوى البكسل. تستخدم معظم مناهج WSSS خرائط تنشيط الفئة (zhou2016learning) لتوفير إشارات تحديد المواقع للأهداف، وبالتالي ترسم المفاهيم البصرية إلى مناطق البكسل.
المفتاح في WSSS هو توليد خرائط تنشيط الفئة بتغطية أفضل للكائن بالكامل. تهدف الدراسات الحديثة (chang2020weakly,sun2020mining,zhang2020inter,wang2023hunting) بشكل أساسي إلى تحسين دقة تجزئة النموذج واستقراره من خلال دمج المعرفة السياقية. مستوحاة من تقدم تعلم التمثيل (fan2020learning,wu2021embedded)، قدمت بعض الدراسات (li2021group,su2021context,zhang2020causal,zhang2022multi) المعرفة السياقية والمعرفة التمثيلية لنمذجة السياق على نطاق عالمي لتحليل الخصائص الدلالية للعينات بدقة أكبر. ومع ذلك، فهي تتجاهل تحدي التباين الكبير داخل الفئة، أي أن المناطق التي تنتمي إلى نفس الفئة قد تظهر مظهراً مختلفاً جداً حتى في نفس الصورة. يجعل التحيز بين المعرفة السياقية (الميزات العالمية داخل الفئة) والمعرفة المحددة للعينات (الميزات الفريدة) نقل التسميات من مستوى الصورة إلى مستوى البكسل أمراً صعباً. في هذا العمل، نؤكد أن تخفيف التحيز المعرفي بين العينات والسياقات يمكن أن يلتقط مناطق أكثر دقة واكتمالاً. علاوة على ذلك، ندمج إشارات إشرافية إضافية لتسريع تخفيف التحيزات المعرفية.
...
التعلم المدرك لنموذج السياق
مع نماذج الربط الأساسية ومجموعة الجيران المرشحين من القسم [3.2]، تدرك مجموعة الجيران المرشحين أو تدعم ميزة الربط.
تحديد الجار الإيجابي الناعم. ...
توقعات الإيجابية. ...
محاذاة توزيع الميزات. ...
الخلاصة
في هذا العمل، نقترح استراتيجية تعلم جديدة تعتمد على نماذج السياق الواعية بالنموذج (CPAL) لطرق WSSS، والتي تهدف إلى التخفيف من التحيز المعرفي بين الحالات والسياقات. تقوم هذه الطريقة بتعديل خصائص الميزات الفعالة في مجموعات السياق وتختار وتعدل نماذج السياق بشكل تكيفي لتعزيز قدرات التمثيل. جوهر هذه الطريقة هو الوعي بالنموذج، والذي يتحقق من خلال نماذج واعية بالسياق لالتقاط التباين داخل الفئة ومحاذاة توزيع الميزات بدقة. تظهر التجارب الموسعة تحت إعدادات مختلفة أن الطريقة المقترحة تتفوق على الطرق الحديثة الأخرى، مما يؤكد فعالية CPAL لدينا.