latex
تُعْتَبَر عَمَلِيَّةِ اِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظائِفِ غَيْرِ الخَطِيَّة فِي آنٍ واحِدٍ تَحَدِّيا، خاصَّةٍ فِي السياقات ذاتِ الأَبْعاد العالِيَةِ حَيْثُ يَتَجاوَز عَدَدٍ المُتَغَيِّراتِ حَجْمِ العَيِّنَةُ المُتاحَةِ فِي التنميط. فِي هٰذِهِ المَقالَة، نَسْتَكْشِف مُشْكِلَةِ اِخْتِيارِ المِيزاتِ فِي الشَبَكاتِ العَصَبِيَّةِ. عَلَى الرَغْمِ مِن اِسْتِخْدامِ LASSO الجَماعِيِّ لِاِخْتِيارِ المُتَغَيِّراتِ لِلتَعَلُّمِ مَعَ الشَبَكاتِ العَصَبِيَّةِ، إِلّا أَنَّهُ يَمِيل إِلَى اِخْتِيارِ مُتَغَيِّراتِ غَيْرِ مُهِمَّةً فِي النَمُوذَجِ لِتَعْوِيضِ عَن تُقَلِّصه الزائِد. لِلتَغَلُّبِ عَلَى هٰذا القَيْد، نَقْتَرِح إِطارا لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَفَرِّقَة بِاِسْتِخْدامِ تَنْظِيمِ مُقَعَّر مَجْمُوعَيَّ لِاِخْتِيارِ المِيزاتِ فِي الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة. الفِكْرَةِ الرَئِيسِيَّةِ هِيَ تَطْبِيقِ عُقُوبَةَ مُقَعَّره مُناسَبَةِ عَلَى القاعِدَةِ \(l_2\) للاوزان مِن جَمِيعِ الاِتِّصالاتِ الخارِجَة لِكُلِّ عُقْدَةِ مدخلات، وَبِالتالِي الحُصُولِ عَلَى شَبَكَةِ عَصَبِيَّةُ تُسْتَخْدَم فَقَط مَجْمُوعَةِ فَرْعِيَّةٍ صَغِيرَةٌ مِن المُتَغَيِّراتِ الأَصْلِيَّةِ. بِالإِضافَةِ إِلَى ذٰلِكَ، نُطَوِّر خوارزميه فَعّالَةٍ تَعْتَمِد عَلَى التَحْسِين العَكْسِيّ المساري لِإِنْتاجِ مَساراتٍ حَلٍّ مُسْتَقِرَّةٍ، مِن أَجْلِ التَعامُلِ مَعَ تَحَدِّي المَناظِر الطَبِيعِيَّةِ المُعَقَّدَةِ لِلتَحْسِين. تُظْهِر دِراساتٍ المُحاكاة الواسِعَةِ وَأُمَثِّله البَياناتِ الحَقِيقِيَّةِ الَّتِي أَجْرَيْناها أَداءِ مُرْضِيا لِلعَيْنات المَحْدُودَةَ لِلمُقَدَّر المُقْتَرَحِ، فِي اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ لنمذجه النَتائِجِ المُسْتَمِرَّةِ وَالثُنائِيَّة وَوَقْت الحَدَثِ.
فِي العَقْدِ الماضِي، أَدَّت التَطَوُّراتِ فِي الاِخْتِباراتِ الجُزَيْئِيَّة وَالتَصْوِير وَغَيْرِها مِن الاِخْتِباراتِ المخبريه إِلَى زِيادَةِ الاِهْتِمامِ بِتَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ. تُشِير البَياناتِ ذاتِ الأَبْعاد العالِيَةِ إِلَى مَجْمُوعَةِ بَياناتٍ تَحْتَوِي عَلَى عَدَدٍ كَبِيرٍ مِن المُتَغَيِّراتِ المُلاحَظَةُ مُقارَنَةً بِحَجْمِ العَيِّنَةُ الصَغِيرِ، مِمّا يُشَكِّل تَحَدِّيا كَبِيراً فِي بِناءَ نَماذِجَ دَقِيقَةً وَقابِله لِلتَفْسِير. عَلَى سَبِيلِ المِثالِ، فِي عُلِمَ الأَحْياءِ الحَيَوِيُّ، يَتِمّ اِسْتِخْدامِ مِئاتِ الآلافُ مِن تَعْبِيرات الحَمْضِ النَوَوِيِّ الرِيبِيِّ وَبَياناتِ دِراسَةٌ الاِرْتِباطِ الجيني الواسِعَةِ وَبَياناتِ الميكرواري لِفَهْمِ بِيُولُوجِيّاً الأَمْراض، مَعَ مُشارَكَةِ مِئاتِ المَرْضَى فَقَط (visscher2012five, hertz2016pharmacogenetic, kim2016high, beltran2017impact). لِمُعالَجَةِ لَعْنَةُ الأَبْعاد، أَصْبَحَ اِخْتِيارِ المِيزاتِ خَطْوَةٍ حاسِمَةً فِي تَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ. مِن خِلالَ تَحْدِيدِ المِيزاتِ الأَكْثَرَ تَمْثِيلاً لَتَوْصِيف بِيُولُوجِيّاً الأَمْراض أَو النَتائِجِ، يُمْكِن لِطُرُقِ اِخْتِيارِ المِيزاتِ زِيادَةِ قابِلِيَّةِ تَفْسِيرٍ النَمُوذَجِ وَتَحْسِينِ تَعْمِيمِ النَمُوذَجِ.
هُناكَ طُرُقٍ مُخْتَلِفَةٍ لِاِخْتِيارِ المِيزاتِ، بِما فِي ذٰلِكَ طُرُقٍ الفلتره (koller1996toward, guyon2003introduction, gu2012generalized)، وَطُرُقِ التَغْلِيفِ (kohavi1997wrappers, inza2004filter, tang2014feature)، وَالطُرُقِ المُضَمَّنَة (tibshirani1996regression,zou2006adaptive, fan2001variable,zhang2010nearly). مِن بَيِّنَها، أَصْبَحَت طُرُقٍ الاِنْحِدارِ المُعاقِب شائِعَةٍ جِدّاً فِي تَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ مُنْذُ تَقْدِيمِ مَشْغَل الاِنْكِماشُ وَالاِخْتِيارِ المُطْلَقِ الأَدْنَى (LASSO) (tibshirani1996regression). يُمْكِن لِطَرِيقَةِ الاِنْحِدارِ المُعاقِب أَنَّ تُؤَدِّي تَقْدِيرٍ المُعامَلاتِ وَاِخْتِيارَ المِيزاتِ فِي آنٍ واحِدٍ مِن خِلالَ تَقْلِيصِ بِعَضِّ مُعامَلاتِ المُعَلِّماتُ إِلَى اصفار دَقِيقَةً. بَيْنَما تَمَّ اِسْتِخْدامِ LASSO عَلَى نِطاقِ واسِعٍ لِلحُصُولِ عَلَى تَقْدِيراتِ مُتَفَرِّقَةٌ فِي التَعَلُّمِ الآلِيِّ وَالإِحْصاء، فَإِنَّهُ يَمِيل إِلَى اِخْتِيارِ مُتَغَيِّراتِ غَيْرِ مُهِمَّةً لِتَعْوِيضِ الاِنْكِماشُ الزائِد لِلمُتَغَيِّرات ذاتِ الصِلَةِ (zou2006adaptive). لِمُعالَجَةِ التَحَيُّزِ وَعَدَمِ اِتِّساق اِخْتِيارِ المِيزاتِ لِ LASSO، تَمَّ اِقْتِراحِ عِدَّةٍ طُرُقٍ، بِما فِي ذٰلِكَ LASSO التكيفي (zou2006adaptive)، وَعُقُوبَة الحَدِّ الأَدْنَى المُقَعَّر (MCP) (zhang2010nearly)، وَاِنْحِراف الاِنْقِطاعِ المُطْلَقِ السَلِس (SCAD) (fan2001variable).
وَمَعَ ذٰلِكَ، فَإِنَّ مُعْظَمَ هٰذِهِ الطُرُقِ المُعاقَبَةِ تَفْتَرِض خَطَّيْهِ فِي العَلاقَةِ بَيِّنَ المُتَغَيِّراتِ وَالنَتائِجِ، بَيْنَما قَد لا تَكُون الصِيغَةِ الوَظِيفِيَّة الفِعْلِيَّةِ لِلعَلاقَةِ مُتاحَةٍ فِي العَدِيدَ مِن التَطْبِيقات. تَمَّ اِقْتِراحِ بِعَضِّ التَوَسُّعات غَيْرِ البارامتريه الإِضافِيَّة لِحَلِّ هٰذِهِ المُشْكِلَةِ (cosso,ravikumar2009sparse,meier2009high)، وَلٰكِن نَماذِجها تَعْتَمِد عَلَى مَجامِيع الوَظائِفِ أُحادِيَّةُ البُعْدِ أَو مُنْخَفَضه البُعْدِ وَقَد لا تَكُون قادِرَةٍ عَلَى اِلْتِقاطِ التَفاعُلات المُعَقَّدَةِ بَيِّنَ المُتَغَيِّراتِ المُتَعَدِّدَةِ. يَقْتَرِح (yamada2014high) نَهْجٍ HSIC-LASSO الَّذِي يَسْتَفِيد مِن تَعْلَم النَواةُ لِاِخْتِيارِ المِيزاتِ مَعَ كَشَفَ التَفاعُلات غَيْرِ الخَطِيَّة لِلمِيزات. وَمَعَ ذٰلِكَ، فَإِنَّهُ يُعانِي مِن التَوَسُّعِ التَرْبِيعِيّ فِي التَعْقِيدِ الحِسابِيّ بِالنِسْبَةِ لِعَدَدٍ المُلاحَظاتِ.
تُعْتَبَر الشَبَكاتِ العَصَبِيَّةِ أَدَواتِ قَوِيَّةٍ لنمذجه العَلاقاتِ المُعَقَّدَةِ فِي مَجْمُوعَةِ واسِعَةً مِن التَطْبِيقات، مِن التَعَرُّفُ عَلَى الصُوَرِ (krizhevsky2017imagenet, he2016deep) وَالتَعَرُّف عَلَى الكَلامِ (graves2013speech, chan2016listen) إِلَى مُعالَجَةِ اللُغَةِ الطَبِيعِيَّةِ (young2018recent, devlin2018bert) وَالتَنَبُّؤ المالِيِّ (fischer2018deep). تَمَّ تَحْقِيقِ أَدائِها المُتَقَدِّمِ مِن خِلالَ المَوارِدِ الحِسابِيَّة القَوِيَّةِ وَاِسْتِخْدامِ أَحْجام عَيِّناتٍ كَبِيرَةٍ. عَلَى الرَغْمِ مِن ذٰلِكَ، فَإِنَّ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ لا تَزال يُمْكِن أَنَّ تُؤَدِّي إِلَى التَرْكِيبُ الزائِد وَضُعْفِ أَداءِ التَعْمِيمِ لِلشَبَكات العَصَبِيَّةِ (liu2017deep). مُؤَخَّراً، كانَت هُناكَ تَطَوُّراتِ جَدِيدَةٍ فِي اِسْتِخْدامِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة لِاِخْتِيارِ المِيزاتِ أَو تَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ. تُرَكِّز سِلْسِلَةٍ مِن الأَبْحاثِ عَلَى اِسْتِخْدامِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة، وَخاصَّةً بِاِسْتِخْدامِ تَقْنِيَّةٍ LASSO الجَماعِيَّةِ لِتَعْزِيزِ التَفَرُّق بَيِّنَ عَقْدِ الإِدْخال (liu2017deep, scardapane2017group, feng2017sparse). تُعْتَبَر هٰذِهِ الطُرُقِ جَمِيعِ الاِتِّصالاتِ الصادِرَةِ مِن نيورون إِدْخالُ واحِدٍ كَمَجْمُوعَةٍ وَتُطَبِّق عُقُوبَةَ LASSO عَلَى القاعِدَةِ \(l_2\) لَمُتَّجِهات الوَزْنِ لِكُلِّ مَجْمُوعَةِ. يُمْكِن العُثُورِ عَلَى شَبَكاتِ عَصَبِيَّةُ أُخْرَى مُنْتَظِمه ب LASSO فِي اِخْتِيارِ المِيزاتِ فِي أَعْمالٍ (li2016deep) وَ(lemhadri2021lassonet). وَمَعَ ذٰلِكَ، فَإِنَّ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة الَّتِي تُدْمِج LASSO تُعانِي مِن مَيْلِ إِلَى الاِنْكِماشُ الزائِد لَوَزْن المُتَغَيِّراتِ ذاتِ الصِلَةِ غَيْرِ الصِفْرِيَّة وَتَضُمّ العَدِيدَ مِن الإِيجابِيّات الخاطِئَةِ فِي النَمُوذَجِ المُخْتار. تَمَّ اِسْتِخْدامِ LASSO التكيفي لِتَخْفِيفِ هٰذِهِ المُشْكِلَةِ (dinh2020consistent)، وَمَعَ ذٰلِكَ، فَإِنَّ نَتائِجهم مَحْدُودَةٍ بِالنَتائِجِ المُسْتَمِرَّةِ وَتَفْتَرِض أَنَّ وَظِيفَةٍ الوَسِيطِ الشُرْطِيَّ هِيَ بِالضَبْطِ شَبَكَةِ عَصَبِيَّةُ. تَجاوُزِ العَمَلِ فِي (yamada2020feature) تَنْظِيمِ \(l_1\) مِن خِلالَ إِدْخالُ بَوّابات عَشْوائِيَّةٍ إِلَى طَبَقَةٌ الإِدْخال لِلشَبَكات العَصَبِيَّةِ. اِعْتَبَرُوا تَنْظِيما شَبِيهاً ب \(l_0\) اِسْتِناداً إِلَى اِسْتِرْخاءِ مُسْتَمِرٍّ لِتَوْزِيعِ برنولي. وَمَعَ ذٰلِكَ، تَتَطَلَّب طَرِيقَتِهِم قِيمَةَ قَطْعِ لِاِخْتِيارِ المُتَغَيِّراتِ ذاتِ الإِشاراتِ الضَعِيفَةُ، وَلا تَسْتَطِيع البَوّابَة العَشْوائِيَّةِ اِسْتِبْعادِ المُتَغَيِّراتِ غَيْرِ المُخْتارَة بِشَكْلٍ كامِلٍ خِلالَ مَراحِلِ التَدْرِيبِ وَالتَنَبُّؤ لِلنَمُوذَج.
فِي هٰذِهِ الوَرَقَةَ، نَقْتَرِح إِطارا جَدِيداً لِلشَبَكات العَصَبِيَّةِ ذاتِ الإِدْخال المُتَفَرِّق بِاِسْتِخْدامِ تَنْظِيمِ مُقَعَّر جَماعِيٍّ لِلتَغَلُّبِ عَلَى قُيُودٍ طُرُقٍ اِخْتِيارِ المِيزاتِ الحالِيَّةِ. عَلَى الرَغْمِ مِن أَنَّ العُقُوباتِ المُقَعَّرَة مِثْلَ MCP وَSCAD قَد أَظْهَرَت أَداءِ جَيِّداً فِي الإِعْدادات النَظَرِيَّةِ وَالعَدَدِيَّة لِاِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ، إِلّا أَنَّها لَم تَتَلَقّ نَفْسِ مُسْتَوَى الاِهْتِمامِ مِثْلَ LASSO فِي سِياقِ التَعَلُّمِ الآلِيِّ. يَهْدِف إِطارنا المُقْتَرَحِ إِلَى لَفَتَ الاِنْتِباهِ إِلَى الإِمْكاناتُ غَيْرِ المُسْتَغَلَّة لِلعُقُوبَة المُقَعَّرَة لِاِخْتِيارِ المِيزاتِ فِي الشَبَكاتِ العَصَبِيَّةِ، مِن خِلالَ تَوْفِيرِ نَهْجٍ شامِلٍ لِاِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظائِفِ فِي كُلِّ مِن الإِعْدادات مُنْخَفَضه الأَبْعاد وَذاتِ الأَبْعاد العالِيَةِ. عَلَى وَجْهِ الخُصُوصِ، يُعْتَبَر طَرِيقَتِنا المُقْتَرَحَةِ جَمِيعِ الاِتِّصالاتِ الصادِرَةِ مِن نيورون إِدْخالُ واحِدٍ كَمَجْمُوعَةٍ وَتُطَبِّق عُقُوبَةَ مُقَعَّره مُناسَبَةِ عَلَى القاعِدَةِ \(l_2\) للاوزان لِكُلِّ مَجْمُوعَةِ. مِن خِلالَ تَقْلِيصِ جَمِيعِ الاوزان لَمَجْمُوعات مُعَيَّنَةٍ إِلَى اصفار دَقِيقَةً، فَإِنَّهُ يَحْصُل عَلَى شَبَكَةِ عَصَبِيَّةُ تُسْتَخْدَم مَجْمُوعَةِ صَغِيرَةٌ فَقَط مِن المُتَغَيِّراتِ. بِالإِضافَةِ إِلَى ذٰلِكَ، طَوَّرَنا خوارزميه فَعّالَةٍ اِسْتِناداً إِلَى التَحْسِين العَكْسِيّ لِلمَسار الَّذِي يُنْتِج مَساراتٍ حَلٍّ مُسْتَقِرَّةٍ، لِمُواجَهَةِ تَحَدِّي المَناظِر الطَبِيعِيَّةِ المُعَقَّدَةِ لِلتَحْسِين. تُظْهِر دِراساتٍ المُحاكاة لَدَينا وَأُمَثِّله البَياناتِ الحَقِيقِيَّةِ أَداءِ العَيِّنَةُ المَحْدُودَةَ المَرْضَى لِلتَنْظِيمِ المُقَعَّر الجَماعِيِّ، وَالَّذِي يَتَفَوَّق عَلَى الطُرُقِ الحالِيَّةِ مِن حَيْثُ اِخْتِيارِ المِيزاتِ وَدِقَّة التَنَبُّؤ لنمذجه النَتائِجِ المُسْتَمِرَّةِ وَالثُنائِيَّة وَوَقْت الحَدَثِ.
يَتِمّ تَنْظِيمِ بَقِيَّةِ هٰذِهِ المَقالَة عَلَى النَحْوِ التالِي. فِي القِسْمِ 2، نصيغ مُشْكِلَةِ اِخْتِيارِ المِيزاتِ لَنَمُوذَج غَيْرِ بارامتري عامَ وَنَقْدَم طَرِيقَتِنا المُقْتَرَحَةِ. يَتِمّ تَقْدِيمِ تَنْفِيذِ الطَرِيقَةِ، بِما فِي ذٰلِكَ خوارزميه الاِنْحِدارِ التَدْرِيجِيِّ المَرْكَبِ وَالتَحْسِينِ العَكْسِيّ لِلمَسار، فِي القِسْمِ 3.
نُجْرِي دِراساتٍ مُحاكاةَ واسِعَةً النِطاقِ لِإِظْهارِ أَداءِ الطَرِيقَةِ المُقْتَرَحَةِ.
يَتِمّ تَقْدِيمِ تَطْبِيقِ الطَرِيقَةِ عَلَى مَجْمُوعاتٍ بَياناتٍ واقِعِيَّةٍ.
أَخِيراً، نُناقِش النَتائِجِ وَتَأْثِيراتها.
لِنَفْتَرِض أَنَّ \(X \in \RR^d\) هُوَ مُتَّجِه عَشْوائِيٍّ ذُو بُعْدَ \(d\) وَ\(Y\) هُوَ مُتَغَيِّر الاِسْتِجابَةُ. نَفْتَرِض أَنَّ التَوْزِيعِ الشُرْطِيَّ \(P_{Y|X}\) يَعْتَمِد عَلَى شَكْلٍ \(f(X_S)\) بِدالّه \(f \in F\) وَمَجْمُوعَةِ فَرْعِيَّةٍ مِن المُتَغَيِّراتِ \(S \subseteq \{1, \cdots, d\}\). نَحْنُ مُهْتَمُّونَ بِتَحْدِيدِ المَجْمُوعَةِ الحَقِيقِيَّةِ \(S\) لِلمُتَغَيِّرات الهامَّةِ وَتَقْدِيرٍ الدالَّةِ \(f\) بِحَيْثُ يُمْكِننا التَنَبُّؤ ب\(Y\) اِسْتِناداً إِلَى المُتَغَيِّر المُخْتار \(X_S\).
عَلَى مُسْتَوَى السُكّانِ، نَهْدِف إِلَى تَقْلِيلِ الخَسارَةِ \[\min_{f\in F, S} \EE_{X, Y} \ell(f(X_S), Y)\] حَيْثُ \(\ell\) هِيَ دالَّةٍ خَسارَةِ مُصَمِّمَةً لِمُشْكِلَةِ مُحَدَّدَةٍ. فِي الإِعْدادات العَمَلِيَّةِ، غالِباً ما يَكُون تَوْزِيعِ \((X, Y)\) غَيْرِ مَعْرُوفٌ، وَبَدَلاً مِن ذٰلِكَ يَتَوَفَّر عَيِّنَةً عَشْوائِيَّةٍ مُسْتَقِلَّةٍ وَمُتَطابِقه التَوْزِيعِ (i.i.d.) بِحَجْمِ \(n\)، تَتَكَوَّن مِن أَزْواج مِن المُلاحَظاتِ \({(X_i, Y_i)}_{i=1}^n\). بِالإِضافَةِ إِلَى ذٰلِكَ، إِذا كانَ عَدَدٍ المُتَغَيِّراتِ \(d\) كَبِيراً، فَإِنَّ البَحْثِ الشامِلِ عَن جَمِيعِ المَجْمُوعاتِ الفَرْعِيَّةِ المُمْكِنَةِ \(S\) يُصْبِح غَيْرِ قابِلٌ لِلتَطْبِيقِ مِن الناحِيَةِ الحِسابِيَّة. عِلاوَةً عَلَى ذٰلِكَ، لا نَفْتَرِض أَيّ شَكْلٍ مُحَدَّدٍ لِلدالَّة المَجْهُولَة \(f\) وَنَهْدِف إِلَى تَقْرِيبِ \(f\) بِطَرِيقَةٍ غَيْرِ مُعَلِّمَيْهِ بِاِسْتِخْدامِ شَبَكاتِ الأَعْصاب. وَبِالتالِي، هَدَفَنا هُوَ تَطْوِيرِ طَرِيقَةِ فَعّالَةٍ يُمْكِنها فِي الوَقْتِ نَفْسِهِ اِخْتِيارِ مَجْمُوعَةِ فَرْعِيَّةٍ مِن المُتَغَيِّراتِ \(S\) وَتَقْرِيبَ الحَلِّ \(f\) لِأَيّ فِئَةٌ مُعَيَّنَةٍ مِن الدوال بِاِسْتِخْدامِ شَبَكَةِ عَصَبِيَّةُ ذاتِ مدخلات مُتَفَرِّقَةٌ.
نَحْنُ نَنْظُر فِي مُقَدَّرات الوَظائِفِ المَبْنِيَّةُ عَلَى الشَبَكاتِ العَصَبِيَّةِ الأَمامِيَّةِ. لِنَفْتَرِض أَنَّ \(\mathcal{F}_n\) هِيَ فِئَةٌ مِن الشَبَكاتِ العَصَبِيَّةِ الأَمامِيَّةِ \(f_\bw: \RR^d \mapsto \RR\) بِمَعامِل \(\bw\). يُمْكِن التَعْبِيرِ عَن بِنْيَةَ الشَبَكَةِ العَصَبِيَّةِ مُتَعَدِّدَةِ الطَبَقاتِ (MLP) كَتَرْكِيب لِسِلْسِلَةٍ مِن الوَظائِفِ \[f_\bw(x)=L_D \circ \sigma \circ L_{D-1} \circ \sigma \circ \cdots \circ \sigma \circ L_{1} \circ \sigma \circ L_{0}(x), x \in \RR^d,\] حَيْثُ يُشِير \(\circ\) إِلَى تَرْكِيبِ الوَظائِفِ وَ\(\sigma(x)\) هِيَ وَظِيفَةٍ التَنْشِيط المُحَدَّدَةِ لِكُلِّ مُكَوِّن مِن \(x\). بِالإِضافَةِ إِلَى ذٰلِكَ، \[L_i(x) = \bW_ix + b_i, i=0, 1, \dots, \mD,\] حَيْثُ \(\bW_i \in \RR^{d_{i+1} \times d_{i} }\) هِيَ مَصْفُوفه الوَزْنِ، \(D\) هُوَ عَدَدٍ الطَبَقاتِ المَخْفِيَّة، \(d_i\) هُوَ العَرْضِ المُحَدَّدِ كَعَدَد الخَلايا العَصَبِيَّةِ لِلطَبَقَةِ \(i\)-th بِحَيْثُ \(d_0=d\)، وَ\(b_i \in \RR^{d_{i+1}}\) هُوَ مُتَّجِه الاِنْحِيازِ فِي التَحْوِيلِ الخَطِّيِّ \(i\)-th \(L_i\). لاحَظَ أَنَّ المُتَّجِه \(\bw \in \RR^P\) هُوَ تَجْمِيعِ الأَعْمِدَةِ لِجَمِيعِ المُعامَلاتِ فِي \(\{\bW_i, b_i: i=0, 1, \dots, \mD\}\). نَحْنُ نَعْرِف الخَسارَةِ التَجْرِيبِيَّة لِ \(f_\bw\) كَما يَلِي \[\mL_n(\bw)= \frac{1}{n} \sum_{i=1}^n \ell(f_\bw(X_i), Y_i).\]
السِينارِيو المِثالِيُّ هُوَ أَنَّ يَكُون لَدَينا شَبَكَةِ عَصَبِيَّةُ بمدخلات مُتَفَرِّقَةٌ \(f_\bw\) تَأْخُذ الإِشاراتِ فَقَط مِن المُتَغَيِّراتِ المُهِمَّةِ، بِمَعْنَى أَنَّ \(\bW_{0,j}=\b0\) لِ \(j \notin S\)، حَيْثُ \(\bW_{0,j}\) يُشِير إِلَى المُتَّجِه العَمُودِيّ \(j\)-th مِن \(\bW_0\). مِن أَجْلِ تَقْلِيلِ الخَسارَةِ التَجْرِيبِيَّة \(\mL_n(\bw)\) مَعَ تحفيز التَفْرِقَةِ فِي \(\bW_0\)، نَقْتَرِح تَدْرِيبِ الشَبَكَةِ العَصَبِيَّةِ بِتَقْلِيل الخَسارَةِ التَجْرِيبِيَّة المُنْتَظِمَة لِلمَجْمُوعَةِ التالِيَةِ
\[\label{eq:obj} \hat{\bw} = \argmin_{\bw \in \RR^P} \left \{\mL_n(\bw) + \sum_{j=1}^d \rho_\lambda(\|\bW_{0,j}\|_2)+ \alpha \|\bw\|_2^2 \right\},\]
حَيْثُ \(\|\cdot\|_2\) يُشِير إِلَى القاعِدَةِ الأُورُوبِّيَّةِ لَمُتَّجِه.
تَتَكَوَّن الدالَّةِ الهَدَفَ فِي المُعادَلَةَ ([eq:obj]) مِن ثَلاثَةِ مُكَوِّناتِ:
\(\mL_n(\bw)\) هِيَ دالَّةٍ الخَسارَةِ التَجْرِيبِيَّة مِثْلَ خَسارَةِ مُتَوَسِّطُ الأَخْطاءِ المُرَبَّعَةِ لَمَهامّ الاِنْحِدارِ، خَسارَةِ الانتروبيا المُتَقاطِعَة لَمَهامّ التَصْنِيفِ، وَالاِحْتِمال الجُزْئِيِّ السَلْبِيِّ لَنَماذِج الأَخْطارِ المُتَناسِبَة. يُمْكِن العُثُورِ عَلَى تَفاصِيلَ إِضافِيَّةً فِي المُلْحَقِ [appendix:loss].
\(\rho_\lambda\) هِيَ دالَّةٍ عُقُوبَةَ مُقَعَّره مُعَلِّمَةُ بِواسِطَةِ \(\lambda \ge 0\). لِاِخْتِيارِ المُتَغَيِّراتِ وَتَعْلَم الشَبَكَةِ العَصَبِيَّةِ فِي نَفْسِ الوَقْتِ، نَجْمَع الاِتِّصالاتِ الخارِجَة مِن كُلِّ خَلِيَّةٍ عَصَبِيَّةُ مَدْخَله تَتَوافَق مَعَ كُلِّ مُتَغَيِّر. تَمَّ تَصْمِيمِ دالَّةٍ العُقُوبَةِ المُقَعَّرَة \(\rho_\lambda\) لِتَقْلِيصِ مُتَّجِهات الوَزْنِ لَمَجْمُوعات مُحَدَّدَةٍ إِلَى اصفار دَقِيقَةً، مِمّا يُؤَدِّي إِلَى شَبَكَةِ عَصَبِيَّةُ تُسْتَخْدَم فَقَط مَجْمُوعَةِ صَغِيرَةٌ مِن المُتَغَيِّراتِ الأَصْلِيَّةِ.
\(\alpha \|\bw\|_2^2\)، حَيْثُ \(\alpha > 0\)، يُمَثِّل مُصْطَلَحُ التَنْظِيمِ الشائِكِ المُسْتَخْدِمُ لِمَنْعِ التَخْصِيصِ الزائِد فِي الشَبَكاتِ العَصَبِيَّةِ. لاحَظَ أَنَّ اِخْتِيارِ المِيزاتِ، بِاِسْتِخْدامِ \(\rho_\lambda\)، يَعْتَمِد حَصْرِيّا عَلَى مَقادِيرِ الاوزان فِي طَبَقَةٌ الإِدْخال. وَمَعَ ذٰلِكَ، مِن المُمْكِنِ تَقْلِيلِ تَأْثِيرِ \(\rho_\lambda\) بِتَقْلِيل جَمِيعِ الاوزان فِي طَبَقَةٌ الإِدْخال بَيْنَما يَسْمَح باوزان أَكْبَرَ فِي طَبَقاتِ أُخْرَى، دُونِ التَأْثِيرِ عَلَى إِخْراجِ الشَبَكَةِ. يُعالَج التَنْظِيمِ الشائِكِ هٰذِهِ المُشْكِلَةِ مِن خِلالَ تَعْزِيزِ الاوزان الأَصْغَرِ وَالمُتَوازِنَة جَيِّداً، مِمّا يُحَسِّن اِسْتِقْرارِ النَمُوذَجِ وَيَقْلِل مِن التَخْصِيصِ الزائِد.
لاحَظَ أَنَّهُ عِنْدَما يَكُون عَدَدٍ الطَبَقاتِ المَخْفِيَّة \(D=0\)، تَتَقَلَّص الوَظِيفَةِ \(f_\bw\) إِلَى وَظِيفَةٍ خَطَّيْهِ، وَيُصْبِح مُشْكِلَةِ التَحْسِين فِي المُعادَلَةَ ([eq:obj]) إِطارِ عَمَلٍ الشَبَكَةِ المَرِنَة (zou2005regularization)، SCAD-\(L_2\) (zeng2014group)، وMnet (huang2016mnet)، مَعَ اِخْتِيارِ \(\rho_{\lambda}\) لِيَكُون LASSO، SCAD، وMCP، عَلَى التَوالِي.
هُناكَ العَدِيدَ مِن دَوال العُقُوبَةِ المُسْتَخْدَمَةِ بِشَكْلٍ شائِع وَالَّتِي تُشَجِّع عَلَى النُدْرَةِ فِي الحَلِّ، مِثْلَ الاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً (Least Absolute Shrinkage and Selection Operator) (tibshirani1996regression)، وَالاِنْتِقاءِ المُطْلَقِ المُتَقارِب (Smoothly Clipped Absolute Deviation) (fan2001variable)، وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ (Minimax Concavity Penalty) (zhang2010nearly). عِنْدَ تَطْبِيقِها عَلَى القاعِدَةِ \(l_2\) لِلمُعامَلاتِ المُرْتَبِطَةِ بِكُلِّ مَجْمُوعَةِ مِن المُتَغَيِّراتِ، تُؤَدِّي هٰذِهِ دَوال العُقُوبَةِ إِلَى طُرُقٍ تَنْظِيمِ المَجْمُوعاتِ، بِما فِي ذٰلِكَ تَنْظِيمِ المَجْمُوعاتِ لِلاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً (group Least Absolute Shrinkage and Selection Operator) (yuan2006model)، وَتَنْظِيمِ المَجْمُوعاتِ لِلاِنْتِقاء المُطْلَقِ المُتَقارِب (group Smoothly Clipped Absolute Deviation) (guo2015model)، وَتَنْظِيمِ المَجْمُوعاتِ لِلاِنْتِقاء المُطْلَقِ المُتَعَدِّدِ (group Minimax Concavity Penalty) (huang2012selective). عَلَى وَجْهِ التَحْدِيدِ، يَتِمّ تَعْرِيفٍ الاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً، وَالاِنْتِقاءِ المُطْلَقِ المُتَقارِب، وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ كَما يَلِي.
الاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً \[\rho_\lambda(t)=\lambda |t|.\]
الاِنْتِقاء المُطْلَقِ المُتَقارِب \[\rho_{\lambda}(t)=\begin{cases} \lambda |t| \quad & {\rm for~} |t| \le \lambda,\\ -\frac{t^2-2a\lambda|t|+\lambda^2}{2(a-1)} \quad & {\rm for~} \lambda < |t| \le a\lambda,\\ \frac{(a+1)\lambda^2}{2} \quad & {\rm for~}|t| > a\lambda, \end{cases}\] حَيْثُ \(a>2\) ثابِتٌ.
الاِنْتِقاء المُطْلَقِ المُتَعَدِّدِ \[\rho_\lambda(t)={\rm sign}(t) \lambda \int_{0}^{|t|}\left(1-\frac{z}{\lambda a}\right)_+ dz,\] حَيْثُ \(a>0\) ثابِتٌ.
لَقَد تَمَّ إِثْباتِ، نَظَرِيّا وَعَدَدِيّا، أَنَّ طُرُقٍ تَنْظِيمِ التقعر مِثْلَ الاِنْتِقاء المُطْلَقِ المُتَقارِب وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ تُظْهِر أَداءِ قَوِيّاً مِن حَيْثُ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ (fan2001variable, zhang2010nearly). عَلَى عَكْسَ عُقُوبَةَ الاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً المُحَدَّبَة، الَّتِي تَمِيل إِلَى التَنْظِيمِ الزائِد لِلمُصْطَلَحات الكَبِيرَةِ وَتَوْفِيرِ اِخْتِيارِ مِيزاتِ غَيْرِ مُتَّسِق، يُمْكِن لِلتَنْظِيمِ التقعري تَقْلِيلِ تَحِيز الاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً وَتَحْسِينِ دِقَّةٍ اِخْتِيارِ النَمُوذَجِ. الأَساسِ وَراءَ العُقُوبَةِ التقعريه يَكْمُن فِي سُلُوكِ مُشْتَقّاتُها. عَلَى وَجْهِ التَحْدِيدِ، يُطْبَق الاِنْتِقاء المُطْلَقِ المُتَقارِب وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ فِي البِدايَةِ نَفْسِ مُسْتَوَى العُقُوبَةِ كَما فِي الاِنْتِقاء المُطْلَقِ الأَقَلِّ شُمُولاً، وَلٰكِن يُقَلِّل تَدْرِيجِيّاً مِن مُعَدَّلِ العُقُوبَةِ حَتَّى يَنْخَفِض إِلَى الصِفْرِ عِنْدَما \(t > a\lambda\). نَظَراً لَفَوائِد العُقُوبَةِ التقعريه، نَقْتَرِح اِسْتِخْدامِ تَنْظِيمِ المَجْمُوعاتِ التقعري فِي إِطارِ عَمَلِنا لِاِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظِيفَةِ فِي آنٍ واحِدٍ.
لاحَظَ أَنَّ التَحْسِين فِي المُعادَلَةَ ([eq:obj]) لَيِسَ مُشْكِلَةِ تَحْسِينِ مُحَدَّبه لِأَنَّ كُلِّ مِن دالَّةٍ الخَسارَةِ التَجْرِيبِيَّة \(\mL_n(\bw)\) وَدالّه العُقُوبَةِ \(\rho_\lambda\) قَد تَكُون غَيْرِ مُحَدَّبه. لِلحُصُولِ عَلَى نُقْطَةً ثابِتَةٍ، نَسْتَخْدِم خوارزميه اِنْحِدارٌ التَدَرُّج المَرْكَبِ (nesterov2013gradient). هٰذِهِ الخوارزميه مُدْمَجه أَيْضاً فِي (feng2017sparse, lemhadri2021lassonet) لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَناثِرَة بِناءَ عَلَى تَنْظِيمِ LASSO.
لِنَرْمُز \(\bar{\mL}_{n,\alpha}(\bw)=\mL_n(\bw) + \alpha \|\bw\|_2^2\) كَمُكَوِّن ناعِم لَدالّه الهَدَفَ فِي المُعادَلَةَ ([eq:obj]). تَكْرارِ التَدَرُّج المَرْكَبِ لِلعَصْرِ \(t\) مُعْطَى بِواسِطَةِ \[\label{eq:iterate} \bw^{t+1} = \argmin_{\bw} \left\{ \frac{1}{2} \| \bw - \Tilde{\bw}^{t+1}\|_2^2 + \sum_{j=1}^d \rho_\lambda(\|\bW_{0,j}\|_2) \right\},\] حَيْثُ \( \Tilde{\bw}^{t+1}=\bw^{t}-\gamma \nabla \bar{\mL}_{n,\alpha}(\bw^t)\) هُوَ التَحْدِيثِ التَدْرِيجِيِّ فَقَط لِلمُكَوِّن الناعِم \(\bar{\mL}_{n,\alpha}(\bw^t)\) الَّذِي يُمْكِن حِسابِهِ بِاِسْتِخْدامِ خوارزميه الاِنْتِشارِ الخَلْفِيِّ القِياسِيَّةِ. هُنا \(\gamma>0\) هُوَ مُعَدَّلِ التَعَلُّمِ لِلتَحْدِيث وَيُمْكِن تَعْيِينِهِ كَقِيمَة ثابِتَةٍ أَو تَحْدِيدِهِ بِاِسْتِخْدامِ طَرِيقَةِ البَحْثِ الخَطِّيِّ الرَجْعِيِّ، كَما وَصَفَ فِي (nesterov2013gradient). لِنَدْع \(A_j\) يُمَثِّل مَجْمُوعَةِ الفَهارِس لِ \(\bW_{0,j}\) ضِمْنَ \(\bw\). نَعْرِف \(A\) كَمَجْمُوعَةٍ الفَهارِس الَّتِي تَشْمَل جَمِيعِ الاوزان فِي طَبَقَةٌ الإِدْخال، مُعْطاة ب \(A = \{\bigcup_{j=1}^{d} A_j\}\). بِحَلِّ المُعادَلَةَ ([eq:iterate])، نَحْصُل عَلَى شَكْلٍ التَكْرارِ \(\bw^{t+1}_{A^c}=\Tilde{\bw}^{t+1}_{A^c}\) وَ \[\label{eq:iterate_1} \bw^{t+1}_{A_j}=h( \Tilde{\bw}^{t+1}_{A_j}, \lambda), \quad \text{لِ } j=1, \cdots, d.\] هُنا، \(A^c\) يُشِير إِلَى مكمل المَجْمُوعَةِ \(A\)، وَالدالَّة \(h\) تُمَثِّل مَشْغَل العَتَبَةَ، الَّذِي يُمْكِن تَحْدِيدِهِ بِواسِطَةِ العُقُوبَةِ المُحَدَّدَةِ \(\rho_{\lambda}\). بِأَخْذِ \(\rho_{\lambda}\) لِتَكُون عُقُوبَةَ LASSO، MCP، وَ SCAD، يُمْكِن التَحَقُّقِ مِن أَنَّ حُلُولٍ GLASSO، GSCAD، وَ GMCP لِلتَكْرار فِي المُعادَلَةَ ([eq:iterate_1]) لَها الشَكْلِ التالِي:
GLASSO \[h_\text{GLASSO}(z, \lambda)= S_\text{g}(z, \lambda).\]
GSCAD \[h_\text{GSCAD}(z, \lambda)=\begin{cases} S_\text{g}(z, \lambda), & \text{إِذا } \|z\|_2 \le 2\lambda,\\ \frac{a-1}{a-2}S_\text{g}(z,\frac{a\lambda}{a-1}), & \text{إِذا } 2\lambda < \|z\|_2 \le a \lambda,\\ z, & \text{إِذا } \|z\|_2 > a \lambda. \end{cases}\]
GMCP \[h_\text{GMCP}(z, \lambda)=\begin{cases} \frac{a}{a-1} S_\text{g}(z, \lambda), & \text{إِذا } \|z\|_2 \le a\lambda,\\ z, & \text{إِذا } \|z\|_2 > a \lambda, \end{cases}\]
حَيْثُ \(S_\text{g}(z;\lambda)\) هُوَ مَشْغَل التَخْفِيفِ الجَماعِيِّ المعرف ك \[S_\text{g}(z;\lambda)=\left (1-\frac{\lambda}{\|z\|_2} \right)_+ z.\] لِذٰلِكَ، يُمْكِننا تَنْفِيذِ اِنْحِدارٌ التَدَرُّج المَرْكَبِ بِكَفاءَة عَن طَرِيقِ دَمْجِ عَمَلِيَّةِ العَتَبَةَ إِضافِيَّةً فِي طَبَقَةٌ الإِدْخال. تَتْبَع هٰذِهِ العَمَلِيَّةِ خَطْوَةٍ اِنْحِدارٌ التَدَرُّج بِاِسْتِخْدامِ المُكَوَّنِ الناعِم \(\bar{\mL}_{n,\alpha}(\bw)\). يُمْكِن تَلْخِيصُ الحِسابِ لِلعَصْرِ t كَما يَلِي:
حِسابِ التَدَرُّج لِ \(\bar{\mL}_{n,\alpha}(\bw^t)\) بِاِسْتِخْدامِ الاِنْتِشارِ الخَلْفِيِّ،
تَحْدِيثِ \(\Tilde{\bw}^{t+1} \leftarrow \bw^{t}-\gamma \nabla \bar{\mL}_{n,\alpha}(\bw^t)\)،
تَحْدِيثِ \(\bw^{t+1}_{A^c} \leftarrow \Tilde{\bw}^{t+1}_{A^c}\) وَ \(\bw^{t+1}_{A_j} \leftarrow h( \Tilde{\bw}^{t+1}_{A_j}, \lambda)\)، لِ \(j=1, \cdots, d\).
مَجْمُوعَةِ الفَهارِس النِهائِيَّةِ لِلمُتَغَيِّرات المُخْتارَة هِيَ \(\hat{S}=\{j: \hat{\bw}_{A_j} \ne \b0\}\).
نَحْنُ مُهْتَمُّونَ بِتَعَلُّمِ الشَبَكاتِ العَصَبِيَّةِ لَيِسَ فَقَط لِقِيمَةِ مُحَدَّدَةٍ مِن \(\lambda\)، وَلٰكِن أَيْضاً لِمَجْمُوعَةِ مِن القِيَمِ \(\lambda\) حَيْثُ تَخْتَلِف الشَبَكاتِ بِعَدَدٍ المُتَغَيِّراتِ المُدْرَجَةِ. عَلَى وَجْهِ التَحْدِيدِ، نَنْظُر فِي مَجْمُوعَةِ مِن \(\lambda\) مِن \(\lambda_{\text{min}}\)، حَيْثُ تَشْمَل الشَبَكاتِ جَمِيعِ المُتَغَيِّراتِ أَو عَدَداً كَبِيراً جِدّاً مِن المُتَغَيِّراتِ، إِلَى \(\lambda_{\text{max}}\)، حَيْثُ يَتِمّ اِسْتِبْعادِ جَمِيعِ المُتَغَيِّراتِ وَيُصْبِح \(|W_0|\) مَصْفُوفه صِفْرَيْهِ. نَظَراً لِأَنَّ الدالَّةِ الهَدَفَ لَيِسَت مُحَدَّبه وَلَدَيها العَدِيدَ مِن الحُدُودِ المَحَلِّيَّةِ الصُغْرَى، فَإِنَّ حَلٍّ المُعادَلَةَ ([eq:obj]) مَعَ التَهْيِئَة العَشْوائِيَّةِ قَد لا يَتَغَيَّر بِشَكْلٍ مُسْتَمِرٍّ لِ \(\lambda \in [\lambda_{\text{min}}, \lambda_{\text{max}}]\)، مِمّا يُؤَدِّي إِلَى مَسارِ غَيْرِ مُسْتَقِرّ لِلغايَةِ مِن الحُلُولِ المُنَظَّمَةِ بِواسِطَةِ \(\lambda\).
لِمُعالَجَةِ هٰذِهِ المُشْكِلَةِ، نَعْتَبِر إِسْتراتِيجِيَّةِ تَحْسِينِ مَسارَيْهِ عَن طَرِيقِ تَغْيِيرٍ مَعامِلِ التَنْظِيمِ عَلَى طُولِ مَسارِ. فِي هٰذا النَهْجِ، نَسْتَخْدِم حَلٍّ قِيمَةَ مُعَيَّنَةٍ مِن \(\lambda\) كَبِدايَة دافِئَةٍ لِلمُشْكِلَةِ التالِيَةِ. تَعْتَمِد طُرُقٍ الاِنْحِدارِ الخَطِّيِّ المُنَظَّمِ (friedman2007pathwise, friedman2010regularization, breheny2011coordinate) عادَةً عَلَى تَحْسِينِ مَسارَيَّ إِلَى الأَمامِ، بَدْءاً مِن نَمُوذَجَ فارِغٌ مَعَ اِسْتِبْعادِ جَمِيعِ المُتَغَيِّراتِ عِنْدَ \(\lambda_{\text{max}}\) وَالعَمَلِ إِلَى الأَمامِ مَعَ تَقْلِيلِ \(\lambda\)s. وَمَعَ ذٰلِكَ، أَظْهَرَت دِراساتنا العَدَدِيَّةِ لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَناثِرَة أَنَّ البَدْء مِن حَلٍّ مُتَناثِر كَنَمُوذَج أُولَى لا يُنْتِج نَمُوذَجاً أَكْبَرَ عَلَى طُولِ المَسارُ حَتَّى القَفْزِ إِلَى النَمُوذَجِ الكامِلِ عِنْدَ قِيمَةَ \(\lambda\) صَغِيرَةٌ بِما فِيهِ الكِفايَةُ. لِمُعالَجَةِ هٰذِهِ المُشْكِلَةِ، نُنَفِّذ نَهْجٍ تَحْسِينِ مَسارَيَّ عَكْسِيٍّ، بَدْءاً مِن نَمُوذَجَ كَثِيفٍ عِنْدَ القِيمَةِ الدُنْيا لِ \(\lambda_{\text{min}}\) وَالحَلُّ نَحْوَ نَماذِجَ مُتَناثِرَةً حَتَّى \(\lambda_{\text{max}}\) مَعَ اِسْتِبْعادِ جَمِيعِ المُتَغَيِّراتِ مِن الشَبَكَةِ. يَتِمّ أَيْضاً اِسْتِخْدامِ هٰذا النَهْجِ الدافِئ مِن الكَثِيفِ إِلَى المُتَناثِرِ فِي (lemhadri2021lassonet) بِاِسْتِخْدامِ تَنْظِيمِ LASSO.
لِتَوْضِيحِ أَهَمِّيَّةً اِسْتِخْدامِ التَحْسِين المساري العَكْسِيّ فِي الشَبَكاتِ العَصَبِيَّةِ المُنَظَّمَةِ، نُحَقِّق فِي اِخْتِيارِ المُتَغَيِّراتِ وَتَقْدِيرٍ الوَظِيفَةِ لَنَمُوذَج الاِنْحِدارِ \(Y=f(X)+\epsilon\)، حَيْثُ \(f(X)=\log(|X_1|+0.1)+ X_1X_2+X_2 + \exp(X_3+X_4)\) مَعَ 4 مُتَغَيِّراتِ مَعْلُوماتِيَّةُ و16 مُتَغَيِّر إِزْعاجِ، وَكُلُّ \(X_i\) وَ \(\epsilon\) يَتْبَعانِ التَوْزِيعِ الطَبِيعِيِّ القِياسِيَّ. يَتِمّ تَقْدِيمِ المَزِيدِ مِن التَفاصِيلِ حَوْلَ المُحاكاة فِي القِسْمِ 4. يُلاحِظ أَنَّ التَحْسِين غَيْرِ المساري يُؤَدِّي إِلَى تَقَلُّباتِ أَو تَغَيُّراتٍ فِي مَسارِ الحَلِّ، بَيْنَما يَمِيل التَحْسِين المساري إِلَى الأَمامِ إِلَى البَقاءَ فِي نَفْسِ النَمُوذَجِ المُتَناثِرِ حَتَّى الاِنْتِقالِ إِلَى النَمُوذَجِ الكامِلِ مَعَ \(\lambda\) صَغِيرٍ بِما فِيهِ الكِفايَةُ. فِي المُقابِلِ، يُنْتِج التَحْسِين المساري العَكْسِيّ بِاِسْتِخْدامِ GMCP وَ GLASSO مَساراتٍ حَلٍّ نِسْبِيّاً سَلِسَةِ. مِن الجَدِيرِ بِالذَكَر أَنَّ GLASSO لَدَيهِ مَيْلِ لِلتَقْلِيص الزائِد لَمُتَّجِهات الوَزْنِ لِلمُتَغَيِّرات المَعْلُوماتِيَّةِ وَيَشْمَل المَزِيدِ مِن المُتَغَيِّراتِ فِي النَمُوذَجِ. فِي المُقابِلِ، تَمَّ تَصْمِيمِ GMCP لِمَنْعِ التَقْلِيص الزائِد وَيُقَدِّم اِنْتِقالاً سَلِسا مِن النَمُوذَجِ الكامِلِ إِلَى النَمُوذَجِ الفارِغ.
بِالإِضافَةِ إِلَى تَوْفِيرِ مَساراتٍ حَلٍّ مُسْتَقِرَّةٍ وَسَلِسه، فَإِنَّ التَحْسِين المساري العَكْسِيّ مُفِيدٌ مِن الناحِيَةِ الحِسابِيَّة. عَلَى وَجْهِ الخُصُوصِ:
تَقْدِيراتِ الاوزان المُتَتالِيَةِ فِي المَسارُ قَرِيبَةٌ، مِمّا يُقَلِّل مِن جَوْلاتٍ النُزُولِ التَدْرِيجِيِّ المَطْلُوبَةِ لِكُلِّ تَكْرارِ. وَبِالتالِي، تَحَدَّثَ مُعْظَمَ تَكالِيفِ الحِسابِ فِي \(\lambda_{\text{min}}\)، وَيُؤَدِّي عَدَدٍ أَقَلَّ مِن التكرارات لِبَقِيَّةِ \(\lambda\)s إِلَى تَكالِيفِ حِسابِيَّةً مُنْخَفَضه.
نُلاحِظ أَنَّ المُتَغَيِّراتِ المُسْتَبْعَدَة مِن الحُلُولِ السابِقَةِ نادِراً ما تُدْرِج فِي الحُلُولِ التالِيَةِ. مِن خِلالَ تَقْلِيم مدخلات الشَبَكَةِ العَصَبِيَّةِ عَلَى طُولِ مَسارِ الحَلِّ، يُمْكِن تَحْقِيقِ مَزِيدٍ مِن الحَدِّ مِن تَعْقِيدِ الحِسابِ حَيْثُ يُصْبِح النَمُوذَجِ مُتَناثِرا. نَظَراً لِأَنَّ تَكْلِفَةِ الحِسابِ تَتَناسَب مَعَ عَدَدٍ المِيزاتِ المدخله، يُمْكِن لِهٰذا النَهْجِ أَنَّ يَسْرُع الحِسابِ بِشَكْلٍ كَبِيرٍ، خاصَّةٍ لِلبَيانات ذاتِ الأَبْعاد العالِيَةِ.
يَتَطَلَّب الإِطارِ المُقْتَرَحِ لَدَينا مُعامِلَيْنِ للتوليف: مَعامِلِ عُقُوبَةَ المَجْمُوعَةِ \(\lambda\) وَمَعامِلِ عُقُوبَةَ الريدج \(\alpha\). يَتَحَكَّم الأَوَّلِ فِي عَدَدٍ المُتَغَيِّراتِ المُخْتارَة وَيُنْتَج نَماذِجَ أَكْثَرَ تَبْسِيطا لَقِيَم أَكْبَرَ مِن \(\lambda\)، بَيْنَما يَفْرِض الأَخِيرِ عُقُوبَةَ عَلَى حَجْمِ اوزان الشَبَكَةِ لِمَنْعِ التَخْصِيصِ الزائِد.
فِي جَمِيعِ الدِراساتِ العَدَدِيَّةِ المُقَدَّمَةِ فِي هٰذِهِ الوَرَقَةَ، اِعْتَمَدْنا مَجْمُوعَةِ تَحَقَّقَ اِحْتِياطَيْهِ بِنِسْبَةِ 20% مِن بَياناتٍ التَدْرِيبِ. تَمَّ تَدْرِيبِ النَمُوذَجِ بِاِسْتِخْدامِ البَياناتِ المُتَبَقِّيَةُ، وَتَمَّ اِخْتِيارِ القِيَمِ المُثْلَى لِ \(\lambda\) وَ \(\alpha\) مِن شَبَكَةِ دَقِيقَةً مِن القِيَمِ بِناءَ عَلَى أَدائِها عَلَى مَجْمُوعَةِ التَحَقُّقِ.
يَتَوَفَّر الكود البَرْمَجِيّ بِلُغَةِ Python وَالأَمْثِلَة لِشَبَكاتِ الأَعْصاب المُنْتَظِمَة المُقَعَّرَة المُجَمَّعَة المُقْتَرَحَةِ عَلَى https://github.com/r08in/GCRNN.
لِتَعْزِيزِ الاِسْتِقْرارِ وَالدِقَّةِ فِي اِخْتِيارِ وَتَقْدِيرٍ المِيزاتِ، نَقْتَرِح اِسْتِخْدامِ خَطْوَةٍ ما قِبَلَ الفَحْصِ الإِضافِيَّة تَعْتَمِد عَلَى التَحَقُّقِ المُتَقاطِعِ بِطَرِيقَةٍ مَوَّنْتُ كارْلُو. عَلَى وَجْهِ التَحْدِيدِ، نَقُوم بِتَقْسِيم البَياناتِ عَشْوائِيّا إِلَى مَجْمُوعاتٍ تَدْرِيبِ وَتُحَقِّق بِنِسْبَةِ مُحَدَّدَةٍ مُسْبَقاً وَنُطَبِّق طَرِيقَتِنا المُقْتَرَحَةِ عَلَى مَجْمُوعَةِ التَدْرِيبِ مَعَ اِخْتِيارِ المُعَلِّماتُ التوافقيه الأَمْثَلُ بِناءَ عَلَى مَجْمُوعَةِ التَحَقُّقِ. يَتِمّ تَكْرارِ هٰذِهِ العَمَلِيَّةِ لَمَجْمُوع \(B\) مَرّاتٍ، وَيَتِمّ اِخْتِيارِ المُتَغَيِّراتِ الَّتِي تَحَقَّقَ نِسْبَةَ اِخْتِيارِ لا تُقِلّ عَن \(r\)، حَيْثُ \(r \in (0, 1]\). وَأَخِيرا، نُطَبِّق الطَرِيقَةِ المُقْتَرَحَةِ بِاِسْتِخْدامِ المُتَغَيِّراتِ الَّتِي تَمَّ فَحْصُها مُسْبَقاً فَقَط. تُظْهِر دِراساتنا العَدَدِيَّةِ أَنَّ هٰذا النَهْجِ يُمْكِن أَنَّ يُحَسِّن مِن مَوْثُوقَيْهِ وَمِتانه اِخْتِيارِ وَتَقْدِيرٍ المِيزاتِ، خاصَّةٍ عِنْدَ التَعامُلِ مَعَ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ.
نُقِيم أَداءِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة فِي اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ مِن خِلالَ عِدَّةٍ إِعْدادات مُحاكاةَ. يَتِمّ تَوْلِيدِ البَياناتِ مِن خِلالَ الدالَّةِ التالِيَةِ: \[f(X)=\log(|X_1|+0.1)+ X_1X_2+X_2 + \exp(X_3+X_4),\] حَيْثُ يَتِمّ تَوْلِيدِ كُلِّ مُكَوِّن مِن مُتَّجِه المُتَغَيِّراتِ \(X=(X_1, \cdots, X_d)^T \in \RR^d\) مِن تَوْزِيعِ طَبِيعِيٍّ قِياسِيٌّ مُسْتَقِلٍّ. هُنا \(d>4\) وَالدالَّة \(f(X)\) مُتَفَرِّقَةٌ بِحَيْثُ أَنَّ الأَرْبَعِ مُتَغَيِّراتِ الأُولَى فَقَط هِيَ ذاتِ صِلَةٍ بِالنَتِيجَةِ. نُولَد \(n\) عَيِّناتٍ عَشْوائِيَّةٍ مُسْتَقِلَّةٍ وَمُتَطابِقه التَوْزِيعِ مَعَ نَتائِجِ مُسْتَمِرَّةٌ، ثُنائِيَّةٍ، وَنَتائِجَ زَمَنٍ الحَدَثِ فِي الأَمْثِلَة الثَلاثَةِ التالِيَةِ، عَلَى التَوالِي.
(نَمُوذَجَ الاِنْحِدارِ) يَتِمّ تَوْلِيدِ الاِسْتِجابَةُ المُسْتَمِرَّةِ \(Y\) مِن نَمُوذَجَ اِنْحِدارٌ قِياسِيٌّ مَعَ خَطَأ إِضافِيٍّ كَما يَلِي \[Y=f(X)+\epsilon,\] حَيْثُ \(\epsilon\) يَتْبَع تَوْزِيعِ طَبِيعِيٍّ قِياسِيٌّ. [ex:regression]
(نَمُوذَجَ التَصْنِيفِ) يَتِمّ تَوْلِيدِ الاِسْتِجابَةُ الثُنائِيَّةِ \(Y \in \{0,1\}\) مِن تَوْزِيعِ برنولي مَعَ الاِحْتِمالِيَّة الشَرْطِيَّةَ التالِيَةِ \[P(Y=1|X) = \frac{1}{1+\exp{(-f(X))}}.\] [ex:classification]
(نَمُوذَجَ المَخاطِرِ المُتَناسِبَة) يَتْبَع زَمَنٍ البَقاءَ \(T\) نَمُوذَجَ المَخاطِرِ المُتَناسِبَة مَعَ دالَّةٍ خَطَرِ مِن الشَكْلِ \[\label{eq:PHM} h(t|X)=h_0(t)\exp{(f(X))},\] حَيْثُ \(h_0(t)\) هِيَ دالَّةٍ الخَطَرِ الأَساسِيَّةِ. وَبِالتالِي، \(T=H_0^{-1} \left ( -\log(U)\exp{(f(X)}\right)\)، حَيْثُ \(U\) هِيَ مُتَغَيِّر عَشْوائِيٍّ مُوَحَّدٍ فِي \([0,1]\)، وَ\(H_0\) هِيَ دالَّةٍ الخَطَرِ التراكمي الأَساسِيَّةِ المُحَدَّدَةِ ك \(H_0(t)=\int_0^t h_0(u)du\). اِعْتَبَرْنا دالَّةٍ خَطَرِ وَيُبْل لِ \(H_0\)، بِمَعامِل القِياس \(=2\) وَمَعامِلِ الشَكْلِ \(=2\). مِن بَيِّنَ \(n\) عَيِّناتٍ، \(\mC \times n\) مِنها يَتِمّ اِخْتِيارُها عَشْوائِيّا كَمُلاحَظات الحَجْب مَعَ مُؤَشِّرُ الحَجْب \(\delta_i=0\) وَإِلّا \(\delta_i=1\) لَمُلاحَظات الحَدَثِ. مُعَدَّلِ الحَجْب \(\mC=0\)، \(0.2\) وَ \(0.4\) فِي مُحاكاتنا. نُحَدِّد الزَمَنِ المُلاحَظِ
\[Y_i=\begin{cases} T_i & \text{if } \delta_i=1, \\ C_i & \text{if } \delta_i=0, \end{cases}\]
حَيْثُ زَمَنٍ الحَجْب \(C_i\) يَتِمّ سَحْبه مِن تَوْزِيعِ مُوَحَّدٍ \((0, T_i)\). [ex:survival]
لِكُلِّ مِثالٌ، نَعْتَبِر الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة فِي السِينارِيُوهات التالِيَةِ:
البُعْدِ المُنْخَفَض (LD): \(d=20\) وَ\(n=300\) وَ\(500\).
البُعْدِ العالِي (HD): \(d=1000\) وَ\(n=500\).
نَقُوم ب 200 مُحاكاةَ لِكُلِّ سِينارِيو. يَتِمّ تَقْيِيمِ أَداءِ النَمُوذَجِ المُدَرِّبِ فِي التَنَبُّؤ وَاِخْتِيارَ المِيزاتِ عَلَى عَيِّناتٍ عَشْوائِيَّةٍ \(n\) مَوْلِده بِشَكْلٍ مُسْتَقِلٍّ بِواسِطَةِ المَقايِيسِ التالِيَةِ:
دَرَجَةِ التَنَبُّؤ، وَالَّتِي تَعْرِف بِدَرَجَةِ \(R^2\)، دِقَّةٍ التَصْنِيفِ، وَمُؤَشِّرُ C لَنَمُوذَج الاِنْحِدارِ، التَصْنِيفِ، وَنَمُوذَجٌ المَخاطِرِ المُتَناسِبَة، عَلَى التَوالِي.
حَجْمِ النَمُوذَجِ (MS)، هُوَ مُتَوَسِّطُ عَدَدٍ المُتَغَيِّراتِ المُخْتارَة.
مُعَدَّلِ الإِيجابِيّات الخاطِئَةِ (FPR)، هُوَ نِسْبَةَ المُتَغَيِّراتِ المُخْتارَة وَلٰكِن غَيْرِ المُهِمَّةِ: \[\label{eq:FPR} FPR=\frac{|\hat{S} \bigcap S^c|}{|S^c|} \times 100\%.\]
مُعَدَّلِ السَلْبِيّاتِ الخاطِئَةِ (FNR)، هُوَ نِسْبَةَ المُتَغَيِّراتِ غَيْرِ المُخْتارَة وَلٰكِن المُهِمَّةِ: \[FNR=\frac{|\hat{S}^c \bigcap S|}{|S|} \times 100\%.\]
تُذَكِّر أَنَّ \(S\) تُمَثِّل مَجْمُوعاتٍ الفَهارِس الحَقِيقِيَّةِ لِلمُتَغَيِّرات المُهِمَّةِ وَ\(\hat{S}=\{j: \|\bW_{0,j}\|_2 \ne 0 \}\) تَدُلّ عَلَى مَجْمُوعاتٍ الفَهارِس لِلمُتَغَيِّرات المُخْتارَة.
فِي دِراساتنا العَدَدِيَّةِ، نَعْتَبِر التَنْظِيمِ المُقَعَّر GMCP وGSCAD لَإِطار عَمَلِنا المُقْتَرَحِ. نُسَمَّى طَرِيقَةِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة بِاِسْتِخْدامِ GLASSO، GMCP، وGSCAD ب GLASSONet، GMCPNet، وGSCADNet، عَلَى التَوالِي. نُقارَن المُقَدَّرِ المُنْتَظِم المُقَعَّر المُقْتَرَحِ GMCPNet وGSCADNet مَعَ GLASSONet، الشَبَكَةِ العَصَبِيَّةِ (NN) بِدُونِ اِخْتِيارِ المِيزاتِ (\(\lambda=0\))، الغابَةِ العَشْوائِيَّةِ (survival) (RF)، وَطَرِيقَةُ STG المُقْتَرَحَةِ فِي (yamada2020feature). نَشْمَل أَيْضاً النُسْخَةَ الاوراكل مِن NN وRF (Oracle-NN وOracle-RF) كَمَعايِير مَرْجِعِيَّةِ، حَيْثُ تَعْرِف المُتَغَيِّراتِ ذاتِ الصِلَةِ مُسْبَقاً وَتُسْتَخْدَم مُباشَرَةً فِي عَمَلِيَّةِ تَرْكِيبِ النَمُوذَجِ. أَنْظُر المُلْحَقِ [append:impl] لَتَفاصِيل التَنْفِيذِ.
تَقَدَّمَ الجَدْوَلُ [tb:vs] مُلَخَّصا لَأَداء اِخْتِيارِ المِيزاتِ لِلأَرْبَع طُرُقٍ، وَهِيَ شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل (STG)، وَشَبَكَةِ GLASSONet، وَشَبَكَةِ GMCPNet، وَشَبَكَةِ GSCADNet، فِي جَمِيعِ سِينارِيُوهاتٍ المُحاكاة. نَسْتَثْنِي نَتائِجِ طَرِيقَةِ شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل لِلمِثال [ex:survival] حَيْثُ إِمّا أَنَّ تَخْتار جَمِيعِ المُتَغَيِّراتِ أَو لا تَخْتار أَيّاً مِنها لَنَتِيجَة البَقاءَ عَلَى قَيْدِ الحَياةِ. فِي كُلِّ مِن الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة، تَتَفَوَّق شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet بِاِسْتِمْرارٍ عَلَى شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل وَشَبَكَةِ GLASSONet مِن حَيْثُ اِخْتِيارِ المِيزاتِ. تُظْهِر هٰذِهِ النَماذِجِ أَداءِ مُتَفَوِّقا، حَيْثُ تَحَقَّقَ أَحْجام نَماذِجَ تَتَطابَق بِشَكْلٍ وَثِيقٍ مَعَ النَمُوذَجِ الحَقِيقِيِّ، إِلَى جانِبِ مُعَدَّلاتِ إِيجابِيَّةً كاذِبَةٌ مُنْخَفَضه وَمُعَدَّلاتِ سَلْبِيَّةٍ كاذِبَةٌ مُنْخَفَضه لِمُعْظَمِ السِينارِيُوهات. بَيْنَما تُؤَدِّي شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل بِشَكْلٍ جَيِّدٍ فِي بِعَضِّ الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة، فَإِنَّها تَمِيل إِلَى اِخْتِيارِ مُتَغَيِّراتِ أَكْثَرَ فِي سِينارِيُوهاتٍ الأَبْعاد العالِيَةِ مَعَ تَبايُنٍ كَبِيرٍ فِي حَجْمِ النَمُوذَجِ. مِن ناحِيَةٍ أُخْرَى، تَمِيل شَبَكَةِ GLASSONet إِلَى اِخْتِيارِ المَزِيدِ مِن المُتَغَيِّراتِ، مِمّا يُؤَدِّي إِلَى أَحْجام نَماذِجَ أَكْبَرَ فِي كُلِّ مِن الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة، وَهُوَ ما يَتَماشَى مَعَ طَبِيعَةِ عُقُوبَةَ LASSO الكامِنَةِ.
تُظْهِر شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet أَداءِ مُتَقارِبا فِي كُلِّ مِن الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة، حَيْثُ تَحَقَّقَ نَتائِجِ مُماثِلَةٍ لِطَرِيقَةِ Oracle-NN وَتَتَفَوَّق عَلَى الشَبَكَةِ العَصَبِيَّةِ (NN)، وَالغابَة العَشْوائِيَّةِ (RF)، وَحَتَّى Oracle-RF فِي مُعْظَمَ السِينارِيُوهات. تُؤَدِّي شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل بِشَكْلٍ مُماثِلٍ لِطَرِيقَةِ Oracle-NN فِي إِعْدادِ الأَبْعاد المُنْخَفِضَة لَنَمُوذَج الاِنْحِدارِ، وَلٰكِن أَداؤها يَتَدَهْوَر فِي الإِعْدادُ ذُو الأَبْعاد العالِيَةِ وَالنَماذِج الأُخْرَى. عَلَى العَكْسِ مِن ذٰلِكَ، بَيْنَما تَتَفَوَّق شَبَكَةِ GLASSONet أَو تَكُون مُماثِلَةٍ لِطَرِيقَةِ Oracle-RF فِي الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة، فَإِنَّها تُعانِي مِن التَرْكِيبُ الزائِد فِي الإِعْدادات ذاتِ الأَبْعاد العالِيَةِ مِن خِلالَ تَضْمِينِ عَدَدٍ كَبِيرٍ مِن الإِيجابِيّات الكاذِبَة فِي النَمُوذَجِ النِهائِيِّ.
مِن الجَدِيرِ بِالذَكَر أَنَّ طَرِيقَةِ Oracle-NN تَتَفَوَّق عَلَى Oracle-RF فِي كُلِّ سِينارِيو، مِمّا يُشِير إِلَى أَنَّ الطُرُقِ المَبْنِيَّةُ عَلَى الشَبَكاتِ العَصَبِيَّةِ يُمْكِن أَنَّ تَكُون بَدِيلاً قابِلاً لِلتَطْبِيقِ لِلطُرُق المَبْنِيَّةُ عَلَى الأَشْجارِ عِنْدَما يَكُون حَجْمِ العَيِّنَةُ كَبِيراً بِما يَكْفِي بِالنِسْبَةِ لِعَدَدٍ المُتَنَبِّئَيْنِ. بِالإِضافَةِ إِلَى ذٰلِكَ، تُؤَدِّي الشَبَكَةِ العَصَبِيَّةِ بِدُونِ اِخْتِيارِ المِيزاتِ إِلَى أَسْوَأ النَتائِجِ عَبْرَ جَمِيعِ سِينارِيُوهاتٍ المُحاكاة، مِمّا يَبْرُز أَهَمِّيَّةً اِخْتِيارِ المِيزاتِ، خاصَّةٍ فِي الفَضاءِ ذُو الأَبْعاد العالِيَةِ.
بِشَكْلٍ عامَ، تُظْهِر نَتائِجِ المُحاكاة الأَداءِ المُتَفَوِّق لِلعُقُوبَة المُقَعَّرَة مِن حَيْثُ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ. تُظْهِر طُرُقٍ شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet قُدْراتٍ مَلْحُوظَةٌ فِي اِخْتِيارِ المُتَغَيِّراتِ المُهِمَّةِ مَعَ مُعَدَّلاتِ إِيجابِيَّةً كاذِبَةٌ مُنْخَفَضه وَمُعَدَّلاتِ سَلْبِيَّةٍ كاذِبَةٌ مُنْخَفَضه، مَعَ تَحْقِيقِ تَنَبُّؤات دَقِيقَةً عَبْرَ نَماذِجَ مُخْتَلِفَةٍ. تُظْهِر هٰذِهِ الطُرُقِ وَعْداً لِمُواجَهَةِ تَحَدِّياتٍ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ فِي البَياناتِ ذاتِ الأَبْعاد العالِيَةِ.
The dashed line represents the median C-Index of the Oracle-NN, used as a benchmark for comparison.
نَسْتَخْدِم بَياناتٍ دِراسَةٌ CALGB-90401، وَهِيَ تَجْرِبَةِ سَرِيرَيْهِ مِن المَرْحَلَةِ الثالِثَةِ مُزْدَوِجَةٌ التَعْمِيَةِ تُقارَن بَيِّنَ دوكسيتاكسيل وبريدنيزون مَعَ أَو بِدُونِ بيفاسيزوماب فِي الرِجالُ المُصابِينَ بِسَرَطان البروستاتا المُقاوِمَ لِلأَخِصّاء النقيلي لِتَوْضِيحِ أَداءِ الطَرِيقَةِ المُقْتَرَحَةِ مِن قَبِلَنا. تَتَكَوَّن بَياناتٍ CALGB-90401 مِن 498,801 تَعَدُّدِ أَشْكالِ النيوكليوتيدات الفَرْدِيَّةِ (SNPs) الَّتِي تَمَّت مُعالَجَتُها مِن عَيِّناتٍ دَمٍ المَرْضَى. نَفْتَرِض نَمُوذَجاً سائِدا لِ SNPs وَبِالتالِي يُعْتَبَر كُلِّ مِن SNPs مُتَغَيِّرا ثُنائِيّا. نَظَراً لِأَنَّ مُعْظَمَ SNPs لا تَتَعَلَّق بِالتَنَبُّؤ بِبَقاءِ المَرِيضُ، فَإِنَّنا نَأْخُذ فِي الاِعْتِبارِ فَقَط 181 SNPs المُرْتَبِطَةِ بِجِينات إِصْلاحِ الضَرَرِ النَوَوِيِّ، وَ 444 SNPs الَّتِي تَمَّ تَحْدِيدِها بِناءَ عَلَى بَحَثَ أَدَبَيَّ مُحْدَث (mateo2015dna, wyatt2016genomic, beltran2011molecular, mosquera2013concurrent, robinson2015integrative, abida2019genomic, de2017comprehensive). كَما نَشْمَل الثَمانِي مُتَغَيِّراتِ السريريه الَّتِي تَمَّ تَحْدِيدِها كَعَلامات تَنَبُّؤِيّه لِلبَقاءِ الكُلِّيِّ فِي المَرْضَى المُصابِينَ بِسَرَطان البروستاتا المُقاوِمَ لِلأَخِصّاء النقيلي (halabi2014updated): اِسْتِخْدامِ المُسَكِّنات الافيونيه (PAIN)، حالَةِ الأَداءِ ECOG، البومين (ALB)، مَوْقِعِ المَرَضِ (مُحَدَّدٍ كَعَقْده لِمْفاوِيّه فَقَط، نقائل عَظْمِيّه بِدُونِ تَوَرُّطِ حَشْوِي، أَو أَيّ نقائل حشويه)، LDH أَعْلَى مِن الحَدِّ الأَعْلَى الطَبِيعِيِّ (LDH.High)، هيموغلوبين (HGB)، PSA، وفوسفاتيز قِلْوِيّه (ALKPHOS). يَحْتَوِي المَجْمُوعِ النِهائِيِّ لِلبَيانات عَلَى \(d = 635\) مُتَغَيِّرا مَعَ عَدَدٍ المَرْضَى \(n = 631\) وَمُعَدَّل الرَقابَةِ \(C = 6.8\%\).
نَعْتَبِر نَمُوذَجَ الخَطَرِ المُتَناسِب فِي شَكْلٍ المُعادَلَةَ ([eq:PHM]) لَطُرُقنا المُقْتَرَحَةِ لِتَحْدِيدِ المُتَغَيِّراتِ السريريه أَو SNPs الَّتِي يُمْكِن أَنَّ تَتَنَبَّآ بِالنَتِيجَةِ الأَساسِيَّةِ لِلبَقاءِ الكُلِّيِّ فِي هٰؤُلاءِ المَرْضَى. لَتَقْيِيم أَداءِ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ لِلطُرُق، نُقَسِّم مَجْمُوعَةِ البَياناتِ عَشْوائِيّا 100 مَرَّةً إِلَى مَجْمُوعاتٍ تَدْرِيبِ (n=526) وَمَجْمُوعاتٍ اِخْتِبارِ (n=105) بِاِسْتِخْدامِ نِسْبَةَ تَخْصِيصُ 5:1. نُطَبِّق الطُرُقِ عَلَى كُلِّ مِن مَجْمُوعاتٍ التَدْرِيبِ وَنَحْسِب المِساحَةَ الزَمَنِيَّةِ تَحْتَ مَنَحَنِي خَصائِصِ التَشْغِيلِ الاستقباليه (tAUC) عَلَى مَجْمُوعاتٍ الاِخْتِبارُ المُقابَلَةِ. يُقِيم tAUC القُدْرَةِ التمييزيه لِلنَمُوذَج المُتَوَقَّعِ وَيَتِمّ حِسابِهِ بِاِسْتِخْدامِ طَرِيقَةِ Uno (uno2007evaluating). تَعَرَّضَ نَتائِجِ التَقْسِيمات العَشْوائِيَّةِ ال 100 فِي الشَكْلِ [fig:C90401_ex]. تَتَفَوَّق طَرِيقَتِنا المُقْتَرَحَةِ، GSCADNet، عَلَى الطُرُقِ الأُخْرَى فِي التَنَبُّؤ بِالبَقاءِ (اللَوْحَةُ اليُسْرَى). مِن المُهِمِّ مُلاحَظَةُ أَنَّ طَرِيقَةِ الشَبَكَةِ العَصَبِيَّةِ، الَّتِي تَفْتَقِر إِلَى اِخْتِيارِ المِيزاتِ، تَمِيل إِلَى التَرْكِيزِ الزائِد فِي البَياناتِ ذاتِ الأَبْعاد العالِيَةِ وَتُؤَدِّي بِشَكْلٍ سَيِّئ. عَلَى الرَغْمِ مِن أَنَّ هٰذِهِ الطُرُقِ الثَلاثِ المُنْتَظِمَة لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَفَرِّقَة تُؤَدِّي بِشَكْلٍ مُماثِلٍ فِي التَنَبُّؤ بِالبَقاءِ، فَإِنَّ GLASSONet لَدَيها مَيْلِ لِاِخْتِيارِ مُتَغَيِّراتِ زائِدَةٌ وَتَخْتار الطُرُقِ المُقْتَرَحَةِ GMCPNet وَ GSCADNet مَجْمُوعَةِ أَصْغَرِ نِسْبِيّاً مِن المُتَغَيِّراتِ دُونِ التَضْحِيَةِ بِأَداء التَنَبُّؤ (اللَوْحَةُ الوَسَطِيّ). تُوَضِّح اللَوْحَةُ اليُمْنَى مِن الشَكْلِ [fig:C90401_ex] أَنَّ GSCADNet تَخْتار بِنَجاحٍ مُعْظَمَ المُتَغَيِّراتِ السريريه الهامَّةِ وَتَكْتَشِف بِعَضِّ SNPs المُهِمَّةِ فِي التَنَبُّؤ بِالبَقاءِ الكُلِّيِّ.
نَهْدِف إِلَى تَصَوُّرٍ اِخْتِيارِ المُتَغَيِّراتِ مِن خِلالَ النَظَرِ فِي مُشْكِلَةِ التَصْنِيفِ عَلَى مَجْمُوعَةِ بَياناتٍ MNIST. مَجْمُوعَةِ بَياناتٍ MNIST هِيَ مَجْمُوعَةِ بَياناتٍ مِعْيارَيْهِ مَعْرُوفَةٍ فِي الرُؤْيَةِ الحاسُوبِيَّة، تَتَكَوَّن مِن صُور رَمادِيَّةٌ لَأَرْقام مَكْتُوبه بِخَطِّ اليَدِ مِن 0 إِلَى 9. فِي هٰذِهِ الدِراسَةُ، نُرَكِّز عَلَى مُشْكِلَةِ التَصْنِيفِ الثُنائِيِّ لِلتَمْيِيزِ بَيِّنَ الأَرْقام 7 وَ 8 فِي مَجْمُوعَةِ بَياناتٍ MNIST. نَقُوم بِتَقْيِيم الطُرُقِ المُقْتَرَحَةِ مِنّا شَبَكَةِ GMCP وَشَبَكَةِ GSCAD، بِالإِضافَةِ إِلَى الطُرُقِ القائِمَةِ شَبَكَةِ GLASSO، STG، الشَبَكَةِ العَصَبِيَّةِ، وَالغابَة العَشْوائِيَّةِ، اِسْتِناداً إِلَى اِخْتِيارُهُم لِلمِيزات وَدِقَّة التَصْنِيفِ.
تَتَكَوَّن مَجْمُوعَةِ بَياناتٍ MNIST مِن صُور رَمادِيَّةٌ بِأَبْعاد 28x28 بِكَسَل، مِمّا يُعْطِي 784 مُتَغَيِّرا. نَخْتار عَشْوائِيّا 250 صُورَةِ لِلأَرْقام 7 وَ 8 مِن مَجْمُوعَةِ بَياناتٍ MNIST، عَلَى التَوالِي، لِتَشْكِيلِ مَجْمُوعَةِ بَياناتٍ تَدْرِيبِ ذاتِ أَبْعادَ عالِيَةٍ ب \(d=784\) وَ \(n=500\). لاحَظَ أَنَّ تَصْنِيفِ الفِئاتِ يَعْتَمِد فَقَط عَلَى بِكَسِلات المِنْطَقَةِ المَرْكَزِيَّةِ مِن الصُوَرِ، وَبِالتالِي يَجِب أَنَّ تُحَدِّد طَرِيقَةِ اِخْتِيارِ المِيزاتِ الجَيِّدَةِ البكسلات ذاتِ الصِلَةِ وَتُصَنِّف صُور الأَرْقام 7 وَ 8. نَقُوم أَيْضاً بِتَلْوِيثِ الصُوَرِ بِضَوْضاء عَشْوائِيَّةٍ مُسْتَقِلَّةٍ وَمُوَزَّعه بِشَكْلٍ طَبِيعِيٍّ مِن تَوْزِيعِ طَبِيعِيٍّ قِياسِيٌّ بِحَيْثُ لا تَكُون المِيزاتِ المدخله مُتَفَرِّقَةٌ. يَتِمّ تَقْيِيمِ النَماذِجِ المُدَرِّبَة عَلَى مَجْمُوعَةِ بَياناتٍ الاِخْتِبارُ الَّتِي تَحْتَوِي عَلَى 2002 صُورَةِ. لَقَد كَرَّرْنا عَمَلِيَّةِ الأَخْذِ العَشْوائِيِّ وَتَرْكِيبِ النَمُوذَجِ 100 مَرَّةً، وَتُظْهِر نَتائِجِ اِخْتِيارِ المِيزَة (البكسل) وَالتَصْنِيفُ فِي الشَكْلِ [fig:mnist_comb]. لاحَظْنا أَنَّ شَبَكَةِ GLASSO، شَبَكَةِ GMCP، وَشَبَكَةِ GSCAD تَحَقَّقَ جَمِيعُها دِقَّةٍ وَسِيطه تَزِيد عَن 91% وَتَتَفَوَّق عَلَى الطُرُقِ الأُخْرَى. بَيْنَما تُظْهِر خَرائِطِ الحَرارَةِ لِاِخْتِيارِ المِيزاتِ أَنَّ شَبَكَةِ GLASSO، شَبَكَةِ GMCP، وَشَبَكَةِ GSCAD تَخْتار بِاِسْتِمْرارٍ البكسلات ذاتِ الصِلَةِ بِتَواتُر عالٍ، تَمِيل شَبَكَةِ GLASSO إِلَى اِخْتِيارِ مُتَغَيِّراتِ أَكْثَرَ مِن اللازِمِ وَتَخْتار شَبَكَةِ GMCP وَشَبَكَةِ GSCAD البكسلات غَيْرِ ذاتِ الصِلَةِ بِتَواتُر أَقَلَّ بِكَثِيرٍ (مُشار إِلَيها بِالأَلْوان الحَمْراءِ الداكِنَة).
مِن بَيِّنَ العَدِيدَ مِن طُرُقٍ اِخْتِيارِ المِيزاتِ، اِكْتَسَبَت الاِنْحِدارِ المُعاقِب شَعْبِيَّةٍ كَبِيرَةٍ. وَمَعَ ذٰلِكَ، تَعْتَمِد العَدِيدَ مِن هٰذِهِ الطُرُقِ عَلَى اِفْتِراضِ وَتَطْبِيقِ النَظَرِيَّةِ الخَطِيَّة، وَالَّتِي قَد لا تَلْتَقِط العَلاقاتِ المُعَقَّدَةِ بَيِّنَ المُتَغَيِّراتِ التوضيحيه وَنَتِيجَةَ الاِهْتِمامِ. فِي البُحُوثِ الطِبِّيَّةِ الحَيَوِيَّةِ، عَلَى سَبِيلِ المِثالِ، يَقُوم الباحِثُونَ غالِباً بِتَطْبِيعِ البَياناتِ وَاِسْتِخْدامِ تَقْنِيّاتِ مُعاقَبَةِ تَحْتَ نَمُوذَجَ خُطَى لِاِخْتِيارِ المِيزاتِ. وَمَعَ ذٰلِكَ، فَإِنَّ الاِعْتِمادِ فَقَط عَلَى تَحْوِيلِ البَياناتِ يُخاطِر بِتَجاهُلِ العَلاقاتِ البِيُولُوجِيَّةِ المُعَقَّدَةِ وَلا يُعالَج الطَبِيعَةِ الدِينامِيكِيَّة لِلمُؤَشِّرات الحَيَوِيَّةِ أَثْناءَ العِلاجِ. عِلاوَةً عَلَى ذٰلِكَ، فَقَد أَدَّت التَقَدُّمات فِي تَقْنِيّاتِ الجُزَيْئات وَالتَصْوِير إِلَى تَحَدِّياتٍ فِي فَهُم العَلاقاتِ غَيْرِ الخَطِيَّة بَيِّنَ المُؤَشِّراتِ الحَيَوِيَّةِ ذاتِ الأَبْعاد العالِيَةِ وَالنَتائِجِ السريريه. تَحْتاج الطُرُقِ الجَدِيدَةِ بِشَكْلٍ عاجِلٍ لِمُعالَجَةِ هٰذِهِ التَعْقِيداتِ، مِمّا يُؤَدِّي إِلَى فَهُم مُحْسِن لِلعَلاقاتِ غَيْرِ الخَطِيَّة وَتَحْسِينِ عِلاجٍ المَرْضَى وَرِعايَتهم.
فِي هٰذِهِ الوَرَقَةَ، اِقْتَرَحْنا إِطارِ عَمَلٍ جَدِيدٍ يَسْتَخْدِم تَنْظِيمِ مُقَعَّر المَجْمُوعَةِ لِاِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظِيفَةِ فِي النمذجه المُعَقَّدَةِ، مُصَمِّمٌ خَصِيصاً لِشَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ. عَلَى عَكْسَ عُقُوبَةَ المُحَدَّبَة مِثْلَ LASSO، تُقَلِّل طُرُقٍ التَنْظِيمِ المُقَعَّرَة مِثْلَ MCP وَ SCAD تَدْرِيجِيّاً مِن مُعَدَّلِ العُقُوبَةِ لِلمُصْطَلَحات الكَبِيرَةِ، مِمّا يَمْنَع الاِنْكِماشُ الزائِد وَيُحْسِن دِقَّةٍ اِخْتِيارِ النَمُوذَجِ. خوارزميه التَحْسِين الخاصَّةِ بِنا، المَبْنِيَّةُ عَلَى اِنْحِدارٌ التَدَرُّج المَرْكَبِ، بَسِيطَةً فِي التَنْفِيذِ، حَيْثُ تَتَطَلَّب فَقَط عَمَلِيَّةِ تَحْدِيدِ إِضافِيَّةً بُعْدَ خَطْوَةٍ اِنْحِدارٌ التَدَرُّج العادِيَّةِ عَلَى المُكَوَّنِ السَلِس. عِلاوَةً عَلَى ذٰلِكَ، نُدْمَج التَحْسِين العَكْسِيّ لِلمَسار لِلتَنَقُّل بِكَفاءَة فِي المَشْهَدُ التحسيني عَبْرَ شَبَكَةِ دَقِيقَةً مِن مُعَلِّمات التوليف، مِمّا يُولَد مَسارِ حَلٍّ سَلِسٍ مِن النَماذِجِ الكَثِيفَةِ إِلَى النَماذِجِ النادِرَةِ. يُحَسِّن هٰذا النَهْجِ التحسيني لِلمَسار الاِسْتِقْرارِ وَالكَفاءَةِ الحِسابِيَّة، مِمّا يُعَزِّز قابِلِيَّةِ تَطْبِيقِ إِطارِ عَمَلِنا لِشَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ.
وَقْتٍ تَشْغِيلِ طَرِيقَتِنا المُقْتَرَحَةِ عَلَى مَسارِ حَلٍّ مِن \(\lambda\)s (مَعَ \(\alpha\) ثابِتٌ) يُمْكِن أَنَّ يَكُون مُماثِلا أَو حَتَّى أَقْصَرُ مِن تَدْرِيبِ نَمُوذَجَ واحِدٍ ب \(\lambda\) ثابِتٌ، مِثْلَ طَرِيقَةِ NN بِدُونِ اِخْتِيارِ المِيزَة (\(\lambda=0\)). لِتَوْضِيحِ ذٰلِكَ، نَفْحَص تَعْقِيدِ خوارزميه طَرِيقَةِ NN، وَالَّتِي يُمْكِن تَقْرِيبها ك \(\bo(ndT)\)، حَيْثُ \(T\) يُشِير إِلَى عَدَدٍ العُصُورِ لِتَعْلَم الشَبَكَةِ العَصَبِيَّةِ. بِالمُقابِلِ، تَدْرِيبِ طَرِيقَتِنا المُقْتَرَحَةِ عَلَى مَسارِ حَلٍّ مِن \(m\) \(\lambda\)s لَهُ تَعْقِيدِ \(\bo(n\bar{d}T'm)\)، حَيْثُ \(\bar{d}\) يُمَثِّل مُتَوَسِّطُ عَدَدٍ المدخلات عَلَى طُولِ مَسارِ الحَلِّ مَعَ تَقْلِيم الأَبْعاد، وَ\(T'\) هُوَ عَدَدٍ العُصُورِ لِكُلِّ \(\lambda\) فِي المَسارُ. فِي مُحاكاتنا مَعَ سِينارِيو HD (\(d=1000\))، حَدَّدْنا \(T=5000\)، \(T'=200\)، وَ\(m=50\). بِاِفْتِراض أَنَّ عَدَدٍ المدخلات يَنْقُص بِالتَساوِي عَلَى طُولِ مَسارِ الحَلِّ مِن النَمُوذَجِ الكامِلِ إِلَى النَمُوذَجِ الفارِغ، لَدَينا \(\bar{d}=d/2=500\). وَبِالتالِي، \(ndT=n\bar{d}T'm\) يُشِير إِلَى أَنَّ حَلٍّ مَسارِ كامِلٍ لَطَرِيقَتنا المُقْتَرَحَةِ يَتَطَلَّب حِساباً مُماثِلا لِتَدْرِيبِ نَمُوذَجَ واحِدٍ. فِي التَطْبِيقات الحَقِيقِيَّةِ، خاصَّةٍ فِي السِينارِيُوهات ذاتِ الأَبْعاد العالِيَةِ، عادَةً ما تَنْخَفِض الأَبْعاد بِسُرْعَةٍ عَلَى طُولِ مَسارِ الحَلِّ. وَبِالتالِي، يُمْكِن أَنَّ يَكُون \(\bar{d}\) أَصْغَرِ بِكَثِيرٍ مِن \(d/2\)، وَبِالتالِي يُمْكِن أَنَّ يَكُون حَلٍّ مَسارِ حَلٍّ كامِلٍ أَكْثَرَ كَفاءَةِ مِن حَيْثُ الحِسابِ. مِن المُهِمِّ الإِشارَةُ إِلَى أَنَّنا حَدَّدْنا \(T'\) لِيَكُون صَغِيراً لِلمُعَلِّم الأَوَّلِ \(\lambda_{\min}\) أَيْضاً فِي إِعْدادِ HD، لِتَجَنُّبِ الإِفْراط فِي تُناسِب نَمُوذَجَ كَثِيفٍ أُولَى.
فِي دِراسَتنا العَدَدِيَّةِ، كانَت تَعْدِيلاتٍ المُعَلِّماتُ مَحْدُودَةٍ ب \(\lambda\) وَ \(\alpha\). وَمَعَ ذٰلِكَ، فِي التَطْبِيقات العالَمِيَّةِ الحَقِيقِيَّةِ، قَد يَكُون مِن الضَرُورِيِّ تَعْدِيلِ مُعَلِّمات فَرْعِيَّةٍ إِضافِيَّةً، مِثْلَ مُعَدَّلِ التَعَلُّمِ، عَدَدٍ الطَبَقاتِ، وَعَدَدٌ العَقْدِ فِي كُلِّ طَبَقَةٌ. يُمْكِن تَقْلِيلِ تَكْلِفَةِ الحِسابِ المُرْتَبِطَةِ بِتَعْدِيلِ هٰذِهِ المُعَلِّماتُ مِن خِلالَ الاِسْتِفادَةِ مِن تَقْنِيّاتِ الحوسبه المُتَوازِيَة. عِلاوَةً عَلَى ذٰلِكَ، عِنْدَما يَكُون حَجْمِ العَيِّنَةُ مُعْتَدِلا وَالمُتَغَيِّرات المُهِمَّةِ نادِرَةً، لُوحِظَ أَنَّ اِسْتِخْدامِ شَبَكَةِ عَصَبِيَّةُ مِن طَبَقَتَيْنِ أَو ثَلاثِ طَبَقاتِ بِعَدَدٍ مُتَواضِعٌ مِن العَقْدِ لِكُلِّ طَبَقَةٌ (عَلَى سَبِيلِ المِثالِ، 5 أَو 10 عُقْدَةِ لِكُلِّ طَبَقَةٌ) غالِباً ما يَكُون كافِياً لِمَجْمُوعَةِ واسِعَةً مِن مَجْمُوعاتٍ البَياناتِ.
إِحْدَى القُيُودِ لِلطَرِيقَة المُقْتَرَحَةِ تُظْهِر فِي السِينارِيُوهات ذاتِ الأَبْعاد الفائِقَةِ العُلُوّ حَيْثُ يَصِل عَدَدٍ المُتَغَيِّراتِ إِلَى مِئاتِ المَلايِينِ. تَطْبِيقِ شَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ المُقْتَرَحَةِ مُباشَرَةً فِي مِثْلَ هٰذِهِ الحالاتِ يُمْكِن أَنَّ يُؤَدِّي إِلَى مَشْهَدٍ تَحْسِينِ مُعَقَّدٌ لِلغايَةِ، مِمّا يَجْعَله غَيْرِ قابِلٌ لِلتَطْبِيقِ مِن الناحِيَةِ الحِسابِيَّة. لِلتَخْفِيفِ مِن هٰذِهِ القُيُودِ، فَإِنَّ إِحْدَى الاِقْتِراحاتِ هِيَ اِسْتِخْدامِ طَرِيقَةِ فَحْص مُسْبَقٍ لِتَقْلِيلِ الأَبْعاد إِلَى حَجْمِ أَكْثَرَ قابِلِيَّةِ لِلإِدارَةِ قِبَلَ تَطْبِيقِ النَهْجِ المُقْتَرَحِ.
قَيْدِ آخَرِ يَتَعَلَّق بِالطَرِيقَةِ المُنْتَظِمَة لِلمَجْمُوعَةِ المُقْتَرَحَةِ، وَالَّتِي تُرَكِّز بِشَكْلٍ أَساسِيٌّ عَلَى اِخْتِيارِ المِيزاتِ الفَرْدِيَّةِ. يُصْبِح هٰذا القَيْد ذا صِلَةٍ خاصَّةٍ عِنْدَ التَعامُلِ مَعَ المُتَغَيِّراتِ التوضيحيه الَّتِي تُظْهِر هَياكِلِ تَجْمِيعَيْهِ، مِثْلَ مَجْمُوعَةِ مِن المُتَغَيِّراتِ المُؤَشَّرَة الَّتِي تُمَثِّل مُتَغَيِّرا تَصْنِيفِيّا مُتَعَدِّدِ المُسْتَوَياتِ، أَو مَجْمُوعاتٍ ذاتِ دَلالَةٍ عِلْمِيَّةٍ اِسْتِناداً إِلَى المَعْرِفَةِ السابِقَةِ. يُمْكِن أَنَّ تَشْمَل اِتِّجاهاً بَحْثِيّا مُسْتَقْبَلِيّاً إِعادَةِ تَعْرِيفٍ المَجْمُوعاتِ ضِمْنَ الإِطارِ المُقْتَرَحِ. يُمْكِن تَحْقِيقِ ذٰلِكَ مِن خِلالَ اِعْتِبارِ جَمِيعِ الاِتِّصالاتِ الصادِرَةِ مِن مَجْمُوعَةِ مِن الخَلايا العَصَبِيَّةِ المدخله كَمَجْمُوعَةٍ واحِدَةٍ، مِمّا يُمْكِن مِن اِخْتِيارِ المَجْمُوعَةِ وَاِسْتِيعاب وُجُودِ هَياكِلِ التَجْمِيع.
فِي الخِتامِ، تُظْهِر دِراسَتنا مَزايا اِسْتِخْدامِ تَنْظِيمِ مُقَعَّر المَجْمُوعَةِ لِشَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ. تُسَلِّط النَتائِجِ الضَوْء عَلَى فَعّالِيَّته فِي اِخْتِيارِ المُتَغَيِّراتِ ذاتِ الصِلَةِ بِاِسْتِمْرارٍ ونمذجه العَلاقاتِ غَيْرِ الخَطِيَّة المُعَقَّدَةِ بَيِّنَ المُتَغَيِّراتِ التوضيحيه وَالنَتائِجِ بِدِقَّةٍ، فِي كُلِّ مِن الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة. يَحْمِل النَهْجِ المُقْتَرَحِ إِمْكاناتِ واعِدَةٌ لِتَعْزِيزِ إِسْتراتِيجِيّاتِ النمذجه وَإِيجادُ تَطْبِيقات واسِعَةً النِطاقِ، خاصَّةٍ فِي الأَمْراض الَّتِي تَتَمَيَّز بِمُؤَشِّرات حَيَوِيَّةٍ غَيْرِ خَطَّيْهِ، مِثْلَ الأَوْرام وَالأَمْراض المَعْدِيَّةِ.
تَعْرِف دَوال الخَسارَةِ التَجْرِيبِيَّة \(\mL_n(\bw)\) لَنَماذِج الاِنْحِدارِ وَالتَصْنِيفُ وَنَماذِجِ البَقاءَ فِي الأَمْثِلَة [ex:regression]-[ex:survival] عَلَى النَحْوِ التالِي:
خَسارَةِ مُتَوَسِّطُ الخَطَأ التَرْبِيعِيّ لَمَهامّ الاِنْحِدارِ. تَقِيس هٰذِهِ الدالَّةِ مُتَوَسِّطُ الفِرَقِ التَرْبِيعِيّ بَيِّنَ القِيَمِ الحَقِيقِيَّةِ \(Y_i\) وَالتَنَبُّؤات \(f_\bw(X_i)\): \[\mL_n(\bw) = \frac{1}{n} \sum_{i=1}^n (Y_i - f_\bw(X_i))^2.\]
خَسارَةِ الانتروبيا المُتَقاطِعَة لَمَهامّ التَصْنِيفِ. تُسْتَخْدَم عَلَى نِطاقِ واسِعٍ فِي مَشاكِلَ التَصْنِيفِ وَتَقِيس عَدَمِ التَشابُه بَيِّنَ التَسْمِيات الحَقِيقِيَّةِ \(Y_i\) وَاِحْتِمالاتِ التَنَبُّؤ \(\hat{Y}_i\) لِلفِئَةِ 1. يَتِمّ الحُصُولِ عَلَى اِحْتِمالِ التَنَبُّؤ \(\hat{Y}_i\) بِتَطْبِيقِ دالَّةٍ السيجمويد عَلَى \(f_\bw(X_i)\): \[\mL_n(\bw) = -\frac{1}{n}\sum_{i=1}^{n} \left[Y_i\log(\hat{Y}_i) + (1 - Y_i)\log(1 - \hat{Y}_i)\right].\]
السِجِلِّ السَلْبِيِّ لِلاِحْتِمال الجُزْئِيِّ لَنَماذِج المَخاطِرِ المُتَناسِبَة. يَسْتَخْرِج مِن تَحْلِيلِ البَقاءَ وَيَهْدِف إِلَى تَعْظِيمِ اِحْتِمالِ مُلاحَظَةُ الأَحْداثِ مَعَ الأَخْذِ فِي الاِعْتِبارِ مَعْلُوماتٍ الرَقابَةِ. يَتَضَمَّن مُؤَشِّرُ الحَدَثِ \(\delta_i\)، وَالَّذِي يَكُون 1 إِذا حَدَثَ الحَدَثِ المَعْنِيَّ فِي الوَقْتِ \(Y_i\) و0 إِذا كانَت المُلاحَظَةُ مَحْجُوبه. يَعْرِف السِجِلِّ السَلْبِيِّ لِلاِحْتِمال الجُزْئِيِّ كَما يَلِي: \[\mL_n(\bw) = -\frac{1}{n}\sum_{i=1}^n \left\{\delta_i f_\bw(X_i) - \delta_i \log \sum_{j \in R_i} \exp(f_\bw(X_i))\right\}.\]
هُنا، \(R_i=\{j: Y_j \ge Y_i\}\) يُمَثِّل مَجْمُوعَةِ المَخاطِرِ قِبَلَ الوَقْتِ \(Y_i\). يَسْتَخْدِم السِجِلِّ السَلْبِيِّ لِلاِحْتِمال الجُزْئِيِّ خَصِيصاً فِي نَمُوذَجَ المَخاطِرِ المُتَناسِبَة.
تُظْهِر الشَكْلِ [fig:boxplot_c_index] أَنَّ التَقَلُّبات الأَكْبَرُ فِي مُؤَشِّرُ C مُرْتَبِطَةً بِمُعَدَّلاتٍ الرَقابَةِ الأَعْلَى بِشَكْلٍ عامَ. تَحَقَّقَ شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet نَتائِجِ مُماثِلَةٍ لِشَبَكَةِ Oracle-NN بَيْنَما تَتَفَوَّق عَلَى جَمِيعِ الطُرُقِ الأُخْرَى، بِما فِي ذٰلِكَ Oracle-RSF.
تُرَكِّز دِراسَةٌ المُحاكاة فِي القِسْمِ 4 عَلَى المُتَغَيِّراتِ المُسْتَقِلَّةِ. وَمَعَ ذٰلِكَ، فِي التَطْبِيقات العَمَلِيَّةِ، وَخاصَّةً فِي السِينارِيُوهات ذاتِ الأَبْعاد العالِيَةِ، يَكُون وُجُودِ تَرابَطَ بَيِّنَ المُتَغَيِّراتِ شائِعا وَيُمَثِّل تَحَدِّيا لِاِخْتِيارِ المِيزاتِ. فِي هٰذا القِسْمِ، نُقِيم فَعّالِيَّةِ الطَرِيقَةِ المُقْتَرَحَةِ بِاِسْتِخْدامِ بَياناتٍ مُحاكاةَ تَتَضَمَّن مُتَغَيِّراتِ مُتَرابِطه.
لِتَحْدِيدِ ذٰلِكَ بِشَكْلٍ أَكْثَرَ تَحْدِيداً، نُمَدِّد السِينارِيو ذُو الأَبْعاد العالِيَةِ المَوْصُوف فِي القِسْمِ 4 مِن خِلالَ تَوْلِيدِ مُتَّجِه مُتَغَيِّر مُتَرابِط، يَرْمِز لَهُ ب \(\mathbf{X} \sim N(0, \Sigma)\). يَعْرِف بِنْيَةَ التَرابُطِ بِاِسْتِخْدامِ نَمَطِ تَضاؤُل القُوَّةِ، حَيْثُ \(\Sigma_{ij}=0.5^{|i-j|}\). تَسْمَح هٰذِهِ التَعْدِيلاتِ بِفَحْصِ أَداءِ طَرِيقَتِنا فِي وُجُودِ تَرابَطَ بَيِّنَ المُتَغَيِّراتِ. عِنْدَ مُقارَنَةً نَتائِجِ اِخْتِيارِ المِيزاتِ لِلمُتَغَيِّرات المُسْتَقِلَّةِ فِي الجَدْوَلُ [tb:vs] مَعَ النَتائِجِ المَعْرُوضَةِ فِي الجَدْوَلُ [tb:corr]، يَتَّضِح أَنَّ شَبَكَةِ الاِنْتِقاء الجيني المُتَقَدِّمَةِ وَشَبَكَةِ الاِنْتِقاء الجيني المُتَقَدِّمَةِ المُعْتَمَدَةِ عَلَى الاِنْحِدارِ اللامعياري تُظْهِر تَقَلُّباتِ أَكْبَرَ فِي أَحْجام النَماذِجِ المُخْتارَة، إِلَى جانِبِ مُعَدَّلاتِ أَعْلَى لِلسَلْبِيّاتِ الكاذِبَة وَالإِيجابِيّاتِ الكاذِبَة فِي نَمُوذَجَ الاِنْحِدارِ. يُمْكِن إِرْجاع هٰذا السُلُوكِ إِلَى وُجُودِ مِيزاتِ مُتَرابِطه. بِالمُقابِلِ، تُحَدِّد طُرُقٍ شَبَكَةِ الاِنْتِقاء المُتَعَدِّدَةِ الجِينات المُقْتَرَحَةِ وَشَبَكَةِ الاِنْتِقاء الجيني المُتَقَدِّمَةِ المُتَعَدِّدَةِ المُتَغَيِّراتِ ذاتِ الصِلَةِ بِفَعّالِيَّةٍ مَعَ الحِفاظِ عَلَى مُعَدَّلاتِ مُنْخَفَضه نِسْبِيّاً لِلإِيجابِيّات وَالسَلْبِيّاتِ الكاذِبَة عَبْرَ جَمِيعِ النَماذِجِ.
لَقَد اُسْتُخْدِمْنا الغاباتِ العَشْوائِيَّةِ (Random Forest) مَعَ 1000 شَجَرَةَ قَرارِ لِعَمَلِيَّةِ تَرْكِيبِ النَمُوذَجِ. لِضَمانِ مُقارَنَةً عادِلَةٍ بَيِّنَ جَمِيعِ الطُرُقِ المَبْنِيَّةُ عَلَى الشَبَكاتِ العَصَبِيَّةِ، اِعْتَمَدْنا عَلَى شَبَكَةِ الإِدْراك المُتَعَدِّدِ الطَبَقاتِ (Multi-Layer Perceptron) المفعله بِواسِطَةِ ReLu مَعَ طَبَقَتَيْنِ مَخْفِيَّتَيْنِ تَحْتَوِيانِ عَلَى 10 وَ 5 وَحَداتٍ عَلَى التَوالِي. تَمَّ تَهْيِئَةِ اوزان الشَبَكَةِ بِأَخْذِ عَيِّناتٍ مِن تَوْزِيعِ غاوسي بِمُتَوَسِّطِ 0 وَاِنْحِراف مِعْيارَيَّ 0.1، بَيْنَما تَمَّ ضَبْطِ مُصْطَلَحاتٍ الاِنْحِيازِ عَلَى 0 وِفْقاً لَتَقْنِيّه تَهْيِئَةِ Xavier (glorot2010understanding). تَمَّ تَحْسِينِ الشَبَكاتِ العَصَبِيَّةِ بِاِسْتِخْدامِ مُحْسِن Adam.
قُمْنا بِتَنْفِيذِ طَرِيقَةِ STG كَما وَصَفَ فِي (yamada2020feature) حَيْثُ تَمَّ تَحْسِينِ مُعَدَّلِ التَعَلُّمِ (LR) وَمَعامِلِ التَنْظِيمِ \(\lambda\) عَبْرَ Optuna مَعَ 500 تَجْرِبَةِ، بِاِسْتِخْدامِ \(10\%\) مِن مَجْمُوعَةِ التَدْرِيبِ كَمَجْمُوعَةٍ تَحَقَّقَ. كانَ عَدَدٍ العُصُورِ 2000 لِكُلِّ تَجْرِبَةِ. تَمَّ عَرَضَ نطاقات بَحَثَ المُعامَلاتِ فِي الجَدْوَلُ [tb:search]. لِجَمِيعِ الطُرُقِ الَّتِي تَقَع ضِمْنَ إِطارِ المُعادَلَةَ (1) فِي الوَرَقَةَ، اِخْتَرْنا القِيَمِ المُثْلَى لِ \(\lambda\) وَ \(\alpha\) مِن شَبَكَةِ ثُنائِيَّةٍ الأَبْعاد، حَيْثُ تَتَراوَح \(\lambda\) وَ \(\alpha\) عَلَى التَوالِي عَلَى 50 وَ 10 قِيَمِ مُتَباعِدَةً بِالتَساوِي عَلَى مِقْياسِ لُوغارِيتْمِي. تَمَّ اِخْتِيارِ القِيَمِ بِناءَ عَلَى أَدائِها عَلَى مَجْمُوعَةِ التَحَقُّقِ، الَّتِي شَكَّلَت \(20\%\) مِن مَجْمُوعَةِ التَدْرِيبِ. لِتَعْطِيلِ اِخْتِيارِ المِيزاتِ، قُمْنا بِضَبْطِ \(\lambda=0\) لِ NN وَ Oracle-NN. تَمَّ تَثْبِيتُ مُعَدَّلِ التَعَلُّمِ \(\gamma\) عِنْدَ 0.001. بِالنِسْبَةِ لِ GLASSONet، GMCPNet، وَ GSCADNet، تَمَّ تَعْيِينِ عَدَدٍ العُصُورِ عِنْدَ \(\lambda_{max}\) إِلَى 2000 لَسِينارِيو الأَبْعاد المُنْخَفِضَة (LD) وَ 200 لَسِينارِيو الأَبْعاد العالِيَةِ (HD). بِالنِسْبَةِ لِجَمِيعِ القِيَمِ الأُخْرَى لِ \(\lambda\)، تَمَّ تَعْيِينِ عَدَدٍ العُصُورِ إِلَى 200 لِكُلِّ مِن إِعْدادات LD وَ HD. تَمَّ تَثْبِيتُ عَدَدٍ العُصُورِ لِ NN بِشَكْلٍ ثابِتٌ عِنْدَ 5000.
فِي تَحْلِيلِ أُمَثِّله البَياناتِ الحَقِيقِيَّةِ، تَظَلّ تَفاصِيلَ التَنْفِيذِ كَما هِيَ فِي سِينارِيو الأَبْعاد العالِيَةِ فِي الدِراساتِ التَحْلِيلِيَّة، مَعَ التَعْدِيلاتِ التالِيَةِ:
لِتَحْلِيلِ البَقاءَ عَلَى قَيْدِ الحَياةِ عَلَى مَجْمُوعَةِ بَياناتٍ CALGB-90401، اُسْتُخْدِمْنا الشَبَكَةِ العَصَبِيَّةِ المُتَعَدِّدَةِ الطَبَقاتِ بِطَبَقَتَيْنِ مَخْفِيَّتَيْنِ، كُلِّ مِنهُما تَحْتَوِي عَلَى 10 عَقْدِ. فِي تَعْدِيلِ المُعَلِّماتُ الفائِقَةِ، اِسْتَكْشَفَنا 100 قِيمَةَ لِ \(\lambda\) تَتَراوَح مِن 0.01 إِلَى 0.1 لِ GMCPNet وَ GSCADNet. بِالإِضافَةِ إِلَى ذٰلِكَ، زِدْنا عَدَدٍ المُرَشَّحِينَ لِ \(\alpha\) إِلَى 50.
فِي مُهِمَّةً التَصْنِيفِ عَلَى مَجْمُوعَةِ بَياناتٍ MNIST، نُعَدِّل نِطاقِ البَحْثِ لِ \(\alpha\) إِلَى [1e-3, 0.1].
البَياناتِ مِن CALGB 90401 مُتاحَةٍ مِن أَرْشِيف بَياناتٍ NCTN عَلَى الرابط https://nctn-data-archive.nci.nih.gov/. يَتِمّ اِسْتِرْجاعِ مَجْمُوعَةِ بَياناتٍ MNIST بِاِسْتِخْدامِ مَصْدَرهم الرَسْمِيِّ.