latex
تُعْتَبَر عَمَلِيَّةِ اِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظِيفَةِ غَيْرِ الخَطِيَّة فِي آنٍ واحِدٍ تَحَدِّيا، خاصَّةٍ فِي الإِعْدادات ذاتِ الأَبْعاد العالِيَةِ حَيْثُ يَتَجاوَز عَدَدٍ المُتَغَيِّراتِ حَجْمِ العَيِّنَةُ المُتاحَةِ فِي التَصْمِيمِ. فِي هٰذِهِ المَقالَة، نَسْتَكْشِف مُشْكِلَةِ اِخْتِيارِ المِيزاتِ فِي الشَبَكاتِ العَصَبِيَّةِ. عَلَى الرَغْمِ مِن اِسْتِخْدامِ LASSO الجَماعِيِّ لِاِخْتِيارِ المُتَغَيِّراتِ لِلتَعَلُّمِ مَعَ الشَبَكاتِ العَصَبِيَّةِ، إِلّا أَنَّهُ يَمِيل إِلَى اِخْتِيارِ مُتَغَيِّراتِ غَيْرِ مُهِمَّةً فِي النَمُوذَجِ لِتَعْوِيضِ الاِنْكِماشُ الزائِد. لِلتَغَلُّبِ عَلَى هٰذا القَيْد، نَقْتَرِح إِطارا لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَفَرِّقَة بِاِسْتِخْدامِ تَنْظِيمِ مُقَعَّر مَجْمُوعَيَّ لِاِخْتِيارِ المِيزاتِ فِي الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة. الفِكْرَةِ الرَئِيسِيَّةِ هِيَ تَطْبِيقِ عُقُوبَةَ مُقَعَّره مُناسَبَةِ عَلَى القاعِدَةِ \(l_2\) للاوزان مِن جَمِيعِ الاِتِّصالاتِ الخارِجَة لِكُلِّ عُقْدَةِ مدخلات، وَبِالتالِي الحُصُولِ عَلَى شَبَكَةِ عَصَبِيَّةُ تُسْتَخْدَم فَقَط مَجْمُوعَةِ فَرْعِيَّةٍ صَغِيرَةٌ مِن المُتَغَيِّراتِ الأَصْلِيَّةِ. بِالإِضافَةِ إِلَى ذٰلِكَ، نُطَوِّر خوارزميه فَعّالَةٍ تَعْتَمِد عَلَى التَحْسِين العَكْسِيّ المساري لِلحُصُولِ عَلَى مَساراتٍ حَلٍّ مُسْتَقِرَّةٍ، مِن أَجْلِ التَعامُلِ مَعَ تَحَدِّي المَناظِر الطَبِيعِيَّةِ المُعَقَّدَةِ لِلتَحْسِين. تُظْهِر دِراساتٍ المُحاكاة الواسِعَةِ وَأُمَثِّله البَياناتِ الحَقِيقِيَّةِ الَّتِي أَجْرَيْناها أَداءِ مُرْضِيا لِلعَيِّنَة المَحْدُودَةَ لِلمُقَدَّر المُقْتَرَحِ، فِي اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ لنمذجه النَتائِجِ المُسْتَمِرَّةِ وَالثُنائِيَّة وَوَقْت الحَدَثِ.
فِي العَقْدِ الماضِي، أَدَّت التَطَوُّراتِ فِي الاِخْتِباراتِ الجُزَيْئِيَّة وَالتَصْوِير وَغَيْرِها مِن الاِخْتِباراتِ المخبريه إِلَى زِيادَةِ الاِهْتِمامِ بِتَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ. تُشِير البَياناتِ ذاتِ الأَبْعاد العالِيَةِ إِلَى مَجْمُوعَةِ بَياناتٍ تَحْتَوِي عَلَى عَدَدٍ كَبِيرٍ مِن المُتَغَيِّراتِ المُلاحَظَةُ مُقارَنَةً بِحَجْمِ العَيِّنَةُ الصَغِيرِ، مِمّا يُشَكِّل تَحَدِّيا كَبِيراً فِي بِناءَ نَماذِجَ دَقِيقَةً وَقابِله لِلتَفْسِير. عَلَى سَبِيلِ المِثالِ، فِي عُلِمَ الأَحْياءِ الحَيَوِيُّ، يَتِمّ اِسْتِخْدامِ مِئاتِ الآلافُ مِن تَعْبِيرات الحَمْضِ النَوَوِيِّ الرِيبِيِّ، وَبَياناتِ دِراسَةٌ الاِرْتِباطِ الجيني الشامِلِ، وَبَياناتِ الميكرواري لِفَهْمِ بِيُولُوجِيّاً الأَمْراض، مَعَ مُشارَكَةِ مِئاتِ المَرْضَى فَقَط (visscher2012five, hertz2016pharmacogenetic, kim2016high, beltran2017impact). لِمُعالَجَةِ لَعْنَةُ الأَبْعاد، أَصْبَحَ اِخْتِيارِ المِيزاتِ خَطْوَةٍ حاسِمَةً فِي تَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ. مِن خِلالَ تَحْدِيدِ المِيزاتِ الأَكْثَرَ تَمْثِيلاً لَتَوْصِيف بِيُولُوجِيّاً الأَمْراض أَو النَتائِجِ، يُمْكِن لِطُرُقِ اِخْتِيارِ المِيزاتِ زِيادَةِ قابِلِيَّةِ تَفْسِيرٍ النَمُوذَجِ وَتَحْسِينِ تَعْمِيمِ النَمُوذَجِ.
هُناكَ طُرُقٍ مُخْتَلِفَةٍ لِاِخْتِيارِ المِيزاتِ، بِما فِي ذٰلِكَ طُرُقٍ الفلتره (koller1996toward, guyon2003introduction, gu2012generalized)، وَطُرُقِ الغِلافِ (kohavi1997wrappers, inza2004filter, tang2014feature)، وَالطُرُقِ المُضَمَّنَة (tibshirani1996regression,zou2006adaptive, fan2001variable,zhang2010nearly). مِن بَيِّنَها، أَصْبَحَت طُرُقٍ الاِنْحِدارِ المُعاقِب شائِعَةٍ جِدّاً فِي تَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ مُنْذُ تَقْدِيمِ مَشْغَل الاِنْكِماشُ وَالاِخْتِيارِ المُطْلَقِ الأَدْنَى (tibshirani1996regression). يُمْكِن لِطَرِيقَةِ الاِنْحِدارِ المُعاقِب أَنَّ تُؤَدِّي تَقْدِيرٍ المُعامَلاتِ وَاِخْتِيارَ المِيزاتِ فِي نَفْسِ الوَقْتِ مِن خِلالَ تَقْلِيصِ بِعَضِّ مُعامَلاتِ المُعَلِّماتُ إِلَى اصفار دَقِيقَةً. بَيْنَما تَمَّ اِسْتِخْدامِ LASSO عَلَى نِطاقِ واسِعٍ لِلحُصُولِ عَلَى تَقْدِيراتِ مُتَفَرِّقَةٌ فِي التَعَلُّمِ الآلِيِّ وَالإِحْصاء، فَإِنَّهُ يَمِيل إِلَى اِخْتِيارِ مُتَغَيِّراتِ غَيْرِ مُهِمَّةً لِتَعْوِيضِ الاِنْكِماشُ الزائِد لِلمُتَغَيِّرات ذاتِ الصِلَةِ (zou2006adaptive). لِمُعالَجَةِ التَحَيُّزِ وَعَدَمِ اِتِّساق اِخْتِيارِ المِيزاتِ لِ LASSO، تَمَّ اِقْتِراحِ عِدَّةٍ طُرُقٍ، بِما فِي ذٰلِكَ LASSO التكيفي (zou2006adaptive)، وَعُقُوبَة الحَدِّ الأَدْنَى المُقَعَّر (MCP) (zhang2010nearly)، وَالاِنْحِرافِ المُطْلَقِ المَقْطُوع بِسَلاسَةٍ (SCAD) (fan2001variable).
وَمَعَ ذٰلِكَ، فَإِنَّ مُعْظَمَ هٰذِهِ الطُرُقِ المُعاقَبَةِ تَفْتَرِض خَطَّيْهِ فِي العَلاقَةِ بَيِّنَ المُتَغَيِّراتِ وَالنَتائِجِ، بَيْنَما قَد لا تَكُون الصِيغَةِ الوَظِيفِيَّة الفِعْلِيَّةِ لِلعَلاقَةِ مُتاحَةٍ فِي العَدِيدَ مِن التَطْبِيقات. تَمَّ اِقْتِراحِ بِعَضِّ التَوَسُّعات غَيْرِ البارامتريه الإِضافِيَّة لِحَلِّ هٰذِهِ المُشْكِلَةِ (cosso,ravikumar2009sparse,meier2009high)، وَلٰكِن نَماذِجها تَعْتَمِد عَلَى مَجامِيع الوَظائِفِ أُحادِيَّةُ البُعْدِ أَو مُنْخَفَضه البُعْدِ وَقَد لا تَكُون قادِرَةٍ عَلَى اِلْتِقاطِ التَفاعُلات المُعَقَّدَةِ بَيِّنَ المُتَغَيِّراتِ المُتَعَدِّدَةِ. يَقْتَرِح (yamada2014high) نَهْجٍ HSIC-LASSO الَّذِي يَسْتَفِيد مِن تَعْلَم النَواةُ لِاِخْتِيارِ المِيزاتِ مَعَ كَشَفَ التَفاعُلات غَيْرِ الخَطِيَّة لِلمِيزات. وَمَعَ ذٰلِكَ، فَإِنَّهُ يُعانِي مِن التَوَسُّعِ التَرْبِيعِيّ فِي التَعْقِيدِ الحِسابِيّ بِالنِسْبَةِ لِعَدَدٍ المُلاحَظاتِ.
تُعْتَبَر الشَبَكاتِ العَصَبِيَّةِ أَدَواتِ قَوِيَّةٍ لنمذجه العَلاقاتِ المُعَقَّدَةِ فِي مَجْمُوعَةِ واسِعَةً مِن التَطْبِيقات، مِن التَعَرُّفُ عَلَى الصُوَرِ (krizhevsky2017imagenet, he2016deep) وَالتَعَرُّف عَلَى الكَلامِ (graves2013speech, chan2016listen) إِلَى مُعالَجَةِ اللُغَةِ الطَبِيعِيَّةِ (young2018recent, devlin2018bert) وَالتَنَبُّؤ المالِيِّ (fischer2018deep). تَمَّ تَحْقِيقِ أَدائِها المُتَطَوِّر مِن خِلالَ المَوارِدِ الحِسابِيَّة القَوِيَّةِ وَاِسْتِخْدامِ أَحْجام عَيِّناتٍ كَبِيرَةٍ. عَلَى الرَغْمِ مِن ذٰلِكَ، فَإِنَّ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ لا تَزال يُمْكِن أَنَّ تُؤَدِّي إِلَى التَرْكِيبُ الزائِد وَضُعْفِ أَداءِ التَعْمِيمِ لِلشَبَكات العَصَبِيَّةِ (liu2017deep). فِي الآوِنَةِ الأَخِيرَةِ، كانَت هُناكَ تَطَوُّراتِ جَدِيدَةٍ فِي اِسْتِخْدامِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة لِاِخْتِيارِ المِيزاتِ أَو تَحْلِيلِ البَياناتِ ذاتِ الأَبْعاد العالِيَةِ. تُرَكِّز سِلْسِلَةٍ مِن الأَبْحاثِ عَلَى اِسْتِخْدامِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة، وَخاصَّةً بِاِسْتِخْدامِ تَقْنِيَّةٍ LASSO الجَماعِيَّةِ لِتَعْزِيزِ التَفْرِقَةِ بَيِّنَ عَقْدِ الإِدْخال (liu2017deep, scardapane2017group, feng2017sparse). تُعْتَبَر هٰذِهِ الطُرُقِ جَمِيعِ الاِتِّصالاتِ الصادِرَةِ مِن عصبون إِدْخالُ واحِدٍ كَمَجْمُوعَةٍ وَتُطَبِّق عُقُوبَةَ LASSO عَلَى القاعِدَةِ \(l_2\) لَمُتَّجِهات الوَزْنِ لِكُلِّ مَجْمُوعَةِ. يُمْكِن العُثُورِ عَلَى شَبَكاتِ عَصَبِيَّةُ أُخْرَى مُنْتَظِمه ب LASSO فِي اِخْتِيارِ المِيزاتِ فِي أَعْمالٍ (li2016deep) وَ(lemhadri2021lassonet). وَمَعَ ذٰلِكَ، فَإِنَّ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة الَّتِي تَتَضَمَّن LASSO تُعانِي مِن مَيْلِ إِلَى الاِنْكِماشُ الزائِد لَوَزْن المُتَغَيِّراتِ ذاتِ الصِلَةِ غَيْرِ الصِفْرِيَّة وَتَشْمَل العَدِيدَ مِن الإِيجابِيّات الخاطِئَةِ فِي النَمُوذَجِ المُخْتار. تَمَّ اِسْتِخْدامِ LASSO التكيفي لِتَخْفِيفِ هٰذِهِ المُشْكِلَةِ (dinh2020consistent)، وَمَعَ ذٰلِكَ، فَإِنَّ نَتائِجهم مَحْدُودَةٍ بِالنَتائِجِ المُسْتَمِرَّةِ وَتَفْتَرِض أَنَّ وَظِيفَةٍ الوَسِيطِ الشُرْطِيَّ هِيَ بِالضَبْطِ شَبَكَةِ عَصَبِيَّةُ. تَجاوُزِ العَمَلِ فِي (yamada2020feature) تَنْظِيمِ \(l_1\) مِن خِلالَ إِدْخالُ بَوّابات عَشْوائِيَّةٍ إِلَى طَبَقَةٌ الإِدْخال لِلشَبَكات العَصَبِيَّةِ. اِعْتَبَرُوا تَنْظِيما شَبِيهاً ب \(l_0\) اِسْتِناداً إِلَى اِسْتِرْخاءِ مُسْتَمِرٍّ لِتَوْزِيعِ برنولي. وَمَعَ ذٰلِكَ، تَتَطَلَّب طَرِيقَتِهِم قِيمَةَ قَطْعِ لِاِخْتِيارِ المُتَغَيِّراتِ ذاتِ الإِشاراتِ الضَعِيفَةُ، وَلا تَسْتَطِيع البَوّابَة العَشْوائِيَّةِ اِسْتِبْعادِ المُتَغَيِّراتِ غَيْرِ المُخْتارَة بِشَكْلٍ كامِلٍ خِلالَ مَراحِلِ التَدْرِيبِ وَالتَنَبُّؤ لِلنَمُوذَج.
فِي هٰذِهِ الوَرَقَةَ، نَقْتَرِح إِطارا جَدِيداً لِلشَبَكات العَصَبِيَّةِ ذاتِ الإِدْخال المُتَفَرِّق بِاِسْتِخْدامِ تَنْظِيمِ مُقَعَّر جَماعِيٍّ لِلتَغَلُّبِ عَلَى قُيُودٍ طُرُقٍ اِخْتِيارِ المِيزاتِ الحالِيَّةِ. عَلَى الرَغْمِ مِن أَنَّ العُقُوباتِ المُقَعَّرَة مِثْلَ MCP وَSCAD قَد أَظْهَرَت أَداءِ جَيِّداً فِي الإِعْدادات النَظَرِيَّةِ وَالعَدَدِيَّة لِاِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ، فَإِنَّها لَم تَتَلَقّ نَفْسِ مُسْتَوَى الاِهْتِمامِ مِثْلَ LASSO فِي سِياقِ التَعَلُّمِ الآلِيِّ. يَهْدِف إِطارنا المُقْتَرَحِ إِلَى لَفَتَ الاِنْتِباهِ إِلَى الإِمْكاناتُ غَيْرِ المُسْتَغَلَّة لِلعُقُوبَة المُقَعَّرَة لِاِخْتِيارِ المِيزاتِ فِي الشَبَكاتِ العَصَبِيَّةِ، مِن خِلالَ تَوْفِيرِ نَهْجٍ شامِلٍ لِاِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظائِفِ فِي كُلِّ مِن الإِعْدادات مُنْخَفَضه الأَبْعاد وَذاتِ الأَبْعاد العالِيَةِ. بِشَكْلٍ خاصٍّ، يُعْتَبَر طَرِيقَتِنا المُقْتَرَحَةِ جَمِيعِ الاِتِّصالاتِ الصادِرَةِ مِن عصبون إِدْخالُ واحِدٍ كَمَجْمُوعَةٍ وَتُطَبِّق عُقُوبَةَ مُقَعَّره مُناسَبَةِ عَلَى القاعِدَةِ \(l_2\) للاوزان لِكُلِّ مَجْمُوعَةِ. مِن خِلالَ تَقْلِيصِ جَمِيعِ الاوزان لَمَجْمُوعات مُعَيَّنَةٍ إِلَى اصفار دَقِيقَةً، فَإِنَّهُ يَحْصُل عَلَى شَبَكَةِ عَصَبِيَّةُ تُسْتَخْدَم مَجْمُوعَةِ صَغِيرَةٌ فَقَط مِن المُتَغَيِّراتِ. بِالإِضافَةِ إِلَى ذٰلِكَ، طَوَّرَنا خوارزميه فَعّالَةٍ اِسْتِناداً إِلَى التَحْسِين العَكْسِيّ لِلمَسار الَّذِي يُنْتِج مَساراتٍ حَلٍّ مُسْتَقِرَّةٍ، لِمُواجَهَةِ تَحَدِّي المَناظِر الطَبِيعِيَّةِ المُعَقَّدَةِ لِلتَحْسِين. تُظْهِر دِراساتٍ المُحاكاة لَدَينا وَأُمَثِّله البَياناتِ الحَقِيقِيَّةِ الأَداءِ المَرْضَى لِلعَيِّنَة المَحْدُودَةَ لِلتَنْظِيمِ المُقَعَّر الجَماعِيِّ، الَّذِي يَتَفَوَّق عَلَى الطُرُقِ الحالِيَّةِ مِن حَيْثُ اِخْتِيارِ المِيزاتِ وَدِقَّة التَنَبُّؤ لنمذجه النَتائِجِ المُسْتَمِرَّةِ وَالثُنائِيَّة وَوَقْت الحَدَثِ.
تُنَظِّم بَقِيَّةِ هٰذِهِ المَقالَة عَلَى النَحْوِ التالِي. فِي القِسْمِ 2، نصيغ مُشْكِلَةِ اِخْتِيارِ المِيزاتِ لَنَمُوذَج غَيْرِ بارامتري عامَ وَنَقْدَم طَرِيقَتِنا المُقْتَرَحَةِ. يَتِمّ تَقْدِيمِ تَنْفِيذِ الطَرِيقَةِ، بِما فِي ذٰلِكَ خوارزميه الاِنْحِدارِ التَدْرِيجِيِّ المَرْكَبِ وَالتَحْسِينِ العَكْسِيّ لِلمَسار، فِي القِسْمِ 3.
نُجْرِي دِراساتٍ مُحاكاةَ واسِعَةً النِطاقِ لِإِظْهارِ أَداءِ الطَرِيقَةِ المُقْتَرَحَةِ.
يَتِمّ تَقْدِيمِ تَطْبِيقِ الطَرِيقَةِ عَلَى مَجْمُوعاتٍ بَياناتٍ واقِعِيَّةٍ.
أَخِيراً، نُناقِش النَتائِجِ وَتَأْثِيراتها.
لِنَفْتَرِض أَنَّ \(X \in \RR^d\) هُوَ مُتَّجِه عَشْوائِيٍّ ذُو بُعْدَ \(d\) وَ\(Y\) هُوَ مُتَغَيِّر الاِسْتِجابَةُ. نَفْتَرِض أَنَّ التَوْزِيعِ الشُرْطِيَّ \(P_{Y|X}\) يَعْتَمِد عَلَى شَكْلٍ \(f(X_S)\) مَعَ دالَّةٍ \(f \in F\) وَمَجْمُوعَةِ فَرْعِيَّةٍ مِن المُتَغَيِّراتِ \(S \subseteq \{1, \cdots, d\}\). نَحْنُ مُهْتَمُّونَ بِتَحْدِيدِ المَجْمُوعَةِ الصَحِيحَةِ \(S\) لِلمُتَغَيِّرات الهامَّةِ وَتَقْدِيرٍ الدالَّةِ \(f\) بِحَيْثُ يُمْكِننا التَنَبُّؤ ب\(Y\) اِسْتِناداً إِلَى المُتَغَيِّر المُخْتار \(X_S\).
عَلَى مُسْتَوَى السُكّانِ، نَهْدِف إِلَى تَقْلِيلِ الخَسارَةِ \[\min_{f\in F, S} \EE_{X, Y} \ell(f(X_S), Y)\] حَيْثُ \(\ell\) هِيَ دالَّةٍ خَسارَةِ مُصَمِّمَةً لِمُشْكِلَةِ مُحَدَّدَةٍ. فِي الإِعْدادات العَمَلِيَّةِ، غالِباً ما يَكُون تَوْزِيعِ \((X, Y)\) غَيْرِ مَعْرُوفٌ، وَبَدَلاً مِن ذٰلِكَ يَتَوَفَّر عَيِّنَةً عَشْوائِيَّةٍ مُسْتَقِلَّةٍ وَمُتَطابِقه التَوْزِيعِ (i.i.d.) بِحَجْمِ \(n\)، تَتَكَوَّن مِن أَزْواج مِن المُلاحَظاتِ \({(X_i, Y_i)}_{i=1}^n\). بِالإِضافَةِ إِلَى ذٰلِكَ، إِذا كانَ عَدَدٍ المُتَغَيِّراتِ \(d\) كَبِيراً، فَإِنَّ البَحْثِ الشامِلِ عَن جَمِيعِ المَجْمُوعاتِ الفَرْعِيَّةِ المُحْتَمَلَةِ \(S\) يُصْبِح غَيْرِ قابِلٌ لِلتَطْبِيقِ مِن الناحِيَةِ الحِسابِيَّة. عِلاوَةً عَلَى ذٰلِكَ، لا نَفْتَرِض أَيّ شَكْلٍ مُحَدَّدٍ لِلدالَّة المَجْهُولَة \(f\) وَنَهْدِف إِلَى تَقْرِيبِ \(f\) بِشَكْلٍ غَيْرِ مُعَلِّمَيَّ بِاِسْتِخْدامِ الشَبَكاتِ العَصَبِيَّةِ. وَبِالتالِي، هَدَفَنا هُوَ تَطْوِيرِ طَرِيقَةِ فَعّالَةٍ يُمْكِنها فِي الوَقْتِ نَفْسِهِ اِخْتِيارِ مَجْمُوعَةِ فَرْعِيَّةٍ مِن المُتَغَيِّراتِ \(S\) وَتَقْرِيبَ الحَلِّ \(f\) لِأَيّ فِئَةٌ مُعَيَّنَةٍ مِن الدوال بِاِسْتِخْدامِ شَبَكَةِ عَصَبِيَّةُ ذاتِ مدخلات مُتَفَرِّقَةٌ.
نَحْنُ نَنْظُر فِي مُقَدَّرات الوَظائِفِ المُعْتَمَدَةِ عَلَى الشَبَكاتِ العَصَبِيَّةِ الأَمامِيَّةِ. لِنَفْتَرِض أَنَّ \(\mathcal{F}_n\) هِيَ فِئَةٌ مِن الشَبَكاتِ العَصَبِيَّةِ الأَمامِيَّةِ \(f_\bw: \RR^d \mapsto \RR\) بِمَعامِل \(\bw\). يُمْكِن التَعْبِيرِ عَن بِنْيَةَ الشَبَكَةِ العَصَبِيَّةِ مُتَعَدِّدَةِ الطَبَقاتِ (MLP) كَتَكْوِين لِسِلْسِلَةٍ مِن الوَظائِفِ \[f_\bw(x)=L_D \circ \sigma \circ L_{D-1} \circ \sigma \circ \cdots \circ \sigma \circ L_{1} \circ \sigma \circ L_{0}(x), x \in \RR^d,\] حَيْثُ يُشِير \(\circ\) إِلَى تَكْوِينِ الوَظِيفَةِ وَ\(\sigma(x)\) هِيَ وَظِيفَةٍ التَنْشِيط المُحَدَّدَةِ لِكُلِّ مُكَوِّن مِن \(x\). بِالإِضافَةِ إِلَى ذٰلِكَ، \[L_i(x) = \bW_ix + b_i, i=0, 1, \dots, \mD,\] حَيْثُ \(\bW_i \in \RR^{d_{i+1} \times d_{i} }\) هِيَ مَصْفُوفه الوَزْنِ، \(D\) هُوَ عَدَدٍ الطَبَقاتِ المَخْفِيَّة، \(d_i\) هُوَ العَرْضِ المُحَدَّدِ كَعَدَد الخَلايا العَصَبِيَّةِ لِلطَبَقَةِ \(i\)-th بِحَيْثُ \(d_0=d\)، وَ\(b_i \in \RR^{d_{i+1}}\) هُوَ مُتَّجِه التَحَيُّزِ فِي التَحْوِيلِ الخَطِّيِّ \(i\)-th \(L_i\). لاحَظَ أَنَّ المُتَّجِه \(\bw \in \RR^P\) هُوَ تَكْوِينِ الأَعْمِدَةِ لِجَمِيعِ المُعامَلاتِ فِي \(\{\bW_i, b_i: i=0, 1, \dots, \mD\}\). نُحَدِّد الخَسارَةِ التَجْرِيبِيَّة لِ \(f_\bw\) كَما يَلِي \[\mL_n(\bw)= \frac{1}{n} \sum_{i=1}^n \ell(f_\bw(X_i), Y_i).\]
السِينارِيو المِثالِيُّ هُوَ أَنَّ يَكُون لَدَينا شَبَكَةِ عَصَبِيَّةُ بمدخلات مُتَفَرِّقَةٌ \(f_\bw\) تَأْخُذ الإِشاراتِ فَقَط مِن المُتَغَيِّراتِ المُهِمَّةِ، بِمَعْنَى أَنَّ \(\bW_{0,j}=\b0\) لِ \(j \notin S\)، حَيْثُ \(\bW_{0,j}\) يُشِير إِلَى المُتَّجِه العَمُودِيّ \(j\)-th مِن \(\bW_0\). مِن أَجْلِ تَقْلِيلِ الخَسارَةِ التَجْرِيبِيَّة \(\mL_n(\bw)\) مَعَ تحفيز التَفْرِقَةِ فِي \(\bW_0\)، نَقْتَرِح تَدْرِيبِ الشَبَكَةِ العَصَبِيَّةِ بِتَقْلِيل الخَسارَةِ التَجْرِيبِيَّة المُنَظَّمَةِ لِلمَجْمُوعَةِ التالِيَةِ
\[\label{eq:obj} \hat{\bw} = \argmin_{\bw \in \RR^P} \left \{\mL_n(\bw) + \sum_{j=1}^d \rho_\lambda(\|\bW_{0,j}\|_2)+ \alpha \|\bw\|_2^2 \right\},\]
حَيْثُ \(\|\cdot\|_2\) يُشِير إِلَى القاعِدَةِ الأُورُوبِّيَّةِ لَمُتَّجِه.
تَتَكَوَّن دالَّةٍ الهَدَفَ فِي المُعادَلَةَ ([eq:obj]) مِن ثَلاثَةِ مُكَوِّناتِ:
\(\mL_n(\bw)\) هِيَ دالَّةٍ الخَسارَةِ التَجْرِيبِيَّة مِثْلَ خَسارَةِ مُتَوَسِّطُ الأَخْطاءِ المُرَبَّعَةِ لَمَهامّ الاِنْحِدارِ، خَسارَةِ الانتروبيا المُتَقاطِعَة لَمَهامّ التَصْنِيفِ، وَالسِجِلّ السَلْبِيِّ لِلاِحْتِمالِيَّة الجُزْئِيَّةِ لَنَماذِج الأَخْطارِ المُتَناسِبَة. يُمْكِن العُثُورِ عَلَى تَفاصِيلَ إِضافِيَّةً فِي المُلْحَقِ [appendix:loss].
\(\rho_\lambda\) هِيَ دالَّةٍ عُقُوبَةَ مُقَعَّره مُعَلِّمَةُ بِواسِطَةِ \(\lambda \ge 0\). لِاِخْتِيارِ المُتَغَيِّراتِ وَتَعْلَم الشَبَكَةِ العَصَبِيَّةِ فِي نَفْسِ الوَقْتِ، نَجْمَع الاِتِّصالاتِ الخارِجَة مِن كُلِّ نيورون مَدْخَلِ واحِدٍ يَتَوافَق مَعَ كُلِّ مُتَغَيِّر. تَمَّ تَصْمِيمِ دالَّةٍ العُقُوبَةِ المُقَعَّرَة \(\rho_\lambda\) لِتَقْلِيصِ مُتَّجِهات الوَزْنِ لَمَجْمُوعات مُحَدَّدَةٍ إِلَى اصفار دَقِيقَةً، مِمّا يُؤَدِّي إِلَى شَبَكَةِ عَصَبِيَّةُ تُسْتَخْدَم فَقَط مَجْمُوعَةِ صَغِيرَةٌ مِن المُتَغَيِّراتِ الأَصْلِيَّةِ.
\(\alpha \|\bw\|_2^2\)، حَيْثُ \(\alpha > 0\)، يُمَثِّل مُصْطَلَحُ تَنْظِيمِ الحافَة المُسْتَخْدِمُ لِمَنْعِ التَفَرْطُح فِي الشَبَكاتِ العَصَبِيَّةِ. لاحَظَ أَنَّ اِخْتِيارِ المِيزاتِ، بِاِسْتِخْدامِ \(\rho_\lambda\)، يَعْتَمِد حَصْرِيّا عَلَى مَقادِيرِ الاوزان فِي طَبَقَةٌ الإِدْخال. وَمَعَ ذٰلِكَ، مِن المُمْكِنِ تَقْلِيلِ تَأْثِيرِ \(\rho_\lambda\) عَن طَرِيقِ تَقْلِيلِ جَمِيعِ الاوزان فِي طَبَقَةٌ الإِدْخال بَيْنَما يَسْمَح فِي نَفْسِ الوَقْتِ باوزان أَكْبَرَ فِي الطَبَقاتِ الأُخْرَى، دُونِ التَأْثِيرِ عَلَى إِخْراجِ الشَبَكَةِ. يُعالَج تَنْظِيمِ الحافَة هٰذِهِ المُشْكِلَةِ مِن خِلالَ تَعْزِيزِ الاوزان الأَصْغَرِ وَالمُتَوازِنَة جَيِّداً، مِمّا يُحَسِّن اِسْتِقْرارِ النَمُوذَجِ وَيَقْلِل مِن التَفَرْطُح.
لاحَظَ أَنَّهُ عِنْدَما يَكُون عَدَدٍ الطَبَقاتِ المَخْفِيَّة \(D=0\)، تَتَقَلَّص الوَظِيفَةِ \(f_\bw\) إِلَى وَظِيفَةٍ خَطَّيْهِ، وَيُصْبِح مُشْكِلَةِ التَحْسِين فِي المُعادَلَةَ ([eq:obj]) إِطارِ عَمَلٍ الشَبَكَةِ المَرِنَة (zou2005regularization)، SCAD-\(L_2\) (zeng2014group)، وMnet (huang2016mnet)، مَعَ اِخْتِيارِ \(\rho_{\lambda}\) لِيَكُون LASSO، SCAD، وMCP، عَلَى التَوالِي.
هُناكَ عِدَّةٍ دَوال عُقُوبَةَ شائِعَةٍ الاِسْتِخْدامِ تُشَجِّع عَلَى النُدْرَةِ فِي الحَلِّ، مِثْلَ الاِنْتِقاء المُطْلَقِ الأَصْغَرِ (Least Absolute Shrinkage and Selection Operator) (tibshirani1996regression)، وَالاِنْتِقاءِ المُطْلَقِ المُتَقارِب (Smoothly Clipped Absolute Deviation) (fan2001variable)، وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ (Minimax Concave Penalty) (zhang2010nearly). عِنْدَ تَطْبِيقِها عَلَى القاعِدَةِ \(l_2\)-norm لِلمُعامَلاتِ المُرْتَبِطَةِ بِكُلِّ مَجْمُوعَةِ مِن المُتَغَيِّراتِ، تُؤَدِّي هٰذِهِ الدوال العِقابِيَّةِ إِلَى طُرُقٍ تَنْظِيمِ المَجْمُوعاتِ، بِما فِي ذٰلِكَ تَنْظِيمِ المَجْمُوعاتِ لِلاِنْتِقاء المُطْلَقِ الأَصْغَرِ (group Least Absolute Shrinkage and Selection Operator) (yuan2006model)، وَتَنْظِيمِ المَجْمُوعاتِ لِلاِنْتِقاء المُطْلَقِ المُتَقارِب (group Smoothly Clipped Absolute Deviation) (guo2015model)، وَتَنْظِيمِ المَجْمُوعاتِ لِلاِنْتِقاء المُطْلَقِ المُتَعَدِّدِ (group Minimax Concave Penalty) (huang2012selective). عَلَى وَجْهِ التَحْدِيدِ، يَتِمّ تَعْرِيفٍ الاِنْتِقاء المُطْلَقِ الأَصْغَرِ، وَالاِنْتِقاءِ المُطْلَقِ المُتَقارِب، وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ كَما يَلِي.
الاِنْتِقاء المُطْلَقِ الأَصْغَرِ \[\rho_\lambda(t)=\lambda |t|.\]
الاِنْتِقاء المُطْلَقِ المُتَقارِب \[\rho_{\lambda}(t)=\begin{cases} \lambda |t| \quad & {\rm لِ} |t| \le \lambda,\\ -\frac{t^2-2a\lambda|t|+\lambda^2}{2(a-1)} \quad & {\rm لِ} \lambda < |t| \le a\lambda,\\ \frac{(a+1)\lambda^2}{2} \quad & {\rm لِ}|t| > a\lambda, \end{cases}\] حَيْثُ \(a>2\) ثابِتٌ.
الاِنْتِقاء المُطْلَقِ المُتَعَدِّدِ \[\rho_\lambda(t)={\rm sign}(t) \lambda \int_{0}^{|t|}\left(1-\frac{z}{\lambda a}\right)_+ dz,\] حَيْثُ \(a>0\) ثابِتٌ.
لَقَد تَمَّ إِثْباتِ، نَظَرِيّا وَعَدَدِيّا، أَنَّ طُرُقٍ تَنْظِيمِ التقعر لِلاِنْتِقاء المُطْلَقِ المُتَقارِب وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ تُظْهِر أَداءِ قَوِيّاً مِن حَيْثُ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ (fan2001variable, zhang2010nearly). عَلَى عَكْسَ عُقُوبَةَ الاِنْتِقاء المُطْلَقِ الأَصْغَرِ المُحَدَّبَة، الَّتِي تَمِيل إِلَى التَنْظِيمِ الزائِد لِلمُصْطَلَحات الكَبِيرَةِ وَتَوْفِيرِ اِخْتِيارِ مِيزاتِ غَيْرِ مُتَّسِق، يُمْكِن لِلتَنْظِيمِ التقعري تَقْلِيلِ تَحِيز الاِنْتِقاء المُطْلَقِ الأَصْغَرِ وَتَحْسِينِ دِقَّةٍ اِخْتِيارِ النَمُوذَجِ. الأَساسِ وَراءَ العُقُوبَةِ التقعريه يَكْمُن فِي سُلُوكِ مُشْتَقّاتُها. عَلَى وَجْهِ التَحْدِيدِ، يُطْبَق الاِنْتِقاء المُطْلَقِ المُتَقارِب وَالاِنْتِقاءِ المُطْلَقِ المُتَعَدِّدِ فِي البِدايَةِ نَفْسِ مُسْتَوَى العُقُوبَةِ كَما فِي الاِنْتِقاء المُطْلَقِ الأَصْغَرِ، وَلٰكِن يُقَلِّل تَدْرِيجِيّاً مِن مُعَدَّلِ العُقُوبَةِ حَتَّى يَنْخَفِض إِلَى الصِفْرِ عِنْدَما \(t > a\lambda\). نَظَراً لَفَوائِد العُقُوبَةِ التقعريه، نَقْتَرِح اِسْتِخْدامِ تَنْظِيمِ المَجْمُوعاتِ التقعري فِي إِطارِ عَمَلِنا لِاِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظِيفَةِ فِي آنٍ واحِدٍ.
لاحَظَ أَنَّ التَحْسِين فِي المُعادَلَةَ ([eq:obj]) لَيِسَ مُشْكِلَةِ تَحْسِينِ مُحَدَّبه لِأَنَّ كُلِّ مِن دالَّةٍ الخَسارَةِ التَجْرِيبِيَّة \(\mL_n(\bw)\) وَدالّه العُقُوبَةِ \(\rho_\lambda\) قَد تَكُون غَيْرِ مُحَدَّبه. لِلحُصُولِ عَلَى نُقْطَةً ثابِتَةٍ، نَسْتَخْدِم خوارزميه التَدَرُّج المَرْكَبِ (nesterov2013gradient). تَمَّ دَمْجِ هٰذِهِ الخوارزميه أَيْضاً فِي (feng2017sparse, lemhadri2021lassonet) لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَناثِرَة بِناءَ عَلَى تَنْظِيمِ LASSO.
لِنَرْمُز \(\bar{\mL}_{n,\alpha}(\bw)=\mL_n(\bw) + \alpha \|\bw\|_2^2\) كَمُكَوِّن ناعِم لَدالّه الهَدَفَ فِي المُعادَلَةَ ([eq:obj]). تَكْرارِ التَدَرُّج المَرْكَبِ لِلعَصْرِ \(t\) يُعْطَى بِواسِطَةِ \[\label{eq:iterate} \bw^{t+1} = \argmin_{\bw} \left\{ \frac{1}{2} \| \bw - \Tilde{\bw}^{t+1}\|_2^2 + \sum_{j=1}^d \rho_\lambda(\|\bW_{0,j}\|_2) \right\},\] حَيْثُ \(\Tilde{\bw}^{t+1}=\bw^{t}-\gamma \nabla \bar{\mL}_{n,\alpha}(\bw^t)\) هُوَ التَحْدِيثِ التَدْرِيجِيِّ فَقَط لِلمُكَوِّن الناعِم \(\bar{\mL}_{n,\alpha}(\bw^t)\) الَّذِي يُمْكِن حِسابِهِ بِاِسْتِخْدامِ خوارزميه الاِنْتِشارِ الخَلْفِيِّ القِياسِيَّةِ. هُنا \(\gamma>0\) هُوَ مُعَدَّلِ التَعَلُّمِ لِلتَحْدِيث وَيُمْكِن تَعْيِينِهِ كَقِيمَة ثابِتَةٍ أَو تَحْدِيدِهِ بِاِسْتِخْدامِ طَرِيقَةِ البَحْثِ الخَطِّيِّ الرَجْعِيِّ، كَما وَصَفَ فِي (nesterov2013gradient). لِيَكُن \(A_j\) يُمَثِّل مَجْمُوعَةِ الفَهارِس لِ \(\bW_{0,j}\) ضِمْنَ \(\bw\). نَعْرِف \(A\) كَمَجْمُوعَةٍ الفَهارِس الَّتِي تَشْمَل جَمِيعِ الاوزان فِي طَبَقَةٌ الإِدْخال، مُعْطاة ب \(A = \{\bigcup_{j=1}^{d} A_j\}\). بِحَلِّ المُعادَلَةَ ([eq:iterate])، نَحْصُل عَلَى شَكْلٍ التَكْرارِ \(\bw^{t+1}_{A^c}=\Tilde{\bw}^{t+1}_{A^c}\) وَ \[\label{eq:iterate_1} \bw^{t+1}_{A_j}=h( \Tilde{\bw}^{t+1}_{A_j}, \lambda), \quad \text{لِ } j=1, \cdots, d.\] هُنا، \(A^c\) يُشِير إِلَى مكمل المَجْمُوعَةِ \(A\)، وَالدالَّة \(h\) تُمَثِّل مَشْغَل العَتَبَةَ، الَّذِي يُمْكِن تَحْدِيدِهِ بِواسِطَةِ العُقُوبَةِ المُحَدَّدَةِ \(\rho_{\lambda}\). بِأَخْذِ \(\rho_{\lambda}\) لِتَكُون عُقُوباتٍ LASSO، MCP، وَ SCAD، يُمْكِن التَحَقُّقِ مِن أَنَّ حُلُولٍ GLASSO، GSCAD، وَ GMCP لِلتَكْرار فِي المُعادَلَةَ ([eq:iterate_1]) لَها الشَكْلِ التالِي:
GLASSO \[h_\text{GLASSO}(z, \lambda)= S_\text{g}(z, \lambda).\]
GSCAD \[h_\text{GSCAD}(z, \lambda)=\begin{cases} S_\text{g}(z, \lambda), & \text{إِذا } \|z\|_2 \le 2\lambda,\\ \frac{a-1}{a-2}S_\text{g}(z,\frac{a\lambda}{a-1}), & \text{إِذا } 2\lambda < \|z\|_2 \le a \lambda,\\ z, & \text{إِذا } \|z\|_2 > a \lambda. \end{cases}\]
GMCP \[h_\text{GMCP}(z, \lambda)=\begin{cases} \frac{a}{a-1} S_\text{g}(z, \lambda), & \text{إِذا } \|z\|_2 \le a\lambda,\\ z, & \text{إِذا } \|z\|_2 > a \lambda, \end{cases}\]
حَيْثُ \(S_\text{g}(z;\lambda)\) هُوَ مَشْغَل التَخْفِيفِ الجَماعِيِّ المعرف كَما يَلِي: \[S_\text{g}(z;\lambda)=\left (1-\frac{\lambda}{\|z\|_2} \right)_+ z.\] وَبِالتالِي، يُمْكِننا تَنْفِيذِ التَدَرُّج المَرْكَبِ بِكَفاءَة عَن طَرِيقِ دَمْجِ عَمَلِيَّةِ العَتَبَةَ إِضافِيَّةً فِي طَبَقَةٌ الإِدْخال. يُمْكِن تَلْخِيصُ الحِسابِ لِلعَصْرِ t كَما يَلِي:
حِسابِ التَدَرُّج لِ \(\bar{\mL}_{n,\alpha}(\bw^t)\) بِاِسْتِخْدامِ الاِنْتِشارِ الخَلْفِيِّ،
تَحْدِيثِ \(\Tilde{\bw}^{t+1} \leftarrow \bw^{t}-\gamma \nabla \bar{\mL}_{n,\alpha}(\bw^t)\)،
تَحْدِيثِ \(\bw^{t+1}_{A^c} \leftarrow \Tilde{\bw}^{t+1}_{A^c}\) وَ \(\bw^{t+1}_{A_j} \leftarrow h( \Tilde{\bw}^{t+1}_{A_j}, \lambda)\)، لِ \(j=1, \cdots, d\).
مَجْمُوعَةِ الفَهارِس النِهائِيَّةِ لِلمُتَغَيِّرات المُخْتارَة هِيَ \(\hat{S}=\{j: \hat{\bw}_{A_j} \ne \b0\}\).
نَحْنُ مُهْتَمُّونَ بِتَعَلُّمِ الشَبَكاتِ العَصَبِيَّةِ لَيِسَ فَقَط لِقِيمَةِ مُحَدَّدَةٍ مِن \(\lambda\)، وَلٰكِن أَيْضاً لِمَجْمُوعَةِ مِن القِيَمِ \(\lambda\) حَيْثُ تَخْتَلِف الشَبَكاتِ بِعَدَدٍ المُتَغَيِّراتِ المُدْرَجَةِ. عَلَى وَجْهِ التَحْدِيدِ، نَنْظُر فِي مَجْمُوعَةِ مِن \(\lambda\) مِن \(\lambda_{\text{min}}\)، حَيْثُ تَشْمَل الشَبَكاتِ جَمِيعِ المُتَغَيِّراتِ أَو عَدَداً كَبِيراً جِدّاً مِن المُتَغَيِّراتِ، إِلَى \(\lambda_{\text{max}}\)، حَيْثُ يَتِمّ اِسْتِبْعادِ جَمِيعِ المُتَغَيِّراتِ وَيُصْبِح \(|W_0|\) مَصْفُوفه صِفْرَيْهِ. نَظَراً لِأَنَّ دالَّةٍ الهَدَفَ غَيْرِ مُحَدَّبه وَلَدَيها العَدِيدَ مِن الحُدُودِ المَحَلِّيَّةِ الصُغْرَى، فَإِنَّ حَلٍّ المُعادَلَةَ ([eq:obj]) مَعَ التَهْيِئَة العَشْوائِيَّةِ قَد لا يَتَغَيَّر بِشَكْلٍ مُسْتَمِرٍّ لِ \(\lambda \in [\lambda_{\text{min}}, \lambda_{\text{max}}]\)، مِمّا يُؤَدِّي إِلَى مَسارِ غَيْرِ مُسْتَقِرّ لِلغايَةِ مِن الحُلُولِ المُنَظَّمَةِ بِواسِطَةِ \(\lambda\).
لِمُعالَجَةِ هٰذِهِ المُشْكِلَةِ، نَعْتَبِر إِسْتراتِيجِيَّةِ تَحْسِينِ المَسارُ بِتَغْيِيرِ مَعامِلِ التَنْظِيمِ عَلَى طُولِ المَسارُ. فِي هٰذا النَهْجِ، نَسْتَخْدِم حَلٍّ قِيمَةَ مُعَيَّنَةٍ مِن \(\lambda\) كَبِدايَة دافِئَةٍ لِلمُشْكِلَةِ التالِيَةِ. تَعْتَمِد طُرُقٍ الاِنْحِدارِ الخَطِّيِّ المُنَظَّمِ (friedman2007pathwise, friedman2010regularization, breheny2011coordinate) عادَةً عَلَى تَحْسِينِ المَسارُ الأَمامِيّ، بَدْءاً مِن نَمُوذَجَ فارِغٌ مَعَ اِسْتِبْعادِ جَمِيعِ المُتَغَيِّراتِ عِنْدَ \(\lambda_{\text{max}}\) وَالعَمَلِ إِلَى الأَمامِ مَعَ تَقْلِيلِ \(\lambda\). وَمَعَ ذٰلِكَ، أَظْهَرَت دِراساتنا العَدَدِيَّةِ لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَناثِرَة أَنَّ البَدْء مِن حَلٍّ مُتَناثِر كَنَمُوذَج أُولَى لا يُنْتِج نَمُوذَجاً أَكْبَرَ عَلَى طُولِ المَسارُ حَتَّى القَفْزِ إِلَى النَمُوذَجِ الكامِلِ عِنْدَ قِيمَةَ \(\lambda\) صَغِيرَةٌ بِما فِيهِ الكِفايَةُ. لِمُعالَجَةِ هٰذِهِ المُشْكِلَةِ، نُنَفِّذ نَهْجٍ تَحْسِينِ المَسارُ العَكْسِيّ، بَدْءاً مِن نَمُوذَجَ كَثِيفٍ عِنْدَ القِيمَةِ الدُنْيا لِ \(\lambda_{\text{min}}\) وَالحَلُّ نَحْوَ النَماذِجِ المُتَناثِرَة حَتَّى \(\lambda_{\text{max}}\) مَعَ اِسْتِبْعادِ جَمِيعِ المُتَغَيِّراتِ مِن الشَبَكَةِ. يَتِمّ أَيْضاً اِسْتِخْدامِ هٰذا النَهْجِ الدافِئ مِن الكَثِيفِ إِلَى المُتَناثِرِ فِي (lemhadri2021lassonet) بِاِسْتِخْدامِ تَنْظِيمِ LASSO.
لِتَوْضِيحِ أَهَمِّيَّةً اِسْتِخْدامِ تَحْسِينِ المَسارُ العَكْسِيّ فِي الشَبَكاتِ العَصَبِيَّةِ المُنَظَّمَةِ، نُحَقِّق فِي اِخْتِيارِ المُتَغَيِّراتِ وَتَقْدِيرٍ الوَظِيفَةِ لَنَمُوذَج الاِنْحِدارِ \(Y=f(X)+\epsilon\)، حَيْثُ \(f(X)=\log(|X_1|+0.1)+ X_1X_2+X_2 + \exp(X_3+X_4)\) مَعَ 4 مُتَغَيِّراتِ مَعْلُوماتِيَّةُ وَ 16 مُتَغَيِّرا ثانَوِيّا، وَكُلُّ \(X_i\) وَ \(\epsilon\) يَتْبَعانِ التَوْزِيعِ الطَبِيعِيِّ القِياسِيَّ. يَتِمّ تَقْدِيمِ المَزِيدِ مِن التَفاصِيلِ حَوْلَ المُحاكاة فِي القِسْمِ 4.
بِالإِضافَةِ إِلَى تَوْفِيرِ مَساراتٍ حَلٍّ مُسْتَقِرَّةٍ وَسَلِسه، فَإِنَّ تَحْسِينِ المَسارُ العَكْسِيّ لَهُ مَزايا حِسابِيَّةً. عَلَى وَجْهِ الخُصُوصِ:
تَقْدِيراتِ الاوزان المُتَتالِيَةِ فِي المَسارُ قَرِيبَةٌ، مِمّا يُقَلِّل مِن جَوْلاتٍ النُزُولِ التَدْرِيجِيِّ المَطْلُوبَةِ لِكُلِّ تَكْرارِ. وَبِالتالِي، يَحْدُث مُعْظَمَ التَكْلِفَةِ الحِسابِيَّة عِنْدَ \(\lambda_{\text{min}}\)، وَيُؤَدِّي عَدَدٍ أَقَلَّ مِن التكرارات لِبَقِيَّةِ \(\lambda\)s إِلَى تَكالِيفِ حِسابِيَّةً مُنْخَفَضه.
نُلاحِظ أَنَّ المُتَغَيِّراتِ المُسْتَبْعَدَة مِن الحُلُولِ السابِقَةِ نادِراً ما تُدْرِج فِي الحُلُولِ التالِيَةِ. مِن خِلالَ تَقْلِيم مدخلات الشَبَكَةِ العَصَبِيَّةِ عَلَى طُولِ مَسارِ الحَلِّ، يُمْكِن تَحْقِيقِ مَزِيدٍ مِن الحَدِّ مِن تَعْقِيدِ الحِسابِ حَيْثُ تُصْبِح النَماذِجِ مُتَناثِرَةً. نَظَراً لِأَنَّ التَكْلِفَةِ الحِسابِيَّة تَتَناسَب مَعَ عَدَدٍ المِيزاتِ المدخله، يُمْكِن لِهٰذا النَهْجِ أَنَّ يَسْرُع الحِسابِ بِشَكْلٍ كَبِيرٍ، خاصَّةٍ لِلبَيانات ذاتِ الأَبْعاد العالِيَةِ.
يَتَطَلَّب الإِطارِ الَّذِي نَقْتَرِحه مُعامِلَيْنِ للتوليف: مَعامِلِ عُقُوبَةَ المَجْمُوعَةِ \(\lambda\) وَمَعامِلِ عُقُوبَةَ الريدج \(\alpha\). يَتَحَكَّم الأَوَّلِ فِي عَدَدٍ المُتَغَيِّراتِ المُخْتارَة وَيُنْتَج نَماذِجَ أَكْثَرَ تَبْسِيطا لَقِيَم أَكْبَرَ مِن \(\lambda\)، بَيْنَما يَفْرِض الأَخِيرِ عُقُوبَةَ عَلَى حَجْمِ اوزان الشَبَكَةِ لِمَنْعِ التَخْصِيصِ الزائِد.
فِي جَمِيعِ الدِراساتِ العَدَدِيَّةِ المُقَدَّمَةِ فِي هٰذِهِ الوَرَقَةَ، اِعْتَمَدْنا مَجْمُوعَةِ تَحَقَّقَ اِحْتِياطَيْهِ بِنِسْبَةِ 20% مِن بَياناتٍ التَدْرِيبِ. تَمَّ تَدْرِيبِ النَمُوذَجِ بِاِسْتِخْدامِ البَياناتِ المُتَبَقِّيَةُ، وَتَمَّ اِخْتِيارِ القِيَمِ المُثْلَى لِ \(\lambda\) وَ \(\alpha\) مِن شَبَكَةِ دَقِيقَةً مِن القِيَمِ بِناءَ عَلَى أَدائِها عَلَى مَجْمُوعَةِ التَحَقُّقِ.
يَتَوَفَّر الكود البَرْمَجِيّ بِلُغَةِ بايثون وَالأَمْثِلَة لِلشَبَكات العَصَبِيَّةِ المُنْتَظِمَة بِالمُقَعَّر المجموعي المُقْتَرَحَةِ عَلَى https://github.com/r08in/GCRNN.
لِتَعْزِيزِ الاِسْتِقْرارِ وَالدِقَّةِ فِي اِخْتِيارِ وَتَقْدِيرٍ المِيزاتِ، نَقْتَرِح اِسْتِخْدامِ خَطْوَةٍ فَحْص مُسْبَقٍ إِضافِيَّةً تَعْتَمِد عَلَى التَحَقُّقِ المُتَقاطِعِ بِطَرِيقَةٍ مَوَّنْتُ كارْلُو. عَلَى وَجْهِ التَحْدِيدِ، نَقُوم بِتَقْسِيم البَياناتِ عَشْوائِيّا إِلَى مَجْمُوعاتٍ تَدْرِيبِ وَتُحَقِّق بِنِسْبَةِ مُحَدَّدَةٍ مُسْبَقاً وَنُطَبِّق طَرِيقَتِنا المُقْتَرَحَةِ عَلَى مَجْمُوعَةِ التَدْرِيبِ مَعَ اِخْتِيارِ المُعَلِّماتُ التوافقيه الأَمْثَلُ بِناءَ عَلَى مَجْمُوعَةِ التَحَقُّقِ. يَتِمّ تَكْرارِ هٰذِهِ العَمَلِيَّةِ لَمَجْمُوع \(B\) مَرّاتٍ، وَيَتِمّ اِخْتِيارِ المُتَغَيِّراتِ الَّتِي تَحَقَّقَ نِسْبَةَ اِخْتِيارِ لا تُقِلّ عَن \(r\)، حَيْثُ \(r \in (0, 1]\). وَأَخِيرا، نُطَبِّق الطَرِيقَةِ المُقْتَرَحَةِ بِاِسْتِخْدامِ المُتَغَيِّراتِ الَّتِي تَمَّ فَحْصُها مُسْبَقاً فَقَط. تُظْهِر دِراساتنا العَدَدِيَّةِ أَنَّ هٰذا النَهْجِ يُمْكِن أَنَّ يُحَسِّن الاعتماديه وَالمَتانَة فِي اِخْتِيارِ وَتَقْدِيرٍ المِيزاتِ، خاصَّةٍ عِنْدَ التَعامُلِ مَعَ بَياناتٍ ذاتِ أَبْعادَ عالِيَةٍ.
نُقِيم أَداءِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة فِي اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ مِن خِلالَ عِدَّةٍ إِعْدادات مُحاكاةَ. يَتِمّ تَوْلِيدِ البَياناتِ مِن خِلالَ الدالَّةِ التالِيَةِ: \[f(X)=\log(|X_1|+0.1)+ X_1X_2+X_2 + \exp(X_3+X_4),\] حَيْثُ يَتِمّ تَوْلِيدِ كُلِّ مُكَوِّن مِن مُتَّجِه المُتَغَيِّراتِ \(X=(X_1, \cdots, X_d)^T \in \RR^d\) مِن تَوْزِيعِ طَبِيعِيٍّ قِياسِيٌّ مُسْتَقِلٍّ. هُنا \(d>4\) وَالدالَّة \(f(X)\) مُتَفَرِّقَةٌ بِحَيْثُ أَنَّ الأَرْبَعِ مُتَغَيِّراتِ الأُولَى فَقَط هِيَ ذاتِ صِلَةٍ بِالنَتِيجَةِ. نُولَد \(n\) عَيِّناتٍ عَشْوائِيَّةٍ مُسْتَقِلَّةٍ وَمُتَطابِقه التَوْزِيعِ مَعَ نَتائِجِ مُسْتَمِرَّةٌ، وَنَتائِجَ ثُنائِيَّةٍ، وَنَتائِجَ زَمَنٍ الحَدَثِ فِي الأَمْثِلَة الثَلاثَةِ التالِيَةِ، عَلَى التَوالِي.
(نَمُوذَجَ الاِنْحِدارِ) يَتِمّ تَوْلِيدِ الاِسْتِجابَةُ المُسْتَمِرَّةِ \(Y\) مِن نَمُوذَجَ اِنْحِدارٌ قِياسِيٌّ مَعَ خَطَأ إِضافِيٍّ كَما يَلِي \[Y=f(X)+\epsilon,\] حَيْثُ \(\epsilon\) يَتْبَع تَوْزِيعِ طَبِيعِيٍّ قِياسِيٌّ. [ex:regression]
(نَمُوذَجَ التَصْنِيفِ) الاِسْتِجابَةُ الثُنائِيَّةِ \(Y \in \{0,1\}\) يَتِمّ تَوْلِيدها مِن تَوْزِيعِ برنولي مَعَ الاِحْتِمالِيَّة الشَرْطِيَّةَ التالِيَةِ \[P(Y=1|X) = \frac{1}{1+\exp{(-f(X))}}.\] [ex:classification]
(نَمُوذَجَ المَخاطِرِ المُتَناسِبَة) زَمَنٍ البَقاءَ \(T\) يَتْبَع نَمُوذَجَ المَخاطِرِ المُتَناسِبَة مَعَ دالَّةٍ خَطَرِ مِن الشَكْلِ \[\label{eq:PHM} h(t|X)=h_0(t)\exp{(f(X))},\] حَيْثُ \(h_0(t)\) هِيَ دالَّةٍ الخَطَرِ الأَساسِيَّةِ. وَبِالتالِي، \(T=H_0^{-1} \left ( -\log(U)\exp{(f(X)}\right)\)، حَيْثُ \(U\) هُوَ مُتَغَيِّر عَشْوائِيٍّ مُوَحَّدٍ فِي \([0,1]\)، وَ\(H_0\) هِيَ دالَّةٍ الخَطَرِ التراكمي الأَساسِيَّةِ المُحَدَّدَةِ ك \(H_0(t)=\int_0^t h_0(u)du\). لَقَد اِعْتَبَرْنا دالَّةٍ خَطَرِ وَيُبْل لِ \(H_0\)، مَعَ مَعامِلِ القِياس \(=2\) وَمَعامِلِ الشَكْلِ \(=2\). مِن بَيِّنَ \(n\) عَيِّناتٍ، \(\mC \times n\) مِنها يَتِمّ اِخْتِيارُها عَشْوائِيّا كَمُلاحَظات الحَجْب مَعَ مُؤَشِّرُ الحَجْب \(\delta_i=0\) وَإِلّا \(\delta_i=1\) لَمُلاحَظات الحَدَثِ. مُعَدَّلِ الحَجْب \(\mC=0\)، \(0.2\) وَ \(0.4\) فِي مُحاكاتنا. نُحَدِّد الزَمَنِ المُلاحَظِ
\[Y_i=\begin{cases} T_i & \text{if } \delta_i=1, \\ C_i & \text{if } \delta_i=0, \end{cases}\]
حَيْثُ زَمَنٍ الحَجْب \(C_i\) يَتِمّ سَحْبه مِن تَوْزِيعِ مُوَحَّدٍ \((0, T_i)\). [ex:survival]
لِكُلِّ مِثالٌ، نَعْتَبِر الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة فِي السِينارِيُوهات التالِيَةِ:
البُعْدِ المُنْخَفَض (LD): \(d=20\) وَ \(n=300\) وَ \(500\).
البُعْدِ العالِي (HD): \(d=1000\) وَ \(n=500\).
نَقُوم ب 200 مُحاكاةَ لِكُلِّ سِينارِيو. يَتِمّ تَقْيِيمِ أَداءِ النَمُوذَجِ المُدَرِّبِ فِي التَنَبُّؤ وَاِخْتِيارَ المِيزاتِ عَلَى عَيِّناتٍ عَشْوائِيَّةٍ \(n\) مَوْلِده بِشَكْلٍ مُسْتَقِلٍّ بِواسِطَةِ المَقايِيسِ التالِيَةِ:
دَرَجَةِ التَنَبُّؤ، وَالَّتِي تَعْرِف بِدَرَجَةِ \(R^2\)، دِقَّةٍ التَصْنِيفِ، وَمُؤَشِّرُ C لَنَمُوذَج الاِنْحِدارِ، التَصْنِيفِ، وَالمَخاطِرُ المُتَناسِبَة عَلَى التَوالِي.
حَجْمِ النَمُوذَجِ (MS)، هُوَ مُتَوَسِّطُ عَدَدٍ المُتَغَيِّراتِ المُخْتارَة.
مُعَدَّلِ الإِيجابِيّات الخاطِئَةِ (FPR)، هُوَ نِسْبَةَ المُتَغَيِّراتِ المُخْتارَة وَلٰكِن غَيْرِ المُهِمَّةِ: \[\label{eq:FPR} FPR=\frac{|\hat{S} \bigcap S^c|}{|S^c|} \times 100\%.\]
مُعَدَّلِ السَلْبِيّاتِ الخاطِئَةِ (FNR)، هُوَ نِسْبَةَ المُتَغَيِّراتِ غَيْرِ المُخْتارَة وَلٰكِن المُهِمَّةِ: \[FNR=\frac{|\hat{S}^c \bigcap S|}{|S|} \times 100\%.\]
تُذَكِّر أَنَّ \(S\) يُمَثِّل مَجْمُوعاتٍ الفِهْرِس الحَقِيقِيَّةِ لِلمُتَغَيِّرات المُهِمَّةِ وَ \(\hat{S}=\{j: \|\bW_{0,j}\|_2 \ne 0 \}\) تَدُلّ عَلَى مَجْمُوعاتٍ الفِهْرِس لِلمُتَغَيِّرات المُخْتارَة.
فِي دِراساتنا العَدَدِيَّةِ، نَعْتَبِر التَنْظِيمِ المُقَعَّر GMCP وَ GSCAD لَإِطار عَمَلِنا المُقْتَرَحِ. نُسَمَّى طَرِيقَةِ الشَبَكاتِ العَصَبِيَّةِ المُنْتَظِمَة بِاِسْتِخْدامِ GLASSO، GMCP، وَ GSCAD ب GLASSONet، GMCPNet، وَ GSCADNet، عَلَى التَوالِي. نُقارَن المُقَدَّرِ المُنْتَظِم المُقَعَّر المُقْتَرَحِ GMCPNet وَ GSCADNet مَعَ GLASSONet، الشَبَكَةِ العَصَبِيَّةِ (NN) بِدُونِ اِخْتِيارِ المِيزاتِ (\(\lambda=0\))، الغابَةِ العَشْوائِيَّةِ (survival) (RF)، وَطَرِيقَةُ STG المُقْتَرَحَةِ فِي (yamada2020feature). نَشْمَل أَيْضاً النُسْخَةَ النَمُوذَجِيَّةِ مِن NN وَ RF (Oracle-NN وَ Oracle-RF) كَمَعايِير مَرْجِعِيَّةِ، حَيْثُ تَعْرِف المُتَغَيِّراتِ ذاتِ الصِلَةِ مُسْبَقاً وَتُسْتَخْدَم مُباشَرَةً فِي عَمَلِيَّةِ تَرْكِيبِ النَمُوذَجِ. أَنْظُر المُلْحَقِ [append:impl] لَتَفاصِيل التَنْفِيذِ.
يُقَدِّم الجَدْوَلُ [tb:vs] مُلَخَّصا لَأَداء اِخْتِيارِ المِيزاتِ لِلأَرْبَع طُرُقٍ، وَهِيَ شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل، شَبَكَةِ جلاسو، شَبَكَةِ العُقُوبَةِ المُقَعَّرَة المُعَمَّمَة، وَشَبَكَةِ العُقُوبَةِ المُقَعَّرَة العامَّةِ المُحَسِّنَة، فِي جَمِيعِ سِينارِيُوهاتٍ المُحاكاة. نَسْتَثْنِي نَتائِجِ طَرِيقَةِ شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل لِلمِثال [ex:survival] حَيْثُ إِمّا أَنَّ تَخْتار جَمِيعِ المُتَغَيِّراتِ أَو لا تَخْتار أَيّاً مِنها لَنَتِيجَة البَقاءَ عَلَى قَيْدِ الحَياةِ. فِي كُلِّ مِن الإِعْدادات مُنْخَفَضه الأَبْعاد وَعالِيَة الأَبْعاد، تَتَفَوَّق شَبَكَةِ العُقُوبَةِ المُقَعَّرَة المُعَمَّمَة وَشَبَكَةِ العُقُوبَةِ المُقَعَّرَة العامَّةِ المُحَسِّنَة بِاِسْتِمْرارٍ عَلَى شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل وَشَبَكَةِ جلاسو مِن حَيْثُ اِخْتِيارِ المِيزاتِ. تُظْهِر هٰذِهِ النَماذِجِ أَداءِ مُتَفَوِّقا، حَيْثُ تَحَقَّقَ أَحْجام نَماذِجَ تَتَطابَق بِشَكْلٍ وَثِيقٍ مَعَ النَمُوذَجِ الحَقِيقِيِّ، إِلَى جانِبِ مُعَدَّلاتِ إِيجابِيَّةً كاذِبَةٌ مُنْخَفَضه وَمُعَدَّلاتِ سَلْبِيَّةٍ كاذِبَةٌ مُنْخَفَضه لِمُعْظَمِ السِينارِيُوهات. بَيْنَما تُؤَدِّي شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل بِشَكْلٍ جَيِّدٍ فِي بِعَضِّ الإِعْدادات مُنْخَفَضه الأَبْعاد، فَإِنَّها تَمِيل إِلَى اِخْتِيارِ مُتَغَيِّراتِ أَكْثَرَ فِي سِينارِيُوهاتٍ عالِيَةٍ الأَبْعاد مَعَ تَبايُنٍ كَبِيرٍ فِي حَجْمِ النَمُوذَجِ. مِن ناحِيَةٍ أُخْرَى، تَمِيل شَبَكَةِ جلاسو إِلَى اِخْتِيارِ المَزِيدِ مِن المُتَغَيِّراتِ، مِمّا يُؤَدِّي إِلَى أَحْجام نَماذِجَ أَكْبَرَ فِي كُلِّ مِن الإِعْدادات مُنْخَفَضه الأَبْعاد وَعالِيَة الأَبْعاد، وَهُوَ ما يَتَماشَى مَعَ طَبِيعَةِ عُقُوبَةَ لِأُسَوّ الأَصْلِيَّةِ.
تَعَرَّضَ الشَكْلِ [tb:boxplot_combine] تَوْزِيعِ دَرَجاتٍ التَنَبُّؤ بِالاِخْتِبار لَنَماذِج الاِنْحِدارِ وَالتَصْنِيفُ وَنَماذِجِ المَخاطِرِ المُتَناسِبَة مَعَ مُعَدَّلِ الرَقابَةِ \(\mC=0.2\). يُمْكِن العُثُورِ عَلَى النَتائِجِ الكامِلَةِ لَنَمُوذَج المَخاطِرِ المُتَناسِبَة فِي المُلْحَقِ [complete:PHM]. تُظْهِر شَبَكَةِ العُقُوبَةِ المُقَعَّرَة المُعَمَّمَة وَشَبَكَةِ العُقُوبَةِ المُقَعَّرَة العامَّةِ المُحَسِّنَة أَداءِ مُتَقارِبا فِي كُلِّ مِن الإِعْدادات مُنْخَفَضه الأَبْعاد وَعالِيَة الأَبْعاد، حَيْثُ تَحَقَّقَ نَتائِجِ مُماثِلَةٍ لِلشَبَكَةِ العَصَبِيَّةِ الاوراكل وَتَتَفَوَّق عَلَى الشَبَكَةِ العَصَبِيَّةِ، الغاباتِ العَشْوائِيَّةِ، وَحَتَّى الغاباتِ العَشْوائِيَّةِ الاوراكل فِي مُعْظَمَ السِينارِيُوهات. تُؤَدِّي شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِل بِشَكْلٍ مُماثِلٍ لِلشَبَكَةِ العَصَبِيَّةِ الاوراكل فِي إِعْدادِ الاِنْحِدارِ مُنْخَفِضٌ الأَبْعاد، وَلٰكِن أَداؤها يَتَدَهْوَر فِي الإِعْدادُ عالِي الأَبْعاد وَالنَماذِج الأُخْرَى. عَلَى العَكْسِ مِن ذٰلِكَ، بَيْنَما تَتَفَوَّق شَبَكَةِ جلاسو أَو تَكُون مُماثِلَةٍ لِطَرِيقَةِ الغاباتِ العَشْوائِيَّةِ الاوراكل فِي الإِعْدادات مُنْخَفَضه الأَبْعاد، فَإِنَّها تُعانِي مِن التَرْكِيبُ الزائِد فِي الإِعْدادات عالِيَةٍ الأَبْعاد مِن خِلالَ تَضْمِينِ عَدَدٍ كَبِيرٍ مِن الإِيجابِيّات الكاذِبَة فِي النَمُوذَجِ النِهائِيِّ.
مِن الجَدِيرِ بِالذَكَر أَنَّ الشَبَكَةِ العَصَبِيَّةِ الاوراكل تَتَفَوَّق عَلَى الغاباتِ العَشْوائِيَّةِ الاوراكل فِي كُلِّ سِينارِيو، مِمّا يُشِير إِلَى أَنَّ الطُرُقِ المَبْنِيَّةُ عَلَى الشَبَكاتِ العَصَبِيَّةِ يُمْكِن أَنَّ تَكُون بَدِيلاً قابِلاً لِلتَطْبِيقِ لِلطُرُق المَبْنِيَّةُ عَلَى الأَشْجارِ عِنْدَما يَكُون حَجْمِ العَيِّنَةُ كَبِيراً بِما يَكْفِي بِالنِسْبَةِ لِعَدَدٍ المُتَنَبِّئَيْنِ. بِالإِضافَةِ إِلَى ذٰلِكَ، تُؤَدِّي الشَبَكَةِ العَصَبِيَّةِ بِدُونِ اِخْتِيارِ المِيزاتِ إِلَى أَسْوَأ النَتائِجِ عَبْرَ جَمِيعِ سِينارِيُوهاتٍ المُحاكاة، مِمّا يَبْرُز أَهَمِّيَّةً اِخْتِيارِ المِيزاتِ، خاصَّةٍ فِي الفَضاءِ عالِي الأَبْعاد.
بِشَكْلٍ عامَ، تُظْهِر نَتائِجِ المُحاكاة الأَداءِ المُتَفَوِّق لِلعُقُوبَة المُقَعَّرَة مِن حَيْثُ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ. تُظْهِر طُرُقٍ شَبَكَةِ العُقُوبَةِ المُقَعَّرَة المُعَمَّمَة وَشَبَكَةِ العُقُوبَةِ المُقَعَّرَة العامَّةِ المُحَسِّنَة قُدْراتٍ مَلْحُوظَةٌ فِي اِخْتِيارِ المُتَغَيِّراتِ المُهِمَّةِ مَعَ مُعَدَّلاتِ إِيجابِيَّةً كاذِبَةٌ مُنْخَفَضه وَمُعَدَّلاتِ سَلْبِيَّةٍ كاذِبَةٌ مُنْخَفَضه، مَعَ تَحْقِيقِ تَنَبُّؤات دَقِيقَةً عَبْرَ نَماذِجَ مُخْتَلِفَةٍ. تُظْهِر هٰذِهِ الطُرُقِ وَعْداً لِمُواجَهَةِ تَحَدِّياتٍ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ فِي البَياناتِ عالِيَةٍ الأَبْعاد.
The dashed line represents the median C-Index of the Oracle-NN, used as a benchmark for comparison.
نَسْتَخْدِم بَياناتٍ دِراسَةٌ CALGB-90401، وَهِيَ تَجْرِبَةِ سَرِيرَيْهِ مِن المَرْحَلَةِ الثالِثَةِ مُزْدَوِجَةٌ التَعْمِيَةِ تُقارَن بَيِّنَ دوكسيتاكسيل وبريدنيزون مَعَ أَو بِدُونِ بيفاسيزوماب فِي الرِجالُ المُصابِينَ بِسَرَطان البروستاتا المُقاوِمَ لِلأَخِصّاء النقيلي (mCRPC) لِتَوْضِيحِ أَداءِ طَرِيقَتِنا المُقْتَرَحَةِ. تَتَكَوَّن بَياناتٍ CALGB-90401 مِن 498,801 تَعَدُّدِ أَشْكالِ النيوكليوتيدات الفَرْدِيَّةِ (SNPs) الَّتِي تَمَّت مُعالَجَتُها مِن عَيِّناتٍ دَمٍ المَرْضَى. نَفْتَرِض نَمُوذَجاً سائِدا لِ SNPs وَبِالتالِي يُعْتَبَر كُلِّ مِن SNPs مُتَغَيِّرا ثُنائِيّا. نَظَراً لِأَنَّ مُعْظَمَ SNPs لا تَتَعَلَّق بِالتَنَبُّؤ بِبَقاءِ المَرِيضُ، فَإِنَّنا نَأْخُذ فِي الاِعْتِبارِ فَقَط 181 SNPs المُرْتَبِطَةِ بِجِينات إِصْلاحِ تَلَفِ الحَمْضِ النَوَوِيِّ، وَ 444 SNPs المُعْطاة الأَوْلَوِيَّةِ بِناءَ عَلَى بَحَثَ أَدَبَيَّ مُحْدَث (mateo2015dna, wyatt2016genomic, beltran2011molecular, mosquera2013concurrent, robinson2015integrative, abida2019genomic, de2017comprehensive). نَحْنُ نَشْمَل أَيْضاً المُتَغَيِّراتِ السريريه الثَمانِيَةُ الَّتِي تَمَّ تَحْدِيدِها كَعَلامات تَنَبُّؤِيّه لِلبَقاءِ الكُلِّيِّ عَلَى قَيْدِ الحَياةِ فِي المَرْضَى المُصابِينَ ب mCRPC (halabi2014updated): اِسْتِخْدامِ المُسَكِّنات الافيونيه (PAIN)، حالَةِ الأَداءِ ECOG، البومين (ALB)، مَوْقِعِ المَرَضِ (مُحَدَّدٍ كَعَقْده لمفيه فَقَط، انبثاث العِظامِ بِدُونِ تَوَرُّطِ حَشْوِي، أَو أَيّ انبثاث حَشْوِي)، LDH أَعْلَى مِن الحَدِّ الأَعْلَى الطَبِيعِيِّ (LDH.High)، هيموغلوبين (HGB)، PSA، وفوسفاتيز القِلْوِيَّة (ALKPHOS). يَحْتَوِي المَجْمُوعِ النِهائِيِّ لِلبَيانات عَلَى \(d = 635\) مُتَغَيِّرا مَعَ عَدَدٍ المَرْضَى \(n = 631\) وَمُعَدَّل الرَقابَةِ \(C = 6.8\%\).
نَعْتَبِر نَمُوذَجَ الخَطَرِ المُتَناسِب فِي شَكْلٍ المُعادَلَةَ ([eq:PHM]) لَطُرُقنا المُقْتَرَحَةِ لِتَحْدِيدِ المُتَغَيِّراتِ السريريه أَو SNPs الَّتِي يُمْكِن أَنَّ تَتَنَبَّآ بِالنَتِيجَةِ الأَساسِيَّةِ لِلبَقاءِ الكُلِّيِّ عَلَى قَيْدِ الحَياةِ فِي هٰؤُلاءِ المَرْضَى. لَتَقْيِيم أَداءِ اِخْتِيارِ المِيزاتِ وَالتَنَبُّؤ لِلطُرُق، نُقَسِّم مَجْمُوعَةِ البَياناتِ عَشْوائِيّا 100 مَرَّةً إِلَى مَجْمُوعاتٍ تَدْرِيبِ (n=526) وَمَجْمُوعاتٍ اِخْتِبارِ (n=105) بِاِسْتِخْدامِ نِسْبَةَ تَخْصِيصُ 5:1. نُطَبِّق الطُرُقِ عَلَى كُلِّ مِن مَجْمُوعاتٍ التَدْرِيبِ وَنَحْسِب المِساحَةَ الزَمَنِيَّةِ تَحْتَ مَنَحَنِي خَصائِصِ التَشْغِيلِ لِلمُسْتَقْبَلِ (tAUC) عَلَى مَجْمُوعاتٍ الاِخْتِبارُ المُقابَلَةِ. يُقِيم tAUC القُدْرَةِ التمييزيه لِلنَمُوذَج المُتَوَقَّعِ وَيَتِمّ حِسابِهِ بِاِسْتِخْدامِ طَرِيقَةِ Uno (uno2007evaluating). تَعَرَّضَ نَتائِجِ التَقْسِيمات العَشْوائِيَّةِ ال 100 فِي الشَكْلِ [fig:C90401_ex]. تَتَفَوَّق طَرِيقَتِنا المُقْتَرَحَةِ، GSCADNet، عَلَى الطُرُقِ الأُخْرَى فِي التَنَبُّؤ بِالبَقاءِ (اللَوْحَةُ اليُسْرَى). مِن المُهِمِّ مُلاحَظَةُ أَنَّ طَرِيقَةِ NN، الَّتِي تَفْتَقِر إِلَى اِخْتِيارِ المِيزاتِ، تَمِيل إِلَى التَرْكِيزِ الزائِد فِي البَياناتِ ذاتِ الأَبْعاد العالِيَةِ وَتُؤَدِّي بِشَكْلٍ سَيِّئ. عَلَى الرَغْمِ مِن أَنَّ هٰذِهِ الطُرُقِ الثَلاثِ المُنْتَظِمَة لِلشَبَكات العَصَبِيَّةِ ذاتِ المدخلات المُتَفَرِّقَة تُؤَدِّي بِشَكْلٍ مُماثِلٍ فِي التَنَبُّؤ بِالبَقاءِ، فَإِنَّ GLASSONet لَدَيها مَيْلِ لِاِخْتِيارِ مُتَغَيِّراتِ زائِدَةٌ وَتَخْتار الطُرُقِ المُقْتَرَحَةِ GMCPNet وَ GSCADNet مَجْمُوعَةِ أَصْغَرِ نِسْبِيّاً مِن المُتَغَيِّراتِ دُونِ التَضْحِيَةِ بِأَداء التَنَبُّؤ (اللَوْحَةُ الوَسَطِيّ). تُوَضِّح اللَوْحَةُ اليُمْنَى مِن الشَكْلِ [fig:C90401_ex] أَنَّ GSCADNet تَخْتار بِنَجاحٍ مُعْظَمَ المُتَغَيِّراتِ السريريه الهامَّةِ وَتَكْتَشِف بِعَضِّ SNPs المُهِمَّةِ فِي التَنَبُّؤ بِالبَقاءِ الكُلِّيِّ عَلَى قَيْدِ الحَياةِ.
نَهْدِف إِلَى تَصَوُّرٍ اِخْتِيارِ المُتَغَيِّراتِ مِن خِلالَ النَظَرِ فِي مُشْكِلَةِ التَصْنِيفِ عَلَى مَجْمُوعَةِ بَياناتٍ MNIST. مَجْمُوعَةِ بَياناتٍ MNIST هِيَ مَجْمُوعَةِ بَياناتٍ مِعْيارَيْهِ مَعْرُوفَةٍ فِي رُؤْيَةٍ الحاسُوب، تَتَكَوَّن مِن صُور بِالأَبْيَض وَالأَسْوَد لِلأَرْقام المَكْتُوبَةُ بِخَطِّ اليَدِ مِن 0 إِلَى 9. فِي هٰذِهِ الدِراسَةُ، نُرَكِّز عَلَى مُشْكِلَةِ التَصْنِيفِ الثُنائِيِّ لِلتَمْيِيزِ بَيِّنَ الأَرْقام 7 وَ 8 فِي مَجْمُوعَةِ بَياناتٍ MNIST. نَقُوم بِتَقْيِيم طُرُقنا المُقْتَرَحَةِ شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet، بِالإِضافَةِ إِلَى الطُرُقِ القائِمَةِ شَبَكَةِ GLASSONet، STG، الشَبَكَةِ العَصَبِيَّةِ، وَالغابَة العَشْوائِيَّةِ، اِسْتِناداً إِلَى اِخْتِيارُهُم لِلمِيزات وَدِقَّة التَصْنِيفِ.
تَتَكَوَّن مَجْمُوعَةِ بَياناتٍ MNIST مِن صُور بِالأَبْيَض وَالأَسْوَد بِأَبْعاد 28x28 بِكَسَل، مِمّا يُعْطِي 784 مُتَغَيِّرا. نَخْتار عَشْوائِيّا 250 صُورَةِ لِلأَرْقام 7 وَ 8 مِن مَجْمُوعَةِ بَياناتٍ MNIST، عَلَى التَوالِي، لِتَشْكِيلِ مَجْمُوعَةِ بَياناتٍ تَدْرِيبِ ذاتِ أَبْعادَ عالِيَةٍ ب \(d=784\) وَ \(n=500\). لاحَظَ أَنَّ تَصْنِيفِ الفِئاتِ يَعْتَمِد فَقَط عَلَى بِكَسِلات المِنْطَقَةِ المَرْكَزِيَّةِ مِن الصُوَرِ، وَبِالتالِي يَجِب أَنَّ تُحَدِّد طَرِيقَةِ اِخْتِيارِ المِيزاتِ الجَيِّدَةِ البكسلات ذاتِ الصِلَةِ وَتُصَنِّف صُور الأَرْقام 7 وَ 8. نَقُوم أَيْضاً بِتَلْوِيثِ الصُوَرِ بِضَوْضاء عَشْوائِيَّةٍ مُسْتَقِلَّةٍ وَمُوَزَّعه بِشَكْلٍ طَبِيعِيٍّ مِن تَوْزِيعِ طَبِيعِيٍّ قِياسِيٌّ بِحَيْثُ لا تَكُون المِيزاتِ المدخله مُتَفَرِّقَةٌ. يَتِمّ تَقْيِيمِ النَماذِجِ المُدَرِّبَة عَلَى مَجْمُوعَةِ بَياناتٍ الاِخْتِبارُ الَّتِي تَحْتَوِي عَلَى 2002 صُورَةِ. لَقَد كَرَّرْنا عَمَلِيَّةِ الأَخْذِ العَشْوائِيِّ وَتَرْكِيبِ النَمُوذَجِ 100 مَرَّةً، وَتُظْهِر نَتائِجِ اِخْتِيارِ المِيزَة (البكسل) وَالتَصْنِيفُ أَنَّ شَبَكَةِ GLASSONet وَشَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet تَحَقَّقَ جَمِيعُها دِقَّةٍ وَسِيطه تَزِيد عَن 91% وَتَتَفَوَّق عَلَى الطُرُقِ الأُخْرَى. بَيْنَما تُظْهِر خَرائِطِ الحَرارَةِ لِاِخْتِيارِ المِيزاتِ أَنَّ شَبَكَةِ GLASSONet وَشَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet تَخْتار بِاِسْتِمْرارٍ البكسلات ذاتِ الصِلَةِ بِتَواتُر عالٍ، تَمِيل شَبَكَةِ GLASSONet إِلَى اِخْتِيارِ مُتَغَيِّراتِ أَكْثَرَ مِن اللازِمِ وَتَخْتار شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet بِكَسِلات غَيْرِ ذاتِ صِلَةٍ بِتَواتُر أَقَلَّ بِكَثِيرٍ (مُشار إِلَيها بِاللَوْن الأَحْمَرِ أَلَدّاكُنَّ).
مِن بَيِّنَ العَدِيدَ مِن طُرُقٍ اِخْتِيارِ المِيزاتِ، اِكْتَسَبَت تَقْنِيّاتِ الاِنْحِدارِ المُعاقِب شَعْبِيَّةٍ كَبِيرَةٍ. وَمَعَ ذٰلِكَ، تَعْتَمِد العَدِيدَ مِن هٰذِهِ الطُرُقِ عَلَى فَرْضِيَّةَ وَتَطْبِيقِ النَظَرِيَّةِ الخَطِيَّة، وَالَّتِي قَد لا تَلْتَقِط العَلاقاتِ المُعَقَّدَةِ بَيِّنَ المُتَغَيِّراتِ التوضيحيه وَنَتِيجَةَ الاِهْتِمامِ. فِي البُحُوثِ الطِبِّيَّةِ الحَيَوِيَّةِ، عَلَى سَبِيلِ المِثالِ، يَقُوم الباحِثُونَ غالِباً بِتَطْبِيعِ البَياناتِ وَاِسْتِخْدامِ تَقْنِيّاتِ مُعاقَبَةِ تَحْتَ نَمُوذَجَ خُطَى لِاِخْتِيارِ المِيزاتِ. وَمَعَ ذٰلِكَ، فَإِنَّ الاِعْتِمادِ فَقَط عَلَى تَحْوِيلِ البَياناتِ يُخاطِر بِتَجاهُلِ العَلاقاتِ البِيُولُوجِيَّةِ المُعَقَّدَةِ وَلا يُعالَج الطَبِيعَةِ الدِينامِيكِيَّة لِلمُؤَشِّرات الحَيَوِيَّةِ أَثْناءَ العِلاجِ. عِلاوَةً عَلَى ذٰلِكَ، فَقَد أَدَّت التَقَدُّمات فِي تَقْنِيّاتِ الجُزَيْئات وَالتَصْوِير إِلَى تَحَدِّياتٍ فِي فَهُم العَلاقاتِ غَيْرِ الخَطِيَّة بَيِّنَ المُؤَشِّراتِ الحَيَوِيَّةِ ذاتِ الأَبْعاد العالِيَةِ وَالنَتائِجِ السريريه. تَحْتاج الطُرُقِ الجَدِيدَةِ بِشَكْلٍ عاجِلٍ لِمُعالَجَةِ هٰذِهِ التَعْقِيداتِ، مِمّا يُؤَدِّي إِلَى فَهُم مُحْسِن لِلعَلاقاتِ غَيْرِ الخَطِيَّة وَتَحْسِينِ عِلاجٍ وَرِعايَة المَرْضَى.
فِي هٰذِهِ الوَرَقَةَ، اِقْتَرَحْنا إِطارِ عَمَلٍ جَدِيدٍ يَسْتَخْدِم تَنْظِيمِ مُقَعَّر المَجْمُوعَةِ لِاِخْتِيارِ المِيزاتِ وَتَقْدِيرٍ الوَظِيفَةِ فِي النمذجه المُعَقَّدَةِ، مُصَمِّمٌ خَصِيصاً لِشَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ. عَلَى عَكْسَ عُقُوبَةَ المُحَدَّبَة مِثْلَ LASSO، تُقَلِّل طُرُقٍ التَنْظِيمِ المُقَعَّرَة مِثْلَ MCP وَ SCAD تَدْرِيجِيّاً مِن مُعَدَّلِ العُقُوبَةِ لِلمُصْطَلَحات الكَبِيرَةِ، مِمّا يَمْنَع الاِنْكِماشُ الزائِد وَيُحْسِن دِقَّةٍ اِخْتِيارِ النَمُوذَجِ. خوارزميه التَحْسِين الخاصَّةِ بِنا، المَبْنِيَّةُ عَلَى اِنْحِدارٌ التَدَرُّج المَرْكَبِ، بَسِيطَةً فِي التَنْفِيذِ، حَيْثُ تَتَطَلَّب فَقَط عَمَلِيَّةِ تَحْدِيدِ إِضافِيَّةً بُعْدَ خَطْوَةٍ اِنْحِدارٌ التَدَرُّج العادِيَّةِ عَلَى المُكَوَّنِ السَلِس. عِلاوَةً عَلَى ذٰلِكَ، نُدْمَج التَحْسِين العَكْسِيّ لِلمَسار لِلتَنَقُّل بِكَفاءَة فِي مَنْظَر التَحْسِين عَبْرَ شَبَكَةِ دَقِيقَةً مِن مُعَلِّمات التوليف، مِمّا يُولَد مَسارِ حَلٍّ سَلِسٍ مِن النَماذِجِ الكَثِيفَةِ إِلَى النَماذِجِ النادِرَةِ. يُحَسِّن هٰذا النَهْجِ لِتَحْسِينِ المَسارُ الاِسْتِقْرارِ وَالكَفاءَةِ الحِسابِيَّة، مِمّا يُعَزِّز قابِلِيَّةِ تَطْبِيقِ إِطارِ عَمَلِنا لِشَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ.
زَمَنٍ تَشْغِيلِ طَرِيقَتِنا المُقْتَرَحَةِ عَلَى مَسارِ حَلٍّ مِن \(\lambda\)s (مَعَ \(\alpha\) ثابِتٌ) يُمْكِن أَنَّ يَكُون مُماثِلا أَو حَتَّى أَقْصَرُ مِن تَدْرِيبِ نَمُوذَجَ واحِدٍ ب \(\lambda\) ثابِتٌ، مِثْلَ طَرِيقَةِ NN بِدُونِ اِخْتِيارِ المِيزَة (\(\lambda=0\)). لِتَوْضِيحِ ذٰلِكَ، نَفْحَص تَعْقِيدِ خوارزميه طَرِيقَةِ NN، وَالَّتِي يُمْكِن تَقْرِيبها ك \(\bo(ndT)\)، حَيْثُ \(T\) يُشِير إِلَى عَدَدٍ العُصُورِ لِتَعْلَم شَبَكَةِ الأَعْصاب. بِالمُقارَنَةِ، تَدْرِيبِ طَرِيقَتِنا المُقْتَرَحَةِ عَلَى مَسارِ حَلٍّ مِن \(m\) \(\lambda\)s لَهُ تَعْقِيدِ \(\bo(n\bar{d}T'm)\)، حَيْثُ \(\bar{d}\) يُمَثِّل مُتَوَسِّطُ عَدَدٍ المدخلات عَلَى طُولِ مَسارِ الحَلِّ مَعَ تَقْلِيم الأَبْعاد، وَ\(T'\) هُوَ عَدَدٍ العُصُورِ لِكُلِّ \(\lambda\) فِي المَسارُ. فِي مُحاكاتنا مَعَ سِينارِيو HD (\(d=1000\))، حَدَّدْنا \(T=5000\)، \(T'=200\)، وَ\(m=50\). بِاِفْتِراض أَنَّ عَدَدٍ المدخلات يَنْقُص بِالتَساوِي عَلَى طُولِ مَسارِ الحَلِّ مِن النَمُوذَجِ الكامِلِ إِلَى النَمُوذَجِ الفارِغ، لَدَينا \(\bar{d}=d/2=500\). وَبِالتالِي، \(ndT=n\bar{d}T'm\) يُشِير إِلَى أَنَّ حَلٍّ مَسارِ كامِلٍ لَطَرِيقَتنا المُقْتَرَحَةِ يَتَطَلَّب حِساباً مُماثِلا لِتَدْرِيبِ نَمُوذَجَ واحِدٍ. فِي التَطْبِيقات العَمَلِيَّةِ، خاصَّةٍ فِي السِينارِيُوهات ذاتِ الأَبْعاد العالِيَةِ، عادَةً ما تَنْخَفِض الأَبْعاد بِسُرْعَةٍ عَلَى طُولِ مَسارِ الحَلِّ. لِذٰلِكَ، يُمْكِن أَنَّ يَكُون \(\bar{d}\) أَصْغَرِ بِكَثِيرٍ مِن \(d/2\)، وَبِالتالِي يُمْكِن أَنَّ يَكُون حَلٍّ مَسارِ حَلٍّ كامِلٍ أَكْثَرَ كَفاءَةِ مِن الناحِيَةِ الحِسابِيَّة. مِن المُهِمِّ الإِشارَةُ إِلَى أَنَّنا حَدَّدْنا \(T'\) لِيَكُون صَغِيراً لِلمُعَلِّم الأَوَّلِ \(\lambda_{\min}\) أَيْضاً فِي إِعْدادِ HD، لِتَجَنُّبِ الإِفْراط فِي تُناسِب نَمُوذَجَ كَثِيفٍ أُولَى.
فِي دِراساتنا العَدَدِيَّةِ، كانَت التَعْدِيلاتِ المعلميه مَحْدُودَةٍ ب \(\lambda\) وَ \(\alpha\). وَمَعَ ذٰلِكَ، فِي التَطْبِيقات العَمَلِيَّةِ، قَد يَكُون مِن الضَرُورِيِّ تَعْدِيلِ مُعَلِّمات فَرْعِيَّةٍ إِضافِيَّةً، مِثْلَ مُعَدَّلِ التَعَلُّمِ، عَدَدٍ الطَبَقاتِ، وَعَدَدٌ العَقْدِ فِي كُلِّ طَبَقَةٌ. يُمْكِن تَقْلِيلِ تَكْلِفَةِ الحِسابِ المُرْتَبِطَةِ بِتَعْدِيلِ هٰذِهِ المُعَلِّماتُ بِاِسْتِخْدامِ تَقْنِيّاتِ الحوسبه المُتَوازِيَة. عِلاوَةً عَلَى ذٰلِكَ، عِنْدَما يَكُون حَجْمِ العَيِّنَةُ مُعْتَدِلا وَالمُتَغَيِّرات المُهِمَّةِ نادِرَةً، لُوحِظَ أَنَّ اِسْتِخْدامِ شَبَكَةِ عَصَبِيَّةُ مِن طَبَقَتَيْنِ أَو ثَلاثِ طَبَقاتِ بِعَدَدٍ مُتَواضِعٌ مِن العَقْدِ لِكُلِّ طَبَقَةٌ (عَلَى سَبِيلِ المِثالِ، 5 أَو 10 عَقْدِ لِكُلِّ طَبَقَةٌ) غالِباً ما يَكُون كافِياً لِمَجْمُوعَةِ واسِعَةً مِن مَجْمُوعاتٍ البَياناتِ.
إِحْدَى القُيُودِ لِلطَرِيقَة المُقْتَرَحَةِ تُظْهِر فِي السِينارِيُوهات ذاتِ الأَبْعاد الفائِقَةِ العُلُوّ حَيْثُ يَصِل عَدَدٍ المُتَغَيِّراتِ إِلَى مِئاتِ المَلايِينِ. تَطْبِيقِ شَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ المُقْتَرَحَةِ مُباشَرَةً فِي مِثْلَ هٰذِهِ الحالاتِ يُمْكِن أَنَّ يُؤَدِّي إِلَى مَنْظَر تَحْسِينِ مُعَقَّدٌ لِلغايَةِ، مِمّا يَجْعَله غَيْرِ قابِلٌ لِلتَطْبِيقِ مِن الناحِيَةِ الحِسابِيَّة. لِلتَخْفِيفِ مِن هٰذِهِ القُيُودِ، فَإِنَّ إِحْدَى الاِقْتِراحاتِ هِيَ اِسْتِخْدامِ طَرِيقَةِ فَحْص مُسْبَقٍ لِتَقْلِيلِ الأَبْعاد إِلَى حَجْمِ أَكْثَرَ قابِلِيَّةِ لِلإِدارَةِ قِبَلَ تَطْبِيقِ النَهْجِ المُقْتَرَحِ.
قَيْدِ آخَرِ يَتَعَلَّق بِالطَرِيقَةِ المُنْتَظِمَة لِلمَجْمُوعَةِ المُقْتَرَحَةِ، وَالَّتِي تُرَكِّز بِشَكْلٍ أَساسِيٌّ عَلَى اِخْتِيارِ المِيزاتِ الفَرْدِيَّةِ. يُصْبِح هٰذا القَيْد ذا صِلَةٍ خاصَّةٍ عِنْدَ التَعامُلِ مَعَ المُتَغَيِّراتِ الَّتِي تُظْهِر هَياكِلِ تَجْمِيعِ، مِثْلَ مَجْمُوعَةِ مِن المُتَغَيِّراتِ المُؤَشَّرَة الَّتِي تُمَثِّل مُتَغَيِّرا تَصْنِيفِيّا مُتَعَدِّدِ المُسْتَوَياتِ، أَو مَجْمُوعاتٍ ذاتِ مَعْنَى عِلْمِيٌّ اِسْتِناداً إِلَى المَعْرِفَةِ السابِقَةِ. يُمْكِن أَنَّ تَشْمَل اِتِّجاهاتٍ البَحْثِ المُسْتَقْبَلِيَّةِ إِعادَةِ تَعْرِيفٍ المَجْمُوعاتِ ضِمْنَ الإِطارِ المُقْتَرَحِ. يُمْكِن تَحْقِيقِ ذٰلِكَ مِن خِلالَ النَظَرِ فِي جَمِيعِ الاِتِّصالاتِ الصادِرَةِ مِن مَجْمُوعَةِ مِن الخَلايا العَصَبِيَّةِ المدخله كَمَجْمُوعَةٍ واحِدَةٍ، مِمّا يُمْكِن مِن اِخْتِيارِ المَجْمُوعَةِ وَاِسْتِيعاب وُجُودِ هَياكِلِ التَجْمِيع.
فِي الخِتامِ، تُظْهِر دِراسَتنا مَزايا اِسْتِخْدامِ تَنْظِيمِ مُقَعَّر المَجْمُوعَةِ لِشَبَكاتِ الأَعْصاب ذاتِ المدخلات النادِرَةِ. تُسَلِّط النَتائِجِ الضَوْء عَلَى فَعّالِيَّته فِي اِخْتِيارِ المُتَغَيِّراتِ ذاتِ الصِلَةِ بِاِسْتِمْرارٍ ونمذجه العَلاقاتِ غَيْرِ الخَطِيَّة المُعَقَّدَةِ بَيِّنَ المُتَغَيِّراتِ التوضيحيه وَالنَتائِجِ بِدِقَّةٍ، فِي كُلِّ مِن الإِعْدادات ذاتِ الأَبْعاد المُنْخَفِضَة وَالعالِيَة. يَحْمِل النَهْجِ المُقْتَرَحِ إِمْكاناتِ واعِدَةٌ لِتَعْزِيزِ إِسْتراتِيجِيّاتِ النمذجه وَإِيجادُ تَطْبِيقات واسِعَةً النِطاقِ، خاصَّةٍ فِي الأَمْراض الَّتِي تَتَمَيَّز بِمُؤَشِّرات حَيَوِيَّةٍ غَيْرِ خَطَّيْهِ، مِثْلَ الأَوْرام وَالأَمْراض المَعْدِيَّةِ.
تَعْرِف دَوال الخَسارَةِ التَجْرِيبِيَّة \(\mL_n(\bw)\) لَنَماذِج الاِنْحِدارِ، وَالتَصْنِيفُ، وَالبَقاءُ فِي الأَمْثِلَة [ex:regression]-[ex:survival] عَلَى النَحْوِ التالِي:
خَسارَةِ مُتَوَسِّطُ الأَخْطاءِ التَرْبِيعِيَّة لَمَهامّ الاِنْحِدارِ. تَقِيس هٰذِهِ الدالَّةِ مُتَوَسِّطُ الفِرَقِ التَرْبِيعِيّ بَيِّنَ القِيَمِ الحَقِيقِيَّةِ \(Y_i\) وَالتَنَبُّؤات \(f_\bw(X_i)\): \[\mL_n(\bw) = \frac{1}{n} \sum_{i=1}^n (Y_i - f_\bw(X_i))^2.\]
خَسارَةِ الانتروبيا المُتَقاطِعَة لَمَهامّ التَصْنِيفِ. تُسْتَخْدَم عَلَى نِطاقِ واسِعٍ فِي مَشاكِلَ التَصْنِيفِ وَتَقِيس عَدَمِ التَشابُه بَيِّنَ التَسْمِيات الحَقِيقِيَّةِ \(Y_i\) وَاِحْتِمالاتِ التَنَبُّؤ \(\hat{Y}_i\) لِلفِئَةِ 1. يَتِمّ الحُصُولِ عَلَى اِحْتِمالِ التَنَبُّؤ \(\hat{Y}_i\) بِتَطْبِيقِ دالَّةٍ السيجمويد عَلَى \(f_\bw(X_i)\): \[\mL_n(\bw) = -\frac{1}{n}\sum_{i=1}^{n} \left[Y_i\log(\hat{Y}_i) + (1 - Y_i)\log(1 - \hat{Y}_i)\right].\]
السِجِلِّ السَلْبِيِّ لِلاِحْتِمال الجُزْئِيِّ لَنَماذِج المَخاطِرِ المُتَناسِبَة. يَشْتَق مِن تَحْلِيلِ البَقاءَ وَيَهْدِف إِلَى تَعْظِيمِ اِحْتِمالِ مُلاحَظَةُ الأَحْداثِ مَعَ مُراعاةِ مَعْلُوماتٍ الرَقابَةِ. يَتَضَمَّن مُؤَشِّرُ الحَدَثِ \(\delta_i\)، وَالَّذِي يَكُون 1 إِذا حَدَثَ الحَدَثِ المَعْنِيَّ فِي الوَقْتِ \(Y_i\) و0 إِذا كانَت المُلاحَظَةُ خاضِعَةً لِلرَقابَةِ اليُمْنَى. يَعْرِف السِجِلِّ السَلْبِيِّ لِلاِحْتِمال الجُزْئِيِّ كَما يَلِي: \[\mL_n(\bw) = -\frac{1}{n}\sum_{i=1}^n \left\{\delta_i f_\bw(X_i) - \delta_i \log \sum_{j \in R_i} \exp(f_\bw(X_i))\right\}.\]
هُنا، \(R_i=\{j: Y_j \ge Y_i\}\) يُمَثِّل مَجْمُوعَةِ المَخاطِرِ قِبَلَ الوَقْتِ \(Y_i\). يَسْتَخْدِم السِجِلِّ السَلْبِيِّ لِلاِحْتِمال الجُزْئِيِّ خَصِيصاً فِي نَمُوذَجَ المَخاطِرِ المُتَناسِبَة.
تُظْهِر النَتائِجِ أَنَّ التَقَلُّبات الأَكْبَرُ فِي مُؤَشِّرُ C مُرْتَبِطَةً بِمُعَدَّلاتٍ الرَقابَةِ الأَعْلَى بِشَكْلٍ عامَ. تَحَقَّقَ شَبَكَةِ GMCPNet وَشَبَكَةِ GSCADNet نَتائِجِ مُماثِلَةٍ لِشَبَكَةِ Oracle-NN بَيْنَما تَتَفَوَّق عَلَى جَمِيعِ الطُرُقِ الأُخْرَى، بِما فِي ذٰلِكَ Oracle-RSF.
تُرَكِّز دِراسَةٌ المُحاكاة فِي القِسْمِ 4 عَلَى المُتَغَيِّراتِ المُسْتَقِلَّةِ. وَمَعَ ذٰلِكَ، فِي التَطْبِيقات العَمَلِيَّةِ، وَخاصَّةً فِي السِينارِيُوهات ذاتِ الأَبْعاد العالِيَةِ، فَإِنَّ وُجُودِ اِرْتِباطاتٌ بَيِّنَ المُتَغَيِّراتِ أَمْرٌ شائِع وَيُمَثِّل تَحَدِّيا لِاِخْتِيارِ المِيزاتِ. فِي هٰذا القِسْمِ، نُقِيم فَعّالِيَّةِ الطَرِيقَةِ المُقْتَرَحَةِ بِاِسْتِخْدامِ بَياناتٍ مُحاكاةَ تَتَضَمَّن مُتَغَيِّراتِ مُرْتَبِطَةً.
لِتَحْدِيدِ ذٰلِكَ بِشَكْلٍ أَكْثَرَ تَحْدِيداً، نُمَدِّد السِينارِيو ذُو الأَبْعاد العالِيَةِ المَوْصُوف فِي القِسْمِ 4 مِن خِلالَ تَوْلِيدِ مُتَّجِه مُتَغَيِّر مُرْتَبِطٌ، يَرْمِز لَهُ ب \(\mathbf{X} \sim N(0, \Sigma)\). يَعْرِف بِنْيَةَ الاِرْتِباطِ بِاِسْتِخْدامِ نَمَطِ تَضاؤُل القُوَّةِ، حَيْثُ \(\Sigma_{ij}=0.5^{|i-j|}\). تَسْمَح هٰذِهِ التَعْدِيلاتِ لَنا بِفَحْصِ أَداءِ طَرِيقَتِنا فِي وُجُودِ اِرْتِباطِ بَيِّنَ المُتَغَيِّراتِ. عِنْدَ مُقارَنَةً نَتائِجِ اِخْتِيارِ المِيزاتِ لِلمُتَغَيِّرات المُسْتَقِلَّةِ فِي الجَدْوَلُ [tb:vs] مَعَ النَتائِجِ المَعْرُوضَةِ فِي الجَدْوَلُ [tb:corr]، يُصْبِح مِن الواضِحِ أَنَّ شَبَكَةِ الاِنْتِقاء الجيني المُتَسَلْسِلَة وَشَبَكَةِ الاِنْتِقاء الزُجاجِيّ تُظْهِر تَقَلُّباتِ أَكْبَرَ فِي أَحْجام النَماذِجِ المُخْتارَة، إِلَى جانِبِ مُعَدَّلاتِ أَعْلَى لِلسَلْبِيّاتِ الكاذِبَة وَالإِيجابِيّاتِ الكاذِبَة فِي نَمُوذَجَ الاِنْحِدارِ. يُمْكِن إِرْجاع هٰذا السُلُوكِ إِلَى وُجُودِ مِيزاتِ مُرْتَبِطَةً. بِالمُقابِلِ، تُحَدِّد طُرُقٍ شَبَكَةِ الاِنْتِقاء المُتَعَدِّدَةِ الجِينات المُقْتَرَحَةِ وَشَبَكَةِ الاِنْتِقاء المُتَعَدِّدَةِ الجِينات المُتَسَلْسِلَة المُتَقَدِّمَةِ المُتَغَيِّراتِ ذاتِ الصِلَةِ بِفَعّالِيَّةٍ مَعَ الحِفاظِ عَلَى مُعَدَّلاتِ مُنْخَفَضه نِسْبِيّاً لِلإِيجابِيّات وَالسَلْبِيّاتِ الكاذِبَة عَبْرَ جَمِيعِ النَماذِجِ.
لَقَد اُسْتُخْدِمْنا الغابَةِ العَشْوائِيَّةِ (Random Forest) مَعَ 1000 شَجَرَةَ قَرارِ لِعَمَلِيَّةِ تَرْكِيبِ النَمُوذَجِ. لِضَمانِ مُقارَنَةً عادِلَةٍ بَيِّنَ جَمِيعِ الطُرُقِ المَبْنِيَّةُ عَلَى الشَبَكاتِ العَصَبِيَّةِ، اِعْتَمَدْنا عَلَى الشَبَكَةِ العَصَبِيَّةِ مُتَعَدِّدَةِ الطَبَقاتِ (Multi-Layer Perceptron) المفعله بِواسِطَةِ ReLu مَعَ طَبَقَتَيْنِ مَخْفِيَّتَيْنِ تَحْتَوِيانِ عَلَى 10 وَ 5 وَحَداتٍ عَلَى التَوالِي. تَمَّ تَهْيِئَةِ اوزان الشَبَكَةِ بِأَخْذِ عَيِّناتٍ مِن تَوْزِيعِ غاوسي بِمُتَوَسِّطِ 0 وَاِنْحِراف مِعْيارَيَّ 0.1، بَيْنَما تَمَّ ضَبْطِ مُصْطَلَحاتٍ التَحَيُّزِ عَلَى 0 وِفْقاً لَتَقْنِيّه تَهْيِئَةِ زافييه (glorot2010understanding). تَمَّ تَحْسِينِ الشَبَكاتِ العَصَبِيَّةِ بِاِسْتِخْدامِ مُحْسِن آدَم.
قُمْنا بِتَنْفِيذِ طَرِيقَةِ STG كَما وَصَفَ فِي (yamada2020feature) بِأَنَّ مُعَدَّلِ التَعَلُّمِ (LR) وَمَعامِلِ التَنْظِيمِ \(\lambda\) تَمَّ تَحْسِينهما عَبْرَ Optuna مَعَ 500 تَجْرِبَةِ، بِاِسْتِخْدامِ 10% مِن مَجْمُوعَةِ التَدْرِيبِ كَمَجْمُوعَةٍ تَحَقَّقَ. كانَ عَدَدٍ العُصُورِ 2000 لِكُلِّ تَجْرِبَةِ. تَمَّ عَرَضَ نطاقات بَحَثَ المُعامَلاتِ فِي الجَدْوَلُ [tb:search]. لِجَمِيعِ الطُرُقِ الَّتِي تَقَع ضِمْنَ إِطارِ المُعادَلَةَ (1) فِي الوَرَقَةَ، اِخْتَرْنا القِيَمِ المُثْلَى لِ \(\lambda\) وَ \(\alpha\) مِن شَبَكَةِ ثُنائِيَّةٍ الأَبْعاد، حَيْثُ تَتَراوَح \(\lambda\) وَ \(\alpha\) عَلَى 50 وَ 10 قِيَمِ مُتَباعِدَةً بِالتَساوِي عَلَى مِقْياسِ لُوغارِيتْمِي عَلَى التَوالِي. تَمَّ الاِخْتِيارُ بِناءَ عَلَى أَدائهم عَلَى مَجْمُوعَةِ التَحَقُّقِ، الَّتِي تَتَكَوَّن مِن 20% مِن مَجْمُوعَةِ التَدْرِيبِ. لِتَعْطِيلِ اِخْتِيارِ المِيزَة، قُمْنا بِضَبْطِ \(\lambda=0\) لِ NN وَ Oracle-NN. تَمَّ تَثْبِيتُ مُعَدَّلِ التَعَلُّمِ \(\gamma\) عِنْدَ 0.001. بِالنِسْبَةِ لِ GLASSONet، GMCPNet، وَ GSCADNet، تَمَّ تَعْيِينِ عَدَدٍ العُصُورِ عِنْدَ \(\lambda_{max}\) إِلَى 2000 لَسِينارِيو الأَبْعاد المُنْخَفِضَة (LD) وَ 200 لَسِينارِيو الأَبْعاد العالِيَةِ (HD). بِالنِسْبَةِ لِجَمِيعِ القِيَمِ الأُخْرَى لِ \(\lambda\)، تَمَّ تَعْيِينِ عَدَدٍ العُصُورِ إِلَى 200 لِكُلِّ مِن إِعْدادات LD وَ HD. تَمَّ تَثْبِيتُ عَدَدٍ العُصُورِ لِ NN بِشَكْلٍ ثابِتٌ عِنْدَ 5000.
فِي تَحْلِيلِ أُمَثِّله البَياناتِ الحَقِيقِيَّةِ، تَظَلّ تَفاصِيلَ التَنْفِيذِ كَما هِيَ فِي سِينارِيو الأَبْعاد العالِيَةِ فِي الدِراساتِ التَحْلِيلِيَّة، مَعَ التَعْدِيلاتِ التالِيَةِ:
لِتَحْلِيلِ البَقاءَ عَلَى قَيْدِ الحَياةِ عَلَى مَجْمُوعَةِ بَياناتٍ CALGB-90401، اُسْتُخْدِمْنا شَبَكَةِ الإِدْراك المُتَعَدِّدِ الطَبَقاتِ مَعَ طَبَقَتَيْنِ مَخْفِيَّتَيْنِ، كُلِّ مِنهُما تَتَكَوَّن مِن 10 عَقْدِ. فِي تَعْدِيلِ المُعَلِّماتُ الفائِقَةِ، اِسْتَكْشَفَنا 100 قِيمَةَ لِ \(\lambda\) تَتَراوَح مِن 0.01 إِلَى 0.1 لِ GMCPNet وَ GSCADNet. بِالإِضافَةِ إِلَى ذٰلِكَ، زِدْنا عَدَدٍ المُرَشَّحِينَ لِ \(\alpha\) إِلَى 50.
فِي مُهِمَّةً التَصْنِيفِ عَلَى مَجْمُوعَةِ بَياناتٍ MNIST، نُعَدِّل نِطاقِ البَحْثِ لِ \(\alpha\) إِلَى [1e-3, 0.1].
البَياناتِ مِن CALGB 90401 مُتاحَةٍ مِن أَرْشِيف بَياناتٍ NCTN عَلَى الرابط https://nctn-data-archive.nci.nih.gov/. يَتِمّ اِسْتِرْجاعِ مَجْمُوعَةِ بَياناتٍ MNIST بِاِسْتِخْدامِ مَصْدَرهم الرَسْمِيِّ.