latex
لَقَد ساهَمَ التَعَلُّمِ العَمِيقِ فِي تَقَدَّمَ مُخْتَلِفِ المَجالاتِ مِن خِلالَ اِسْتِخْراج الأَنْماط المُعَقَّدَةِ مِن مَجْمُوعاتٍ البَياناتِ الكَبِيرَةِ. وَمَعَ ذٰلِكَ، فَإِنَّ الطَلَباتِ الحِسابِيَّة لَنَماذِج التَعَلُّمِ العَمِيقِ تَطْرَح تَحَدِّياتٍ بِيئِيَّةٍ وموارديه. تَقَدَّمَ شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة حَلّاً مِن خِلالَ اِسْتِغْلالِ عَمَلِيّاتِ الإِزاحَة لِتَقْلِيلِ التَعْقِيدِ الحِسابِيّ عِنْدَ الاِسْتِدْلال. أَتْباعاً لِلرُؤَى مِن الشَبَكاتِ العصبونيه العَمِيقَةِ القِياسِيَّةِ، نَحْنُ مُهْتَمُّونَ بِاِسْتِغْلالِ الإِمْكاناتُ الكامِلَةِ لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة مِن خِلالَ تَقْنِيّاتِ AutoML. نَدْرُس تَأْثِيرِ تَحْسِينِ المُعَلِّماتُ الفائِقَةِ لَتَعْظِيم أَداءِ شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة مَعَ تَقْلِيلِ اِسْتِهْلاكِ المَوارِدِ. نَظَراً لِأَنَّ هٰذا يَجْمَع بَيِّنَ التَحْسِين مُتَعَدِّدِ الأَهْدافِ مَعَ الدِقَّةِ وَاِسْتِهْلاكِ الطاقَةِ كَأَهْداف مُحْتَمَلَةٍ مُتَكامِلَةٍ، نَقْتَرِح دَمْجِ تَحْسِينِ المُعَلِّماتُ الفائِقَةِ مُتَعَدِّدِ الاوجه مَعَ التَحْسِين مُتَعَدِّدِ الأَهْدافِ. تُظْهِر النَتائِجِ التَجْرِيبِيَّة فَعّالِيَّةِ نَهْجنا، مِمّا يُؤَدِّي إِلَى نَماذِجَ بِدِقَّةٍ تَزِيد عَن 80% وَتَكْلِفَة حِسابِيَّةً مُنْخَفَضه. بِشَكْلٍ عامَ، يَسْرُع طَرِيقَتِنا تَطْوِيرِ النَماذِجِ الفَعّالَةَ مَعَ تَمْكِينِ تَطْبِيقات الذَكاء الاِصْطِناعِيِّ المُسْتَدامَةِ.
يُعْتَبَر التَعَلُّمِ العَمِيقِ مِن أَكْثَرَ النَهْجِ واعِدَةٌ لَاِسْتِخْراج المَعْلُوماتِ مِن مَجْمُوعاتٍ البَياناتِ الكَبِيرَةِ ذاتِ الهَياكِل المُعَقَّدَةِ. وَيَشْمَل ذٰلِكَ إِجْراءِ الحِساباتِ فِي بِيئات إِنْتِرْنِت الأَشْياءَ وَعَلَى أَجْهِزَةِ الحافَة (DBLP:journals/network/LiOD18, DBLP:journals/pieee/ZhouCLZLZ19). مَعَ الزِيادَةِ المُسْتَمِرَّةِ فِي حَجْمِ وَأَداء هٰذِهِ النَماذِجِ بِسَبَبِ التَقَدُّمِ فِي العُلُومِ وَالصِناعَةِ، يَرْتَبِط بِها تَكْلِفَةِ حِسابِيَّةً (DBLP:journals/pieee/SzeCYE17). تَقْلِيلِ هٰذِهِ التَكْلِفَةِ يُؤَثِّر مُباشَرَةً عَلَى تَأْثِيرِ النَمُوذَجِ البِيئِيِّ (DBLP:journals/cacm/SchwartzDSE20). وَبِالتالِي، يَتِمّ تَحْرِيرِ المَوارِدِ وَيُمْكِن اِسْتِخْدامُها لَمَهامّ أُخْرَى، مِثْلَ تِلْكَ الَّتِي تُعانِي مِن قُيُودٍ المَوارِدِ (DBLP:journals/corr/HowardZCKWWAA17). مَعَ نَهْجنا، نُساهِم فِي التَعَلُّمِ العَمِيقِ فِي هٰذِهِ الإِعْدادات المَحْدُودَةَ المَوارِدِ.
تَقَدَّمَ شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة إِمْكاناتِ كَبِيرَةٍ فِي تَقْلِيلِ اِسْتِهْلاكِ الطاقَةِ مُقارَنَةً بِنَماذِج التَعَلُّمِ العَمِيقِ التَقْلِيدِيَّةِ (DBLP:conf/cvpr/ElhoushiCSTL21). بَدَلاً مِن الحِساباتِ العائِمَة، تَسْتَفِيد مِن عَمَلِيّاتِ الإِزاحَة - وَتَحْدِيداً، أَزاحَهُ البَتُّ - كَوَحْدَة حِسابِيَّةً، مِمّا يُعَزِّز الكَفاءَة مِن خِلالَ اِسْتِبْدالِ عَمَلِيّاتِ الضَرْبِ المُكَلَّفَةِ فِي الشَبَكاتِ التلافيفيه. نَشْك فِي أَنَّ تَكْوِينِ شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة لَهُ تَأْثِيرِ كَبِيرٍ عَلَى كُلِّ مِن الأَداءِ وَالكَفاءَةِ الحِسابِيَّة.
إِحْدَى التَحَدِّياتِ الرَئِيسِيَّةِ مَعَ شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة هِيَ تَحْدِيدِ مُسْتَوَى الدِقَّةِ المُناسِبِ لِعَمَلِيّاتِ الإِزاحَة لِتَقْلِيلِ أَخْطاءِ الكَمِّيَّةِ دُونِ زِيادَةِ الحَمْل الحِسابِيّ بِشَكْلٍ مُفْرِط. فِي هٰذِهِ الدِراسَةُ، نَسْتَفِيد مِن شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة بِالاِشْتِراكِ مَعَ التَعَلُّمِ الآلِيِّ الآلِيِّ لِلعُثُور عَلَى التَكْوِين المِثالِيُّ لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة فِي رُوحِ التَعَلُّمِ الآلِيِّ الأَخْضَرِ (DBLP:journals/jair/TornedeTHMWH23). يَتِمّ تَحْقِيقِ ذٰلِكَ مِن خِلالَ تَحْسِينِ المُعَلِّماتُ الفائِقَةِ بِاِسْتِخْدامِ إِطارِ العَمَلِ SMAC3 الَّذِي اِقْتَرَحَهُ (DBLP:journals/jmlr/LindauerEFBDBRS22)، وَالَّذِي يؤتمت البَحْثِ عَن التَكْوِيناتِ النَمُوذَجِيَّةِ المُثْلَى. يُسَهِّل دَمْجِ تَقْنِيّاتِ التَحْسِين مُتَعَدِّدَةِ الأَمانَةِ وَمُتَعَدِّدَةِ الأَهْدافِ (Belakaria2020-re) اِسْتِكْشافاً مِثالِيّا لِمِساحَةِ المُعَلِّماتُ الفائِقَةِ الَّتِي تُعْطِي الأَوْلَوِيَّةِ لِلأَداء وَاِسْتِهْلاكِ الطاقَةِ مَعاً (Deb2014). تَنْفِيذِ SMAC لِلتَحْسِين مُتَعَدِّدِ الأَهْدافِ يُوازِن بِفَعّالِيَّةٍ بَيِّنَ تَحْقِيقِ دِقَّةٍ تَنَبُّؤِيّه عالِيَةٍ وَتَقْلِيل اِسْتِهْلاكِ الطاقَةِ. يَسْمَح الجانِبِ مُتَعَدِّدِ الأَمانَةِ بِاِسْتِخْدامِ المَوارِدِ الحِسابِيَّة بِكَفاءَة مِن خِلالَ تَقْيِيمِ التَكْوِيناتِ عَلَى مُسْتَوَياتٍ مُتَفاوِتَةٍ مِن التَفْصِيل. اِسْتِخْدامِ أَدَواتِ مِثْلَ CodeCarbon (DBLP:journals/corr/abs-1910-09700, DBLP:journals/corr/abs-1911-08354) خِلالَ مَراحِلِ التَدْرِيبِ وَالتَقْيِيم يُوَفِّر رُؤَى فِي الوَقْتِ الفِعْلِيِّ حَوْلَ اِسْتِهْلاكِ الطاقَةِ وَاِنْبِعاثات الكَرْبُون المُرْتَبِطَةِ بِكُلِّ تَكْوِينِ نَمُوذَجَ.
بِشَكْلٍ عامَ، نُقَدِّم المُساهَماتِ التالِيَةِ:
مِساحَةِ تَكْوِينِ مُحَدَّدَةٍ لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة،
نَهْجٍ التَعَلُّمِ الآلِيِّ الأَخْضَرِ لِبِناءِ النَماذِجِ المُوَجَّهَةِ نَحْوَ الكَفاءَة،
رُؤَى حَوْلَ قَراراتِ التَصْمِيمِ لِلحُصُولِ عَلَى تَوازُناتِ مِثالِيَّةٍ بَيِّنَ الدِقَّةِ وَكَفاءَة الطاقَةِ، وَ
دَمْجِ تَقْنِيّاتِ التَحْسِين مُتَعَدِّدَةِ الأَهْدافِ وَمُتَعَدِّدَةِ الأَمانَةِ فِي SMAC لِتَحْسِينِ أَداءِ التَحْسِين وَاِسْتِخْدامِ المَوارِدِ الحِسابِيَّة.
يُقَدِّم هٰذا الفَصْلِ المَفاهِيمِ الأَساسِيَّةِ لَمَنْهَجِيَّتنا.
شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة هِيَ نَهْجٍ جَدِيدٍ لِتَقْلِيلِ الطَلَباتِ الحِسابِيَّة وَالطاقِيَة لِلتَعَلُّمِ العَمِيقِ (DBLP:conf/cvpr/ElhoushiCSTL21). تَحَقَّقَ هٰذِهِ الشَبَكاتِ تَخْفِيضا كَبِيراً فِي زَمَنٍ الاِنْتِظارِ مِن خِلالَ تَبْسِيطِ هَنْدَسَةُ الشَبَكَةِ بِحَيْثُ تَسْتَبْدِل عَمَلِيّاتِ الضَرْبِ التَقْلِيدِيَّةِ فِي الشَبَكاتِ العَصَبِيَّةِ بِعَمَلِيّاتِ التَحْوِيلِ البَتِّيّ وَقَلْبٍ الإِشارَةُ، مِمّا يَجْعَل شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة مُناسَبَةِ لَأَجْهِزَة الحوسبه ذاتِ المَوارِدِ المَحْدُودَةَ. هُناكَ طَرِيقَتانِ لِتَدْرِيبِ شَبَكاتِ العصبونات العَمِيقَةِ المُتَغَيِّرَة (DBLP:conf/cvpr/ElhoushiCSTL21): تَقْنِيَّةٍ التَكْمِيم (Quantization) وَتَقْنِيَّةٍ القُوَى الثُنائِيَّةِ وَالإِشارَة (Powers of two and Sign). تَقْنِيَّةٍ التَكْمِيم تَتَضَمَّن تَدْرِيبِ الاوزان العادِيَّةِ المُقَيَّدَة إِلَى قُوَى الاِثْنَيْنِ مِن خِلالَ تَكْمِيم الاوزان إِلَى أَقْرَبِ قُوَّةٍ اِثْنَيْنِ خِلالَ المرورين الأَمامِيّ وَالخَلْفِيّ. تَقْنِيَّةٍ القُوَى الثُنائِيَّةِ وَالإِشارَة تَتَضَمَّن مُباشَرَةً قِيَمِ التَحْوِيلاتِ وَقَلْبٍ الإِشارَةُ كَمُعامَلات قابِلَةٍ لِلتَدْرِيبِ.
يَحْصُل نَهْجٍ تَقْنِيَّةٍ التَكْمِيم عَلَى مَصْفُوفه الإِشارَةُ \(S\) مِن مَصْفُوفه الوَزْنِ المُدَرِّبَة \(W\) كَالتالِي: \( S = \mathit{sign}(W) \). مَصْفُوفه القُوَّةِ \(P\) هِيَ لُوغارِيتْم الأَساسِ الثُنائِيِّ لِلقِيَمِ المُطْلَقَةِ لِ\(W\)، أَيّ \( P = \log_{2}(|W|) \). بُعْدَ تَقْرِيبِ \(P\) إِلَى أَقْرَبِ قُوَّةٍ اِثْنَيْنِ، \( P_{\mathit{r}} = \mathit{round}(P) \)، يَتِمّ حِسابِ الاوزان المكممه \(\tilde{W}_q\) بِتَطْبِيقِ الإِشارَةُ مِن \(S\)، كَما هُوَ مُوَضِّح \(\tilde{W}_q = \mathit{flip}(2^{P_{\mathit{r}}}, S)\). يَعْمَل نَهْجٍ تَقْنِيَّةٍ القُوَى الثُنائِيَّةِ وَالإِشارَة عَلَى تَحْسِينِ اوزان الشَبَكَةِ العَصَبِيَّةِ مِن خِلالَ تَكْيِيفَ قِيَمِ التَحْوِيلِ (\( \tilde{P} \)) وَقَلْبٍ الإِشارَةُ (\( \tilde{S} \)) مُباشَرَةً. يَتِمّ الحُصُولِ عَلَى مَصْفُوفه التَحْوِيلِ \( \tilde{P} \) بِتَقْرِيب لُوغارِيتْم الأَساسِ الثُنائِيِّ لَقِيَم الوَزْنِ، \( \tilde{P} = \mathit{round}(P) \)، وَيَتِمّ حِسابِ قَلْبِ الإِشارَةُ \( \tilde{S} \) ك \( \tilde{S} = \mathit{sign}(\mathit{round}(S)) \). يَتِمّ حِسابِ الاوزان ك \(\tilde{W}_{\mathit{ps}} = \mathit{flip}(2^{\tilde{P}}, \tilde{S})\)، حَيْثُ تُعِين عَمَلِيَّةِ قَلْبِ الإِشارَةُ \( \tilde{S} \) قِيَمِ \(-1\)، \(0\)، أَو \(+1\) بِناءَ عَلَى \( s \).
تَزِيد تَعْقِيداتٌ خوارزميات التَعَلُّمِ العَمِيقِ مِن الحاجَةِ إِلَى تَحْسِينِ المُعَلِّماتُ الفائِقَةِ المؤتمت (HPO) لِزِيادَةِ أَداءِ النَمُوذَجِ (DBLP:journals/widm/BischlBLPRCTUBBDL23). فِكْرِ فِي مَجْمُوعَةِ بَياناتٍ \( \mathcal{D} = \{(x_i,y_i)\}_{i=1}^{\textnormal{N}} \in \mathbb{D} \subset \mathcal{X} \times \mathcal{Y} \)، حَيْثُ \( \mathcal{X} \) هُوَ فَضاءِ الحالاتِ وَ \( \mathcal{Y} \) هُوَ فَضاءِ الهَدَفَ، وَفَضاء تَكْوِينِ المُعَلِّماتُ الفائِقَةِ \( \Lambda = \{\lambda_1, \ldots, \lambda_L\} \)، \( L \in \mathbb{N} \). فِي دِراسَتنا، \( \mathcal{M} \) يَدُلّ عَلَى فَضاءِ النَماذِجِ المُمْكِنَةِ لِ DSNN. خوارزميه \( \mathcal{A} : \mathbb{D} \times \Lambda \rightarrow \mathcal{M} \) تُدَرِّب نَمُوذَجَ \( M \in \mathcal{M} \)، مُسْتَنَداً إِلَى تَكْوِينِ مِن \( L \) مُعَلِّمات فائِقه مَأْخُوذه مِن \( \Lambda \)، عَلَى مَجْمُوعَةِ فَرْعِيَّةٍ لِلتَدْرِيبِ مِن \( \mathcal{D} \). يَتِمّ تَقْسِيمِ مَجْمُوعَةِ البَياناتِ \( \mathcal{D} \) إِلَى مَجْمُوعاتٍ التَدْرِيبِ، التَحَقُّقِ، وَالاِخْتِبار: \( \mathcal{D}_{\textit{train}}, \mathcal{D}_{\textit{val}}, \) وَ \( \mathcal{D}_{\textit{test}} \) عَلَى التَوالِي. يَتِمّ تَقْيِيمِ أَداءِ الخوارزميه مِن خِلالَ دالَّةٍ خَسارَةِ مُكَلَّفَةٍ التَقْيِيم \( \mathcal{L} : \mathcal{M} \times \mathbb{D} \rightarrow \mathbb{R} \). هَدَفَ التَحْسِين لِ HPO هُوَ إِيجادِ التَكْوِين \( \lambda^* \in \Lambda \) بِأَقَلِّ خَسارَةِ تَحَقَّقَ \( \mathcal{L} \)، بِحَيْثُ: \[\lambda^* \in \argmin_{\lambda \in \Lambda} \mathcal{L}\big(\mathcal{A}(\mathcal{D}_{\textit{train}},\lambda), \mathcal{D}_{\textit{val}}\big).\] هٰذِهِ العَمَلِيَّةِ تُعَدِّل المُعَلِّماتُ الفائِقَةِ بِناءَ عَلَى أَداءِ مَجْمُوعَةِ التَحَقُّقِ. يَتِمّ تَدْرِيبِ النَماذِجِ عَلَى \(\mathcal{D}_{\textit{train}}\) وَيَتِمّ تَحْسِينِها بِاِسْتِخْدامِ \(\mathcal{D}_{\textit{val}}\). وَأَخِيرا، يَتِمّ تَقْيِيمِ أَداءِ النَمُوذَجِ عَلَى \(\mathcal{D}_{\textit{test}}\).
التَحْسِين البيزي هُوَ إِسْتراتِيجِيَّةِ لِلتَحْسِين العالَمِيِّ لَدَوال الخَسارَةِ الصُنْدُوقِ الأَسْوَدِ \(\mathcal{L}:\mathcal{M}\times\mathbb{D}\xrightarrow{}\mathbb{R}\) الَّتِي تَكُون مُكَلَّفَةٍ فِي التَقْيِيم (DBLP:journals/jgo/JonesSW98). يَسْتَخْدِم التَحْسِين البيزي نَمُوذَجاً بَدِيلاً \(\mathcal{S}\)، وَهُوَ نَمُوذَجَ اِحْتِمالَيَّ لِتَقْرِيبِ دالَّةٍ الخَسارَةِ، وَالَّذِي يُعْطَى عادَةً بِواسِطَةِ عَمَلِيَّةِ غاوسيه أَو غابَةِ عَشْوائِيَّةٍ (DBLP:books/lib/RasmussenW06, DBLP:conf/lion/HutterHL11). تَوَجَّهَ دالَّةٍ الاستحواذ \(\mathcal{C}:\Lambda\xrightarrow{}\mathbb{R}\) البَحْثِ عَن نِقاطٍ التَقْيِيم الأَمْثَلُ التالِيَةِ مِن خِلالَ تَوازُنٍ التِجارَةِ بَيِّنَ الاِسْتِكْشافِ وَالاِسْتِغْلالِ، اِسْتِناداً إِلَى مَجْمُوعَةِ النِقاطِ الَّتِي تَمَّ اِسْتِعْلامها سابِقاً \(\{(\lambda_1,\mathcal{L}_1),...,(\lambda_{m-1},\mathcal{L}_{m-1})\}\) فِي الوَقْتِ \(m\). يَتِمّ تَقْيِيمِ \(\mathcal{L}\) فَقَط فِي نِقاطٍ مُعَيَّنَةٍ، يَتِمّ بِها تَحْدِيثِ النَمُوذَجِ البَدِيلُ.
نَظَراً لِأَنَّهُ لا يُمْكِن تَدْرِيبِ تَكْوِينات مُتَعَدِّدَةِ مِن الشَبَكاتِ العَصَبِيَّةِ العَمِيقَةِ المُتَقَدِّمَةِ بِشَكْلٍ كامِلٍ لِلمُقارَنَة بِسَبَبِ الكَفاءَة الحِسابِيَّة، فَإِنَّنا نَسْتَخْدِم نَهْجٍ مُتَعَدِّدِ الدِقَّةِ (MF) (DBLP:journals/jmlr/LiJDRT17)، وَهُوَ إِسْتراتِيجِيَّةِ شائِعَةٍ فِي التَعَلُّمِ الآلِيِّ التِلْقائِيّ لِلتَنَقُّل بَيِّنَ التَوازُنِ بَيِّنَ الأَداءِ وَخَطّا التَقْرِيبِ (DBLP:books/sp/HKV2019). تُدَرِّب النَهْجِ مُتَعَدِّدَةِ الدِقَّةِ نَماذِجَ بَدِيلَةٍ سَهْلَةً التَقْيِيم لِلوَظائِف الصُنْدُوقِ الأَسْوَدِ تَتْبَع مَبادِئَ تَوْجِيهَيْهِ مُخْتَلِفَةٍ، مِثْلَ تَخْصِيصُ عَدَدٍ قَلِيلٍ مِن العُصُورِ لِلعَدِيد مِن التَكْوِيناتِ فِي البِدايَةِ وَتَدْرِيبِ الأَفْضَلِ أَداءِ عَلَى عَدَدٍ مُتَزايِدٍ مِن العُصُورِ. رَسْمِيّاً، نُحَدِّد مَجالاً لِلدِقَّة \(\mathcal{F}\) وَنَهْدِف إِلَى تَقْلِيلِ وَظِيفَةٍ عالِيَةٍ الدِقَّةِ \(F\in\mathcal{F}\) (DBLP:journals/jair/KandasamyDOSP19): \[\min_{\lambda\in\Lambda} F(\lambda)\, .\] نَهْدِف إِلَى تَقْرِيبِ \(F\in\mathcal{F}\)، بِاِسْتِخْدامِ سِلْسِلَةٍ مِن التَقْرِيبات أَقَلَّ دِقَّةٍ وَأَقِلّ تَكْلِفَةِ \(\{f(\lambda)_1,\ldots,f(\lambda)_j\}\)، حَيْثُ يُشِير \(j\) إِلَى العَدَدَ الإِجْمالِيِّ لَمُسْتَوَيات الدِقَّةِ. يُشار إِلَى المَوارِدِ المُخَصَّصَةِ لَتَقْيِيم أَداءِ نَمُوذَجَ فِي دَقّاتِ مُخْتَلِفَةٍ بِمِيزانَيْهِ. يُفْتَرَض MF أَنَّ أَعْلَى الدَقّات تَقْرُب الوَظِيفَةِ الصُنْدُوقِ الأَسْوَدِ بِشَكْلٍ أَفْضَلَ.
يَتَناوَل التَحْسِين مُتَعَدِّدِ الأَهْدافِ مَشاكِلَ تَشْمَل أَهْدافاً مُتَعَدِّدَةِ، غالِباً ما تَكُون مُتَنافِسه. يَسْتَخْدِم هٰذا النَهْجِ فِي السِينارِيُوهات الَّتِي يَجِب فِيها التَنَقُّلِ بَيِّنَ تَنازُلاتٍ بَيِّنَ هَدَفَيْنِ أَو أَكْثَرَ مُتَعارِضَيْنِ، مِثْلَ، فِي سِياقِ شَبَكاتِ الدِماغِ العَصَبِيَّةِ العَمِيقَةِ المُتَقَدِّمَةِ، تَحْسِينِ الدِقَّةِ جَنْباً إِلَى جَنْبٍ مَعَ تَقْلِيلِ اِسْتِهْلاكِ الطاقَةِ. يَهْدِف التَحْسِين مُتَعَدِّدِ الأَهْدافِ إِلَى تَحْدِيدِ الحُلُولِ المُثْلَى باريتو (Deb2014). لِضَمانِ تَقْرِيبِ فَعّالٌ لِجَبْهَةِ باريتو، يَتِمّ إِضافَةً نِقاطٍ جَدِيدَةٍ اِسْتِناداً إِلَى مَجْمُوعَةِ البَياناتِ الحالِيَّةِ لِلمُلاحَظات \( \mathcal{D}_\mathit{obs} = \{(\lambda_1,\mathcal{L}(\lambda_1)), \ldots, (\lambda_n,\mathcal{L}(\lambda_n))\} \) فِي الوَقْتِ n. تُعَزِّز هٰذِهِ النِقاطِ السَطْحِ الَّذِي تُشَكِّله مَجْمُوعَةِ الحُلُولِ غَيْرِ المُهَيْمِنَةَ \( D^\star_n \)، وَالَّتِي تُلَبِّي الشَرْطُ لَمُتَغَيِّرات الهَدَفَ d وَدالّه الخَسارَةِ \(\mathcal{L} = (\mathcal{L}_1,\ldots,\mathcal{L}_d)\) (DBLP:journals/corr/abs-1905-02370): لِجَمِيعِ \(\lambda, (\lambda,\mathcal{L}(\lambda)) \in \mathcal{D}^\star_n \subset \mathcal{D}_n\) وَ \(\lambda', (\lambda',\mathcal{L}(\lambda')) \in \mathcal{D}_n\) يُوجَد \(k \in \{1,\ldots,d\}\)، بِحَيْثُ \(\mathcal{L}_k(\lambda) \leq \mathcal{L}_k(\lambda')\).
لِتَعْزِيزِ الشَبَكاتِ العَصَبِيَّةِ المُتَغَيِّرَة العَمِيقَةِ (Deep Shift Neural Networks) حِسابِيّا عَبْرَ التَعَلُّمِ الآلِيِّ التِلْقائِيّ، نَسْتَخْدِم تَحْسِينِ الأَمانَةِ المُتَعَدِّدَةِ. نُقَدِّم أَمانات مُخْتَلِفَةٍ لِعَمَلِيَّةِ التَدْرِيبِ مِن خِلالَ زِيادَةِ عَدَدٍ طَبَقاتِ التَحَوُّلُ فِي النَمُوذَجِ. سَتَشْمَل النَماذِجِ المُدَرِّبَة فِي البِدايَةِ عَدَداً أَقَلَّ مِن طَبَقاتِ التَحَوُّلُ، وَالَّتِي سَتَزْداد خِلالَ عَمَلِيَّةِ التَحْسِين. نَفْتَرِض أَنَّ هٰذا سَيُوَجِّه البَحْثِ نَحْوَ الشَبَكاتِ المُتَغَيِّرَة الأَعْلَى أَداءِ، حَيْثُ أَنَّ عَدَداً قَلِيلاً مِن طَبَقاتِ التَحَوُّلُ يُقَدِّم أَقَلَّ عَدَمِ دِقَّةٍ رَقْمَيْهِ وَشُكُوك رِياضِيَّةٍ لِلنَمُوذَج. نَهْدِف إِلَى التَحْقِيقِ فِيما إِذا كانَ اِخْتِيارِ النَماذِجِ الأَعْلَى أَداءِ تَحْتَ شُكُوكٍ مُنْخَفَضه مُتَآصِله فِي النَمُوذَجِ يَسْتَمِرّ فِي أَظْهار تَحَسُّنِ فِي الأَداءِ عِنْدَ دَمْجها مَعَ المَزِيدِ مِن طَبَقاتِ التَحَوُّلُ.
فِي القِسْمِ [background]، شَرَحَنا المَنْهَجِ المُتَعَدِّدِ الأَمانَةِ. أَحَدُ الخوارزميات الَّتِي تصيغ قَواعِدِها هُوَ الإِنْقاص التَدْرِيجِيِّ (jamieson-aistats16a)، حَيْثُ يَتِمّ تَدْرِيبِ \(n_c\) تَكْوِينات عَلَى مِيزانَيْهِ صَغِيرَةٌ أَوَّلِيَّةً \(b_I\). بُعْدَ ذٰلِكَ، يَتِمّ تَدْرِيبِ أَفْضَلَ \(\nu/(\nu+1)\) تَكْوِينات أَداءِ عَلَى مِيزانَيْهِ \(\nu b_I/(\nu +1)\) حَتَّى يَتِمّ تَحْدِيدِ أَفْضَلَ تَكْوِينِ. نَتَناوَل التَوازُنِ بَيِّنَ \(b_I\) وَ \(n_c\)، أَو بَيِّنَ خَطَأ التَقْرِيبِ وَالاِسْتِكْشاف المُتَآصِل فِي الإِنْقاص التَدْرِيجِيِّ، بِاِسْتِخْدامِ خوارزميه HyperBand لِلتَحْسِين المُتَعَدِّدِ الأَمانَةِ. تَقُوم HyperBand (DBLP:journals/jmlr/LiJDRT17) بِتَشْغِيلِ الإِنْقاص التَدْرِيجِيِّ فِي أَقْواس مُتَعَدِّدَةِ، حَيْثُ يُوَفِّر كُلِّ قَوْس مَجْمُوعَةِ مِن \(n_c\) وَجُزْء مِن المِيزانِيَّةِ الإِجْمالِيَّةُ لِكُلِّ تَكْوِينِ بِحَيْثُ تَتَجَمَّع إِلَى المِيزانِيَّةِ الكُلِّيَّةِ.
نُوَسِّع هٰذا إِلَى تَحْسِينِ مُتَعَدِّدِ الأَمانَةِ وَمُتَعَدِّدٍ الأَهْدافِ. نُعالَج دِقَّةٍ النَمُوذَجِ وَكَذٰلِكَ اِسْتِهْلاكِهِ لِلطاقَةِ فِي آنٍ واحِدٍ. الهَدَفَ هُوَ تَحْسِينِ أَداءِ الشَبَكاتِ العَصَبِيَّةِ المُتَغَيِّرَة العَمِيقَةِ، مَعَ ضَمانِ تَحْقِيقِها لَدِقَّة عالِيَةٍ وَمِتانه فِي قُدْراتِها التَنَبُّؤِيَّة؛ ثانِياً، لِتَقْلِيلِ اِسْتِهْلاكِ الطاقَةِ، وَهُوَ عامِلٍ حاسِمٍ بِالنَظَرِ إِلَى الآثارِ البِيئِيَّةِ لِلكَفاءَة الحِسابِيَّة. لِهٰذا الغَرَضِ، نُنَفِّذ دالَّةٍ هَدَفَ ثُنائِيَّةٍ الأَبْعاد \(f_{MO}:\Lambda\xrightarrow{}\mathbb{R}^2,\quad f_{M0}(\lambda) = \big(f_{loss}(\lambda), f_{emission}(\lambda)\big)\)، حَيْثُ، بِالنَظَرِ إِلَى تَكْوِينِ \(\lambda\in\Lambda\)، \(f_{loss}(\lambda)\) تَهْدِف إِلَى تَقْلِيلِ الخَسارَةِ، مِمّا يُعَزِّز دِقَّةٍ النَمُوذَجِ، وَ\(f_{emission}(\lambda)\) تَسْعَى إِلَى تَقْلِيلِ اِسْتِهْلاكِ الطاقَةِ أَثْناءَ التَدْرِيبِ وَالاِسْتِدْلالُ، مِمّا يُعَزِّز الاستدامه البِيئِيَّةِ. نَهْدِف إِلَى حَلٍّ مُشْكِلَةِ التَحْسِين التالِيَةِ:
\[\argmin_{\lambda\in\Lambda} f_{M0}(\lambda)\, .\]
يَسْتَخْدِم SMAC3 إِسْتراتِيجِيَّةِ تَجْمِيعِ الوَسَطِ الحِسابِيّ بِحِساب الوَسَطِ الحِسابِيّ لِلهَدَف لِتَجْمِيعِ أَهْدافٍ مُتَعَدِّدَةِ فِي قِيمَةَ عَدَدَيْهِ واحِدَةٍ لِلتَحْسِين المُتَعَدِّدِ الأَمانَةِ. نَسْتَخْدِم خوارزميه ParEGO (DBLP:journals/tec/Knowles06) لِحِسابِ الأَهْدافِ المُثْلَى باريتو. تَحَوَّلَ المُشْكِلَةِ مُتَعَدِّدَةِ الأَهْدافِ إِلَى سِلْسِلَةٍ مِن المُشْكِلاتِ أُحادِيَّةُ الهَدَفَ مِن خِلالَ إِدْخالُ مُعامَلاتِ وَزْنِ مُتَغَيِّره لِلأَهْداف فِي كُلِّ تَكْرارِ مِن HyperBand. وَبِالتالِي تَحْسِينِ تَقْرِيبِ مُخْتَلِفِ لِلواجِهَة الأَمامِيَّةِ باريتو فِي كُلِّ تَقْيِيمِ. يُمْكِن الآنَ تَقْيِيمِ دالَّةٍ التَحْسِين أُحادِيَّةُ الهَدَفَ الناتِجَةِ فِي إِعْدادِ التَحْسِين المُتَعَدِّدِ الأَمانَةِ.
فِي القِسْمِ التالِي، نُوَضِّح الإِعْدادُ وَالمَنْهَجِيَّة المُسْتَخْدَمَةِ لَتَقْيِيم مَنْهَجنا المَناقِش فِي القِسْمِ [approach]، مَعَ التَرْكِيزِ عَلَى تَحْسِينِ شَبَكاتِ العصبونات العَمِيقَةِ المُتَحَوِّلَةَ مِن خِلالَ التَحْسِين مُتَعَدِّدِ الأَمانَةِ وَمُتَعَدِّدٍ الأَهْدافِ بِالإِضافَةِ إِلَى التَحْسِين مُتَعَدِّدِ الأَمانَةِ. نُناقِش كَيْفَ نَجَحَ مَنْهَجنا فِي التَنَقُّلِ بَيِّنَ تِجارَةٍ الأَداءِ النَمُوذَجِيّ وَالتَأْثِير البِيئِيِّ.
نَقُوم بِتَدْرِيبِ وَتَقْيِيم نَماذِجنا عَلَى مَجْمُوعَةِ بَياناتٍ Cifar10 (krizhevsky2009learning)، بِاِسْتِخْدامِ وَحَداتٍ مُعالَجَةِ الرُسُومات NVIDIA A100. لِتَحْسِينِ المُعَلِّماتُ الفائِقَةِ، نَعْتَمِد عَلَى اِسْتِخْدامِ SMAC3 (DBLP:journals/jmlr/LindauerEFBDBRS22). لَدَمْج الأَثَرِ البِيئِيِّ فِي سَيْرِ عَمَلٍ تَحْسِينِ المُعَلِّماتُ الفائِقَةِ لَدَينا، نَسْتَخْدِم مُتَتَبِّع اِنْبِعاثات CodeCarbon (DBLP:journals/corr/abs-1910-09700, DBLP:journals/corr/abs-1911-08354) لِتَتْبَع اِنْبِعاثات الكَرْبُون مِن العَمَلِيّاتِ الحِسابِيَّة مِن خِلالَ مُراقَبَةِ اِسْتِخْدامِ الطاقَةِ وَمَزِيج الطاقَةِ الإِقْلِيمِيِّ بِوَحْدَةِ \(g\mathit{CO}_{2}\mathit{eq}\)، غَراماتٍ مِن مُكافِئ \(\mathit{CO}_2\). اِخْتَرْنا شَبَكَةِ ResNet20 المُدَرِّبَة مُسْبَقاً (DBLP:conf/cvpr/HeZRS16).
يُعَرِّض الشَكْلِ [fig:results] دِقَّةٍ الاِخْتِبارُ الأَعْلَى لِ DSNN المُدَرِّبَة بِاِسْتِخْدامِ التَكْوِين الاِفْتِراضِيّ مِن الجَدْوَلُ [table:model_config] كَما هُوَ مُحَدَّدٍ بِواسِطَةِ (DBLP:conf/cvpr/ElhoushiCSTL21)، بِالإِضافَةِ إِلَى دِقَّةٍ الاِخْتِبارُ مِن DSNN المُكَوَّنَةِ وِفْقاً لِ SMAC3 مَعَ MF بِاِسْتِخْدامِ HyperBand، مَعَ عَدَدٍ طَبَقاتِ الاِنْتِقالِ الَّتِي تُحَدِّد الدِقَّةِ. يَتِمّ اِسْتِخْدامِ تَكْوِينِ الحَلِّ الأَمْثَلُ باريتو رَقْمِ 1 مِن الجَدْوَلُ [table:model_config]. يُحَدِّد خوارزميه MF، المُدَرِّبَة عَلَى نَفْسِ البِذْرَة ك MFMO، أَنَّها التَكْوِين الأَمْثَلُ لِلنَمُوذَج مِن بَيِّنَ خَمْسِينَ تَكْوِيناً تَمَّ تَقْيِيمها. عَلَى الرَغْمِ مِن التَقَلُّبات إِلَى حَدٍّ ما، فَإِنَّ الرَسْمُ البَيانِيّ يُظْهِر بِوُضُوحٍ أَنَّ أَداءِ النَمُوذَجِ مَعَ التَكْوِين الأَمْثَلُ يَتَجاوَز أَداءِ النَمُوذَجِ المَنْشَأِ بِالتَكْوِين الاِفْتِراضِيّ بِما لا يَقِلّ عَن ثَلاثَةِ فِي المِئَةِ. هٰذا يُؤَكِّد نَهْجنا بِأَنَّ MF يُمْكِن تَنْفِيذِها بِنَجاحٍ مَعَ مِيزانِيّات DSNN المُحَدَّدَةِ مِثْلَ عُمْقِ الاِنْتِقالِ.
عِلاوَةً عَلَى ذٰلِكَ، يُؤَكِّد ذٰلِكَ اِفْتِراضنا مِن القِسْمِ [approach] بِأَنَّ النَماذِجِ يُمْكِن تَقْيِيمها تَحْتَ اِنْخِفاضِ الشُكُوكَ الذاتِيَّةِ لِلنَمُوذَج وَتَسْتَمِرّ فِي الأَداءِ بِشَكْلٍ جَيِّدٍ عِنْدَ تَنْفِيذِها مَعَ المَزِيدِ مِن طَبَقاتِ الاِنْتِقالِ.
يُظْهِر الجَدْوَلُ [table:model_config] حَلَّيْنِ أَمْثَلَيْنِ باريتو مِن 33 تَكْوِيناً تَمَّ تَقْيِيمها بِاِسْتِخْدامِ نَهْجنا MFMO. يُؤَدِّي تَقْيِيمِ الحَلِّ رَقْمِ 1 إِلَى دِقَّةٍ أَعْلَى 1 بِنِسْبَةِ 83.50% وَ 0.1661 \(g\mathit{CO}_{2}\mathit{eq}\). يُحَقِّق الحَلِّ رَقْمِ 2 دِقَّةٍ أَعْلَى 1 بِنِسْبَةِ 84.67%، مِمّا يُنْتِج عَنهُ 0.1673 \(g\mathit{CO}_{2}\mathit{eq}\). لاحَظَ أَنَّهُ تَمَّ تَدْرِيبِهِم لِفَتَراتٍ أَقَلَّ بِسَبَبِ القُيُودِ الحِسابِيَّة. كُلّاً التكوينين يُحَقَّقانِ نَتائِجِ أَداءِ جَيِّدَةٍ مَعَ الحِفاظِ عَلَى اِنْخِفاضِ الاِنْبِعاثات.
تَشْمَل المُعَلِّماتُ النَوْعِيَّةِ لَنَمُوذَج DSNN بَتّات التَنْشِيط الصَحِيحَةِ، بَتّات كَسْرِ التَنْشِيط، بَتّات الوَزْنِ، وَعُمْقِ الاِنْتِقالِ. يَشْتَمِل الحَلِّ رَقْمِ 1 عَلَى عَدَدٍ أَقَلَّ مِن طَبَقاتِ الاِنْتِقالِ مَعَ عَدَدٍ أَقَلَّ مِن البَتّات الَّتِي تُمَثِّل قِيَمِ وَظِيفَةٍ تَنْشِيطِ الاوزان. يَبْدُو أَنَّ بَتّات التَنْشِيط وَبَتّات الوَزْنِ تُؤَثِّر عَلَى الاِنْبِعاثات وَأَداء النَمُوذَجِ بِشَكْلٍ مُماثِلٍ. تَزِيد طَبَقاتِ الاِنْتِقالِ الأَقَلِّ مِن الطَلَبِ الحِسابِيّ لِلنَمُوذَج. وَمَعَ ذٰلِكَ، يَبْدُو أَنَّ العَدَدَ المُنْخَفَض مِن البَتّات المُسْتَخْدَمَةِ لَاِسْتِبْدال العَمَلِيّاتِ العائِمَة (FLOPs) يُعَوِّض عَن ذٰلِكَ لِأَنَّ الحَلِّ رَقْمِ 1 يُنْتِج كَمِّيَّةِ تَقْرِيباً مُماثِلَةٍ مِن الاِنْبِعاثات كَما فِي الحَلِّ رَقْمِ 2. هٰذا الأَخِيرِ يَحْتَوِي عَلَى أَكْثَرَ مِن ثَلاثَةِ أَضْعافٍ عَدَدٍ طَبَقاتِ الاِنْتِقالِ، بِاِسْتِخْدامِ أَرْبَع طَبَقاتِ تلافيفيه فَقَط مَعَ FLOPs، وَلٰكِنَّهُ يَسْتَخْدِم عَدَداً كَبِيراً مِن بَتّات التَمْثِيلِ. يَبْدُو أَنَّ هُناكَ تَوازُناً بَيِّنَ عَدَدٍ طَبَقاتِ الاِنْتِقالِ وَعَدَدٌ بَتّات التَمْثِيلِ الَّتِي، عِنْدَ التَنَقُّلِ بِكَفاءَة، تُؤَدِّي إِلَى تَكْوِينات نَمُوذَجَ مَعَ أَداءِ مَرَضِ وَاِسْتِهْلاكِ لِلطاقَةِ. هٰذا يُدَعِّم اِدِّعاءنا بِأَنَّ نَهْجٍ MFMO لَدَينا واعِدٌ لِبِناءِ DSNNs عالِيَةٍ الأَداءِ وَفَعّالَةً مِن حَيْثُ الطاقَةِ.
فِي هٰذا العَمَلِ، نُقَدِّم نَهْجنا الأَخْضَرِ لِتَعْلَم الآلَةِ الآلِيِّ نَحْوَ تَحْسِينِ مُسْتَدام لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَسَلْسِلَة مِن خِلالَ إِطارِ عَمَلٍ تَحْسِينِ هَدَفَ مُتَعَدِّدِ الاوجه وَمُتَعَدِّدٍ الدِقَّةِ. نَتَناوَل التَقاطُعِ الحَرَج بَيِّنَ تَقَدَّمَ قُدْراتٍ التَعَلُّمِ العَمِيقِ والاستدامه البِيئِيَّةِ. مِن خِلالَ اِسْتِخْدامِ أَدَواتِ تَعْلَم الآلَةِ الآلِيِّ وَدَمْج الأَثَرِ البِيئِيِّ كَهَدَفٍ، نَنْتَقِل عَبْرَ التَوازُنِ بَيِّنَ أَداءِ النَمُوذَجِ وَاِسْتِخْدامِ المَوارِدِ بِكَفاءَة.
تُسَلِّط نَتائِجِ تَجارِبنا الضَوْء عَلَى إِمْكانِيّات نَهْجنا. لَقَد نَجَحْنا فِي تَحْسِينِ شَبَكَةِ عصبونات عَمِيقَةٌ مُتَسَلْسِلَةً لِتَحْقِيقِ دِقَّةٍ عالِيَةٍ مَعَ تَقْلِيلِ اِسْتِهْلاكِ الطاقَةِ. لَقَد قَدَّمْنا مِساحَةِ تَكْوِينِ شامِلَةٍ لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَسَلْسِلَة، وَأَدْخَلَنا نَهْجٍ تَعْلَم الآلَةِ الآلِيِّ الأَخْضَرِ لِتَطْوِيرِ النَمُوذَجِ المُوَجَّهِ نَحْوَ الكَفاءَة، وَقَدَّمَنا رُؤَى قِيمَةَ حَوْلَ قَراراتِ التَصْمِيمِ. تَشْمَل الأَعْمالِ المُسْتَقْبَلِيَّةِ تَوْسِيعِ نَهْجنا إِلَى مَعايِيرِ مُتَعَدِّدَةِ وَهَياكِلَ شَبَكَةِ عصبونيه لِلتَحَقُّقِ بِشَكْلٍ كافٍ مِن نَهْجنا عَلَى طَيْفِ واسِعٍ مِن تَصامِيم النَماذِجِ وَالتَطْبِيقاتِ. بِهٰذِهِ الطَرِيقَةِ، نَأْمَل فِي الحُصُولِ عَلَى مَزِيدٍ مِن الرُؤَى حَوْلَ قَراراتِ التَصْمِيمِ الحاسِمَةِ لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَسَلْسِلَة وَالنَماذِج الأُخْرَى المُصَمِّمَة لِلحِسابات الموفره لِلطاقَةِ. إِعادَةِ النَظَرِ فِي تَنْفِيذنا لِلهَدَف المُتَعَدِّدِ الاوجه وَمُتَعَدِّدٍ الدِقَّةِ لِإِيجادِ طَرِيقَةِ أَكْثَرَ كَفاءَةِ لِتَداخُلِ ParEGO وHyperband، عَلَى سَبِيلِ المِثالِ بِإِيجادِ طَرِيقَةِ أَكْثَرَ فَعّالِيَّةِ لِتَعْيِينِ المِيزانِيّاتِ والاوزان لِلتَكْوِينات، يَخْضَع لِمَزِيدٍ مِن العَمَلِ لِتَخْفِيفِ الحَمْل الحِسابِيّ عِنْدَ حِسابِ جَبَهاتٍ باريتو لِلهَدَف المُتَعَدِّدِ الاوجه وَمُتَعَدِّدٍ الدِقَّةِ. عِلاوَةً عَلَى ذٰلِكَ، سَنُحَقَّق فِي أَنْواعِ الدِقَّةِ المُحَدَّدَةِ لِشَبَكاتِ العصبونات العَمِيقَةِ المُتَسَلْسِلَة وخوارزميات الهَدَفَ المُتَعَدِّدِ لِتَحْقِيقِ مَزِيدٍ مِن التَخْفِيضات فِي اِنْبِعاثات النَمُوذَجِ.
لَقَد دَعْمِ هٰذا العَمَلِ وِزارَةِ البِيئَةِ الاِتِّحادِيَّةِ الأَلْمانِيَّةِ لِلحِفاظِ عَلَى الطَبِيعَةِ وَالسَلامَةِ النَوَوِيَّةِ وَحِمايَةِ المُسْتَهْلِكِ (مَشْرُوعِ GreenAutoML4FAS رَقْمِ 67KI32007A).