مُلَخَّصُ

اِنْتِشارِ هَياكِلِ الشَبَكاتِ العَصَبِيَّةِ الواسِعَةِ، وَخاصَّةً نَماذِجَ التَعَلُّمِ العَمِيقِ، يُمَثِّل تَحَدِّيا مِن حَيْثُ التَدْرِيبِ المُكَثَّفِ لِلمَوارِدِ. أَصْبَحَت قُيُودٍ ذاكِرَةِ وَحْدَةِ مُعالَجَةِ الرُسُومات عائِقاً بارِزاً فِي تَدْرِيبِ هٰذِهِ النَماذِجِ الكَبِيرَةِ. تَقَدَّمَ الإِسْتراتِيجِيّات الحالِيَّةِ، بِما فِي ذٰلِكَ التَوازِي فِي البَياناتِ، وَالتَوازِي فِي النَمُوذَجِ، وَالتَوازِي فِي الأَنابِيبِ، وَالتَوازِي الكامِلِ فِي البَياناتِ المجزاه، حُلُولاً جُزْئِيَّةٍ. التَوازِي فِي النَمُوذَجِ، عَلَى وَجْهِ الخُصُوصِ، يُمْكِن مِن تَوْزِيعِ النَمُوذَجِ بِأَكْمَلِهِ عَبْرَ وَحَداتٍ مُعالَجَةِ الرُسُومات المُتَعَدِّدَةِ، وَلٰكِن التَواصُلِ البَيانِيّ بَيِّنَ هٰذِهِ الأَقْسام يُبَطِّئ مِن التَدْرِيبِ. بِالإِضافَةِ إِلَى ذٰلِكَ، يَزِيد العِبْءَ الذاكري الكَبِيرِ المَطْلُوبِ لَتَخْزِين المُعَلِّماتُ المُساعَدَةِ عَلَى كُلِّ وَحْدَةِ مُعالَجَةِ رُسُومات مِن المُتَطَلَّباتِ الحِسابِيَّة. بَدَلاً مِن اِسْتِخْدامِ النَمُوذَجِ بِأَكْمَلِهِ لِلتَدْرِيبِ، تَدْعُو هٰذِهِ الدِراسَةُ إِلَى تَقْسِيمِ النَمُوذَجِ عَبْرَ وَحَداتٍ مُعالَجَةِ الرُسُومات وَتَوْلِيدِ العَلاماتِ الوَسِيطَة الاِصْطِناعِيَّةِ لِتَدْرِيبِ القِطاعاتِ الفَرْدِيَّةِ. تُساعِد هٰذِهِ العَلاماتِ، المُنْتِجَةِ مِن خِلالَ عَمَلِيَّةِ عَشْوائِيَّةٍ، فِي تَخْفِيفِ العِبْءَ الذاكري وَالحَمْل الحِسابِيّ. يُؤَدِّي هٰذا النَهْجِ إِلَى عَمَلِيَّةِ تَدْرِيبِ أَكْثَرَ كَفاءَةِ تُقَلِّل مِن التَواصُلِ البَيانِيّ مَعَ الحِفاظِ عَلَى دِقَّةٍ النَمُوذَجِ. لِلتَحَقُّقِ مِن هٰذِهِ الطَرِيقَةِ، يَتِمّ تَقْسِيمِ شَبَكَةِ عَصَبِيَّةُ مُتَّصِله بِالكامِلِ مُكَوَّنَةٍ مِن 6 طَبَقاتِ إِلَى جزاين وَيَتِمّ تَقْيِيمِ أَدائِها عَلَى مَجْمُوعَةِ بَياناتٍ MNIST المُوسِعَةِ. تُشِير النَتائِجِ التَجْرِيبِيَّة إِلَى أَنَّ النَهْجِ المُقْتَرَحِ يُحَقِّق دِقَّةٍ اِخْتِبارِ مُماثِلَةٍ لِطُرُقِ التَدْرِيبِ التَقْلِيدِيَّةِ، مَعَ تَقْلِيلِ كَبِيرٍ فِي مُتَطَلَّباتِ الذاكِرَةِ وَالحِساب. تُساهِم هٰذِهِ الأَعْمالِ فِي التَخْفِيفِ مِن الطَبِيعَةِ المُكَثَّفَةِ لِلمَوارِدِ لِتَدْرِيبِ الشَبَكاتِ العَصَبِيَّةِ الكَبِيرَةِ، مِمّا يُمَهِّد الطَرِيقِ لِتَطْوِيرِ نَماذِجَ التَعَلُّمِ العَمِيقِ بِكَفاءَة أَكْبَرَ.

مُقَدِّمَةِ

فِي السَنَواتِ الأَخِيرَةِ، ظَهَرَت الشَبَكاتِ العَصَبِيَّةِ، وَخاصَّةً نَماذِجَ التَعَلُّمِ العَمِيقِ، كَأَدَوات قَوِيَّةٍ لِحَلِّ المَهامّ المُعَقَّدَةِ فِي مُخْتَلِفِ المَجالاتِ. لَقَد نَمَت هٰذِهِ الشَبَكاتِ بِشَكْلٍ كَبِيرٍ فِي الحَجْمِ وَالتَعْقِيد، مِمّا أَتاحَ إِنْجازات فِي مَجالاتِ مِثْلَ التَعَرُّفُ عَلَى الصُوَرِ، مُعالَجَةِ اللُغاتِ الطَبِيعِيَّةِ، وَتَوْلِيدِ الكَلامِ. وَمَعَ ذٰلِكَ، فَقَد أَدَّى هٰذا النُمُوِّ أَيْضاً إِلَى تَحَدِّي كَبِيرٍ لِلمُسْتَخْدَم العادِيُّ: تَدْرِيبِ الشَبَكاتِ العَمِيقَةِ وَالكَبِيرَة جِدّاً. عَلَى سَبِيلِ المِثالِ، تَتَطَلَّب نَماذِجَ اللُغَةِ مِثْلَ GPT-3، الَّتِي تَحْتَوِي عَلَى مِلْياراتِ المُعامَلاتِ، مَوارِدِ حِسابِيَّةً كَبِيرَةٍ وَخِبْرَةُ مُتَخَصِّصَةٍ لَتَدْرِيبها بِفَعّالِيَّةٍ. بِشَكْلٍ خاصٍّ، تُشَكِّل مُتَطَلَّباتِ ذاكِرَةِ وَحْدَةِ المُعالَجَةِ الرسوميه (GPU) لِلشَبَكات الكَبِيرَةِ عَقَبَةً فِي تَدْرِيبها.

مَعَ الاِعْتِرافِ بِأَهَمِّيَّةِ مَوارِدِ الذاكِرَةِ النادِرَةِ فِي التَعَلُّمِ العَمِيقِ، كانَ الباحِثُونَ وَالمُمارِسُونَ يَسْتَكْشِفُونَ بِنَشاطِ مُخْتَلِفِ النَهْجِ لِجَعْلِ التِكْنُولُوجِيا أَكْثَرَ سُهُولَةَ فِي الوُصُولِ (Sutton09,Shiram19,Fu2021,Yao2018,Meng2017TrainingDM). إِحْدَى الطُرُقِ البَسِيطَةِ وَالفَعّالَة هِيَ تَقْلِيلِ دِقَّةٍ مُعامَلاتِ النَمُوذَجِ. بَدَلاً مِن اِسْتِخْدامِ نَوْعٍ بَياناتٍ النُقْطَةِ العائِمَة ب32-بَتَّ، يُمْكِن اِسْتِخْدامِ BFLOAT16، الَّذِي يَسْتَهْلِك 16 بَتَّ (8 بَتَّ لِلأُسّ وَ7 بَتَّ لِلكَسْرِ) (URL_BFLOAT16). عَلَى الرَغْمِ مِن أَنَّ هٰذا النَهْجِ يُقَلِّل مِن اِسْتِهْلاكِ الذاكِرَةِ إِلَى النِصْفِ، إِلّا أَنَّهُ يَأْتِي مَعَ دِقَّةٍ أَقَلَّ لَمُعامَلات النَمُوذَجِ. بِالإِضافَةِ إِلَى ذٰلِكَ، فَإِنَّ التَحْسِين الَّذِي يُوَفِّره مَحْدُودٍ: اِسْتِخْدامِ أَنْواعِ البَياناتِ ب8-بَتَّ، عَلَى سَبِيلِ المِثالِ، سَيُؤَدِّي إِلَى تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ.

إِحْدَى الطُرُقِ الواعِدَةِ الَّتِي تُقَلِّل مِن اِسْتِهْلاكِ ذاكِرَةِ وَحْدَةِ المُعالَجَةِ الرسوميه تَتَضَمَّن تَقْسِيمِ البَياناتِ، أَو النَمُوذَجِ، أَو الأَنابِيبِ، وَتُسَمَّى التَوازِي (jia2018data). يَتَضَمَّن التَوازِي البَيانِيّ (DP) تَقْسِيمِ دُفْعاتٍ التَدْرِيبِ إِلَى مَجْمُوعاتٍ فَرْعِيَّةٍ أَصْغَرِ وَتَوْزِيعِها عَبْرَ مُسْتَخْدَمِينَ أَو أَجْهِزَةِ مُتَعَدِّدَةِ، مِمّا يَسْمَح بِالتَدْرِيب التَعاوُنِيّ دُونِ الحاجَةِ إِلَى بِنْيَةَ تَحْتِيَّةٍ مَرْكَزِيَّةٌ. مِن ناحِيَةٍ أُخْرَى، يُرَكِّز التَوازِي النَمُوذَجِيّ (MP) عَلَى تَقْسِيمِ النَمُوذَجِ عَمُودِيّاً إِلَى مُكَوِّناتِ أَصْغَرِ يُمْكِن تَدْرِيبها بِشَكْلٍ مُسْتَقِلٍّ ثُمَّ دَمْجها لِتَشْكِيلِ شَبَكَةِ أَكْبَرَ. يُتِيح هٰذا النَهْجِ التَدْرِيبِ المُوَزَّع، حَيْثُ يُمْكِن مُعالَجَةِ أَجْزاءِ مُخْتَلِفَةٍ مِن الشَبَكَةِ فِي وَقْتٍ واحِدٍ بِواسِطَةِ أَجْهِزَةِ أَو أَفْرادِ مُخْتَلِفِينَ. التَوازِي الأُنْبُوبِيّ (PP)، مِن ناحِيَةٍ أُخْرَى، يُقَسِّم الشَبَكَةِ أُفُقِيّا عَلَى وَحَداتٍ حوسبه مُخْتَلِفَةٍ. لَقَد حَظِيَت جَمِيعِ طُرُقٍ التَوازِي بِالكَثِيرِ مِن الاِهْتِمامِ وَتَعْتَبِر مَواضِيعَ ساخِنَةٍ فِي سَعْيِها لِتَقْلِيلِ مُتَطَلَّباتِ الحوسبه وَالذاكِرَة لِتَدْرِيبِ التَعَلُّمِ العَمِيقِ، حَيْثُ تَقَدَّمَ حُلُولاً مُحْتَمَلَةٍ لِلتَخْفِيفِ مِن التَحَدِّياتِ الَّتِي تَفْرِضها تَدْرِيبِ الشَبَكاتِ العَمِيقَةِ وَالكَبِيرَة جِدّاً.

فِي التَوازِي البَيانِيّ، يُمْكِن أَنَّ يَتَناسَب النَمُوذَجِ داخِلَ وَحْدَةِ مُعالَجَةِ رسوميه واحِدَةٍ. يَتِمّ نُسَخ نُسَخ مِن النَمُوذَجِ وَمُعامَلات التَدْرِيبِ إِلَى وَحَداتٍ مُعالَجَةِ رسوميه مُتَعَدِّدَةِ وَيَتِمّ تَقْسِيمِ البَياناتِ إِلَى عَدَدٍ الوَحَداتِ المُتاحَةِ. يَتِمّ أَيْضاً إِجْراءِ التَقَدُّمِ وَالتَراجُعِ المُتَوازِي فِي كُلِّ وَحْدَةِ مُعالَجَةِ رسوميه عَلَى حِدَّةِ. ثُمَّ يَتِمّ مزامنه التَدَرُّجات المَحْسُوبَة فِي كُلِّ وَحْدَةِ مُعالَجَةِ رسوميه وَيَتِمّ تَحْدِيثِ مُعامَلاتِ النَمُوذَجِ فِي كُلِّ وَحْدَةِ مُعالَجَةِ رسوميه وِفْقاً لِذٰلِكَ. بَيْنَما هٰذِهِ الطَرِيقَةِ فَعّالَةٍ مِن حَيْثُ الحِسابِ، فَإِنَّها لا تُقَلِّل مِن مُتَطَلَّباتِ الذاكِرَةِ لِكُلِّ جِهازِ. يَتِمّ اِسْتِخْدامِ التَوازِي البَيانِيّ بِنَشاطِ فِي PyTorch وَيَعْرِف بِاِسْمِ التَوازِي البَيانِيّ المُوَزَّع (DDP) (URL_DDP). يُمْكِن العُثُورِ عَلَى تَحْقِيقِ شامِلٍ لِDDP فِي PyTorch فِي (Li20). عَلَى الرَغْمِ مِن أَنَّ DDP هُوَ حَلٍّ مُتَعَدِّدِ الاِسْتِخْدامات عِنْدَما يَتَناسَب الشَبَكَةِ داخِلَ وَحْدَةِ مُعالَجَةِ رسوميه واحِدَةٍ، إِلّا أَنَّهُ لا يَنْطَبِق بِمُفْرَدِهِ عِنْدَما يَكُون حَجْمِ النَمُوذَجِ أَكْبَرَ مِن ذاكِرَةِ وَحْدَةِ المُعالَجَةِ الرسوميه.

يُمْكِن أَنَّ يَكُون التَوازِي الأُنْبُوبِيّ مُفِيداً عِنْدَما يُمْكِن تَقْسِيمِ النَمُوذَجِ أُفُقِيّا، مِثْلَ فِي تَطْبِيقات مُعالَجَةِ الصُوَرِ. مِثالٌ شَهِيرٍ هُوَ G-Pipe، الَّذِي اِقْتَرَحَهُ Huang et al. (huang2019gpipe). اِقْتَرَحُوا إِسْتراتِيجِيَّةِ تُوازِي أُنْبُوبَيَّ لِلدُفْعات الصَغِيرَةِ، مِن خِلالَ تَقْسِيمِ الدُفْعات الصَغِيرَةِ إِلَى دُفْعاتٍ صَغِيرَةٌ مُتَساوِيَةً. فِي نِهايَةِ كُلِّ دَفْعَةً صَغِيرَةٌ، يَتِمّ تَجْمِيعِ التَدَرُّجات وَتَطْبِيقِها لِتَحْدِيثِ مُعامَلاتِ النَمُوذَجِ. أَحَدُ العُيُوبِ الرَئِيسِيَّةِ لِلتَوازِي الأُنْبُوبِيّ هُوَ فَقاعَة الأُنْبُوبِ، بِسَبَبِ عَدَمِ التَوازُنِ فِي العَمَلِ أَو التَبَعِيّات بَيِّنَ الأَنابِيبِ. بِالإِضافَةِ إِلَى ذٰلِكَ، تَتَطَلَّب التَطْبِيعِ الدفعي عَبْرَ الأَنابِيبِ اِهْتِماماً خاصّاً.

التَوازِي النَمُوذَجِيّ هُوَ إِسْتراتِيجِيَّةِ رَئِيسِيَّةٍ عِنْدَما يَكُون حَجْمِ النَمُوذَجِ وَمُعامَلات التَدْرِيبِ، مِثْلَ التَدَرُّجات، وَحالات المُحْسِن، وَالمُتَغَيِّرات المُؤَقَّتَةِ الأُخْرَى أَكْبَرَ مِن ذاكِرَةِ وَحْدَةِ المُعالَجَةِ الرسوميه (Castello19,Wanwu2022). اِقْتَرَحَ Rajbhandari et al. طَرِيقَةِ لِتَقْسِيمِ النَمُوذَجِ وَمُعامَلات التَدْرِيبِ، مَدْفُوعَةً بِتَحْقِيقِ عَدَمِ تَداخُلٌ البَياناتِ بَيِّنَ وَحَداتٍ المُعالَجَةِ الرسوميه (rajbhandari2020zero). تَمَّ تَحْسِينِ الطَرِيقَةِ مُؤَخَّراً كَتَوازِي البَياناتِ المُقَسَّمَةِ بِالكامِلِ (FSDP)، مَعَ تَنْفِيذِ فِي PyTorch (zhao2023pytorch). مَرَّةً أُخْرَى، يَتِمّ تَقْسِيمِ البَياناتِ بَيِّنَ وَحَداتٍ المُعالَجَةِ الرسوميه، وَلٰكِن هٰذِهِ المَرَّةُ يَتِمّ أَيْضاً تَقْسِيمِ النَمُوذَجِ وَمُعامَلات التَدْرِيبِ، مَعَ عَدَمِ وُجُودِ تَداخُلٌ. بُعْدَ إِجْراءِ التَمْرِيراتُ الأَمامِيَّةِ وَالخَلْفِيَّة بِطَرِيقَةٍ مُتَوازِيه، يَتِمّ مزامنه التَدَرُّجات بِشَكْلٍ مَرْكَزِيٍّ وَيَتِمّ بُعْدَ ذٰلِكَ تَنْفِيذِ تَحْدِيثِ النَمُوذَجِ. مُؤَخَّراً، اِقْتَرَحَ Mlodozenie et al. التَوازِي النَمُوذَجِيّ وَالبَيانِيّ، حَيْثُ يَتِمّ تَحْسِينِ كُلِّ قِسْمِ مِن النَمُوذَجِ لَشَرائِح بَياناتٍ مُحَدَّدَةٍ (mlodozeniec2023). تَمَّ تَعْرِيفٍ دالَّةٍ خَسارَةِ بِناءَ عَلَى شَرائِحِ البَياناتِ الَّتِي لَم تَراها الشَبَكَةِ الفَرْعِيَّةِ. اِقْتَرَحَ Akintoye et al. تَقْسِيمِ النَمُوذَجِ طَبَقِيّا (akintoye2022)، لِتَقْلِيلِ النَفَقاتِ العامَّةِ لِلاِتِّصالِ بَيِّنَ الأَجْهِزَةِ وَتَكْلِفَة الذاكِرَةِ أَثْناءَ التَدْرِيبِ. يَتِمّ تَقْسِيمِ الطَبَقاتِ بِاِسْتِخْدامِ وَحَداتٍ المُعالَجَةِ الرسوميه ثُمَّ دَمْجها. التَقْسِيم النَمُوذَجِيّ شائِع أَيْضاً بَيِّنَ الشَبَكاتِ العَصَبِيَّةِ الرسوميه (liao2018graph) وَضِمْنَ الأَنْظِمَةِ الَّتِي تَشْمَل أَجْهِزَةِ الحافَة، مِثْلَ شَبَكاتِ الأَشْياءَ (IoT) (Na22,Oliveira19,parthasarathy2023).

بِخِلافِ التَوازِي البَيانِيّ وَالنَمُوذَجِيّ وَالأُنْبُوبِيّ، اِقْتَرَحَ الباحِثُونَ طُرُقاً أُخْرَى لِتَقْلِيلِ الطَلَبِ عَلَى الذاكِرَةِ لِتَدْرِيبِ الشَبَكاتِ العَصَبِيَّةِ. اِقْتَرَحَ Jain et al. تشفير خَرائِطِ المِيزاتِ لِتَوْفِيرِ الذاكِرَةِ (Jain18). اِقْتَرَحَ Wang et al. الخَلايا العَصَبِيَّةِ الفائِقَةِ الَّتِي تَتَمَيَّز بِتَحْسِين الذاكِرَةِ مِن خِلالَ تَخْصِيصُ الذاكِرَةِ بِشَكْلٍ دِينامِيكِيٍّ لَمِساحات العَمَلِ التَحْوِيلِيَّة (Wang18). الطَلَبِ عَلَى الذاكِرَةِ لِطَرِيقَةِ التَحْسِين التكيفي كَبِيرٍ أَيْضاً. قامَت بِعَضِّ الدِراساتِ بِتَقْلِيل هٰذا البَصْمَة الذاكريه مِن خِلالَ تَبْسِيطِ نَماذِجَ المُحْسِن (anil19memoryefficient,shazeer2018adafactor). تَحْمِل هٰذِهِ الطُرُقِ خَطَرِ التَأْثِيرِ عَلَى تَقارُبٍ النَمُوذَجِ.

فِي هٰذِهِ الدِراسَةُ، تَمَّ تَطْوِيرِ مَنْهَجِيَّةً تَدْرِيبِ شَبَكَةِ عَصَبِيَّةُ جَدِيدَةٍ، تُسَمَّى تَدْرِيبِ الشَبَكَةِ العَصَبِيَّةِ المُقَسَّمَةِ (PNN). يَتِمّ تَقْسِيمِ الشَبَكَةِ إِلَى شَبَكَتَيْنِ فَرَعِيَّتَيْنِ أَو أَكْثَرَ. بَدَلاً مِن تَدْرِيبِ الشَبَكَةِ بِأَكْمَلِها، يَتِمّ تَدْرِيبِ هٰذِهِ الأَقْسام بِشَكْلٍ مُنْفَصِل بِاِسْتِخْدامِ البَياناتِ الاِصْطِناعِيَّةِ وَالبَياناتِ التَدْرِيبِيَّةِ الأَصْلِيَّةِ. نَظَراً لِأَنَّ كُلِّ قِسْمِ يَتِمّ تَدْرِيبه بِشَكْلٍ مُنْفَصِل، يَتِمّ القَضاءِ عَلَى التَواصُلِ لَمُخْرِجات التَغْذِيَةِ الأَمامِيَّةِ وَالتَدَرُّجات إِلَى أَقْسام أُخْرَى أَو جِهازِ مُضِيف. وَبِالتالِي، يَتِمّ تَقْلِيلِ النَفَقاتِ العامَّةِ لِلاِتِّصالِ بِشَكْلٍ كَبِيرٍ مُقارَنَةً بِطُرُقٍ التَوازِي النَمُوذَجِيّ الأُخْرَى. بِالإِضافَةِ إِلَى ذٰلِكَ، يَسْمَح التَدْرِيبِ المُنْفَصِل لِلأَقْسام بِضَبْطِ مُعَلِّمات التَدْرِيبِ الفائِقَةِ لِكُلِّ قِسْمِ. يُتِيح هٰذا النَهْجِ تَقْلِيلِ الطَلَبِ الحِسابِيّ الإِجْمالِيِّ مَعَ الحِفاظِ عَلَى الدَقِّ

التَدْرِيبِ المُنْفَصِل لَأَقْسام النَمُوذَجِ

أَخِيراً، يَعُد التَدْرِيبِ المُنْفَصِل لَأَقْسام النَمُوذَجِ فَعّالا أَيْضاً فِي التَخْفِيفِ مِن مُشْكِلَةِ الاِنْحِدارِ التَدْرِيجِيِّ المُتَلاشِي، وَالَّتِي مِن المُرَجِّحِ مُلاحَظَتها أَكْثَرَ فِي الشَبَكاتِ العَصَبِيَّةِ العَمِيقَةِ (Kolbusz2017vanishing).

الطَرِيقَةِ المُقْتَرَحَةِ

تَعْتَمِد الطَرِيقَةِ عَلَى المُلاحَظَةُ بِأَنَّ اوزان الطَبَقاتِ المُتَوَسِّطَةِ فِي شَبَكَةِ عَصَبِيَّةُ تُظْهِر بِعَضِّ العَشْوائِيَّةِ بِطَبِيعَتها. تَنْبُع هٰذِهِ العَشْوائِيَّةِ مِن التَهْيِئَة العَشْوائِيَّةِ الأَوَّلِيَّةِ للاوزان داخِلَ الشَبَكَةِ العَصَبِيَّةِ، بِالإِضافَةِ إِلَى الطَبِيعَةِ التَكْرارِيَّة لِعَمَلِيَّةِ التَدْرِيبِ (Maennel20). وَنَتِيجَةَ لِذٰلِكَ، سَتَخْتَلِف قِيمَةَ الاوزان فِي طَبَقَةٌ مُتَوَسِّطَةِ وَسَتَكُون مُعْتَمَدَةً عَلَى الاوزان العَشْوائِيَّةِ الأَوَّلِيَّةِ (franchi2021tradi). لُذّاً، نَفْتَرِض أَنَّهُ عِنْدَ تَقْسِيمِ شَبَكَةِ، يُمْكِن تَدْرِيبِ القِطاعاتِ الفَرْدِيَّةِ بِشَكْلٍ مُسْتَقِلٍّ بِاِسْتِخْدامِ تَسْمِيات صِناعِيَّةٍ أَو خَرائِطِ مِيزاتِ تَمَّ إِنْشاؤها مِن خِلالَ عَمَلِيَّةِ عَشْوائِيَّةٍ.

لِإِظْهارِ الطَبِيعَةِ العَشْوائِيَّةِ لَمُعامَلات الشَبَكَةِ بُعْدَ التَدْرِيبِ، يَتِمّ تَدْرِيبِ شَبَكَةِ مُتَّصِله بِالكامِلِ بِشَكْلٍ مُتَكَرِّرٍ بِاِسْتِخْدامِ مَجْمُوعَةِ بَياناتٍ المَعْهَدِ الوَطَنِيِّ المُعَدَّلِ لِلمَعايِير وَالتِكْنُولُوجِيا (deng2012mnist). تَحْتَوِي الشَبَكَةِ عَلَى ثَلاثِ طَبَقاتِ، بِعَدَدٍ الخَلايا العَصَبِيَّةِ فِي كُلِّ طَبَقَةٌ كَما يَلِي: 100، 50 و10. فِي كُلِّ خَطْوَةٍ، يَتِمّ إِعادَةِ تَهْيِئَةِ الاوزان بِشَكْلٍ عَشْوائِيٍّ مِن خِلالَ إِعادَةِ إِنْشاءِ الشَبَكَةِ. تَهْيِئَةِ الوَزْنِ هِيَ التَهْيِئَة الاِفْتِراضِيَّةِ فِي PyTorch (URL_torch_init_linear). يَتِمّ التَدْرِيبِ فِي 15 دَوْرَةِ تَدْرِيبِيَّةً بِحَجْمِ دَفْعَةً قَدَّرَهُ 256، وَيَتِمّ حِفْظِ النَمُوذَجِ بُعْدَ كُلِّ دَوْرَةِ تَدْرِيبِيَّةً مِن 15 دَوْرَةِ. بُعْدَ إِجْراءِ هٰذا الإِجْراءَ التَدْرِيبِيِّ الكامِلِ 300 مَرَّةً، يَتِمّ رَسْمِ الرَسْمُ البَيانِيّ لِثَلاثَةِ مُعامَلاتِ: الحَدِّ الأَقْصَى، الحَدِّ الأَدْنَى وَالحَدُّ الأَقْصَى ناقِصَ الحَدِّ الأَدْنَى مِن اوزان الطَبَقَةِ المُتَوَسِّطَةِ. تُظْهِر الرُسُومات أَنَّهُ حَتَّى بُعْدَ التَدْرِيبِ، لا تَزال الاوزان تَحْتَوِي عَلَى بِعَضِّ العَشْوائِيَّةِ، بِسَبَبِ الاوزان الأَوَّلِيَّةِ العَشْوائِيَّةِ عِنْدَ بَدْء الشَبَكَةِ. وَبِالتالِي، يَجِب أَنَّ تُظْهِر نَتائِجِ التَنْشِيط المُتَوَسِّطَةِ لِلشَبَكَةِ أَيْضاً كَمِّيَّةِ كَبِيرَةٍ مِن العَشْوائِيَّةِ، وَمِن المُتَوَقَّعِ أَنَّ يُمْكِن تَقْسِيمِ الشَبَكَةِ وَتَدْرِيبِها بِاِسْتِخْدامِ تَسْمِيات مُتَوَسِّطَةِ صِناعِيَّةٍ، وَالَّتِي يَتِمّ إِنْشاؤها بِاِسْتِخْدامِ عَمَلِيَّةِ عَشْوائِيَّةٍ.

تَبْدَأ الطَرِيقَةِ بِتَقْسِيم النَمُوذَجِ بِالكامِلِ إِلَى شَبَكَتَيْنِ فَرَعِيَّتَيْنِ، تَعْرِفانِ بِالأَقْسام اليُسْرَى وَاليَمَنِيّ. عَلَى الرَغْمِ مِن أَنَّ التَقْسِيم إِلَى أَكْثَرَ مِن شَبَكَتَيْنِ فَرَعِيَّتَيْنِ مُمْكِنٍ، إِلّا أَنَّ الطَرِيقَةِ مُوَضِّحَةً عَلَى اِفْتِراضِ أَنَّ الشَبَكَةِ مُقَسَّمَةً إِلَى شَبَكَتَيْنِ فَرَعِيَّتَيْنِ، لِلبَساطَة. يَتِمّ تَدْرِيبِ القِسْمِ الأَيْسَر أَوَّلاً، دُونِ اِسْتِخْدامِ القِسْمِ الأَيْمَن. لِتَحْقِيقِ ذٰلِكَ، يَتِمّ إِنْشاءِ التَسْمِيات بِشَكْلٍ صِناعِيٌّ لِلقِسَم الأَيْسَر. تُسَمَّى هٰذِهِ التَسْمِيات بِالتَسْمِيات الوَسِيطَة الصِناعِيَّةِ (SIL). بِفَرْضِ أَنَّ عَدَدٍ الخَلايا العَصَبِيَّةِ فِي الطَبَقَةِ النِهائِيَّةِ لِلقِسَم الأَيْسَر هُوَ \(N_P\) وَعَدَدٌ الفِئاتِ هُوَ \(M\)، يَتِمّ إِنْشاءِ \(M\) مُتَّجِهات بِحَجْمِ \([N_P\times1]\). يُمْكِن تَمْثِيلِ التَسْمِيات الوَسِيطَة الصِناعِيَّةِ بِواسِطَةِ مَصْفُوفه N-by-M (\(SIL \in \mathbb{R}^{N_P\times M} \))، حَيْثُ يُمَثِّل كُلِّ عَمُود فِئَةٌ. يَتِمّ إِنْشاءِ عَناصِرِ المَصْفُوفَة بِشَكْلٍ عَشْوائِيٍّ بِاِسْتِخْدامِ التَوْزِيعِ المُوَحَّدَ \((0,1)\) وَتَتِمّ مِقْياسها بِاِسْتِخْدامِ مَعامِلِ \(\kappa\). فِي التَدْوِين الرِياضِيِّ: \[\label{eq:SIL} SIL_{i,j} \sim \kappa \, U(0,1)\] حَيْثُ \(U(0,1)\) هُوَ التَوْزِيعِ المُوَحَّدَ \((0,1)\) وَ\(i \in {1,2,...,N_P}\) وَ\(j \in {1,2,...,M}\) هُما مُؤَشِّراتٌ الصَفِّ وَالعَمُود.

بِاِسْتِخْدامِ المدخلات الأَصْلِيَّةِ لِمَجْمُوعَةِ البَياناتِ التَدْرِيبِيَّةِ وال SIL، المَرْتَبَةِ بِاِسْتِخْدامِ مَجْمُوعَةِ البَياناتِ التَدْرِيبِيَّةِ الأَصْلِيَّةِ، يَتِمّ تَدْرِيبِ القِسْمِ الأَيْسَر ب \(N_L\) دَوْراتِ تَدْرِيبِيَّةً دُونِ خَلْطٌ المدخلات. فِي هٰذِهِ المَرْحَلَةِ، لا يَتِمّ اِسْتِخْدامِ القِسْمِ الأَيْمَن عَلَى الإِطْلاقِ. بُعْدَ \(N_L\) دَوْراتِ تَدْرِيبِيَّةً، يَتِمّ إِنْهاءِ تَدْرِيبِ القِسْمِ الأَيْسَر وَيَتِمّ تَخْزِينِ الاِسْتِجابَةُ النِهائِيَّةِ لِلقِسَم الأَيْسَر، أَيّ الاِسْتِجابَةُ فِي الدَوْرَةِ الأَخِيرَةِ.

فِي المَرْحَلَةِ الثانِيَةِ، يَتِمّ تَدْرِيبِ القِسْمِ الأَيْمَن. البَياناتِ المدخله هِيَ ناتِجٌ الاِسْتِجابَةُ النِهائِيَّةِ لِلقِسَم الأَيْسَر، المخزنه مُسْبَقاً. تُسْتَخْدَم تَسْمِيات مَجْمُوعَةِ البَياناتِ الأَصْلِيَّةِ كَتَسْمِيات لِهٰذِهِ العَمَلِيَّةِ التَدْرِيبِيَّةِ. يَتِمّ التَدْرِيبِ بِعَدَدٍ \(N_R\) مِن الدَوْراتِ التَدْرِيبِيَّةِ. بُعْدَ اِنْتِهاءِ تَدْرِيبِ القِسْمِ الأَيْمَن، تَكْتَمِل عَمَلِيَّةِ التَدْرِيبِ. يُمْكِن دَمْجِ الأَقْسام بُعْدَ هٰذِهِ المَرْحَلَةِ، لِاِسْتِخْدامِ الشَبَكَةِ.

يُمْكِن تَوْسِيعِ الطَرِيقَةِ بِسُهُولَةٍ لِلحالات الَّتِي يَتِمّ فِيها تَقْسِيمِ النَمُوذَجِ إِلَى أَكْثَرَ مِن شَبَكَتَيْنِ فَرَعِيَّتَيْنِ. يَتِمّ تَوْضِيحِ هٰذا الخوارزم الشامِلِ فِي الرَسْمُ البَيانِيّ. فِي هٰذا السِينارِيو، مِن الضَرُورِيِّ وُجُودِ تَسْمِيَةِ وَسِيطه صِناعِيَّةٍ مُمَيَّزَةٍ لِكُلِّ طَبَقَةٌ وَسِيطه. تَظَلّ فَوائِدَ الطَرِيقَةِ المُقْتَرَحَةِ قابِلَةٍ لِلتَطْبِيقِ.

مِن المُمْكِنِ أَيْضاً الاِنْفِصالِ عَن الطَبِيعَةِ التسلسليه لِلتَدْرِيبِ وَتَدْرِيبِ كُلِّ شَبَكَةِ فَرْعِيَّةٍ بِشَكْلٍ مُتَزامِن، بِاِسْتِخْدامِ التَسْمِيات الوَسِيطَة الصِناعِيَّةِ كمدخلات وَتَسْمِيات. يَتِمّ عَرَضَ الرَسْمُ البَيانِيّ لِهٰذا النَهْجِ. تَتَضَمَّن هٰذِهِ الهَنْدَسَةِ المُثِيرَةِ لِلاِهْتِمامِ أَقْساماً وَسِيطه، لِيَتِمّ تَدْرِيبها مِن خِلالَ المدخلات وَالتَسْمِياتِ الَّتِي تَمَّ إِنْشاؤها بِواسِطَةِ عَمَلِيَّةِ عَشْوائِيَّةٍ. تَمَّ أَظْهار سابِقاً أَنَّهُ مِن المُمْكِنِ تَدْرِيبِ شَبَكَةِ عَصَبِيَّةُ بِاِسْتِخْدامِ بَياناتٍ عَشْوائِيَّةٍ بِخَسارَةِ تَدْرِيبِ صِفْرَيْهِ، شَرِيطَةَ أَنَّ يَكُون عَدَدٍ الدَوْراتِ التَدْرِيبِيَّةِ وَعَدَدٌ المُعامَلاتِ كافِيَيْنِ (zhang2017understanding). وَمَعَ ذٰلِكَ، تَتَطَلَّب هٰذِهِ الطَرِيقَةِ العَدِيدَ مِن الدَوْراتِ التَدْرِيبِيَّةِ لِكُلِّ شَبَكَةِ فَرْعِيَّةٍ لِتَحْقِيقِ مُسْتَوَى مَقْبُولٍ مِن الدِقَّةِ، مِمّا يَزِيد بِشَكْلٍ كَبِيرٍ مِن الحَمْل الحِسابِيّ. نَتِيجَةَ لِذٰلِكَ، يُعْتَبَر هٰذا النَهْجِ غَيْرِ عَمَلِيٍّ.

المَزايا مُقارَنَةً بِالتَوازِي النَمُوذَجِيّ القِياسِيَّ

يَتَطَلَّب التَوازِي النَمُوذَجِيّ التَقْلِيدِيِّ اِتِّصالاتٍ واسِعَةً بَيِّنَ الأَجْهِزَةِ. عَلَى سَبِيلِ المِثالِ، فِي عُقْدَةِ تَحْتَوِي عَلَى وَحَداتٍ مُعالَجَةِ الرُسُومات المُتَرابِطَة، تَكُون الاِتِّصالاتِ مِن الجِهازِ إِلَى المُضِيفُ وَمِن المُضِيفُ إِلَى الجِهازِ ضَرُورِيَّةٌ لِنَقْلِ الاِسْتِجابات وَالتَدَرُّجات وَمُعَلِّمات النَمُوذَجِ المُحْدَثَةَ (Jain20, zhuang2022optimizing). مَعَ زِيادَةِ عَدَدٍ وَحَداتٍ مُعالَجَةِ الرُسُومات، يَزْداد التَحْمِيل الزائِد لِلاِتِّصالاتِ، مِمّا يَفْرِض حَدا أَعْلَى عَلَى الأَداءِ الكُلِّيِّ (rajbhandari2020zero).

يُسَهِّل النَهْجِ المُقْتَرَحِ تَدْرِيبِ كُلِّ قِسْمِ داخِلَ وَحْدَةِ مُعالَجَةِ الرُسُومات الخاصَّةِ بِهِ. التَحْمِيل الزائِد لِلاِتِّصالاتِ أَثْناءَ التَدْرِيبِ يَنْطَوِي فَقَط عَلَى نَقْلِ مُخْرِجات القِسْمِ السابِقِ، وَالَّتِي تَعْمَل كمدخلات لِلقِسَم الحالِيَّ قَيْدِ التَدْرِيبِ. تُساعِد هٰذِهِ الإِسْتراتِيجِيَّةِ فِي تَقْلِيلِ التَحْمِيل الزائِد لِلاِتِّصالاتِ، مِمّا يُقَدِّم نَهْجاً فَعّالا وَدَقِيقاً لِلتَدْرِيبِ.

يَشْتَركَ كُلِّ مِن الطَرِيقَةِ المُقْتَرَحَةِ وَالتَوازِي النَمُوذَجِيّ القِياسِيَّ فِي مِيزَةً تَوْزِيعِ النَمُوذَجِ عَبْرَ أَجْهِزَةِ مُتَعَدِّدَةِ. وَنَتِيجَةَ لِذٰلِكَ، تَتَطَلَّب كُلّاً الطَرِيقَتَيْنِ ذاكِرَةِ لَتَخْزِين مُعَلِّمات النَمُوذَجِ وَالبَياناتِ المُرْتَبِطَةِ (التَدَرُّجات، حالاتِ المُحْسِن، التَنْشِيطات، آلخ). بِالإِضافَةِ إِلَى ذٰلِكَ، يَجِب نَقْلِ بَياناتٍ التَدْرِيبِ دَفْعَةً واحِدَةٍ إِلَى ذاكِرَةِ الجِهازِ مِثْلَ فِي وَحَداتٍ مُعالَجَةِ الرُسُومات. حالَةِ مُماثِلَةٍ تَحَدَّثَ لَذاكِرَة الكاش L3 مُؤَخَّراً بِسَبَبِ تُوَفِّر أَحْجام كَبِيرَةٍ مِن ذاكِرَةِ الكاش L3 عَلَى وَحَداتٍ المُعالَجَةِ المَرْكَزِيَّةِ، مِثْلَ AMD-EPYC-9684X بِذاكِرَة كاش 1152 مِيغابايت (URL_epyc). بِالاِنْحِرافِ عَن التَوازِي النَمُوذَجِيّ، فَإِنَّ طَرِيقَةِ التَدْرِيبِ المُقْتَرَحَةِ هِيَ تَسَلْسُلَيْهِ. يُمْكِن تَطْبِيقِ هٰذِهِ الطَرِيقَةِ حَتَّى عِنْدَما يَكُون جِهازِ واحِدٍ فَقَط مُتاحا بِذاكِرَة أَصْغَرِ مِن حَجْمِ النَمُوذَجِ. فِي المُقابِلِ، سَيَكُون التَوازِي النَمُوذَجِيّ القِياسِيَّ بَطِيئا بِشَكْلٍ مَلْحُوظٍ فِي مِثْلَ هٰذِهِ الظُرُوفِ.

يَسْمَح تَدْرِيبِ الأَقْسام بِشَكْلٍ مُسْتَقِلٍّ بِتَخْصِيصِ مَعايِيرِ تَدْرِيبِ مُتَمَيِّزَةٍ لِكُلِّ قِسْمِ، تَشْمَل حَجْمِ الدُفْعَةِ، العُصُورِ، وَمُعَدَّل التَعَلُّمِ. عَلَى سَبِيلِ المِثالِ، بَدَلاً مِن إِخْضاعِ الشَبَكَةِ بِأَكْمَلِها لِ 40 عَصْراً، يُمْكِن تَخْصِيصُ 5 عُصُورِ فَقَط لِلقِسَم الأَيْسَر بَيْنَما يُخَصَّص 80 عَصْراً لِلقِسَم الأَيْمَن. يُمْكِن أَنَّ يُؤَدِّي مِثْلَ هٰذا النَهْجِ إِلَى تَقْلِيلِ كَبِيرٍ فِي الطَلَبِ الإِجْمالِيِّ عَلَى الحِسابِ. الفَصْلِ [sec:results] يُظْهِر أَنَّ دِقَّةٍ القِسْمِ الأَيْسَر تَتَقارَب خِلالَ عِدَّةٍ عُصُورِ، مِمّا يَبْرُز مِيزَةً هٰذِهِ الإِسْتراتِيجِيَّةِ.

تَنْفِيذِ عَلَى الشَبَكاتِ المُتَّصِلَةِ بِالكامِلِ

يَتِمّ تَطْبِيقِ الخوارزميه عَلَى شَبَكَةِ تَصْنِيفِ مُتَّصِله بِالكامِلِ. يَسْتَخْدِم مَجْمُوعَةِ بَياناتٍ الأَحْرُف المُوسِعَةِ المُتَوازِنَة (EMNIST) (cohen2017emnist)، وَالَّتِي تَشْمَل 47 فِئَةٌ، بِما فِي ذٰلِكَ الأَرْقام وَالحُرُوف الكَبِيرَةِ وَالصَغِيرَة. تَكُون المدخلات عِبارَةٌ عَن صُور بِالأَبْيَض وَالأَسْوَد بِحَجْمِ \(28\times28\)، وَتَسَطَّحَ إِلَى مُتَّجِهات بِحَجْمِ \(784\times 1\).

الشَبَكَةِ الأَساسِيَّةِ (غَيْرِ المُقَسَّمَةِ) هِيَ شَبَكَةِ مُتَّصِله بِالكامِلِ مُكَوَّنَةٍ مِن سِتَّ طَبَقاتِ مَعَ تَحِيز. تَبْدَأ بِطَبَقَة المدخلات بِحَجْمِ 784، وَيَكُون عَدَدٍ الخَلايا العَصَبِيَّةِ فِي كُلِّ طَبَقَةٌ 80، 60، 60، 60 وَ 47. تَتِمّ تَقْسِيمِ الشَبَكَةِ عِنْدَ الطَبَقَةِ الثالِثَةِ. وَبِالتالِي، فَإِنَّ القِسْمِ الأَيْسَر يَحْتَوِي عَلَى 140 خَلِيَّةٍ عَصَبِيَّةُ بَيْنَما يَحْتَوِي القِسْمِ الأَيْمَن عَلَى 167 خَلِيَّةٍ عَصَبِيَّةُ. وَمَعَ ذٰلِكَ، نَظَراً لِأَنَّ حَجْمِ المدخلات هُوَ 784، فَإِنَّ عَدَدٍ المُعَلِّماتُ فِي القِسْمِ الأَيْسَر أَكْبَرَ بِكَثِيرٍ: \((784+1)\times80 + (80+1)\times60 = 67660\) مُعَلِّمَةُ فِي القِسْمِ الأَيْسَر وَ \((60+1)\times60 + (60+1)\times60 + (60+1)\times47 = 10187\) مُعَلِّمَةُ فِي القِسْمِ الأَيْمَن. يَتَناسَب عَدَدٍ عَمَلِيّاتِ الضَرْبِ وَالتَجْمِيع (MACs) مَعَ عَدَدٍ المُعَلِّماتُ فِي شَبَكَةِ مُتَّصِله بِالكامِلِ. بِاِسْتِخْدامِ مَكْتَبَةِ عِدادِ MACs (ptflops)، يَتِمّ حِسابِ MACs لِلقِسْمَيْنِ الأَيْسَر وَالأَيْمَن عَلَى التَوالِي ب 67800 وَ 10307. وَبِالتالِي، فَإِنَّ تَدْرِيبِ القِسْمِ الأَيْسَر أَكْثَرَ كَثافَةُ مِن الناحِيَةِ الحِسابِيَّة مُقارَنَةً بِتَدْرِيبِ الجُزْء الأَيْمَن.

يَتِمّ تَوْلِيدِ التَسْمِيات الوَسِيطَة الاِصْطِناعِيَّةِ بِاِسْتِخْدامِ المُعادَلَةَ [eq:SIL]، مَعَ \(\kappa=10\). حَجْمِ التَسْمِيات الوَسِيطَة الاِصْطِناعِيَّةِ هُوَ \(60\times47\) حَيْثُ 47 هُوَ عَدَدٍ التَسْمِيات وَ 60 هُوَ عَدَدٍ الخَلايا العَصَبِيَّةِ فِي طَبَقَةٌ التَقْسِيم. يُوجَد 112800 صُورَةِ فِي مَجْمُوعَةِ بَياناتٍ التَدْرِيبِ. التَسْمِيَة لِكُلِّ صُورَةِ مَدْخَله هِيَ مُتَّجِه بِحَجْمِ \(60\times1\)، مَأْخُوذ مِن مَصْفُوفه التَسْمِيات الوَسِيطَة الاِصْطِناعِيَّةِ بِحَجْمِ \(60\times47\). نَظَراً لِأَنَّ المدخلات لا يَتِمّ خَلْطِها أَثْناءَ التَدْرِيبِ، فَإِنَّ التَسْمِيات المَطْلُوبَةِ لِتَدْرِيبِ القِسْمِ الأَيْسَر (112800 تَسْمِيَةِ بِحَجْمِ \(60\times1\)) يَتِمّ تَرْتِيبها وَتَحْمِيلها إِلَى وَحْدَةِ مُعالَجَةِ الرُسُومات كَدُفْعات. يَسْتَخْدِم طَرِيقَةِ التَدَرُّج العَشْوائِيِّ مَعَ مُعَدَّلِ تَعْلَم 0.01 وَزَخِمٍ 0.9 لِلتَحْسِين. الدالَّةِ التَنْشِيطِيَّةُ فِي كُلِّ وَظِيفَةٍ هِيَ وَحْدَةِ الخَطِّ العَمُودِيّ المُعَدَّلَةِ (ReLU)، بِاِسْتِثْناءِ الطَبَقَةِ النِهائِيَّةِ، حَيْثُ يَتِمّ اِسْتِخْدامِ دالَّةٍ الهُوِيَّةِ. يَتِمّ تَحْدِيدِ حَجْمِ الدُفْعَةِ ب 1410. تَحَسُّب العَمَلِيّاتِ عَلَى بِطاقَةِ الرُسُومات AMD Radeon RX 7600.

النَتائِجِ وَالمُناقَشَة

فِي هٰذا القِسْمِ، يَتِمّ فَحْص دِقَّةٍ الطَرِيقَةِ المُقْتَرَحَةِ كَدالّه لِلحِساب، مُقارَنَةً بِالتَدْرِيب الأَساسِيُّ. بِالنِسْبَةِ لِلتَدْرِيبِ الأَساسِيُّ، يَتِمّ اِسْتِخْدامِ نَفْسِ مَجْمُوعَةِ البَياناتِ لِتَدْرِيبِ الشَبَكَةِ ذاتِ الطَبَقاتِ السِتِّ غَيْرِ المُقَسَّمَةِ، مَعَ اِسْتِخْدامِ نَفْسِ مَعايِيرِ التَحْسِين وَحَجْمُ الدُفْعات.

يَتِمّ حِسابِ الحِسابِ بِاِسْتِخْدامِ عَمَلِيّاتِ الضَرْبِ وَالجَمْع المُتَراكِمَةِ لِلنَماذِج اليُسْرَى وَاليَمَنِيّ وَغَيْرِ المُقَسَّمَةِ. تَقَدَّمَ الطَرِيقَةِ المُقْتَرَحَةِ تَكالِيفِ اِتِّصالٍ إِضافِيَّةً نَظَراً لِنَقْلِ العَلّامَةُ الوَسِيطَة الاِصْطِناعِيَّةِ إِلَى وَحْدَةِ مُعالَجَةِ الرُسُومات وَنَقَلَ مُخْرِجات الطَبَقَةِ اليُسْرَى كمدخلات لِلطَبَقَةِ اليُمْنَى. يَحْدُث كُلّاً هٰذَيْنِ النقلين مَرَّةً واحِدَةٍ فَقَط وَبِالتالِي يَتِمّ اِسْتِثْناؤهما مِن التَحْلِيلِ.

تُظْهِر النَتائِجِ لَسِينارِيو مُحَدَّدٍ فِي الشَكْلِ [fig:general_result]. عَدَدٍ العُصُورِ لِتَدْرِيبِ النَماذِجِ اليُسْرَى وَاليَمَنِيّ وَالأَساسِيَّةِ هِيَ \(N_L = 5\)، \(N_R = 160\) وَ \(N_B = 40\)، عَلَى التَوالِي. يَتِمّ ضَبْطِ مَعامِلِ الضَرْبِ \(\kappa\) عَلَى 10. الشَبَكَةِ العَصَبِيَّةِ المُقَسَّمَةِ تُمَثِّل النَمُوذَجِ المُقْتَرَحِ. يَتِمّ تَنْفِيذِ عَمَلِيَّةِ التَدْرِيبِ بِالكامِلِ 10 مَرّاتٍ لِكُلِّ مِن النَمُوذَجِ الأَساسِيُّ وَالشَبَكَة العَصَبِيَّةِ المُقَسَّمَةِ، وَيَتِمّ اِسْتِخْدامِ رُسُومٍ بَيانَيْهِ لِلأَخْطاء. تُشِير العَلاماتِ الدائِرِيَّةِ إِلَى المُتَوَسِّطِ، بَيْنَما تُوَضِّح شَرائِطِ الخَطَأ نِطاقِ \(68\%\)، المُكافِئ لَنِسْبَة الاِنْحِرافِ المعياري.

تُظْهِر النَتائِجِ بِوُضُوحٍ أَنَّ الطَرِيقَةِ المُقْتَرَحَةِ تَحَقَّقَ دِقَّةٍ اِخْتِبارِ مُماثِلَةٍ لِلتَدْرِيبِ التَقْلِيدِيِّ (71.5% لِلشَبَكَةِ العَصَبِيَّةِ المُقَسَّمَةِ وَ 76.2% لِلأَساسِ) مَعَ اِسْتِخْدامِ قُوَّةٍ حوسبه أَقَلَّ بِشَكْلٍ مَلْحُوظٍ. عَلَى الرَغْمِ مِن أَنَّ القِسْمِ الأَيْمَن يَخْضَع لِ 160 عَصْراً مِن التَدْرِيبِ، فَإِنَّ دِقَّته تَتَقارَب خِلالَ عَدَدٍ مُنْخَفِضٌ بِشَكْلٍ مَلْحُوظٍ مِن العُصُورِ. وَجَدَهُ أُخْرَى حاسِمَةً هِيَ أَنَّ القِسْمِ الأَيْسَر، المُدَرِّبِ لِمُدَّةِ 5 عُصُورِ فَقَط، يُساهِم بِشَكْلٍ كَبِيرٍ فِي تَقْلِيلِ الحَمْل الحِسابِيّ الإِجْمالِيِّ.

تُشِير النَتائِجِ إِلَى إِمْكانِيَّةَ ضَبْطِ المُعَلِّماتُ مِثْلَ عَدَدٍ العُصُورِ وَمَعامِلِ الضَرْبِ \(\kappa\) لِتَحْسِينِ كَفاءَةِ وَدِقَّة التَدْرِيبِ. تَأْثِيرِ \(N_L\) مُوَضِّح فِي الشَكْلِ [fig:effect_of_NL]. يَتِمّ رَسْمِ دِقَّةٍ الاِخْتِبارُ لِلشَبَكَةِ العَصَبِيَّةِ المُقَسَّمَةِ كَدالّه لِ \(N_L\) لِ \(\kappa = 2\) وَ \(\kappa = 10\)، بَيْنَما تَظَلّ المُعَلِّماتُ الأُخْرَى دُونِ تَغْيِيرٍ. تُمَثِّل شَرائِطِ الخَطَأ نِسْبَةَ الاِنْحِرافِ المعياري. تُؤَكِّد النَتائِجِ أَنَّ تَدْرِيبِ القِسْمِ الأَيْسَر حِوالِي 5 مَرّاتٍ كافٍ لِتَحْقِيقِ نَتائِجِ مُتَقارِبه. يُصْبِح تَأْثِيرِ \(N_L\) أَكْثَرَ وُضُوحاً عِنْدَ زِيادَةِ \(\kappa\). يُمَثِّل التَدْرِيبِ غَيْرِ المُتَساوِي لِلقِسْمَيْنِ (\(N_L = 5\)، \(N_L = 160\)) مِيزَةً مُمَيَّزَةٍ لِلشَبَكَةِ العَصَبِيَّةِ المُقَسَّمَةِ. مِن خِلالَ تَحْسِينِ عَدَدٍ العُصُورِ وَالمُعَلِّمات الأُخْرَى لِكُلِّ قِسْمِ، يُمْكِن تَقْلِيلِ الوَقْتِ الحِسابِيّ الإِجْمالِيِّ بِشَكْلٍ كَبِيرٍ. لا يُمْكِن تَحْقِيقِ ذٰلِكَ فِي التَوازِي النَمُوذَجِيّ التَقْلِيدِيِّ.

تَعْزِيزِ الدِقَّةِ مِن خِلالَ مَراحِلِ التَعافِي

عَلَى الرَغْمِ مِن أَنَّ الطَرِيقَةِ المُقْتَرَحَةِ تُوَفِّر مَزايا كَبِيرَةٍ، إِلّا أَنَّ النَتائِجِ تُشِير إِلَى أَنَّ دِقَّةٍ الاِخْتِبارُ أَقَلَّ قَلِيلاً مِن شَبَكَةِ الأَساسِ. يُمْكِن التَخْفِيفِ مِن هٰذا العَيْبِ جُزْئِيّاً مِن خِلالَ مُواصَلَةِ التَدْرِيبِ بُعْدَ الاِنْتِهاءِ مِن طَرِيقَةِ التَدْرِيبِ المُقْتَرَحَةِ. يَتِمّ تَدْرِيبِ الجُزْء الأَيْسَر، الَّذِي تَمَّ تَدْرِيبه لَبَضَعَ فَتَراتِ فَقَط، لِعِدَةِ فَتَراتِ إِضافِيَّةً، بَيْنَما يَتِمّ تَجْمِيدَ اوزان الجُزْء الأَيْمَن. تُشْبِه هٰذِهِ الطَرِيقَةِ نَوْعاً مِن التَعَلُّمِ النَقْلِيّ، وَتَحَسَّنَ الدِقَّةِ. تُظْهِر دِقَّةٍ الاِخْتِبارُ عِنْدَ تَطْبِيقِ مَرْحَلَةِ تَعافَى مِن 10 فَتَراتِ، بِنَفْسِ التَكْوِين المُعْطَى فِي الشَكْلِ المحذوف. بَلَغَت دِقَّةٍ الاِخْتِبارُ المُتَوَسِّطَةِ 72% بُعْدَ تَدْرِيبِ الأَقْسام اليُمْنَى (المُوَضِّحَة بِالمِنْطَقَةِ البُنْيَةِ)، وَاِرْتَفَعَت إِلَى 77.5% بُعْدَ مَرْحَلَةِ التَعافِي (المُوَضِّحَة بِالمِنْطَقَةِ الوَرْدِيَّة). بِهٰذِهِ الطَرِيقَةِ، لا تَقَدَّمَ الطَرِيقَةِ فَوائِدَ كَفاءَةِ أَوَّلِيَّةً فَحَسْب، بَل تُوَفِّر أَيْضاً مَسارا لِتَحْسِينِ الدِقَّةِ مِن خِلالَ التَدْرِيبِ المُمْتَدِّ.

الاِسْتِنْتاجاتِ وَالآفاق المُسْتَقْبَلِيَّةِ

فِي الخِتامِ، تَقَدَّمَ هٰذِهِ البَحْثِ مَنْهَجِيَّةً جَدِيدَةٍ رائِدَةٍ لِمُواجَهَةِ التَحَدِّياتِ الَّتِي تَفْرِضها تَدْرِيبِ الشَبَكاتِ العَصَبِيَّةِ الَّتِي تَتَطَلَّب مَوارِدِ كَبِيرَةٍ. مِن خِلالَ توليف التَوازِي فِي النَمُوذَجِ وَالتَسْمِياتِ الوَسِيطَة الاِصْطِناعِيَّةِ، تَمَّ تَطْوِيرِ مَنْهَجِيَّةً جَدِيدَةٍ تُعَزِّز كَفاءَةِ التَدْرِيبِ بِشَكْلٍ كَبِيرٍ دُونِ التَضْحِيَةِ بِدِقَّةٍ النَمُوذَجِ.

تُؤَكِّد التَجارِبِ التَجْرِيبِيَّة عَلَى مَجْمُوعَةِ بَياناتٍ (EMNIST) فَعّالِيَّةِ النَهْجِ المُقْتَرَحِ. تَقْسِيمِ شَبَكَةِ عَصَبِيَّةُ مُكَوَّنَةٍ مِن 6 طَبَقاتِ إِلَى أَجْزاءِ، بِالاِقْتِران مَعَ التَسْمِيات الوَسِيطَة الاِصْطِناعِيَّةِ، يُحافِظ عَلَى دِقَّةٍ الاِخْتِبارُ مُقارَنَةً بِالطُرُقِ التَقْلِيدِيَّةِ مَعَ تَقْلِيلِ الحاجَةِ إِلَى الذاكِرَةِ وَالمُتَطَلَّبات الحِسابِيَّة. يَحْمِل هٰذا التَقَدُّمِ آفاقاً بَعِيدَةً المَدَى، حَيْثُ يُقَدِّم حَلّاً عَمَلِيّاً لَقُيُود المَوارِدِ فِي التَعَلُّمِ العَمِيقِ الحَدِيثُ. مِن خِلالَ تَحْسِينِ عَمَلِيّاتِ التَدْرِيبِ، يُمَهِّد هٰذا النَهْجِ الطَرِيقِ لِتَطْوِيرِ أَكْثَرَ سُهُولَةَ لَنَماذِج الشَبَكاتِ العَصَبِيَّةِ المُتَقَدِّمَةِ.

بِالإِضافَةِ إِلَى مُساهَماته الحالِيَّةِ، مِن المُتَوَقَّعِ أَنَّ يَسْتَكْشِف المَشْهَدُ البَحْثِيّ المُسْتَقْبَلِيِّ تَطْبِيقِ هٰذِهِ المَنْهَجِيَّة عَلَى نِطاقِ أَوْسَعِ يَتَجاوَز الشَبَكاتِ العَصَبِيَّةِ المُتَّصِلَةِ بِالكامِلِ. تَحْمِل قابِلِيَّةِ تَكْيِيفَ هٰذا النَهْجِ وُعُوداً لِلشَبَكات العَصَبِيَّةِ التلافيفيه (CNNs)، وَالشَبَكات العَصَبِيَّةِ المُتَكَرِّرَةِ (RNNs)، وَهَياكِلَ المُحَوِّلات. مِن خِلالَ تَخْصِيصُ الطَرِيقَةِ لِهٰذِهِ الأَنْواع المُتَنَوِّعَةَ مِن الشَبَكاتِ، يُمْكِن لِلباحِثِينَ التَحَقُّقِ مِن تَعْمِيمها وَفَعّالِيَّتِها عَبْرَ نِطاقِ أَوْسَعِ مِن نَماذِجَ التَعَلُّمِ العَمِيقِ. يُمْكِن لِهٰذا التَوَسُّعِ فِي مُخْتَلِفِ الهَياكِل أَنَّ يَحْدُث ثَوْرَةِ فِي كَفاءَةِ التَدْرِيبِ عَبْرَ كامِلٍ طَيْفِ أَنْماطُ الشَبَكاتِ العَصَبِيَّةِ، دافِعاً المَجالِ نَحْوَ تَطْوِيرِ نَماذِجَ أَكْثَرَ سَلاسَة وَسُهُولَة فِي الوُصُولِ.