لَقَد أَظْهَرَت الاِتِّجاهاتِ الحَدِيثَةِ أَنَّ الوُكَلاءِ المُسْتَقِلِّينَ، مِثْلَ المَرْكَباتِ الأَرْضِيَّة المُسْتَقِلَّةِ (AGVs)، وَالمَرْكَبات الجَوِّيَّةِ غَيْرِ المَأْهُولَةِ (UAVs)، وَالرُوبُوتات المُتَنَقِّلَةِ، تَحَسُّنِ بِفَعّالِيَّةٍ إِنْتاجِيَّةٍ الإِنْسانِ فِي حَلٍّ المَهامّ المُتَنَوِّعَةَ. وَمَعَ ذٰلِكَ، نَظَراً لِأَنَّ هٰذِهِ الوُكَلاءِ عادَةً ما تَكُون مَدْعُومَةً بِبَطّارِيّات مَحْمُوله، فَإِنَّها تَتَطَلَّب اِسْتِهْلاكاً مُنْخَفَضا لِلغايَةِ لِلطاقَةِ/الطاقَةِ لِلعَمَلِ فِي عُمَر طَوِيلٍ. لِحَلِّ هٰذا التَحَدِّي، ظُهْرِ الحوسبه العَصَبِيَّةِ المُسْتَوْحاة مِن الأَحْياءِ كَحَلٍّ واعِدٌ، حَيْثُ تُسْتَخْدَم شَبَكاتِ العصبونات الوميضيه (SNNs) النَبَضات مِن الكامِيراتِ القائِمَةِ عَلَى الأَحْداثِ أَو تَحْوِيلِ البَياناتِ ما قِبَلَ المُعالَجَةِ لَأَداء الحِساباتِ المُتَفَرِّقَة بِكَفاءَة. وَمَعَ ذٰلِكَ، فَإِنَّ دِراساتٍ نَشْرِ SNN لِلوُكَلاء المُسْتَقِلِّينَ لا تَزال فِي مَرْحَلَةِ مُبَكِّرَةٍ. وَبِالتالِي، لَم يَتِمّ تَحْدِيدِ مَراحِلِ التَحْسِين لَتَمْكِين نَشْرِ SNN المُجَسَّم الفَعّالَ لِلوُكَلاء المُسْتَقِلِّينَ بِشَكْلٍ مَنْهَجِيٍّ. نَحْوَ هٰذا، نَقْتَرِح إِطارِ عَمَلٍ جَدِيدٍ يُسَمَّى SNN4Agents يَتَكَوَّن مِن مَجْمُوعَةِ مِن تَقْنِيّاتِ التَحْسِين لِتَصْمِيمِ شَبَكاتِ العصبونات الوميضيه المُجَسَّمَة ذاتِ الكَفاءَة العالِيَةِ فِي اِسْتِهْلاكِ الطاقَةِ المُسْتَهْدَفَة لِتَطْبِيقاتِ الوُكَلاءِ المُسْتَقِلِّينَ. يَسْتَخْدِم SNN4Agents تَقْنِيّاتِ تَقْلِيلِ الوَزْنِ، وَتَقْلِيل الخَطَواتِ الزَمَنِيَّةِ، وَتَقْلِيل نافِذَةٍ الاِنْتِباهِ لِتَحْسِينِ كَفاءَةِ اِسْتِهْلاكِ الطاقَةِ، وَتَقْلِيل بَصْمَة الذاكِرَةِ، وَتَحْسِينِ زَمَنٍ المُعالَجَةِ، مَعَ الحِفاظِ عَلَى دِقَّةٍ عالِيَةٍ. فِي التَقْيِيم، نُحَقِّق فِي حالاتِ اِسْتِخْدامِ التَعَرُّفُ عَلَى السَيّاراتِ القائِمَةِ عَلَى الأَحْداثِ، وَنَسْتَكْشِف التَوازُناتُ بَيِّنَ الدِقَّةِ، وَالزَمَن، وَالذاكِرَة، وَاِسْتِهْلاكِ الطاقَةِ. تُظْهِر النَتائِجِ التَجْرِيبِيَّة أَنَّ إِطارِ العَمَلِ المُقْتَرَحِ يُمْكِن أَنَّ يُحافِظ عَلَى دِقَّةٍ عالِيَةٍ (84.12%) مَعَ تَوْفِيرِ فِي الذاكِرَةِ بِنِسْبَةِ 68.75%، وَتَسْرِيعِ بِمِقْدارِ 3.58 مَرَّةً، وَتَحْسِينِ فِي كَفاءَةِ اِسْتِهْلاكِ الطاقَةِ بِمِقْدارِ 4.03 مَرَّةً مُقارَنَةً بِالعَمَلِ الرائِدِ فِي مَجالِ مَجْمُوعَةِ بَياناتٍ NCARS، مِمّا يُمْكِن مِن نَشْرِ SNN المُجَسَّم ذُو كَفاءَةِ عالِيَةٍ فِي اِسْتِهْلاكِ الطاقَةِ لِلوُكَلاء المُسْتَقِلِّينَ.
الحوسبه العَصَبِيَّةِ الشَكْلِيَّةِ، شَبَكاتِ العصبونات النابِضَة، الوُكَلاءِ المُسْتَقِلُّونَ، بَياناتٍ السَيّاراتِ، المُعالِج العَصَبِيِّ الشَكْلِيِّ، كَفاءَةِ الطاقَةِ.
فِي السَنَواتِ الأَخِيرَةِ، زادَ الاِهْتِمامِ بِتَنْفِيذِ الذَكاء الاِصْطِناعِيِّ العَصَبِيِّ المُسْتَوْحَى مِن شَبَكاتِ العصبونات النابِضَة لِلوُكَلاء المُسْتَقِلِّينَ (المَعْرُوفِينَ ب الوُكَلاءِ المُسْتَقِلِّينَ المَبْنَيَيْنِ عَلَى شَبَكاتِ العصبونات النابِضَة) بِشَكْلٍ سَرِيعٍ. السَبَبِ هُوَ أَنَّ شَبَكاتِ العصبونات النابِضَة يُمْكِن أَنَّ تَقَدَّمَ دِقَّةٍ عالِيَةٍ بِفَضْلِ آلِيَّةِ التَعَلُّمِ الفَعّالَةَ (Ref_Rathi_SNNsurvey_CSUR23, Ref_Putra_SpikeDyn_DAC21)، وَزَمَن حِسابِ مُنْخَفِضٌ بِفَضْلِ ترميز العصبونات/النَبَضات الفَعّالَ (Ref_Guo_NeuralCoding_FNINS21)، وَاِسْتِهْلاكِ طاقَةِ/قُدْرَةِ مُنْخَفِضٌ لِلغايَةِ بِفَضْلِ العَمَلِيّاتِ القائِمَةِ عَلَى النَبَضات المُتَفَرِّقَة (Ref_Putra_FSpiNN_TCAD20). لِتَحْقِيقِ مِثْلَ هٰذِهِ الأَنْظِمَةِ فِي الحَياةِ الواقِعِيَّةِ، تَتَطَلَّب القُدْراتِ عَلَى حَلٍّ مَهامِّ تَعْلَم الآلَةِ مِثْلَ تَصْنِيفِ الصُوَرِ (Ref_Putra_SparkXD_DAC21, Ref_Putra_EnforceSNN_FNINS22, Ref_Putra_RescueSNN_FNINS23)، وَكَشَفَ الأَجْسام (Ref_Viale_CarSNN_IJCNN21, Ref_Cordone_ObjDetSNN_IJCNN22)، أَو تَجْزِئَةِ الأَجْسام (Ref_Li_SpiCalib_arXiv22) مِن الصُوَرِ/الفِيدْيُوهات. بِالإِضافَةِ إِلَى هٰذِهِ الوَظائِفِ، تَتَطَلَّب الوُكَلاءِ المُسْتَقِلِّينَ المَبْنَيَيْنِ عَلَى شَبَكاتِ العصبونات النابِضَة أَيْضاً (١) بَصْمَة ذاكِرَةِ صَغِيرَةٌ حَيْثُ أَنَّها عادَةً ما تُسْتَخْدَم مِنَصّات أَجْهِزَةِ مَحْدُودَةٍ المَوارِدِ، (٢) اِسْتِهْلاكِ طاقَةِ/قُدْرَةِ مُنْخَفِضٌ لِلحِفاظِ عَلَى عُمَر البَطّارِيَّة حَيْثُ أَنَّها عادَةً ما تَعْمَل بِواسِطَةِ بَطّارِيّاتِ مَحْمُوله، وَ (٣) إِخْراجِ فِي الوَقْتِ الحَقِيقِيِّ بِدِقَّةٍ عالِيَةٍ لِتَوْفِيرِ قَرارِ سَرِيعٍ (Ref_Bonnevie_DynamicEnv_ICARA21, Ref_Putra_lpSpikeCon_IJCNN22, Ref_Putra_TopSpark_IROS23). لَتَعْظِيم فَوائِدَ العَمَلِيّاتِ المُتَفَرِّقَة لِشَبَكاتِ العصبونات النابِضَة، يُمْكِن اِسْتِخْدامِ البَياناتِ المَبْنِيَّةُ عَلَى الأَحْداثِ حَيْثُ أَنَّها تُوَفِّر تَنْسِيقِ بَياناتٍ متوافق مُباشَرَةً لِمُعالَجَةِ شَبَكاتِ العصبونات النابِضَة وَتَقْلِل مِن مَرْحَلَةِ المُعالَجَةِ المُسْبَقَةِ، مِثْلَ تَحْوِيلِ البَياناتِ إِلَى نَبَضاتِ (مَثَلاً، بَياناتٍ البكسل إِلَى قِطارٍ النَبَضات) وترميز النَبَضات. لِذٰلِكَ، يَجِب أَنَّ تَأْخُذ تَطْوِيرات الوُكَلاءِ المُسْتَقِلِّينَ المَبْنَيَيْنِ عَلَى شَبَكاتِ العصبونات النابِضَة فِي الاِعْتِبارِ البَياناتِ المَبْنِيَّةُ عَلَى الأَحْداثِ، مِثْلَ مَجْمُوعَةِ بَياناتٍ NCARS (Ref_Sironi_HATS_CVPR18, Ref_Putra_NeuromorphicAI4Robotics_arXiv24, Ref_Bano_StudySNNParams_arXiv24).
مِن خِلالَ الدَوافِعُ المَذْكُورَةِ أَعْلاه لَإِمْكانِيّات الوُكَلاءِ المُسْتَقِلِّينَ المَبْنَيَيْنِ عَلَى شَبَكاتِ العصبونات النابِضَة، المُشْكِلَةِ البَحْثِيَّة المُسْتَهْدَفَة هِيَ كَيْفِيَّةِ تَطْوِيرِ وُكَلاءُ مُسْتَقِلِّينَ مَبْنَيَيْنِ عَلَى شَبَكاتِ العصبونات النابِضَة بِكَفاءَة فِي اِسْتِهْلاكِ الطاقَةِ مَعَ الأَخْذِ فِي الاِعْتِبارِ عِبْءِ العَمَلِ لِلبَيانات المَبْنِيَّةُ عَلَى الأَحْداثِ. سَيُمَكِّن حَلٍّ فَعّالٌ لِهٰذِهِ المُشْكِلَةِ الوُكَلاءِ المُسْتَقِلِّينَ المَبْنَيَيْنِ عَلَى شَبَكاتِ العصبونات النابِضَة مِن تَحْقِيقِ دِقَّةٍ عالِيَةٍ مَعَ بَصْمَة ذاكِرَةِ صَغِيرَةٌ، وَزَمَن مُعالَجَةِ مُنْخَفِضٌ، وَاِسْتِهْلاكِ طاقَةِ مُنْخَفِضٌ.
لا تَزال الدِراسَةُ لِتَطْوِيرِ الوُكَلاءِ المُسْتَقِلِّينَ المَبْنَيَيْنِ عَلَى الشَبَكاتِ العَصَبِيَّةِ الدفقيه فِي مَراحِلِها الأُولَى. تَمَّ تَلْخِيصُ الأَعْمالِ الحالِيَّةِ الفَنِّيَّةِ فِي الجَدْوَلُ [Tab_SOTA]. هُنا، نُلاحِظ أَنَّ مُعْظَمَ الأَعْمالِ القائِمَةِ تُرَكِّز عَلَى اِقْتِراحِ الأُطُر وَ/أَو التَقْنِيّاتِ لِتَحْقِيقِ دِقَّةٍ عالِيَةٍ (Ref_Putra_lpSpikeCon_IJCNN22, Ref_Putra_Mantis_ICARA23, Ref_Putra_TopSpark_IROS23, Ref_Putra_SpikeNAS_arXiv24). وَمَعَ ذٰلِكَ، لَم تَأْخُذ هٰذِهِ الأَعْمالِ فِي الاِعْتِبارِ حَمَلَ البَياناتِ القائِمِ عَلَى الأَحْداثِ، مِمّا يَتَطَلَّب مَرْحَلَةِ مُعالَجَةِ مُسْبَقَةٍ نِسْبِيّاً مُعَقَّدَةٌ، تَشْمَل تَحْوِيلِ البَياناتِ إِلَى دُفْقات وترميز الدُفْقات. تَسْتَكْشِف أَعْمالٍ أُخْرَى تَقْنِيّاتِ لِتَحْقِيقِ دِقَّةٍ عالِيَةٍ مَعَ الأَخْذِ فِي الاِعْتِبارِ بَياناتٍ السَيّاراتِ القائِمَةِ عَلَى الأَحْداثِ (Ref_Viale_CarSNN_IJCNN21, Ref_Viale_LaneSNN_IROS22, Ref_Cordone_ObjDetSNN_IJCNN22). وَمَعَ ذٰلِكَ، لَم تَأْخُذ هٰذِهِ الأَعْمالِ فِي الاِعْتِبارِ تَحْسِينِ حَجْمِ النَمُوذَجِ لِيَتَناسَب مَعَ الوُكَلاءِ المُسْتَقِلِّينَ المُقَيَّدَيْنِ بِالمَوارِدِ. تَكْشِف جَمِيعِ القُيُودِ المُناقَشَةِ أَعْلاه لِلأَعْمال الحالِيَّةِ الفَنِّيَّةِ أَنَّهُ لَم يَتِمّ تَحْدِيدِ مَراحِلِ التَحْسِين لَتَمْكِين نَشْرِ الشَبَكاتِ العَصَبِيَّةِ الدفقيه بِكَفاءَة لِلوُكَلاء المُسْتَقِلِّينَ بِشَكْلٍ مَنْهَجِيٍّ.
لِإِبْرازِ إِمْكانِيّات تَحْسِينِ شَبَكاتِ النيورونات العَصَبِيَّةِ الانبضاضيه لِلعَوامِل المُسْتَقِلَّةِ مِن الحالَةِ الراهِنَةِ لِلفَنِّ، نَقُوم بِدِراسَةِ حالَةِ تَجْرِيبِيَّةٍ تُفَكِّر فِي تَطْبِيقِ مُسْتَوَياتٍ مُخْتَلِفَةٍ مِن كَمِّيَّةِ الوَزْنِ (أَيّ الدِقَّةِ) عَلَى نَمُوذَجَ شَبَكَةِ النيورونات العَصَبِيَّةِ الانبضاضيه مِن عَمَلٍ (Ref_Viale_CarSNN_IJCNN21) مَعَ مَجْمُوعَةِ بَياناتٍ NCARS القائِمَةِ عَلَى الأَحْداثِ. سَيَتِمّ مُناقَشَةِ تَفاصِيلَ الإِعْدادُ التَجْرِيبِيُّ بِشَكْلٍ أَكْبَرَ فِي القِسْمِ [Sec_Eval]. تُظْهِر النَتائِجِ التَجْرِيبِيَّة عِدَّةٍ مُلاحَظاتٍ رَئِيسِيَّةٍ كَما هُوَ مُوَضِّح فِيما يَلِي.
الكَمِّيَّةِ بِمُسْتَوَى دِقَّةٍ 12-بَتَّ تَحَقَّقَ دِقَّةٍ مُماثِلَةٍ لَمُسْتَوَى الدِقَّةِ 32-بَتَّ الأَصْلِيُّ (بِدُونِ كَمِّيَّةِ) عَبْرَ فَتَراتِ التَدْرِيبِ، مَعَ تَوْفِيرِ 2.7x فِي الذاكِرَةِ.
إِعْدادات الكَمِّيَّةِ بِمُسْتَوَياتٍ دِقَّةٍ 8-بَتَّ وَ 4-بَتَّ تُعانِي مِن تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ حَيْثُ تَحَقَّقَ تَقْرِيباً 50% دِقَّةٍ عَبْرَ فَتَراتِ التَدْرِيبِ. بِالنَظَرِ إِلَى أَنَّ مَجْمُوعَةِ بَياناتٍ NCARS لَدَيها 2 فِئاتِ (أَيّ ’سَيّارَةٍ’ أَو ’خَلْفِيَّةِ’)، تُشِير هٰذِهِ النَتائِجِ إِلَى أَنَّ الشَبَكَةِ تُؤَدِّي تَخْمِينات عَشْوائِيَّةٍ لِأَنَّها لَم تُدَرِّب بِشَكْلٍ صَحِيحٌ.
تُظْهِر هٰذِهِ المُلاحَظاتِ أَنَّ هُناكَ فُرْصَةً لِتَحْسِينِ شَبَكاتِ النيورونات العَصَبِيَّةِ الانبضاضيه بِشَكْلٍ أَكْبَرَ لَجَعَلَها تَتَناسَب مَعَ العَوامِلُ المُسْتَقِلَّةِ المُقَيَّدَة بِالمَوارِدِ. وَمَعَ ذٰلِكَ، فَإِنَّ القِيامِ بِكَمِّيَّةِ عُدْوانِيّه بِبَساطَة عَلَى الشَبَكَةِ المُعْطاة قَد يُؤَدِّي إِلَى تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ. لِذٰلِكَ، تَحَدِّي البَحْثِ هُوَ كَيْفِيَّةِ تَنْفِيذِ تَقْنِيّاتِ التَحْسِين المُخْتَلِفَةِ بِفَعّالِيَّةٍ دُونِ تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ.
لِمُعالَجَةِ مُشْكِلَةِ البَحْثِ المُسْتَهْدَفَة وَالتَحَدِّياتِ المُتَعَلِّقَةِ بِها، نَقْتَرِح إِطارِ عَمَلٍ جَدِيدٍ يُسَمَّى SNN4Agents لِتَطْوِيرِ شَبَكاتِ الأَعْصاب العَصَبِيَّةِ الموفره لِلطاقَةِ لِلوُكَلاء المُسْتَقِلِّينَ. يَتِمّ وَصَفَ الخَطَواتِ الرَئِيسِيَّةِ لَإِطار عَمَلٍ SNN4Agents بِإِيجاز فِيما يَلِي.
تَقْنِينُ الوَزْنِ (القِسْمِ [Sec_Frame_Quantize]): لِإِيجادِ إِعْدادات التَقْنِينِ المُناسَبَةِ الَّتِي تُلَبِّي قُيُودٍ الذاكِرَةِ، نَقُوم بِتَنْفِيذِ اِسْتِكْشافٍ مِساحَةِ التَصْمِيمِ لَمُسْتَوَيات الدِقَّةِ المُخْتَلِفَةِ مَعَ مُراقَبَةِ تَأْثِيرِها عَلَى الدِقَّةِ.
تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ (القِسْمِ [Sec_Frame_Timestep]): لِإِيجادِ خَطَواتٍ المُعالَجَةِ الزَمَنِيَّةِ المُناسَبَةِ الَّتِي تُلَبِّي قُيُودٍ الوَقْتِ، نَقُوم بِتَنْفِيذِ اِسْتِكْشافٍ مِساحَةِ التَصْمِيمِ لَقِيَم الخَطَواتِ الزَمَنِيَّةِ المُخْتَلِفَةِ مَعَ مُراقَبَةِ تَأْثِيرِها عَلَى الدِقَّةِ.
تَقْلِيلِ نافِذَةٍ الاِنْتِباهِ (القِسْمِ [Sec_Frame_AttWindow]): لِتَقْلِيلِ مُتَطَلَّباتِ الحِسابِ وَبِالتالِي الطاقَةِ/القُدْرَةِ عَلَى المُعالَجَةِ، نَسْتَكْشِف أَحْجام نَوافِذِ الاِنْتِباهِ المُخْتَلِفَةِ مِن عَيِّناتٍ الإِدْخال وَنُلاحَظ تَأْثِيرِها عَلَى الدِقَّةِ.
إِسْتراتِيجِيَّةِ التَحْسِين المُشْتَرَكِ (القِسْمِ [Sec_Frame_Joint]): لَتَعْظِيم الفَوائِدِ مِن خَطَواتٍ التَحْسِين الفَرْدِيَّةِ السابِقَةِ، نَقُوم بِتَنْفِيذِ إِسْتراتِيجِيَّةِ تَحْسِينِ مُشْتَرَكَةٍ مِن خِلالَ الاِسْتِفادَةِ مِن اِسْتِكْشافٍ مِساحَةِ التَصْمِيمِ الَّتِي تَأْخُذ فِي الاِعْتِبارِ الإِعْدادات المُناسَبَةِ مِن خَطَواتٍ التَحْسِين الفَرْدِيَّةِ.
تُعْتَبَر شَبَكاتِ العصبونات النابِضَة (Spiking Neural Networks) الجِيلِ الثالِثِ مِن شَبَكاتِ الأَعْصاب (Ref_Maass_SNN_NeuNet97). تُظْهِر النَظْرَةِ العامَّةِ لَوَظائِف شَبَكاتِ العصبونات النابِضَة كَيْفِيَّةِ مُعالَجَةِ قِطارات النَبَضات الداخِلَة بِواسِطَةِ العصبونات النابِضَة وَتَنْتَقِل المَعْلُوماتِ إِلَى العصبونات فِي الطَبَقاتِ التالِيَةِ. مِن بَيِّنَ أَشْهُرٍ نَماذِجَ العصبونات النابِضَة، يَبْرُز نَمُوذَجَ العصبون النابِضُ المتسرب (Leaky-Integrate-and-Fire) (Wang_2014EMBC_LeakyIntegrateAndFire) كَتَوازُن فَعّالٌ بَيِّنَ التَعْقِيدِ وَالمَعْقُولِيَّة. يَعْرِف الوَقْتِ التَشْغِيلِيّ لعصبون لِمُعالَجَةِ قِطارٍ نَبْضِ مِن بَياناتٍ دَخَلَ واحِدَةٍ (مَثَلاً، بِكَسَل صُورَةِ) ب “الخَطْوَةِ الزَمَنِيَّةِ” (Ref_Putra_TopSpark_IROS23). فِي كُلِّ خَطْوَةٍ زَمَنِيَّةٍ، يَزْداد الجُهْدِ الكَهْرَبائِيِّ \(V_m\) للعصبون مَعَ كُلِّ نَبْضِ دَخَلَ قادِمٌ. عِنْدَما يَتَجاوَز \(V_m\) عَتَبَةِ الجُهْدِ \(V_{th}\)، يَصْدُر العصبون نَبْضَةٍ خَرَجَ (Ref_Putra_SoftSNN_DAC22). بِهٰذِهِ الطَرِيقَةِ، تَنْتَقِل النَبَضات مِن الدَخْلِ إِلَى الخَرْج وَعَبَّرَ طَبَقاتِ مُتَعَدِّدَةِ مِن العصبونات النابِضَة فِي شَبَكَةِ.
بَيْنَما تَتْبَع شَبَكاتِ العصبونات النابِضَة مَوْجَةِ نَجاحِ الشَبَكاتِ العَصَبِيَّةِ العَمِيقَةِ التَقْلِيدِيَّةِ (غَيْرِ النابِضَة)، فَإِنَّها تَقَدَّمَ المَزايا التالِيَةِ:
المَعْقُولِيَّة البِيُولُوجِيَّةِ: وَظائِفِ شَبَكاتِ العصبونات النابِضَة مُسْتَوْحاة مِن سُلُوكِ الدِماغِ البِيُولُوجِيِّ، حَيْثُ تَنْتَقِل النَبَضات عَبْرَ العصبونات لِنَقْلِ المَعْلُوماتِ. قَد يَفْتَح هٰذا إِمْكانِيّات لِلإِدْراك وَالمَتانَة لِحَلِّ مَهامِّ التَعَلُّمِ الآلِيِّ المُتَنَوِّعَةَ.
اِسْتِهْلاكِ الطاقَةِ/القُدْرَةِ المُنْخَفِضَة لِلغايَةِ: الطاقَةِ الدِينامِيكِيَّة فِي شَبَكاتِ العصبونات النابِضَة تَسْتَهْلِك فَقَط فِي وُجُودِ النَبَضات، مِمّا يُوَفِّر قُدْرَةِ/طاقَةِ مُعالَجَةِ مُنْخَفَضه لِلغايَةِ فِي فَتْرَةٍ تَشْغِيلِ طَوِيلَةٍ.
التَواصُلِ الفَعّالَ مَعَ أَجْهِزَةِ الاِسْتِشْعارِ القائِمَةِ عَلَى الأَحْداثِ: يُمْكِن اِسْتِخْدامِ تَسَلْسُلات الأَحْداثِ الَّتِي تَلْتَقِطها أَجْهِزَةِ الاِسْتِشْعارِ القائِمَةِ عَلَى الأَحْداثِ مُباشَرَةً كمدخلات لِشَبَكاتِ العصبونات النابِضَة دُونِ مُعالَجَةِ مُسْبَقَةٍ مُعَقَّدَةٌ (مِثْلَ تَحْوِيلِ البَياناتِ إِلَى نَبْضِ).
بِالإِضافَةِ إِلَى هٰذِهِ المَزايا، مِن الصَعْبِ فِعْلِيّاً تَدْرِيبِ شَبَكاتِ العصبونات النابِضَة بِكَفاءَة بِسَبَبِ عَدَمِ قابِلِيَّةِ تَفاضُلَ دالَّةٍ الخَسارَةِ النابِضَة (Ruckauer_2019arxiv_NonDifferentiableLossFunctionSNN). لِذٰلِكَ، لِلتَغَلُّبِ عَلَى هٰذا التَحَدِّي، تَمَّ اِقْتِراحِ تَقْنِيَّتَيْنِ مُمْكِنَتَيْنِ فِي الأَدَبِيّاتِ. (١) نَهْجٍ تَحْوِيلِ الشَبَكَةِ العَصَبِيَّةِ العَمِيقَةِ إِلَى شَبَكَةِ عصبونات نابِضَةً (Ref_Hao_ANNtoSNNCalibration_ICLR23, Ref_Bu_ANNtoSNNConversion_ICLR22) يُدَرِّب شَبَكَةِ عَصَبِيَّةُ عَمِيقَةٌ ثُمَّ يَحُول النَمُوذَجِ إِلَى نَظِيرِهِ النابِضُ. (٢) نَهْجٍ تَدْرِيبِ الشَبَكَةِ العصبونات النابِضَة مُباشَرَةً (Ref_Neftci_SurrogateSNNs_IEEEMSP19) يَسْتَخْدِم دالَّةٍ التَدَرُّج البَدِيلُ لِتَقْرِيبِ دالَّةٍ الخَسارَةِ النابِضَة، بِحَيْثُ يُمْكِن تَفاضُلها وَدَمْجها فِي تَدَفُّقِ الاِنْتِشارِ العَكْسِيّ. نَظَراً لِأَنَّ النَهْجِ-(١) يَتَطَلَّب تَدْرِيبِ الشَبَكَةِ العَصَبِيَّةِ العَمِيقَةِ، فَلا يُمْكِن اِسْتِخْدامه مُباشَرَةً عِنْدَ التَعامُلِ مَعَ البَياناتِ القائِمَةِ عَلَى الأَحْداثِ (Massa_2020IJCNN_EfficientSNNGestures). عِلاوَةً عَلَى ذٰلِكَ، فَإِنَّهُ يَتَطَلَّب عادَةً عَدَداً أَكْبَرَ مِن الخَطَواتِ الزَمَنِيَّةِ مُقارَنَةً بِالنَهْج-(٢) (Ref_Chowdhury_OneTimestepIsAllYouNeed_arxiv21). لِذٰلِكَ، فِي هٰذا العَمَلِ، نَعْتَبِر اِسْتِخْدامِ تَدْرِيبِ الشَبَكَةِ العصبونات النابِضَة مُباشَرَةً، أَيّ قاعِدَةِ التَعَلُّمِ بِالاِنْتِشارِ الخَلْفِيِّ الزمكاني (Spatio-Temporal Back-Propagation)، الَّتِي تَسْتَفِيد مِن المَعْلُوماتِ المَكانِيَّة وَالزَمانِيَّة ضِمْنَ النَبَضات المُتَدَفِّقَةِ (Ref_Wu_STBP_FNINS18, Ref_Viale_CarSNN_IJCNN21).
الكَمِّيَّةِ هِيَ تَقْنِيَّةٍ تَحْسِينِ بارِزَةٌ يُمْكِن أَنَّ تَضْغَط بِفَعّالِيَّةٍ نَماذِجَ الشَبَكاتِ العَصَبِيَّةِ المُتَقَدِّمَةِ بِتَكْلِفَةٍ مُنْخَفَضه نِسْبِيّاً، حَيْثُ أَنَّها تَحْتاج فَقَط إِلَى تَقْلِيلِ دِقَّةٍ البَياناتِ (Ref_Gupta_Precision_ICML15, Ref_Micikevicius_Precision_ICLR18). تَتَطَلَّب تَنْفِيذِ الكَمِّيَّةِ أَعْداداً مُحَدَّداً يَشْمَل نِظامِ الكَمِّيَّةِ وَنِظامِ التَقْرِيبِ كَما سَيَتِمّ مُناقَشَتَهُ فِيما يَلِي.
أَنْظِمَةِ الكَمِّيَّةِ: هُناكَ نِظامانِ شائِعانِ لِلكَمِّيَّة لِلشَبَكات العَصَبِيَّةِ المُتَقَدِّمَةِ: الكَمِّيَّةِ بُعْدَ التَدْرِيبِ (PTQ)، وَالتَدْرِيبِ المُدْرِك لِلكَمِّيَّة (QAT) (Ref_Putra_QSpiNN_IJCNN21). تُدَرِّب PTQ عادَةً الشَبَكَةِ المُعْطاة بِدِقَّةٍ نُقْطَةً عائِمَةٍ، مِثْلَ نُقْطَةً عائِمَةٍ 32-بَتَّ (FP32)، ثُمَّ يَتِمّ تَطْبِيقِ الكَمِّيَّةِ عَلَى نَمُوذَجَ الشَبَكَةِ العَصَبِيَّةِ المُتَقَدِّمَةِ المُدَرِّبَة بِمُسْتَوَى الدِقَّةِ المُعْطَى، مِمّا يُنْتِج عَنهُ نَمُوذَجَ شَبَكَةِ عَصَبِيَّةُ مُتَقَدِّمَةٍ مكمم لِمَرْحَلَةِ الاِسْتِدْلال. فِي الوَقْتِ نَفْسِهِ، يُؤَدِّي QAT عادَةً الكَمِّيَّةِ لِلشَبَكَةِ المُعْطاة بِمُسْتَوَى الدِقَّةِ المُعْطَى خِلالَ مَرْحَلَةِ التَدْرِيبِ، مِمّا يُنْتِج عَنهُ نَمُوذَجَ شَبَكَةِ عَصَبِيَّةُ مُتَقَدِّمَةٍ مُدَرِّبُ ومكمم يُمْكِن اِسْتِخْدامه مُباشَرَةً لِمَرْحَلَةِ الاِسْتِدْلال. عَمَلِيَّةِ PTQ عادَةً ما تَكُون أَبْسَطِ وَأَكْثَرُ كَفاءَةِ مِن QAT لِأَنَّها تُؤَدِّي الكَمِّيَّةِ مَرَّةً واحِدَةٍ بُعْدَ اِنْتِهاءِ مَرْحَلَةِ التَدْرِيبِ.
أَنْظِمَةِ التَقْرِيبِ: تَتَطَلَّب تَنْفِيذِ الكَمِّيَّةِ عادَةً نِظامِ تَقْرِيبِ مُحَدَّدٍ لِتَحْدِيدِ كَيْفِيَّةِ تَقْلِيصِ القِيمَةِ. مِن الأَدَبِيّاتِ، هُناكَ ثَلاثَةِ أَنْظِمَةِ تَقْرِيبِ شائِعَةٍ الاِسْتِخْدامِ لَنَماذِج الشَبَكاتِ العَصَبِيَّةِ المُتَقَدِّمَةِ: التَقْطِيع (TR)، التَقْرِيبِ إِلَى الأَقْرَبُ (RN)، وَالتَقْرِيبِ العَشْوائِيِّ (SR) (Ref_Putra_QSpiNN_IJCNN21). مِن بَيِّنَ هٰذِهِ الأَنْظِمَةِ، يَمْتَلِك TR أَبْسَطِ عَمَلِيَّةِ حَيْثُ يَحْتَفِظ فَقَط بِعَدَدٍ المَعْنَوِيّاتُ الأَكْثَرَ أَهَمِّيَّةً وَيَتَجاهَل البَتّات المُتَبَقِّيَةُ.
فِي هٰذا العَمَلِ، نَسْتَخْدِم نِظامِ PTQ مَعَ نِظامِ تَقْرِيبِ TR لِأَنَّ تَرْكِيبهما يُمْكِن أَنَّ يُوَفِّر بِسُرْعَةٍ نَتائِجِ تَمْثِيلِيَّةٌ لَإِعْدادات الكَمِّيَّةِ المُخْتَلِفَةِ، مِمّا يُمْكِن مِن اِسْتِكْشافٍ سَرِيعٍ لِمِساحَةِ التَصْمِيمِ (DSE)، وَهُوَ أَمْرٌ مُهِمٌّ لَدِراسَتنا.
مَجْمُوعَةِ بَياناتٍ Prophesee NCARS (Ref_Sironi_HATS_CVPR18): تَحْتَوِي هٰذِهِ المَجْمُوعَةِ المَبْنِيَّةُ عَلَى الأَحْداثِ عَلَى مَجْمُوعَةِ مِن 24K عَيِّنَةً، كُلِّ مِنها بِمُدَّةٍ 100 مَلَلِي ثانِيَةً، تَمَّ تَسْجِيلُها بِاِسْتِخْدامِ كامِيرا الاِسْتِشْعارِ الزَمَنِيِّ غَيْرِ المُتَزامِن (ATIS) (Posch_2011JSSC_ATISSensor). كُلِّ عَيِّنَةً، مُصَنَّفَةٍ إِمّا ك “سَيّارَةٍ” أَو “خَلْفِيَّةِ”، مِشْفَره كَتَسَلْسُل مِن الأَحْداثِ الَّتِي تَحْتَوِي عَلَى المَعْلُوماتِ التالِيَةِ:
الطابِعِ الزَمَنِيِّ \(t\) لَوَقْت حُدُوثِ الحَدَثِ؛
الإِحْداثِيّات المَكانِيَّة \(x\) وَ \(y\) للبكسل؛
قُطْبَيْهِ \(p\) تُغَيِّر السُطُوع، وَالَّتِي يُمْكِن أَنَّ تَكُون إِيجابِيَّةً أَو سَلْبِيَّةٍ.
تَمَّ تَقْسِيمِ البَياناتِ إِلَى 15,422 عَيِّنَةً لِلتَدْرِيبِ وَ 8,607 عَيِّنَةً لِلاِخْتِبارِ. كُلِّ عَيِّنَةً لَها أَحْجام مُتَغَيِّره وَيُمْكِن قَصَّها. بِناءَ عَلَى تَوْزِيعِ الأَحْداثِ، يُمْكِننا تَحْدِيدِ نافِذَةٍ اِنْتِباهَ، أَيّ مِنْطَقَةِ يَتَرَكَّز فِيها الأَحْداثِ بِشَكْلٍ أَكْبَرَ. الأَحْجام النَمُوذَجِيَّةِ لَنَوافِذ الاِنْتِباهِ المُسْتَخْدَمَةِ فِي الأَعْمالِ الرائِدَةِ (Ref_Viale_CarSNN_IJCNN21) يُمْكِن أَنَّ تُصَغِّر إِلَى 100 \(\times\) 100 أَو 50 \(\times\) 50 وَتَقْلِل بِشَكْلٍ كَبِيرٍ مِن مُتَطَلَّباتِ الحوسبه وَالذاكِرَة لِلشَبَكَةِ العَصَبِيَّةِ الدفقيه، دُونِ التَأْثِيرِ كَثِيراً عَلَى الدِقَّةِ.
تَتَكَوَّن هندسات الشَبَكَةِ العَصَبِيَّةِ المُتَقَطِّعَة مِن تَسَلْسُلُ طَبَقاتِ مِن الخَلايا العَصَبِيَّةِ المُتَقَطِّعَة. تَعْرِف هَيْكَلها وَاِتِّصالاتها نَوْعٍ الطَبَقاتِ. فِي هٰذا العَمَلِ، نَسْتَخْدِم هندسات الشَبَكَةِ العَصَبِيَّةِ المُتَقَطِّعَة لِلسَيّاراتِ (Ref_Viale_CarSNN_IJCNN21) الَّتِي تُنَفِّذ التَعَرُّفُ عَلَى السَيّاراتِ بِكَفاءَة بِاِسْتِخْدامِ قاعِدَةِ التَعَلُّمِ المَبْنِيَّةُ عَلَى STBP. نَقُوم بِتَنْفِيذِ هندستين لِلشَبَكَةِ العَصَبِيَّةِ المُتَقَطِّعَة مَبْنِيَّتَيْنِ بِأَحْجام مُخْتَلِفَةٍ لَنافِذَة الاِنْتِباهِ. كُلّاً النَمُوذَجَيْنِ مُكَوِّن مِن تَسَلْسُلُ متداخل مِن طَبَقَتَيْنِ تلافيفيتين وَثَلاثُ طَبَقاتِ تَجْمِيعِ مُتَوَسِّطُ، يَلِيهما طَبَقَتانِ مُتَّصِلَتانِ بِالكامِلِ. الهَنْدَسَةِ الأُولَى لِلشَبَكَةِ العَصَبِيَّةِ المُتَقَطِّعَة، المَوْصُوفَة فِي الجَدْوَلُ [Tab_SNNarch_100x100]، لَدَيها نافِذَةٍ اِنْتِباهَ بِحَجْمِ \(100 \times 100\)، بَيْنَما الهَنْدَسَةِ الثانِيَةِ لِلشَبَكَةِ العَصَبِيَّةِ المُتَقَطِّعَة، المَوْصُوفَة فِي الجَدْوَلُ [Tab_SNNarch_50x50]، لَدَيها نافِذَةٍ اِنْتِباهَ بِحَجْمِ \(50 \times 50\). لاحَظَ أَنَّ أَحْجام نَوافِذِ الاِنْتِباهِ المُخْتَلِفَةِ تُؤَثِّر عَلَى أَحْجام خَرائِطِ المِيزاتِ لِكُلِّ طَبَقَةٌ مِن طَبَقاتِ الشَبَكَةِ العَصَبِيَّةِ المُتَقَطِّعَة. وَبِالتالِي، تَمْتَلِك هٰذِهِ الهندسات عَدَداً مُخْتَلِفاً مِن قَنَواتٍ الإِدْخال وَالإِخْراج فِي الطَبَقاتِ المُتَّصِلَةِ بِالكامِلِ مُقارَنَةً بِالأَخِيرَة.
يَسْتَخْدِم إِطارِ عَمَلِنا SNN4Agents مَجْمُوعَةِ مِن تَقْنِيّاتِ التَحْسِين الَّتِي تَسْتَهْدِف جَوانِبَ تَصْمِيمِ مُخْتَلِفَةٍ، بِما فِي ذٰلِكَ ضَغْطِ النَمُوذَجِ مِن خِلالَ تَقْنِينُ الوَزْنِ، تَحْسِينِ الكَمُّون مِن خِلالَ تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ، تَحْسِينِ بَياناتٍ الإِدْخال مِن خِلالَ تَقْلِيلِ نافِذَةٍ الاِنْتِباهِ؛ ثُمَّ يُؤَدِّي إِسْتراتِيجِيَّةِ التَحْسِين المُشْتَرَكِ لَتَعْظِيم الفَوائِدِ مِن تَقْنِيّاتِ التَحْسِين الفَرْدِيَّةِ. يَتِمّ تَوْضِيحِ سَيْرِ عَمَلٍ إِطارِ SNN4Agents فِي الشَكْلِ [Fig_SNN4Agents]، وَيَتِمّ تَقْدِيمِ مُناقَشَةِ مُفَصَّلَةٌ لَخَطَواته فِي القِسْمِ [Sec_Frame_Quantize] - القِسْمِ [Sec_Frame_Joint].
لِضَغْطٍ حَجْمِ النَمُوذَجِ بِفَعّالِيَّةٍ، نَقُوم بِتَكْمِيم الوَزْنِ مِن خِلالَ PTQ مَعَ نِظامِ تَقْرِيبِ TR. لِلقِيامِ بِذٰلِكَ، نَقُوم أَوَّلاً بِتَدْرِيبِ الشَبَكَةِ المُعْطاة بِدُونِ تَكْمِيم، مَعَ اِسْتِخْدامِ الإِعْدادات الأَساسِيَّةِ لِلخَطْوَة الزَمَنِيَّةِ، نافِذَةٍ الاِنْتِباهِ، وَعَصْرِ التَدْرِيبِ. فِي هٰذا السِينارِيو، نَسْتَخْدِم دِقَّةٍ 32-بَتَّ، 20 خَطْوَةٍ زَمَنِيَّةٍ، نافِذَةٍ اِنْتِباهَ 100x100، وَ200 عَصْرَ تَدْرِيبِ. بِمُجَرَّدِ اِنْتِهاءِ مَرْحَلَةِ التَدْرِيبِ، نَقُوم بِعَمَلِيَّةِ التَكْمِيم لِلشَبَكَةِ المُدَرِّبَة. بُعْدَ ذٰلِكَ، نَقُوم بِتَنْفِيذِ DSE تَحْتَ مُسْتَوَياتٍ دِقَّةٍ الوَزْنِ المُخْتَلِفَةِ (32، 16، 12، 10، 8، 6، وَ4 بَتَّ) لَتَقْيِيم تَأْثِيرِها عَلَى الدِقَّةِ؛ أَنْظُر إِعْدادات المُعَلِّماتُ لِ DSE فِي الجَدْوَلُ [Tab_Setting_Quantize].
نَتائِجِ التَجْرِبَةِ لِ DSE تُظْهِر فِي القائِمَةِ التالِيَةِ:
فِي بِدايَةِ مَرْحَلَةِ التَدْرِيبِ (مَثَلاً، \(\leq\) 60 عَصْرَ تَدْرِيبِ)، لا تَزال الشَبَكَةِ تَتَعَلَّم مَعْلُوماتٍ جَدِيدَةٍ، وَبِالتالِي فَإِنَّ مَنَحَنِي الدِقَّةِ يَزْداد لَمُسْتَوَيات دِقَّةٍ 16-، 12-، وَ10-بَتَّ، كَما هُوَ مُوَضِّح ب .
اِسْتِخْدامِ مُسْتَوَياتٍ دِقَّةٍ 16-، 12-، وَ10-بَتَّ لاوزان SNN يُؤَدِّي إِلَى دِقَّةٍ مُماثِلَةٍ لَنَمُوذَج SNN الأَصْلِيُّ بِدِقَّةٍ 32-بَتَّ (بِدُونِ تَكْمِيم) بُعْدَ تَشْغِيلِ ما لا يَقِلّ عَن 80 عَصْرَ تَدْرِيبِ، كَما هُوَ مُوَضِّح ب .
اِسْتِخْدامِ مُسْتَوَياتٍ دِقَّةٍ 8-، 6-، وَ4-بَتَّ لاوزان SNN يُؤَدِّي إِلَى تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ، حَيْثُ يُمْكِنهم فَقَط الوُصُولِ إِلَى حِوالِي 50% دِقَّةٍ عَبْرَ عُصُورِ التَدْرِيبِ، كَما هُوَ مُوَضِّح ب . هٰذِهِ النَتائِجِ تُشِير إِلَى أَنَّ الشَبَكَةِ لَم تُدَرِّب بِشَكْلٍ صَحِيحٌ.
هٰذِهِ المُلاحَظاتِ تَكْشِف عَن عِدَّةٍ إِرْشادات تَصْمِيمَيْهِ رَئِيسِيَّةٍ يَجِب أَنَّ نَأْخُذها فِي الاِعْتِبارِ عِنْدَ تَطْبِيقِ التَكْمِيم. أَوَّلاً، يَجِب أَنَّ يَتِمّ اِخْتِيارِ مُسْتَوَى الدِقَّةِ بِعِنايَةٍ، بِحَيْثُ لا يُؤَدِّي إِلَى تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ يُقَلِّل مِن فَوائِدَ التَكْمِيم. ثانِياً، يُقَدِّم مُسْتَوَى الدِقَّةِ 10-بَتَّ تَوازُناً جَيِّداً بَيِّنَ الدِقَّةِ وَبَصْمَة الذاكِرَةِ حَيْثُ يُمْكِنه تَحْقِيقِ دِقَّةٍ مُماثِلَةٍ لِتِلْكَ المُسْتَوَياتِ الأَكْبَرُ بُعْدَ تَشْغِيلِ ما لا يَقِلّ عَن 80 عَصْرَ تَدْرِيبِ.
لِتَقْلِيلِ وَقْتٍ المُعالَجَةِ بِفَعّالِيَّةٍ، نَقُوم بِتَقْلِيل الخَطَواتِ الزَمَنِيَّةِ. لِلقِيامِ بِذٰلِكَ، نُقَصِّر خَطْوَةٍ الزَمَنِ لِمُعالَجَةِ شَبَكاتِ الأَعْصاب المُتَقَدِّمَةِ مِن الإِعْدادُ الأَساسِيُّ، مِمّا يُقَلِّل مِن نافِذَةٍ الزَمَنِ لِعَرْضِ قِطارات النَبَضات. هُنا، نَنْظُر فِي إِعْدادات خَطْوَةٍ زَمَنِيَّةٍ مُخْتَلِفَةٍ (أَيّ 20، 15، 10، وَ 5) لِاِسْتِكْشافِ تَأْثِيرِها عَلَى الدِقَّةِ. بِمُجَرَّدِ تَقْلِيلِ الخَطْوَةِ الزَمَنِيَّةِ، يَتِمّ تَدْرِيبِ الشَبَكَةِ تَحْتَ إِعْدادِ الأَساسِ لَمُسْتَوَى الدِقَّةِ (بِدُونِ كَمِّيَّةِ)، نافِذَةٍ الاِنْتِباهِ، وَعَصْرِ التَدْرِيبِ. لِهٰذا السِينارِيو، نَسْتَخْدِم دِقَّةٍ 32-بَتَّ، نافِذَةٍ اِنْتِباهَ 100x100، وَ 200 عَصْرَ تَدْرِيبِ. إِذا لَم نُلاحِظ اِخْتِلافاتٍ مَلْحُوظَةٌ مِن الدِقَّةِ الأَساسِيَّةِ، فَقَد نَسْتَخْدِم مُسْتَوَى دِقَّةٍ أَصْغَرِ، مِثْلَ اوزان 16- وَ 4-بَتَّ، لِتحفيز تُغَيِّر الدِقَّةِ. يَتِمّ تَوْفِيرِ إِعْدادات المُعَلِّماتُ لَتَقْيِيم النِظامِ الدِينامِيكِيّ فِي الجَدْوَلُ [Tab_Setting_Timestep].
نَتائِجِ التَجارِبِ لَتَقْيِيم النِظامِ الدِينامِيكِيّ تُظْهِر فِي القائِمَةِ التالِيَةِ:
اِسْتِخْدامِ إِعْدادات الخَطْوَةِ الزَمَنِيَّةِ 15، 10، وَ 5 بِدُونِ كَمِّيَّةِ يُؤَدِّي إِلَى دِقَّةٍ مُماثِلَةٍ لِلنَمُوذَج الأَساسِيُّ (أَيّ الخَطْوَةِ الزَمَنِيَّةِ 20 بِدُونِ كَمِّيَّةِ) بُعْدَ 60 عَصْرَ تَدْرِيبِ، كَما هُوَ مُوَضِّح ب . بِالمِثْلِ، اِسْتِخْدامِ إِعْدادات الخَطْوَةِ الزَمَنِيَّةِ 20، 15، 10، وَ 5 مَعَ دِقَّةٍ 16-بَتَّ يُؤَدِّي أَيْضاً إِلَى دِقَّةٍ مُماثِلَةٍ لِلأَساسِ بُعْدَ 60 عَصْرَ تَدْرِيبِ؛ أَنْظُر .
اِسْتِخْدامِ إِعْدادات الخَطْوَةِ الزَمَنِيَّةِ 20، 15، 10 وَ 5 مَعَ مُسْتَوَى دِقَّةٍ 4-بَتَّ يُؤَدِّي إِلَى تَدَهْوُرِ كَبِيرٍ فِي الدِقَّةِ، كَما هُوَ مُوَضِّح ب . يَعْنِي ذٰلِكَ أَنَّ دِقَّةٍ 4-بَتَّ صَغِيرَةٌ نِسْبِيّاً لِتَمْثِيلِ المِيزاتِ الزَمانِيَّة وَالمَكانِيَّة مِن مَجْمُوعَةِ بَياناتٍ NCARS.
تُظْهِر هٰذِهِ المُلاحَظاتِ أَنَّهُ يُمْكِننا تَطْبِيقِ تَقْلِيلِ الخَطْوَةِ الزَمَنِيَّةِ بِشَكْلٍ عُدْوانِيٌّ نِسْبِيّاً (مِثْلَ الخَطْوَةِ الزَمَنِيَّةِ 5) دُونِ فُقْدانِ دِقَّةٍ كَبِيرَةٍ، طالَما نَسْتَخْدِم أَيْضاً مُسْتَوَى دِقَّةٍ مُناسِبٍ، مِمّا يَسْتَوْعِب المَعْلُوماتِ الزَمانِيَّة وَالمَكانِيَّة لِمَجْمُوعَةِ البَياناتِ المُعْطاة (مِثْلَ NCARS).
نَهْدِف أَيْضاً إِلَى تَقْلِيلِ حَجْمِ نافِذَةٍ الاِنْتِباهِ لَعَيْنات الإِدْخال لِتَحْسِينِ مُتَطَلَّباتِ الحِسابِ، وَبِالتالِي تَقْلِيلِ الزَمَنِ المُسْتَغْرِق وَاِسْتِهْلاكِ الطاقَةِ. لِتَحْقِيقِ ذٰلِكَ، نَدْرُس أَحْجام نَوافِذِ اِنْتِباهَ مُخْتَلِفَةٍ (أَيّ 100x100 وَ 50x50)، مَعَ اِسْتِخْدامِ إِعْدادات أَساسِيَّةٍ لَمُسْتَوَى الدِقَّةِ وَالخَطْوَة الزَمَنِيَّةِ وَعَصْرِ التَدْرِيبِ؛ أَنْظُر إِعْدادات المُعامَلاتِ لِ DSE فِي الجَدْوَلُ [Tab_Setting_Window].
[Tab_Setting_Window]
| الدِقَّةِ (بَتَّ) | الخَطْوَةِ الزَمَنِيَّةِ | نافِذَةٍ الاِنْتِباهِ | عَصْرَ التَدْرِيبِ |
|---|---|---|---|
| 32 | 20 | 100x100 وَ 50x50 | 0-200 |
تُظْهِر النَتائِجِ التَجْرِيبِيَّة لِ DSE أَنَّ الدِقَّةِ الَّتِي يُمْكِن الحُصُولِ عَلَيها بِواسِطَةِ نافِذَةٍ اِنْتِباهَ أَصْغَرِ (50x50) يُمْكِن أَنَّ تُشْبِع بِشَكْلٍ أَسْرَعِ مِن نافِذَةٍ أَكْبَرَ (100x100) مِمّا يُوَفِّر وَقْتٍ تَدْرِيبِ أَسْرَعِ؛ أَنْظُر . فِي الوَقْتِ نَفْسِهِ، تُوَفِّر نافِذَةٍ اِنْتِباهَ أَكْبَرَ دِقَّةٍ أَفْضَلَ مِن نافِذَةٍ أَصْغَرِ؛ أَنْظُر . السَبَبِ هُوَ أَنَّ نافِذَةٍ الاِنْتِباهِ الأَصْغَرِ تُوَفِّر مَعْلُوماتٍ أَقَلَّ، وَبِالتالِي تَتَطَلَّب وَقْتاً أَقْصَرُ لِتَدْرِيبِ الشَبَكَةِ وَلٰكِنَّها تَحُدّ مِن الدِقَّةِ الَّتِي يُمْكِن تَحْقِيقِها. تُشِير هٰذِهِ المُلاحَظاتِ إِلَى أَنَّ يُمْكِن اِسْتِخْدامِ تَقْلِيلِ نافِذَةٍ الاِنْتِباهِ طالَما تَمَّ تَحْقِيقِ الدِقَّةِ المُسْتَهْدَفَة.
لَقَد أَظْهَرَ كُلِّ خَطْوَةٍ تَحْسِينِ فَرْدِيَّةٍ مِن الأَقْسام الفَرْعِيَّةِ السابِقَةِ إِمْكانِيَّةَ تَقْلِيلِ البَصْمَة الذاكريه وَالتَأْخِير، مَعَ الحِفاظِ عَلَى دِقَّةٍ عالِيَةٍ. لِذٰلِكَ، لَتَعْظِيم فَوائِدَ هٰذِهِ التَحْسِيناتِ، نَقْتَرِح إِسْتراتِيجِيَّةِ لَدَمْج خَطَواتٍ التَحْسِين الفَرْدِيَّةِ مَعاً. هُنا، نَسْتَفِيد مِن المُلاحَظاتِ الرَئِيسِيَّةِ وَإِرْشادات التَصْمِيمِ مِن التَحْلِيلاتِ السابِقَةِ فِي القِسْمِ [Sec_Frame_Quantize]-القِسْمِ [Sec_Frame_AttWindow] لِوَضْعِ الإِسْتراتِيجِيَّةِ التالِيَةِ.
نَقُوم بِأَداء تَقْيِيمِ التَصْمِيمِ المُنَظَّمِ لِلإِعْدادات التالِيَةِ: (1) مُسْتَوَياتٍ دِقَّةٍ الكَمِّيَّةِ مِن 10-32 بَتَّ، (2) 5-20 خَطَواتٍ زَمَنِيَّةٍ، وَ (3) أَحْجام نافِذَةٍ الاِنْتِباهِ 50x50 وَ 100x100.
لِإِيجادِ المُرَشَّحِينَ لِلحُلُولِ، نُحَلِّل النَتائِجِ التَجْرِيبِيَّة لِلدِقَّة، البَصْمَة الذاكريه، التَأْخِيرِ، وَاِسْتِهْلاكِ الطاقَةِ، مَعَ مُراعاةِ قُيُودٍ الذاكِرَةِ وَالتَأْخِير.
إِذا كانَ هُناكَ عِدَّةٍ مُرَشَّحِينَ لِلحُلُولِ، يُمْكِننا اِخْتِيارِ الأَنْسَب لِلقُيُود المُعْطاة مِن خِلالَ المُوازَنَةِ بَيِّنَ مَقايِيسِ التَصْمِيمِ، بِما فِي ذٰلِكَ الدِقَّةِ، البَصْمَة الذاكريه، وَالتَأْخِير، وَاِسْتِهْلاكِ الطاقَةِ.
لَتَقْيِيم إِطارِ عَمَلِنا SNN4Agents، نَقُوم بِبِناءِ وَاِسْتِخْدامِ التَجْهِيزِ التَجْرِيبِيُّ المُوَضِّح فِي الشَكْلِ [Fig_ExpSetup]، مَعَ الأَخْذِ بِعَيْنِ الاِعْتِبارِ نَفْسِ شُرُوطٍ التَقْيِيم المُسْتَخْدَمَةِ عَلَى نِطاقِ واسِعٍ فِي مُجْتَمَعٍ الشَبَكاتِ العَصَبِيَّةِ المُتَقَدِّمَةِ لِلوُكَلاء المُسْتَقِلِّينَ (Ref_Putra_Mantis_ICARA23, Ref_Viale_CarSNN_IJCNN21). نَسْتَخْدِم تَنْفِيذاً مَبْنَيا عَلَى لُغَةً Python وَنَقُوم بِتَشْغِيله عَلَى أَجْهِزَةِ Nvidia RTX 6000 Ada GPU لَتَقْيِيم مُخْتَلِفِ مَقايِيسِ الأَداءِ لَإِطار عَمَلِنا SNN4Agents، بِما فِي ذٰلِكَ الدِقَّةِ، وَزَمَن المُعالَجَةِ، وَاِسْتِهْلاكِ الطاقَةِ. ثُمَّ يَتِمّ اِسْتِخْدامِ زَمَنٍ المُعالَجَةِ وَاِسْتِهْلاكِ الطاقَةِ لَتَقْدِير اِسْتِهْلاكِ الطاقَةِ. فِي الوَقْتِ نَفْسِهِ، يَتِمّ تَقْدِيرٍ بَصْمَة الذاكِرَةِ مِن خِلالَ الاِسْتِفادَةِ مِن مُسْتَوَى الدِقَّةِ وَعَدَدٌ الاوزان فِي بِنْيَةَ الشَبَكَةِ العَصَبِيَّةِ المُتَقَدِّمَةِ المُقابَلَةِ. فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 100x100، نَأْخُذ بِعَيْنِ الاِعْتِبارِ بِنْيَةَ الشَبَكَةِ مِن الجَدْوَلُ [Tab_SNNarch_100x100]؛ بَيْنَما فِي حالَةِ 50x50، نَأْخُذ بِعَيْنِ الاِعْتِبارِ بِنْيَةَ الشَبَكَةِ مِن الجَدْوَلُ [Tab_SNNarch_50x50]. بِالنِسْبَةِ لِلحَمْل العَمَلِيِّ، نَأْخُذ بِعَيْنِ الاِعْتِبارِ مَجْمُوعَةِ بَياناتٍ NCARS (Ref_Sironi_HATS_CVPR18). لَغَرَض تَقْيِيمِ النِظامِ، نَأْخُذ بِعَيْنِ الاِعْتِبارِ إِعْدادات المُعَلِّماتُ المُوَضِّحَة فِي الجَدْوَلُ [Tab_ExpSetup]، بِالإِضافَةِ إِلَى العَمَلِ الرائِدِ CarSNN (Ref_Viale_CarSNN_IJCNN21) كَأَساسٍ مَرْجِعَيَّ.
عِلاوَةً عَلَى ذٰلِكَ، نَسْتَخْدِم عِدَّةٍ مُصْطَلَحاتٍ لِتَمْثِيلِ نَمُوذَجَ الشَبَكَةِ لِلاِخْتِصار، كَما يَلِي.
\(B\)b_\(T\)t: يُمَثِّل شَبَكَةِ بِدِقَّةٍ \(B\) بَتَّ وَ \(T\) خَطْوَةٍ زَمَنِيَّةٍ. فِي هٰذِهِ الحالَةِ، سَيَتِمّ شَرْحِ وَمُناقَشَة نافِذَةٍ الاِنْتِباهِ بِشَكْلٍ صَرِيحٍ لَتَمْيِيز نَمُوذَجَ الشَبَكَةِ وَنَتائِجُهُ التَجْرِيبِيَّة بِوُضُوحٍ. سَيَتِمّ اِسْتِخْدامِ هٰذا المُصْطَلَحِ فِي القِسْمِ [Sec_Res_Accuracy]، [Sec_Res_Time]، وَ [Sec_Res_Energy].
\(B\)b_\(W\)w: يُمَثِّل شَبَكَةِ بِدِقَّةٍ \(B\) بَتَّ وَنافِذَة اِنْتِباهَ \(W\)x\(W\)، وَالَّتِي تَشْمَل إِعْدادات خَطْوَةٍ زَمَنِيَّةٍ مُخْتَلِفَةٍ. يَتِمّ اِسْتِخْدامِ هٰذا المُصْطَلَحِ عِنْدَ مُناقَشَةِ بَصْمَة الذاكِرَةِ فِي القِسْمِ [Sec_Res_Mermory]، حَيْثُ تَمْتَلِك الشَبَكاتِ بِخَطَواتٍ زَمَنِيَّةٍ مُخْتَلِفَةٍ نَفْسِ بَصْمَة ذاكِرَةِ الوَزْنِ.
\(B\)b_\(T\)t_\(W\)t: يُمَثِّل شَبَكَةِ بِدِقَّةٍ \(B\) بَتَّ، \(T\) خَطْوَةٍ زَمَنِيَّةٍ، وَنافِذَة اِنْتِباهَ \(W\)x\(W\). يَتِمّ اِسْتِخْدامِ هٰذا المُصْطَلَحِ عِنْدَ مُناقَشَةِ تَحْلِيلِ التَوازُنِ فِي القِسْمِ [Sec_Res_TradeOff].
تَقَدَّمَ النَتائِجِ التَجْرِيبِيَّة لِلدِقَّة فِي الشَكْلِ [Fig_Result_Accuracy]. تُظْهِر هٰذِهِ النَتائِجِ أَنَّ النَمُوذَجِ الأَساسِيُّ (32b_20t) يُمْكِن أَنَّ يُحَقِّق دِقَّةٍ بِنِسْبَةِ 85.95%، بَيْنَما يُمْكِن لَنَماذِج الشَبَكَةِ العَصَبِيَّةِ المُتَسَلْسِلَة المُحَسِّنَة مَعَ نافِذَةٍ اِنْتِباهَ 100x100 تَحْقِيقِ دِقَّةٍ تَتَراوَح بَيِّنَ 84.12% وَ 85.76%، وَتُحَقِّق نَماذِجَ الشَبَكَةِ العَصَبِيَّةِ المُتَسَلْسِلَة المُحَسِّنَة مَعَ نافِذَةٍ اِنْتِباهَ 50x50 دِقَّةٍ تَتَراوَح بَيِّنَ 76.81% وَ 78.56%. فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 100x100، نُلاحِظ أَنَّ مُسْتَوَياتٍ الدِقَّةِ 10-bit تُؤَدِّي عُمُوماً إِلَى جُودَة تَعْلَم أَقَلَّ (أَيّ دِقَّةٍ) عَبْرَ جَمِيعِ فَتَراتِ التَدْرِيبِ مُقارَنَةً بِمُسْتَوَياتٍ الدِقَّةِ الأُخْرَى؛ أَنْظُر وَ . تُشِير هٰذِهِ المُلاحَظاتِ إِلَى أَنَّ مُسْتَوَياتٍ الدِقَّةِ الأَصْغَرِ لَها قُدْراتٍ تَمْثِيلِ قِيمَةَ أَصْغَرِ مِن تِلْكَ الأَكْبَرُ، وَبِالتالِي تَتَطَلَّب فَتْرَةٍ تَدْرِيبِ أَطْوَلِ لِتَحْقِيقِ دِقَّةٍ مُماثِلَةٍ. عَلَى سَبِيلِ المِثالِ، يُمْكِن لَمُسْتَوَيات الدِقَّةِ 10-bit تَحْقِيقِ دِقَّةٍ تَقارُبٍ 80% فِي 40 فَتْرَةٍ تَدْرِيبِ، بَيْنَما يُمْكِن لَمُسْتَوَيات الدِقَّةِ الأُخْرَى تَحْقِيقِ ذٰلِكَ فِي 20 فَتْرَةٍ تَدْرِيبِ. لَنَفْس السَبَبِ، تُلاحِظ أَنْماطُ مُماثِلَةٍ فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 50x50؛ أَنْظُر وَ . وَمَعَ ذٰلِكَ، فِي هٰذِهِ الحالَةِ، لا تَخْتَلِف دَرَجاتٍ الدِقَّةِ الناتِجَةِ عَن مُسْتَوَياتٍ الدِقَّةِ المُخْتَلِفَةِ كَثِيراً، حَيْثُ تَقَع ضِمْنَ نِطاقِ دِقَّةٍ يَبْلُغ حِوالِي 2%؛ أَنْظُر . السَبَبِ هُوَ أَنَّ نافِذَةٍ اِنْتِباهَ أَصْغَرِ تَعْنِي مَعْلُوماتٍ أَقَلَّ لَنَقَلَها وَمُعالَجَتِها بِواسِطَةِ مُسْتَوَياتٍ الدِقَّةِ المُخْتَلِفَةِ، مِمّا يَحُدّ مِن الدِقَّةِ النِهائِيَّةِ.
تَقَدَّمَ النَتائِجِ التَجْرِيبِيَّة لَبَصْمَة الذاكِرَةِ فِي الشَكْلِ [Fig_Result_Memory]. تُظْهِر هٰذِهِ النَتائِجِ أَنَّ خَطْوَةٍ كَمِّيَّةِ الوَزْنِ لَدَينا تُقَلِّل بِشَكْلٍ فَعّالٌ مِن بَصْمَة الذاكِرَةِ حَتَّى 68.75% بِسَبَبِ مُسْتَوَياتٍ الدِقَّةِ الأَصْغَرِ لِتَمْثِيلِ قِيَمِ الوَزْنِ. عَلَى سَبِيلِ المِثالِ، فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 100x100، تُؤَدِّي كَمِّيَّةِ الوَزْنِ لَدَينا إِلَى تَوْفِيرِ حِوالِي 50% مِن الذاكِرَةِ لِ 16b_100w، وَتَوْفِيرِ 62.50% مِن الذاكِرَةِ لِ 12b_100w، وَتَوْفِيرِ 68.75% مِن الذاكِرَةِ لِ 10b_100w؛ أَنْظُر . فِي الوَقْتِ نَفْسِهِ، فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 50x50، تُؤَدِّي كَمِّيَّةِ الوَزْنِ لَدَينا إِلَى تَوْفِيرِ حِوالِي 91.42% مِن الذاكِرَةِ لِ 32b_50w، وَتَوْفِيرِ 95.71% مِن الذاكِرَةِ لِ 16b_50w، وَتَوْفِيرِ 96.78% مِن الذاكِرَةِ لِ 12b_50w، وَتَوْفِيرِ 97.32% مِن الذاكِرَةِ لِ 10b_50w؛ أَنْظُر . تَأْتِي المُدَّخِراتِ الكَبِيرَةِ فِي الذاكِرَةِ فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 50x50 مِن الكَمِّيَّةِ بِالإِضافَةِ إِلَى الحَدِّ مِن عَدَدٍ الاوزان بِسَبَبِ الاِخْتِلافاتِ المِعْمارِيَّةِ فِي الشَبَكَةِ كَما هُوَ مُوَضِّح فِي الجَدْوَلُ [Tab_SNNarch_100x100] وَالجَدْوَلِ [Tab_SNNarch_50x50].
تُظْهِر النَتائِجِ التَجْرِيبِيَّة لَزَمَن المُعالَجَةِ أَنَّ خَطْوَةٍ تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ لَدَينا تُقَلِّل بِفَعّالِيَّةٍ مِن زَمَنٍ المُعالَجَةِ مُقارَنَةً بِالنَمُوذَج الأَساسِيُّ (32b_20t). عَلَى سَبِيلِ المِثالِ، فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 100x100، يُؤَدِّي تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ لَدَينا إِلَى تَسْرِيعات بِمِقْدارِ 1.27x - 1.31x لِإِعْدادِ 15 خَطْوَةٍ زَمَنِيَّةٍ (أَيّ 32b_15t, 16b_15t, 12b_15t، وَ10b_15t)؛ بِمِقْدارِ 1.86x - 2.02x لِإِعْدادِ 10 خَطَواتٍ زَمَنِيَّةٍ (أَيّ 32b_10t, 16b_10t, 12b_10t، وَ10b_10t)؛ وَكَذٰلِكَ بِمِقْدارِ 3.58x - 3.69x لِإِعْدادِ 5 خَطَواتٍ زَمَنِيَّةٍ (أَيّ 32b_5t, 16b_5t, 12b_5t، وَ10b_5t)؛ كَما هُوَ مُوَضِّح بِواسِطَةِ . فِي حِينِ أَنَّهُ فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 50x50، يُؤَدِّي تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ لَدَينا إِلَى تَسْرِيعات بِمِقْدارِ 1.28x - 1.32x لِإِعْدادِ 15 خَطْوَةٍ زَمَنِيَّةٍ (أَيّ 32b_15t, 16b_15t, 12b_15t، وَ10b_15t)؛ بِمِقْدارِ 2.04x - 2.11x لِإِعْدادِ 10 خَطَواتٍ زَمَنِيَّةٍ (أَيّ 32b_10t, 16b_10t, 12b_10t، وَ10b_10t)؛ وَكَذٰلِكَ بِمِقْدارِ 3.85x - 3.95x لِإِعْدادِ 5 خَطَواتٍ زَمَنِيَّةٍ (أَيّ 32b_5t, 16b_5t, 12b_5t، وَ10b_5t)؛ كَما هُوَ مُوَضِّح بِواسِطَةِ . تَأْتِي هٰذِهِ التَسْرِيعات الكَبِيرَةِ مِن تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ الَّتِي تُقَلِّل مِن زَمَنٍ المُعالَجَةِ لَقِطارات النَبَضات.
تُظْهِر النَتائِجِ التَجْرِيبِيَّة لِاِسْتِهْلاكِ الطاقَةِ أَنَّ تَقْنِيّاتِ التَحْسِين لَدَينا تُقَلِّل بِفَعّالِيَّةٍ مِن اِسْتِهْلاكِ الطاقَةِ مُقارَنَةً بِالنَمُوذَج الأَساسِيُّ (32b_20t). عَلَى سَبِيلِ المِثالِ، فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 100x100، أَدَّت تَحْسِيناتنا إِلَى تَحْسِيناتٍ فِي الطاقَةِ بِمِقْدارِ 1.36x - 1.41x لِلإِعْدادات 16b_15t، 12b_15t، وَ10b_15t؛ بِمِقْدارِ 1.94x - 2.08x لِلإِعْدادات 16b_10t، 12b_10t وَ10b_10t؛ وَكَذٰلِكَ بِمِقْدارِ 3.82x - 4.03x لِلإِعْدادات 16b_5t، 12b_5t، وَ10b_5t؛ كَما هُوَ مُوَضِّح بِواسِطَةِ . فِي حالَةِ نافِذَةٍ الاِنْتِباهِ 50x50، أَدَّت تَحْسِيناتنا إِلَى تَحْسِيناتٍ فِي الطاقَةِ بِمِقْدارِ 1.35x - 1.54x لِلإِعْدادات 16b_15t، 12b_15t، وَ10b_15t؛ بِمِقْدارِ 2.24x - 2.48x لِلإِعْدادات 16b_10t، 12b_10t وَ10b_10t؛ وَكَذٰلِكَ بِمِقْدارِ 4.32x - 4.66x لِلإِعْدادات 16b_5t، 12b_5t، وَ10b_5t؛ كَما هُوَ مُوَضِّح بِواسِطَةِ . تَأْتِي هٰذِهِ التَحْسِيناتِ الكَبِيرَةِ فِي كَفاءَةِ الطاقَةِ مِن الفَوائِدِ المُشْتَرَكَةِ مِن تَقْلِيلِ دِقَّةٍ الوَزْنِ، تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ، وَتَقْلِيل نافِذَةٍ الاِنْتِباهِ الَّتِي تُقَلِّل مِن قُوَّةٍ المُعالَجَةِ وَزَمَن الاِسْتِجابَةُ، وَبِالتالِي اِسْتِهْلاكِ الطاقَةِ.
لِتَحْدِيدِ النَمُوذَجِ المُناسِبِ مِن الشَبَكَةِ العَصَبِيَّةِ الانبضاضيه لِلقُيُود المُحَدَّدَةِ لِلذاكِرَة وَالتَأْخِير، نَقُوم بِتَحْلِيلِ التَوازُنِ. لِهٰذا، نُحَلِّل العَلاقَةِ بَيِّنَ الدِقَّةِ وَبَصْمَة الذاكِرَةِ، الدِقَّةِ وَالتَأْخِير، وَكَذٰلِكَ الدِقَّةِ وَاِسْتِهْلاكِ الطاقَةِ. لِتَحْلِيلِ الدِقَّةِ-الذاكِرَةِ، نُلاحِظ أَنَّ الدِقَّةِ تُقِلّ كَلْماً قُلْتُ بَصْمَة الذاكِرَةِ، وَهٰذا ما يُشار إِلَيهِ بِمُسْتَوَياتٍ دِقَّةٍ البَتّات الأَقَلِّ مَعَ أَحْجام نَوافِذِ الاِنْتِباهِ الأَصْغَرِ؛ أَنْظُر الشَكْلِ [Fig_Result_TradeOff](a). يَعْنِي ذٰلِكَ أَنَّنا بِحاجَةٍ لِاِخْتِيارِ نَمُوذَجَ الشَبَكَةِ المُناسِبِ الَّذِي تَتَناسَب بَصْمَة ذاكِرَتِهِ مَعَ القَيْد المُحَدَّدِ لِلذاكِرَة. عَلَى سَبِيلِ المِثالِ، إِذا كانَ القَيْد المُحَدَّدِ لِلذاكِرَة هُوَ 8MB، فَيُمْكِننا اِخْتِيارِ نَماذِجَ الشَبَكَةِ بِدِقَّةٍ 12- وَ 10-bit تَحْتَ نافِذَةٍ اِنْتِباهَ 100x100، وَكَذٰلِكَ جَمِيعِ نَماذِجَ الشَبَكَةِ تَحْتَ نافِذَةٍ اِنْتِباهَ 50x50. لِتَحْلِيلِ الدِقَّةِ-التَأْخِيرِ، نُلاحِظ أَنَّ الدِقَّةِ تُقِلّ كَلْماً قُلْ التَأْخِيرِ، وَهٰذا ما يُشار إِلَيهِ بِفَتَرات الزَمَنِ الأُقْصُر؛ أَنْظُر الشَكْلِ [Fig_Result_TradeOff](b). يَعْنِي ذٰلِكَ أَنَّنا بِحاجَةٍ لِاِخْتِيارِ نَمُوذَجَ الشَبَكَةِ المُناسِبِ الَّذِي يَتَناسَب تَأْخِيره مَعَ القَيْد المُحَدَّدِ لِلذاكِرَة. عَلَى سَبِيلِ المِثالِ، إِذا كانَ القَيْد المُحَدَّدِ لِلتَأْخِير هُوَ 0.25x مِن التَأْخِيرِ الأَساسِيُّ، فَيُمْكِننا اِخْتِيارِ نَماذِجَ الشَبَكَةِ ب 5 خَطَواتٍ زَمَنِيَّةٍ تَحْتَ كُلِّ مِن نَوافِذِ الاِنْتِباهِ 100x100 وَ 50x50. لِتَحْلِيلِ الدِقَّةِ-الطاقَةِ، نُلاحِظ أَنَّ الدِقَّةِ تُقِلّ أَيْضاً كَلْماً قُلْ اِسْتِهْلاكِ الطاقَةِ، وَهٰذا ما يُشار إِلَيهِ بِمُسْتَوَياتٍ دِقَّةٍ البَتّات الأَقَلِّ مَعَ فَتَراتِ الزَمَنِ الأُقْصُر وَأَحْجام نَوافِذِ الاِنْتِباهِ الأَصْغَرِ؛ أَنْظُر الشَكْلِ [Fig_Result_TradeOff](c). عَلَى سَبِيلِ المِثالِ، إِذا كانَت القُيُودِ المُحَدَّدَةِ هِيَ 8MB لِلذاكِرَة مَعَ 0.25x التَأْخِيرِ مِن التَأْخِيرِ الأَساسِيُّ، فَيُمْكِننا اِخْتِيارِ نَمُوذَجَ الشَبَكَةِ بِإِعْدادِ 10b_5t_100w، الَّذِي يُحَقِّق 84.12% مَعَ تَوْفِيرِ 68.75% فِي الذاكِرَةِ وَتَسْرِيعِ بِمِقْدارِ 3.58x، وَتَحْسِينِ كَفاءَةِ الطاقَةِ بِمِقْدارِ 4.03x مِن النَمُوذَجِ الأَساسِيُّ؛ أَنْظُر . عِلاوَةً عَلَى ذٰلِكَ، إِذا كانَ القَيْد المُحَدَّدِ لِلذاكِرَة أَصْغَرِ بِكَثِيرٍ (مَثَلاً، 1MB لِلذاكِرَة) مَعَ 0.25x التَأْخِيرِ مِن التَأْخِيرِ الأَساسِيُّ، فَيُمْكِننا اِخْتِيارِ نَمُوذَجَ الشَبَكَةِ بِإِعْدادِ 10b_5t_50w، الَّذِي يُحَقِّق 77.10% مَعَ تَوْفِيرِ 97.32% فِي الذاكِرَةِ وَتَسْرِيعِ بِمِقْدارِ 4x، وَتَحْسِينِ كَفاءَةِ الطاقَةِ بِمِقْدارِ 5.85x مِن النَمُوذَجِ الأَساسِيُّ؛ .
بِاِخْتِصار، جَمِيعِ هٰذِهِ النَتائِجِ التَجْرِيبِيَّة تُظْهِر أَنَّ إِطارِ عَمَلِنا SNN4Agents يُحَسِّن بِفَعّالِيَّةٍ كَفاءَةِ اِسْتِهْلاكِ الطاقَةِ لَنَماذِج الشَبَكَةِ العَصَبِيَّةِ الانبضاضيه لِتَطْبِيقاتِ العَوامِلُ الذاتِيَّةِ. عِلاوَةً عَلَى ذٰلِكَ، يُمْكِن إِطارِ العَمَلِ الخاصِّ بِنا المُسْتَخْدَمِينَ مِن إِيجادِ وَاِخْتِيارَ النَمُوذَجِ المُناسِبِ مِن الشَبَكَةِ العَصَبِيَّةِ الانبضاضيه لِتَلْبِيَةِ القُيُودِ المُحَدَّدَةِ لِلذاكِرَة وَالتَأْخِير، أَيّ مِن خِلالَ تَعْدِيلِ إِعْدادات التَحْسِين لَكَمِّيَّة الوَزْنِ، إِعْدادِ الخَطْوَةِ الزَمَنِيَّةِ، وَحَجْمُ نافِذَةٍ الاِنْتِباهِ.
فِي هٰذا العَمَلِ، نَقْتَرِح إِطارِ عَمَلٍ SNN4Agents الَّذِي يَسْتَخْدِم مَجْمُوعَةِ مِن تَقْنِيّاتِ التَحْسِين لِتَطْوِيرِ شَبَكاتِ الأَعْصاب العَصَبِيَّةِ الموفره لِلطاقَةِ المُسْتَهْدَفَة لِتَطْبِيقاتِ الوُكَلاءِ المُسْتَقِلِّينَ. هُنا، يَقُوم إِطارِ عَمَلٍ SNN4Agents بِضَغْطٍ نَمُوذَجَ SNN مِن خِلالَ تَقْنِينُ الوَزْنِ، وَيُحْسِن وَقْتٍ المُعالَجَةِ مِن خِلالَ تَقْلِيلِ الخَطَواتِ الزَمَنِيَّةِ، وَيُحْسِن عَيِّناتٍ الإِدْخال مِن خِلالَ تَقْلِيلِ نافِذَةٍ الاِنْتِباهِ. تُظْهِر النَتائِجِ التَجْرِيبِيَّة أَنَّ الإِطارِ المُقْتَرَحِ يُحَسِّن كَفاءَةِ اِسْتِخْدامِ الطاقَةِ بِفَعّالِيَّةٍ، وَيَقْلِل مِن بَصْمَة الذاكِرَةِ وَالتَأْخِير، مَعَ الحِفاظِ عَلَى دِقَّةٍ عالِيَةٍ. إِذا اِعْتَبَرْنا نِطاقِ تَسامُحُ بِنِسْبَةِ 2% أَقَلَّ دِقَّةٍ مِن الأَساسِ، يُمْكِننا تَحْقِيقِ دِقَّةٍ 84.12% مَعَ تَوْفِيرِ 68.75% فِي الذاكِرَةِ، وَتَسْرِيعِ 3.58x، وَتَحْسِينِ كَفاءَةِ الطاقَةِ بِمِقْدارِ 4.03x. بِهٰذِهِ الطَرِيقَةِ، يُمْكِن إِطارِ عَمَلٍ SNN4Agents مِن تَطْوِيرِ فَعّالٌ لَوُكَلاء مُسْتَقِلِّينَ يَعْتَمِدُونَ عَلَى SNN.
تَمَّ اِسْتِخْدامِ مَجْمُوعاتٍ بَياناتٍ مُتاحَةٍ لِلعُمُومِ فِي هٰذِهِ الدِراسَةُ. يُمْكِن العُثُورِ عَلَى هٰذِهِ المَجْمُوعاتِ فِي المَوْقِعِ التالِي: https://www.prophesee.ai/2018/03/13/dataset-n-cars/ (مَجْمُوعَةِ بَياناتٍ NCARS).
قامَ كُلِّ مِن رشمد فَيَدِيا ويكاكسانا بُوترا، أَلْبِرْتُو مارشيسيو، وَمُحَمَّد شَفِيق بِالمُساهَمَةِ فِي تَصَوُّرٍ الإِطارِ. قامَ رشمد فَيَدِيا ويكاكسانا بُوترا وَأَلْبِرْتُو مارشيسيو بِتَطْوِيرِ وَتَنْفِيذِ الإِطارِ، بِالإِضافَةِ إِلَى كِتابَةِ النُسْخَةَ الأُولَى مِن المَخْطُوطَة. نَظْمٍ رشمد فَيَدِيا ويكاكسانا بُوترا التَجارِبِ. أَشْرَفُ مُحَمَّد شَفِيق عَلَى العَمَلِ البَحْثِيّ. ساهَمَ جَمِيعِ المُؤَلِّفِينَ فِي كِتابَةِ المَخْطُوطَة، قِراءَتها، وَالمُوافَقَةَ عَلَى النُسْخَةَ المُقَدَّمَةِ.
تَمَّ دَعْمِ هٰذا العَمَلِ جُزْئِيّاً مِن قِبَلَ مَرْكَزِ جامِعَةِ نِيُويُورْك أَبُوظَبِي لِأَمْنِ السيبراني (CCS)، المُمَوَّلِ مِن تَمْكِينِ تَحْتَ جائِزَةِ مَعْهَدِ أَبْحاثٍ جامِعَةِ نِيُويُورْك أَبُوظَبِي G1104، وَمَرْكَزِ الذَكاء الاِصْطِناعِيِّ وَالرُوبُوتات (CAIR)، المُمَوَّلِ مِن تَمْكِينِ تَحْتَ جائِزَةِ مَعْهَدِ أَبْحاثٍ جامِعَةِ نِيُويُورْك أَبُوظَبِي CG010.