latex
تُعْتَبَر مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة مُهِمَّةً تُعَدِّينَ العَمَلِيّاتِ الَّتِي تَهْدِف إِلَى التَنَبُّؤ بِمَعْلُومات حَوْلَ تَتْبَع العَمَلِيَّةِ الجارِيَةِ، مِثْلَ النَشاطِ التالِي الأَكْثَرَ صِحَّةِ الَّذِي يَجِب تَنْفِيذِهِ. فِي المَجالاتِ الطِبِّيَّةِ، يُمْكِن أَنَّ تُوَفِّر مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة دَعْماً قِيَماً لِلقَرارِ فِي المَواقِفِ غَيْرِ النَمَطِيَّة وَغَيْرِ البَسِيطَةِ. لا يُمْكِن تَجاهُلُ دَعْمِ القَرارِ وَتَقْيِيم الجُودَةِ فِي الطِبِّ عَن المَعْرِفَةِ المجاليه، مِن أَجْلِ أَنَّ تَكُون مُسْتَنِدَةً إِلَى جَمِيعِ المَعْلُوماتِ المُتاحَةِ (الَّتِي لا تَقْتَصِر عَلَى البَياناتِ) وَأَنَّ تَكُون مَقْبُولَةٌ حَقّاً مِن قِبَلَ المُسْتَخْدَمِينَ النِهائِيَّيْنِ.
فِي هٰذِهِ الوَرَقَةَ، نَقْتَرِح نَهْجاً لِمُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة يَعْتَمِد عَلَى اِسْتِخْدامِ transformer، وَهِيَ هَنْدَسَةُ تَعْلَم عَمِيقٍ تَعْتَمِد عَلَى آلِيَّةِ الاِنْتِباهِ. تَكْمُن مُساهَمَةً رَئِيسِيَّةٍ فِي عَمَلِنا فِي دَمْجِ المَعْرِفَةِ المجاليه الأُنْطُولُوجِيَّة، الَّتِي تَتِمّ مِن خِلالَ تَقْنِيَّةٍ ترميز المَواقِعِ الرسوميه. تَقَدَّمَ الوَرَقَةَ وَتُناقِش النَتِيجَةُ التَجْرِيبِيَّة المُشَجِّعَةِ الَّتِي نَجْمَعها فِي مَجالِ إِدارَةِ السَكْتَة الدماغيه.
اِنْتِشارِ نَظْمٍ المَعْلُوماتِ الطِبِّيَّةِ المُتَقَدِّمَةِ يُمْكِن تَدْرِيجِيّاً مِن جَمْعِ آثارِ المَرْضَى تِلْقائِيّا، أَيّ سَلاسِل الأَنْشِطَةِ الَّتِي تُنَفِّذ عَلَى المَرْضَى خِلالَ إِجْراءاتِ الرِعايَةُ الَّتِي تُطَبِّق فِي المُؤَسَّساتِ الطِبِّيَّةِ (Reichert:2012). تَعُد آثارِ المَرْضَى مَصْدَراً قِيَماً لِلمَعْلُوماتِ لِعِدَةِ تَحْلِيلاتٍ وَتَحْقِيقاتٍ، ضِمْنَ مَجالِ تُعَدِّينَ العَمَلِيّاتِ (aalst:book:16). مِن بَيِّنَ التَقْنِيّاتِ المُتَنَوِّعَةَ المُتاحَةِ فِي تُعَدِّينَ العَمَلِيّاتِ، يُعْتَبَر مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة (Maggi:2014, Teinemaa:2019) ذاتِ أَهَمِّيَّةً خاصَّةٍ. تَهْدِف مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة إِلَى التَنَبُّؤ بِمَعْلُومات ذاتِ صِلَةٍ حَوْلَ عَمَلِيَّةِ تَتْبَع جارِيَةٌ؛ عَلَى وَجْهِ التَحْدِيدِ، تَسْتَغِلّ الآثارِ المُسَجَّلَةِ بِالفِعْلِ لِتَقْدِيمِ تَنَبُّؤات حَوْلَ اِكْتِمالُ العَمَلِيَّةِ الجارِيَةِ، مِثْلَ اِقْتِراحِ النَشاطِ التالِي الَّذِي يَجِب تَنْفِيذِهِ، أَو تَقْدِيرٍ الوَقْتِ أَو التَكْلِفَةِ أَو المَوارِدِ المُتَبَقِّيَةُ المَطْلُوبَةِ لَإِكْمالها.
فِي المَجالِ الطِبِّيُّ، يُمْكِن أَنَّ تَدْعَم مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة تَخْصِيصُ الوَقْتِ وَالمَوارِدِ بِشَكْلٍ أَفْضَلَ؛ عِلاوَةً عَلَى ذٰلِكَ، وَالأَهَمَّ مِن ذٰلِكَ، يُمْكِن أَنَّ تَدْعَم اِتِّخاذِ القَراراتِ فِي الحالاتِ غَيْرِ البَسِيطَةِ. بِالفِعْلِ، عَلَى الرَغْمِ مِن تُوَفِّر الإِرْشادات السريريه، مِن المُهِمِّ مُلاحَظَةُ أَنَّ الإِرْشادات هِيَ عَمَلِيّاتِ مِثالِيَّةٍ، مُصَمِّمَةً لِمَرْضَى مِثالِيَّيْنِ، وَمَقْصُود بِها أَنَّ تُطَبِّق فِي بِيئَةُ مِثالِيَّةٍ، حَيْثُ تَتَوَفَّر جَمِيعِ المَوارِدِ اللازِمَةِ دائِماً (Xu:2020). فِي الواقِعِ، غالِباً ما لا يَكُون هٰذا هُوَ الحالِ: قَد تَمْنَع القُيُودِ المَحَلِّيَّةِ عَلَى المَوارِدِ مِن تَنْفِيذِ أَنْشِطَةٍ الإِرْشادات المَجْدُولَة فِي الوَقْتِ المُناسِبِ. عِلاوَةً عَلَى ذٰلِكَ، قَد يَكُون المَرْضَى الحَقِيقِيُّونَ غَيْرِ نَمَطِيَّيْنِ، عَلَى سَبِيلِ المِثالِ، بِسَبَبِ وُجُودِ أَمْراضِ مُصاحَبَة أَو مُتَغَيِّراتِ نادِرَةً لِلأَمْراض. أَخِيراً، قَد يَفْتَقِر الأَطِبّاءِ إِلَى المَعْرِفَةِ الأَساسِيَّةِ اللازِمَةِ لِتَفْسِيرِ وَتَطْبِيقِ الإِرْشادات بِشَكْلٍ صَحِيحٌ فِي الحالاتِ المُعَقَّدَةِ. مِن خِلالَ اِقْتِراحِ النَشاطِ التالِي الَّذِي يَجِب تَنْفِيذِهِ، يُمْكِن أَنَّ تَقَدَّمَ مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة نَصائِحَ مُفِيدَةٌ لِلغايَةِ فِي هٰذِهِ الحالاتِ غَيْرِ البَسِيطَةِ.
اِسْتِناداً إِلَى الاِعْتِباراتُ المُناقَشَةِ أَعْلاه، نَقْتَرِح فِي هٰذِهِ الوَرَقَةَ نَهْجاً لِمُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة لِآثارِ العَمَلِيّاتِ الطِبِّيَّةِ؛ وِفْقاً لِأَحْدُث التَقَدُّمات فِي الأَدَبِيّاتِ، نَعْتَمِد عَلَى اِسْتِغْلالِ هَنْدَسَةُ التَعَلُّمِ العَمِيقِ المَعْرُوفَةِ بِاِسْمِ Transformer، وَهِيَ هَنْدَسَةُ تَعْتَمِد عَلَى آلِيَّةِ الاِنْتِباهِ الذاتِيِّ (vaswani2017attention)، وَالَّتِي أَظْهَرَت بِالفِعْلِ فائِدَتُها فِي نمذجه المَهامّ المُماثِلَةِ، كَما هُوَ مُوَضِّح فِي (processtransformer). تَكْمُن مُساهَمَةً رَئِيسِيَّةٍ فِي عَمَلِنا فِي تَقْدِيمِ تَقْنِيَّةٍ تُدْمِج المَعْرِفَةِ المُحَدَّدَةِ لِلمَجال بِاِسْتِخْدامِ أُنْطُولُوجِيا. يَتِمّ تَنْفِيذِ هٰذا الدَمْجِ مِن خِلالَ تَقْنِيَّةٍ ترميز المَواقِعِ الرسوميه، مِمّا يُعَزِّز دِقَّةٍ نَمُوذَجنا.
بَيْنَما النَهْجِ عامَ، كُنّا مَدْفُوعَيْنِ بِمَجال تَطْبِيقِ مُحَدَّدٍ اِخْتَرْناهُ لَتَجارِبنا، وَهُوَ مَجالِ إِدارَةِ السَكْتَة الدماغيه. بِالفِعْلِ، فِي هٰذا المَجالِ، يُمْكِن أَنَّ تَقَدَّمَ مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة مَسّاً CONTRIBUTION قِيمَةَ لِاِتِّخاذِ القَراراتِ الطِبِّيَّةِ. لَذَكَرَ بِعَضِّ الأَمْثِلَة، يُمْكِن أَنَّ تُساعِد فِي اِخْتِيارِ الدَواءِ المُناسِبِ لِلتَخَثُّر، مِن خِلالَ النَظَرِ فِي كَيْفِيَّةِ تَوازُنٍ المُؤَشِّراتِ وَمَوانِع الاِسْتِعْمالِ لِلأَدْوِيَةِ المُتاحَةِ فِي الآثارِ السابِقَةِ (Xu:2020)، أَو يُمْكِن أَنَّ تُساعِد فِي تَحْدِيدِ ما إِذا كانَ يَجِب تَأْكِيدِ وُجُودِ نَزِيفِ تَحْتَ العَنْكَبُوتِيَّة مِن خِلالَ أَخَذَ فِي الاِعْتِبارِ إِيجابِيّاتٍ وَسَلْبِيّات البَزْل القُطْنِيّ (eswa16)، دائِماً مَعَ الإِشارَةُ إِلَى الآثارِ المُكْتَمَلَة بِالفِعْلِ. بِالفِعْلِ، أَظْهَرَت التَجارِبِ الأُولَى الَّتِي أَجْرَيْناها، وَالَّتِي يَتِمّ وَصَفَها فِيما يَلِي، نَتائِجِ مُشَجِّعَةً.
تُنَظِّم الوَرَقَةَ كَما يَلِي: القِسْمِ [related] يُقَدِّم بِعَضِّ الأَعْمالِ ذاتِ الصِلَةِ. القِسْمِ [methods] يُعَرِّض هَنْدَسَةُ التَعَلُّمِ العَمِيقِ الَّتِي نَسْتَغِلّها. القِسْمِ [experiments] يُوَضِّح أَعْدادنا التَجْرِيبِيُّ وَالنَتائِجِ، بَيْنَما يُخَصَّص القِسْمِ [conclu] للخلاصات.
لَقَد تَمَّ دَعْمِ عَمَلِيَّةِ المُراقَبَةِ التَنَبُّؤِيَّة مِن خِلالَ أَنْواعِ مُخْتَلِفَةٍ مِن تَقْنِيّاتِ التَعَلُّمِ الآلِيِّ، مِثْلَ أَنْظِمَةِ الاِنْتِقالِ (Le2012)، وَنَماذِجِ ماركوف المَخْفِيَّة (Lakshmanan2015)، وَآلاتُ الدَعْمِ المُتَّجِهَة (Cabanillas:2014). وَمَعَ ذٰلِكَ، فِي النَهْجِ الأَحْدَثُ، يَتِمّ تَطْبِيقِ هَياكِلِ التَعَلُّمِ العَمِيقِ، وَالَّتِي تُمَثِّل حالِيّاً الحالَةِ الفَنِّيَّةِ الرائِدَةِ فِي هٰذا المَجالِ.
تَمَّ اِقْتِراحِ هَياكِلِ تَعْلَم عَمِيقٍ مُخْتَلِفَةٍ لِلتَعامُلِ مَعَ مُهِمَّةً التَنَبُّؤ بِالنَشاط التالِي. النَهْجِ فِي (Mehdiyev)، عَلَى سَبِيلِ المِثالِ، يَسْتَخْدِم المشفرات التِلْقائِيَّة (Hinton). فِي مُراقَبَةِ التَنَبُّؤ، يُمْكِن للمشفرات التِلْقائِيَّة تَقْلِيلِ عَدَدٍ السِمات لِلأَنْشِطَة المدخله بِنَجاحٍ؛ وَمَعَ ذٰلِكَ، فَهِيَ غَيْرِ قادِرَةٍ عَلَى مُعالَجَةِ الاعتماديات الطَوِيلَةِ (الزَمَنِيَّةِ) بَيِّنَ أَنْشِطَةٍ أَثَّرَ مُعَيَّنٍ. تَمَّ تَطْبِيقِ الشَبَكاتِ العَصَبِيَّةِ التلافيفيه (CNNs) فِي (Alom)، حَيْثُ تَمَّت مُعالَجَةِ البَياناتِ التسلسليه فِي آثارِ العَمَلِيّاتِ كَشَبَكَةٍ أُحادِيَّةُ البُعْدِ (Appice).
نَظَراً لِلطَبِيعَة التسلسليه لِلآثارِ، فَإِنَّ الشَبَكاتِ العَصَبِيَّةِ المُتَكَرِّرَةِ (RNNs) (Pascanu) تُمَثِّل عَلَى الأَرْجَحِ الحَلِّ الأَكْثَرَ طَبِيعِيَّةٍ. فِي الواقِعِ، يُمْكِن لِلشَبَكات المُتَكَرِّرَةِ اِلْتِقاطِ الاعتماديات الأَطْوَل بَيِّنَ أَنْشِطَةٍ أَثَّرَ، بَيْنَما فِي شَبَكَةِ تلافيفيه تَعْتَمِد نَشاطِ عَلَى الأَنْشِطَةِ الأَخِيرَةِ فَقَط، حَيْثُ يَكُون k هُوَ حَجْمِ النَواةُ. ضِمْنَ الشَبَكاتِ المُتَكَرِّرَةِ، تُمَثِّل شَبَكاتِ الذاكِرَةِ طَوِيلَةٍ الأَمَدِ (LSTM) (Hochreiter) نَهْجاً فَعّالا بِشَكْلٍ خاصٍّ. بِالفِعْلِ، يُمْكِن لِشَبَكاتِ الذاكِرَةِ طَوِيلَةٍ الأَمَدِ تَعْلَم الدِينامِيكِيّات المُعَقَّدَةِ ضِمْنَ التَرْتِيبِ الزَمَنِيِّ لِلتَسَلْسُلات المدخله؛ لِذٰلِكَ، فَهِيَ مُناسَبَةِ جَيِّداً لِإِدارَةِ البَياناتِ التسلسليه لَسِجِلّات نَشاطِ العَمَلِيّاتِ. كَما أَنَّها يُمْكِن أَنَّ تُدِير الاعتماديات طَوِيلَةٍ المَدَى بَيِّنَ الأَنْشِطَةِ، حَيْثُ تُنَفِّذ ذاكِرَةِ طَوِيلَةٍ الأَمَدِ حَيْثُ تَتَدَفَّق المَعْلُوماتِ مِن خَلِيَّةٍ إِلَى خَلِيَّةٍ بِتَغَيُّرات طَفِيفَةٍ، مُحافَظَةِ عَلَى جَوانِبَ مُعَيَّنَةٍ ثابِتَةٍ أَثْناءَ مُعالَجَةِ جَمِيعِ المدخلات. الأَعْمالِ فِي (Evermann,Tax,Camargo,lstm-rev)، عَلَى سَبِيلِ المِثالِ، تَعْتَمِد عَلَى شَبَكاتِ الذاكِرَةِ طَوِيلَةٍ الأَمَدِ لِلتَنَبُّؤ بِالنَشاط التالِي لِحالَةِ جارِيَةٌ.
بِشَكْلٍ مُماثِلٍ لِشَبَكاتِ الذاكِرَةِ طَوِيلَةٍ الأَمَدِ، تَقُوم الشَبَكاتِ المُتَكَرِّرَةِ الموصده (GRUs) (cho2014learning) أَيْضاً بِإِنْشاءِ مَساراتٍ عَبْرَ الزَمَنِ تَسْمَح بِتَدَفُّقِ التَدَرُّجات بِعُمْقِ أَكْبَرَ فِي التَسَلْسُل مُقارَنَةً بِالشَبَكات المُتَكَرِّرَةِ الأَساسِيَّةِ؛ مُقارَنَةً بِشَبَكات الذاكِرَةِ طَوِيلَةٍ الأَمَدِ، لَدَيها عَدَدٍ أَقَلَّ مِن المُعَلِّماتُ. يَتِمّ اِسْتِغْلالِ الشَبَكاتِ المُتَكَرِّرَةِ الموصده فِي، عَلَى سَبِيلِ المِثالِ، (Hinkka) لِلمُراقَبَةِ التَنَبُّؤِيَّة.
بَدَلاً مِن ذٰلِكَ، فِي (khan:2019)، يَتِمّ اِقْتِراحِ شَبَكَةِ عَصَبِيَّةُ مُعَزِّزه بِالذاكِرَةِ (MANN). تَسْمَح الشَبَكاتِ العَصَبِيَّةِ المُعَزِّزَة بِالذاكِرَةِ بِتَعَلُّمِ الاعتماديات الأَطْوَل؛ التَدْرِيبِ أَكْثَرَ تَكْلِفَةِ، وَلٰكِن الشَبَكاتِ العَصَبِيَّةِ المُعَزِّزَة بِالذاكِرَةِ مُناسَبَةِ لِلآثارِ الطَوِيلَةِ جِدّاً، أَو عِنْدَما قَد تُؤَدِّي دَوْراتِ النَشاطِ نَفْسِهِ إِلَى نِسْيان/تَجاهُلُ الشَبَكاتِ المُتَكَرِّرَةِ الموصده أَو شَبَكاتِ الذاكِرَةِ طَوِيلَةٍ الأَمَدِ لِلأَنْشِطَة المَوْجُودَةِ فِي بِدايَةِ الأَثَرِ.
النَهْجِ الَّذِي يَرْتَبِط اِرْتِباطا وَثِيقاً بِنَهْجنا هُوَ فِي (Philipp:20,processtransformer)، وَالَّذِي يَعْتَمِد عَلَى مُحَوِّلِ، وَهِيَ هَيْكَلِيَّةِ تُحِلّ مَحَلَّ التَكْرارِ بِآلِيَّةِ الاِنْتِباهِ (vaswani2017attention). بِشَكْلٍ خاصٍّ، تَتَبَنَّى هٰذِهِ الأَعْمالِ الاِنْتِباهِ مُتَعَدِّدِ الرُؤُوسِ، أَيّ أَنَّها تُؤَدِّي عَمَلِيَّةِ الاِنْتِباهِ عَلَى أَجْزاءِ مُخْتَلِفَةٍ مِن التَسَلْسُل فِي وَقْتٍ واحِدٍ، وَبَدَلاً مِن تَدْرِيبِ هَيْكَلِيَّةِ المِشْفَر-المُفَكَّك كَما فِي (vaswani2017attention)، فَإِنَّها تَعْتَمِد فَقَط عَلَى جُزْء المُفَكَّك. أَمّا بِالنِسْبَةِ لِإِدْراجِ المَعْرِفَةِ المجاليه الخارِجِيَّةِ عَلَى شَكْلٍ رُسُومٍ بَيانَيْهِ، فَقَد تَمَّ اِسْتِكْشافٍ هٰذا النَهْجِ فِي بِعَضِّ الأَعْمالِ، مِثْلَ (graphiT,gnn-benchmark-pe,di2017eye)، بِهَدَفِ إِثْراء الأَمْثِلَة المَبْنِيَّةُ عَلَى التَسَلْسُل بِمَعْلُومات هَنْدَسِيّه مُشْتَقّه مِن هَيْكَلِ رُسُومِي. مِثالٌ عَلَى ذٰلِكَ هُوَ الجَمْع بَيِّنَ هَياكِلِ البرُوتِينات مَعَ التَرْتِيبِ الهَنْدَسِيِّ لِلجُزَيْئات. كَما تَمَّ اِسْتِخْدامِ النَهْجِ المَدْفُوعِ بِالمَعْرِفَةِ فِي العَدِيدَ مِن الأَعْمالِ الَّتِي تَشْمَل المُحَوِّلات المُدَرِّبَة مُسْبَقاً (مِثْلَ BERT) مِن أَجْلِ مُحاذاةِ النَمُوذَجِ مَعَ مَجالِ مَعْرِفِيّ مُحَدَّدٍ مِن خِلالَ الأُنْطُولُوجِيا وَرُسُومٍ المَعْرِفَةِ (kbert,pretrain). لُسْنا عَلَى عُلِمَ بِأَعْمالٍ سابِقَةٍ تَضَمَّنَ ترميز المَواقِعِ الهَيْكَلِيَّةِ لِلمَعْرِفَة المجاليه فِي مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة.
فِي الأَقْسام التالِيَةِ، سَنُقَدَّم الهَيْكَلِيَّةِ الأَساسِيَّةِ لَنَمُوذَج المُحَوِّلُ الَّذِي نَسْتَخْدِمه. بُعْدَ ذٰلِكَ، سَنَصِف الطَرِيقَةِ الَّتِي تَمَكَّنَ مِن اِسْتِغْلالِ أُنْطُولُوجِيا الأَنْشِطَةِ بِاِسْتِخْدامِ ترميز المَواقِعِ الهَيْكَلِيّ (ترميز المَواقِعِ الهَيْكَلِيّ)، وَالَّذِي يَعْتَمِد عَلَى تَقْنِيَّةٍ ترميز قِيمَةَ الطَيْف للابلاسي (gnn-benchmark-pe).
تَعْتَمِد هَنْدَسَةُ نَمُوذَجنا عَلَى فَكِّ المُحَوِّلُ (Philipp:20, processtransformer). يَتَكَوَّن مَدْخَلِ النَمُوذَجِ مِن تَسَلْسُلُ \(S = \{a_1, ..., a_i, ..., a_n\}\) (يُمَثِّل أَثَراً) حَيْثُ يُمَثِّل كُلِّ عُنْصُرٍ مِن السِلْسِلَة نَشاطاً قادِماً مِن مَجْمُوعَةِ \(A\) مِن الأَنْشِطَةِ المُمْكِنَةِ. فِيما يَلِي، نِصْفِ مُكَوِّناتِ النَمُوذَجِ وَكَيْفِيَّةِ مُعالَجَةِ المدخلات.
طَبَقَةٌ التَضْمِين: تَأْخُذ \(S\) كَمَدْخَلٍ وَتُعِيد مُتَّجِهاً بِأَبْعاد \(\mathbb{R}^d\) لِكُلِّ نَشاطِ \(a_i\). فِي هٰذِهِ المَرْحَلَةِ، تَكُون عَيْناتنا عَلَى الشَكْلِ \(X \in \mathbb{R}^{n \times d}\).
الترميز المَوْضِعِيّ: تَتَحَمَّل هٰذِهِ الطَبَقَةِ مَسْؤُولِيَّةَ إِضافَةً مَعْلُوماتٍ حَوْلَ مَوْضِعَ كُلِّ نَشاطِ إِلَى التَضْمِين الَّذِي يُمَثِّله. فِي هٰذِهِ الوَرَقَةَ، اِخْتَبَرَنا نُسْخَتَيْنِ مِن الترميز المَوْضِعِيّ. النُسْخَةَ الأُولَى (PE مِن الآنَ فَصاعِداً)، المَوْصُوفَة فِي (vaswani2017attention)، تُسْتَخْدَم دالَّةٍ جَيْب التَمام وَجَيْب الزاوِيَةِ لِلحُصُولِ عَلَى تَمْثِيلِ يَحْتَرِم تَرْتِيبَ الأَنْشِطَةِ ضِمْنَ التَسَلْسُل الواحِدِ. النُسْخَةَ الثانِيَةِ هِيَ الترميز المَوْضِعِيّ الهَيْكَلِيّ (SPE مِن الآنَ فَصاعِداً)، وَالَّذِي يَضْمَن المَعْرِفَةِ مِن رَسْمِ بَيانَيَّ \(G\) (فِي حالَتنا، الرَسْمُ البَيانِيّ هُوَ أُنْطُولُوجِيا الأَنْشِطَةِ، وَيُوصَف فِي القِسْمِ [sub:spe]). يُولَد الترميز المَوْضِعِيّ مُتَّجِهاً لِكُلِّ نَشاطِ فِي تَسَلْسُلُ يُضاف إِلَى التَضْمِين الأَصْلِيُّ كَما يَلِي: \[\begin{gathered} X = \begin{cases} X + PE(X) & \text{لِطَرِيقَةِ PE} \\ X + SPE(X,G) & \text{لِطَرِيقَةِ SPE} \end{cases}\end{gathered}\]
طَبَقَةٌ الاِنْتِباهِ مُتَعَدِّدَةِ الرُؤُوسِ: تَمَكَّنَ هٰذا المُكَوَّنِ النَمُوذَجِ مِن الاِنْتِباهِ اِنْتِقائِيّا إِلَى أَجْزاءِ مُخْتَلِفَةٍ مِن التَسَلْسُل وَإِيجادُ الاعتماديات طَوِيلَةٍ المَدَى. لِهٰذا الغَرَضِ، تُولَد طَبَقَةٌ الاِنْتِباهِ الذاتِيِّ (vaswani2017attention) ثَلاثَةِ تَمْثِيلات \(Q,K,V\) لِكُلِّ نَشاطِ فِي التَسَلْسُل \(S\). بُعْدَ ذٰلِكَ، تُطَبِّق الاِنْتِباهِ المُنْتِجِ لِلنِقاط المَضْرُوبَة المعياريه: \[H = softmax\left(\frac{QK^T}{\sqrt{d}} \right) V\] تَتِمّ هٰذِهِ العَمَلِيَّةِ بِالتَوازِي عَلَى رُؤُوسِ اِنْتِباهَ مُتَعَدِّدَةِ لِتَعْلَم أَنْواعِ مُخْتَلِفَةٍ مِن الاعتماديات. يَتِمّ دَمْجِ التَمْثِيلات الناتِجَةِ لِإِنْتاجِ المُخْرِجات النِهائِيَّةِ. لاحَظَ أَنَّهُ، نَظَراً لِأَنَّ المُهِمَّةِ هِيَ التَنَبُّؤ بِالرَمْز التالِي فِي التَسَلْسُل (فِي تَطْبِيقنا، النَشاطِ التالِي فِي الأَثَرِ)، خِلالَ عَمَلِيَّةِ الاِنْتِباهِ الذاتِيِّ نُطَبِّق قِناعاً بِحَيْثُ يُمْكِن لَنَشاط أَنَّ يَنْتَبِه فَقَط لِلأَنْشِطَة السابِقَةِ، وَيَتَجاهَل تِلْكَ الَّتِي تَلِيه. يُضاف المُخْرِجُ أَخِيراً إِلَى المَدْخَلِ \(X\) بِاِسْتِخْدامِ اِتِّصالٍ تَخَطِّي.
تَطْبِيعِ الطَبَقَةِ: تُسْتَخْدَم هٰذِهِ الطَبَقَةِ لِلتَخْفِيفِ مِن ظَواهِرِ تَلاشِي أَو اِنْفِجارٍ التَدَرُّجات أَثْناءَ مَرْحَلَةِ تَدْرِيبِ النَمُوذَجِ. تَضَمَّنَ العَمَلِيَّةِ أَنَّ تَكُون التَنْشِيطات مُرَكَّزَةً حَوْلَ مُتَوَسِّطُ الصِفْرِ وَالتَبايُنُ الوَحْدَةِ مِمّا يَجْعَل التَحْسِين أَكْثَرَ اِسْتِقْراراً (layernorm). فِي تَنْفِيذنا، لِجاناً إِلَى تَكْوِينِ Pre-LN حَيْثُ يَتِمّ وَضْعِ تَطْبِيعِ الطَبَقَةِ داخِلَ الكُتَلِ المُتَبَقِّيَةُ مِمّا يُحَسِّن مِن تَقارُبٍ النَمُوذَجِ (preln).
أَخِيراً، يَتِمّ تَمْرِيرَ \(X\) مِن خِلالَ طَبَقَتَيْنِ مُتَّصِلَتَيْنِ بِالكامِلِ، حَيْثُ تَعْمَل الطَبَقَةِ النِهائِيَّةِ كَمِفَكّكَ، مِمّا يَعْكِس التَمْثِيلات إِلَى بُعْدَ مُكافِئ لِعَدَدٍ الأَنْشِطَةِ المُحْتَمَلَةِ.
يَعْتَمِد ترميز المَوْقِعِ الهَيْكَلِيّ عَلَى رَسْمِ بَيانَيَّ يُمَثِّل أُنْطُولُوجِيا تشفر العَلاقاتِ بَيِّنَ الأَنْشِطَةِ. تَسْمَح هٰذِهِ الأُنْطُولُوجِيا بِدَمْجِ المَعْرِفَةِ المجاليه فِي نَمُوذَجَ الذَكاء الاِصْطِناعِيِّ، بِهَدَفِ تَحْسِينِ قُدْراتٍ التَنَبُّؤ لِلنِظامِ. بِشَكْلٍ خاصٍّ، تَهْدِف الأُنْطُولُوجِيا إِلَى تَجْمِيعِ الأَنْشِطَةِ المُشارَكَةِ فِي أَهْدافٍ تَشْخِيصَيْهِ أَو عِلاجَيْهِ مُماثِلَةٍ. يَتِمّ تَحْقِيقِ ذٰلِكَ مِن خِلالَ تَمْثِيلِ تَصْنِيفِي، حَيْثُ يَتِمّ وَضْعِ الأَنْشِطَةِ المُشارَكَةِ فِي أَهْدافٍ مُماثِلَةٍ فِي عَلاقَةَ “قَرِيبَةٌ” (بِمَسار أَقْصَرُ لِلوُصُولِ مِن واحِدَةٍ إِلَى الأُخْرَى). تَمَّ تَعْرِيفٍ الأَنْشِطَةِ وَعَلاقاتها بِالتَعاوُنِ مَعَ أَخِصّائِيَّيَّ الأَعْصاب الخُبَراءِ، اِسْتِناداً إِلَى خِبْرَتهم وَوِفْقاً لِتَوْصِياتِ إِرْشادات (stroke_2017).
لِتَنْفِيذِ وَدَمْج هٰذِهِ الأُنْطُولُوجِيا، قُمْنا بترميزها كَرَسْم بَيانَيَّ وَاُعْتُمِدْنا عَلَى تَقْنِيَّةٍ مُتَّجِهات القِيَمِ الذاتِيَّةِ للابلاسيان (laplacian-eigenmaps)، وَالَّتِي تُسْتَخْدَم لِحِسابِ تَضْمِينات العَقْدِ، مِمّا يُنْتِج عَنهُ مُتَّجِه لِكُلِّ فِعْلٍ (أَيّ عُقْدَةِ) يشفر مَوْقِعِهِ فِي الرَسْمُ البَيانِيّ. يَضْمَن ذٰلِكَ أَنَّ العَقْدِ القَرِيبَةِ مِن بِعَضُّها تَمْتَلِك تَضْمِينات مُماثِلَةٍ. خِلالَ مَرْحَلَةِ التَدْرِيبِ، يَتِمّ إِضافَةً تَمْثِيلات هٰذِهِ العَقْدِ إِلَى تَضْمِينات الرَمْزُ المُمَيَّزِ، قِبَلَ طَبَقَةٌ الاِنْتِباهِ مُتَعَدِّدَةِ الرُؤُوسِ (بِطَرِيقَةٍ ترميز المَوْقِعِ). يَثْرَى هٰذا التَعْزِيز تَمْثِيلات المُحَوِّلُ بِالمَعْلُوماتِ العلاقيه المُتَآصِلَة فِي الأُنْطُولُوجِيا. يُمْكِن ذٰلِكَ النَمُوذَجِ مِن تَعْلَم أَنْواعِ إِضافِيَّةً مِن التَفاعُلات بَيِّنَ الأَنْشِطَةِ. سَنَقُوم بِإِعْطاءِ وَصَفَ أَكْثَرَ رَسْمِيَّةٍ لِلعَمَلِيّاتِ الَّتِي تَتِمّ خِلالَ هٰذِهِ المَرْحَلَةِ.
الرَسْمُ البَيانِيّ \(G=(V,E)\) الَّذِي يُمَثِّل الأُنْطُولُوجِيا مُنَظَّمٍ عَلَى النَحْوِ التالِي: \(V\) يُمَثِّل العَقْدِ، واحِدَةٍ لِكُلِّ نَشاطِ فِي المَجْمُوعَةِ \(A\) (عَقْدِ النَشاطِ)، إِلَى جانِبِ بِعَضِّ العَقْدِ الَّتِي تُمَثِّل “نَوْعٍ النَشاطِ” (عَقْدِ نَوْعٍ النَشاطِ). \(E\) يَلْتَقِط مَجْمُوعَةِ الحَوافّ، الَّتِي تَرْبِط عَقْدِ النَشاطِ بِعَقْدِ نَوْعٍ النَشاطِ. تَرْتَبِط عَقْدِ نَوْعٍ النَشاطِ مَعاً بِحَيْثُ يَكُون الرَسْمُ البَيانِيّ مُتَّصِلا بِشَكْلٍ عامَ. يَتِمّ تَعْرِيفٍ مُتَّجِهات القِيَمِ الذاتِيَّةِ للابلاسيان بِتَحْلِيلِ مَصْفُوفه لابلاسيان الرَسْمُ البَيانِيّ: \[\Delta = I - D^{-\frac{1}{2}} A D^{-\frac{1}{2}} = U^T \Lambda U\] حَيْثُ \(I\) هِيَ مَصْفُوفه الهُوِيَّةِ، \(A \in \mathbb{R}^{n \times n}\) بِفَرْضِ \(n = |V|\) هِيَ مَصْفُوفه الجِوارِ حَيْثُ \(A_{ij} = 1\) إِذا كانَت العُقْدَة \(i\) وَالعُقْدَة \(j\) مُتَّصِلَتَيْنِ بِحافَة (أَيّ تُواصِل الرَسْمُ البَيانِيّ) وَ\(D \in R^{n \times n}\) حَيْثُ \(D_{ii} = \sum_{i=1}^n A_{ij}\) هِيَ مَصْفُوفه قُطْرِيَّةٍ تُمَثِّل دَرَجَةِ كُلِّ رَأْسِ فِي \(G\)؛ \(\Lambda\), \(U\) تَدُلّ عَلَى القِيَمِ الذاتِيَّةِ وَالمُتَّجِهات الذاتِيَّةِ عَلَى التَوالِي. التَضْمِين لَعَقَدَهُ \(i\) هُوَ مُتَّجِه \(\lambda_i \in \mathbb{R}^k\) معرف كَمُكَوِّنات المُتَّجِه الذاتِيِّ الأَصْغَرِ غَيْرِ التافِهَة \(k\) لِتِلْكَ العُقْدَة (generalization-transformers). وَأَخِيرا، لَدَمْج تَضْمِينِ العُقْدَة \(\lambda_i \in \mathbb{R}^k\) فِي تَضْمِينِ النَشاطِ المُقابِلِ \(X_i \in \mathbb{R}^d\)، نَسْتَخْدِم طَبَقَةٌ مُتَّصِله بِالكامِلِ \(\Theta \in \mathbb{R}^{k\times d}\) لِضَمانِ التَوافُقُ بَيِّنَ أَحْجام التَضْمِين.
خِلالَ تَجارِبنا، طَبَّقَنا النَمُوذَجِ عَلَى مَجْمُوعَةِ بَياناتٍ تَتَعَلَّق بِإِدارَة السَكْتَة الدماغيه. تَحْتَوِي مَجْمُوعَةِ البَياناتِ عَلَى 5342 سَجَّلَ عَمَلِيّاتِ بِمُتَوَسِّطِ 15 نَشاطاً و82 نَشاطاً مُمْكِناً (أَنْظُر الجَدْوَلُ [tab:traces_stats] لِبَعْضِ الإِحْصائِيّات حَوْلَ السِجِلّات). نَظَراً لِأَنَّ الحالاتِ تَخْتَلِف فِي الأَطْوال، قُمْنا بِتَطْبِيقِ التَعْبِئَةِ لِضَمانِ أَنَّ جَمِيعِ التَسَلْسُلات لَدَيها نَفْسِ عَدَدٍ الأَنْشِطَةِ (أَيّ طُولِ أَطْوَلِ تَسَلْسُلُ). عِلاوَةً عَلَى ذٰلِكَ، أَضَفْنا رَمْزَيْنِ خاصَّيْنِ يُشِيرانِ إِلَى “بِدايَةِ التَسَلْسُل” وَ“نِهايَةِ التَسَلْسُل” فِي بِدايَةِ وَنِهايَة كُلِّ حالَةِ. تَمَّ تَحْلِيلِ الأُنْطُولُوجِيا المُرْتَبِطَةِ بِالعَمَلِيَّةِ لِلحُصُولِ عَلَى رَسْمِ بَيانَيَّ يَحْتَوِي عَلَى 110 عَقْدِ و111 حافَةِ.
تَمَّ تَدْرِيبِ نَمُوذَجَ المُحَوِّلُ بِطَرِيقَةٍ نمذجه اللُغَةِ التِلْقائِيَّة العَكْسِيَّة لِلتَنَبُّؤ ب ’النَشاطِ التالِي’ بِناءَ عَلَى سِياقِ (أَيّ الأَنْشِطَةِ السابِقَةِ فِي التَسَلْسُل). يَتَضَمَّن عَمَلِيَّةِ التَدْرِيبِ مُحاوَلَةٍ النَمُوذَجِ لِلتَنَبُّؤ بِالنَشاط التالِي بِناءَ عَلَى بادِئه التَسَلْسُل. الدالَّةِ الخَسارَةِ المُطَبَّقَةِ هِيَ خَسارَةِ الانتروبيا المُتَقاطِعَة بَيِّنَ تَوْزِيعِ اِحْتِمالَيْهِ النَمُوذَجِ المُتَوَقَّعِ عَلَى جَمِيعِ الأَنْشِطَةِ المُمْكِنَةِ وَالرُمُوز الحَقِيقِيَّةِ فِي بَياناتٍ التَدْرِيبِ. مِن الجَدِيرِ بِالذَكَر أَنَّهُ خِلالَ مَرْحَلَةِ التَدْرِيبِ، تَمَّ اِسْتِبْعادِ الأَمْثِلَة الَّتِي تَحْتَوِي عَلَى رُمُوزِ التَعْبِئَةِ أَو رُمُوزِ “بِدايَةِ التَسَلْسُل” مِن حِسابِ الخَسارَةِ. هٰذا يَضْمَن أَنَّ النَمُوذَجِ يَتَجاهَل هٰذِهِ الأَمْثِلَة أَثْناءَ حِسابِ التَدَرُّج مِمّا يَمْنَع تَدَهْوُرِ أَداءِ النَمُوذَجِ المُحْتَمَلِ. بَدَلاً مِن ذٰلِكَ، قَرَّرْنا الاِحْتِفاظِ بِرُمُوز “نِهايَةِ الجُمْلَةُ” حَتَّى يَتَمَكَّن النَمُوذَجِ مِن تَعْلَم التَنَبُّؤ بِمَتَّى يَجِب أَنَّ تَنْتَهِي تَسَلْسُلُ الأَنْشِطَةِ.
قُمْنا بِتَقْسِيم البَياناتِ بِنِسْبَةِ 80/10/10 (تَدْرِيبِ، تَحَقَّقَ وَاِخْتِبارِ). قُمْنا بِضَبْطِ مُعَلِّمات النَمُوذَجِ الفائِقَةِ بِاِسْتِخْدامِ إِطارِ عَمَلٍ التَحْسِين Optuna (optuna). يُوَضِّح الجَدْوَلُ [tab:grid-search] مِساحَةِ البَحْثِ المُعْتَبَرَةِ وَأُفَضِّل المُعَلِّماتُ المَوْجُودَةِ.
خِلالَ تَجارِبنا (أَنْظُر الجَدْوَلُ [tab:results])، هَدَفَنا إِلَى مُقارَنَةً كَيْفِيَّةِ أَداءِ النَمُوذَجِ بِاِسْتِخْدامِ طَرِيقَتَيْنِ مُخْتَلِفَتَيْنِ لترميز المَواقِعِ (PE وَ SPE) وَأَحْجام نَمُوذَجَ مُخْتَلِفَةٍ. كَما شَمِلَنا نَمُوذَجاً أَساسِيّا تَخَطَّيْنا فِيهِ مَرْحَلَةِ PE. لِكُلِّ تَكْوِينِ نَمُوذَجَ، أَجْرَيْنا 10 تَجارِبِ مَعَ تَقْسِيمات تَدْرِيبِ-تَحَقَّقَ-اِخْتِبارِ عَشْوائِيَّةٍ وَتَهْيِئَةِ. ثُمَّ أَبْلَغنا عَن المُتَوَسِّطِ وَالاِنْحِرافِ المعياري لِلدِقَّة عِنْدَ \(k\). تُظْهِر النَتائِجِ أَنَّ هُناكَ فائِدَةٍ واضِحَةٍ فِي اِسْتِخْدامِ طَرِيقَةِ SPE، وَالَّتِي تَحَسُّنِ أَداءِ النَمُوذَجِ بِشَكْلٍ كَبِيرٍ عَبْرَ جَمِيعِ أَحْجام النَمُوذَجِ. عِلاوَةً عَلَى ذٰلِكَ، فَإِنَّ مَقايِيسِ النَمُوذَجِ مُسْتَقِرَّةٍ إِلَى حَدٍّ ما وَتُشْبَع عِنْدَ حَجْمِ نَمُوذَجَ 64، وَتَتَحَسَّن فَقَط بِشَكْلٍ طَفِيفٍ بِاِسْتِخْدامِ تَضْمِينِ بِحَجْمِ 128. هٰذا يُشِير إِلَى أَنَّ النَمُوذَجِ لا يَمِيل إِلَى التَراكُم الزائِد.
مِن النَتائِجِ المُهِمَّةِ الأُخْرَى أَنَّ النَمُوذَجِ لا يَبْدُو أَنَّهُ يَسْتَفِيد مِن طَرِيقَةِ PE الكلاسِيكِيَّةِ الَّتِي تَرْمُز فَقَط إِلَى تَرْتِيبَ الأَنْشِطَةِ (isa). قَد يَكُون هٰذا بِسَبَبِ طَبِيعَةِ هٰذِهِ العَمَلِيّاتِ، حَيْثُ يَعْتَمِد النَشاطِ التالِي أَكْثَرَ عَلَى الأَنْشِطَةِ الَّتِي تَمَّ تَنْفِيذِها بِالفِعْلِ بَدَلاً مِن تَرْتِيبها التسلسلي. هٰذا يُشِير أَيْضاً إِلَى سَبَبُ اِسْتِفادَةُ النَمُوذَجِ مِن تَقْنِيَّةٍ SPE: مِن المُرَجِّحِ أَنَّ يَتِمّ تَنْفِيذِ الأَنْشِطَةِ مِن نَوْعٍ مُماثِلٍ فِي قُرْبَ مُتَقارِبٌ. نَتِيجَةَ لِذٰلِكَ، فَإِنَّ المَعْلُوماتِ السياقيه حَوْلَ مَوْقِعِ نَشاطِ ضِمْنَ الرَسْمُ البَيانِيّ لِلأُنْطُولُوجِيا الَّذِي يَصِف العَلاقاتِ بَيِّنَ الأَنْشِطَةِ فِي العَمَلِيَّةِ أَكْثَرَ أَفادَهُ مِن مَوْقِعِهِ ضِمْنَ تَسَلْسُلُ فَرْدِيٌّ.
تَقَدَّمَ هٰذِهِ الوَرَقَةَ نَهْجاً لِمُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة، وَتَطْبِيقِها بِشَكْلٍ خاصٍّ فِي مَجالِ إِدارَةِ السَكْتَة الدماغيه الصَعْبِ. مِن خِلالَ الاِسْتِفادَةِ مِن قُوَّةٍ النَماذِجِ المَبْنِيَّةُ عَلَى المُحَوِّلات، لَقَد أَظْهَرَنا الإِمْكاناتُ لِلتَنَبُّؤ الدَقِيقِ لِلمَعْلُوماتِ الحَرِجَةِ ضِمْنَ سِجِلّاتِ العَمَلِيّاتِ الجارِيَةِ. الاِبْتِكارِ الرَئِيسِيُّ لَدَينا، دَمْجِ المَعْرِفَةِ المُحَدَّدَةِ لِلمَجال مِن خِلالَ ترميز المَواقِعِ الهَيْكَلِيَّةِ، قَد أَظْهَرَ زِيادَةِ فِي دِقَّةٍ التَنَبُّؤ.
النَتائِجِ التَجْرِيبِيَّة الأَوَّلِيَّةِ المُقَدَّمَةِ فِي هٰذِهِ الدِراسَةُ مُشَجِّعَةً، وَتُشِير إِلَى فَعّالِيَّةِ نَهْجنا المُقْتَرَحِ. تُشِير هٰذِهِ النَتائِجِ إِلَى أَنَّ مُراقَبَةِ العَمَلِيّاتِ التَنَبُّؤِيَّة، بِاِسْتِخْدامِ النَماذِجِ المَبْنِيَّةُ عَلَى المُحَوِّلات وَالمَعْرِفَةِ الأُنْطُولُوجِيَّة المُحَدَّدَةِ لِلمَجال، تَحْمِل إِمْكاناتِ كَبِيرَةٍ فِي تَوْفِيرِ دَعْمِ قَرارَيْ قِيَمِ فِي السِينارِيُوهات الطِبِّيَّةِ المُعَقَّدَةِ.
فِي المُسْتَقْبَلِ، سَتَكُون الأَبْحاثِ وَالتَجارِبُ الإِضافِيَّة حاسِمَةً لِلتَحَقُّقِ مِن صِحَّةِ نَهْجنا وَتَحْسِينه. عَلَى وَجْهِ الخُصُوصِ، نَوَدّ أَنَّ نُجَرِّب تَقْنِيّاتِ تَضْمِينِ مُخْتَلِفَةٍ لِعَقْدِ الرَسْمُ البَيانِيّ، وَاِسْتِكْشاف هٰذِهِ المَنْهَجِيَّة بِاِسْتِخْدامِ مَجْمُوعاتٍ بَياناتٍ مُخْتَلِفَةٍ، حَيْثُ يُمْكِننا اِسْتِكْشافٍ الجَوانِبِ الزَمَنِيَّةِ بِعُمْقِ.
نَوَدّ أَنَّ نَشْكُر (chameleon) لِتَوْفِيرِ المَوارِدِ الحاسُوبِيَّة الأَساسِيَّةِ الَّتِي سَهَّلَت تَنْفِيذِ تَجارِبنا وَتَدْرِيبِ نَمُوذَجنا. كرِيسْتُوفَر أَرْوَيْنَ وماركو دوسينا هُما طالِباً دُكْتُوراهُ مُسَجَّلانِ فِي الدُكْتُوراه الوَطَنِيَّةِ فِي الذَكاء الاِصْطِناعِيِّ، الدَوْرَةِ الثامِنَةِ وَالثَلاثُونَ، دَوْرَةِ عُلُومِ الصِحَّةِ وَالحَياةِ، الَّتِي تُنَظِّمها جامِعَةِ كامبوس بِيُو-ميديكو دِي رُوما.
الكود المصدري لَنَمُوذَج المُحَوِّلُ وَتَنْفِيذِ وَحْدَةِ (SPE) مُتاحٌ عَلَى: github.com/christopher-irw/proformer_ce. يَحْتَوِي المُسْتَوْدَع عَلَى الكود اللازِمِ لِتَدْرِيبِ نَمُوذَجَ المُحَوِّلُ عَلَى تَحَدِّي (BPI 2012). نُوَفِّر أَيْضاً مِثالاً لَأُنْطُولُوجِيا بَسِيطَةً جِدّاً لِلأَفْعال المَوْجُودَةِ فِي مَجْمُوعَةِ البَياناتِ لِجَعْلِ طَرِيقَةِ (SPE) قابِلَةٍ لِلتَطْبِيقِ.