latex

مُلَخَّصُ

لَقَد أَصْبَحَ النَمُوذَجِ التوليدي مُتَزايِدٍ الأَهَمِّيَّةِ فِي تَعْلَم الآلَةِ وَنَماذِجِ التَعَلُّمِ العَمِيقِ. مِن بَيِّنَ النَماذِجِ التوليديه الشائِعَةُ تُوجَد تَدَفُّقاتٍ التَطْبِيعِ، الَّتِي تَمَكَّنَ مِن تَقْدِيرٍ الاِحْتِمالِيَّة الدَقِيقَةِ مِن خِلالَ تَحْوِيلِ تَوْزِيعِ أَساسِيٌّ عَبْرَ تَحْوِيلاتِ ثُنائِيَّةٍ الشَكْلِ. تَوْسِيعِ إِطارِ عَمَلٍ تَدَفُّقِ التَطْبِيعِ لِيَشْمَل تَدَفُّقاتٍ مُفَهْرَسه زَمَنِيّا قَدَّمَ تَدَفُّقاتٍ التَطْبِيعِ الدِينامِيكِيَّة، أَداةٌ قَوِيَّةٍ لنمذجه السَلاسِل الزَمَنِيَّةِ، العَمَلِيّاتِ العَشْوائِيَّةِ، وَمُعادَلات التَفاضُل العَشْوائِيَّةِ العَصَبِيَّةِ. فِي هٰذا العَمَلِ، نَقْتَرِح مُتَغَيِّرا جَدِيداً مِن تَدَفُّقاتٍ التَطْبِيعِ الدِينامِيكِيَّة، تَدَفُّقِ التَطْبِيعِ المُعَدَّلِ زَمَنِيّا (TCNF)، اِسْتِناداً إِلَى تَشْوِيهَ زَمَنِيٍّ لِحَرَكَةِ براونيه وَالَّذِي يُشَكِّل عائِلَةِ مُتَنَوِّعَةٍ وَواسِعَةً مِن العَمَلِيّاتِ الغاوسيه. يُمْكِننا هٰذا النَهْجِ مِن نمذجه بِعَضِّ المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ الَّتِي لا يُمْكِن نمذجتها بِخِلافِ ذٰلِكَ، بِما فِي ذٰلِكَ تِلْكَ القِياسِيَّةِ مِثْلَ عَمَلِيَّةِ اورنشتاين-اولينبك المَعْرُوفَةِ، وَيُعَمِّم المنهجيات السابِقَةِ، وَيُؤَدِّي إِلَى نَتائِجِ مُحَسِّنه وَقُدْرَةِ أَفْضَلَ عَلَى الاِسْتِدْلال وَالتَنَبُّؤ.

مُقَدِّمَةِ

تُسْتَخْدَم الأَنْظِمَةِ الدِينامِيكِيَّة عَلَى نِطاقِ واسِعٍ فِي مَجالاتِ عِلْمِيَّةٍ مُتَعَدِّدَةِ مِثْلَ المالِيَّةِ، عُلُومِ الأَرْضِ، وَالفِيزياء. تَتَضَمَّن تَمْثِيلِ هٰذِهِ الأَنْظِمَةِ عادَةً مُعادَلات تَفاضُلِيَّةً عادِيَّةٍ أَو مُعادَلات تَفاضُلِيَّةً اِحْتِمالَيْهِ (oksendal2013stochastic) عِنْدَما يَتِمّ الأَخْذِ بِعَيْنِ الاِعْتِبارِ الضَوْضاء وَالاِضْطِرابات، بِالإِضافَةِ إِلَى المُكَوَّنِ الحَتْمِيَّ. تَشْمَل التَطْبِيقات الحاسِمَةِ نمذجه التَقَلُّبات فِي البَياناتِ المالِيَّةِ، أَو تَقْدِيرٍ الشُكُوكَ وَنَشَرَها فِي عُلُومِ الأَرْضِ. يُعْتَبَر التَعامُلِ مَعَ هٰذِهِ الأَنْظِمَةِ مِن خِلالَ نمذجه السَلاسِل الزَمَنِيَّةِ وَتَعْلَم الآلَةِ نَهْجاً شَهِدَ اِزْدِيادا فِي الشَعْبِيَّةِ، خاصَّةٍ مُؤَخَّراً، بِفَضْلِ النَمُوذَجِ التوليدي، لِتَطْبِيقاتِ التَنَبُّؤ، التَصْفِيَةِ، أَو الاِسْتِيفاء مَعَ مَفْهُومِ الشَكُّ فِي السَلاسِل المُوَلِّدَة.

تَشْمَل النَماذِجِ التوليديه الشائِعَةُ الشَبَكاتِ العَصَبِيَّةِ التوليديه المُعارَضَةِ (conf/nips/GoodfellowPMXWOCB14) والمشفرات التِلْقائِيَّة الاختلافيه (journals/corr/KingmaW13)، وَلٰكِن أَيْضاً مُؤَخَّراً تَدَفُّقاتٍ التَطْبِيعِ (jmlr/PapamakariosNRM21, journals/pami/KobyzevPB21) وَالنَماذِج المَبْنِيَّةُ عَلَى الاِنْتِشارِ/التَقْيِيم (conf/nips/SongE19). عَلَى الرَغْمِ مِن أَنَّ هٰذِهِ النَماذِجِ يُمْكِن تَطْبِيقِها لَتَوْلِيد السَلاسِل الزَمَنِيَّةِ، إِلّا أَنَّها لا تُناسِب المُهِمَّةِ لِأَنَّها تَعامُلِ هٰذِهِ البَياناتِ كَمُتَّجِهات فِي \(\mathbb{R}^{T}\)، حَيْثُ \(T\) هُوَ عَدَدٍ خَطَواتٍ الزَمَنِ، دُونِ مُراعاةِ البُنْيَةِ السَبَبِيَّة. تَمَّ إِجْراءِ تَكْيِيفات لِلشَبَكات العَصَبِيَّةِ التوليديه المُعارَضَةِ، المشفرات التِلْقائِيَّة الاختلافيه، وَتَدَفُّقات التَطْبِيعِ لَبَيانات السَلاسِل الزَمَنِيَّةِ فِي (conf/nips/YoonJS19, kidger2021neural),(li2020scalable, zeng2023latent),(mehrasa2019point, conf/iclr/ShchurBG20) عَلَى التَوالِي. فِي هٰذا العَمَلِ، نُرَكِّز عَلَى تَدَفُّقاتٍ التَطْبِيعِ لَقُدْرَتها عَلَى الوُصُولِ إِلَى اِحْتِمالاتِ صَرِيحَةٌ، وَهُوَ أَمْرٌ حاسِمٍ لِلتَطْبِيقات عِنْدَما يَكُون تَقْدِيرٍ الشُكُوكَ أَو الكَشْفِ عَن الشُذُوذِ مَطْلُوباً.

تَعْتَمِد تَدَفُّقاتٍ التَطْبِيعِ عَلَى صِيغَةِ تَغْيِيرٍ المُتَغَيِّراتِ المَشْهُورَةِ الَّتِي تُوَفِّر تَعْبِيراً عَن دالَّةٍ الكَثافَةِ الاِحْتِمالِيَّة لِلتَحْوِيلاتِ الديفيومورفيه لَمُتَغَيِّر عَشْوائِيٍّ. مِن خِلالَ اِخْتِيارِ التَحْوِيلاتِ (أَو تَراكِيبها) بِعِنايَةٍ، إِذا كانَت الكَثافَةِ الأَوَّلِيَّةِ قابِلَةٍ لِلتَعامُلِ (اِحْتِمالِ صَرِيحٍ وَعَيْنه سَهْلَةً، فِي مُعْظَمَ الحالاتِ غاوسيه)، يُمْكِن التَلاعُبِ بِالكَثافَة المُحَوِّلَة وَأَخْذٍ العَيْنات مِنها بِسُهُولَةٍ أَيْضاً، شَرِيطَةَ أَنَّ يُمْكِن حِسابِ يعقوبي التَحْوِيلِ بِكَفاءَة. مِن خِلالَ النَظَرِ فِي الحَدِّ النَظَرِيّ حَيْثُ يَتِمّ تَطْبِيقِ عَدَدٍ لا نِهائِيِّ مِن التَحْوِيلاتِ، يُمْكِننا اِسْتِنْتاجِ تَدَفُّقِ التَطْبِيعِ المُسْتَمِرِّ (DBLP:conf/iclr/GrathwohlCBSD19). فِي هٰذِهِ الحالَةِ، يُوصَف تَدَفُّقِ التَطْبِيعِ بِمُعادَلَةٍ تَفاضُلِيَّةً عادِيَّةٍ يُمْكِن دَمْجها لِلحُصُولِ عَلَى الكَثافَةِ الناتِجَةِ. يَزِيد هٰذا النَهْجِ مِن كَفاءَةِ الحِسابِ لِهٰذِهِ الفِئَةِ مِن النَماذِجِ مِن خِلالَ اِسْتِبْدالِ مُحَدَّدٍ يعقوبي بِدَمْجِ أَثْرِهِ.

تَمَّ تَوْسِيعِ تَدَفُّقاتٍ التَطْبِيعِ إِلَى الإِعْدادُ الدِينامِيكِيّ مِن خِلالَ اِسْتِبْدالِ التَوْزِيعِ الأَساسِيُّ القابِل لِلتَعامُلِ بِعَمَلِيَّةِ اِحْتِمالَيْهِ قابِلَةٍ لِلتَعامُلِ، أَيّ حَرَكَةِ براونيه (deng2020modeling)، مِمّا يَجْعَل هٰذا النَوْعِ مِن النَماذِجِ أَكْثَرَ كَفاءَةِ لَتَوْلِيد السَلاسِل الزَمَنِيَّةِ. وَمَعَ ذٰلِكَ، لُوحِظَ فِي (deng2021continuous) أَنَّ هٰذِهِ النَماذِجِ غَيْرِ قادِرَةٍ نَظَرِيّا عَلَى التَعامُلِ مَعَ بِعَضِّ العَمَلِيّاتِ الأَساسِيَّةِ وَالشائِعَة، مِثْلَ عَمَلِيَّةِ اورنشتاين-اولينبك الكلاسِيكِيَّةِ.

وَبِالتالِي، فِي هٰذِهِ الوَرَقَةَ، نَقْتَرِح تَعْمِيماً لِهٰذِهِ النَهْجِ مِن خِلالَ اِسْتِخْدامِ عائِلَةِ كَبِيرَةٍ مِن العَمَلِيّاتِ الغاوسيه كَعَمَلِيَّة أَساسِيَّةٍ بَدَلاً مِن الحَرَكَةِ البراونيه التَقْلِيدِيَّةِ. يَتِمّ بِناءَ العَمَلِيّاتِ الغاوسيه مِن خِلالَ تَحْوِيلِ الحَرَكَةِ البراونيه القِياسِيَّةِ عَبْرَ الزَمَنِ، مِمّا يُؤَدِّي إِلَى تَدَفُّقِ التَطْبِيعِ المُتَغَيِّر بِالزَمَنِ (TCNF)، وَهُوَ نَمُوذَجَ يَمْتَلِك خَصائِصِ رِياضِيَّةٍ تُمَكِّنه مِن وَصَفَ الدِينامِيكِيّات وَمُعادَلات التَفاضُل الاِحْتِمالِيَّة الَّتِي لا يُمْكِن لِلنَماذِج السابِقَةِ المَبْنِيَّةُ عَلَى التَدَفُّقِ اِلْتِقاطها، مَعَ الحِفاظِ عَلَى التَعْبِيرِيَّة لَتَدَفُّقات التَطْبِيعِ الدِينامِيكِيَّة. نُؤَكِّد هٰذِهِ النَتائِجِ مِن خِلالَ تَجارِبِ عَدَدَيْهِ عَلَى عِدَّةٍ عَمَلِيّاتِ مَعْرُوفَةٍ.

يَتِمّ تَنْظِيمِ بَقِيَّةِ هٰذِهِ الوَرَقَةَ عَلَى النَحْوِ التالِي: نُقَدِّم أَوَّلاً، فِي القِسْمِ [background]، نَظْرَةٌ عامَّةٍ عَلَى مُعادَلات التَفاضُل الاِحْتِمالِيَّة العَصَبِيَّةِ، حَيْثُ كُلِّ مِن الاِنْجِرافِ وَالاِنْتِشار هُما شَبَكاتِ عَصَبِيَّةُ، وَنَهْجٍ تَدَفُّقِ التَطْبِيعِ الدِينامِيكِيّ وَمُناقَشَة حَوْلَ القُيُودِ الجَوْهَرِيَّة لِهٰذِهِ النَماذِجِ. بُعْدَ ذٰلِكَ، فِي القِسْمِ [tcnf]، نُقَدِّم نَمُوذَجنا وَنِصْفِ خَصائِصه وخوارزميه التَدْرِيبِ. أَخِيراً، يَتِمّ عَرَضَ النَتائِجِ الكَمِّيَّةِ فِي القِسْمِ [quantResults] وَمُقارَنَتها بِنَماذِج أُخْرَى مَبْنِيَّةٌ عَلَى التَدَفُّقِ، وَتَقْدِيمِ المُلاحَظاتِ الخِتامِيَّةُ فِي القِسْمِ [conclusion].

الخَلْفِيَّةِ

الأَعْمالِ ذاتِ الصِلَةِ

مُعادَلات التَفاضُل العَشْوائِيَّةِ العَصَبِيَّةِ

نَعْتَبِر فَضاءِ اِحْتِمالَيَّ مفلتر \((\Omega, \mathcal{F}, P)\) وَأُفُقُ زَمَنِيٍّ \(T\). يَعْرِف عَمَلِيَّةِ الاِنْتِشارِ \(X = \{X_t\}_{t\in [0, T]}\) بِواسِطَةِ مُعادَلَةِ التَفاضُل العَشْوائِيَّةِ لايتو (SDE): \[\begin{aligned} \label{eq:EDS_X} dX_t = \mu(X_t, t)dt + \sigma(X_t,t)dW_t, t\in [0, T]\end{aligned}\] حَيْثُ \(W = \{W_t\}_{t\in [0, T]}\) هُوَ عَمَلِيَّةِ وَيُنِر المعياريه المتكيفه ذاتِ الأَبْعاد \(m\). الدوال \(\mu:\mathbb{R} ^d \times [0,T] \longrightarrow \mathbb{R} ^d\) وَ \(\sigma:\mathbb{R} ^d \times [0,T] \longrightarrow \mathbb{R} ^{d\times m}\) هِيَ مُعامَلاتِ الاِنْجِرافِ وَالاِنْتِشار عَلَى التَوالِي. عِنْدَما يَتِمّ تَنْفِيذِ \(\mu\) وَ \(\sigma\) بِواسِطَةِ الشَبَكاتِ العَصَبِيَّةِ، يُعَيِّن ال SDE ك SDE عَصَبِيَّةُ (tzen2019neural, liu2019neural).

تَمَّ اِقْتِراحِ العَدِيدَ مِن الأَعْمالِ لِتَعْلَم ال SDEs العَصَبِيَّةِ بِاِسْتِخْدامِ إِطارات نمذجه توليديه مُخْتَلِفَةٍ بِما فِي ذٰلِكَ المشفرات التِلْقائِيَّة الاختلافيه (VAEs) (li2020scalable, zeng2023latent) وَالشَبَكات العَدائِيَّةَ التوليديه (GANs) (kidger2021neural). فِي هٰذِهِ الوَرَقَةَ، نُرَكِّز بِشَكْلٍ خاصٍّ عَلَى نَمُوذَجَ التَدَفُّقِ التطبيعي.

تَدَفُّقاتٍ التَطْبِيعِ

تَدَفُّقِ التَطْبِيعِ (jmlr/PapamakariosNRM21, journals/pami/KobyzevPB21, DBLP:conf/iclr/GrathwohlCBSD19) هُوَ تَحْوِيلِ مُصَمِّمٌ لنمذجه مُتَغَيِّر عَشْوائِيٍّ \(X\) وَتَوْزِيعه المُعَقَّد \(p_X\) مِن خِلالَ تَوْزِيعِ أَساسِيٌّ \(p_Z\) وَدالّه ثُنائِيَّةٍ الاِتِّجاهِ قابِلَةٍ لِلتَفاضُل \(f:\mathbb{R} ^d \longrightarrow \mathbb{R} ^d\). تَسْمَح هٰذِهِ النمذجه بِتَقْدِيرٍ الكَثافَةِ الدَقِيقِ وَالأَخْذ العَيْنِيّ الفَعّالَ، بِاِسْتِخْدامِ صِيغَةِ تَغْيِيرٍ المُتَغَيِّر لِ \(X=f(Z)\):

\[\log p_X(x) = \log p_Z(z) - \log \left|\det J_{f}(z)\right|\]

حَيْثُ يَكُون الجاكوبي \(J_f(z) = \left[\frac{\partial f_i}{\partial z_j} \right]_{1\leq i,j \leq d}\) هُوَ مَصْفُوفه \(d\times d\) لِجَمِيعِ المُشْتَقّاتِ الجُزْئِيَّةِ لِ \(f\).

لَقَد قامَت الأَعْمالِ السابِقَةِ بِتَوْسِيعِ هٰذا الإِطارِ لنمذجه السَلاسِل الزَمَنِيَّةِ وَالعَمَلِيّاتِ العَشْوائِيَّةِ مِن خِلالَ اِسْتِخْدامِ تَطابُقِ مُسْتَمِرٍّ مُفَهْرَس بِالزَمَنِ \(F(., t)\)، إِلَى جانِبِ حَرَكَةِ براونيه كَعَمَلِيَّة أَساسِيَّةٍ، مِمّا أَدَّى إِلَى ظُهُورِ عَمَلِيَّةِ تَدَفُّقِ الزَمَنِ المُسْتَمِرِّ (deng2020modeling): \[\begin{aligned} X_t = F(W_t, t).\end{aligned}\]

تَقْتَرِح طَرِيقَةِ أُخْرَى (deng2021continuous) دَمْجِ الدِينامِيكِيّات الكامِنَةِ مِن عَمَلِيَّةِ اورنشتاين-اولينبك مَعَ تَدَفُّقِ التَطْبِيعِ لنمذجه المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ بِفَعّالِيَّةٍ.

لَقَد أَظْهَرَت هٰذِهِ النَماذِجِ فَعّالِيَّةِ تَدَفُّقاتٍ التَطْبِيعِ الدِينامِيكِيَّة فِي اِلْتِقاطِ السُلُوكِ المُعَقَّد لِأَنْواعِ مُخْتَلِفَةٍ مِن العَمَلِيّاتِ العَشْوائِيَّةِ وَالمُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ. وَمَعَ ذٰلِكَ، مِن المُهِمِّ التَأْكِيدُ عَلَى أَنَّ هٰذِهِ النَماذِجِ لَها قُيُودٍ جَوْهَرِيَّةٍ. تُنْشَأ إِحْدَى القُيُودِ عِنْدَ تَطْبِيقِ ليما ايتو عَلَى عَمَلِيَّةِ تَدَفُّقِ الزَمَنِ المُسْتَمِرِّ لَاِشْتِقاق عَمَلِيَّةِ اورنشتاين-اولينبك الأُحادِيَّة المَوْصُوفَة بِالمُعادَلَة:

\[\begin{aligned} \label{eq:ou} dY_t = -a(Y_t - b)dt + \sigma dW_t\end{aligned}\]

بِالفِعْلِ، مِن خِلالَ تَطْبِيقِ ليما ايتو عَلَى \(F(W_t,t)\) نَحْصُل عَلَى: \[\begin{aligned} \label{eq:NF-OU} \begin{split} dF(W_t,t) = & \frac{\partial F}{\partial t}(W_t,t)dt + \frac{\partial F}{\partial x}(W_t,t)dW_t \\ & + \frac{1}{2}\frac{\partial^2 F}{\partial x^2}(W_t,t)dt \end{split}\end{aligned}\]

مِن خِلالَ المُقارَنَةِ بَيِّنَ كُلّاً مِن المُعادَلَةَ وَالمُعادَلَة ، نَسْتَنْتِج أَنَّهُ لنمذجه عَمَلِيَّةِ اورنشتاين-اولينبك، يَجِب أَنَّ يَكُون \(\frac{\partial F}{\partial x}(W_t,t) = \sigma \)، مِمّا يَعْنِي أَنَّ \(F(W_t, t) = \sigma W_t + g(t)\)، حَيْثُ \(g\) هِيَ دالَّةٍ قابِلَةٍ لِلتَفاضُل مُعْطاة. وَمَعَ ذٰلِكَ، فَإِنَّ التَفاضُل لِهٰذِهِ العَلاقَةِ بِالنِسْبَةِ لِ \(t\) وَإِدْخالها فِي يُؤَدِّي إِلَى الشَرْطُ التالِي: \[\begin{aligned} \label{OUabsurde} \frac{dg}{dt}(t) +a g(t) -a b= -a\sigma W_t\end{aligned}\] المُعادَلَةَ غَيْرِ قابِلَةٍ لِلتَطْبِيقِ حَيْثُ أَنَّ الجانِبِ الأَيْسَر هُوَ دالَّةٍ حَتْمِيَّةِ بِالنِسْبَةِ لِ \(t\) بَيْنَما الجانِبِ الأَيْمَن هُوَ دالَّةٍ عَشْوائِيَّةٍ تَعْتَمِد عَلَى \(W_t\). وَبِالتالِي، تُظْهِر عَمَلِيَّةِ تَدَفُّقِ الزَمَنِ المُسْتَمِرِّ قُيُوداً وَتُقَصِّر فِي قُدْرَتِها عَلَى نمذجه العَمَلِيّاتِ العَشْوائِيَّةِ بِفَعّالِيَّةٍ.

فِي القِسْمِ التالِي، نَقْتَرِح نَمُوذَجاً يُمْكِنه مُعالَجَةِ هٰذا القَيْد وَتَحْقِيقِ نَتائِجِ مُحَسِّنه.

التَدَفُّقِ التطبيعي الدِينامِيكِيّ مَعَ تَغْيِيرٍ الزَمَنِ

تَدَفُّقِ التَطْبِيعِ المُتَغَيِّر بِالزَمَنِ

نَقْتَرِح نمذجه عَمَلِيَّةِ عَشْوائِيَّةٍ مُراقَبَةِ، المُشارِ إِلَيها ب \(X = \{X_t\}_{t\in [0, T]}\)، مِن خِلالَ دَمْجِ تَدَفُّقِ التَطْبِيعِ وَعَمَلِيَّةُ وَيُنِر المُتَغَيِّرَة بِالزَمَنِ لَاِلْتِقاط السُلُوكِ الدِينامِيكِيّ لِ \(X_t\) بِناءَ عَلَى سِلْسِلَةٍ زَمَنِيَّةٍ مُحَقَّقَةً \(\{(x_{t_i},t_i)\}_{i=1}^n\). فِي هٰذِهِ الوَرَقَةَ، نَتَناوَل صَراحَةً الحالَةِ أُحادِيَّةُ البُعْدِ، مَعَ تَطْوِيرِ مُسْتَمِرٍّ لِلحالَةِ العامَّةِ الَّتِي تَتَطَلَّب تَغْيِيراً زَمَنِيّا مُناسِبا لِكُلِّ بُعْدَ. نُقَدِّم مَفْهُومِ تَدَفُّقِ التَطْبِيعِ المُتَغَيِّر بِالزَمَنِ (TCNF)، المعرف كَما يَلِي:

\[\begin{aligned} X_t = f_\theta \left(W_{\phi(t)},\phi(t)\right), \quad \forall t \in [0,T],\end{aligned}\]

حَيْثُ \(f_\theta(.,t):\mathbb{R} \longrightarrow \mathbb{R}\) هِيَ تَبايُنٍ قابِلٌ لِلتَفاضُل مُعَلِّمٍ ب \(\theta\)، بَيْنَما \(W_{\phi(t)}\) يُشِير إِلَى حَرَكَةِ براونيه مَعَ تَغْيِيرٍ زَمَنِيٍّ (revuz2013continuous). التَغْيِيرِ الزَمَنِيِّ مُعْطَى بِواسِطَةِ \(\phi : \mathbb{R} ^{+} \longrightarrow \mathbb{R} ^{+}\)، وَهِيَ دالَّةٍ قابِلَةٍ لِلقِياس، مُوجِبه وَمُتَزايِده. خَصائِصِ القابِلِيَّةِ لِلقِياس وَالمُوجِبَة تَضَمَّنَ التَعْرِيفِ الصَحِيحِ لِ \(W_{\phi(t)}\)، بَيْنَما تَضَمَّنَ خاصَّيْهِ التَزايُدِ وُجُودِ لَحَظاتها. وَبِالتالِي، يَجِب أَنَّ يَمْتَلِك الشَبَكَةِ العَصَبِيَّةِ الَّتِي تنمذج التَغْيِيرِ الزَمَنِيِّ خَصائِصِ مُوجِبه وَمُتَزايِده بِطَبِيعَتها. لِلتَغْيِيرِ الزَمَنِيِّ تَطْبِيقات هامَّةً حَيْثُ يُنْتِج عائِلَةِ مِن العَمَلِيّاتِ الغاوسيه الَّتِي هِيَ أَكْثَرَ عُمُومِيَّةٍ مِن حَرَكَةِ براونيه. نَظَرِيَّةَ دوبينز-شوارتز (revuz2013continuous) تُؤَكِّد أَيْضاً عَلَى هٰذِهِ الخاصِّيَّة حَيْثُ تَنُصّ عَلَى أَنَّ كُلِّ مارتينجال مَحَلِّيٍّ هُوَ بِبَساطَة حَرَكَةِ براونيه مُتَغَيِّره بِالزَمَنِ.

لُذّاً، مِن خِلالَ جَعَلَ العَمَلِيَّةِ الأَساسِيَّةِ لِنَمُوذَجِنا حَرَكَةِ براونيه مُتَغَيِّره بِالزَمَنِ، يُمْكِننا اِلْتِقاطِ جَمِيعِ حالاتِ المارتينجالات المَحَلِّيَّةِ والسيميمارتينجالات، وَبِالتالِي تَعْمِيمِ إِعْدادِ CTFP. فِي الواقِعِ، يُمْكِن التَعْبِيرِ عَن حَلٍّ المُعادَلَةَ  كَما يَلِي: \[\begin{aligned} Y_t = Y_0e^{-at} + b(1-e^{-at}) + \frac{\sigma e^{-at}}{\sqrt{2a}}W_{e^{2at}-1}\end{aligned}\] وَالَّذِي يُمْكِن نمذجته بِشَكْلٍ صَحِيحٌ بِواسِطَةِ TCNF. الحالاتِ الأَكْثَرَ عُمُومِيَّةٍ مِثْلَ العَمَلِيّاتِ ذاتِ التَقَلُّب المُعْتَمَدُ عَلَى الزَمَنِ يُمْكِن أَيْضاً التَعْبِيرِ عَنها مِن خِلالَ تَغْيِيرٍ زَمَنِيٍّ وَبِالتالِي يُمْكِن نمذجتها بِواسِطَةِ TCNF. أَخِيراً، بِالنِسْبَةِ لِ \(\phi(t) = t\) نَسْتَعِيد إِعْدادِ CTFP، وَالَّذِي يُناسِب نمذجه المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ الَّتِي لا تَتَطَلَّب تَغْيِيراً زَمَنِيّا مِثْلَ حَرَكَةِ براونيه هَنْدَسِيّه (oksendal2013stochastic).

دالَّةٍ تَغْيِيرٍ الوَقْتِ

لِلتَعامُلِ مَعَ دالَّةٍ تَغْيِيرٍ الوَقْتِ، نَسْتَخْدِم شَبَكَةِ عَصَبِيَّةُ مُحَدَّبه تَضَمَّنَ تُدْرَجا مُوجِبا، مِمّا يَضْمَن إِخْراجا أُحادِيٍّ الاِتِّجاهِ. عَلَى وَجْهِ التَحْدِيدِ، نَسْتَخْدِم هَنْدَسَةُ (M-MGN) (chaudhari2023learning) المَبْنِيَّةُ عَلَى وَحَداتٍ شَبَكَةِ \(K\) مَعْرِفَةُ كَما يَلِي: \[\begin{aligned} \begin{split} \Tilde{t}_k &= W_k\times t + b_k, \\ \text{M-MGN}(t) &= a + V^\top V t + \sum_{k=1}^K s_k(\Tilde{t}_k) \times W_k^\top \sigma_k(\Tilde{t}_k) \end{split}\end{aligned}\]

حَيْثُ \(W_k, b_k \in \mathbb{R} ^{l \times 1}\) هُما عَلَى التَوالِي مُتَّجِهات الوَزْنِ وَالاِنْحِياز لِلطَبَقَةِ \(k^{th}\)، \(\sigma_k:\mathbb{R} ^l \longrightarrow \mathbb{R} ^l\) هِيَ دالَّةٍ التَنْشِيط وَ\(s_k :\mathbb{R} ^l \longrightarrow \mathbb{R}\) هِيَ مُضادٍّ التَفاضُل لَها. \(a \in \mathbb{R}\) وَ\(V \in \mathbb{R} ^{l \times 1}\) هُما مُعَلِّمات شَبَكَةِ إِضافِيَّةً. نَظَراً لِأَنَّ نَتِيجَةَ (M-MGN) لَيِسَت بِالضَرُورَةِ مُوجِبه، نُطَبِّق تَرْجَمَةٍ لِلإِخْراج لِضَمانِ أَنَّ تَغْيِيرٍ الوَقْتِ يَكُون مُوجِبا.

خوارزميه التَدْرِيبِ

الهَدَفَ هُوَ تَدْرِيبِ TCNF لَتَعْظِيم دالَّةٍ الاِحْتِمالِ اللوغاريتميه لِمَجْمُوعَةِ البَياناتِ المَرْصُودَة \(\{(x_{t_i},t_i)\}_{i=1}^n\): \[\begin{aligned} \label{eq:LL} L = \log p_{X_{t_1}, ..., X_{t_n}}(x_{t_1}, ..., x_{t_n})\end{aligned}\] لِحِسابِ المُعادَلَةَ ، نَسْتَخْدِم صِيغَةِ تَغْيِيرٍ المُتَغَيِّر وَنَسْتَفِيد مِن اِسْتِقْلالِيَّةِ الزيادات \(W_{\phi(t_i)} - W_{\phi(t_{i-1})}\). وَبِالتالِي، يُعَبِّر عَن دالَّةٍ الاِحْتِمالِ اللوغاريتميه كَما يَلِي: \[\begin{aligned} \begin{split} L = \sum_{i=1}^n & \log p_{W_{\phi(t_i)}|W_{\phi(t_{i-1})}}\left(w_{\phi(t_i)}\right) \\ &- \log \left|\det \frac{\partial f_\theta \left(w_{\phi(t_i)},\phi(t_i)\right)}{\partial W_{\phi(t_i)}} \right|, \end{split}\end{aligned}\] حَيْثُ \(w_{\phi(t_i)} = f_\theta ^{-1} \left(x_{t_i}; \phi(t_i)\right)\) وَ\(p_{W_{\phi(t_i)}|W_{\phi(t_{i-1})}}\) تَدُلّ عَلَى التَوْزِيعِ الغاوسي الشُرْطِيَّ بِمُتَوَسِّطِ \(W_{\phi(t_{i-1})}\) وَتَبايُنٍ \(\phi(t_i)- \phi(t_{i-1})\). هٰذا يُشَكِّل فِرَقاً بارِزاً عَن دالَّةٍ الاِحْتِمالِ اللوغاريتميه لِ CTFP الَّتِي تُسْتَخْدَم تَوْزِيعاً غاوسيا بِنَفْسِ المُتَوَسِّطِ وَلٰكِن بِتَبايُن \(t_i - t_{i-1}\).

التَجارِبِ

مَجْمُوعاتٍ البَياناتِ التَجْرِيبِيَّة

لَتَقْيِيم أَداءِ النَمُوذَجِ المُقْتَرَحِ، أَجْرَيْنا تَجارِبِ عَلَى ثَلاثِ مَجْمُوعاتٍ بَياناتٍ تَجْرِيبِيَّةٍ تَتَأَلَّف مِن سَلاسِل زَمَنِيَّةٍ أُحادِيَّةُ البُعْدِ بِدُونِ وَحَداتٍ. تَمَّ إِنْشاءِ هٰذِهِ المَجْمُوعاتِ مِن خِلالَ أَخَذَ عَيِّناتٍ مِن ثَلاثِ عَمَلِيّاتِ عَشْوائِيَّةٍ مُخْتَلِفَةٍ. كَما اُسْتُخْدِمْنا فِي تَجارِبنا هَنْدَسَةُ مُماثِلَةٍ لِهَنْدَسَةٍ نَمُوذَجَ النَقْلِ المُسْتَمِرِّ لِلوَقْتِ، مُسْتَفِيدَيْنِ مِن الدوال الطَبِيعِيَّةِ المُسْتَمِرَّةِ.

تَمَّ إِنْشاءِ المَجْمُوعَةِ الأُولَى (Toy-SDE1) بِتَقْطِيع عَمَلِيَّةِ اورنشتاين-اولينبك، وِفْقاً لِلمُعادَلَة: \(dX_t = -\theta(X_t - \mu)dt + \sigma dW_t\)، حَيْثُ يُمَثِّل \(\mu\) وَ \(\sigma\) المُعامَلاتِ الثابِتَةِ لَمُصْطَلَحات الاِنْجِرافِ وَالتَقَلُّب عَلَى التَوالِي. يَلْتَقِط المَعامِلُ \(\theta\) سُرْعَةٍ تَقارُبٍ مَسارِ عَيِّنَةً مُعَيَّنَةٍ نَحْوَ مُصْطَلَحُ الاِنْجِرافِ. تَهْدِف هٰذِهِ المَجْمُوعَةِ إِلَى تَقْيِيمِ قُدْرَةِ النَمُوذَجِ عَلَى اِلْتِقاطِ دِينامِيكِيّات التَغَيُّراتِ الزَمَنِيَّةِ.

تَمَّ إِنْشاءِ المَجْمُوعَةِ الثانِيَةِ (Toy-SDE2) اِسْتِناداً إِلَى المُعادَلَةَ: \(dX_t = -\theta(X_t - \mu)dt + \sigma \sqrt{t}dW_t\)، وَالَّتِي تَصِف اورنشتاين-اولينبك بِمَعامِل اِنْتِشارِ مُعْتَمَدٌ عَلَى الزَمَنِ، وَتُسْتَخْدَم لِاِخْتِبارِ قُدْرَةِ النَمُوذَجِ عَلَى اِلْتِقاطِ التَحَوُّلاتِ الزَمَنِيَّةِ ذاتِ التَعْقِيدِ المُتَزايِدِ. يُعْتَبَر هٰذا التَفاضُل العَشْوائِيِّ مُهِمّاً لِأَنَّهُ يَسْتَخْدِم بِشَكْلٍ شائِع فِي النَماذِجِ المُسْتَنِدَةَ إِلَى الدَرَجاتِ (yang2022diffusion)، حَيْثُ يَتِمّ تَقْدِيمِ الضَوْضاء تَدْرِيجِيّاً خِلالَ عَمَلِيَّةِ التَدْرِيبِ.

أَخِيراً، تَضَمَّنَت المَجْمُوعَةِ الثالِثَةِ (Toy-SDE3) حَرَكَةِ براونيه هَنْدَسِيّه، وِفْقاً لِلمُعادَلَة: \(dX_t = \mu X_t dt + \sigma X_t dW_t\)، حَيْثُ يُمَثِّل \(\mu\) وَ \(\sigma\) المُعامَلاتِ الثابِتَةِ لَمُصْطَلَحات الاِنْجِرافِ وَالتَقَلُّب عَلَى التَوالِي. تَمَّ تَصْمِيمِ هٰذِهِ المَجْمُوعَةِ لِعَرْضِ قُدْرَةِ نَمُوذَجَ النَقْلِ المُسْتَمِرِّ لِلوَقْتِ عَلَى التَعامُلِ مَعَ التَفاضُلات العَشْوائِيَّةِ حَيْثُ لا يَطْلُب تَغْيِيرٍ زَمَنِيٍّ، وَبِالتالِي تَعْلَم الدالَّةِ البَسِيطَةِ \(\phi(t) = t\). هٰذا يُظْهِر أَنَّ نَهْجنا يُمْكِن أَنَّ يَشْمَل إِطارِ عَمَلٍ النَقْلِ المُسْتَمِرِّ لِلوَقْتِ.

يَتِمّ إِجْراءِ المُقارَنَةِ الكَمِّيَّةِ مِن خِلالَ مُقارَنَةً تَقْدِيراتِ الوَسَطِ \(m_{X_t}\)، الاِنْحِرافِ المعياري \(\sigma_{X_t}\)، المَدَى بَيِّنَ الرُبْعِ الأَوَّلِ وَالثالِثُ IQR\(=Q_{3} - Q_{1}\)، وَالكَثافَة \(p_{X_t}\) عَلَى التَوالِي. لِكُلِّ نَمُوذَجَ، نَحْسِب الأَخْطاءِ المُطْلَقَةِ المُتَوَسِّطَةِ (MAE) مُقابِلَ قِيَمِ الحَقِيقَةِ المُطْلَقَةِ. يَتِمّ تَقْدِيرٍ الوَسَطِ، الاِنْحِرافِ المعياري، وَالرُباعِيّات اِسْتِناداً إِلَى 1000 مَسارِ عَيِّنَةً عَلَى مَدَى 1000 تَكْرارِ، بَيْنَما يَتِمّ تَقْدِيرٍ الكَثافَةِ بِواسِطَةِ صِيغَةِ تَغْيِيرٍ المُتَغَيِّر عَلَى شَبَكَةِ تَتَكَوَّن مِن 1000 نُقْطَةً مَكانَيْهِ وَ 500 نُقْطَةً زَمَنِيَّةٍ ضِمْنَ الفَتْرَةِ الزَمَنِيَّةِ \([0, T = 1.5]\). تُظْهِر النَتائِجِ الكَمِّيَّةِ المَبْلَغِ عَنها فِي الجَدْوَلُ [tab:quant_error_toy12] أَوَّلاً أَنَّ نَمُوذَجَ النَقْلِ المُسْتَمِرِّ لِلوَقْتِ لا يُظْهِر أَيّ خَسارَةِ فِي العُمُومِيَّةِ حَيْثُ يَتَعامَل مَعَ الحالاتِ الَّتِي لا يَطْلُب فِيها تَغْيِيرٍ زَمَنِيٍّ، وَثانِياً أَنَّ نَمُوذَجنا يُظْهِر قُدْرَةِ تَقْدِيرِيَّةً مُتَفَوِّقَةً، حَيْثُ يُمْكِنه اِلْتِقاطِ سُلُوكِ الحُلُولِ الأَرْضِيَّة المُتَغَيِّرَة زَمَنِيّا.

مَجْمُوعاتٍ البَياناتِ الواقِعِيَّةِ

لَتَقْيِيم قُدْرَةِ نَمُوذَجنا عَلَى اِلْتِقاطِ الدِينامِيكِيّات المُعَقَّدَةِ بِشَكْلٍ أَكْبَرَ، قُمْنا بِتَدْرِيبه عَلَى مَجْمُوعَتَيْنِ مِن البَياناتِ الواقِعِيَّةِ: تَنَبُّؤات العُمْلاتِ المشفره (Crypto) (g-research-crypto-forecasting) وَاِسْتِهْلاكِ الطاقَةِ الكَهْرَبائِيَّةِ (ECL) (zhou2021informer). تَحْتَوِي مَجْمُوعَةِ بَياناتٍ العُمْلاتِ المشفره عَلَى أَسْعارِ تارِيخِيَّةٍ لَعُمْلات مِشْفَره مُتَنَوِّعَةٍ. رَكَّزْنا تَحْلِيلنا عَلَى نمذجه عَوائِد السِجِلِّ لِعُمْلَةٍ ايثريوم خِلالَ فَتْرَةٍ 2020. تَتَأَلَّف مَجْمُوعَةِ بَياناتٍ اِسْتِهْلاكِ الطاقَةِ الكَهْرَبائِيَّةِ مِن بَياناتٍ اِسْتِهْلاكِ الطاقَةِ مِن عُمَلاءِ مُتَعَدِّدَيْنِ فِي فَتَراتِ 15 دَقِيقَةً. اِخْتَرْنا نمذجه اِسْتِهْلاكِ العَمِيلِ ’200’ لِما لَهُ مِن سِلْسِلَةٍ زَمَنِيَّةٍ مُمْتَدَّةٍ.

تَتَضَمَّن النَتائِجِ أَخْطاءِ مُطْلَقَةٍ مُتَوَسِّطَةِ (MAE) لَتَقْدِير المُتَوَسِّطِ (\(m_{X_t}\)) وَالاِنْحِرافِ المعياري (\(\sigma_{X_t}\)) لِمَجْمُوعَةِ بَياناتٍ العُمْلاتِ المشفره. اُسْتُخْدِمْنا أَخْطاءِ نِسْبِيَّةٌ مُتَوَسِّطَةِ (MRE) لِمَجْمُوعَةِ بَياناتٍ اِسْتِهْلاكِ الطاقَةِ الكَهْرَبائِيَّةِ لِتَوْسِيعِ النَتائِجِ بِشَكْلٍ مُناسِبٍ. تَمَّ الإِبْلاغ عَن هٰذِهِ النَتائِجِ فِي الجَدْوَلُ [tab:real-world] وَمُقارَنَتها مَعَ CTFP.

الخُلاصَةِ

لَقَد قَدَّمْنا نَهْجاً مُعَمَّما لنمذجه المُعادَلات التَفاضُلِيَّةِ العَشْوائِيَّةِ مِن خِلالَ الشَبَكاتِ العَصَبِيَّةِ الدِينامِيكِيَّة وَتَغْيِيرَ الزَمَنِ. مِن خِلالَ تَحْوِيلِ عَمَلِيَّةِ وَيُنِر عَبْرَ الزَمَنِ، نُولَد عَمَلِيّاتِ غاوسيه مُتَنَوِّعَةٍ، وَالَّتِي يَتِمّ بُعْدَ ذٰلِكَ تَعْيِينِها إِلَى العَمَلِيَّةِ المَرْصُودَة مِن خِلالَ تَطْبِيقِ دالَّةٍ الرَبْطِ الأُحادِيّ. يُتِيح لَنا تَغْيِيرٍ الزَمَنِ بِالاِقْتِران مَعَ الشَبَكَةِ العَصَبِيَّةِ الدِينامِيكِيَّة نمذجه العَمَلِيّاتِ الَّتِي تَكُون تَحَدِّيا لَاِشْتِقاقها بِسَبَبِ قُيُودٍ التَفاضُل وَالتَكامُلِ. مِن المُهِمِّ أَنَّ هٰذا التَوَسُّعِ يَحْتَفِظ بِمَزايا الشَبَكاتِ العَصَبِيَّةِ الدِينامِيكِيَّة، مِثْلَ تَقْدِيرٍ الكَثافَةِ الدَقِيقِ وَالأَخْذ العَيْنات الفَعّالَ.

أَظْهَرَت التَجارِبِ أَنَّ نَمُوذَجنا يُظْهِر أَداءِ أَفْضَلَ وَقُدْرَةِ عَلَى التَعْمِيمِ. نَعْتَقِد أَنَّ دَمْجِ تَغْيِيراتٍ الزَمَنِ المُحَدَّدَةِ لِكُلِّ بُعْدَ يُمْكِننا مِن تَوْسِيعِ الطَرِيقَةِ إِلَى أَبْعادَ أَعْلَى. بِالإِضافَةِ إِلَى ذٰلِكَ، يُمْكِن تَحْقِيقِ تَحْسِينِ فِي مَعايِره تَغْيِيرٍ الزَمَنِ مِن خِلالَ رَبْطُهُ إِمّا بِالتَبايُن التَرْبِيعِيّ لِلعَمَلِيَّةِ أَو بِلَحَظاتها.