latex
تَخْلُق عَمَلِيَّةِ تَوْلِيدِ الاِسْتِرْجاع المُعَزِّز (RAG) لِلوَثائِق الفَنِّيَّةِ تَحَدِّياتٍ حَيْثُ أَنَّ التَضْمِينات لا تَلْتَقِط غالِباً المَعْلُوماتِ المُتَعَلِّقَةِ بِالمَجال. نُراجِع الفُنُونِ السابِقَةِ لِلعَوامِل المُهِمَّةِ الَّتِي تُؤَثِّر عَلَى RAG وَنُجْرَى تَجارِبِ لَتَسْلِيط الضَوْء عَلَى أَفْضَلَ المُمارَساتِ وَالتَحَدِّياتِ المُحْتَمَلَةِ لِبِناءِ أَنْظِمَةِ RAG لِلوَثائِق الفَنِّيَّةِ.
تَتَضَمَّن الإِجابَةَ عَلَى الأَسْئِلَةِ طَوِيلَةٍ الشَكْلِ تَوْلِيدِ اِسْتِجابات بِحَجْمِ الفَقْرَةِ مِن نَماذِجَ اللُغَةِ الكَبِيرَةِ. تَحَدِّياتٍ الاِسْتِرْجاع المُوَجَّهِ لِلوَثائِق الفَنِّيَّةِ لَها عِدَّةٍ تَحَدِّياتٍ (xu2023retrieval, toro2023dynamic). تَمَّ تَقْيِيمِ العَوامِلُ الَّتِي تُؤَثِّر عَلَى أَداءِ الاِسْتِرْجاع، بِما فِي ذٰلِكَ الوَثائِقِ فِي السِياقِ، نَماذِجَ اللُغَةِ الكَبِيرَةِ وَالمَقايِيس (chen2023understanding). لِمَزِيدٍ مِن البِناءِ عَلَى هٰذا العَمَلِ، نُجْرِي تَجارِبِ عَلَى الوَثائِقِ الفَنِّيَّةِ مَعَ مُصْطَلَحاتٍ الاِتِّصالاتِ وَالبَطّارِيّات لِفَحْصٍ تَأْثِيرِ طُولِ القِطْعَةَ، البَحْثِ المَبْنِيَّ عَلَى الكَلِماتُ الرَئِيسِيَّةِ وَالرُتَب (التَسَلْسُل) لِلنَتائِجِ المسترجعه فِي خَطِّ أَنابِيبِ الاِسْتِرْجاع المُوَجَّهِ.
تَعْتَمِد تَجارِبنا عَلَى مُواصَفاتِ الطَبَقَةِ المُتَوَسِّطَةِ لِلتَحَكُّمِ فِي الوُصُولِ إِلَى الوَسائِط (Medium Access Control) وَالطَبَقَة الفِيزيائِيَّة (Physical Layer) لِشَبَكَةِ IEEE اللاسِلْكِيَّة (9363693) وَمُعْجَم مُصْطَلَحاتٍ البَطّارِيّات الثابِتَةِ القِياسِيَّ لِ IEEE (7552407). نَقُوم بِمُعالَجَةِ مُعْجَم التَعْرِيفات وَالوَثِيقَة كامِلَةٍ بِشَكْلٍ مُنْفَصِل، حَيْثُ أَنَّ العَدِيدَ مِن الأَسْئِلَةِ المُتَوَقَّعَةِ تَعْتَمِد عَلَى التَعْرِيفات. نَحْنُ نَسْتَخْرِج الأَسْئِلَةِ بِناءَ عَلَى المَعْرِفَةِ المجاليه وَنَقْدَم تَقارِيرَ عَن النَتائِجِ التَجْرِيبِيَّة لِ 42 اِسْتِفْساراً تَمْثِيلِيّا عَبْرَ الوَثائِقِ. يُمْكِن اِسْتِخْدامِ نَماذِجَ تَضْمِينِ مُتَعَدِّدَةِ، (reimers2019sentence)، نَسْتَخْدِم نَمُوذَجَ MPNET (song2020mpnet) لِلوَثِيقَة بِأَكْمَلِها - بِاِسْتِثْناءِ الجَداوِل وَالتَعْلِيقات التوضيحيه. بِالنِسْبَةِ لِلمُعْجَم، نُقَسِّم المُصْطَلَحِ وَالتَعْرِيف وَنُولَد تَضْمِينات مُنْفَصِلَةٍ لَهُما، فَضْلاً عَن الفَقْرَةِ الكامِلَةِ الَّتِي تَحْتَوِي عَلَى المُصْطَلَحِ المعرف وَالتَعْرِيف. لَقَد قامَ (soman2023observations) بِمُراجَعَةِ نَماذِجَ اللُغَةِ الكَبِيرَةِ الأُخْرَى لِقِطاعِ الاِتِّصالاتِ، وَلٰكِنَّنا اِخْتَرْنا نَمُوذَجَ llama2-7b-chat (touvron2023llama) لِأَنَّهُ مَجّانِيّ وَيَمْتَلِك تَرْخِيصا يَتَوافَق مَعَ الاِسْتِخْدامِ التِجارِيِّ. نَقُوم بِتَقْيِيم عِدَّةٍ أَسْئِلَةٍ وَنَقْدَم تَقارِيرَ عَن الأَسْئِلَةِ المُخْتارَة لِتَأْكِيدِ مُلاحَظاتنا. لِلرُجُوع إِلَيها، يَتِمّ تَوْفِيرِ الأَوامِرَ المُسْتَخْدَمَةِ لَنَمُوذَج اللُغَةِ الكَبِيرَةِ فِي المُلْحَقِ [app:appA].
لَقَد لاحَظْنا أَوَّلاً أَنَّ تَضْمِينِ الجَمَل يُصْبِح غَيْرِ مَوْثُوقٌ بِهِ مَعَ زِيادَةِ حَجْمِ القِطْعَةَ. يُظْهِر الرَسْمُ البَيانِيّ لَتَقْدِير الكَثافَةِ النَوَوِيَّةِ (KDE) لَدَرَجات التَشابُه الجَيْبِيّ التمامي لَأَطْوال الجَمَل المُخْتَلِفَةِ فِي المُلْحَقِ [app:appB]. لَقَد قُمْنا بِأَخْذِ 10,970 جُمْلَةِ وَنَظَرنا فِي التَشابُه الزَوْجِيِّ لِجَمِيعِ الجَمَل. يُلاحِظ تُشابِه عالِي عِنْدَما يَكُون طُولِ الجَمَل طَوِيلاً نِسْبِيّاً. تُشِير تَوْزِيعات التَشابُه الأَعْلَى لِلأَطْوال الأَكْبَرُ إِلَى تَشابُهات زائِفه الَّتِي قُمْنا بِالتَحَقُّق مِنها يَدَوِيّاً لِبَعْضِ العَيْنات. وَجَدْنا أَنَّهُ عِنْدَما تَكُون كُلِّ مِن الاِسْتِعْلام وَالوَثِيقَة المستعلم عَنها تَحْتَوِي عَلَى أَكْثَرَ مِن 200 كَلِمَةً، يَكُون تَوْزِيعِ التَشابُه ثُنائِيٍّ الوَضْعِ. عِنْدَما تَكُون أَحَدّاهُما تَحْتَوِي عَلَى أَكْثَرَ مِن 200 كَلِمَةً، هُناكَ اِرْتِفاعِ صَغِيرٍ وَلٰكِن أَقَلَّ وُضُوحاً عِنْدَ التَشابُهات العُلْيا.
يُوجَز الجَدْوَلُ [tab:observations] فَرَضِيّاتنا وَالمُلاحَظاتِ الرَئِيسِيَّةِ - يَتِمّ تَوْفِيرِ اِسْتِعْلامات العَيِّنَةُ وَنَتائِجِها فِي المُلْحَقِ [app:appC]. نَفْتَرِض أَنَّ التَقْسِيم عَلَى التَعْرِيفِ وَالمُصْطَلَحات يُمْكِن أَنَّ يُساعِد فِي تَحْسِينِ النَتائِجِ (H1)، وَأَنَّ دَرَجاتٍ التَشابُه تُعْتَبَر مِقْياسا جَيِّداً (H2)، وَأَنَّ مَوْقِعِ الكَلِماتُ الرَئِيسِيَّةِ يُؤَثِّر عَلَى النَتائِجِ (H3)، وَأَنَّ التَشابُه بِناءَ عَلَى الجَمَل يُؤَدِّي إِلَى اِسْتِرْجاعِ أَفْضَلَ (H4) وَمَوْلِد (H5)، وَالإِجابات لِلتَعْرِيفات المَبْنِيَّةُ عَلَى الاِخْتِصارات (H6) وَتَأْثِيرِ تَرْتِيبَ النَتائِجِ المسترجعه عَلَى أَداءِ المُوَلِّدِ (H7). مِن بَيِّنَ هٰذِهِ، H2 هِيَ نَتِيجَةَ تَجارِبنا مَعَ تَوْزِيعات دَرَجاتٍ التَشابُه المُشارِ إِلَيها سابِقاً وH7 مَبْنِيَّةٌ عَلَى (chen2023understanding). الآخَرُونَ مُشْتَقُّونَ مِن تَجارِبنا لِتَحْسِينِ النَتائِجِ. لِكُلِّ فَرْضِيَّةَ، نُقَدِّم عَدَدٍ التَجارِبِ الَّتِي تَدْعَم الاِدِّعاءِ وَتِلْكَ الَّتِي صالِحَةٌ لَنَفْس الشَيْء فِي العَمُودِ الأَخِيرِ، جَنْباً إِلَى جَنْبٍ مَعَ اِسْتِعْلامات العَيِّنَةُ.
وَجَدْنا أَنَّ الاِسْتِرْجاع بِواسِطَةِ التَحْدِيدِ عَلَى دَرَجاتٍ التَشابُه لَيِسَ مُفِيداً. بِالنِسْبَةِ لِلاِسْتِعْلامات 1، 2 وَ 5، عِنْدَما تَكُون عِبارَةٌ الاِسْتِعْلام مَوْجُودَةٌ فِي المُصْطَلَحِ أَو التَعْرِيفِ، تَكُون الدَرَجَةِ المسترجعه الأَعْلَى أَعْلَى. بِالنِسْبَةِ لِلاِسْتِعْلام 3، يَتِمّ اِسْتِرْجاعِ النَتِيجَةُ الصَحِيحَةِ فِي المَرْكَزِ الثانِي بِاِسْتِخْدامِ تَضْمِينِ التَعْرِيفِ، وَلٰكِن فِي الحالاتِ الأُخْرَى، لا يَتِمّ اِسْتِرْجاعِ النَتِيجَةُ وَتَكُون دَرَجاتٍ التَشابُه قَرِيبَةٌ. بِالنِسْبَةِ لِلاِسْتِعْلامات 4 وَ 6، لا نَسْتَطِيع اِسْتِرْجاعِ النَتِيجَةُ الصَحِيحَةِ، عَلَى الرَغْمِ مِن أَنَّ الدَرَجاتِ تُشِير إِلَى خِلافٍ ذٰلِكَ. وَبِالتالِي، يُمْكِن أَنَّ يُؤَدِّي التَحْدِيدِ عَلَى نَتائِجِ الاِسْتِرْجاع بِناءَ عَلَى دَرَجاتٍ التَشابُه إِلَى تَعْزِيزِ المُوَلِّدِ الفَرْعِيِّ الأَمْثَلُ. نَقُوم بِتَقْيِيم أَداءِ المُوَلِّدِ عَلَى اِسْتِعْلاماتنا بِناءَ عَلَى النَتائِجِ المسترجعه. يَتِمّ ذٰلِكَ بِاِسْتِخْدامِ أَعْلَى \(k\) تَعْرِيفات مسترجعه، وَالمُصْطَلَحات وَالتَعْرِيفات. يُعْطِي السِياقِ الأَفْضَلِ اِسْتِجابات مَوْلِده أَفْضَلَ. بِالنِسْبَةِ لِلاِخْتِصارات وَتَوْسِيعاتها، لا يُضِيف المُوَلِّدِ أَيّ قِيمَةَ إِضافِيَّةً.
لِلاِسْتِرْجاع عَلَى الوَثِيقَةِ الكامِلَةِ، نَسْتَكْشِف البَحْثِ عَن التَشابُه بِواسِطَةِ الجَمَل وَالفَقَرات بِشَكْلٍ مُنْفَصِل. فِي السابِقِ، نَسْتَرْجِع الفَقْرَةِ الَّتِي تَنْتَمِي إِلَيها الجُمْلَةُ وَنَأْخُذ أَعْلَى \(k\) فَقَراتٌ مُتَمَيِّزَةٍ مِن الجَمَل المُتَشابِهَةَ الأَعْلَى. نُلاحِظ أَنَّ النَتائِجِ بِواسِطَةِ البَحْثِ عَن التَشابُه بِناءَ عَلَى الجَمَل وَاِسْتِخْدامِ الفَقَرات لِلمَوْلِد يُوَفِّر أَداءِ اِسْتِرْجاعِ وَمَوْلِد أَفْضَلَ. يُذْكَر المُؤَلِّفُونَ فِي (chen2023understanding) أَنَّ تَرْتِيبَ المَعْلُوماتِ المُقَدَّمَةِ مُهِمٌّ، وَلٰكِنَّنا لَم نُلاحِظ نَتائِجِ مُخْتَلِفَةٍ عِنْدَ تَبْدِيلَ الفَقَرات المسترجعه. نُلاحِظ أَنَّ اِسْتِجابات المُوَلِّدِ تَفْشَل أَحْياناً بِسَبَبِ الاِسْتِرْجاع الخاطِئِ، الحَقائِقِ المتوهمه أَو التوليف الخاطِئِ كَما هُوَ مُوَضِّح فِي (chen2023understanding).
نُوصَى بِمِثْلِ هٰذِهِ الطُرُقِ لَتَعْرِيف الأَسْئِلَةِ وَالأَجْوِبَة وَالأَسْئِلَة وَالأَجْوِبَة طَوِيلَةٍ الشَكْلِ.
لَقَد أَظْهَرَنا أَنَّ طُولِ القِطْعَةَ يُؤَثِّر عَلَى تَضْمِينات أَداةٌ الاِسْتِرْجاع، وَأَنَّ تَعْزِيزِ المُوَلِّدِ بِتَحْدِيدِ نَتائِجِ أَداةٌ الاِسْتِرْجاع بِناءَ عَلَى دَرَجاتٍ التَشابُه قَد يَكُون غَيْرِ مَوْثُوقٌ. وَمَعَ ذٰلِكَ، فَإِنَّ اِسْتِخْدامِ الاِخْتِصارات وَعَدَدٌ كَبِيرٍ مِن الفَقَرات المُتَعَلِّقَةِ بِمَوْضُوعِ ما يَجْعَل مُلاحَظاتنا ذاتِ صِلَةٍ خاصَّةٍ بِالأَسْئِلَة وَالأَجْوِبَة طَوِيلَةٍ الشَكْلِ عَلَى الوَثائِقِ الفَنِّيَّةِ. كَأَعْمال مُسْتَقْبَلِيَّةٍ، نَوَدّ اِسْتِخْدامِ مَقايِيسِ (es2023ragas, chen2023benchmarking) لِاِخْتِيارِ إِسْتراتِيجِيّاتِ الاِسْتِرْجاع. كَما سَتَكُون الطُرُقِ وَمَقايِيس التَقْيِيم لِلإِجابَة عَلَى الأَسْئِلَةِ التالِيَةِ مَوْضُوعاً يَسْتَحِقّ الاِهْتِمامِ.
يَجِب أَنَّ تَسْتَنِد الاِسْتِشْهادات داخِلَ النَصِّ إِلَى حَزْمه natbib وَتَتَضَمَّن أَسْماءَ عائِلاتِ المُؤَلِّفِينَ وَالسُنَّةِ (مَعَ اِسْتِخْدامِ بِناءَ الجُمْلَةُ “وَآخَرُونَ” لِأَكْثَرِ مِن مُؤَلِّفِينَ اِثْنَيْنِ). عِنْدَما يَتِمّ ذَكَرَ المُؤَلِّفِينَ أَو النَشْرِ داخِلَ الجُمْلَةُ، يَجِب أَلّا يَكُون الاِسْتِشْهادِ بَيِّنَ قَوْسَيْنِ بِاِسْتِخْدامِ \citet{} (كَما فِي “أَنْظُر (Hinton06) لِمَزِيدٍ مِن المَعْلُوماتِ.”). وَإِلّا، يَجِب أَنَّ يَكُون الاِسْتِشْهادِ بَيِّنَ قَوْسَيْنِ بِاِسْتِخْدامِ \citep{} (كَما فِي “تُظْهِر التَعَلُّمِ العَمِيقِ وَعْداً لِتَحْقِيقِ تَقَدَّمَ نَحْوَ الذَكاء الاِصْطِناعِيِّ (Bengio+chapter2007).”).
يَجِب أَنَّ تُدْرِج المَراجِعِ المُقابَلَةِ بِتَرْتِيب أَبْجَدَيَّ لَأَسْماء المُؤَلِّفِينَ، فِي قِسْمِ المَراجِعِ. بِالنِسْبَةِ لِتَنْسِيقِ المَراجِعِ نَفْسِها، أَيّ أُسْلُوبِ مَقْبُولٍ طالَما أَنَّهُ مُسْتَخْدَمٌ بِشَكْلٍ مُتَّسِق.
جَمِيعِ الجَداوِل يَجِب أَنَّ تَكُون مُرَكَّزَةً، نَظِيفَةٍ، وَواضِحَةٍ. لا تُسْتَخْدَم جَداوِلِ مَرْسُومَةً بِاليَدِ. يَجِب أَنَّ يُظْهِر رَقْمِ الجَدْوَلُ وَعُنْوانُهُ قِبَلَ الجَدْوَلُ. أَنْظُر الجَدْوَلُ [sample-table].
ضع مَسافَةِ سَطَّرَ واحِدٍ قِبَلَ عُنْوانِ الجَدْوَلُ، مَسافَةِ سَطَّرَ واحِدٍ بُعْدَ عُنْوانِ الجَدْوَلُ، وَمَسافَة سَطَّرَ واحِدٍ بُعْدَ الجَدْوَلُ. يَجِب أَنَّ يَكُون عُنْوانِ الجَدْوَلُ بِأَحْرُفٍ صَغِيرَةٌ (ما عَدا الكَلِمَةِ الأُولَى وَالأَسْماءَ الخاصَّةِ)؛ وَيَتِمّ تَرْقِيم الجَداوِل بِشَكْلٍ مُتَتالِي.
فِي مُحاوَلَةٍ لِتَشْجِيعِ التَدْوِين المُوَحَّدَ، قُمْنا بِتَضْمِينِ مِلَفِّ التَدْوِين مِن الكِتابِ المَدْرَسِيِّ، التَعَلُّمِ العَمِيقِ (goodfellow2016deep) المُتاحِ عَلَى https://github.com/goodfeli/dlbook_notation/. اِسْتِخْدامِ هٰذا الأُسْلُوبِ لَيِسَ إِلْزامِيّا وَيُمْكِن تَعْطِيله بِتَعْلِيقِ math_commands.tex.
الأَعْدادُ وَالمَصْفُوفات
| \(\displaystyle a\) | عَدَدٍ نِسْبِيٍّ (صَحِيحٌ أَو حَقِيقِيٍّ) |
| \(\displaystyle \va\) | مُتَّجِه |
| \(\displaystyle \mA\) | مَصْفُوفه |
| \(\displaystyle \tA\) | تنسور |
| \(\displaystyle \mI_n\) | مَصْفُوفه الهُوِيَّةِ ب n صُفُوفِ وَ n أَعْمِدَةٍ |
| \(\displaystyle \mI\) | مَصْفُوفه الهُوِيَّةِ بِأَبْعاد يُفْتَرَض مِن السِياقِ |
| \(\displaystyle \ve^{(i)}\) | مُتَّجِه الأَساسِ القِياسِيَّ \([0,\dots,0,1,0,\dots,0]\) ب 1 فِي المَوْضِعَ \(i\) |
| \(\displaystyle \text{diag}(\va)\) | مَصْفُوفه مُرَبَّعَةٍ، قُطْرِيَّةٍ بمدخلات قُطْرِيَّةٍ مُعْطاة بِواسِطَةِ \(\va\) |
| \(\displaystyle \ra\) | مُتَغَيِّر عَشْوائِيٍّ نِسْبِيٍّ |
| \(\displaystyle \rva\) | مُتَغَيِّر عَشْوائِيٍّ مُتَّجِهَيَّ |
| \(\displaystyle \rmA\) | مُتَغَيِّر عَشْوائِيٍّ مَصْفُوفَيَّ |
المَجْمُوعاتِ وَالرُسُومات
| \(\displaystyle \sA\) | مَجْمُوعَةِ |
| \(\displaystyle \R\) | مَجْمُوعَةِ الأَعْدادُ الحَقِيقِيَّةِ |
| \(\displaystyle \{0, 1\}\) | المَجْمُوعَةِ الَّتِي تَحْتَوِي عَلَى 0 وَ 1 |
| \(\displaystyle \{0, 1, \dots, n \}\) | مَجْمُوعَةِ جَمِيعِ الأَعْدادُ الصَحِيحَةِ بَيِّنَ \(0\) وَ \(n\) |
| \(\displaystyle [a, b]\) | الفَتْرَةِ الحَقِيقِيَّةِ الَّتِي تَشْمَل \(a\) وَ \(b\) |
| \(\displaystyle (a, b]\) | الفَتْرَةِ الحَقِيقِيَّةِ الَّتِي تَسْتَثْنِي \(a\) لٰكِنَّ تَشْمَل \(b\) |
| \(\displaystyle \sA \backslash \sB\) | طَرْحِ المَجْمُوعاتِ، أَيّ المَجْمُوعَةِ الَّتِي تَحْتَوِي عَلَى عَناصِرِ \(\sA\) الَّتِي لَيِسَت فِي \(\sB\) |
| \(\displaystyle \gG\) | رَسْمِ بَيانَيَّ |
| \(\displaystyle \parents_\gG(\ervx_i)\) | الآباءُ لِ \(\ervx_i\) فِي \(\gG\) |
الفِهْرِسَة
| \(\displaystyle \eva_i\) | العُنْصُرُ \(i\) مِن المُتَّجِه \(\va\)، حَيْثُ يَبْدَأ الفِهْرِسَة مِن 1 |
| \(\displaystyle \eva_{-i}\) | جَمِيعِ عَناصِرِ المُتَّجِه \(\va\) بِاِسْتِثْناءِ العُنْصُرُ \(i\) |
| \(\displaystyle \emA_{i,j}\) | العُنْصُرُ \(i, j\) مِن المَصْفُوفَة \(\mA\) |
| \(\displaystyle \mA_{i, :}\) | الصَفِّ \(i\) مِن المَصْفُوفَة \(\mA\) |
| \(\displaystyle \mA_{:, i}\) | العَمُودِ \(i\) مِن المَصْفُوفَة \(\mA\) |
| \(\displaystyle \etA_{i, j, k}\) | العُنْصُرُ \((i, j, k)\) مِن تنسور ثُلاثِيّ الأَبْعاد \(\tA\) |
| \(\displaystyle \tA_{:, :, i}\) | شَرِيحَةٍ ثُنائِيَّةٍ الأَبْعاد مِن تنسور ثُلاثِيّ الأَبْعاد |
| \(\displaystyle \erva_i\) | العُنْصُرُ \(i\) مِن المُتَّجِه العَشْوائِيِّ \(\rva\) |
التَفاضُل وَالتَكامُلِ
| \(\displaystyle\frac{d y} {d x}\) | مُشْتَقّه \(y\) بِالنِسْبَةِ لِ \(x\) |
| [2ex] \(\displaystyle \frac{\partial y} {\partial x} \) | المُشْتَقَّة الجُزْئِيَّةِ لِ \(y\) بِالنِسْبَةِ لِ \(x\) |
| \(\displaystyle \nabla_\vx y \) | التَدَرُّج لِ \(y\) بِالنِسْبَةِ لِ \(\vx\) |
| \(\displaystyle \nabla_\mX y \) | مُشْتَقّات المَصْفُوفَة لِ \(y\) بِالنِسْبَةِ لِ \(\mX\) |
| \(\displaystyle \nabla_\tX y \) | تنسور يَحْتَوِي عَلَى مُشْتَقّات \(y\) بِالنِسْبَةِ لِ \(\tX\) |
| \(\displaystyle \frac{\partial f}{\partial \vx} \) | مَصْفُوفه جاكوبي \(\mJ \in \R^{m\times n}\) لِ \(f: \R^n \rightarrow \R^m\) |
| \(\displaystyle \nabla_\vx^2 f(\vx)\text{ or }\mH( f)(\vx)\) | مَصْفُوفه هيسيان لِ \(f\) فِي نُقْطَةً الإِدْخال \(\vx\) |
| \(\displaystyle \int f(\vx) d\vx \) | التَكامُلِ المُحَدَّدِ عَلَى كامِلٍ نِطاقِ \(\vx\) |
| \(\displaystyle \int_\sS f(\vx) d\vx\) | التَكامُلِ المُحَدَّدِ بِالنِسْبَةِ لِ \(\vx\) عَلَى المَجْمُوعَةِ \(\sS\) |
نَظَرِيَّةَ الاِحْتِمالاتِ وَالمَعْلُوماتِ
| \(\displaystyle P(\ra)\) | تَوْزِيعِ اِحْتِمالَيَّ عَلَى مُتَغَيِّر مُتَقَطِّع |
| \(\displaystyle p(\ra)\) | تَوْزِيعِ اِحْتِمالَيَّ عَلَى مُتَغَيِّر مُسْتَمِرٍّ، أَو عَلَى مُتَغَيِّر لَم يَتِمّ تَحْدِيدِ نَوْعِهِ |
| \(\displaystyle \ra \sim P\) | المُتَغَيِّر العَشْوائِيِّ \(\ra\) لَهُ التَوْزِيعِ \(P\) |
| \(\displaystyle \E_{\rx\sim P} [ f(x) ]\text{ or } \E f(x)\) | تَوَقَّعَ \(f(x)\) بِالنِسْبَةِ لِ \(P(\rx)\) |
| \(\displaystyle \Var(f(x)) \) | التَبايُنِ لِ \(f(x)\) تَحْتَ \(P(\rx)\) |
| \(\displaystyle \Cov(f(x),g(x)) \) | التَغايُر بَيِّنَ \(f(x)\) وَ \(g(x)\) تَحْتَ \(P(\rx)\) |
| \(\displaystyle H(\rx) \) | انتروبيا شانون لِلمُتَغَيِّر العَشْوائِيِّ \(\rx\) |
| \(\displaystyle \KL ( P \Vert Q ) \) | تَباعُد كولباك-لايبلر بَيِّنَ P وَ Q |
| \(\displaystyle \mathcal{N} ( \vx ; \vmu , \mSigma)\) | التَوْزِيعِ الطَبِيعِيِّ عَلَى \(\vx\) بِمُتَوَسِّطِ \(\vmu\) وَتَبايُنٍ \(\mSigma\) |
الوَظائِفِ
| \(\displaystyle f: \sA \rightarrow \sB\) | الدالَّةِ \(f\) بِمَجال \(\sA\) وَمَدَى \(\sB\) |
| \(\displaystyle f \circ g \) | تَرْكِيبِ الدالَّتَيْنِ \(f\) وَ \(g\) |
| \(\displaystyle f(\vx ; \vtheta) \) | دالَّةٍ فِي \(\vx\) مُعَلِّمَةُ ب \(\vtheta\). (أَحْياناً نَكْتُب \(f(\vx)\) وَنَحْذِف الوَسِيطِ \(\vtheta\) لِتَخْفِيفِ التَدْوِين) |
| \(\displaystyle \log x\) | اللُوغارِيتْم الطَبِيعِيِّ لِ \(x\) |
| \(\displaystyle \sigma(x)\) | السيجمويد اللُوجِسْتِيِّ، \(\displaystyle \frac{1} {1 + \exp(-x)}\) |
| \(\displaystyle \zeta(x)\) | السوفت بلس، \(\log(1 + \exp(x))\) |
| \(\displaystyle || \vx ||_p \) | القاعِدَةِ \(\normlp\) لِ \(\vx\) |
| \(\displaystyle || \vx || \) | القاعِدَةِ \(\normltwo\) لِ \(\vx\) |
| \(\displaystyle x^+\) | الجُزْء المُوجِب مِن \(x\)، أَيّ \(\max(0,x)\) |
| \(\displaystyle \1_\mathrm{condition}\) | هُوَ 1 إِذا كانَت الشَرْطُ صَحِيحَةٍ، 0 خِلافٍ ذٰلِكَ |
يُقِرّ الكِتابِ بِأَنَّ عَلَى الأَقَلِّ مُؤَلَّفٌ رَئِيسِيٍّ واحِدٍ فِي هٰذا العَمَلِ يُلَبِّي مَعايِيرِ URM لَمَسار الأَوْراقِ الصَغِيرَةِ فِي ICLR 2024.
الأَوامِرَ المُسْتَخْدَمَةِ لَنَمُوذَج اللُغَةِ الكَبِيرِ فِي تَجارِبنا هِيَ كَما يَلِي:
أَمْرٌ النِظامِ: أَجِب عَن الأَسْئِلَةِ اِسْتِناداً إِلَى الفَقَرات المُقَدَّمَةِ هُنا. لا تُسْتَخْدَم أَيّ مَعْلُوماتٍ أُخْرَى بِاِسْتِثْناءِ تِلْكَ المَوْجُودَةِ فِي الفَقَرات. أَجْعَل الإِجاباتِ قَصِيرَةٍ قَدْرَ الإِمْكانِ. فَقَط قَدَّمَ الإِجابَةَ. لا مُقَدِّمَةِ مَطْلُوبَةٌ.
أَمْرٌ المُسْتَخْدِمُ: “الفَقَرات: ”+context + “الأَسْئِلَةِ: ”+ query
نُوَفِّر مُسْتَوْدَع Git مَجْهُولٌ يَحْتَوِي عَلَى:
شَفْره مَصْدَرٌ مَجْهُولَةِ
جَدْوَلَةِ التَجْرِبَةِ مُقابِلَ الفَرْضِيَّة (لِلنَتائِجِ الكَمِّيَّةِ المُوَحَّدَةِ)
تَفاصِيلَ التَجارِبِ عَبْرَ 42 اِسْتِفْسار وَ 7 فَرَضِيّات
بِالإِضافَةِ إِلَى ذٰلِكَ، نُقَدِّم تَفاصِيلَ بِالنِسْبَةِ للفرضيات فِي الجَدْوَلُ [tab:observations] مِن خِلالَ تَقْدِيمِ اِسْتِفْسارات نَمُوذَجِيَّةٍ وَالنَتائِجِ المسترجعه وَالمُوَلِّدَة.