latex
تَخْلُق عَمَلِيَّةِ تَوْلِيدِ الاِسْتِرْجاع المُعَزِّز (RAG) لِلوَثائِق الفَنِّيَّةِ تَحَدِّياتٍ حَيْثُ أَنَّ التَضْمِينات لا تَلْتَقِط غالِباً المَعْلُوماتِ المُتَعَلِّقَةِ بِالمَجال. نُراجِع الفُنُونِ السابِقَةِ لِلعَوامِل المُهِمَّةِ الَّتِي تُؤَثِّر عَلَى RAG وَنُجْرَى تَجارِبِ لَتَسْلِيط الضَوْء عَلَى أَفْضَلَ المُمارَساتِ وَالتَحَدِّياتِ المُحْتَمَلَةِ لِبِناءِ أَنْظِمَةِ RAG لِلوَثائِق الفَنِّيَّةِ.
تَتَضَمَّن الإِجابَةَ عَلَى الأَسْئِلَةِ طَوِيلَةٍ الشَكْلِ تَوْلِيدِ اِسْتِجابات بِحَجْمِ الفَقْرَةِ مِن نَماذِجَ اللُغَةِ الكَبِيرَةِ. تُواجِه (RAG) لِلوَثائِق الفَنِّيَّةِ تَحَدِّياتٍ عَدِيدَةٍ (xu2023retrieval, toro2023dynamic). تَمَّ تَقْيِيمِ العَوامِلُ الَّتِي تُؤَثِّر عَلَى أَداءِ الاِسْتِرْجاع، بِما فِي ذٰلِكَ الوَثائِقِ فِي سِياقِها، نَماذِجَ اللُغَةِ الكَبِيرَةِ وَالمَقايِيس (chen2023understanding). لِمَزِيدٍ مِن البِناءِ عَلَى هٰذا العَمَلِ، نُجْرِي تَجارِبِ عَلَى الوَثائِقِ الفَنِّيَّةِ مَعَ مُصْطَلَحاتٍ الاِتِّصالاتِ وَالبَطّارِيّات لِفَحْصٍ تَأْثِيرِ طُولِ القِطْعَةَ، البَحْثِ المَبْنِيَّ عَلَى الكَلِماتُ الرَئِيسِيَّةِ وَالرُتَب (التَسَلْسُل) لِلنَتائِجِ المسترجعه فِي خَطِّ أَنابِيبِ (RAG).
تَسْتَنِد تَجارِبنا إِلَى مُواصَفاتِ الطَبَقَةِ الفِيزيائِيَّة وَطَبَقَة التَحَكُّمِ فِي الوُصُولِ إِلَى الوَسائِط لِشَبَكَةِ IEEE اللاسِلْكِيَّة (9363693) وَمُعْجَم المُصْطَلَحاتِ القِياسِيَّةِ لِلبَطّارِيّات الثابِتَةِ لِ IEEE (7552407). نَقُوم بِمُعالَجَةِ مُعْجَم التَعْرِيفات وَالوَثِيقَة كامِلَةٍ بِشَكْلٍ مُنْفَصِل، حَيْثُ أَنَّ العَدِيدَ مِن الأَسْئِلَةِ المُتَوَقَّعَةِ تَسْتَنِد إِلَى التَعْرِيفات. نَحْنُ نَسْتَخْرِج الأَسْئِلَةِ اِسْتِناداً إِلَى المَعْرِفَةِ المجاليه وَنَقْدَم تَقارِيرَ عَن النَتائِجِ التَجْرِيبِيَّة لِ 42 اِسْتِفْساراً تَمْثِيلِيّا عَبْرَ الوَثائِقِ. يُمْكِن اِسْتِخْدامِ نَماذِجَ تَضْمِينِ مُتَعَدِّدَةِ، (reimers2019sentence)، نَسْتَخْدِم MPNET (song2020mpnet) لِلوَثِيقَة بِأَكْمَلِها - بِاِسْتِثْناءِ الجَداوِل وَالتَعْلِيقات التوضيحيه. بِالنِسْبَةِ لِلمُعْجَم، نُقَسِّم المُصْطَلَحِ وَالتَعْرِيف وَنُولَد تَضْمِينات مُنْفَصِلَةٍ لَهُما، بِالإِضافَةِ إِلَى الفَقْرَةِ الكامِلَةِ الَّتِي تَحْتَوِي عَلَى المُصْطَلَحِ المعرف وَالتَعْرِيف. لَقَد قامَت (soman2023observations) بِمُراجَعَةِ نَماذِجَ اللُغَةِ الكَبِيرَةِ الأُخْرَى لِقِطاعِ الاِتِّصالاتِ، وَلٰكِنَّنا اِخْتَرْنا نَمُوذَجَ llama2-7b-chat (touvron2023llama) لِأَنَّهُ مَجّانِيّ وَيَحْتَوِي عَلَى تَرْخِيصٍ يُناسِب الاِسْتِخْدامِ التِجارِيِّ. نَقُوم بِتَقْيِيم عِدَّةٍ أَسْئِلَةٍ وَنَقْدَم تَقارِيرَ عَن الأَسْئِلَةِ المُخْتارَة لِتَأْكِيدِ مُلاحَظاتنا. لِلإِشارَة، يَتِمّ تَوْفِيرِ الأَوامِرَ المُسْتَخْدَمَةِ لَنَمُوذَج اللُغَةِ الكَبِيرَةِ فِي المُلْحَقِ [app:appA].
لَقَد لاحَظْنا أَوَّلاً أَنَّ مَوْثُوقَيْهِ تَضْمِينات الجَمَل تُصْبِح غَيْرِ مَوْثُوقه مَعَ زِيادَةِ حَجْمِ القِطْعَةَ. يُظْهِر المُلْحَقِ [app:appB] الشَكْلِ [fig:kde_chunk] رَسْمِ تَقْدِيرٍ الكَثافَةِ النَوَوِيَّةِ لَدَرَجات التَشابُه الجَيْبِيّ التمامي لَأَطْوال الجَمَل المُخْتَلِفَةِ. نَأْخُذ 10,970 جُمْلَةِ وَنَنْظُر فِي التَشابُه الزَوْجِيِّ لِجَمِيعِ الجَمَل. يُلاحِظ تُشابِه عالِي عِنْدَما يَكُون طُولِ الجَمَل طَوِيلاً نِسْبِيّاً. تُشِير تَوْزِيعات التَشابُه الأَعْلَى لِلأَطْوال الأَكْبَرُ إِلَى تَشابُهات زائِفه الَّتِي قُمْنا بِالتَحَقُّق مِنها يَدَوِيّاً لِبَعْضِ العَيْنات. وَجَدْنا أَنَّهُ عِنْدَما تَكُون كُلِّ مِن الاِسْتِعْلام وَالوَثِيقَة المستعلم عَنها تَزِيد عَن 200 كَلِمَةً، يَكُون تَوْزِيعِ التَشابُه ثُنائِيٍّ الوَضْعِ. عِنْدَما تَزِيد أَحَدّاهُما عَن 200 كَلِمَةً، يُوجَد اِرْتِفاعِ صَغِيرٍ وَلٰكِن أَقَلَّ وُضُوحاً عِنْدَ التَشابُهات الأَعْلَى.
يُوجَز الجَدْوَلُ [tab:observations] فَرَضِيّاتنا وَالمُلاحَظاتِ الرَئِيسِيَّةِ - يَتِمّ تَوْفِيرِ اِسْتِفْسارات العَيِّنَةُ وَنَتائِجِها فِي المُلْحَقِ [app:appC]. نَفْتَرِض أَنَّ التَقْسِيم عَلَى التَعْرِيفِ وَالمُصْطَلَحات يُمْكِن أَنَّ يُساعِد فِي تَحْسِينِ النَتائِجِ (H1)، دَرَجاتٍ التَشابُه كَمِقْياس جَيِّدٍ (H2)، تَأْثِيرِ مَوْقِعِ الكَلِماتُ الرَئِيسِيَّةِ عَلَى النَتائِجِ (H3)، التَشابُه المَبْنِيَّ عَلَى الجُمْلَةُ يُؤَدِّي إِلَى اِسْتِرْجاعِ أَفْضَلَ (H4) وَمَوْلِد (H5)، الإِجاباتِ لِلتَعْرِيفات المَبْنِيَّةُ عَلَى الاِخْتِصارات (H6) وَتَأْثِيرِ تَرْتِيبَ النَتائِجِ المسترجعه عَلَى أَداءِ المُوَلِّدِ (H7). مِن بَيِّنَ هٰذِهِ، H2 هُوَ نَتِيجَةَ تَجارِبنا مَعَ تَوْزِيعات دَرَجاتٍ التَشابُه المُشارِ إِلَيها سابِقاً وَH7 مَبْنِيٌّ عَلَى (chen2023understanding). الآخَرُونَ مُشْتَقُّونَ مِن تَجارِبنا لِتَحْسِينِ النَتائِجِ. لِكُلِّ فَرْضِيَّةَ، نُقَدِّم عَدَدٍ التَجارِبِ الَّتِي تَدْعَم الاِدِّعاءِ وَتِلْكَ الَّتِي صالِحَةٌ لَنَفْس الشَيْء فِي العَمُودِ الأَخِيرِ، جَنْباً إِلَى جَنْبٍ مَعَ اِسْتِفْسارات العَيِّنَةُ.
وَجَدْنا أَنَّ الاِسْتِرْجاع بِواسِطَةِ التَحْدِيدِ عَلَى دَرَجاتٍ التَشابُه لَيِسَ مُفِيداً. بِالنِسْبَةِ لِلاِسْتِفْسارات 1، 2 وَ 5، عِنْدَما تَكُون عِبارَةٌ الاِسْتِعْلام مَوْجُودَةٌ فِي المُصْطَلَحِ أَو التَعْرِيفِ، تَكُون الدَرَجَةِ المسترجعه الأَعْلَى أَعْلَى. بِالنِسْبَةِ لِلاِسْتِفْسار 3، يَتِمّ اِسْتِرْجاعِ النَتِيجَةُ الصَحِيحَةِ فِي المَرْكَزِ الثانِي بِاِسْتِخْدامِ تَضْمِينِ التَعْرِيفِ، وَلٰكِن فِي حالاتِ أُخْرَى، لا يَتِمّ اِسْتِرْجاعِ النَتِيجَةُ وَتَكُون دَرَجاتٍ التَشابُه قَرِيبَةٌ. بِالنِسْبَةِ لِلاِسْتِفْسارات 4 وَ 6، لا نَسْتَطِيع اِسْتِرْجاعِ النَتِيجَةُ الصَحِيحَةِ، عَلَى الرَغْمِ مِن أَنَّ الدَرَجاتِ تُشِير إِلَى خِلافٍ ذٰلِكَ. وَبِالتالِي، يُمْكِن أَنَّ يُؤَدِّي التَحْدِيدِ عَلَى نَتائِجِ المسترجع بِناءَ عَلَى دَرَجاتٍ التَشابُه إِلَى تَعْزِيزِ المُوَلِّدِ الفَرْعِيِّ الأَمْثَلُ. نُقِيم أَداءِ المُوَلِّدِ عَلَى اِسْتِفْساراتنا بِناءَ عَلَى النَتائِجِ المسترجعه. يَتِمّ ذٰلِكَ بِاِسْتِخْدامِ أَعْلَى \(k\) مسترجع (أَ) التَعْرِيفات، وَ (ب) المُصْطَلَحاتِ وَالتَعْرِيفات. يُعْطِي السِياقِ الأَفْضَلِ اِسْتِجابات مَوْلِده أَفْضَلَ. بِالنِسْبَةِ لِلاِخْتِصارات وَتَوْسِيعاتها، لا يُضِيف المُوَلِّدِ أَيّ قِيمَةَ إِضافِيَّةً.
لِلاِسْتِرْجاع عَلَى الوَثِيقَةِ الكامِلَةِ، نَسْتَكْشِف البَحْثِ عَن التَشابُه بِواسِطَةِ الجُمْلَةُ وَالفَقْرَةُ عَلَى حِدَّةِ. فِي السابِقِ، نَسْتَرْجِع الفَقْرَةِ الَّتِي تَنْتَمِي إِلَيها الجُمْلَةُ وَنَأْخُذ أَعْلَى \(k\) فَقَراتٌ مُتَمَيِّزَةٍ مِن الجَمَل المُتَشابِهَةَ الأَعْلَى. نُلاحِظ أَنَّ النَتائِجِ بِواسِطَةِ البَحْثِ عَن التَشابُه المَبْنِيَّ عَلَى الجُمْلَةُ وَاِسْتِخْدامِ الفَقَرات لِلمَوْلِد يُوَفِّر أَداءِ اِسْتِرْجاعِ وَمَوْلِد أَفْضَلَ. يُذْكَر المُؤَلِّفُونَ فِي (chen2023understanding) أَنَّ تَرْتِيبَ المَعْلُوماتِ المُقَدَّمَةِ يَكُون مُهِمّاً، وَلٰكِنَّنا لَم نُلاحِظ نَتائِجِ مُخْتَلِفَةٍ عِنْدَ تَبْدِيلَ الفَقَرات المسترجعه. نُلاحِظ أَحْياناً فَشَلِ اِسْتِجابات المُوَلِّدِ بِسَبَبِ اِسْتِرْجاعِ غَيْرِ صَحِيحٌ، حَقائِقَ متوهمه أَو توليف غَيْرِ صَحِيحٌ كَما هُوَ مُوَضِّح فِي (chen2023understanding).
نُوصَى بِمِثْلِ هٰذِهِ الطُرُقِ لَتَعْرِيف الأَسْئِلَةِ وَالأَجْوِبَة وَالأَسْئِلَة وَالأَجْوِبَة طَوِيلَةٍ الشَكْلِ.
لَقَد أَظْهَرَنا أَنَّ طُولِ القِطْعَةَ يُؤَثِّر عَلَى تَضْمِينات أَداةٌ الاِسْتِرْجاع، وَأَنَّ تَعْزِيزِ المُوَلِّدِ بِتَحْدِيدِ نَتائِجِ أَداةٌ الاِسْتِرْجاع بِناءَ عَلَى دَرَجاتٍ التَشابُه قَد يَكُون غَيْرِ مَوْثُوقٌ. وَمَعَ ذٰلِكَ، فَإِنَّ اِسْتِخْدامِ الاِخْتِصارات وَعَدَدٌ كَبِيرٍ مِن الفَقَرات المُتَعَلِّقَةِ بِمَوْضُوعِ ما يَجْعَل مُلاحَظاتنا ذاتِ صِلَةٍ خاصَّةٍ بِالأَسْئِلَة وَالأَجْوِبَة طَوِيلَةٍ الشَكْلِ عَلَى الوَثائِقِ الفَنِّيَّةِ. كَأَعْمال مُسْتَقْبَلِيَّةٍ، نَوَدّ اِسْتِخْدامِ مَقايِيسِ (es2023ragas, chen2023benchmarking) لِاِخْتِيارِ إِسْتراتِيجِيّاتِ الاِسْتِرْجاع. كَما سَتَكُون الطُرُقِ وَمَقايِيس التَقْيِيم لِلإِجابَة عَلَى الأَسْئِلَةِ التالِيَةِ مَوْضُوعاً يَسْتَحِقّ الاِهْتِمامِ.
يَجِب أَنَّ تَسْتَنِد الاِسْتِشْهادات داخِلَ النَصِّ إِلَى حَزْمه natbib وَتَتَضَمَّن أَسْماءَ عائِلاتِ المُؤَلِّفِينَ وَالسُنَّةِ (مَعَ اِسْتِخْدامِ بِناءَ “وَآخَرُونَ” لِأَكْثَرِ مِن مُؤَلِّفِينَ اِثْنَيْنِ). عِنْدَما يَتِمّ ذَكَرَ المُؤَلِّفِينَ أَو النَشْرِ ضِمْنَ الجُمْلَةُ، يَجِب أَلّا يَكُون الاِسْتِشْهادِ بَيِّنَ قَوْسَيْنِ بِاِسْتِخْدامِ \citet{} (كَما فِي “أَنْظُر (Hinton06) لِلمَزِيد مِن المَعْلُوماتِ.”). وَإِلّا، يَجِب أَنَّ يَكُون الاِسْتِشْهادِ بَيِّنَ قَوْسَيْنِ بِاِسْتِخْدامِ \citep{} (كَما فِي “تُظْهِر التَعَلُّمِ العَمِيقِ وَعْداً لِتَحْقِيقِ تَقَدَّمَ نَحْوَ الذَكاء الاِصْطِناعِيِّ (Bengio+chapter2007).”).
يَجِب أَنَّ تُدْرِج المَراجِعِ المُقابَلَةِ بِتَرْتِيب أَبْجَدَيَّ لَأَسْماء المُؤَلِّفِينَ، فِي قِسْمِ المَراجِعِ. بِالنِسْبَةِ لِتَنْسِيقِ المَراجِعِ نَفْسِها، أَيّ أُسْلُوبِ مَقْبُولٍ طالَما أَنَّهُ مُسْتَخْدَمٌ بِشَكْلٍ مُتَّسِق.
جَمِيعِ الجَداوِل يَجِب أَنَّ تَكُون مُرَكَّزَةً، نَظِيفَةٍ، وَواضِحَةٍ. لا تُسْتَخْدَم جَداوِلِ مَرْسُومَةً بِاليَدِ. يَجِب أَنَّ يُظْهِر رَقْمِ الجَدْوَلُ وَعُنْوانُهُ قِبَلَ الجَدْوَلُ نَفْسِهِ. شاهَدَ الجَدْوَلُ [sample-table].
ضع مَسافَةِ سَطَّرَ واحِدٍ قِبَلَ عُنْوانِ الجَدْوَلُ، مَسافَةِ سَطَّرَ واحِدٍ بُعْدَ عُنْوانِ الجَدْوَلُ، وَمَسافَة سَطَّرَ واحِدٍ بُعْدَ الجَدْوَلُ. يَجِب أَنَّ يَكُون عُنْوانِ الجَدْوَلُ بِأَحْرُفٍ صَغِيرَةٌ (ما عَدا الكَلِمَةِ الأُولَى وَالأَسْماءَ الخاصَّةِ)؛ وَيَتِمّ تَرْقِيم الجَداوِل بِشَكْلٍ مُتَتالِي.
فِي مُحاوَلَةٍ لِتَشْجِيعِ التَدْوِين المُوَحَّدَ، قُمْنا بِتَضْمِينِ مِلَفِّ التَدْوِين مِن الكِتابِ المَدْرَسِيِّ، التَعَلُّمِ العَمِيقِ (goodfellow2016deep). اِسْتِخْدامِ هٰذا الأُسْلُوبِ لَيِسَ إِلْزامِيّا وَيُمْكِن تَعْطِيله عَن طَرِيقِ التَعْلِيقَ عَلَى math_commands.tex.
يُرْجَى إِعْدادِ مِلَفّاتِ بُوسْت سكريبت أَو بِي دِي إِف بِحَجْمِ الوَرَقِ “US Letter”، وَلِيس، عَلَى سَبِيلِ المِثالِ، “A4”. خِيارَ -t letter فِي dvips سَيُنْتَج مِلَفّاتِ بِحَجْمِ US Letter.
فِكْرِ فِي إِنْشاءِ مِلَفّاتِ بِي دِي إِف مُباشَرَةً بِاِسْتِخْدامِ pdflatex (خاصَّةٍ إِذا كُنْتُ مُسْتَخْدَماً لِ MiKTeX). وَمَعَ ذٰلِكَ، يَجِب اِسْتِبْدالِ الصُوَرِ بِي دِي إِف بَدَلاً مِن صُور EPS.
وَإِلّا، يُرْجَى إِنْشاءِ مِلَفّاتِ بُوسْت سكريبت وَبِيَ دِي إِف بِاِسْتِخْدامِ الأَوامِرَ التالِيَةِ:
dvips mypaper.dvi -t letter -Ppdf -G0 -o mypaper.ps
ps2pdf mypaper.ps mypaper.pdfيُقِرّ الكِتابِ بِأَنَّهُ عَلَى الأَقَلِّ أَحَدُ المُؤَلِّفِينَ الرَئِيسِيَّيْنِ لِهٰذا العَمَلِ يُلَبِّي مَعايِيرِ URM لَمَسار الأَوْراقِ الصَغِيرَةِ فِي ICLR 2024.
الأَوامِرَ المُسْتَخْدَمَةِ لِلنَمُوذَج اللُغَوِيُّ الكَبِيرِ فِي تَجارِبنا هِيَ كَما يَلِي:
أَمْرٌ النِظامِ: أَجِب عَن الأَسْئِلَةِ اِسْتِناداً إِلَى الفَقَرات المُقَدَّمَةِ هُنا. لا تُسْتَخْدَم أَيّ مَعْلُوماتٍ أُخْرَى بِاِسْتِثْناءِ تِلْكَ المَوْجُودَةِ فِي الفَقَرات. أَجْعَل الإِجاباتِ قَصِيرَةٍ قَدْرَ الإِمْكانِ. فَقَط قَدَّمَ الإِجابَةَ. لا مُقَدِّمَةِ مَطْلُوبَةٌ.
أَمْرٌ المُسْتَخْدِمُ: “الفَقَرات: ”+context + “الأَسْئِلَةِ: ”+ query
نُوَفِّر مُسْتَوْدَع Git مَجْهُولٌ يَحْتَوِي عَلَى:
شَفْره مَصْدَرٌ مَجْهُولَةِ
جَدْوَلَةِ التَجْرِبَةِ مُقابِلَ الفَرْضِيَّة (لِلنَتائِجِ الكَمِّيَّةِ المُوَحَّدَةِ)
تَفاصِيلَ التَجارِبِ عَبْرَ 42 اِسْتِفْسار وَ 7 فَرَضِيّات
بِالإِضافَةِ إِلَى ذٰلِكَ، نُوَفِّر تَفاصِيلَ بِخُصُوصِ الفرضيات فِي الجَدْوَلُ [tab:observations] مِن خِلالَ تَقْدِيمِ اِسْتِفْسارات نَمُوذَجِيَّةٍ وَالنَتائِجِ المسترجعه وَالمُوَلِّدَة.