تَحْدِيدِ نِقاطٍ قَطْفِ الليتشي بِدِقَّةٍ فِي بِيئات البَساتِين غَيْرِ المُنَظَّمَةِ وَالحُصُولِ عَلَى مَواقِعِ إِحْداثِيّاتها أَمْرٌ حاسِمٍ لِنَجاحِ رُوبُوتات قَطْفِ الليتشي. وَمَعَ ذٰلِكَ، غالِباً ما تُواجِه طُرُقٍ الكَشْفِ عَن الأَجْسام المُسْتَنِدَةَ إِلَى الصُوَرِ ثُنائِيَّةٍ الأَبْعاد (2D) صُعُوباتٍ بِسَبَبِ الهَياكِل الهَنْدَسِيَّةِ المُعَقَّدَةِ لِلفُرُوع وَالأَوْراق وَالثِمار، مِمّا يُؤَدِّي إِلَى تَحْدِيدِ خاطِئٍ لَنِقاط قَطْفِ الليتشي. فِي هٰذِهِ الدِراسَةُ، نَقْتَرِح نَمُوذَجَ شَبَكَةِ Fcaf3d-lychee المُصَمِّم خَصِيصاً لِتَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي بِدِقَّةٍ. يَتِمّ الحُصُولِ عَلَى بَياناتٍ سَحابه النِقاطِ لَنِقاط قَطْفِ الليتشي فِي البِيئات الطَبِيعِيَّةِ بِاِسْتِخْدامِ كامِيرا Microsoft’s Azure Kinect DK لَقِياس الوَقْتِ (TOF) مِن خِلالَ التَحْرِيرِ المُتَعَدِّدِ لِلعَرْضِ. نَحْنُ نُعَزِّز نَمُوذَجَ الكَشْفِ عَن الأَجْسام ثُلاثِيَّةٌ الأَبْعاد بِدُونِ مَرْساه وَبِالكامِل التلافيفي (Fcaf3d) بِوَحْدَةِ الضَغْطِ وَالإِثارَة (SE)، وَالَّتِي تَسْتَغِلّ أَلَياتِ الاِنْتِباهِ البَصْرِيّ البَشَرِيِّ لِتَحْسِينِ اِسْتِخْراج المِيزاتِ لَنِقاط قَطْفِ الليتشي. يَتِمّ تَقْيِيمِ النَمُوذَجِ المُدَرِّبِ عَلَى مَجْمُوعَةِ اِخْتِبارِ مِن مَواقِعِ قَطْفِ الليتشي وَيُحَقَّق دَرَجَةِ \(F_{1}\) مُثِيرَةٍ لِلإِعْجاب بِنِسْبَةِ 88.57%، مُتَفَوِّقا بِشَكْلٍ كَبِيرٍ عَلَى النَماذِجِ الحالِيَّةِ. يُؤَدِّي الكَشْفِ عَن المَوْقِعِ ثُلاثِيّ الأَبْعاد لَنِقاط القَطْف فِي بِيئات بَساتِينِ الليتشي الحَقِيقِيَّةِ إِلَى دِقَّةٍ عالِيَةٍ، حَتَّى فِي ظِلِّ دَرَجاتٍ مُتَفاوِتَةٍ مِن التَغْطِيَةِ. أَخْطاءِ تَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي تَكُون ضِمْنَ ±1.5 cm فِي جَمِيعِ الاِتِّجاهاتِ، مِمّا يَدُلّ عَلَى قُوَّةٍ وَعُمُومِيّه النَمُوذَجِ.
الزِراعَةِ الدَقِيقَةِ أَو الزِراعَةِ الفائِقَةِ هِيَ مَفْهُومِ حَدِيثٍ لِإِدارَةِ المَزْرَعَةِ بِأَكْمَلِها يَسْتَخْدِم مَجْمُوعَةِ مُتَنَوِّعَةٍ مِن التَقْنِيّاتِ تَتَراوَح مِن الاِسْتِشْعارِ عَن بُعْدَ وَجَمْعِ البَياناتِ القَرِيبَةِ إِلَى الاتمته وَالرُوبُوتات. فِي هٰذِهِ الدِراسَةُ، نَحْنُ نَنْظُر فِي حِصادِ الليتشي الطازِجِ. لَقَد ثَبَتَ أَنَّ هٰذا العَمَلِ يُمَثِّل تَحَدِّيا كَبِيراً، لَيِسَ فَقَط مِن حَيْثُ التَصْمِيمِ المِيكانِيكِيّ لِلرُوبُوت، وَلٰكِن أَيْضاً مِن حَيْثُ نِظامِ الرُؤْيَةِ، وَأَسالِيبِ التَنَقُّلِ، وَالتَحَكُّمِ وَنِظامِ التَلاعُبِ (r65). فِي هٰذِهِ الحالَةِ، تُرَكِّز اِهْتِمامِنا الرَئِيسِيُّ عَلَى اِكْتِشافِ نِقاطٍ القَطْف عَلَى سِيقان الليتشي فِي مَعْلُوماتٍ السَحابَة النقطيه لِتَحْسِينِ الحِصاد الذاتِيِّ لَرُوبُوتات القَطْف التَقْلِيدِيَّةِ.
يُمْكِن قَطْفِ الفَواكِه الفَرْدِيَّةِ مِثْلَ التُفّاحِ وَالبُرْتُقالُ مُباشَرَةً، بَيْنَما تَحْتاج الفَواكِه العُنْقُودِيَّة مِثْلَ الليتشي وَالعِنَب إِلَى القَطْف لِلعُنْقُود بِأَكْمَلِهِ. يُمْكِن قَطْفِ الليتشي فَقَط عَن طَرِيقِ تَحْدِيدِ نُقْطَةً القَطْف الرَئِيسِيَّةِ لِلفَرْعِ الحامِل لِلفاكِهَة (MFBB) ثُمَّ قَطْعِ الMFBB لِمَنْعِ تَلَفِ الفاكِهَةِ (r2). إِذا كانَت مِنْطَقَةِ العَمَلِ واضِحَةٍ وَالفَواكِهُ غَيْرِ مَحْجُوبه بِالعَوائِق، فَلَيِسَ مِن الصَعْبِ فَصْلِ هٰذِهِ الفَواكِه عَن الأَشْجارِ (r63). وَمَعَ ذٰلِكَ، فَإِنَّ الحَقْل غَيْرِ مُنَظَّمٍ، وَيُمْكِن أَنَّ تَكُون حَزْمٍ الفاكِهَةِ الليتشي مُخْتَلِفَةٍ الأَحْجام فِي الشَكْلِ وَتُظْهِر فِي اِرْتِفاعات وَمَواقِعِ مُخْتَلِفَةٍ، بِالإِضافَةِ إِلَى ذٰلِكَ، فَإِنَّ نِقاطٍ قَطْفِ الليتشي فِي السِينارِيُوهات غَيْرِ المُنَظَّمَةِ عُرْضَةً لِلاِزْدِحام الكَثِيفِ (أَو أَنَّ المَوْقِعِ المُسْتَهْدَفِ لَيِسَ واضِحاً بِما فِيهِ الكِفايَةُ)، وَالأَهْدافِ الصَغِيرَةِ صَعْبَةً الكَشْفِ، مِمّا يُؤَثِّر عَلَى دِقَّةٍ الكَشْفِ. لِذٰلِكَ، أَصْبَحَ البَحْثِ عَن تَحْدِيدِ دَقِيقٍ وَمُوَجَّه لَنِقاط قَطْفِ عَناقِيد الليتشي مِحْوَرِ البَحْثِ، وَهُناكَ تَقْنِيَّتانِ رَئِيسِيَّتانِ مَطْلُوبَتانِ لِتَحْقِيقِ هٰذا الطَلَبِ: (1) بَياناتٍ السَحابَة النقطيه ثُلاثِيَّةٌ الأَبْعاد (3D) الَّتِي تُقاوِم الاِزْدِحام، وَ(2) نَمُوذَجَ كَشَفَ السَحابَة النقطيه ثُلاثِيَّةٌ الأَبْعاد (3D) CNN الَّذِي يَمْتَلِك قُدْرَةِ تَحْدِيدِ دَقِيقَةً بِناءَ عَلَى السابِقِ.
فِي السَنَواتِ الأَخِيرَةِ، تَمَّ اِسْتِخْدامِ تَقْنِيّاتِ الرُؤْيَةِ الحاسُوبِيَّة عَلَى نِطاقِ واسِعٍ لِتَحْدِيدِ نِقاطٍ القَطْف لِلفاكِهَة (r3,r42,r4). يَتِمّ اِسْتِخْدامِ خَصائِصِ الهَدَفَ نَفْسِهِ (مِثْلَ اللَوْنِ، الشَكْلِ، النَسِيج، آلخ) لِلكَشْفِ عَن الليتشي وَتَحْدِيده مِن خِلالَ مُعالَجَةِ الصُوَرِ (مِثْلَ تَصْفِيَةٍ الصُوَرِ، تَجْزِئَةِ الصُوَرِ، المُعالَجَةِ المورفولوجيه) وخوارزميات التَعَلُّمِ الآلِيِّ وَمَثَّلَ هٰذِهِ العَمَلِيّاتِ (r5,r43,r6,r7,r44). مَعَ التَطَوُّرِ العَمِيقِ لِلتَعَلُّمِ العَمِيقِ، وَخاصَّةً شَبَكاتِ الأَعْصاب التلافيفيه (CNN)، الَّتِي تُعَزِّز بِشَكْلٍ أَكْبَرَ قُدْرَةِ التَعْمِيمِ وَكَذٰلِكَ مَتانَةَ أَنْظِمَةِ إِدْراكٌ الرُؤْيَةِ الآلِيَّةِ، تَحَوَّلَ المَزِيدِ وَالمَزِيدِ مِن الباحِثِينَ إِلَى طُرُقٍ كَشَفَ الصُوَرِ ثُنائِيَّةٍ الأَبْعاد المَبْنِيَّةُ عَلَى التَعَلُّمِ العَمِيقِ. خوارزميات الكَشْفِ عَن الأَجْسام، بِما فِي ذٰلِكَ You Only Look Once (YOLO) وَشَبَكاتِ التَعَلُّمِ العَمِيقِ المُحَسِّنَة عَلَى YOLO (r11,r12,r45,r46,r47)، وَالكَشْفِ ذُو المَرْحَلَتَيْنِ المُمَثِّلُ بِسِلْسِلَةِ RCNN (شَبَكاتِ الأَعْصاب التلافيفيه المُسْتَنِدَةَ إِلَى المِنْطَقَةِ) (r50). حَقَّقَت الدِراسَةُ المَذْكُورَةِ أَعْلاه نَتائِجِ جَيِّدَةٍ لِكَشْفِ نِقاطٍ القَطْف، وَلٰكِن لا يَزال مِن الصَعْبِ تَحَدِّي الوَضْعِ بِسَبَبِ تَقَلُّباتِ الضَوْء، وَالاِزْدِحام بِواسِطَةِ الأَوْراقِ وَالفُرُوع، آلخ.
تَتَمَيَّز بَياناتٍ السَحابَة النقطيه ثُلاثِيَّةٌ الأَبْعاد بِدِقَّتها فِي تَمْثِيلِ الأَشْكال الهَنْدَسِيَّةِ، وَسُهُولَة الوُصُولِ إِلَى مَعْلُوماتٍ العُمْقِ، وَتُساعِد إِعادَةِ البِناءِ ثُلاثِيّ الأَبْعاد عَلَى تَحْسِينِ مَتانَةَ وَدِقَّة الكَشْفِ، بِالإِضافَةِ إِلَى التَطْوِيرِ المُكَثَّفِ لِشَبَكاتِ الأَعْصاب التلافيفيه ثُلاثِيَّةٌ الأَبْعاد، مِمّا حَفَزَ الباحِثِينَ عَلَى اِسْتِكْشافٍ طُرُقٍ تَعْتَمِد عَلَى السَحابَة النقطيه لَحِصاد الفاكِهَةِ وَكَشَفَ نِقاطٍ القَطْف (r51,r16,r52,r53,r14,r54,r66,r57). عَلَى الرَغْمِ مِن أَنَّ الطُرُقِ البَحْثِيَّة المَذْكُورَةِ أَعْلاه قَد حَقَّقَت نَتائِجِ مَرَضِيَّةٍ، لا تَزال هُناكَ فَجَوات بَحْثِيَّةٍ كَبِيرَةٍ فِي كَشَفَ نِقاطٍ قَطْفِ الليتشي.
فِي هٰذا العَمَلِ، تَمَّ اِقْتِراحِ نَمُوذَجَ مُعالَجَةِ البَياناتِ المُساعِدُ بِذِراع الرُوبُوت اِسْتِناداً إِلَى دَمْجِ سَحابه نِقاطٍ الكامِيرا TOF وَنَمُوذَجٌ شَبَكَةِ Fcaf3d-lychee لَنِقاط قَطْفِ الليتشي، وَالَّذِي يُمْكِن اِسْتِخْدامه لِتَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي بِدِقَّةٍ فِي بِيئَةُ البُسْتان الطَبِيعِيَّةِ، وَتَمَّ اِخْتِباره فِي المَيْدانِ. دَمْجِ الطَرِيقَةِ المُقْتَرَحَةِ بَياناتٍ السَحابَة النقطيه مُتَعَدِّدَةِ الزَوايا مِن كامِيرا TOF، ثُمَّ اِكْتِشافِ بَياناتٍ الاِسْتِشْعارِ المُدْمَجَة بَصَرِيّا لِلعُثُور عَلَى المَوْقِعِ الدَقِيقِ لَنُقَطه قَطْفِ الليتشي. تُظْهِر النَتائِجِ أَنَّ نَتائِجِ هٰذِهِ الدِراسَةُ تَتَمَتَّع بِدِقَّةٍ تَحْدِيدِ مَواقِعِ أَعْلَى مِن نَمُوذَجَ الكَشْفِ عَن الأَهْدافِ النَمُوذَجِيّ لِلسَحابَة النقطيه ثُلاثِيَّةٌ الأَبْعاد. بِاِخْتِصار، يَتِمّ تَقْدِيمِ المُساهَماتِ التالِيَةِ فِي هٰذِهِ الوَرَقَةَ:
يَتِمّ اِقْتِراحِ نَمُوذَجَ Fcaf3d-lychee لِكَشْفِ نِقاطٍ قَطْفِ الليتشي، مِمّا يُحَسِّن بِشَكْلٍ كَبِيرٍ دِقَّةٍ تَحْدِيدِ مَواقِعِ نِقاطٍ القَطْف.
كامِيرا TOF لَخَيّاطه السَحابَة النقطيه مُتَعَدِّدَةِ الزَوايا، مِمّا يُحِلّ بِفَعّالِيَّةٍ مُشْكِلَةِ الاِزْدِحام ذُو الزاوِيَةِ الواحِدَةِ وَقِلَّةِ المَعْلُوماتِ الحِسِّيَّةَ.
عَرَضَ لَرُوبُوت قَطْفِ الليتشي المُجَهَّز بِنَمُوذَجٍ Fcaf3d-lychee عَلَى التَعَرُّفُ وَتَحْدِيدِ مَواقِعِ نِقاطٍ القَطْف فِي بِيئات البُسْتان الطَبِيعِيَّةِ.
يَتِمّ تَنْظِيمِ بَقِيَّةِ هٰذِهِ الوَرَقَةَ عَلَى النَحْوِ التالِي. القِسْمِ [section: review] يَسْتَعْرِض الأَعْمالِ ذاتِ الصِلَةِ. يَتِمّ تَقْدِيمِ نَظْرَةٌ عامَّةٍ عَلَى النِظامِ والمنهجيات الخاصَّةِ بِنَهْجنا فِي القِسْمِ [section: method]. تَعَرَّضَ نَتائِجِ التَجْرِبَةِ وَالمُناقَشَة فِي القِسْمِ [section: experiment]، يَلِي ذٰلِكَ الخاتِمَة فِي القِسْمِ [section: conclusion].
حالِيّاً، يُغَطِّي مَجالِ تَطْبِيقِ الرُوبُوتات مَجالاتِ تِكْنُولُوجِيَّةٍ أَساسِيَّةٍ وَمُتَعَلِّقه عَدِيدَةٍ (r17). مِن بَيِّنَها، فِي التَطْوِيرِ الذَكِيّ لَرُوبُوتات الحِصاد، كانَت خوارزميات الرُؤْيَةِ عامِلاً رَئِيسِيّاً يُؤَثِّر عَلَى الأَداءِ العامِّ لِلنِظامِ. تَتَضَمَّن تَطْوِيرِ خوارزميات الرُؤْيَةِ لَرُوبُوتات حِصادِ الفاكِهَةِ مَهَمَّتَيْنِ رَئِيسِيَّتَيْنِ: تَحْدِيدِ المَوْقِعِ الهَدَفَ وَاِسْتِخْراج نُقْطَةً القَطْف، وَتَشْمَل التَحَدِّياتِ تُشَوِّه لَوْنِ الهَدَفَ الناتِجِ عَن البِيئات الضَوْئِيَّةِ الطَبِيعِيَّةِ المُتَغَيِّرَة، تَداخُلٌ أَعْضاءِ النَباتِ المتشابكه عَلَى خوارزميات التَعَرُّفُ، وَتَشَوُّهات داخِلَ الفِئَةِ لَثِمار نَفْسِ النَوْعِ (r18). اِسْتِخْدامِ الرُؤْيَةِ الآلِيَّةِ وخوارزمياتها المُتَعَلِّقَةِ قَد اِسْتَهْدَفَ حُلُولاً لِتَحْسِينِ الكَفاءَة وَالدِقَّةِ وَالذَكاءِ وَالتَفاعُل عَن بُعْدَ أَثْناءَ عَمَلِيّاتِ الرُوبُوت (r19). لَتَصْنِيفها، كانَت الأُولَى الرَئِيسِيَّةِ هِيَ طُرُقٍ تَحْلِيلِ المِيزَة الفَرْدِيَّةِ، طُرُقٍ تَحْلِيلِ دَمْجِ المِيزاتِ المُتَعَدِّدَةِ، وَطُرُقِ التَعَرُّفُ عَلَى الأَنْماط (r20, r21). (r24) اِقْتَرَحَ طَرِيقَةِ تَعْرِف تَعْتَمِد عَلَى مُصَنَّف تَحْلِيلِ التَمْيِيزِ الخَطِّيِّ المُحْسِن (LDA) لِمُعالَجَةِ مُشْكِلَةِ مُعَدَّلِ النَجاحِ المُنْخَفَض لَرُوبُوتات قَطْفِ الليتشي فِي التَعَرُّفُ عَلَى الليتشي الأَخْضَرِ (الليتشي غَيْرِ الناضِج بِالكامِلِ) بِسَبَبِ تَداخُلٌ الخَلْفِيَّةِ. الجَوْهَر هُوَ طَرِيقَةِ LDA لَاِسْتِخْراج مِيزاتِ التَحْوِيلِ الصُوَرِيِّ، وَيَتِمّ تَقْدِيمِ فِكْرَةَ “الهامِشِ الأَقْصَى” فِي خوارزميه SVM لِتَحْدِيدِ قِيمَةَ العَتَبَةَ لِ LDA، وَالَّتِي يَتِمّ دَمْجها أَخِيراً فِي نِظامِ تَصْنِيفِ LDA مُتَعَدِّدِ بِواسِطَةِ طَرِيقَةِ Adaboost. مِن خِلالَ التَجارِبِ، كانَت دِقَّةٍ هٰذا المُصَنَّفُ لَلِيتْشِي غَيْرِ الناضِج 80.4%، وَيُمْكِن أَيْضاً تَطْبِيقِ الخوارزميه عَلَى تَحْدِيدِ نَضْجِ الفاكِهَةِ. تَسْتَنِد الأَبْحاثِ المَذْكُورَةِ أَعْلاه إِلَى مُعالَجَةِ الصُوَرِ، وَالَّتِي لَها مُتَطَلَّباتِ عالِيَةٍ لِلضَوْء وَلا تَزال بِحاجَةٍ إِلَى المُرُورِ بِعَمَلِيَّةِ حِسابِيَّةً مُعَيَّنَةٍ عِنْدَ التَعامُلِ مَعَ المَوْضِعَ ثُلاثِيّ الأَبْعاد لَنُقَطه القَطْف، مِمّا يُؤَدِّي إِلَى كَفاءَةِ قَطْفِ ضَعِيفَةٌ وَقِلَّةِ القُوَّةِ.
فِي الأَبْحاثِ الحالِيَّةِ، تَمَّ اِعْتِمادِ تَقْنِيّاتِ قِياسُ الرُؤْيَةِ المُجَسَّمَة وَتَقْنِيّات مُعالَجَةِ الصُوَرِ الرَقَمِيَّةِ التَقْلِيدِيَّةِ مِن قِبَلَ العَدِيدَ مِن الباحِثِينَ، بَيْنَما يُوَفِّر التَطَوُّرِ المُتَزايِدِ لِلتَعَلُّمِ العَمِيقِ فِي مَجالِ مُعالَجَةِ الصُوَرِ حَلّاً أَفْضَلَ لَتَمْيِيز الفَواكِه، مِمّا يُمْكِن رُوبُوتات قَطْفِ الفَواكِه مِن التَكَيُّفِ مَعَ بِيئات البَساتِين المُعَقَّدَةِ (r25). لِتَحْسِينِ قُدْرَةِ رُوبُوت القَطْف عَلَى العَمَلِ طِوالَ اليَوْمَ، تَمَّ اِقْتِراحِ خوارزميه لِلكَشْفِ عَن ثِمارِ الليتشي وَسِيقان الفاكِهَةِ لِلبِيئات اللَيْلِيَّةِ (r26). تَمَّ اِخْتِبارِ أَداءِ الخوارزميه تَحْتَ شدات ضَوْء صِناعِيَّةٍ مُخْتَلِفَةٍ بِشَكْلٍ مُنْفَصِل، وَتَمَّ اِسْتِخْدامِ شَبَكَةِ العصبونات التلافيفيه YOLOv3 وَشَبَكَةِ U-Net لِلكَشْفِ عَن الفَواكِه وَسِيقان الفَواكِه، وَأَخِيرا أَدَّت النَمُوذَجِ بِأَفْضَلِ أَداءِ تَحْتَ السُطُوع الطَبِيعِيِّ، حَيْثُ حَقَّقَت دِقَّةٍ كَشَفَ مُتَوَسِّطَةِ قَدْرُها 99.57% بِالإِضافَةِ إِلَى تَأْثِيرِ تَجْزِئَةِ قَدَّرَهُ 84.33% MIoU. وَمَعَ ذٰلِكَ، فَإِنَّ الطَرِيقَةِ تُسْتَخْدَم أَوَّلاً YOLOv3 لِلحُصُولِ عَلَى مَوْقِعِ الفاكِهَةِ المُتَسَلْسِلَة ثُمَّ تُسْتَخْدَم مِنْطَقَةِ ROI لَتَمْيِيز سِيقان الفَواكِه، وَهُوَ ما لا يَعُد فَعّالا فِي التَنْفِيذِ. (r28) قامَ بِتَحْسِين هَيْكَلِ الشَبَكَةِ لِ YOLOv5s لَسِينارِيُوهات الاِحْتِجاب الخَلْفِيِّ وَاِحْتِجاب الفَواكِه الَّتِي يُسَهِّل مُواجَهَتِها أَثْناءَ قَطْفِ التُفّاحِ بِحَيْثُ يُمْكِنه تَحْدِيدِ الأَشْياءَ الَّتِي يُمْكِن اِلْتِقاطها وَتِلْكَ الَّتِي لا يُمْكِن اِلْتِقاطها أَثْناءَ عَمَلِيَّةِ القَطْف. وَمَعَ ذٰلِكَ، فَإِنَّ الطَرِيقَةِ تَنْطَبِق فِي الغالِبِ عَلَى الفَواكِه الفَرْدِيَّةِ، أَو لَتَقْدِير الغَلّات، وَلا تَنْطَبِق عَلَى سِينارِيُوهاتٍ حِصادِ الليتشي. لَقَد أَحْرَزَت الدِراساتِ المَذْكُورَةِ أَعْلاه تَقَدُّماً كَبِيراً فِي الحُصُولِ عَلَى نِقاطٍ قَطْفِ الفَواكِه مِن خِلالَ الكَشْفِ عَن الأَهْدافِ بِواسِطَةِ الصُوَرِ ثُنائِيَّةٍ الأَبْعاد، وَلٰكِن مُعْظَمَ الدِراساتِ لَم تَبْحَث فِي الكَشْفِ المُباشِرِ عَن نِقاطٍ قَطْفِ الفَرْعِ الأُمُّ.
عَلَى الرَغْمِ مِن أَنَّ الكَشْفِ عَن الأَهْدافِ بِاِسْتِخْدامِ الصُوَرِ ثُنائِيَّةٍ الأَبْعاد قَد أَحْرَزَ تَقَدُّماً كَبِيراً فِي تَحْدِيدِ نِقاطٍ القَطْف لَرُوبُوتات قَطْفِ الفَواكِه، إِلّا أَنَّ مُعْظَمَ الدِراساتِ لَم تَبْحَث فِي الكَشْفِ المُباشِرِ عَن نِقاطٍ قَطْفِ الفَرْعِ الأُمُّ. بَيْنَما قَد تَفْتَقِر الصُوَرِ ثُنائِيَّةٍ الأَبْعاد إِلَى مَعْلُوماتٍ تَوْزِيعِ مَكانَيْهِ مُفَصَّلَةٌ، فَإِنَّ السُحُبِ النقطيه ثُلاثِيَّةٌ الأَبْعاد الَّتِي يَتِمّ الحُصُولِ عَلَيها بِواسِطَةِ طُرُقٍ كامِيرا العُمْقِ تُوَفِّر تَمْثِيلاً أَكْثَرَ شُمُولاً لِتَوْزِيعِ الأَجْسام، خاصَّةٍ فِي المَشاهِدِ المُعَقَّدَةِ مَعَ التَداخُلات وَالتَغْطِيات. لَقَد تَمَّ التَعَرُّفُ بِشَكْلٍ مُتَزايِدٍ عَلَى إِمْكانِيّات السُحُبِ النقطيه ثُلاثِيَّةٌ الأَبْعاد، مِمّا أَدَّى إِلَى ظُهُورِ طُرُقٍ جَدِيدَةٍ لِكَشْفِ الأَجْسام. (r33) اِقْتَرَحَ إِسْتراتِيجِيَّةِ لِتَحْدِيدِ نِقاطٍ القَطْف بِدِقَّةٍ لِلعِنَب المَزْرُوع صِناعِيّا مِن خِلالَ الجَمْع بَيِّنَ القَرِيبِ وَالبَعِيدِ وَاِسْتِخْدامِ مَزِيجٍ مِن بَياناتٍ السُحُبِ النقطيه لِلعُمُق. فِي البِدايَةِ، تَمَّ الكَشْفِ عَن عَناقِيد العِنَبِ بِشَكْلٍ تَقْرِيبِي لِتَحْدِيدِ المَواقِعِ فِي الصُورَةِ البَعِيدَةِ، ثُمَّ فِي الصُورَةِ القَرِيبَةِ، تَمَّ اِسْتِخْدامِ مِيزاتِ بَياناتٍ السُحُبِ النقطيه لِلعُمُق وَالمِيزات الهَيْكَلِيَّةِ لَعَناقِيد العِنَبِ الأُفُقِيَّة بِشَكْلٍ كامِلٍ، وَتَمَّ تَحْدِيدِ المَواقِعِ بِنَجاحٍ لِ 95 مِن 100 عَيِّنَةً، بِدِقَّةٍ 95%. كانَت دِقَّةٍ التَحْدِيدِ المَوْقِعِ تَصِل إِلَى 95%. بِالإِضافَةِ إِلَى ذٰلِكَ، (r36) اِقْتَرَحَ طَرِيقَةِ تَصْنِيفِ أَعْضاءِ شَجَرَةَ الرُمّانِ وَعَدَ الفَواكِه اِسْتِناداً إِلَى دَمْجِ مُتَعَدِّدِ المِيزاتِ وَأَله الدَعْمِ الناقِل (SVM) لِمُعالَجَةِ قُيُودٍ التَداخُلَ فِي طَرِيقَةِ التَعَرُّفُ المُعْتَمَدَةِ عَلَى الصُوَرِ ثُنائِيَّةٍ الأَبْعاد التَقْلِيدِيَّةِ، أَوَّلاً، يَتِمّ الحُصُولِ عَلَى سَحابه نقطيه ثُلاثِيَّةٌ الأَبْعاد، ثُمَّ يَتِمّ مُعالَجَةِ السَحابَة النقطيه مُسْبَقاً، وَاِسْتِخْراج مِيزاتِ اللَوْنِ وَالشَكْل لِلتَدْرِيبِ، وَالحُصُولِ عَلَى نَمُوذَجَ التَصْنِيفِ، وَتُظْهِر التَجارِبِ أَنَّ هٰذِهِ الطَرِيقَةِ يُمْكِن أَنَّ تَكْتَشِف مُعْظَمَ الفَواكِه عَلَى الشَجَرَة. وَمَعَ ذٰلِكَ، لَم تَتِمّ دِراسَةٌ طُرُقٍ كَشَفَ الأَهْدافِ لِلسَحْب النقطيه لَنِقاط القَطْف.
عَمَلِنا مَبْنِيٌّ عَلَى نَمُوذَجَ Fcaf3d، الَّذِي تَمَّ تَحْسِينه لِلحُصُولِ عَلَى نَمُوذَجَ الكَشْفِ ثُلاثِيّ الأَبْعاد Fcafd-lychee لَنِقاط قَطْفِ الليتشي، وَالَّذِي يُمْكِنه اِسْتِخْدامِ تَدَفُّقِ السُحُبِ النقطيه لَكامِيرا العُمْقِ لِلكَشْفِ المُباشِرِ عَن نِقاطٍ قَطْفِ الليتشي وَالحُصُولِ عَلَى إِحْداثِيّاتها ثُلاثِيَّةٌ الأَبْعاد، مِمّا يَسْرُع وَيَنْفُذ بِكَفاءَة كَشَفَ نِقاطٍ القَطْف.
يَتِمّ عَرَضَ عَمَلِيَّةِ اِكْتِشافِ نُقْطَةً قَطْفِ الليتشي المُقْتَرَحَةِ فِي الشَكْلِ [fig:graph1]. يُمْكِن تَقْسِيمِ العَمَلِيَّةِ إِلَى خَطْوَتَيْنِ، الحُصُولِ عَلَى سَحابه النِقاطِ وَأَداء التَطْرِيز مُتَعَدِّدِ الزَوايا، ونمذجه Fcaf3d-lychee لِتَحْدِيدِ المَوْقِعِ بِدِقَّةٍ. أَوَّلاً، يَتَجَوَّل الرُوبُوت القاطف، الَّذِي حَمَلَ مَعْلُوماتٍ خَرِيطَةِ البُسْتان، بِشَكْلٍ مُسْتَقِلٍّ فِي البُسْتان وَسَيَحْصُل عَلَى المَوْقِعِ الأُولَى لِلهَدَف مِن تَدَفُّقِ بَياناتٍ سَحابه النِقاطِ. بُعْدَ ذٰلِكَ، سَيَقُوم الرُوبُوت القاطف بِأَداء الحُصُولِ عَلَى سَحابه النِقاطِ ثُلاثِيَّةٌ الزَوايا المُحَدَّدَةِ عَلَى مَسافَةِ قَرِيبَةٌ مِن الهَدَفَ وَأَداء التَطْرِيز وَالتَنْقِيص. سَيَتِمّ تَغْذِيَةِ سَحابه النِقاطِ المُعالَجَةِ مُسْبَقاً إِلَى نَمُوذَجَ Fcaf3d-lychee لِلتَعَرُّفِ الدَقِيقِ وَالتَحْدِيد المَوْقِعِ. أَخِيراً، سَيَتِمّ تَوْجِيهِ المُؤَثِّر النِهائِيِّ لَأَداء حَرَكَةِ قَطْفِ الليتشي.
تَمَّ تَشْغِيلِ حَسّاس الكامِيرا عَلَى ذِراعِ الرُوبُوت aubo ذِي السِتِّ دَرَجاتٍ حُرِّيَّةِ وَجَمْعِ البَياناتِ، وَالَّتِي فِي نِهايَةِ المَطافِ حَوَّلَت الإِحْداثِيّات ثُلاثِيَّةٌ الأَبْعاد لَنُقَطه قَطْفِ الليتشي بِدِقَّةٍ إِلَى نِظامِ إِحْداثِيّات قاعِدَةِ الذِراعِ الروبوتيه. قِبَلَ الحُصُولِ عَلَى البَياناتِ، تَمَّ إِكْمالَ مَعايِره الكامِيرا وَمَعايِره اليَدِ-عَيْن عَلَى التَوالِي. تَمَّ تَحْقِيقِ الأُولَى فِي هٰذِهِ الدِراسَةُ بِواسِطَةِ طَرِيقَةِ مَعايِره Zhang الكلاسِيكِيَّةِ المُقْتَرَحَةِ بِواسِطَةِ (r59). فِي أَعْمالنا المُبَكِّرَةُ، تَمَّ إِجْراءِ بِعَضِّ الأَبْحاثِ عَلَى المُعايَرَة بَيِّنَ الكامِيرا وَذِراع الرُوبُوت، وَاِقْتَرَحَ (r60) طَرِيقَةِ مَعايِره يَدِ-عَيْن مُغْلَقَةً الحَلْقَةِ قَوِيَّةٍ وَدَقِيقَةِ لِتَحْدِيدِ الاِرْتِباطِ الاحداثي بَيِّنَ الحافَة النِهائِيَّةِ لَذِراع الرُوبُوت وَحَسّاس الكامِيرا لَرُوبُوت بِعَيْنِ فِي اليَدِ. مَصْفُوفه اليَدِ-عَيْن كَما فِي المُعادَلَةَ (1). \[\begin{gathered} \widehat{{_{C}^{F}}T} =\frac{1}{N_c} \sum_{i=1}^{N_C} {({_{B}^{C}}T{^{(i)}}{_{R}^{B}}T{_{F}^{R}}T{^{(i)}})^{-1}}\end{gathered}\] فِي هٰذِهِ الحالَةِ، \(_R^BT\) هِيَ مَصْفُوفه التَحْوِيلِ الثابِتَةِ {R} بِالنِسْبَةِ لِ {B} نَظَراً لِلثَبات النِسْبِيّ بَيِّنَ قاعِدَةِ ذِراعِ الرُوبُوت وَلَوْحَة الفَحْصِ خِلالَ عَمَلِيَّةِ المُعايَرَة، وَالَّتِي يُمْكِن مُعايَرَتها بِواسِطَةِ القُرْبِ المُسَيْطِرَ لِأَصِل {G} إِلَى الأَصْلِ وَكَذٰلِكَ مَحاوِرِ X وَ Y لِ {B}. \(_B^CT^{(i)}\) هِيَ مَصْفُوفه التَحْوِيلِ {B} بِالنِسْبَةِ لِ {C}، المُقابَلَةِ لِلمَوْضِع i لِلرُوبُوت وَالَّتِي يُمْكِن الحُصُولِ عَلَيها بِواسِطَةِ طَرِيقَةِ المُرَبَّعات الصُغْرَى (r61). \(_F^RT^{(i)}\) هِيَ مَصْفُوفه التَحْوِيلِ {F} بِالنِسْبَةِ لِ {R}، المُقابَلَةِ لَمَوْضِع i لِلرُوبُوت وَالَّتِي يُمْكِن الحُصُولِ عَلَيها بِسُهُولَةٍ بِواسِطَةِ الحَرَكاتِ الأَمامِيَّةِ. \(N{_c}\) هُوَ عَدَدٍ الأَوْضاعِ المُخْتَلِفَةِ. فِي هٰذِهِ الدِراسَةُ، \(N{_c}\)=16.
عِنْدَما تَحَرَّكَت ذِراعِ الرُوبُوت فِي مَواقِعِ مُعَيَّنَةٍ (r64)، تَمَّ فِي نِهايَةِ المَطافِ تَحْوِيلِ المِيزاتِ المَحَلِّيَّةِ فِي كُلِّ مَوْقِعِ مِن نِقاطٍ قَطْفِ الليتشي إِلَى نَفْسِ نِظامِ الإِحْداثِيّات الأَساسِيُّ لَتَكْوِين المِيزَة العالَمِيَّةِ (عَلَى الرَغْمِ مِن أَنَّهُ يَجِب أَنَّ يَظَلّ يُطْلَق عَلَيها “المِيزَة المَحَلِّيَّةِ” لِأَنَّ الذِراعِ مَعَ حَسّاس الكامِيرا كانَ مَحْدُودا بِمِنْطَقَة مَحَلِّيَّةٍ عِنْدَ المَسْحِ).
تَتَأَثَّر دِقَّةٍ السُحُبِ النقطيه الخامِ المُحَصِّلَةُ مِن نِظامِ الرُؤْيَةِ المُتَعَدِّدَةِ الزَوايا بِعَوامِلِ عَدِيدَةٍ مِثْلَ التَغَيُّراتِ فِي الإِضاءَة الطَبِيعِيَّةِ، الاِهْتِزاز فِي البِيئات الدِينامِيكِيَّة، خَطَأ مَعايِره اليَدِ-العَيْن، وَخَطّا الأَجْهِزَةِ الأَصْلِيُّ لِلكامِيرا. تُولَد هٰذِهِ العَوامِلُ ضَوْضاء فَوْضَوِيَّةٌ وَهَياكِلَ غَيْرِ مُتَساوِيَةً بَيِّنَ السُحُبِ النقطيه المُكْتَسَبَة. كَما نوقش فِي هٰذا القِسْمِ، قُمْنا بِدَمْجِ مُرَشَّحِ إِحْصائَيَّ وَمُرَشَّح لَوْنَيَّ لَتَنْقِيَة الشَوائِبِ المُتَناثِرَة خارِجَ الجِسْمِ الرَئِيسِيُّ وَذاتِ فَجْوَةِ لَوْنِيَّةٌ واسِعَةً مِن نُقْطَةً الاِخْتِيارُ لِتَوْفِيرِ حالَةِ أَوَّلِيَّةً جَيِّدَةٍ لِلخَيّاطَة اللاحِقَةِ.
كَما اِقْتَرَحَ (r62) لِلتَصْفِيَة اللَوْنِيَّة فِي إِعادَةِ بِناءَ 3D لَأَشْجار الفاكِهَةِ، نَقْتَرِح أَداءِ مُرَشَّحات لَوْنِيَّةٌ بَسِيطَةً فِي السُحُبِ النقطيه ذاتِ المِيزاتِ اللَوْنِيَّة لِتَقْلِيلِ عَدَدٍ كَبِيرٍ مِن الأَوْراقِ الخَضْراءِ فِي البِدايَةِ وَتَوْفِيرِ ظُرُوفٍ أَوَّلِيَّةً جَيِّدَةٍ لِكَشْفِ السُحُبِ النقطيه اللاحِقِ. \[\begin{gathered} \left\{ \begin{aligned} R_s & > & \sigma_1 \\ G_s & \leq & \sigma_2 \end{aligned} \right.\end{gathered}\] حَيْثُ، \(R_s\)، \(G_s\) هُما قَنَواتٍ الأَحْمَرِ وَالأَخْضَر فِي المِيزاتِ اللَوْنِيَّة لِلسَحْب النقطيه عَلَى التَوالِي، عِنْدَما \(R_s\leq\sigma_1\)، \(G_s\)>\(\sigma_2\)، سَيَتِمّ إِزالَةِ السُحُبِ النقطيه مِن السُحُبِ النقطيه بِأَكْمَلِها.
يُمْكِن لِلمُرَشَّحِ الإِحْصائِيّ إِزالَةِ أَيّ نِقاطٍ شاذَّةً مُتَناثِرَةً خارِجَ الهَيْكَل الرَئِيسِيُّ لِلسَحْب النقطيه (r58). بِالنِسْبَةِ لِلعَناصِر العَشْوائِيَّةِ، يَتِمّ البَحْثِ عَن جَمِيعِ نِقاطٍ المَجالِ لِكُلِّ نُقْطَةً وَيَتِمّ حِسابِ المَسافَةِ مِن كُلِّ نُقْطَةً إِلَى جارها. يَتِمّ حِسابِ المُتَوَسِّطِ \(\mu\) وَالاِنْحِرافِ المعياري \(\sigma\) لِلمَسافات مِن جَمِيعِ النِقاطِ مِن جِيرانِها، وَأَيّ نُقْطَةً يَكُون مُتَوَسِّطُ قِيمَتُها خارِجَ الفَتْرَةِ القِياسِيَّةِ سَيَتِمّ اِعْتِبارِها كَضَوْضاء. \[\begin{gathered} \left[ \mu-\alpha_v\times\sigma,\ \mu+\alpha_v\times\sigma \right]\end{gathered}\] حَيْثُ \(\alpha_v\)<3 يُحَدِّد عَرَضَ الفَتْرَةِ القِياسِيَّةِ.
وِفْقاً لِنَظَرِيَّةِ مَعايِره اليَدِ-العَيْن، يُمْكِن الحُصُولِ عَلَى تَوْجِيهِ كُلِّ مَجْمُوعَةِ مِن النِقاطِ السحابيه (ثَلاثِ زَوايا مُحَدَّدَةٍ) فِي نِظامِ إِحْداثِيّات قاعِدَةِ الذِراعِ الروبوتيه، مِمّا يُوَفِّر تَوْجِيهاً أَوَّلِيّا جَيِّداً لَخَيّاطه النِقاطِ السحابيه التالِيَةِ.
لِنَفْتَرِض أَنَّ عَدَدٍ نِقاطٍ السَحابَة الَّتِي حَصَلَت عَلَيها الكامِيرا فِي زَوايا مُحَدَّدَةٍ لِ \(n_1\)، \(n_2\) وَ \(n_3\) عَلَى التَوالِي. إِحْداثِيّات النُقْطَةِ الكُلِّيَّةِ الخاصَّةِ بِالنِظامِ الأَساسِيُّ هِيَ \({^R}P_A^{(k)}\)، \({^R}P_B^{(k)}\) وَ \({^R}P_C^{(k)}\) (A، B، C تُمَثِّل فَقَط مَواقِعِ مُخْتَلِفَةٍ لِلكامِيرا) تِلْكَ المُتَعَلِّقَةِ بِنِظامِ إِحْداثِيّات الكامِيرا هِيَ \({^{CA}}P^{(k)}\)، \({^{CB}}P^{(k)}\) وَ \({^{CC}}P^{(k)}\) (CA هُوَ تَمْثِيلِ نِظامِ إِحْداثِيّات الكامِيرا فِي المَوْقِعِ A، CB، CC مُماثِلَةٍ)، عَلَى التَوالِي. اِسْتَبْدَلَ جَمِيعِ قِيَمِ k لِلحُصُولِ عَلَى النِقاطِ النِسْبِيَّةِ لِنِظامِ الإِحْداثِيّات الأَساسِيُّ: \[\left[ \begin{array}{c} {^R}P_A^{(1)} \\ {^R}P_A^{(2)} \\ \vdots \\ {^R}P_A^{(\textnormal{$n_1$})} \end{array} \right] = \ ^{\ R}_{CA}T \left[ \begin{array}{c} ^{CA}P^{(1)} \\ ^{CA}P^{(2)} \\ \vdots \\ ^{CA}P^{(\textnormal{$n_1$})} \end{array} \right]\]
\[\left[ \begin{array}{c} {^R}P_B^{(1)} \\ {^R}P_B^{(2)} \\ \vdots \\ {^R}P_B^{(\textnormal{$n_2$})} \end{array} \right] = \ ^{\ R}_{CB}T \left[ \begin{array}{c} ^{CB}P^{(1)} \\ ^{CB}P^{(2)} \\ \vdots \\ ^{CB}P^{(\textnormal{$n_2$})} \end{array} \right]\]
\[\left[ \begin{array}{c} {^R}P_C^{(1)} \\ {^R}P_C^{(2)} \\ \vdots \\ {^R}P_C^{(\textnormal{$n_3$})} \end{array} \right] = \ ^{\ R}_{CC}T \left[ \begin{array}{c} ^{CC}P^{(1)} \\ ^{CC}P^{(2)} \\ \vdots \\ ^{CC}P^{(\textnormal{$n_3$})} \end{array} \right]\]
فِي هٰذا السِياقِ، \(_{CA}^{\ R}T\) = \(_{CB}^{\ R}T\) = \(_{CC}^{\ R}T\) = \(_{C}^{R}T\) = \(_{F}^{R}T^{(i)}\) \(\widehat{{_{C}^{F}}T}\)، هِيَ مَصْفُوفه التَحْوِيلِ بَيِّنَ نِظامِ إِحْداثِيّات الكامِيرا وَنِظامِ إِحْداثِيّات القاعِدَةِ لِلذِراع الروبوتيه المُسْتَنْتِجَة فِي القِسْمِ III-B. وَبِالتالِي، يُمْكِن كِتابَةِ السَحابَة النقطيه المخيطه \(P_s\) كَما يَلِي: \[\setlength{\arraycolsep}{1.8pt} P_s = \left[ \begin{array}{c|c|c} \left[ \begin{array}{c} {^R}P_A^{(1)} \\ {^R}P_A^{(2)} \\ \vdots \\ {^R}P_A^{(\textnormal{$n_1$})} \end{array} \right]^T \!& \left[ \begin{array}{c} {^R}P_B^{(1)} \\ {^R}P_B^{(2)} \\ \vdots \\ {^R}P_B^{(\textnormal{$n_3$})} \end{array} \right]^T & \left[ \begin{array}{c} {^R}P_C^{(1)} \\ {^R}P_C^{(2)} \\ \vdots \\ {^R}P_C^{(\textnormal{$n_3$})} \end{array} \right]^T \end{array} \right]^T\]
(r37) اِقْتَرَحَ شَبَكَةِ كَشَفَ الأَهْدافِ ثُلاثِيَّةٌ الأَبْعاد الَّتِي تُسْتَخْدَم فَقَط بَياناتٍ سَحابه النِقاطِ كَمادَّةِ، وَالَّتِي تَعْرِف بِاِسْمِ Fcaf3d (كَشَفَ الكائِنِ ثُلاثِيّ الأَبْعاد بِدُونِ مَرْساه بِالكامِلِ). إِنَّها نَمُوذَجَ شَبَكَةِ يُحَسِّن بِشَكْلٍ كَبِيرٍ مِن تَعْمِيمِ الكَشْفِ وَمُصَمِّم خَصِيصاً لِتَحْقِيقِ كَشَفَ سَرِيعٍ وَدَقِيق لِلأَجْسام ثُلاثِيَّةٌ الأَبْعاد داخِلَ المَبانِي. يُوَفِّر هٰذا الدَعْمِ الفَنِّيِّ لِتَحْدِيدِ وَتَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي. خوارزميه شَبَكَةِ Fcaf3d هِيَ خوارزميه مُحَسِّنه تَسْتَنِد إِلَى (r38) الَّذِي اِقْتَرَحَ شَبَكاتِ الكَشْفِ النادِرَةِ التوليديه. مِن بَيِّنَ التَحْسِيناتِ، اِقْتَرَحَ Fcaf3d صُنْدُوقا بِدُونِ مَرْساه بِالكامِلِ وَمُعَلِّمه صُنْدُوقِ الحُدُودِ المُوَجَّهَةِ الجَدِيدَةِ، وَالَّتِي تَحَسُّنِ mAP@.5 بِنِسْبَةِ 11.4% مُقارَنَةً بِشَبَكات الكَشْفِ النادِرَةِ التوليديه. وَبِالتالِي، تُوَفِّر خوارزميه شَبَكَةِ Fcaf3d أَفْضَلَ طَرِيقَةِ لِتَحْدِيدِ وَتَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي.
هُناكَ أَرْبَعَةِ مُكَوِّناتِ رَئِيسِيَّةٍ لَنَمُوذَج شَبَكَةِ Fcaf3d: الإِدْخال، العَمُودِ الفَقْرِيِّ، العُنْق، وَالرَأْس. لَقَد قُمْنا بِتَعْدِيلِ هَيْكَلها وَدَمْج وَحْدَةِ SE مَعَ كُلِّ وَحْدَةِ Res فِي العَمُودِ الفَقْرِيِّ لِتَشْكِيلِ كُتْلَةِ SE-Res. فِي هٰذِهِ الوَرَقَةَ، سَنُطْلَق عَلَيها نَمُوذَجَ شَبَكَةِ Fcaf3d-lychee.
نَدْرَةُ سَحابه النِقاطِ وَحَقِيقَة أَنَّ السَطْحِ المَرْئِيِّ لَسَحابه النِقاطِ لا يَتَقاطَع مَعَ مَرْكَزِ الكائِنِ، بِالإِضافَةِ إِلَى مُشْكِلَةِ التَكْلِفَةِ الحِسابِيَّة العالِيَةِ لِلتَحْوِيلِ ثُلاثِيّ الأَبْعاد، تَسَبَّبَ صُعُوباتٍ كَبِيرَةٍ فِي مُهِمَّةً كَشَفَ الأَجْسام ثُلاثِيَّةٌ الأَبْعاد. بَدَلاً مِن حِسابِ التَحْوِيلِ الكَثِيفِ ثُلاثِيّ الأَبْعاد العادِيُّ، اِعْتَمَدَ كُلِّ مِن Fcaf3d وَشَبَكاتِ الكَشْفِ النادِرَةِ التوليديه الحِسابِ الَّذِي اِقْتَرَحَهُ (r39) لِلتَحْوِيلِ النادِرِ لَسَحابه النِقاطِ. الحِسابِ كَما فِي المُعادَلَةَ (8).
لِيَكُن \(\textit{x}_\textbf{u}^{in} \in \mathbb{R}^{N^{in}}\) مُتَّجِه مِيزَةً مدخلات بَعْدِي \(N^{in}\) فِي فَضاءِ D-بَعْدِي عِنْدَ \(\mathbf{u} \in \mathbb{R}^D\) (إِحْداثِيّات D-بَعْدِي)، وَتَكُون اوزان نَواةِ التَحْوِيلِ \(\textbf{W} \in \mathbb{R}^{{K^D}\times{N^{in}}\times{N^{out}}}\). بُعْدَ ذٰلِكَ، قِسْمِ الاوزان إِلَى اوزان مَكانَيْهِ مَعَ \(K^D\) مَصْفُوفات بِحَجْمِ \({N^{in}}\times{N^{out}}\) ك \(\textit{W}_\textbf{i}\) لِ \(|\{\textbf{i}\}_\textbf{i}|=K^D\). ثُمَّ التَحْوِيلِ النادِرِ العامِّ كَالتالِي: \[\textbf{x}^{out}_\textbf{u} = \ \sum_{i \in \mathbb{N}^D (\textit{u},\mathbb{C}^{in})}^{}W_\textbf{i}\textbf{x}_{\textbf{u}+\textbf{i}}^{in} \ \text{for} \ \textbf{u} \in \mathbb{C}^{out}\] حَيْثُ \(\mathbb{N}^D\) هُوَ مَجْمُوعَةِ مِن الإِزاحات الَّتِي تُحَدِّد شَكْلٍ النَواةُ وَ\(\mathbb{N}^D (\textbf{u},\mathbb{C}^{in})=\{\textbf{i}|\textbf{u+i}\in C^{in},\textbf{i}\in \mathbb{N}^D\}\) كَمَجْمُوعَةٍ الإِزاحات مِن المَرْكَزِ الحالِيَّ، u، المَوْجُودَةِ فِي \(\mathbb{C}^{in}\). \(\mathbb{C}^{in}\) وَ\(\mathbb{C}^{out}\) هُما إِحْداثِيّات الإِدْخال وَالإِخْراج المُحَدَّدَةِ مُسْبَقاً لِلأَنْسِجَة النادِرَةِ.
النَسِيج النادِرِ مُخْتَلِفِ عَن السابِقِ فِي أَنَّهُ مُفَهْرَس بِالدُفْعات، أَيّ أَنَّ إِحْداثِيّات النَسِيج النادِرِ الجَدِيدَةِ تُعْطِي رَقْمِ فَهَرَسَ لَتَمْيِيز النِقاطِ مِن دُفْعاتٍ مُخْتَلِفَةٍ تَشْغَل نَفْسِ الإِحْداثِيّات، وَهُوَ بِتَنْسِيق COO لَتَمْكِين الاِسْتِعْلام الفَعّالَ عَن إِحْداثِيّات الجِيرانِ. يَعْتَمِد العَمُودِ الفَقْرِيِّ لِ Fcaf3d شَكَّلا مُتَغَيِّرا مِن نَفْسِ الهَيْكَل المُتَبَقِّي عالِي الأَبْعاد المُسْتَخْدِمُ فِي شَبَكاتِ الكَشْفِ النادِرَةِ التوليديه، وَالَّذِي يَتَكَوَّن مِن سِلْسِلَةٍ مِن التَحْوِيلاتِ التَدْرِيجِيَّة بِالإِضافَةِ إِلَى الكُتَلِ المُتَبَقِّيَةُ، كُلِّ مِنها يُقَلِّل مِن دِقَّةٍ الفَضاءِ المُسْتَهْدَفِ وَيَزِيد بِشَكْلٍ كَبِيرٍ مِن حَجْمِ المَجالِ الاستقبالي. فِي العُنْق، يَسْتَخْدِم التَحْوِيلِ المَعْكُوس لِتَحْسِينِ مِيزاتِ المَجالِ الاستقبالي المُنْخَفَض الدِقَّةِ الكَبِيرِ الَّذِي تَمَّ إِنْشاؤه بِواسِطَةِ الكُتْلَةِ المُتَبَقِّيَةُ السابِقَةِ، وَيَسْتَخْدِم الاِنْضِمامِ بِالقَفْز مَعَ التَقْلِيم النادِرِ لِلتَحَكُّمِ فِي النَسِيج النادِرِ لِلنُمُوِّ المُكَعَّب. مِن ناحِيَةٍ أُخْرَى، يَتَكَوَّن الرَأْسِ مِن طَبَقاتِ التَحْوِيلِ النادِرِ ثُلاثِيّ الأَبْعاد المُتَوازِيَة الَّتِي تَخْرُج اِحْتِمالَيْهِ التَصْنِيفِ، مُعَلِّمات تَقْدِيرٍ صُنْدُوقِ الحُدُودِ، وَمَرْكَزَيْهِ صُنْدُوقِ الحُدُودِ لِلطَبَقَةِ، عَلَى التَوالِي. عَلَى هٰذا الأَساسِ، مِن أَجْلِ تَحْسِينِ الدِقَّةِ وَالتَعْمِيم، اِقْتَرَحَ دانيلا روخوفيتش وَآخَرُونَ اِقْتِراحِ الصُنْدُوقِ بِدُونِ مَرْساه وَمُعَلِّمات صُنْدُوقِ الحُدُودِ المضببه بِاِسْتِخْدامِ فِكْرَةَ حَلَقاتِ موبيوس، مِمّا يُقَلِّل بِشَكْلٍ كَبِيرٍ مِن عَدَدٍ المُعَلِّماتُ الفائِقَةِ أَثْناءَ التَدْرِيبِ، وَالتَعْمِيم وَالدِقَّةِ تَحَسَّنَت أَيْضاً بِشَكْلٍ كَبِيرٍ.
وَمَعَ ذٰلِكَ، فَإِنَّ نَتِيجَةَ Fcaf3d غَيْرِ مَرْغُوبٌ فِيها لِتَحْدِيدِ وَتَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي مَعَ الأَهْدافِ الصَغِيرَةِ. لِذٰلِكَ، تَقْتَرِح هٰذِهِ الوَرَقَةَ نَمُوذَجَ Fcaf3d-lychee لِكَشْفِ نِقاطٍ قَطْفِ الليتشي ثُلاثِيَّةٌ الأَبْعاد فِي سَحابه النِقاطِ. بِالنِسْبَةِ لِلأَهْداف الصَغِيرَةِ، وَخاصَّةً الأَهْدافِ الصَغِيرَةِ فِي سَحابه النِقاطِ، فَإِنَّ المَعْلُوماتِ فِي سَحابه النِقاطِ غَيْرِ مُتَجانِسه، وَقَد تَكُون مِيزاتِ الأَهْدافِ الصَغِيرَةِ ضَعِيفَةٌ بِالنِسْبَةِ لِلمِيزات فِي سَحابه النِقاطِ بِأَكْمَلِها، وَهُوَ أَمْرٌ مُهِمٌّ جِدّاً لِكَشْفِ الأَهْدافِ الصَغِيرَةِ. بِالإِضافَةِ إِلَى ذٰلِكَ، فِي الهَيْكَل المُتَبَقِّي، فَإِنَّ عَدَدٍ قَنَواتٍ الإِدْخال لِكُلِّ كُتْلَةِ مُتَبَقِّيه كَبِيرٍ جِدّاً، بَيْنَما عَدَدٍ قَنَواتٍ صَغِيرٍ أَفْضَلَ لِلاِحْتِفاظِ بِبَعْضِ المَعْلُوماتِ الخاصَّةِ حَوْلَ الأَهْدافِ الصَغِيرَةِ فِي المِيزاتِ العَمِيقَةِ. فِي الخِتامِ، تَمَّ إِجْراءِ التَحْسِيناتِ التالِيَةِ فِي هٰذِهِ الوَرَقَةَ لِتَحْدِيدِ وَتَحْدِيدِ مَواقِعِ نِقاطٍ قَطْفِ الليتشي: (1) وَحْدَةِ SE-Residual: دَمْجِ وَحْدَةِ آلِيَّةِ الاِنْتِباهِ SE مَعَ كُلِّ وَحْدَةِ Res فِي العَمُودِ الفَقْرِيِّ؛ (2) المُعَلِّماتُ الفائِقَةِ: بِالنِسْبَةِ لِلكُتَل المُتَبَقِّيَةُ الأَرْبَعَةِ مِن الشَبَكَةِ المُتَبَقِّيَةُ، كانَت قَنَواتٍ الإِدْخال الأَصْلِيَّةِ (64، 128، 256، 512)، وَحَصَلْنا عَلَى العَدَدَ الأَمْثَلُ لِلقَنَوات لِلتَجارِبِ لِيَكُون (64، 128، 256، 256)، وَالَّذِي لا يُحَسِّن فَقَط دِقَّةٍ النَمُوذَجِ وَلٰكِن يُمْكِن أَيْضاً أَنَّ يُقَلِّل بِشَكْلٍ كَبِيرٍ مِن اِحْتِلالِ ذاكِرَةِ الفِيدْيُو.
آلِيَّةِ الاِنْتِباهِ الناعِم تَشْمَل عُمُوماً آلِيَّةِ اِنْتِباهَ القَناة وَآلِيَّةِ اِنْتِباهَ المَكانِ. تُرَكِّز وَحْدَةِ الاِنْتِباهِ المَكانِيّ عَلَى مَعْلُوماتٍ المَوْقِعِ المَكانِيّ لِلبَيانات، بَيْنَما تَوَلِّي وَحْدَةِ اِنْتِباهَ القَناة اِهْتِماماً أَكْبَرَ لِمَعْلُوماتٍ القَناة لِلمِيزات. تَنْتَمِي شَبَكَةِ SENet إِلَى اِنْتِباهَ القَناة، حَيْثُ تَقُوم بتوزين قَنَواتٍ المِيزاتِ المُخْتَلِفَةِ لِإِنْشاءِ عَلاقَةَ بَيِّنَ قَنَواتٍ المِيزاتِ، وَلا يُغَيِّر إِدْخالُ SENet الأَبْعاد المَكانِيَّة الأَصْلِيَّةِ. هٰذا خِيارَ جَيِّدٍ لِلبَيانات المُتَفَرِّقَة وَغَيْرِ المُنْتَظِمَة مِثْلَ السَحابَة النقطيه، حَيْثُ يَتِمّ الحُصُولِ تِلْقائِيّا عَلَى اوزان قَنَواتٍ المِيزاتِ ثُمَّ اِسْتِخْدامِ الاوزان المُكْتَسَبَة لِتَصْفِيَةِ المِيزاتِ الرَئِيسِيَّةِ.
تَتَكَوَّن وَحْدَةِ الضَغْطِ وَالإِثارَة مِن مَرْحَلَتَيْنِ: الضَغْطِ وَالإِثارَة. فِي مَرْحَلَةِ الضَغْطِ، يَتِمّ تَقْلِيلِ الخَرِيطَةِ المُمَيَّزَةِ الأَصْلِيَّةِ بعديا مِن خِلالَ التَجْمِيع المُتَوَسِّطِ العالَمِيِّ، مِمّا يُنْتِج عَنهُ قِيمَةَ واحِدَةٍ لِكُلِّ قَناةِ. تُمَثِّل هٰذِهِ القِيمَةِ الأَهَمِّيَّةِ العالَمِيَّةِ لِكُلِّ قَناةِ. فِي مَرْحَلَةِ الإِثارَةِ، يَسْتَخْدِم طَبَقَةٌ مُتَّصِله بِالكامِلِ مَعَ بُعْدَ إِدْخالُ يُساوِي عَدَدٍ القَنَواتِ وَبُعْدَ إِخْراجِ أَصْغَرِ بِكَثِيرٍ مِن عَدَدٍ القَنَواتِ. ثُمَّ يَتِمّ مُعالَجَةِ الإِخْراج مِن خِلالَ وَظِيفَةٍ التَنْشِيط ReLU لِتَعْلَم الاوزان لِكُلِّ قَناةِ. تُسْتَخْدَم هٰذِهِ الاوزان لِإِعادَةِ تَوُزِّينَ مِيزاتِ كُلِّ قَناةِ (r40). تَمَّ التَعْبِيرِ عَن آلِيَّةِ الاِنْتِباهِ الضَغْطِ وَالإِثارَة كَما يَلِي: \[\begin{split} \textbf{$M_c$}(F) &=F\cdot\sigma(L_2(ReLu(L_1(AvgPool(F)))))\\ &=F\cdot\sigma(L_2(ReLu(L_1(F_{avg})))) \end{split}\] حَيْثُ \(M_c\) هُوَ خَرِيطَةِ الاِنْتِباهِ، خَرِيطَةِ المِيزاتِ الادخاليه هِيَ F، \(\sigma\) تُمَثِّل وَظائِفِ السيجمويد، ReLu هِيَ الغَيْرِ خَطَّيْهِ، \(L_1\) وَ \(L_2\) هُما عَمَلِيَّةِ الاِتِّصالِ الكامِلِ. \(F_{avg}\) هِيَ عَمَلِيّاتِ التَجْمِيع المُتَوَسِّطِ عَلَى خَرِيطَةِ المِيزاتِ.
أُجْرِيَت هٰذِهِ الدِراسَةُ مِن 23 يُونِيُو إِلَى 24 يُونِيُو 2023، فِي حَدِيقَةِ مَعْرِضِ الليتشي، طَرِيقِ هوانشي الشَرْقِيِّ، شارِعِ جيانغبو، مِنْطَقَةِ كونغهوا، مَدِينَةِ قوانغتشو، مُقاطَعَةِ قوانغدونغ، الصِينِ (خَطِّ الطُولَ \(23^\circ59^\prime\)E، خَطِّ العَرْضِ \(113^\circ62^\prime\)N). تَمَّ جَمْعِ ما مَجْمُوعُهُ 850 مَجْمُوعَةِ (ثَلاثَةِ سَحْبِ بَياناتٍ لِكُلِّ مَجْمُوعَةِ، اِسْتِعْداداً لِلتَجْمِيع اللاحِقِ) مِن بَياناتٍ سَحْبِ الليتشي لَنَوْع الليتشي القَزَم “هُواِي زهِي” بِاِسْتِخْدامِ كامِيرا العُمْقِ أَزُور كِينِيَّتَيْكَ DK. سَتُسْتَخْدَم بَياناتٍ سَحْبِ الليتشي هٰذِهِ لِبِناءِ مَجْمُوعَةِ بَياناتٍ لِتَحْدِيدِ وَكَشَفَ الليتشي. تَمَّ التَخَلُّصِ مِن بِعَضِّ بَياناتٍ سَحْبِ البَياناتِ غَيْرِ الصالِحَةِ الَّتِي تُعانِي مِن تَداخُلٌ الاِحْتِجاب الشَدِيدِ وَبَياناتِ سَحْبِ البَياناتِ المُظْلِمَة لِلغايَةِ، وَبَقِيَ 800 بَياناتٍ سَحْبِ تَمَّ الحُصُولِ عَلَيها مِن مَسافات تَصْوِيرَ مُخْتَلِفَةٍ وَكَذٰلِكَ ظُرُوفٍ أَضاءَهُ مُخْتَلِفَةٍ.
كَما هُوَ مُوَضِّح فِي الشَكْلِ [fig:graph5]، فِي هٰذِهِ الوَرَقَةَ، يَتِمّ إِجْراءِ سِلْسِلَةٍ مِن عَمَلِيّاتِ تَعْزِيزِ البَياناتِ عَلَى مَجْمُوعَةِ البَياناتِ الأَصْلِيَّةِ، وَتَعْتَبِر مُعالَجَةِ البَياناتِ عَمَلِيَّةِ مُهِمَّةً جِدّاً، خاصَّةٍ لِلبَيانات المُتَناثِرَة مِثْلَ سَحابه النِقاطِ، حَيْثُ يَكُون لِلمُعالَجَةِ المُسْبَقَةِ تَأْثِيرِ كَبِيرٍ عَلَى إِنْتاجِ مَجْمُوعاتٍ البَياناتِ وَتَدْرِيبِ النَمُوذَجِ لاحِقاً، وَسَيَتِمّ وَصَفَ مُعالَجَةِ مَجْمُوعَةِ البَياناتِ قِبَلَ تَدْرِيبِ النَمُوذَجِ فِي هٰذا القِسْمِ الفَرْعِيِّ. تَشْمَل المُعالَجَةِ المُسْبَقَةِ، وَلٰكِن لا تَقْتَصِر عَلَى، الدَوْرانِ الكُلِّيِّ، وَالتَرْجَمَةِ، وَالتَحْجِيم، وَالقَلْب لِلبَيانات، وَلٰكِن أَهَمَّ خَطَواتٍ المُعالَجَةِ المُسْبَقَةِ هِيَ مُحاذاةِ سَحابه النِقاطِ مُتَعَدِّدَةِ الوُجُهات وَتَقْلِيل حَجْمِ الفوكسل. تُعْتَبَر هٰذِهِ العَمَلِيّاتِ المُسْبَقَةِ مُهِمَّةً جِدّاً فِي تَدْرِيبِ النَمُوذَجِ، خاصَّةٍ لِلبَيانات الخاصَّةِ بِسَحابه النِقاطِ، حَيْثُ تَحَسُّنِ هٰذِهِ العَمَلِيّاتِ مِن مَتانَةَ البَياناتِ، وَتَحَسَّنَ بِشَكْلٍ كَبِيرٍ دِقَّةٍ تَدْرِيبِ النَمُوذَجِ، وَتَقْلِل مِن ظاهِرَةِ الإِفْراط فِي التَكَيُّفِ لِلنَمُوذَج، وَتَحَسَّنَ مِن قُدْرَةِ التَعْمِيمِ لِتَدْرِيبِ النَمُوذَجِ.
عَلَى الرَغْمِ مِن أَنَّ المُعالَجَةِ المُسْبَقَةِ المَذْكُورَةِ أَعْلاه لا تُقَلِّل مِن صُعُوبَةِ تَدْرِيبِ النَمُوذَجِ، إِلّا أَنَّهُ يَتِمّ اِسْتِخْدامِ تَمْثِيلِ الفوكسل لِضَغْطٍ بَياناتٍ سَحابه النِقاطِ أَكْثَرَ دُونِ تَدْمِيرِ المَعْلُوماتِ الأَصْلِيَّةِ. فِي هٰذِهِ الدِراسَةُ، يَتِمّ اِسْتِخْدامِ تَقْلِيلِ حَجْمِ سَحابه النِقاطِ فِي تَصْفِيَةٍ سَحابه النِقاطِ open3d. الخوارزميه هِيَ إِنْشاءِ سَحابه نِقاطٍ مُوَحَّدَةٍ مقلله الحَجْمِ مِن سَحابه النِقاطِ المدخله بِاِسْتِخْدامِ شَبَكَةِ فوكسل مُنْتَظِمه فِي عَمَلِيَّةِ مُكَوَّنَةٍ مِن جزاين، حَيْثُ يَتِمّ أَوَّلاً تَحْوِيلِ سَحابه النِقاطِ المدخله إِلَى فوكسل، يَلِيها تَحْدِيدِ مَرْكَزِ كُتْلَةِ سَحابه النِقاطِ داخِلَ الفوكسل لِإِزالَةِ فوكسل جَمِيعِ الفوكسلات غَيْرِ الفارِغَة كَمَوْقِعٍ لَنُقَطه الفوكسل المُعَدَّلَةِ النِهائِيَّةِ. بِهٰذِهِ الطَرِيقَةِ، نَقُوم بِتَقْلِيل عَدَدٍ سَحابات النِقاطِ أَكْثَرَ، مِمّا يُقَلِّل بِشَكْلٍ كَبِيرٍ مِن مُتَطَلَّباتِ الأَداءِ، وَيُحْسِن أَيْضاً سُرْعَةٍ التَدْرِيبِ وَدِقَّته، وَيُحْسِن أَيْضاً التَعْمِيمِ النِهائِيِّ لِلنَمُوذَج. بِالنِسْبَةِ لِاِخْتِيارِ حَجْمِ الفوكسل، حَدَّدَت هٰذِهِ الدِراسَةُ حَجْمِ الفوكسل إِلَى 0.01m بُعْدَ العَدِيدَ مِن التَجارِبِ وَالتَجارِبُ، مِن النِقاطِ الأَوَّلِيَّةِ الَّتِي تَبْلُغ حِوالِي مِائَتَيَّ أَلْفِ نُقْطَةً، تَمَّ تَقْلِيلها إِلَى أَقَلَّ مِن مِائَةِ أَلْفِ نُقْطَةً، وَالأَهَمَّ مِن ذٰلِكَ، أَنَّ هٰذا يَزِيد مِن دِقَّةٍ تَدْرِيبِ النَمُوذَجِ بِشَكْلٍ واضِحٍ، وَيُحْسِن أَيْضاً التَعْمِيمِ لِلنَمُوذَج. تُعْطِي نَتائِجِ التَدْرِيبِ المُحَدَّدَةِ فِي الجُزْء التَجْرِيبِيُّ مِن القِسْمِ [section: experiment].
فِي هٰذِهِ الوَرَقَةَ، يَتِمّ تَنْظِيمِ التَكْوِين المُحَدَّدِ لِإِعْدادِ التَجْرِبَةِ فِي الجَدْوَلُ [tab: Model training environment settings]. تَمَّ تَدْرِيبِ نَمُوذَجَ Fcaf3d-litchi عَلَى إِطارِ العَمَلِ mmdetection3d. خَطَواتٍ التَدْرِيبِ المُحَدَّدَةِ هِيَ كَما يَلِي: كَما فِي الجَدْوَلُ [tab: lychee picking points dataset split used for training]، يَتِمّ تَقْسِيمِ مَجْمُوعَةِ البَياناتِ إِلَى مَجْمُوعَةِ تَدْرِيبِ وَمَجْمُوعَةِ تَحَقَّقَ وِفْقاً لَنِسْبَة 8:2، وَبِالتالِي يَتِمّ تَدْرِيبِ النَمُوذَجِ عَلَى 800 نُقْطَةً بَياناتٍ سحابيه مُقَسَّمَةً إِلَى دُفْعاتٍ صَغِيرَةٌ، وَيَعْتَمِد نَمُوذَجَ الشَبَكَةِ عَلَى مُحْسِن Adamw، مَعَ مُعَدَّلِ تَعْلَم أُولَى مُحَدَّدٍ ب 0.001 وَتَحْلِل الوَزْنِ مُحَدَّدٍ ب 0.0001. تَمَّ اِسْتِخْدامِ نَفْسِ مَعايِيرِ التَدْرِيبِ وَالمِنَصَّة أَيْضاً لِتَدْرِيبِ Votenet، Tr3d، وَنَماذِجِ Fcaf3d الأَوَّلِيَّةِ لِلمُقارَنَة.
لَتَقْيِيم تَدْرِيبِ النَمُوذَجِ، سَتُسْتَخْدَم هٰذِهِ الدِراسَةُ، وَلٰكِن لَيِسَ بِشَكْلٍ حَصْرِيّ، مَقايِيسِ مِثْلَ الدِقَّةِ، وَالاِسْتِرْجاع، وَمُعَدَّل \(F_{1}\) لَتَقْيِيم أَداءِ النَمُوذَجِ المُدَرِّبِ عَلَى مَجْمُوعَةِ الاِخْتِبارُ. يَعُود اِسْتِخْدامِ مُعَدَّلِ \(F_{1}\) إِلَى دَمْجه بَيِّنَ الاِسْتِرْجاع (R) وَالدِقَّةِ (P)، مِمّا يَجْعَله مِقْياسا شامِلاً لَتَقْيِيم الأَداءِ. لِذٰلِكَ، اِعْتَمَدَت العَدِيدَ مِن الدِراساتِ السابِقَةِ حَوْلَ كَشَفَ الفَواكِه عَلَى مُعَدَّلِ \(F_{1}\) كَأَحَدِ المَقايِيسِ التقييميه الرَئِيسِيَّةِ. الدِقَّةِ هِيَ مِعْيار مَرْجِعَيَّ مُهِمٌّ لِتَحْدِيدِ ما إِذا كانَ النَمُوذَجِ يُؤَدِّي بِشَكْلٍ جَيِّدٍ أَم لا. الإِيجابِيّات الصَحِيحَةِ (TP) هِيَ عَدَدٍ نِقاطٍ قَطْفِ الليتشي الَّتِي حَدَّدَها النَمُوذَجِ، الإِيجابِيّات الزائِفَة (FP) هِيَ عَدَدٍ نِقاطٍ قَطْفِ الليتشي الَّتِي حَدَّدَها النَمُوذَجِ بِشَكْلٍ زائِدَ، السَلْبِيّاتِ الزائِفَة (FN) هِيَ عَدَدٍ نِقاطٍ قَطْفِ الليتشي الَّتِي لَم يُحَدِّدها النَمُوذَجِ بِشَكْلٍ كافٍ. تَعْرِف التَعْبِيرات لِلدِقَّة، وَالاِسْتِرْجاع، وَمُعَدَّل \(F_{1}\) وَالدِقَّةِ كَما يَلِي: \[\begin{gathered} Precision = \frac{TP}{TP+FP} \\ Recall = \frac{TP}{TP+FN} \\ F_1 = \frac{2\times Precision\times Recall}{Precision+Recall} \\ Accuracy = \frac{TP+TN}{TP+FN+FP+TN}\end{gathered}\]
لِلتَحَقُّقِ مِن أَداءِ التَعَرُّفُ وَالكَشْفِ لَنَمُوذَج Fcaf3d-lychee المُحْسِن، تُقارَن هٰذِهِ الدِراسَةُ بَيِّنَهُ وَبَيِّنَ ثَلاثِ شَبَكاتِ عَصَبِيَّةُ كلاسِيكِيَّةِ لِلكَشْفِ ثُلاثِيّ الأَبْعاد: Fcaf3d، Votenet، وَTr3d. بِالإِضافَةِ إِلَى ذٰلِكَ، يَتِمّ أَيْضاً مُقارَنَةً Fcaf3d-lychee مَعَ أَحْجام فوكسل مُخْتَلِفَةٍ لِلمُعالَجَةِ المُسْبَقَةِ. تَعَرَّضَ الجَدْوَلُ [tab: Test results of the 4 models] نَتائِجِ هٰذِهِ النَماذِجِ وَنَمُوذَجٌ Fcaf3d-lychee المُحْسِن مَعَ أَحْجام فوكسل مُتَغَيِّره لِلمُعالَجَةِ المُسْبَقَةِ.
| اِسْمَ النَمُوذَجِ | الدِقَّةِ(%) | الاِسْتِدْعاء(%) | نَتِيجَةَ \(F_{1}\)(%) |
|---|---|---|---|
| Fcaf3d | 60.03 | 66.67 | 63.18 |
| Votenet | 53.31 | 61.11 | 56.94 |
| Tr3d | 63.12 | 74.44 | 68.31 |
| Fcaf3d-lychee | 83.39 | 94.44 | 88.57 |
كَما هُوَ مُوَضِّح فِي الجَدْوَلُ [tab: Test results of the 4 models]، بِاِسْتِخْدامِ نَفْسِ مَجْمُوعَةِ البَياناتِ وَأَحْجام المُعالَجَةِ المُسْبَقَةِ للفوكسل، تَكُون نَتائِجِ نَمُوذَجَ Fcaf3d-lychee المُقْتَرَحِ مَلْحُوظَةٌ مُقارَنَةً بِنَماذِج الكَشْفِ الأُخْرَى. مُقارَنَةً بFcaf3d، يُظْهِر نَمُوذَجَ Fcaf3d-lychee تَحَسُّناً بِنِسْبَةِ 23.36% فِي الدِقَّةِ، وَزِيادَةِ بِنِسْبَةِ 27.77% فِي الاِسْتِدْعاء، وَاِرْتِفاعا بِنِسْبَةِ 25.36% فِي نَتِيجَةَ \(F_{1}\). عِنْدَ المُقارَنَةِ بVotenet، يُظْهِر Fcaf3d-lychee تَحَسُّناً بِنِسْبَةِ 30.08% فِي الدِقَّةِ، وَزِيادَةِ بِنِسْبَةِ 33.33% فِي الاِسْتِدْعاء، وَاِرْتِفاعا بِنِسْبَةِ 31.63% فِي نَتِيجَةَ \(F_{1}\). مُقارَنَةً بTr3d، يُظْهِر نَمُوذَجَ Fcaf3d-lychee زِيادَةِ بِنِسْبَةِ 20.27% فِي الدِقَّةِ، وَاِرْتِفاعا بِنِسْبَةِ 20.00% فِي الاِسْتِدْعاء، وَتَحَسُّنا بِنِسْبَةِ 20.26% فِي نَتِيجَةَ \(F_{1}\).
لِتَأْكِيدِ التَحْسِيناتِ المُقْتَرَحَةِ فِي هٰذِهِ الوَرَقَةَ لَنَمُوذَج Fcaf3d-lychee، تَجْرِي هٰذِهِ القِسْمِ تَجارِبِ اِسْتِئْصال لِفَحْصٍ تَقَلُّباتِ الأَداءِ وَتَوْفِيرِ فَهُم شامِلٍ لَمُساهَمات وَتَأْثِيرِ كُلِّ تَحْسِينِ عَلَى أَداءِ النَمُوذَجِ. نَقُوم بِتَجْرِبَةِ أَحْجام مُخْتَلِفَةٍ للفوكسل، وَتَغْيِيرَ تَكْوِينات قَنَواتٍ الإِدْخال فِي الكُتَلِ المُتَبَقِّيَةُ، وَمُقارَنَة النَماذِجِ مَعَ وَبِدُونِ وَحَداتٍ الاِنْتِباهِ SE. تُلَخِّص نَتائِجِ تَجارِبِ الاِسْتِئْصال فِي الجَدْوَلُ [tab: Ablation Study].
تَشْمَل التَجارِبِ اِسْتِخْدامِ أَحْجام فوكسل مُخْتَلِفَةٍ لِلمُعالَجَةِ المُسْبَقَةِ. تُشِير النَتائِجِ إِلَى أَنَّ، بِالنِسْبَةِ لِمَجْمُوعَةِ البَياناتِ المُسْتَخْدَمَةِ فِي هٰذِهِ الوَرَقَةَ، الحَجْمِ الأَمْثَلُ لفوكسل المُعالَجَةِ المُسْبَقَةِ هُوَ شَبَكَةِ مُكَعَّبَةٍ مِن الفوكسل بِقِياس 0.01m. تُؤَدِّي أَحْجام الفوكسل الأَكْبَرُ إِلَى فُقْدانِ كَبِيرٍ فِي المَعْلُوماتِ لِلأَجْسام الصَغِيرَةِ فِي سَحابه النِقاطِ، مِمّا يُؤَدِّي إِلَى اِنْخِفاضِ سَرِيعٍ فِي أَداءِ الكَشْفِ. مِن ناحِيَةٍ أُخْرَى، تَجْعَل أَحْجام الفوكسل الصَغِيرَةِ جِدّاً لِلمُعالَجَةِ المُسْبَقَةِ البُنْيَةِ العامَّةِ مُعَقَّدَةٌ لِلغايَةِ، مِمّا يُعِيق الكَشْفِ الفَعّالَ.
مَعَ تَحْسِينِ مُعالَجَةِ الفوكسل المُسْبَقَةِ، تُجْرَى التَجارِبِ مَعَ وَبِدُونِ أَلَياتِ الاِنْتِباهِ. تُظْهِر النَتائِجِ تَحَسُّناً مَلْحُوظاً فِي أَداءِ الكَشْفِ مَعَ إِدْخالُ آلِيَّةِ الاِنْتِباهِ SE. آلِيَّةِ اِنْتِباهَ القَناة مَعَ نِسْبَةَ ضَغْطِ 16 تُعَزِّز أَداءِ الكَشْفِ لَنَمُوذَج Fcaf3d-lychee المُقْتَرَحِ.
بُعْدَ دَمْجِ آلِيَّةِ الاِنْتِباهِ SE، تَمَّ إِجْراءِ تَعْدِيلاتٍ عَلَى قَنَواتٍ الإِدْخال فِي الكُتَلِ المُتَبَقِّيَةُ. تُظْهِر النَتائِجِ مِن الجَدْوَلُ المُلَخَّص أَنَّ تَعْدِيلِ أَعْدادِ القَنَواتِ إِلَى (64, 128, 256, 256) يُحَسِّن أَداءِ النَمُوذَجِ بِشَكْلٍ كَبِيرٍ. يُحَقِّق النَمُوذَجِ أَفْضَلَ أَدائه بِدِقَّةٍ 77.84% وَمُعَدَّل اِسْتِدْعاءَ 94.44%. تَحْسِينِ أَعْدادِ القَنَواتِ يُعَزِّز أَداءِ النَمُوذَجِ بِفَعّالِيَّةٍ مَعَ الحِفاظِ عَلَى الاِسْتِقْرارِ وَالمَتانَة.
فِي هٰذا القِسْمِ، نَعْرِض نَتائِجِ التَفْتِيشِ ثُلاثِيّ الأَبْعاد فِي حَدِيقَةِ الليتشي. أُجْرِيَت هٰذِهِ التَجْرِبَةِ فِي 2 يُولِيُو 2023، مِن الساعَةَ 1 إِلَى 3 مَساءَ. سَطْحِ طَرِيقِ بِيئَةُ البُسْتان لَم يَكُن وَعْرا لِلغايَةِ. تَمَّ جَمْعِ البَياناتِ بُعْدَ الظُهْرِ تَحْتَ أَشِعَّة الشَمْسِ القَوِيَّةِ. فِي أَعْمالنا السابِقَةِ، (r67) اِقْتَرَحَ إِطارِ عَمَلٍ جَدِيدٍ لِلخَرائِط الدَلالِيَّة وَالمِلاحَة لِلمِلاحَة الذاتِيَّةِ لَرُوبُوتات البُسْتان. تَحَرُّكِ رُوبُوت القَطْف فِي المَمَرّ، وَأَكْتَسِب نَمُوذَجَ الليتشي Fcaf3d-lychee ثِمارِ الليتشي المُسْتَهْدَفَة فِي تَيّارِ النِقاطِ السحابيه الفَوْرِيَّةِ بَيْنَما قامَ الرُوبُوت بِتَحْدِيدِ مَوْقِعِ نُقْطَةً القَطْف بِدِقَّةٍ أَكْبَرَ. عِنْدَ الحُصُولِ عَلَى مَوْقِعِ الليتشي المُسْتَهْدَفِ، سَتَكُون ذِراعِ الرُوبُوت عِبارَةٌ عَن كامِيرا عُمْقِ مُناسَبَةِ لِثَلاثِ اِتِّجاهاتٍ لَاِكْتِساب النِقاطِ السحابيه وَدَمْجها فِي القِسْمِ 3.3، ثُمَّ سَتَحْصُل عَلَى نَتائِجِ الكَشْفِ فِي نَمُوذَجَ الليتشي Fcaf3d-lychee.
لِتَحْدِيدِ تَأْثِيرِ الكَشْفِ لِلنَمُوذَج فِي البِيئات الحَقِيقِيَّةِ، بِالإِضافَةِ إِلَى دِقَّةٍ وَمِتانه الكَشْفِ لِمُخْتَلَفِ الصُعُوباتِ، أُجْرِيَت هٰذِهِ التَجْرِبَةِ فِي حالَةِ عَدَمِ وُجُودِ عائِقٍ، وَعائِق مُتَوَسِّطُ، وَعائِق شَدِيد، عَلَى التَوالِي. تُظْهِر أَداءِ الكَشْفِ لِلحالات الثَلاثِ فِي الجَدْوَلُ [tab: Performance]، يُمْكِن مُلاحَظَةُ أَنَّ دِقَّةٍ نُقْطَةً القَطْف فِي حالَةِ عَدَمِ وُجُودِ عائِقٍ هِيَ الأَعْلَى، تَصِل إِلَى 0.932، وَأَعْلَى دِقَّةٍ لِلمَوْقِعِ، فِي هٰذِهِ الحالَةِ الأَكْثَرَ خُطُورَةِ مِن العائِقُ، سَتَكُون هُناكَ خَطَأ أَكْبَرَ فِي نُقْطَةً القَطْف لِلإِيماءَة، وَسَيَكُون هُناكَ تَداخُلٌ يَجْعَل نُقْطَةً القَطْف تُظْهِر كَاِكْتِشاف خاطِئٍ لِلحالَةِ، وَلٰكِن مَوْقِعِ نُقْطَةً القَطْف لا يَزال دَقِيقاً جِدّاً، بِمُعَدَّلِ دِقَّةٍ 0.765. السَبَبِ هُوَ أَنَّهُ تَحْتَ العَيْن المُعْتَمَّة، لَيِسَت جُودَة دَمْجِ النِقاطِ السحابيه عالِيَةٍ جِدّاً لَنُقَطه القَطْف، مِمّا يُؤَدِّي إِلَى تُشَوِّه النِقاطِ السحابيه عِنْدَ نُقْطَةً القَطْف أَو أَنَّ المَعْلُوماتِ الادراكيه أَقَلَّ، مِمّا يَجْعَل مِن الصَعْبِ عَلَى النَمُوذَجِ أَنَّ يَعْتَقِد خَطَأ أَنَّها نُقْطَةً قَطْفِ، مِمّا يُؤَدِّي إِلَى مُعَدَّلِ دِقَّةٍ مُنْخَفِضٌ.
فِي هٰذِهِ الوَرَقَةَ، يَقْتَرِح شَبَكَةِ كَشَفَ النِقاطِ السحابيه المَبْنِيَّةُ عَلَى التَعَلُّمِ العَمِيقِ لِكَشْفِ وَضْعِ النُقْطَةِ المُسْتَهْدَفَة فِي بَياناتٍ النِقاطِ السحابيه المُلَوَّنَةِ الَّتِي يَتِمّ الحُصُولِ عَلَيها مِن خِلالَ مستشعر كامِيرا العُمْقِ. يَتِمّ دَمْجِ بَياناتٍ النِقاطِ السحابيه لِلهَدَف نَفْسِهِ مِن ثَلاثِ زَوايا مُخْتَلِفَةٍ (إِمامَيْهِ، وسطحين أُفُقِيَّيْنِ بِزَوايا 45 دَرَجَةِ مُقابِلَ الواجِهَةِ الأَمامِيَّةِ) بِاِسْتِخْدامِ خوارزميه الدَمْجِ، وَيَتِمّ مُعالَجَةِ عَدَدٍ كَبِيرٍ مِن النِقاطِ (200k-300k) بُعْدَ الدَمْجِ بِواسِطَةِ تَقْلِيلِ حَجْمِ الفوكسل لِكَشْفِ الهَدَفَ بِكَفاءَة فِي حالاتِ الحَجْب المُخْتَلِفَةِ. تَكْتَشِف الشَبَكَةِ وَضْعِ النُقْطَةِ المُسْتَهْدَفَة عَلَى بَياناتٍ النِقاطِ السحابيه المُعالَجَةِ مُسْبَقاً وَتَوَجَّهَ حَرَكَةِ ذِراعِ الرُوبُوت للتقاط الهَدَفَ.
فِي التَجارِبِ، قُمْنا بِتَحْلِيلِ تَأْثِيرِ أَداءِ أَحْجام تَقْلِيلِ الفوكسل المُخْتَلِفَةِ، أَلَياتِ الاِنْتِباهِ وَعَدَدٌ قَنَواتٍ الإِدْخال لِلكُتْلَة المُتَبَقِّيَةُ عَلَى أَداءِ النَمُوذَجِ المُقْتَرَحِ لَنَمُوذَج Fcaf3d-lychee. أَظْهَرَت نَتائِجِ التَجارِبِ أَنَّ حَجْمِ فوكسل التَقْلِيلُ لَهُ تَأْثِيرِ كَبِيرٍ عَلَى أَداءِ الشَبَكَةِ. حَجْمِ فوكسل صَغِيرٍ جِدّاً (أَقَلَّ مِن 0.01m) لا يُؤَثِّر عَلَى تَحْسِينِ أَداءِ الشَبَكَةِ وَلا يُفِيد فِي اِسْتِخْدامِ مَوارِدِ النَمُوذَجِ. إِذا كانَ حَجْمِ الفوكسل كَبِيراً جِدّاً (أَكْبَرَ مِن 0.01m)، قَد يَتَدَهْوَر أَداءِ الشَبَكَةِ بِشَكْلٍ كَبِيرٍ بِسَبَبِ عَدَمِ وُضُوحٍ المِيزاتِ. كَما تَحَقَّقَت التَجْرِبَةِ مِن تَأْثِيرِ آلِيَّةِ الاِنْتِباهِ SE وَعَدَدٌ قَنَواتٍ الإِدْخال لِلكُتْلَة المُتَبَقِّيَةُ عَلَى أَداءِ النَمُوذَجِ المُقْتَرَحِ. بِشَكْلٍ عامَ، مَعَ اِخْتِيارِ مُناسِبٍ لِحَجْمِ فوكسل العَيِّنَةُ، دَمْجِ السَحابَة مُتَعَدِّدَةِ النِقاطِ، دَمْجِ آلِيَّةِ الاِنْتِباهِ وَعَدَدٌ قَنَواتٍ الإِدْخال، يُحَقِّق النَمُوذَجِ المُقْتَرَحِ Fcaf3d-lychee دَرَجَةِ \(F_{1}\) تَبْلُغ 88.57% عَلَى مَجْمُوعَةِ بَياناتٍ الاِخْتِبارُ. وَصَلَت دِقَّةٍ كَشَفَ الهَدَفَ تَحْتَ ظُرُوفٍ الحَجْب المُخْتَلِفَةِ فِي بِيئَةُ البُسْتان الحَقِيقِيِّ إِلَى 0.932، 0.824 وَ 0.765، عَلَى التَوالِي. لِلتَعْبِيرِ بِشَكْلٍ أَبْسَطِ عَن خَطَأ التَحْدِيدِ المَكانِيّ ثُلاثِيّ الأَبْعاد لِ Fcaf3d-lychee عَلَى نُقْطَةً اِلْتِقاطِ الليتشي. قُمْنا بِإِجْراءِ 100 تَجْرِبَةِ دِقَّةٍ تَحْدِيدِ المَواقِعِ فِي سِينارِيُوهاتٍ مُخْتَلِفَةٍ. ثُمَّ تَمَّ رَسْمِ الرَسْمُ البَيانِيّ لِلخَطَأ ثُلاثِيّ الأَبْعاد، وَالَّذِي يُظْهِر أَنَّ أَخْطاءِ التَحْدِيدِ المَكانِيّ فِي الاِتِّجاهاتِ الثَلاثَةِ تَقَع ضِمْنَ نِطاقِ ±1.5 سَمّ، مِمّا يَعْكِس دِقَّةٍ التَحْدِيدِ المَكانِيّ العالِيَةِ لِلنَمُوذَج المُقْتَرَحِ Fcaf3d-lychee فِي هٰذِهِ الوَرَقَةَ.
تَقَدَّمَ هٰذِهِ الوَرَقَةَ طَرِيقَةِ جَدِيدَةٍ تَعْتَمِد عَلَى شَبَكَةِ كَشَفَ الأَجْسام لِلنِقاط السحابيه ثُلاثِيَّةٌ الأَبْعاد المُحَسِّنَة لِتَحْدِيدِ نِقاطٍ قَطْفِ الليتشي بِدِقَّةٍ فِي البِيئات الطَبِيعِيَّةِ غَيْرِ المُنَظَّمَةِ. الهَدَفَ هُوَ تَحْدِيدِ نِقاطٍ القَطْف المُثْلَى لِتَوْجِيهِ رُوبُوتات القَطْف لَحِصاد الليتشي بِزَوايا مُناسَبَةِ. اِسْتِناداً إِلَى نَمُوذَجَ Fcaf3d، تُرَكِّز البُحُوثِ عَلَى تَدْرِيبِ نَماذِجَ كَشَفَ نِقاطٍ قَطْفِ الليتشي لِتَحْقِيقِ دِقَّةٍ عالِيَةٍ وَمِتانه وَتَعْمِيمِ. تُظْهِر شَبَكَةِ الكَشْفِ الجَدِيدَةِ Fcaf3d-lychee، الَّتِي تُدْمِج الاِنْتِباهِ وَالتَقْلِيم الدِينامِيكِيّ النادِرِ، أَداءِ مُمْتازا فِي مُخْتَلِفِ السِينارِيُوهات بِدِقَّةٍ مُتَوَسِّطَةِ (AP) تَبْلُغ 83.39% وَقِيمَةُ \(F_{1}\) تَبْلُغ 88.57. مُقارَنَةً بِنَماذِج الكَشْفِ ثُلاثِيَّةٌ الأَبْعاد الأُخْرَى مِثْلَ Tr3d وَ Votenet، تَحَقَّقَ الشَبَكَةِ المُقْتَرَحَةِ دِقَّةٍ أَعْلَى بِشَكْلٍ مَلْحُوظٍ. عَلَى عَكْسَ شَبَكاتِ الكَشْفِ ثُنائِيَّةٍ الأَبْعاد التَقْلِيدِيَّةِ مِثْلَ YOLO، تَحْصُل الشَبَكَةِ المُقْتَرَحَةِ فِي هٰذِهِ الوَرَقَةَ مُباشَرَةً عَلَى الإِحْداثِيّات ثُلاثِيَّةٌ الأَبْعاد لَنِقاط قَطْفِ الليتشي، مِمّا يُحَقِّق تَأْثِيراتِ لَم تَكُن مُمْكِنَةٍ مِن قِبَلَ. تُظْهِر النَتائِجِ التَجْرِيبِيَّة فِي بَساتِينِ حَقِيقِيَّةٍ أَنَّ نَمُوذَجَ Fcaf3d-lychee يُحَقِّق أَداءِ كَشَفَ قَوِيٍّ تَحْتَ ظُرُوفٍ التظليل المُخْتَلِفَةِ، بِدِقَّةٍ تَبْلُغ 0.932، 0.824، وَ 0.765 لِعَدَمِ وُجُودِ تظليل، تظليل عامَ، وتظليل كَثِيفٍ، عَلَى التَوالِي. عِلاوَةً عَلَى ذٰلِكَ، تَظَلّ دِقَّةٍ تَحْدِيدِ المَواقِعِ لَنَمُوذَج Fcaf3d-lychee ضِمْنَ ±1.5 cm فِي جَمِيعِ الاِتِّجاهاتِ، وَهُوَ ضِمْنَ النِطاقِ المَقْبُولِ لَخَطّا القَطْف. تَتَغَلَّب شَبَكَةِ كَشَفَ الأَهْدافِ Fcaf3d-lychee المُقْتَرَحَةِ عَلَى قُيُودٍ الطُرُقِ السابِقَةِ، وَتَضَع الأَساسِ لِحِسابِ دَقِيقٍ لَنِقاط القَطْف، وَتَوَفُّرُ الدَعْمِ التَقْنِيِّ الأَساسِيُّ لِلتَطْبِيقِ العَمَلِيِّ لَرُوبُوتات قَطْفِ الليتشي.