يُعَدُّ تحديد نقاط قطف الليتشي بدقة في بيئات البساتين غير المنظمة والحصول على مواقعها الإحداثية أمراً حاسماً لنجاح روبوتات قطف الليتشي. ومع ذلك، غالباً ما تواجه طرق الكشف عن الأجسام المعتمدة على الصور ثنائية الأبعاد (2D) صعوبات بسبب الهياكل الهندسية المعقدة للفروع والأوراق والثمار، مما يؤدي إلى تحديد خاطئ لنقاط قطف الليتشي. في هذه الدراسة، نقترح نموذج شبكة Fcaf3d-lychee المصمم خصيصاً لتحديد مواقع نقاط قطف الليتشي بدقة. يتم الحصول على بيانات سحابة النقاط لنقاط قطف الليتشي في البيئات الطبيعية باستخدام كاميرا Microsoft’s Azure Kinect DK لقياس الوقت (TOF) من خلال التصوير المتعدد الزوايا. نقوم بتعزيز نموذج الكشف عن الأجسام ثلاثية الأبعاد بدون مرساة والكامل التلافيفي (Fcaf3d) بوحدة الضغط والإثارة (SE)، والتي تستغل آليات الانتباه البصري البشري لتحسين استخراج الميزات لنقاط قطف الليتشي. يتم تقييم النموذج المدرب على مجموعة اختبار من مواقع قطف الليتشي ويحقق درجة \(F_{1}\) مثيرة للإعجاب بنسبة 88.57%، متفوقاً بشكل كبير على النماذج الحالية. يؤدي الكشف عن الموقع ثلاثي الأبعاد لنقاط القطف في بيئات بساتين الليتشي الحقيقية إلى دقة عالية، حتى في ظل درجات متفاوتة من التغطية. أخطاء تحديد مواقع نقاط قطف الليتشي تكون ضمن ±1.5 cm في جميع الاتجاهات، مما يدل على قوة وعمومية النموذج.
الزراعة الدقيقة أو الزراعة الذكية هي مفهوم حديث لإدارة المزرعة بالكامل، يستخدم مجموعة متنوعة من التقنيات تتراوح من الاستشعار عن بعد وجمع البيانات القريبة إلى الأتمتة والروبوتات. في هذه الدراسة، نركز على حصاد الليتشي الطازج. لقد ثبت أن هذا العمل يمثل تحدياً كبيراً، ليس فقط من حيث التصميم الميكانيكي للروبوت، ولكن أيضاً من حيث نظام الرؤية، وطرق التنقل، والتحكم ونظام التلاعب (r65). في هذه الحالة، يتركز اهتمامنا الرئيسي على اكتشاف نقاط القطف على سيقان الليتشي في بيانات السحابة النقطية لتحسين الحصاد الذاتي لروبوتات القطف التقليدية.
يمكن قطف الفواكه الفردية مثل التفاح والبرتقال مباشرة، بينما تحتاج الفواكه العنقودية مثل الليتشي والعنب إلى قطف العنقود بالكامل. يمكن قطف الليتشي فقط عن طريق تحديد نقطة القطف الرئيسية للفرع الحامل للفاكهة (MFBB) ثم قطع الـ MFBB لمنع تلف الفاكهة (r2). إذا كانت منطقة العمل واضحة والفواكه غير محجوبة بالعوائق، فليس من الصعب فصل هذه الفواكه عن الأشجار (r63). ومع ذلك، فإن الحقل غير منظم، وقد تكون عناقيد فاكهة الليتشي مختلفة الأحجام في الشكل وتظهر في ارتفاعات ومواقع مختلفة، بالإضافة إلى ذلك، فإن نقاط قطف الليتشي في السيناريوهات غير المنظمة عرضة للازدحام الشديد (أو أن الموقع المستهدف ليس واضحاً بما فيه الكفاية)، والأهداف الصغيرة صعبة الكشف، مما يؤثر على دقة الكشف. لذلك، أصبح البحث عن تحديد دقيق وموجه لنقاط قطف عناقيد الليتشي محور البحث، وهناك تقنيتان رئيسيتان مطلوبتان لتحقيق هذا الهدف: (1) بيانات السحابة النقطية ثلاثية الأبعاد (3D) التي تقاوم الازدحام، و(2) نموذج كشف السحابة النقطية ثلاثي الأبعاد (3D) CNN الذي يمتلك قدرة تحديد دقيقة بناءً على ما سبق.
في السنوات الأخيرة، تم استخدام تقنيات الرؤية الحاسوبية على نطاق واسع لتحديد نقاط القطف للفواكه (r3,r42,r4). يتم استخدام خصائص الهدف نفسه (مثل اللون، الشكل، النسيج، إلخ) للكشف عن الليتشي وتحديده من خلال معالجة الصور (مثل تصفية الصور، تجزئة الصور، المعالجة المورفولوجية) وخوارزميات التعلم الآلي وتمثيل هذه العمليات (r5,r43,r6,r7,r44). مع التطور العميق للتعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNN)، التي تعزز بشكل أكبر قدرة التعميم وكذلك متانة أنظمة إدراك الرؤية الآلية، تحول المزيد والمزيد من الباحثين إلى طرق كشف الصور ثنائية الأبعاد المبنية على التعلم العميق. خوارزميات الكشف عن الأجسام، بما في ذلك You Only Look Once (YOLO) وشبكات التعلم العميق المحسنة على YOLO (r11,r12,r45,r46,r47)، والكشف ذو المرحلتين الممثل بسلسلة RCNN (الشبكات العصبية التلافيفية المعتمدة على المنطقة) (r50). حققت الدراسات المذكورة أعلاه نتائج جيدة لكشف نقاط القطف، ولكن لا يزال من الصعب مواجهة الوضع بسبب تقلبات الضوء، والازدحام بواسطة الأوراق والفروع، إلخ.
تتميز بيانات السحابة النقطية ثلاثية الأبعاد بدقتها في تمثيل الأشكال الهندسية، وسهولة الوصول إلى معلومات العمق، وتساعد إعادة البناء ثلاثي الأبعاد على تحسين متانة ودقة الكشف، بالإضافة إلى التطوير المكثف للشبكات العصبية التلافيفية ثلاثية الأبعاد، مما حفز الباحثين على استكشاف طرق تعتمد على السحابة النقطية لحصاد الفاكهة وكشف نقاط القطف (r51,r16,r52,r53,r14,r54,r66,r57). على الرغم من أن الطرق البحثية المذكورة أعلاه قد حققت نتائج مرضية، لا تزال هناك فجوات بحثية كبيرة في كشف نقاط قطف الليتشي.
في هذا العمل، تم اقتراح نموذج معالجة البيانات المساعد بذراع الروبوت استناداً إلى دمج سحابة نقاط الكاميرا TOF ونموذج شبكة Fcaf3d-lychee لنقاط قطف الليتشي، والذي يمكن استخدامه لتحديد مواقع نقاط قطف الليتشي بدقة في بيئة البستان الطبيعية، وتم اختباره ميدانياً. يدمج النهج المقترح بيانات السحابة النقطية متعددة الزوايا من كاميرا TOF، ثم يكتشف بيانات الاستشعار المدمجة بصرياً للعثور على الموقع الدقيق لنقطة قطف الليتشي. تظهر النتائج أن نتائج هذه الدراسة تتمتع بدقة تحديد مواقع أعلى من نموذج الكشف عن الأهداف النموذجي للسحابة النقطية ثلاثية الأبعاد. باختصار، يتم تقديم المساهمات التالية في هذه الورقة:
اقتراح نموذج Fcaf3d-lychee لكشف نقاط قطف الليتشي، مما يحسن بشكل كبير دقة تحديد مواقع نقاط القطف.
استخدام كاميرا TOF لخياطة السحابة النقطية متعددة الزوايا، مما يحل بفعالية مشكلة الازدحام أحادي الزاوية وقلة المعلومات الحسية.
عرض روبوت قطف الليتشي المجهز بنموذج Fcaf3d-lychee على التعرف وتحديد مواقع نقاط القطف في بيئات البستان الطبيعية.
يتم تنظيم بقية هذه الورقة على النحو التالي. يستعرض القسم [section: review] الأعمال ذات الصلة. يتم تقديم نظرة عامة على النظام والمنهجيات الخاصة بنهجنا في القسم [section: method]. تُعرض نتائج التجربة والمناقشة في القسم [section: experiment]، يلي ذلك الخاتمة في القسم [section: conclusion].
حالياً، يغطي مجال تطبيق الروبوتات مجالات تكنولوجية أساسية ومتعلقة عديدة (r17). من بينها، في تطوير روبوتات الحصاد الذكية، كانت خوارزميات الرؤية عاملاً رئيسياً يؤثر على الأداء العام للنظام. يتضمن تطوير خوارزميات الرؤية لروبوتات حصاد الفاكهة مهمتين رئيسيتين: تحديد موقع الهدف واستخراج نقطة القطف، وتشمل التحديات تشوه لون الهدف الناتج عن البيئات الضوئية الطبيعية المتغيرة، تداخل أعضاء النبات المتشابكة على خوارزميات التعرف، وتشوهات داخل الفئة لثمار نفس النوع (r18). استخدام الرؤية الآلية وخوارزمياتها المتعلقة قد استهدف حلولاً لتحسين الكفاءة والدقة والذكاء والتفاعل عن بعد أثناء عمليات الروبوت (r19). لتصنيفها، كانت الأولى الرئيسية هي طرق تحليل الميزة الفردية، طرق تحليل دمج الميزات المتعددة، وطرق التعرف على الأنماط (r20, r21). (r24) اقترح طريقة تعرف تعتمد على مصنف تحليل التمييز الخطي المحسن (LDA) لمعالجة مشكلة معدل النجاح المنخفض لروبوتات قطف الليتشي في التعرف على الليتشي الأخضر (الليتشي غير الناضج بالكامل) بسبب تداخل الخلفية. الجوهر هو طريقة LDA لاستخراج ميزات التحويل الصوري، ويتم تقديم فكرة “الهامش الأقصى” في خوارزمية SVM لتحديد قيمة العتبة لـ LDA، والتي يتم دمجها أخيراً في نظام تصنيف LDA متعدد بواسطة طريقة Adaboost. من خلال التجارب، كانت دقة هذا المصنف لليتشي غير الناضج 80.4%، ويمكن أيضاً تطبيق الخوارزمية على تحديد نضج الفاكهة. تستند الأبحاث المذكورة أعلاه إلى معالجة الصور، والتي لها متطلبات عالية للضوء ولا تزال بحاجة إلى المرور بعملية حسابية معينة عند التعامل مع الموضع ثلاثي الأبعاد لنقطة القطف، مما يؤدي إلى كفاءة قطف ضعيفة وقلة القوة.
في الأبحاث الحالية، تم اعتماد تقنيات قياس الرؤية المجسمة وتقنيات معالجة الصور الرقمية التقليدية من قبل العديد من الباحثين، بينما يوفر التطور المتزايد للتعلم العميق في مجال معالجة الصور حلاً أفضل لتمييز الفواكه، مما يمكن روبوتات قطف الفواكه من التكيف مع بيئات البساتين المعقدة (r25). لتحسين قدرة روبوت القطف على العمل طوال اليوم، تم اقتراح خوارزمية للكشف عن ثمار الليتشي وسيقان الفاكهة للبيئات الليلية (r26). تم اختبار أداء الخوارزمية تحت شدات ضوء صناعية مختلفة بشكل منفصل، وتم استخدام شبكة العصبونات التلافيفية YOLOv3 وشبكة U-Net للكشف عن الفواكه وسيقان الفواكه، وأخيراً أدى النموذج بأفضل أداء تحت السطوع الطبيعي، حيث حقق دقة كشف متوسطة قدرها 99.57% بالإضافة إلى تأثير تجزئة قدره 84.33% MIoU. ومع ذلك، فإن الطريقة تستخدم أولاً YOLOv3 للحصول على موقع الفاكهة المتسلسلة ثم تستخدم منطقة ROI لتمييز سيقان الفواكه، وهو ما لا يعد فعالاً في التنفيذ. (r28) قام بتحسين هيكل الشبكة لـ YOLOv5s لسيناريوهات الاحتجاب الخلفي واحتجاب الفواكه التي يسهل مواجهتها أثناء قطف التفاح بحيث يمكنه تحديد الأشياء التي يمكن التقاطها وتلك التي لا يمكن التقاطها أثناء عملية القطف. ومع ذلك، فإن الطريقة تنطبق غالباً على الفواكه الفردية، أو لتقدير الغلات، ولا تنطبق على سيناريوهات حصاد الليتشي. لقد أحرزت الدراسات المذكورة أعلاه تقدماً كبيراً في الحصول على نقاط قطف الفواكه من خلال الكشف عن الأهداف بواسطة الصور ثنائية الأبعاد، ولكن معظم الدراسات لم تبحث في الكشف المباشر عن نقاط قطف الفرع الأم.
على الرغم من أن الكشف عن الأهداف باستخدام الصور ثنائية الأبعاد قد أحرز تقدماً كبيراً في تحديد نقاط القطف لروبوتات قطف الفواكه، إلا أن معظم الدراسات لم تبحث في الكشف المباشر عن نقاط قطف الفرع الأم. بينما قد تفتقر الصور ثنائية الأبعاد إلى معلومات توزيع مكاني مفصلة، فإن السحب النقطية ثلاثية الأبعاد التي يتم الحصول عليها بواسطة طرق كاميرا العمق توفر تمثيلاً أكثر شمولاً لتوزيع الأجسام، خاصة في المشاهد المعقدة مع التداخلات والتغطيات. لقد تم التعرف بشكل متزايد على إمكانيات السحب النقطية ثلاثية الأبعاد، مما أدى إلى ظهور طرق جديدة لكشف الأجسام. (r33) اقترح استراتيجية لتحديد نقاط القطف بدقة للعنب المزروع صناعياً من خلال الجمع بين القريب والبعيد واستخدام مزيج من بيانات السحب النقطية للعمق. في البداية، تم الكشف عن عناقيد العنب بشكل تقريبي لتحديد المواقع في الصورة البعيدة، ثم في الصورة القريبة، تم استخدام ميزات بيانات السحب النقطية للعمق والميزات الهيكلية لعناقيد العنب الأفقية بشكل كامل، وتم تحديد المواقع بنجاح لـ 95 من 100 عينة، بدقة 95%. كانت دقة تحديد الموقع تصل إلى 95%. بالإضافة إلى ذلك، (r36) اقترح طريقة تصنيف أعضاء شجرة الرمان وعد الفواكه استناداً إلى دمج متعدد الميزات وآلة الدعم الناقل (SVM) لمعالجة قيود التداخل في طريقة التعرف المعتمدة على الصور ثنائية الأبعاد التقليدية، أولاً، يتم الحصول على سحابة نقطية ثلاثية الأبعاد، ثم تتم معالجة السحابة النقطية مسبقاً، واستخراج ميزات اللون والشكل للتدريب، والحصول على نموذج التصنيف، وتظهر التجارب أن هذه الطريقة يمكن أن تكتشف معظم الفواكه على الشجرة. ومع ذلك، لم تتم دراسة طرق كشف الأهداف للسحب النقطية لنقاط القطف.
عملنا مبني على نموذج Fcaf3d، الذي تم تحسينه للحصول على نموذج الكشف ثلاثي الأبعاد Fcafd-lychee لنقاط قطف الليتشي، والذي يمكنه استخدام تدفق السحب النقطية لكاميرا العمق للكشف المباشر عن نقاط قطف الليتشي والحصول على إحداثياتها ثلاثية الأبعاد، مما يسرع وينفذ بكفاءة كشف نقاط القطف.
تُعرض عملية اكتشاف نقطة قطف الليتشي المقترحة في الشكل [fig:graph1]. يمكن تقسيم العملية إلى خطوتين، الحصول على سحابة النقاط وأداء التطريز متعدد الزوايا، ونموذج Fcaf3d-lychee لتحديد الموقع بدقة. أولاً، يتجول الروبوت القاطف، الذي يحمل معلومات خريطة البستان، بشكل مستقل في البستان وسيحصل على الموقع الأولي للهدف من تدفق بيانات سحابة النقاط. بعد ذلك، سيقوم الروبوت القاطف بأداء الحصول على سحابة النقاط ثلاثية الزوايا المحددة على مسافة قريبة من الهدف وأداء التطريز والتنقيص. ستتم تغذية سحابة النقاط المعالجة مسبقاً إلى نموذج Fcaf3d-lychee للتعرف الدقيق وتحديد الموقع. أخيراً، سيتم توجيه المؤثر النهائي لأداء حركة قطف الليتشي.
تم تشغيل حساس الكاميرا على ذراع الروبوت aubo ذي الست درجات حرية وجمع البيانات، والتي في نهاية المطاف حولت الإحداثيات ثلاثية الأبعاد لنقطة قطف الليتشي بدقة إلى نظام إحداثيات قاعدة الذراع الروبوتية. قبل الحصول على البيانات، تم إكمال معايرة الكاميرا ومعايرة اليد-عين على التوالي. تم تحقيق الأولى في هذه الدراسة بواسطة طريقة معايرة Zhang الكلاسيكية المقترحة بواسطة (r59). في أعمالنا المبكرة، تم إجراء بعض الأبحاث على المعايرة بين الكاميرا وذراع الروبوت، واقترح (r60) طريقة معايرة يد-عين مغلقة الحلقة قوية ودقيقة لتحديد الارتباط الإحداثي بين الحافة النهائية لذراع الروبوت وحساس الكاميرا لروبوت بعين في اليد. مصفوفة اليد-عين كما في المعادلة (1). \[\begin{gathered} \widehat{{_{C}^{F}}T} =\frac{1}{N_c} \sum_{i=1}^{N_C} {({_{B}^{C}}T{^{(i)}}{_{R}^{B}}T{_{F}^{R}}T{^{(i)}})^{-1}}\end{gathered}\] في هذه الحالة، \(_R^BT\) هي مصفوفة التحويل الثابتة {R} بالنسبة لـ {B} نظراً للثبات النسبي بين قاعدة ذراع الروبوت ولوحة الفحص خلال عملية المعايرة، والتي يمكن معايرتها بواسطة القرب المسيطر لأصل {G} إلى الأصل وكذلك محوري X و Y لـ {B}. \(_B^CT^{(i)}\) هي مصفوفة التحويل {B} بالنسبة لـ {C}، المقابلة للوضع i للروبوت والتي يمكن الحصول عليها بواسطة طريقة المربعات الصغرى (r61). \(_F^RT^{(i)}\) هي مصفوفة التحويل {F} بالنسبة لـ {R}، المقابلة لموضع i للروبوت والتي يمكن الحصول عليها بسهولة بواسطة الحركات الأمامية. \(N{_c}\) هو عدد الأوضاع المختلفة. في هذه الدراسة، \(N{_c}\)=16.
عندما تحركت ذراع الروبوت في مواقع معينة (r64)، تم في نهاية المطاف تحويل الميزات المحلية في كل موقع من نقاط قطف الليتشي إلى نفس نظام الإحداثيات الأساسي لتكوين الميزة العالمية (على الرغم من أنه يجب أن يظل يطلق عليها “الميزة المحلية” لأن الذراع مع حساس الكاميرا كان محدوداً بمنطقة محلية عند المسح).
تتأثر دقة السحب النقطية الخام المحصلة من نظام الرؤية متعددة الزوايا بعوامل عديدة مثل التغيرات في الإضاءة الطبيعية، الاهتزاز في البيئات الديناميكية، خطأ معايرة اليد-العين، وأخطاء الأجهزة الأصلية للكاميرا. تولد هذه العوامل ضوضاء فوضوية وهياكل غير متساوية بين السحب النقطية المكتسبة. كما نوقش في هذا القسم، قمنا بدمج مرشح إحصائي ومرشح لوني لتنقية الشوائب المتناثرة خارج الجسم الرئيسي وذات فجوة لونية واسعة من نقطة الاختيار لتوفير حالة أولية جيدة للخياطة اللاحقة.
كما اقترح (r62) للتصفية اللونية في إعادة بناء 3D لأشجار الفاكهة، نقترح أداء مرشحات لونية بسيطة في السحب النقطية ذات الميزات اللونية لتقليل عدد كبير من الأوراق الخضراء في البداية وتوفير ظروف أولية جيدة لكشف السحب النقطية اللاحق. \[\begin{gathered} \left\{ \begin{aligned} R_s & > & \sigma_1 \\ G_s & \leq & \sigma_2 \end{aligned} \right.\end{gathered}\] حيث \(R_s\)، \(G_s\) هما قناتا الأحمر والأخضر في الميزات اللونية للسحب النقطية على التوالي، عندما \(R_s\leq\sigma_1\)، \(G_s\)>\(\sigma_2\)، سيتم إزالة السحب النقطية من السحب النقطية بالكامل.
يمكن للمرشح الإحصائي إزالة أي نقاط شاذة متناثرة خارج الهيكل الرئيسي للسحب النقطية (r58). بالنسبة للعناصر العشوائية، يتم البحث عن جميع نقاط المجال لكل نقطة ويتم حساب المسافة من كل نقطة إلى جارتها. يتم حساب المتوسط \(\mu\) والانحراف المعياري \(\sigma\) للمسافات من جميع النقاط من جيرانها، وأي نقطة يكون متوسط قيمتها خارج الفترة القياسية سيتم اعتبارها كضوضاء. \[\begin{gathered} \left[ \mu-\alpha_v\times\sigma,\ \mu+\alpha_v\times\sigma \right]\end{gathered}\] حيث \(\alpha_v\)<3 يحدد عرض الفترة القياسية.
وفقاً لنظرية معايرة اليد-العين، يمكن الحصول على توجيه كل مجموعة من النقاط السحابية (ثلاث زوايا محددة) في نظام إحداثيات قاعدة الذراع الروبوتية، مما يوفر توجيهاً أولياً جيداً لخياطة النقاط السحابية التالية.
لنفترض أن عدد نقاط السحابة التي حصلت عليها الكاميرا في زوايا محددة هو \(n_1\)، \(n_2\) و \(n_3\) على التوالي. إحداثيات النقطة الكلية الخاصة بالنظام الأساسي هي \({^R}P_A^{(k)}\)، \({^R}P_B^{(k)}\) و \({^R}P_C^{(k)}\) (A، B، C تمثل فقط مواقع مختلفة للكاميرا) تلك المتعلقة بنظام إحداثيات الكاميرا هي \({^{CA}}P^{(k)}\)، \({^{CB}}P^{(k)}\) و \({^{CC}}P^{(k)}\) (CA هو تمثيل نظام إحداثيات الكاميرا في الموقع A، CB، CC مماثلة)، على التوالي. استبدل جميع قيم k للحصول على النقاط النسبية لنظام الإحداثيات الأساسي: \[\left[ \begin{array}{c} {^R}P_A^{(1)} \\ {^R}P_A^{(2)} \\ \vdots \\ {^R}P_A^{(\textnormal{$n_1$})} \end{array} \right] = \ ^{\ R}_{CA}T \left[ \begin{array}{c} ^{CA}P^{(1)} \\ ^{CA}P^{(2)} \\ \vdots \\ ^{CA}P^{(\textnormal{$n_1$})} \end{array} \right]\]
\[\left[ \begin{array}{c} {^R}P_B^{(1)} \\ {^R}P_B^{(2)} \\ \vdots \\ {^R}P_B^{(\textnormal{$n_2$})} \end{array} \right] = \ ^{\ R}_{CB}T \left[ \begin{array}{c} ^{CB}P^{(1)} \\ ^{CB}P^{(2)} \\ \vdots \\ ^{CB}P^{(\textnormal{$n_2$})} \end{array} \right]\]
\[\left[ \begin{array}{c} {^R}P_C^{(1)} \\ {^R}P_C^{(2)} \\ \vdots \\ {^R}P_C^{(\textnormal{$n_3$})} \end{array} \right] = \ ^{\ R}_{CC}T \left[ \begin{array}{c} ^{CC}P^{(1)} \\ ^{CC}P^{(2)} \\ \vdots \\ ^{CC}P^{(\textnormal{$n_3$})} \end{array} \right]\]
في هذا السياق، \(_{CA}^{\ R}T\) = \(_{CB}^{\ R}T\) = \(_{CC}^{\ R}T\) = \(_{C}^{R}T\) = \(_{F}^{R}T^{(i)}\) \(\widehat{{_{C}^{F}}T}\)، هي مصفوفة التحويل بين نظام إحداثيات الكاميرا ونظام إحداثيات القاعدة للذراع الروبوتية المستنتجة في القسم III-B. وبالتالي، يمكن كتابة السحابة النقطية المخيطة \(P_s\) كما يلي: \[\setlength{\arraycolsep}{1.8pt} P_s = \left[ \begin{array}{c|c|c} \left[ \begin{array}{c} {^R}P_A^{(1)} \\ {^R}P_A^{(2)} \\ \vdots \\ {^R}P_A^{(\textnormal{$n_1$})} \end{array} \right]^T \!& \left[ \begin{array}{c} {^R}P_B^{(1)} \\ {^R}P_B^{(2)} \\ \vdots \\ {^R}P_B^{(\textnormal{$n_3$})} \end{array} \right]^T & \left[ \begin{array}{c} {^R}P_C^{(1)} \\ {^R}P_C^{(2)} \\ \vdots \\ {^R}P_C^{(\textnormal{$n_3$})} \end{array} \right]^T \end{array} \right]^T\]