مُلخَّص

يؤثّر التحكُّم في إشارات المرور بشكل كبير على تخفيف الازدحام المروري في المدن الحديثة. لقد تم استخدام تقنيات التعلُّم المعزَّز على نطاق واسع لهذه المهمة في السنوات الأخيرة، حيث أظهرت أداءً واعدًا، لكنها واجهت أيضًا العديد من التحديات مثل الأداء المحدود وضعف كفاءة العينات. لمواجهة هذه التحديات، تم اقتراح MTLight لتعزيز مراقبة الوكيل بحالة كامنة يتم تعلُّمها من مؤشرات مرور متعددة. في الوقت نفسه، يتم بناء مهام مساعدة وإشرافية متعددة لتعلُّم الحالة الكامنة، ويُستخدم نوعان من الميزات الكامنة المضمَّنة، الميزة المحددة للمهمة والميزة المشتركة بين المهام، لجعل الحالة الكامنة أكثر ثراءً. أظهرت التجارب الموسعة التي أُجريت على CityFlow أن MTLight يتمتع بسرعة تقارب رائدة وأداء تقاربي متفوق. كما نقوم بمحاكاة تحت نمط ساعة الذروة في جميع السيناريوهات مع زيادة صعوبة التحكُّم، وتشير النتائج إلى أن MTLight قابل للتكيُّف بدرجة عالية.

مقدمة

يهدف التحكُّم في إشارات المرور إلى تنسيق إشارات المرور عبر التقاطعات لتحسين كفاءة المرور في منطقة أو مدينة، وهو ما يلعب دورًا هامًا في النقل الفعّال. تعتمد معظم الطرق التقليدية للتحكُّم في إشارات المرور على توقيت ثابت (koonce2008traffic) أو استدلالات مصممة يدويًا (kouvelas2014maximum)، والتي تعتمد بشكل كبير على المعرفة الخبيرة والتنقيب العميق في البيانات التاريخية المرورية الإقليمية، مما يجعل من الصعب نقلها. مؤخرًا، تُستخدم الطرق المبنية على تعلُّم التعزيز العميق (DRL) (guo2021urban,jintao2020learning,pan2020spatio,he2020spatio,tong2021combinatorial,wang2020deep,gu2020exploiting,liu2021urban,xu2021hierarchically,zhang2021periodic) حيث يتم تدريب شبكة عصبية عميقة للتحكُّم في التقاطع من خلال التفاعل المباشر مع البيئة. ومع ذلك، بسبب وفرة مؤشرات المرور (عدد السيارات، طول الطابور، وقت الانتظار، السرعة، إلخ)، وتعقيد الملاحظة والبيئة الديناميكية، تظل المشكلة تحديًا ولم تُحل بعد.

نظرًا لأن الملاحظة والمكافأة وديناميكيات كل إشارة مرور مرتبطة ارتباطًا وثيقًا ببعضها البعض، فإن تحسين التحكُّم في إشارات المرور في شبكة طرق واسعة النطاق يُنمذج بشكل طبيعي كمشكلة تعلُّم تعزيز متعدد الوكلاء (MARL). معظم الأعمال السابقة (wei2019presslight,zhang2020generalight,chen2020toward,zheng2019learning) اقترحت تعلُّم سياسة كل وكيل مشروطة فقط على الملاحظات الأولية للتقاطع، مع تجاهل مساعدة الحالة العالمية، والتي يمكن الوصول إليها في المدينة الذكية. كما ذُكر في (zheng2019diagnosing)، فإن المقاييس المختلفة لها تأثير كبير على مهمة التحكُّم في إشارات المرور. وبالتالي، يجب ألا يقتصر تصميم ملاحظة الوكيل على الملاحظات الأولية للتقاطع فقط، بل يشمل أيضًا الحالة العالمية. يمكن لتصميم ملاحظة جيدة للوكيل أن يستفيد بالكامل من العينات، ويحسّن ليس فقط أداء السياسة ولكن أيضًا كفاءة العينة. ومع ذلك، هناك كمية هائلة من مؤشرات أو مقاييس المرور في الحالة العالمية، ومن الصعب تصميم ملاحظة وكيل مناسبة وغير متكررة بين هذه المؤشرات. من جهة، قد لا يمثّل تصميم الملاحظة الموجزة بشكل مفرط خصائص الحالة بشكل كافٍ وشامل، وبالتالي يؤثر على دقة تقدير انتقال الحالة وكذلك على اختيار الإجراء. في المقابل، إذا تم استخدام مجموعة معقدة من المقاييس كملاحظة، فمن الصعب تحديد أوزان المقاييس المختلفة بدقة، وقد يتسبب ذلك في تكرار البيانات وانفجار الأبعاد، مما لا يزيد فقط من استهلاك الحوسبة ولكن أيضًا يصعّب على الوكيل التعلُّم.

من أجل توفير تمثيل كافٍ لمهمة التحكُّم في إشارات المرور، يتم تقديم الحالة الكامنة. على وجه التحديد، الملاحظة الأولية مطابقة للتقاطع، والتي تتكوّن من عدة متغيرات ذات معانٍ دلالية محددة (أي عدد السيارات على كل مسار قادم والمرحلة الحالية للإشارة). ثم، يتم تعزيز الملاحظة الأولية بواسطة الفضاء الكامن. لتعلُّم الفضاء الكامن من الحالة العالمية، يتم بناء عدة مهام مساعدة وإشرافية، والتي تتعلق بالتحكُّم في إشارات المرور. أي أن عدة إحصائيات من تاريخ الحالة العالمية تُؤخذ كمدخلات، ويتم أولاً استخدام شبكة عصبية متكررة (RNN)، ثم يتم تقديم عدة فروع لاحقًا للتنبؤ بأنواع متعددة من الإحصائيات للحالة العالمية، مثل توزيع التدفق وتوزيع وقت السفر، على التوالي. لجعل الفضاء الكامن أكثر ثراءً، يتم استخراج نوعين من ميزات التضمين: الميزة المحددة للمهمة والميزة المشتركة بين المهام. الأولى تُستخرج بواسطة الفرع المحدد للمهمة وتمثل المعلومات المدفوعة بالمهمة، بينما الأخيرة من طبقة مشتركة بين المهام ويمكن أن تعبّر عن خصائص أساسية أكثر عمومية. وبالتالي، فهما مكملتان لبعضهما البعض ويُستخدم كلاهما لتعزيز الملاحظة الأولية. وأخيرًا، مشروطًا على الملاحظة المعزَّزة، يتم تعلُّم السياسة بواسطة (DRL) (mnih2015human). لاحظ أن المهام المتعددة يتم تعلُّمها في وقت واحد مع (DRL)، مما يجعل الفضاء الكامن أكثر تكيفًا مع تعلُّم السياسة.

الأعمال ذات الصلة

نستعرض الأعمال ذات الصلة في القسم [sec:related_work]، والمقدمات في القسم [sec:preliminaries]. يتم تقديم إعداد التعلُّم متعدد الوكلاء في القسم [sec:problem_definition]. يقدم القسم [sec:method] تفاصيل الطريقة المقترحة. يقدم القسم [sec:experiment] النتائج التجريبية التي تظهر كفاءة Multi-Agent Reinforcement Learning بشكل تجريبي. وأخيرًا، تُناقش الاستنتاجات والأعمال المستقبلية في القسم [sec:conclusion].

بيان المشكلة

تعريف المشكلة

نعتبر مشكلة التحكُّم في إشارات المرور لعدة وكلاء، حيث يتم نمذجة المهمة كلعبة ماركوف (Littman1994markov)، والتي يمكن تمثيلها بالصيغ \(\mathcal{G}=\langle\mathcal{N},\mathcal{S}, \mathcal{A}, \mathcal{O}, \mathcal{P}, \mathcal{R}, \mathcal{H}, \gamma\rangle\). \(\mathcal{N} \equiv\{1, \ldots, n\}\) هي مجموعة محدودة من الوكلاء، وكل تقاطع في السيناريو يتم التحكُّم فيه بواسطة وكيل. \(\mathcal{S}\) هي مجموعة محدودة من فضاء الحالة العالمي. \(\mathcal{A}\) يدل على فضاء العمل لوكيل فردي. العمل المشترك \(\boldsymbol{a} \in \mathbf{A} \equiv \mathcal{A}^{n}\) هو مجموعة من الأعمال الفردية \(\left[a_{i}\right]_{i=1}^{n}\). في كل خطوة زمنية، يتلقى كل وكيل \(i\) ملاحظة \(o_{i} \in \mathcal{O}\)، يختار عملاً \(a_{i}\)، ينتج عنه الحالة التالية \(s^{\prime}\) وفقًا لوظيفة الانتقال \(\mathcal{P}\left(s^{\prime} \mid s, \boldsymbol{a}\right)\) ومكافأة \(r=\mathcal{R}(s, \mathbf{a})\) لكل وكيل. \(\mathcal{H}\) هو أفق الزمن و \(\gamma \in[0,1)\) هو عامل الخصم.

تصميم الوكيل

يتم التحكُّم في كل تقاطع في النظام بواسطة وكيل. فيما يلي، نقدم تصميم الحالة، تصميم الفعل وتصميم المكافأة لوكيل التعلُّم المعزَّز.

الملاحظة. تتكوّن ملاحظتنا الأولية من جزأين: (1) عدد المركبات على كل مسار وارد \(\mathbf{f}_t^v\)؛ (2) الطور الإشاري الحالي \(\mathbf{f}_t^s\). يمكن الحصول عليهما مباشرة من المحاكي، وتُوصف المفاهيم بالتفصيل في القسم [sec:preliminaries]. تُعرّف الملاحظة الخام للوكيل \(i\) بـ \[ \begin{aligned} o_{i} = \{ \mathbf{f}_t^v, \mathbf{f}_t^s \}, \end{aligned} \] حيث \(\mathbf{f}_t^v = \{{V}_{l_{1}^{in}}, {V}_{l_{2}^{in}}, \ldots, {V}_{l_{m}^{in}} \}\) و\({l}^{in} = \{l_{1}^{in}, \ldots, l_{m}^{in}\}\) هي مجموعة محدودة من المسارات الواردة في التقاطع. الطور الإشاري الحالي \(\mathbf{f}_t^s = {p}_{k}, k \in \{1, \ldots, K\}\)، و\(K\) هو العدد الإجمالي للأطوار. يُمثّل كل طور \(p\) كمُتجه واحد ساخن. هدفنا هو تعلُّم الفضاء الكامن لتعزيز الملاحظة الخام للاستفادة بشكل أفضل من العينة.
الفعل. فعل كل وكيل هو اختيار الطور للفترة الزمنية التالية. لاحظ أن الأطوار قد تُنظَّم بطريقة تسلسلية في الواقع، بينما يجعل اختيار طور مباشر خطة التحكُّم في المرور أكثر مرونة. يُعرّف فعل الوكيل \(i\) بـ \[ \begin{aligned} a_{i} = \{ \mathbf{f}_t^s\}, \end{aligned} \] حيث \(\mathbf{f}_t^s = {p}_{k}, k \in \{1, \ldots, K\}\).
المكافأة. نُعرّف المكافأة بأنها سالب طول الطابور على المسارات الواردة، وهو أمر مقبول عمومًا ومعقول في الأعمال السابقة (zheng2019diagnosing, huang2021modellight, zang2020metalight, zheng2019learning, wei2019colight). تُعرّف مكافأة الوكيل \(i\) بـ \[ \begin{aligned} r_{i} = -\sum_{m=1}^{M} q_{l^{in}_{m}}, \end{aligned} \] حيث \(q_{l^{in}_{m}}\) هو طول الطابور على المسار الوارد \(l^{in}_{m}\).

الطريقة

في هذا القسم، سنقدّم الوحدات الرئيسية لطريقتنا المقترحة MTLight، التي تركز على تعلُّم الحالة الكامنة المشتركة المتعلقة بالمهمة والحالة الكامنة الخاصة بالمهمة من خلال تقديم شبكة متعددة المهام مساعدة لدعم تعلُّم السياسات. توصف العملية الكاملة لـ MTLight في الخوارزمية [alg:train].

MTLight يتكوّن من شبكة متعددة المهام وشبكة وكيل. بالنسبة للأخيرة، يتم استخدام شبكة Deep Q-Network (DQN) (mnih2015human) كمقرِّب وظيفي لتقدير دالة القيمة Q، وهو ما يتوافق مع الطرق السابقة (chen2020toward, wei2019colight, wei2019presslight, zheng2019learning, wei2018intellilight). الوحدة متعددة المهام تتبع استراتيجية مشاركة صارمة للمعلمات (caruana1997multitask)، والتي تُطبَّق عادةً عبر مشاركة الطبقات المخفية بين جميع المهام، مع الاحتفاظ بعدة طبقات ناتجة خاصة بكل مهمة.

التعلُّم المتعدد المهام للحالة الكامنة

لكل وكيل، تتضمن ملاحظته الأولية عدد السيارات \(\mathbf{f}_t^v\) والمرحلة الإشارية الحالية \(\mathbf{f}_t^s\). بالإضافة إلى ذلك، يتم تقديم عدة معلومات من الحالة العامة، مثل: عدد السيارات القادمة في الخطوات \(\tau\) الأخيرة، المشار إليها بـ \(\mathbf{f}_{t-\tau:t}^c = [\mathbf{f}_{t-\tau}^c, \mathbf{f}_{t-\tau+1}^c, \ldots, \mathbf{f}_{t}^c]\)، متوسط وقت السفر خلال الخطوات \(\tau\) الماضية، المشار إليه بـ \(\mathbf{f}_{t-\tau:t}^{tr} = [\mathbf{f}_{t-\tau}^{tr}, \mathbf{f}_{t-\tau+1}^{tr}, \ldots, \mathbf{f}_{t}^{tr}]\)، طول الطابور خلال الخطوات \(\tau\) الماضية، المشار إليه بـ \(\mathbf{f}_{t-\tau:t}^{q} = [\mathbf{f}_{t-\tau}^{q}, \mathbf{f}_{t-\tau+1}^{q}, \ldots, \mathbf{f}_{t}^{q}]\)، والسيارات الحالية خلال الخطوات \(\tau\) الماضية، المشار إليها بـ \(\mathbf{f}_{t-\tau:t}^{vr} = [\mathbf{f}_{t-\tau}^{vr}, \mathbf{f}_{t-\tau+1}^{vr}, \ldots, \mathbf{f}_{t}^{vr}]\).

تتضمن وحدة التعلُّم المتعدد المهام المهام الأربع التالية:

تقريب توزيع الجريان. نستخدم \(\mathcal{T}_{flow}\) للإشارة إلى مهمة تقدير توزيع الجريان، أي التنبؤ بالمتوسط \(\mu_{f}\) والتباين \(\sigma_{f}^{2}\) لمعدل وصول الجريان من البداية حتى خطوة الزمن \(t\). يمكن الإشارة إلى المهمة كما يلي: \[ \begin{aligned} (\mu_{f}, \sigma_{f}^{2}) \leftarrow [\mathbf{f}_t^v, \mathbf{f}_t^s, \mathbf{f}_{t-\tau:t}^c, \mathbf{f}_{t-\tau:t}^{tr}, \mathbf{f}_{t-\tau:t}^{q}, \mathbf{f}_{t-\tau:t}^{vr}]. \end{aligned} \]
تقريب توزيع وقت السفر. نستخدم \(\mathcal{T}_{travel}\) للإشارة إلى مهمة تقدير توزيع وقت السفر، أي التنبؤ بالمتوسط \(\mu_{tr}\) والتباين \(\sigma_{tr}^{2}\) لمتوسط وقت السفر للسيارات التي أكملت الرحلة من البداية حتى خطوة الزمن \(t\): \[ \begin{aligned} (\mu_{tr}, \sigma_{tr}^{2}) \leftarrow [\mathbf{f}_t^v, \mathbf{f}_t^s, \mathbf{f}_{t-\tau:t}^c, \mathbf{f}_{t-\tau:t}^{tr}, \mathbf{f}_{t-\tau:t}^{q}, \mathbf{f}_{t-\tau:t}^{vr}]. \end{aligned} \]
تقريب طول الطابور التالي. نستخدم \(\mathcal{T}_{queue}\) للإشارة إلى مهمة تقدير طول الطابور التالي، أي التنبؤ بمتوسط عدد \(q\) من السيارات في الطابور في الخطوة التالية: \[ \begin{aligned} q \leftarrow [\mathbf{f}_t^v, \mathbf{f}_t^s, \mathbf{f}_{t-\tau:t}^c, \mathbf{f}_{t-\tau:t}^{tr}, \mathbf{f}_{t-\tau:t}^{q}, \mathbf{f}_{t-\tau:t}^{vr}]. \end{aligned} \]
تقريب السيارات على الطريق. نستخدم \(\mathcal{T}_{vehicles}\) للإشارة إلى مهمة تقدير السيارات على الطريق، أي التنبؤ بعدد السيارات \( V^{r}\) الموجودة في النظام: \[ \begin{aligned} V^{r} \leftarrow [\mathbf{f}_t^v, \mathbf{f}_t^s, \mathbf{f}_{t-\tau:t}^c, \mathbf{f}_{t-\tau:t}^{tr}, \mathbf{f}_{t-\tau:t}^{q}, \mathbf{f}_{t-\tau:t}^{vr}]. \end{aligned} \] لاحظ أن السيارات التي أكملت الرحلات أو التي لم تدخل بعد إلى شبكة الطرق لا تنتمي إلى هذه.

تعمل المهام المذكورة أعلاه كمساعدات لتعلُّم الفضاء الكامن. نظرًا لأن أعداد \(\mathbf{f}_{t-\tau:t}^c\), \(\mathbf{f}_{t-\tau:t}^{tr}\), \(\mathbf{f}_{t-\tau:t}^{q}\), \(\mathbf{f}_{t-\tau:t}^{vr}\) لها مقاييس وأبعاد مختلفة عن \(\mathbf{f}_t^v\) و \(\mathbf{f}_t^s\)، يتم استخدام أربع طبقات خطية مستقلة مع وظائف ReLU أولاً لتوسيعها على التوالي: \[ \begin{aligned} \mathbf{h}^{c} = \mathrm{ReLU}(\mathbf{W}_{1} \mathbf{f}_{t-\tau:t}^{c}+\mathbf{b}_{1}), \\ \mathbf{h}^{tr} = \mathrm{ReLU}(\mathbf{W}_{2} \mathbf{f}_{t-\tau:t}^{tr}+\mathbf{b}_{2}), \\ \mathbf{h}^{q} = \mathrm{ReLU}(\mathbf{W}_{3} \mathbf{f}_{t-\tau:t}^{q}+\mathbf{b}_{3}), \\ \mathbf{h}^{vr} = \mathrm{ReLU}(\mathbf{W}_{4} \mathbf{f}_{t-\tau:t}^{vr}+\mathbf{b}_{4}). \end{aligned} \]

ثم يتم استخدام طبقة خطية ووظيفة ReLU لحساب الحالة الكامنة \(\mathbf{H}_{t}\) بعد دمج جميع المدخلات المضمَّنة: \[ \begin{aligned} \mathbf{H}_{t} = \mathrm{ReLU}(\mathbf{W}_{} (\mathbf{f}_t^v, \mathbf{f}_t^s, \mathbf{h}^{c}, \mathbf{h}^{tr}, \mathbf{h}^{q}, \mathbf{h}^{vr})+\mathbf{b}_{}). \end{aligned} \]

استنادًا إلى \(\mathbf{H}_{t}\)، يتم استخدام وحدة شبكة مشتركة بين المهام لتوليد ميزتها الكامنة المشتركة (وتسمى أيضًا الحالة الظاهرة). ثم يتم تقديم أربع فروع مستقلة لكل مهمة وحساب الميزة الكامنة المحددة للمهمة (وتسمى أيضًا الحالة العقلية) منها. تم سرد التنفيذ المحدد لهندسة الشبكة في الملحق.

نستخدم نموذج متغير كامن واحد لاستخراج الميزات الكامنة الهرمية، والتي تتبع رؤى (zhao2017learning). أي أن الحالة العقلية هي ناتج الطبقة المشتركة بعد GRU في شبكة التعلُّم المتعدد المهام ويمكن أن تعبّر عن خصائص أساسية أكثر عمومية. بالمقابل، الحالة الظاهرة هي دمج ناتج الطبقة المحددة للمهمة وتمثل المعلومات المدفوعة بالمهمة. بعبارة أخرى، الحالة العقلية أكثر عمومية، بينما الحالة الظاهرة أكثر دقة. وبالتالي، فهما مكملتان لبعضهما البعض وكلاهما مستخدم في طريقتنا.

السياسة مع الحالة الكامنة

بمساعدة الحالة الكامنة، يتم تعزيز ملاحظة الوكيل من \(\mathrm{\mathbf{o}_t}\) إلى \((\mathrm{\mathbf{o}_t},\mathrm{\mathbf{o}_{t}^{shr}},\mathrm{\mathbf{o}_{t}^{spe}})\). بالنسبة للسياسة \(\pi^{\theta}\)، الهدف هو تعظيم المكافأة التراكمية: \[ \begin{aligned} \max\limits_{\theta}J(\theta)=\mathbb{E}_{\substack{a_t \sim \pi^\theta(a_t \mid \mathrm{\mathbf{o}_t},\mathrm{\mathbf{o}_{t}^{shr}}, \mathrm{\mathbf{o}_{t}^{spe}})}}\left[\sum\limits_{t=0}^{\mathcal{H}-1}\gamma^{t}r_{t+1}\right]. \end{aligned} \]

الوكيل الذي يعظّم المعادلة [eq:RL] يتصرّف بشكل مثالي تحت عدم اليقين ويُسمى الأمثل بايز (ghavamzadeh2015bayesian)، بافتراض أننا نعامل المعرفة حول المهام المتعلقة كأولويتنا الابستمولوجية عن البيئة. وحدة المهام المتعددة تقلل من تعقيد النموذج وتعطي أولويات معلوماتية للنموذج. بالإضافة إلى ذلك، يمكنها تقليل التحيز في التمثيل بطريقة تدفع خوارزمية التعلُّم لإيجاد حل في منطقة أصغر من التمثيلات عند التقاطع بدلاً من منطقة كبيرة لمهمة واحدة. هذا يحفز على تقارب أسرع وأفضل.

التجربة

نُجري التجارب على منصة CityFlow (zhang2019cityflow)، وهي منصة محاكاة مفتوحة المصدر على مستوى المدينة للتحكُّم في إشارات المرور. تُستخدم المحاكاة كبيئة لتوفير بيئة للتحكُّم في إشارات المرور، حيث يقوم الوكلاء بتنفيذ الإجراءات من خلال تغيير مراحل إشارات المرور، وتعيد المحاكاة التغذية الراجعة.

يرجى الرجوع إلى الملحق [sec:road_networks] والملحق [sec:flow_configurations] للإعدادات التفصيلية لشبكة الطرق وتكوين تدفق المرور. يتم وصف الأساسيات بالتفصيل في الملحق [sec:baselines].

مقارنة الأداء


(lr)2-3 (lr)4-5 (lr)6-7 (lr)8-9	real	syn_peak	real	syn_peak	real	syn_peak	real	syn_peak

يسرد الجدول [tab:performance_1] النتائج المقارنة، ومن الواضح أن: ١) بشكل عام، تؤدي طرق التعلم المعزز أداءً أفضل من الطرق التقليدية، وهذا يدل على ميزة التعلم المعزز. علاوة على ذلك، mtlight يتفوّق على الطرق الأخرى في معظم المدن وتكوينات التدفق، مما يُظهر فعالية الطريقة. ٢) mtlight يُظهر تعميمًا جيدًا لسيناريوهات وتكوينات مختلفة. على سبيل المثال، maxpressure يؤدي بشكل جيد في hangzhou مع realflow، بينما تحت ظروف المرور synflow، maxpressure يظهر أداءً أسوأ بكثير من الطرق الأخرى. بالمقابل، mtlight لا يحقق فقط أداءً جيدًا تحت تكوينات متنوعة من hangzhou، بل يُظهر أيضًا استقرارًا كبيرًا. ٣) mtlight يتفوّق على individualrl, metalight و presslight بفارق 693.46، 461.80 و 432.38 على التوالي. ويرجع ذلك إلى أنهم يتعلّمون سياسة إشارات المرور فقط باستخدام ملاحظاتهم ويتجاهلون تأثير الجيران، بينما mtlight يعتبر الجيران جزءًا من البيئة للمساعدة في التعلُّم. ٤) معلومات الجيران المُمَذْجَة في colight و generalight يمكن أن تتكيف مع مجموعة متنوعة من التدفقات، وكلاهما يؤدي أداءً جيدًا. بينما نتائج mtlight أفضل منهما في سيناريوهات متعددة، مما يؤدي إلى تحسين بمقدار 42.5 و 398. مقارنةً بهما، mtlight يستفيد من المعرفة المسبقة المكتسبة من شبكة متعددة المهام لاتخاذ قرارات أكثر دقة.

التجريدات

للتحقق بشكل أفضل من مساهمة كل مكوّن، تم تقييم ثلاثة نماذج من MT-Light تحت مجموعة متنوعة من السيناريوهات، كما هو موضح في الجدول [tab:performance_1].

Base يحتفظ فقط بشبكة السياسات ويزيل شبكة المهام المتعددة.
Base-Raw يحتفظ فقط بشبكة السياسات ويتخلى عن شبكة المهام المتعددة، لكنه يستخدم مباشرة الإدخال الأصلي لوحدة المهام المتعددة كجزء من الملاحظة.
Base-Per يحتفظ بشبكة المهام المتعددة والسياسة، لكنه يحتوي فقط على الحالة الكامنة المشتركة بين المهام ويزيل الحالة الكامنة المحددة للمهمة.
Base-Tem يحتفظ بشبكة المهام المتعددة والسياسة. على عكس Base-Per، Base-Tem يحتوي فقط على الحالة الكامنة المحددة للمهمة ويزيل الحالة الكامنة المشتركة بين المهام.

لاحظ أن MT-Light يحتوي على جميع الوحدات: شبكة السياسات، شبكة المهام المتعددة مع الحالة الكامنة المحددة للمهمة والحالة الكامنة المشتركة بين المهام.

تُقدّم نتائج التقييم الكمي في الجدول [tab:performance_1]. يمكننا الحصول على النتائج التالية: 1) بين هذه النماذج الأربعة، أداء Base هو الأسوأ. السبب أنه من الصعب تعلُّم سياسة فعّالة بشكل مستقل في مهمة التحكُّم في إشارات المرور متعددة الوكلاء، حيث تتغير البيئة المحيطة ديناميكيًا، لكن Base لا يدرك ذلك. 2) مقارنة بـ Base و Base-Raw، تظهر تحسينات Base-Per و Base-Tem فعالية الحالة الكامنة المشتركة بين المهام Per-Latent-State والحالة الكامنة المحددة للمهمة Tem-Latent-State على التوالي. Per-Latent-State تعكس المعلومات السابقة التي تظل ثابتة عبر الزمن مع مهام متعددة مرتبطة، Tem-Latent-State تعكس المعلومات السابقة التي تتماشى مع أحدث الاتجاهات المتغيرة، وكلاهما يساعد السياسة على اتخاذ قرارات مثلى بايزية. 3) الحالتان الكامنتان Per-Latent-State و Tem-Latent-State فعالتان لأن كل منهما تمثيل فعّال لميزات البيئة. مقارنةً بهما، تفوق MT-Light يشير إلى أن Per-Latent-State و Tem-Latent-State مكملتان لبعضها البعض. بشكل عام، جميع المكونات المقترحة تسهم بشكل إيجابي في النتائج النهائية.

الخلاصة

قدّمنا MTLight، وهي طريقة فعّالة لتعلُّم تعزيز متعدد المهام للتحكُّم في إشارات المرور يمكن توسيع نطاقها إلى شبكات طرق حضرية معقدة متعددة الوكلاء بمقاييس مختلفة. أظهرنا أن البنية الكامنة لـ MTLight تتعلّم تمثيلات كامنة هرمية للمهام المتصلة، مفصّلة بين الحالات الكامنة المشتركة بين المهام والمحددة لكل مهمة. في مجموعات بيانات عدة مدن، أثبتنا أن هذا التمثيل الكامن المستوحى من مهام متعددة متصلة، وتكييف السياسة عليه، يسمح للوكيل بالتكيُّف مع البيئة المعقدة. نستنتج أن الحفاظ على التقريبات السابقة للمهام المتصلة يساعد مقارنة بالنهج الخالية من النماذج، خاصة عندما يكون هناك الكثير من المعلومات في البيئة ولا يمكن التعبير عنها بالكامل بتصميم حالة اصطناعية.

للمستقبل، يمكن تعلُّم الأولوية الكامنة من بيانات الخبراء المعدة مسبقًا باستخدام تقنيات التعلُّم بالتقليد (song2018multi)، أو باستخدام خوارزميات متعددة الوكلاء الحالية للتدريب المسبق على شبكة متعددة المهام.

الملحق

يمكنك تضمين أقسام إضافية أخرى هنا.