الهدف التبايني

ليكن التابع \(f\) في نموذج الملاحظة البارامتري \(p_{Y | X, \Theta}(y \,|\,x, \theta; f)\) مُعرَّفًا بـ \(f(\cdot \,; \theta) \,\dot{=}\,h(\cdot \,; \theta_{h}) \theta_{L}\). في الشبكة العصبية، \(h(\cdot \,; \theta_{h})\) ناتجُ الطبقة قبل الأخيرة بعد التفعيل، \(\Theta_{L}\) معلماتُ الطبقة النهائية العِشوائية، و\(\Theta_{h}\) معلماتُ الطبقات السابقة، و\(\Theta \,\dot{=}\,\{ \Theta_{h} , \Theta_{L}\}\) مجموعةُ المعلمات الكاملة.

لاشتقاق توزيع ابتدائي يأخذ عدم اليقين على مجموعة المعلمات \(\Theta\) بالحسبان، نبدأ بمسألة استدلال مساعدة. لتكن \(\tilde{x} = \{ x_{1}, \ldots, x_{M} \}\) نقاط السياق مع تسمياتها \(\tilde{y}\)، ونُعرِّف دالّة الاحتمال \(\tilde{p}_{Y | X, \Theta}(\tilde{y} \,|\,\tilde{x} , \theta)\) وتوزيعًا ابتدائيًّا على المعلمات \(p_{\Theta}(\theta)\). باستخدام بايز يمكن كتابة: \[\begin{aligned} \tilde{p}(\theta \,|\,\tilde{x}, \tilde{y}) \propto \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta_{h}) \, p(\theta_{h}) \, p(\theta_{L}) . \end{aligned}\] لتعريف دالّة احتمالٍ تُنتِج بَعديًّا بخصائص مرغوبة، نتبع ونعتبر النموذج الخطي العِشوائي لأي مجموعة نقاط \(x \,\dot{=}\,\{ x_{1}, \ldots, x_{M'} \}\): \[\begin{aligned} \tilde{Y}_{k}(x) \,\dot{=}\, h(x ; \theta_{h}) \, \Theta_{k} + \varepsilon, \quad \Theta_{k} \sim \mathcal{N}\!\big(m_{k}, \,\tau_{f}^{-1} s_{k} I\big), \quad \varepsilon \sim \mathcal{N}(\mathbf{0}, \tau_{f}^{-1}\beta I) \end{aligned}\] لأبعاد الإخراج \(k = 1, \ldots, K\)، حيث \(h(\cdot \,; \theta_{h})\) تمثيلٌ مميِّز، و\(\tau_{f}\) و\(\beta\) ثوابت تباين، و\(m \in \mathbb{R}^{P_{L}}\) و\(s \in \mathbb{R}^{P_{L}}\) معاملاتٌ ثابتة مؤقّتًا. هذا النموذج الخطي يُولِّد توزيعًا على الدوالّ يُعطى عند تقييمه على \(\tilde{x}\) بـ: \[\begin{aligned} \mathcal{N}\!\big(\tilde{y}_{k}(\tilde{x}) ;\, h(\tilde{x} ; \theta_{h}) m_{k}, \, \tau_{f}^{-1} K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} \big) , \label{eq:induced_prior_distribution}\end{aligned}\] حيث \[\begin{aligned} K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} \,\dot{=}\, h(\tilde{x} ; \theta_{h}) ( s_{k} I ) h(\tilde{x} ; \theta_{h})^\top + \beta I \label{eq:covariance}\end{aligned}\] مصفوفةُ التغاير. باعتبار هذه الكثافة على تقييمات الدوالّ دالّةَ احتمالٍ مُعلمة بـ\(\theta\)، نُعرِّف: \[\begin{aligned} \begin{split} \tilde{p}(\tilde{y}_{k} \,|\,\tilde{x} , \theta_{h}) \,\dot{=}\, \mathcal{N}\!\big(\tilde{y}_{k} ;\, h(\tilde{x} ; \theta_{h}) m_{k} , \tau_{f}^{-1} K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} \big), \label{eq:aux_likelihood} \end{split}\end{aligned}\] دون افتراض \(m = \mathbf{0}\) أو \(s = I\). إذا عرَّفنا توزيع التسميات المساعدة \(p_{\smash{\tilde{Y} \,|\,\tilde{X}}}(\tilde{y} \,|\,\tilde{x}) \,\dot{=}\,\delta(\{\mathbf{0}, \ldots, \mathbf{0} \} - \tilde{y})\)، فإن دالّة الاحتمال تُفضِّل \(\theta_{h}\) التي تجعل التوزيع الناتج يُسنِد احتمالًا عاليًا للتنبؤ بـ\(\mathbf{0}\). بجمع الأبعاد: \[\begin{aligned} \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta) \,\dot{=}\, \prod\nolimits_{k = 1}^{K} \tilde{p}(\tilde{y}_{k} \,|\,\tilde{x} , \theta, m_{k}, s_{k}) , \end{aligned}\] وبأخذ اللوغاريتم: \[\begin{aligned} \log \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta_{h}) \propto -\sum\nolimits_{k = 1}^{K} \frac{\tau_{f}}{2} \,\big(h(\tilde{x} ; \theta_{h}) m_{k}\big)^\top K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k}^{-1} h(\tilde{x} ; \theta_{h}) m_{k} . \end{aligned}\] ونُعرِّف: \[\begin{aligned} \begin{split} \mathcal{J}(\theta, m, s, \tilde{x}, \tilde{y}) \,\dot{=}\, -\sum\nolimits_{k = 1}^{K} \frac{\tau_{f}}{2} \, d^{2}_{M}\!\big(h(\tilde{x} ; \theta_{h}) m_{k} - \tilde{y}, \, K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} \big), \label{eq:fs_map_regularizer} \end{split}\end{aligned}\] حيث \(d^{2}_{M}(\Delta, K)=\Delta^\top K^{-1} \Delta\) مربعُ مسافة ماهالانوبِس. إذًا \[\begin{aligned} \mathop{\mathrm{arg\,max}}\nolimits_{\theta} \tilde{p}(\theta \,|\,\tilde{x}, \tilde{y}) = \mathop{\mathrm{arg\,max}}\nolimits_{\theta}\big[\mathcal{J}(\theta, m, s, \tilde{x}, \tilde{y}) + \log p(\theta)\big]. \end{aligned}\]

لأن \(m\) و\(s\) ثابتان ويظهران فقط في دالّة الاحتمال المساعدة، فليس الهدف مناسبًا إذا أردنا معلمات \(\theta\) التي تُنتج دوالّ ذات عدم يقين مرتفع على نقاط السياق. لمعالجة ذلك، نُدرج هذين المعلمَين كوسيط وتباين للطبقة النهائية في \(f(\cdot \,; \theta)\)، ونعاملهما كمتغيِّراتٍ عِشوائية \(M\) و\(S\) مع توزيعات فوق‑ابتدائية.

على وجه التحديد، نُعرِّف: \[\begin{aligned} p_{\Theta_{L}}(\theta_{L} \,|\,m, s) = \mathcal{N}(\theta_{L} ; m, s I) \end{aligned}\] والتوزيعات الفوق‑ابتدائية: \[\begin{aligned} p_{M}(m) & = \mathcal{N}(m ; \mu_{0}, \tau_{0}^{-1} I), \\ p_{S}(s) & = \textrm{Lognormal}(s ; \mathbf{0}, 2 \tau^{-1}_{s} I). \end{aligned}\] فيصبح النموذج الاحتمالي الكامل: \[\begin{aligned} p(y \,|\,x, \theta_{h}, \theta_{L}; f) \, p(\theta, m, s \,|\,\tilde{x}, \tilde{y}) . \end{aligned}\] مع التوزيع الابتدائي: \[\begin{aligned} \begin{split} p(\theta, m, s \,|\,\tilde{x}, \tilde{y}) & = \tilde{p}(\theta_{h} \,|\,m, s, \smash{\tilde{x}, \tilde{y}}) \, p(\theta_{L} \,|\,m, s) \, p(m) \, p(s) \\ & \propto p(\theta_{L} \,|\,m, s) \, \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta ; f) \, p(\theta_{h}) \, p(m) \, p(s), \end{split}\end{aligned}\] وجميع الحدود قابلة للحساب التحليلي. وباستخدام هذا التوزيع الابتدائي نشتق هدفًا تباينيًّا ونُجري الاستدلال.

نبدأ بتوزيع تقريبي: \[\begin{aligned} q(\theta, m, s, \tilde{x}, \tilde{y}) \,\dot{=}\, q(\theta_{h}) \, q(\theta_{L} \,|\,m, s) \, q(m) \, q(s) \, q(\tilde{x}, \tilde{y}) , \end{aligned}\] ونصوغ المسألة: \[\begin{aligned} \min_{q_{\Theta, M, S, \tilde{X}, \tilde{Y}} \in \mathcal{Q}} D_{\text{KL}}\infdivx{q_{\Theta, M, S, \tilde{X}, \tilde{Y}}}{p_{\Theta, M, S, \tilde{X}, \tilde{Y} \,|\,X_{\mathcal{D}}, Y_{\mathcal{D}}}} . \end{aligned}\] بجعل \(q(\tilde{x}, \tilde{y}) \,\dot{=}\,p(\tilde{x}, \tilde{y}) = p(\tilde{y} \,|\,\tilde{x}) p(\tilde{x})\) تتبسّط إلى: \[\begin{aligned} \min_{q_{\Theta, M, S} \in \mathcal{Q}} \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \!\left[ D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}, X_{\mathcal{D}}, Y_{\mathcal{D}}}} \right], \end{aligned}\] وهو ما يعادل تعظيم: \[\begin{aligned} \bar{\mathcal{F}}(q_{\Theta}, q_{M}, q_{S}) \,\dot{=}\, \mathbb{E}_{q_{\Theta, M, S}} [ \log p(y_{\mathcal{D}} \,|\,x_{\mathcal{D}} , \Theta ; f) ] - \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \!\big[ D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} \big]. \end{aligned}\] ولحساب الحدّ التنظيمي: \[\begin{aligned} \begin{split} \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \!\big[ D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} \big] = \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \Big[ \mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log q(\Theta) q(M) q(S) ] - \mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}) ] \Big]. \end{split}\end{aligned}\] وبالتماثل: \[\begin{aligned} \begin{split} \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} [ \mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}) ] ] \propto \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \Big[\mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} \big[ \log \tilde{p}(\smash{\tilde{Y} \,|\,\tilde{X}} , \Theta_{h}, M, S) \big] + \mathbb{E}_{q_{\Theta}} \big[ \log p(\Theta_{h}) \, p(\Theta_{L} \,|\,M, S) \, p(M) \, p(S) \big] \Big], \end{split}\end{aligned}\] ومنه: \[\begin{aligned} \begin{split} D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} \propto - \mathbb{E}_{q_{M} q_{S}} \Big[ \mathbb{E}_{q_{\Theta}} [\log \tilde{p}(\tilde{Y} \,|\,\tilde{X} , \Theta_{h}, M, S) ] + D_{\text{KL}}\infdivx{q_{\Theta_{L} \,|\,M, S}}{p_{\Theta_{L} \,|\,M, S}} \Big] + D_{\text{KL}}\infdivx{q_{\Theta_{h}}}{p_{\Theta_{h}}} + D_{\text{KL}}\infdivx{q_{M}}{p_{M}} + D_{\text{KL}}\infdivx{q_{S}}{p_{S}} . \end{split}\end{aligned}\]

باختيار العائلة التقريبية: \[\begin{aligned} \begin{split} q(\theta_{L} \,|\,m, s) &= \mathcal{N}(\theta_{L} ; m, s I), \\ q(\theta_{h}) &= \mathcal{N}(\theta_{h} ; \mu_{h}, \Sigma_{h}), \\ q(m) &= \mathcal{N}(m ; \mu_{m}, \Sigma_{m}), \\ q(s) &= \textrm{Lognormal}(s ; \mu_{s}, \sigma^{2}_{s} I), \end{split}\end{aligned}\] نحصل على \(D_{\text{KL}}\infdivx{q_{\Theta_{L} \,|\,M, S}}{p_{\Theta_{L} \,|\,M, S}} = 0\)، ويتبسّط الحدّ التنظيمي إلى: \[\begin{aligned} \begin{split} D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} \propto - \mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} [\log \tilde{p}(\tilde{Y} \,|\,\tilde{X} , \Theta_{h}, M, S) ] + D_{\text{KL}}\infdivx{q_{\Theta_{h}}}{p_{\Theta_{h}}} + D_{\text{KL}}\infdivx{q_{M}}{p_{M}} + D_{\text{KL}}\infdivx{q_{S}}{p_{S}} . \end{split}\end{aligned}\] وجميع الحدود قابلة للحساب التحليلي، ويُمكن تقدير لوغاريتم دالّة الاحتمال سالبًا بطريقة مونتي‑كارلو.

وبما أنّ \(\Theta_{h}\) و\(M\) توزيعاتٌ غاوسية، يمكن كتابة الهدف التبايني الكامل بصورةٍ مُدمجة: \[\begin{aligned} \begin{split} \mathcal{F}(\mu, \Sigma) \,\dot{=}\, \underbrace{\mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(y_{\mathcal{D}} \,|\,x_{\mathcal{D}} , \Theta ; f) ]}_{\textrm{متوسِّط لوغاريتم دالّة الاحتمال}} \;-\; \underbrace{D_{\text{KL}}\infdivx{q_{\Phi}}{p_{\Phi}}}_{\textrm{تنظيم KL}} \;+\; \underbrace{ \mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} [ \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} [ \log \tilde{p}(\smash{\tilde{Y} \,|\,\tilde{X}} , \Theta_{h}, M, S) ]] \;-\; \tau_{s} \,\| \Sigma_{m} \|_{2}^{2}}_{\textrm{تنظيم عدم اليقين}} , \end{split}\end{aligned}\] حيث \(\Phi \,\dot{=}\,\{ \Theta_{h}, M \}\). نُقدِّر التوقّعات بمونتي‑كارلو، ونحسب التدرّجات باستخدام “حيلة إعادة المعلمة” .

بجعل \(\,p_{\tilde{Y} | \tilde{X}}(\tilde{y} \,|\,\tilde{x}) = \delta(\mathbf{0})\,\) لتشجيع عدم يقينٍ عالٍ على نقاط السياق، نحصل على الصيغة المبسّطة: \[\begin{aligned} \begin{split} \mathcal{F}(\mu, \Sigma) \,\dot{=}\, \underbrace{\mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(y_{\mathcal{D}} \,|\,x_{\mathcal{D}} , \Theta ; f) ]}_{\textrm{متوسِّط لوغاريتم دالّة الاحتمال}} \;-\; \underbrace{D_{\text{KL}}\infdivx{q_{\Phi}}{p_{\Phi}}}_{\textrm{تنظيم KL}} \;+\; \underbrace{ \mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} [ \mathbb{E}_{p_{\tilde{X}}} [ \log \tilde{p}(\smash{\mathbf{0} \,|\,\tilde{X}} , \Theta_{h}, M, S) ]] \;-\; \tau_{s} \,\| \Sigma_{m} \|_{2}^{2}}_{\textrm{تنظيم عدم اليقين}} \label{eq:final_objective} \end{split}\end{aligned}\]

تفاصيل التجارب

نتائج تجريبية إضافية

نعرض نتائج إضافية على مجموعة الاختبار. يوضّح الجدول التالي تأثير حجم دفعة السياق.

وتَرِد النتائج الموسّعة لكلّ تسمية على حدة للنموذج الحتمي، والنموذج البايزي مع ابتدائي قياسي، والنموذج البايزي مع m2d2 في الجداول المُلحقة التالية.