الهدف التقريبي

ليكن التابع \(f\) في نموذج الملاحظة البارامتري \(p_{Y | X, \Theta}(y \,|\,x, \theta; f)\) معرفًا بـ \(f(\cdot \,; \theta) \,\dot{=}\,h(\cdot \,; \theta_{h}) \theta_{L}\). في نموذج الشبكة العصبية، \(h(\cdot \,; \theta_{h})\) هو ناتج الطبقة قبل الأخيرة بعد التفعيل، \(\Theta_{L}\) هي معلمات الطبقة النهائية العشوائية، \(\Theta_{h}\) هي معلمات الطبقات غير النهائية، و\(\Theta \,\dot{=}\,\{ \Theta_{h} , \Theta_{L}\}\) هي مجموعة المعلمات الكاملة.

لاشتقاق توزيع ابتدائي يأخذ في الاعتبار عدم اليقين على مجموعة المعلمات العشوائية \(\Theta\)، نبدأ بتحديد مسألة استدلال مساعدة. ليكن \(\tilde{x} = \{ x_{1}, ..., x_{M} \}\) مجموعة من نقاط السياق مع التسميات المقابلة \(\tilde{y}\)، ونعرّف دالة الاحتمالية \(\tilde{p}_{Y | X, \Theta}(\tilde{y} \,|\,\tilde{x} , \theta)\) وتوزيع ابتدائي على معلمات النموذج \(p_{\Theta}(\theta)\). لتبسيط الرموز، سنحذف المؤشرات الفرعية إلا عند الحاجة. باستخدام مبرهنة بايز، يمكننا كتابة التوزيع البعدي تحت نقاط السياق والتسميات كالتالي: \[\begin{aligned} \tilde{p}(\theta \,|\,\tilde{x}, \tilde{y}) \propto \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta_{h}) p(\theta_{h}) p(\theta_{L}) .\end{aligned}\] لتعريف دالة احتمالية تؤدي إلى توزيع بعدي بخصائص مرغوبة، نبدأ من نفس الخطوة كما في ونعتبر النموذج الخطي العشوائي التالي لأي مجموعة نقاط \(x \,\dot{=}\,\{ x_{1}, ..., x_{M'} \}\): \[\begin{aligned} \tilde{Y}_{k}(x) \,\dot{=}\, h(x ; \theta_{h}) \Theta_{k} + \varepsilon \quad \text{حيث} ~~ \Theta_{k} \sim \mathcal{N}(\theta_{L} ; m_{k}, \tau_{f}^{-1} s_{k}) ~~ \text{و} ~~ \varepsilon \sim \mathcal{N}(\mathbf{0}, \tau_{f}^{-1}\beta I)\end{aligned}\] لأبعاد الإخراج \(k = 1, ..., K\)، حيث \(h(\cdot \,; \theta_{h})\) هو التمثيل المميز، \(\tau_{f}\) و\(\beta\) معاملات التباين، و\(m \in \mathbb{R}^{P_{L}}\) و\(s \in \mathbb{R}^{P_{L}}\) معاملات ثابتة مؤقتًا. هذا النموذج الخطي العشوائي يولد توزيعًا على الدوال ، والذي عند تقييمه على \(\tilde{x}\) يُعطى بـ: \[\begin{aligned} \mathcal{N}(\tilde{y}_{k}(\tilde{x}) ; h(\tilde{x} ; \theta_{h}) m_{k}, \tau_{f}^{-1} K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} ) , \label{eq:induced_prior_distribution}\end{aligned}\] حيث \[\begin{aligned} K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} \,\dot{=}\, h(\tilde{x} ; \theta_{h}) ( s_{k} I ) h(\tilde{x} ; \theta_{h})^\top + \beta I \label{eq:covariance}\end{aligned}\] هي مصفوفة التباين. باعتبار هذه الكثافة الاحتمالية على تقييمات الدوال كدالة احتمالية معلمة بـ \(\theta\)، نبتعد عن ونعرف: \[\begin{aligned} \begin{split} \tilde{p}(\tilde{y}_{k} \,|\,\tilde{x} , \theta_{h}) \,\dot{=}\, \mathcal{N}(\tilde{y}_{k} ; h(\tilde{x} ; \theta_{h}) m_{k} , \tau_{f}^{-1} K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} ) ,\hspace*{-3pt} \label{eq:aux_likelihood} \end{split}\end{aligned}\] حيث لا نفترض \(m = \mathbf{0}\) و\(s = I\). إذا عرفنا توزيع التسميات المساعدة كـ \(p_{\smash{\tilde{Y} \,|\,\tilde{X}}}(\tilde{y} \,|\,\tilde{x}) \,\dot{=}\,\delta(\{\mathbf{0}, ..., \mathbf{0} \} - \tilde{y})\)، فإن دالة الاحتمالية \(\tilde{p}(\tilde{y}_{k} \,|\,\tilde{x} , \theta_{h})\) تفضل المعلمات \(\theta_{h}\) التي تجعل التوزيع الناتج على الدوال لديه احتمال عالٍ للتنبؤ بـ \(\mathbf{0}\). بجمع ذلك عبر جميع الأبعاد: \[\begin{aligned} \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta) \,\dot{=}\, \prod\nolimits_{k = 1}^{K} \tilde{p}(\tilde{y}_{k} \,|\,\tilde{x} , \theta, m_{k}, s_{k}) ,\end{aligned}\] وبأخذ اللوغاريتم: \[\begin{aligned} & \log \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta_{h}) \propto -\sum\nolimits_{k = 1}^{K} \frac{\tau_{f}}{2} (h(\tilde{x} ; \theta_{h}) m_{k})^\top K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k}^{-1} h(\tilde{x} ; \theta_{h}) m_{k} , \nonumber \end{aligned}\] ونعرف: \[\begin{aligned} \begin{split} \mathcal{J}(\theta, m, s, \tilde{x}, \tilde{y}) \,\dot{=}\, -\sum\nolimits_{k = 1}^{K} \frac{\tau_{f}}{2} d^{2}_{M}(h(\tilde{x} ; \theta_{h}) m_{k} - \tilde{y}, K(\tilde{x}, \tilde{x} ; \theta_{h}, s)_{k} ) \label{eq:fs_map_regularizer} \end{split}\end{aligned}\] حيث \(d^{2}_{M}(\Delta, K) \,\dot{=}\,\Delta^\top K^{-1} \Delta\) هو مربع مسافة ماهالانوبس. بالتالي: \[\begin{aligned} \mathop{\mathrm{arg\,max}}\nolimits_{\theta} \tilde{p}(\theta \,|\,\tilde{x}, \tilde{y}) = \mathop{\mathrm{arg\,max}}\nolimits_{\theta}\mathcal{J}(\theta, m, s, \tilde{x}, \tilde{y}) + \log p(\theta) \end{aligned}\] وبالتالي، تعظيم \(\mathcal{J}(\theta, m, s, \tilde{x}, \tilde{y}) + \log p(\theta)\) بالنسبة لـ \(\theta\) يعادل رياضيًا تعظيم التوزيع البعدي \(\tilde{p}(\theta \,|\,\tilde{x}, \tilde{y})\) ويؤدي إلى دوال مرجحة تحت التوزيع الناتج عن الشبكة العصبية ومتسقة مع التوزيع الابتدائي.

لكن، بما أن المعلمات \(m\) و\(s\) ثابتة وتظهر في دالة الاحتمالية المساعدة فقط، فإن الهدف أعلاه ليس مناسبًا إذا كان الهدف هو إيجاد معلمات \(\theta\) تؤدي إلى دوال ذات عدم يقين مرتفع على نقاط السياق. لمعالجة ذلك، ندرج هذه المعلمات في نموذج الملاحظة كوسيط وتباين للطبقة النهائية في \(f(\cdot \,; \theta)\)، ونعاملها كمتغيرات عشوائية \(M\) و\(S\)، ونضع توزيعات ابتدائية عليها، ونستنتج توزيعًا بعديًا تقريبيًا لكليهما.

على وجه التحديد، نعرف توزيعًا ابتدائيًا على معلمات الطبقة النهائية \(\Theta_{L}\) كالتالي: \[\begin{aligned} p_{\Theta_{L}}(\theta_{L} \,|\,m, s) = \mathcal{N}(\theta_{L} ; m, s I)\end{aligned}\] وتوزيعات ابتدائية فائقة: \[\begin{aligned} p_{M}(m) & = \mathcal{N}(m ; \mu_{0}, \tau_{0}^{-1} I) \\ p_{S}(s) & = \textrm{Lognormal}(s ; \mathbf{0}, 2 \tau^{-1}_{s} I) .\end{aligned}\] النموذج الاحتمالي الكامل يصبح: \[\begin{aligned} p(y \,|\,x, \theta_{h}, \theta_{L}; f) \, p(\theta, m, s \,|\,\tilde{x}, \tilde{y}) .\end{aligned}\] مع التوزيع الابتدائي: \[\begin{aligned} \begin{split} p(\theta, m, s \,|\,\tilde{x}, \tilde{y}) & = \tilde{p}(\theta_{h} \,|\,m, s, \smash{\tilde{x}, \tilde{y}}) \, p(\theta_{L} \,|\,m, s) \, p(m) \, p(s) \\ & \propto p(\theta_{L} \,|\,m, s) \, \tilde{p}(\tilde{y} \,|\,\tilde{x} , \theta ; f) \, p(\theta_{h}) \, p(m) \, p(s) , \end{split}\end{aligned}\] ويمكن حساب جميعها تحليليًا. باستخدام هذا التوزيع الابتدائي، يمكننا اشتقاق هدف تقريبي وإجراء استدلال تقريبي.

نبدأ بتعريف توزيع تقريبي: \[\begin{aligned} q(\theta, m, s, \tilde{x}, \tilde{y}) \,\dot{=}\, q(\theta_{h}) \, q(\theta_{L} \,|\,m, s) \, q(m) \, q(s) \, q(\tilde{x}, \tilde{y}) ,\end{aligned}\] ونصيغ مسألة الاستدلال كمسألة تحسين: \[\begin{aligned} \min_{q_{\Theta, M, S, \tilde{X}, \tilde{Y}} \in \mathcal{Q}} D_{\text{KL}}\infdivx{q_{\Theta, M, S, \tilde{X}, \tilde{Y}}}{p_{\Theta, M, S, \tilde{X}, \tilde{Y} \,|\,X_{\mathcal{D}}, Y_{\mathcal{D}}}} ,\end{aligned}\] حيث \(\mathcal{Q}\) عائلة التوزيعات التقريبية. إذا كان التوزيع البعدي ضمن العائلة، يكون الحل دقيقًا. بتعديل المسألة بتعريف \(q(\tilde{x}, \tilde{y}) \,\dot{=}\,p(\tilde{x}, \tilde{y}) = p(\tilde{y} \,|\,\tilde{x}) p(\tilde{x})\)، تتبسط المسألة إلى: \[\begin{aligned} \min_{q_{\Theta, M, S} \in \mathcal{Q}} \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \left[ D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}, X_{\mathcal{D}}, Y_{\mathcal{D}}}} \right] ,\end{aligned}\] والتي تعادل تعظيم الهدف التقريبي: \[\begin{aligned} \bar{\mathcal{F}}(q_{\Theta}, q_{M}, q_{S}) \,\dot{=}\, \mathbb{E}_{q_{\Theta, M, S}} [ \log p(y_{\mathcal{D}} \,|\,x_{\mathcal{D}} , \Theta ; f) ] - \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} [ D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} ] . \end{aligned}\] لحساب الحد التنظيمي، نلاحظ: \[\begin{aligned} \begin{split} \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} [ D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}}] ] = \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \Big[ \mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log q(\Theta) q(M) q(S) ] - \mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}) ] \Big] , \label{eq:kl_divergence} \end{split}\end{aligned}\] وباستخدام نفس الأفكار، يمكننا كتابة: \[\begin{aligned} \begin{split} \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} [ \mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}) ] ] \propto \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} \Big[\mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} \left[ \log \tilde{p}(\smash{\tilde{Y} \,|\,\tilde{X}} , \Theta_{h}, M, S) \right] + \mathbb{E}_{q_{\Theta}} \left[ \log p(\Theta_{h}) \, p(\Theta_{L} \,|\,M, S) \, p(M) \, p(S) \right] \Big] , \end{split}\end{aligned}\] وبالتالي: \[\begin{aligned} \begin{split} D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} \propto - \mathbb{E}_{q_{M} q_{S}} [ \mathbb{E}_{q_{\Theta}} [\log \tilde{p}(\tilde{Y} \,|\,\tilde{X} , \Theta_{h}, M, S) ] + D_{\text{KL}}\infdivx{q_{\Theta_{L} \,|\,M, S}}{p_{\Theta_{L} \,|\,M, S}} ] + D_{\text{KL}}\infdivx{q_{\Theta_{h}}}{p_{\Theta_{h}}} + D_{\text{KL}}\infdivx{q_{M}}{p_{M}} + D_{\text{KL}}\infdivx{q_{S}}{p_{S}} . \end{split}\end{aligned}\] وبتحديد العائلة التقريبية: \[\begin{aligned} \begin{split} q(\theta_{L} \,|\,m, s) & = \mathcal{N}(\theta_{L} ; m, s I) \\ q(\theta_{h}) & = \mathcal{N}(\theta_{h} ; \mu_{h}, \Sigma_{h}) \\ q(m) & = \mathcal{N}(m ; \mu_{L}, \Sigma_{L}) \\ q(s) & = \textrm{Lognormal}(s ; \Sigma_{L}, \sigma^{2}_{s} I) . \end{split}\end{aligned}\] مع معلمات تقريبية قابلة للتعلم \(\mu \,\dot{=}\,\{ \mu_{h}, \mu_{m} \}\) و\(\Sigma \,\dot{=}\,\{ \Sigma_{L}, \Sigma_{L} \}\) ومعلمات ثابتة \(\{ \sigma^{2}_{m}, \sigma^{2}_{s} \}\)، نحصل على \(D_{\text{KL}}\infdivx{q_{\Theta_{L} \,|\,M, S}}{p_{\Theta_{L} \,|\,M, S}} = 0\)، ويتبسط الحد التنظيمي إلى: \[\begin{aligned} \begin{split} D_{\text{KL}}\infdivx{q_{\Theta, M, S}}{p_{\Theta, M, S \,|\,\smash{\tilde{X}, \tilde{Y}}}} \propto - \mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} [\log \tilde{p}(\tilde{Y} \,|\,\tilde{X} , \Theta_{h}, M, S) ] + D_{\text{KL}}\infdivx{q_{\Theta_{h}}}{p_{\Theta_{h}}} + D_{\text{KL}}\infdivx{q_{M}}{p_{M}} + D_{\text{KL}}\infdivx{q_{S}}{p_{S}} , \end{split}\end{aligned}\] ويمكن حساب كل حد تحليليًا، ويمكن تقدير اللوغاريتم السلبي لدالة الاحتمالية باستخدام مونتي كارلو.

بما أن \(\Theta_{h}\) و\(q_{M}\) توزيعات غاوسية، يمكننا كتابة الهدف التقريبي الكامل بشكل مبسط: \[\begin{aligned} \begin{split} \mathcal{F}(\mu, \Sigma) \,\dot{=}\, \underbrace{\mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(y_{\mathcal{D}} \,|\,x_{\mathcal{D}} , \Theta ; f) ]}_{\textrm{متوسط اللوغاريتم الاحتمالي}} - \underbrace{D_{\text{KL}}\infdivx{q_{\Phi}}{p_{\Phi}}}_{\textrm{تنظيم KL}} + \underbrace{ \mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} [ \mathbb{E}_{p_{\tilde{X}, \tilde{Y}}} [ \log \tilde{p}(\smash{\tilde{Y} \,|\,\tilde{X}} , \Theta_{h}, M, S) ]] - \smash{\tau_{s} \| \Sigma_{L} \|_{2}^{2}}}_{\textrm{تنظيم عدم اليقين}} , \end{split}\end{aligned}\] حيث \(\Phi \,\dot{=}\,\{ \Theta_{h}, M \}\). يمكن تقدير التوقعات باستخدام مونتي كارلو، وتقدير التدرجات باستخدام إعادة التشكيل كما في .

بجعل \(p_{\tilde{Y} | \tilde{X}}(\tilde{y} \,|\,\tilde{x}) = \delta(\mathbf{0})\) لتشجيع عدم اليقين العالي في التنبؤات على نقاط السياق، حيث \(\delta(\cdot)\) دالة ديراك، نحصل على الهدف المبسط: \[\begin{aligned} \begin{split} \mathcal{F}(\mu, \Sigma) \,\dot{=}\, \underbrace{\mathbb{E}_{q_{\Theta} q_{M} q_{S}} [ \log p(y_{\mathcal{D}} \,|\,x_{\mathcal{D}} , \Theta ; f) ]}_{\textrm{متوسط اللوغاريتم الاحتمالي}} - \underbrace{D_{\text{KL}}\infdivx{q_{\Phi}}{p_{\Phi}}}_{\textrm{تنظيم KL}} + \underbrace{ \mathbb{E}_{q_{\Theta_{h}} q_{M} q_{S}} [ \mathbb{E}_{p_{\tilde{X}}} [ \log \tilde{p}(\smash{\mathbf{0} \,|\,\tilde{X}} , \Theta_{h}, M, S) ]] - \smash{\tau_{s} \| \Sigma_{L} \|_{2}^{2}}}_{\textrm{تنظيم عدم اليقين}} \label{eq:final_objective} \end{split}\end{aligned}\]

تفاصيل التجارب

نتائج تجريبية إضافية

في هذا القسم، نقدم نتائج إضافية على مجموعة الاختبار. يعرض الجدول التالي نتائج النموذج العشوائي لقيم مختلفة لحجم دفعة السياق.

، وتعرض النتائج الموسعة لتجاربنا لكل تسمية للنموذج الحتمي، والنموذج البايزي مع توزيع ابتدائي قياسي، والنموذج البايزي مع توزيع m2d2، على التوالي.