^†^†thanks: zhiqinxu@nyu.edu^†^†thanks: zdz@sjtu.edu.cn

البنية الديناميكية وبنية الاقتران للشبكات المقترنة بالنبضات في تحليل الإنتروبيا العظمى

Zhi-Qin John Xu¹ Douglas Zhou² David Cai^1,2,3 ¹NYUAD Institute, New York University Abu Dhabi, Abu Dhabi, United Arab Emirates,
²School of Mathematical Sciences, MOE-LSC and Institute of Natural Sciences,Shanghai Jiao Tong University, Shanghai, P.R. China,
³Courant Institute of Mathematical Sciences and Center for Neural Science, New York University, New York, New York, USA.

(May 13, 2026)

الملخص

ينجح تحليل مبدأ الإنتروبيا العظمى (MEP)، مع عدد قليل من التآثرات الفعالة غير الصفرية، في توصيف توزيع الحالات الديناميكية للشبكات المقترنة بالنبضات في تجارب كثيرة، مثلًا في علم الأعصاب. ولفهم الآلية الكامنة على نحو أفضل، وجدنا علاقة بين البنية الديناميكية، أي التآثرات الفعالة في تحليل MEP، وبنية الاقتران في الشبكة المقترنة بالنبضات، وذلك لفهم كيف يمكن لبنية اقتران متفرقة أن تؤدي إلى ترميز متفرق بواسطة التآثرات الفعالة. وتعرض هذه العلاقة كميًا مدى الارتباط الوثيق بين البنية الديناميكية وبنية الاقتران.

أرقام PACS: 89.70.Cf, 87.19.lo, 87.19.ls, 87.19.ll

pacs:

تظهر PACS الصالحة هنا

^†^†preprint: APS/123-QED

تنشأ الشبكات ثنائية الحالة، حيث تكون كل عقدة في حاوية زمنية واحدة لأخذ العينات ذات حالة ثنائية، في مجالات بحثية كثيرة، مثل نمذجة التنظيم الجيني والديناميكيات العصبية mirollo1990synchronization ; stricker2008fast ; wang2010review . وتعد التوزيعات الإحصائية لحالات الشبكة أساسية لترميز المعلومات dan1998coding ; vinje2000sparse ; ohiorhenuan2010sparse ; shemesh2013high ; knill2004bayesian . فعلى سبيل المثال، تبين الدراسات التجريبية، باستخدام التوزيعات الإحصائية لحالات الشبكة، أن الجرذان تستطيع إجراء إعادات تشغيل يقظة لخبرات بعيدة في الحصين karlsson2009awake . وقد وصفت أعمال كثيرة بفعالية توزيع حالات الشبكة $2^{n}$ لعقد ثنائية الحالة عددها $n$ في أنظمة متنوعة، مثلًا شبكة من $\sim100$ عصبونًا ganmor2011sparse ، باستخدام تحليل من الرتبة المنخفضة مبدأ الإنتروبيا العظمى (MEP) schneidman2006weak ; shlens2006structure ; tang2008maximum ; marre2009prediction ; bury2012statistical ; watanabe2013pairwise ; Barreiro2014microcircuits ; martin2016pairwise ، وهو أسلوب يتضمن عددًا قليلًا (أقل بكثير من $2^{n}$ ) من التآثرات الفعالة غير الصفرية (انظر تعريفًا دقيقًا في المعادلة (1))، مقيدة بإحصاءات منخفضة الرتبة. ومن ثم يمكننا أن نعد تلك التآثرات الفعالة ترميزًا متفرقًا للمعلومات المشفرة في توزيع الحالات. ومع ذلك، فلفهم مخططات الترميز في الأنظمة الشبكية، يبقى من المهم فهم ما يؤدي إلى تفرق التآثرات الفعالة. في هذا العمل، سنستخدم أساسًا الشبكات العصبية أمثلةً للتوضيح، مع أن نتائجنا تنطبق على الشبكات ثنائية الحالة عمومًا.

تعكس التآثرات الفعالة، المقدرة من البيانات الديناميكية لنظام شبكي، بنية ديناميكية للشبكة. وقد استُخدمت هذه البنية الديناميكية لدراسة الاتصال الوظيفي للشبكات ganmor2011architecture ; watanabe2013pairwise . فعلى سبيل المثال، تبين الدراسات التجريبية أن خريطة التآثرات الفعالة من الرتبة الثانية في الشبكية متفرقة وتهيمن عليها وحدات محلية متداخلة من التآثرات الفعالة ganmor2011architecture . وغالبًا ما ترتبط البنية الديناميكية للشبكة ارتباطًا وثيقًا ببنية الاقتران الكامنة zhou2013causal . فعلى سبيل المثال، عندما يكون دخل كل عقدة مستقلًا عن العقد الأخرى: i) تكون التآثرات الفعالة العالية الرتبة ( $\geq2$ ) صفرية في شبكة بلا اتصالات، ii) وتكون التآثرات الفعالة العالية الرتبة كبيرة في شبكة استثارية كثيفة وقوية الاتصال. ولترميز المعلومات بكفاءة، غالبًا ما يضم النظام الواقعي بنية اقتران ذات سمات معينة newman2003structure ; bullmore2009complex ، مثل التفرق، أو خاصية العالم الصغير، أو خلوه من المقياس. غير أنه لا يزال غير واضح كيف تؤثر بنية الاقتران في البنية الديناميكية للتآثرات الفعالة.

في هذه الرسالة، ننظر في صنف عام من الشبكات المقترنة بالنبضات. حالة كل عقدة ثنائية؛ أي إنها تكون نشطة عندما ترسل العقدة نبضات إلى عقدها التابعة، وإلا فهي ساكنة. وقد لاحظنا حقيقة تفضي إلى علاقة صريحة، مستقلة عن ديناميكيات العقد، بين بنية الاقتران وعدد التآثرات الفعالة غير الصفرية في تحليل MEP كامل الرتبة (المقيد بجميع العزوم). ونفحص هذه الحقيقة المرصودة بمحاكاة عددية. ومن خلال تحليلنا، نستطيع تقدير حد أعلى لعدد التآثرات الفعالة غير الصفرية لبنية اقتران معطاة عندما يكون الدخل الخارجي لكل عقدة مستقلًا عن غيره. وتبين نتائجنا أن الشبكة المتفرقة يمكن أن تؤدي إلى اضمحلال عدد كبير من التآثرات الفعالة العالية الرتبة. وللتوضيح، نقدر عدد التآثرات الفعالة غير الصفرية لكل رتبة في شبكة ذات بنية اتصال Erdos-Renyi، حيث يكون تقديرنا أصغر بكثير من $C_{n}^{k}$ ، وهو عدد جميع التآثرات الفعالة الممكنة من الرتبة $k$ . وتؤسس نتائجنا صلة بين البنية الديناميكية وبنية اقتران الشبكة. وتقدم هذه الصلة تبصرًا في كيفية أن تؤدي بنية اقتران متفرقة إلى مخطط ترميز متفرق.

في التحليل الآتي، نستخدم المتجه الثنائي $V(l)=(\sigma_{1},\cdots,\sigma_{n})\in\{0,1\}^{n}$ لتمثيل حالة $n$ عقد ضمن حاوية زمنية لأخذ العينات موسومة بـ $l$ . ويتطلب الحصول على الارتباطات حتى الرتبة $m$ تقييم جميع $\left\langle \sigma_{i_{1}}\cdots\sigma_{i_{M}}\right\rangle _{E}$ ، حيث إن $1\leq i_{1}<i_{2}<\cdots<i_{M}\leq n$ و $1\leq M\leq m$ و $\left\langle \cdot\right\rangle _{E}$ تُعرَّف بواسطة $\left\langle g(l)\right\rangle _{E}=\sum_{l=1}^{N_{T}}g(l)/N_{T}$ لأي دالة $g(l)$ ، و $N_{T}$ هو العدد الكلي لحاويات زمن أخذ العينات في التسجيل. ويهدف تحليل MEP من الرتبة $m$ إلى إيجاد توزيع الاحتمال المطلوب $P(V)$ للعقد $n$ بتعظيم الإنتروبيا $S\equiv-\sum_{V}P(V)\log P(V)$ مع الخضوع للارتباطات حتى الرتبة $m$ ( $m\leq n$ ). وعندئذ يمكن حل التوزيع الوحيد على الصورة

$\begin{equation} P_{m}(V)=\frac{1}{Z}\exp(\sum_{k=1}^{m}\sum_{i_{1}<\cdots<i_{k}}^{n}J_{i_{1}\cdots i_{k}}\sigma_{i_{1}}\cdots\sigma_{i_{k}}),\label{eq:MaxEntModel} \end{equation}$

(1)

حيث، تبعًا لمصطلحات الفيزياء الإحصائية، نسمي $J_{i_{1}\cdots i_{k}}$ تآثرًا فعالًا من الرتبة $k$ ( $1\leq k\leq m$ )، وتكون دالة التقسيم $Z$ عامل التطبيع. ويشار إلى المعادلة (1) باسم توزيع MEP من الرتبة $m$ .

أولًا، نناقش العلاقة بين التآثرات الفعالة والتوزيع الإحصائي لحالات الشبكة. بأخذ لوغاريتم طرفي المعادلة (1) من أجل $P_{n}(V)$ ، يمكننا الحصول على جملة من المعادلات الخطية للتآثرات الفعالة من جميع الرتب لكل الحالات $V$ . وبما أن $P_{n}$ هو نفسه التوزيع المرصود تجريبيًا amari2001information ، يمكننا الحصول على التآثرات الفعالة في $P_{n}$ بدلالة التوزيع المرصود تجريبيًا xu2016dynamical . فعلى سبيل المثال، عند $n=3$ ، يمكننا الحصول على $J_{1}=\log(P_{100}/P_{000})$ و $J_{12}=\log(P_{110}/P_{010})-J_{1}$ ، حيث تمثل $P_{\sigma_{1}\sigma_{2}\sigma_{3}}$ احتمال حالة الشبكة $(\sigma_{1},\sigma_{2},\sigma_{3})$ . وبتطبيق $P(\sigma_{1},\sigma_{2},\sigma_{3})=P(\sigma_{1}|\sigma_{2},\sigma_{3})P(\sigma_{2},\sigma_{3})$ ، نحصل على $J_{1}=\log\frac{P(\sigma_{1}=1|\sigma_{2}=0,\sigma_{3}=0)}{P(\sigma_{1}=0|\sigma_{2}=0,\sigma_{3}=0)}$ و $J_{12}=\log\frac{P(\sigma_{1}=1|\sigma_{2}=1,\sigma_{3}=0)}{P(\sigma_{1}=0|\sigma_{2}=1,\sigma_{3}=0)}-J_{1}\triangleq J_{1}^{1}-J_{1}$ . وقد أظهرت دراستنا السابقة بنية عودية بين التآثرات الفعالة، أي إن التآثر الفعال من الرتبة $(k+1)$ $J_{123\dots(k+1)}$ يمكن الحصول عليه كما يأتي xu2016dynamical : أولًا، نبدل حالة العقدة $(k+1)$ في $J_{123\dots k}$ من ساكنة إلى نشطة للحصول على حد جديد $J_{123\dots k}^{1}$ ، مثلًا من $J_{1}$ إلى $J_{1}^{1}$ ؛ ثم نطرح $J_{123\dots k}$ من الحد الجديد للحصول على $J_{123\dots(k+1)}$ ، أي

$\begin{equation} J_{123\dots(k+1)}=J_{123\dots k}^{1}-J_{123\dots k}.\label{eq:recursive} \end{equation}$

(2)

ومن دون فقدان للعمومية، نختار عشوائيًا عقدتين موسومتين بـ $1$ و $2$ . وبالعلاقة العودية، يمكن التعبير عن أي تآثر فعال من الرتبة $k$ يتضمن العقدتين 1 و2 بوصفه مجموع حدود ذات الصورة الأساسية الآتية

	$\displaystyle J_{12}^{b}(\sigma_{3},\cdots,\sigma_{n})$	$\displaystyle=\log\frac{P(\sigma_{1}=1\|\sigma_{2}=1,\sigma_{3},\cdots,\sigma_{% n})}{P(\sigma_{1}=0\|\sigma_{2}=1,\sigma_{3},\cdots,\sigma_{n})}$
		$\displaystyle\quad-\log\frac{P(\sigma_{1}=1\|\sigma_{2}=0,\sigma_{3},\cdots,% \sigma_{n})}{P(\sigma_{1}=0\|\sigma_{2}=0,\sigma_{3},\cdots,\sigma_{n})}.$		(3)

فعلى سبيل المثال، $J_{123}=J_{12}^{b}(1,0,\cdots,0)-J_{12}^{b}(0,0,\cdots,0)$ و $J_{1234}=[J_{12}^{b}(1,1,0,\cdots,0)-J_{12}^{b}(0,1,0,\cdots,0)]-J_{123}$ . يمكننا أن نلاحظ أنه إذا كانت العقدتان $1$ و $2$ مستقلتين شرطًا على جميع العقد الأخرى، أي $P(\sigma_{1}|\sigma_{2}=1,\sigma_{3},\cdots,\sigma_{n})=P(\sigma_{1}|\sigma_{2}=0,\sigma_{3},\cdots,\sigma_{n})$ ، فإن أي تآثر فعال يحتوي على هاتين العقدتين يكون صفرًا.

بعد ذلك، سنبين أي نوع من بنية الاقتران يمكن أن يستلزم الاستقلال الشرطي لعقدتين. وهنا نعرف بعض الاصطلاحات. في أي حاوية زمنية لأخذ العينات $[0,\Delta)$ ذات حالة $V=(\sigma_{1},\cdots,\sigma_{n})$ ، $\forall t\in[0,\Delta)$ ، نرمز إلى $I_{i,t}$ بوصفه دخل العقدة $i$ من خارج الشبكة، ونرمز إلى $w_{ij}(t)$ بوصفه الدخل من العقدة $i$ إلى العقدة $j$ ، ونرمز إلى ${\rm C}(i)$ بوصفها مجموعة كل العقد التابعة للعقدة $i$ ، ونرمز إلى $U_{i}={\rm C}(i)\cup\{i\}$ ، ونرمز إلى $P(e)$ بوصفه احتمال الحدث $e$ ، ونرمز إلى $U_{0}=\{1,2,\cdots,n\}$ .

حقيقة.

بالنسبة إلى $n$ عقد مقترنة بالنبضات ذات ديناميكيات ثنائية الحالة على شبكة ذات بنية اقتران $G_{0}$ ، في أي حاوية زمنية لأخذ العينات $[0,\Delta)$ ، $\forall t\in[0,\Delta)$ ، $\forall i_{1},j_{1}\in U_{0}$ ، نفترض أن: (a) المدخلات الخارجية لكل عقدة مستقلة عن غيرها، أي $P(I_{i_{1},t},I_{j_{1},t})=P(I_{i_{1},t})P(I_{j_{1},t})$ ؛ (b) إن إرسال عقدة أصلية للنبضات إلى عقدها التابعة يعتمد فقط على حالتها، أي $P(w_{i_{1}j_{1}}(t),V)=W(\sigma_{i_{1}},i_{1},j_{1},t)$ ، حيث إن $W(\cdot,\cdot,\cdot,\cdot)$ دالة حقيقية. $\forall i,j\in U_{0}$ ، إذا لم تكن العقدتان متصلتين ولا تشتركان في أي عقدة تابعة، أي $U_{i}\cap U_{j}=\phi$ ، فإن العقدتين $i$ و $j$ تكونان مستقلتين شرطًا على حالة جميع العقد الأخرى، أي

$\begin{equation} P(\sigma_{i},\sigma_{j}|H)=P(\sigma_{i}|H)P(\sigma_{j}|H),\label{eq:CondIndProb-1} \end{equation}$

(4)

حيث إن $H$ حالة ممكنة للعقد في $U_{0}\backslash\{i,j\}$ .

نبرر افتراضينا كما يأتي. لتجنب تأثير الارتباط في المدخلات الخارجية عند دراسة العلاقة بين البنية الديناميكية وبنية الاقتران، نفترض أن الدخل الخارجي لكل عقدة مستقل عن غيره، أي الافتراض (a). وينطوي الافتراض الثاني على خاصية شبيهة بماركوف؛ أي إنه بالنسبة إلى زوج متصل من العقد المقترنة بالنبضات في حالة اتزان، تعتمد النبضة من العقدة الأصلية إلى العقدة التابعة فقط على حالة العقدة الأصلية، ولكنها مستقلة عن المدخلات المفروضة على العقدة الأصلية. فعلى سبيل المثال، في الشبكات العصبية، لا يرسل العصبون نبضات إلا عندما يكون هذا العصبون نشطًا، بغض النظر عن المدخلات المفروضة عليه.

حجة الاستنتاج في المعادلة (4) هي كما يأتي. بموجب الافتراض (a)، لا يمكن أن تعتمد العقدة $i$ والعقدة $j$ بعضهما على بعض إلا عبر بنية الاقتران $G_{0}$ . وعندما ننظر في كيفية تأثير العقدة $i$ والعقدة $j$ إحداهما في الأخرى بتغيير حالتيهما عبر بنية الاقتران $G_{0}$ ، يمكننا النظر في بنية اقتران مبسطة، $G_{1}$ ، تهمل تلك الاتصالات المستقلة عن حالتي العقدتين $i$ و $j$ ، أي $\sigma_{i}$ و $\sigma_{j}$ . $\forall k\in U_{o}\backslash\{i,j\}$ ، أي إن أي عقدة أخرى $k$ تكون حالتها $\sigma_{k}$ ثابتة عندما ننظر في الاحتمال الشرطي في المعادلة (4). وبموجب الافتراض (b)، للعقدة $k$ ، ولأي عقدة تابعة $l$ ، يكون الدخل من العقدة $k$ إلى العقدة $l$ مستقلًا عن $\sigma_{i}$ و $\sigma_{j}$ . لذلك، تكون الاتصالات التي تبدأ من تلك العقد في $U_{o}\backslash\{i,j\}$ ثابتة للحالات المختلفة لـ $\sigma_{i}$ و $\sigma_{j}$ . وعليه، فإن $G_{1}$ بنية اقتران مبسطة لا تبقي إلا الاتصالات الناشئة من العقدة $i$ والعقدة $j$ في $G_{0}$ . في $G_{1}$ ، لا يوجد أي اتصال إلا في الشبكة الجزئية $U_{i}$ أو في الشبكة الجزئية $U_{j}$ . وتحت الشرط $U_{i}\cap U_{j}=\phi$ ، أي إذا لم تكونا متصلتين ولا تشتركان في أي عقدة تابعة، تكون الشبكتان الجزئيتان $U_{i}$ و $U_{j}$ شبكتين جزئيتين معزولتين. ولا تستطيع $\sigma_{i}$ و $\sigma_{j}$ التأثير إحداهما في الأخرى بتغيير حالتيهما عبر بنية الاقتران $G_{1}$ ؛ أي إن العقدتين $i$ و $j$ مستقلتان شرطًا على حالات جميع العقد الأخرى.

يعرض الشكل 1 مثالًا لتوضيح الحقيقة المرصودة لدينا. تُعرض بنية الاقتران $G_{0}$ في الشكل 1a. نركز على العقدة $1$ والعقدة $2$ ، حيث إنهما ليستا متصلتين ولا تشتركان في أي عقدة تابعة. وعندما تثبت حالة العقد الأخرى (السوداء)، يمكن إهمال جميع المخرجات من العقد السوداء في بنية الاقتران المبسطة $G_{1}$ ، كما هو مبين في الشكل 1b. وتنتمي العقدة $1$ والعقدة $2$ على التوالي إلى شبكتين جزئيتين منفصلتين. لذلك تكون العقدتان $1$ و $2$ مستقلتين شرطًا على حالة جميع العقد الأخرى.

استنادًا إلى البنية العودية للتآثرات الفعالة والحقيقة المرصودة، نصل إلى الاستنتاج الآتي: مع الافتراضين الواردين في الحقيقة المرصودة، إذا وجدت، ضمن مجموعة من العقد $\{i_{1},i_{2},\cdots,i_{k}\}$ ، زوج واحد على الأقل من العقد التي ليست متصلة ولا تشترك في أي عقدة تابعة، فإن التآثر الفعال $J_{i_{1},i_{2},\cdots,i_{k}}$ يكون صفرًا.

النظام الذي سنستخدمه لفحص استنتاجنا هو شبكة تكامل وإطلاق (I&F)، وهي شبكة عامة مقترنة بالنبضات، تضم عقدًا استثارية وأخرى تثبيطية zhou2013causal . وبالنسبة إلى العقدة $i$ ، فإن ديناميكيات متغير حالتها $x_{i}$ مع المقاييس الزمنية $\tau$ تحكمها

$\begin{equation} \dot{x}_{i}=-\frac{x_{i}}{\tau}-(g_{i}^{{\rm bg}}+g^{{\rm ex}})(x_{i}-x_{{\rm ex}})-g_{i}^{{\rm in}}(x_{i}-x_{{\rm in}}),\label{eq:IFModel} \end{equation}$

(5)

حيث إن $x_{{\rm ex}}$ و $x_{{\rm in}}$ هما قيمتا الانعكاس للاستثارة (ex) والتثبيط (in)، على التوالي. و $g_{i}^{{\rm bg}}=f\sum_{k}\mathbb{H}(t-T_{i,k}^{F})\exp[-(t-T_{i,k}^{F})/\sigma^{{\rm ex}}]$ هو الدخل الخلفي بسعة $f$ ومقياس زمني $\sigma^{{\rm ex}}$ ، و $T_{i,k}^{F}$ عملية بواسون بمعدل $\mu$ ، و $\mathbb{H}(\cdot)$ هي دالة هيفيسايد، و $g_{i}^{{\rm ex}}=\sum_{j}\sum_{k}S_{ij}^{{\rm ex}}\mathbb{H}(t-T_{j,k}^{{\rm ex}})\exp[-(t-T_{j,k}^{{\rm ex}})/\sigma^{{\rm ex}}]$ هو تآثر النبضة الاستثارية الفعال من العقد الاستثارية $j$ الأخرى، و $g_{i}^{{\rm in}}=\sum_{j}\sum_{k}S_{ij}^{{\rm in}}\mathbb{H}(t-T_{j,k}^{{\rm in}})\exp[-(t-T_{j,k}^{{\rm in}})/\sigma^{{\rm in}}]$ هو تآثر النبضة التثبيطية الفعال من العقد التثبيطية $j$ الأخرى. وتتطور العقدة الاستثارية (التثبيطية) $j$ ، $x_{j}$ ، على نحو مستمر وفقًا للمعادلة (5) حتى تبلغ عتبة الإطلاق $x_{{\rm th}}$ . وتسمى تلك اللحظة الزمنية حدث إطلاق (ولنقل النبضة $k$ ) ويرمز إليها بـ $T_{j,k}^{{\rm ex}}$ ( $T_{j,k}^{{\rm in}}).$ ثم يعاد ضبط $x_{j}$ إلى قيمة إعادة الضبط $x_{r}$ ( $x_{{\rm in}}<x_{r}<x_{{\rm th}}<x_{\text{{\rm ex}}}$ ) ويثبت $x_{r}$ خلال فترة جموح مطلقة مقدارها $\tau_{{\rm ref}}.$ . وتسبب كل نبضة صادرة من العقدة الاستثارية (التثبيطية) $j$ زيادة آنية $S_{ij}^{{\rm ex}}$ ( $S_{ij}^{{\rm in}}$ ) في $g_{i}^{{\rm ex}}$ ( $g_{i}^{{\rm in}}$ )، حيث إن $S_{ij}^{{\rm ex}}$ و $S_{ij}^{{\rm in}}$ هما قوتا الاقتران الاستثارية والتثبيطية على التوالي. ويصف النموذج (5) صنفًا عامًا من الشبكات الفيزيائية mirollo1990synchronization ; gerstner2002spiking ; cai2005architectural ; wang2010review ; zhou2013causal .

في المثال الأول، تشكل عقدتان استثاريتان وعقدتان تثبيطيتان من نوع I&F بنية اقتران حلقية (الشكل 2a). ولأي زوج من العقد، ولنقل العقدتين $i$ و $j$ ، نحسب $\Delta_{ij}(H)=|P(\sigma_{i}=1|\sigma_{j}=1,H)-P(\sigma_{i}=1|\sigma_{j}=0,H)|$ ، حيث إن $H$ هي إحدى حالات العقدتين الأخريين. وبحسب الحقيقة المرصودة، تكون الأزواج المستقلة شرطيًا هي $(\text{{\rm neuron }}1,\text{{\rm neuron }}3)$ و $(\text{{\rm neuron }}2,\text{{\rm neuron }}4)$ ، وتصنف الأزواج الأخرى أزواجًا تابعة. وفي الشكل 2b، تكون شدة $\Delta_{ij}(H)$ للأزواج المستقلة (بالأخضر) أصغر بنحو رتبتين عشريتين من شدة الأزواج التابعة (بالأحمر). ثم نخلط قطارات النبضات لكل عقدة. وبالمثل نحسب $\Delta_{ij}(H)$ لعدد $10$ من البيانات المخلوطة المختلفة. وتمثل النقاط الزرقاء والنقاط السماوية في الشكل 2b نتائج جميع البيانات المخلوطة للأزواج التابعة والأزواج المستقلة، على التوالي. وتقع شدة $\Delta_{ij}(H)$ للأزواج المستقلة (بالأخضر)، المحسوبة من البيانات المرصودة، ضمن الخطأ الإحصائي للبيانات المخلوطة. ثم نحل التآثرات الفعالة في تحليل MEP كامل الرتبة $P_{n}$ لهذه الشبكة الحلقية. وكما هو مبين في الشكل 2c، تقع شدات التآثرات الفعالة للأزواج المستقلة ( $J_{24}$ و $J_{13})$ ) ضمن الخطأ الإحصائي لنتائج الخلط (بالأحمر). وبما أن كل تآثر فعال عال الرتبة ( $\geq3$ ) يتضمن زوجًا مستقلًا واحدًا على الأقل من العقد، فإن شدات جميع التآثرات الفعالة العالية الرتبة، كما هو متوقع، تقع ضمن الخطأ الإحصائي لنتائج الخلط، كما هو مبين في الشكل 2d.

أما المثال الثاني في الصف الثاني من الشكل 2، فتتشابه نتائجه في أن الأزواج التابعة والأزواج المستقلة يمكن تحديدها عبر الحقيقة المرصودة لدينا، وأن شدة أي تآثر فعال يتضمن الزوج المستقل من العقد (العقدة 1 والعقدة 3) تقع ضمن الخطأ الإحصائي للبيانات المخلوطة. في هذا المثال، يكون $J_{124}$ صغيرًا جدًا، أي ضمن الخطأ الإحصائي لنتائج الخلط. ومع ذلك، في تقديرنا المستند إلى استنتاجنا، لا نصنف $J_{124}$ ضمن صنف التآثرات الفعالة ذات الشدة الصفرية. ويشير هذا المثال إلى أننا نقدر حدًا أعلى لعدد التآثرات الفعالة غير الصفرية. وبالنسبة إلى شبكة من العقد الاستثارية كلها ذات بنية الاقتران نفسها كما في الشكل 1e، يكون $J_{124}$ أكبر من الصفر بدرجة معنوية (غير معروض). وبما أن شدة التآثرات الفعالة العالية الرتبة صغيرة، فإن التسجيل الطويل جدًا يقيدنا عند فحص $\Delta_{ij}(H)$ لشبكة كبيرة.

استنادًا إلى العلاقة بين بنية الاقتران والتآثرات الفعالة، يمكن أن يكون عدد التآثرات الفعالة غير الصفرية العالية الرتبة صغيرًا في شبكة متفرقة الاتصال مقارنة بـ $C_{n}^{k}$ ، وهو عدد جميع التآثرات الممكنة من الرتبة $k$ . فعلى سبيل المثال، نقدر عدد التآثرات الفعالة غير الصفرية لكل رتبة في شبكة ذات بنية اتصال Erdos-Renyi. نولد عشوائيًا $1000$ شبكة من $100$ عقدة ذات اتصال Erdos-Renyi. واحتمال الاتصال بين أي عقدتين هو $0.05$ . وكما هو مبين في الشكل 3، فإن عدد التآثرات الفعالة غير الصفرية من الرتبة $k$ ( $k>1$ ) أصغر بكثير من $C_{100}^{k}$ (وهو كبير جدًا بحيث لا يمكن عرضه). ويكاد عدد التآثرات الفعالة العالية الرتبة (من رتبة أعلى من $11$ ) يختفي (والرتب الأعلى من $20$ غير معروضة).

Figure 3: شبكة ذات اتصال Erdos-Renyi. نولد عشوائيًا $1000$ شبكة من $100$ عقدة ذات اتصال *Erdos-Renyi*. واحتمال الاتصال بين أي عقدتين هو $0.05$ . عدد التآثرات الفعالة غير الصفرية مقابل رتبة التآثر الفعال. ويعرض المتوسط والانحراف المعياري بالخط الأسود والمنطقة المظللة، على التوالي.

خلاصةً، لقد أقمنا علاقة بين التآثرات الفعالة في تحليل MEP وبنية الاقتران في الشبكات المقترنة بالنبضات، بغية فهم كيف يمكن لبنية اقتران متفرقة أن تؤدي إلى ترميز متفرق بواسطة التآثرات الفعالة. وتعرض هذه العلاقة كميًا كيف ترتبط البنية الديناميكية ارتباطًا وثيقًا ببنية الاقتران.

وعلى الرغم من أن التآثرات الفعالة العالية الرتبة تكون غالبًا أصغر بكثير من التآثرات منخفضة الرتبة xu2016dynamical ، فإنه لا يزال غير واضح لماذا لا تتراكم التآثرات الفعالة العالية الرتبة الصغيرة لتحدث أثرًا مهمًا في شبكة كبيرة shlens2009structure ; ganmor2011sparse . فعلى سبيل المثال، يستطيع توزيع MEP ذي التآثرات الفعالة المتفرقة من الرتبة المنخفضة، حيث تكون التآثرات الفعالة غير الصفرية متفرقة وتختفي عندما تكون الرتبة أعلى من الرتبة الثامنة، أن يلتقط جيدًا توزيع الحالات في $99$ خلية عقدية في شبكية السلمندر استجابةً لمقطع فيلم طبيعي أو بكسل طبيعي ganmor2011sparse . وفي هذه الدراسة، نبين أن كمية كبيرة من التآثرات الفعالة تختفي في بنية اقتران متفرقة؛ ومن ثم يفسر ذلك غياب تراكم التآثرات العالية الرتبة في شبكة كبيرة.

أخيرًا، نشير إلى أن بعض المسائل المهمة ما زالت تحتاج إلى إيضاح في المستقبل. أولًا، أهملنا الارتباطات في المدخلات الخارجية عند تقدير عدد التآثرات الفعالة غير الصفرية. ويمكن للمدخلات المترابطة أن تستحث تآثرات فعالة عالية الرتبة غير صفرية macke2011common . ولا يزال ينبغي بحث كيفية تأثير إحصاءات المدخلات في تفرق التآثرات الفعالة. ثانيًا، إن الخوارزميات الحالية لتقدير التآثرات الفعالة غير الصفرية (غير المحصورة بالرتبة الثانية) في شبكة كبيرة (مثل $\sim100$ عقدة) بطيئة جدًا، ومنها مثلًا الطرائق القائمة على Monte Carlo shlens2009structure ; nasser2013spatio . ويستكشف عملنا الجاري خوارزمية سريعة تستغل تفرق التآثرات الفعالة. وقد رأينا مؤشرًا على أن الخوارزمية يمكن أن تعمل جيدًا لشبكة I&F ذات بنية اقتران متفرقة؛ غير أن ذلك العمل لم يُتحقق منه بعد تحققًا كاملًا ليكون حاسمًا.

Acknowledgements.

يشكر المؤلفون David W. McLaughlin على المناقشات المفيدة. وقد دُعم هذا العمل من NSFC-11671259، وNSFC-11722107، وNSFC-91630208 ومن Shanghai Rising-Star Program-15QA1402600 (D.Z.)؛ ومن NSF DMS-1009575 وNSFC-31571071 (D.C.)؛ ومن Shanghai 14JC1403800، و15JC1400104، و SJTU-UM Collaborative Research Program (D.C. وD.Z.)؛ ومن NYU Abu Dhabi Institute G1301 (Z.X.، D.Z.، وD.C.).

References

(1) S.-I. Amari, Information geometry on hierarchy of probability distributions, Information Theory, IEEE Transactions on, 47 (2001), pp. 1701–1711.
(2) A. K. Barreiro, J. Gjorgjieva, F. Rieke, and E. Shea-Brown, When do microcircuits produce beyond-pairwise correlations?, Frontiers in computational neuroscience, 8 (2014).
(3) E. Bullmore and O. Sporns, Complex brain networks: graph theoretical analysis of structural and functional systems, Nature Reviews Neuroscience, 10 (2009), pp. 186–198.
(4) T. Bury, Statistical pairwise interaction model of stock market, The European Physical Journal B, 86 (2013), p. 89.
(5) D. Cai, A. V. Rangan, and D. W. McLaughlin, Architectural and synaptic mechanisms underlying coherent spontaneous activity in v1, Proceedings of the National Academy of Sciences of the United States of America, 102 (2005), pp. 5868–5873.
(6) Y. Dan, J.-M. Alonso, W. M. Usrey, and R. C. Reid, Coding of visual information by precisely correlated spikes in the lateral geniculate nucleus, Nature neuroscience, 1 (1998), pp. 501–507.
(7) E. Ganmor, R. Segev, and E. Schneidman, The architecture of functional interaction networks in the retina, The journal of neuroscience, 31 (2011), pp. 3044–3054.
(8) E. Ganmor, R. Segev, and E. Schneidman, Sparse low-order interaction network underlies a highly correlated and learnable neural population code, Proceedings of the National Academy of Sciences, 108 (2011), pp. 9679–9684.
(9) W. Gerstner and W. M. Kistler, Spiking neuron models: Single neurons, populations, plasticity, Cambridge university press, 2002.
(10) M. P. Karlsson and L. M. Frank, Awake replay of remote experiences in the hippocampus, Nature neuroscience, 12 (2009), p. 913.
(11) D. C. Knill and A. Pouget, The bayesian brain: the role of uncertainty in neural coding and computation, TRENDS in Neurosciences, 27 (2004), pp. 712–719.
(12) J. H. Macke, M. Opper, and M. Bethge, Common input explains higher-order correlations and entropy in a simple model of neural population activity, Physical Review Letters, 106 (2011), p. 208102.
(13) O. Marre, S. El Boustani, Y. Frégnac, and A. Destexhe, Prediction of spatiotemporal patterns of neural activity from pairwise correlations, Physical review letters, 102 (2009), p. 138101.
(14) E. A. Martin, J. Hlinka, and J. Davidsen, Pairwise network information and nonlinear correlations, Physical Review E, 94 (2016), p. 040301.
(15) R. E. Mirollo and S. H. Strogatz, Synchronization of pulse-coupled biological oscillators, SIAM Journal on Applied Mathematics, 50 (1990), pp. 1645–1662.
(16) H. Nasser, O. Marre, and B. Cessac, Spatio-temporal spike train analysis for large scale networks using the maximum entropy principle and monte carlo method, Journal of Statistical Mechanics: Theory and Experiment, 2013 (2013), p. P03006.
(17) M. E. Newman, The structure and function of complex networks, SIAM review, 45 (2003), pp. 167–256.
(18) I. E. Ohiorhenuan, F. Mechler, K. P. Purpura, A. M. Schmid, Q. Hu, and J. D. Victor, Sparse coding and high-order correlations in fine-scale cortical networks, Nature, 466 (2010), pp. 617–621.
(19) E. Schneidman, M. J. Berry, R. Segev, and W. Bialek, Weak pairwise correlations imply strongly correlated network states in a neural population, Nature, 440 (2006), pp. 1007–1012.
(20) Y. Shemesh, Y. Sztainberg, O. Forkosh, T. Shlapobersky, A. Chen, and E. Schneidman, High-order social interactions in groups of mice, Elife, 2 (2013), p. e00759.
(21) J. Shlens, G. D. Field, J. L. Gauthier, M. Greschner, A. Sher, A. M. Litke, and E. Chichilnisky, The structure of large-scale synchronized firing in primate retina, The Journal of Neuroscience, 29 (2009), pp. 5022–5031.
(22) J. Shlens, G. D. Field, J. L. Gauthier, M. I. Grivich, D. Petrusca, A. Sher, A. M. Litke, and E. Chichilnisky, The structure of multi-neuron firing patterns in primate retina, The Journal of neuroscience, 26 (2006), pp. 8254–8266.
(23) J. Stricker, S. Cookson, M. R. Bennett, W. H. Mather, L. S. Tsimring, and J. Hasty, A fast, robust and tunable synthetic gene oscillator, Nature, 456 (2008), pp. 516–519.
(24) A. Tang, D. Jackson, J. Hobbs, W. Chen, J. L. Smith, H. Patel, A. Prieto, D. Petrusca, M. I. Grivich, A. Sher, et al., A maximum entropy model applied to spatial and temporal correlations from cortical networks in vitro, The Journal of Neuroscience, 28 (2008), pp. 505–518.
(25) W. E. Vinje and J. L. Gallant, Sparse coding and decorrelation in primary visual cortex during natural vision, Science, 287 (2000), pp. 1273–1276.
(26) Z. Wang, Y. Ma, F. Cheng, and L. Yang, Review of pulse-coupled neural networks, Image and Vision Computing, 28 (2010), pp. 5–13.
(27) T. Watanabe, S. Hirose, H. Wada, Y. Imai, T. Machida, I. Shirouzu, S. Konishi, Y. Miyashita, and N. Masuda, A pairwise maximum entropy model accurately describes resting-state human brain networks, Nature communications, 4 (2013), p. 1370.
(28) Z.-Q. J. Xu, G. Bi, D. Zhou, and D. Cai, A dynamical state underlying the second order maximum entropy principle in neuronal networks, Communications in Mathematical Sciences, 15 (2017), pp. 665–692.
(29) D. Zhou, Y. Xiao, Y. Zhang, Z. Xu, and D. Cai, Causal and structural connectivity of pulse-coupled nonlinear networks, Physical review letters, 111 (2013), p. 054102.