^†^†thanks: zdz@sjtu.edu.cn

تحليل مبدأ الإنتروبيا العظمى في أنظمة شبكية ذات تسجيلات قصيرة الزمن

Zhi-Qin John Xu¹ Jennifer Crodelle² Douglas Zhou³ David Cai^1,2,3,4 ¹NYUAD Institute, New York University Abu Dhabi, Abu Dhabi, United Arab Emirates,
²Courant Institute of Mathematical Sciences, New York University, New York, New York, USA.
³School of Mathematical Sciences, MOE-LSC and Institute of Natural Sciences,Shanghai Jiao Tong University, Shanghai, P.R. China,
⁴Center for Neural Science, New York University, New York, New York, USA.

(May 13, 2026)

الملخص

في كثير من الأنظمة الواقعية، يوفر تحليل مبدأ الإنتروبيا العظمى (MEP) توصيفا فعالا للتوزيع الاحتمالي لحالات الشبكة. غير أن تنفيذ تحليل MEP يتطلب عادة، بوجه عام، تسجيلا طويلا بما يكفي للبيانات، مثل تسجيلات لساعات من إطلاق العصبونات في الشبكات العصبونية. ولم تعالج بالكامل بعد مسألة ما إذا كان تحليل MEP قابلا للتطبيق بنجاح على أنظمة شبكية ذات بيانات مأخوذة من تسجيلات قصيرة. في هذا العمل، ندرس العلاقات الكامنة بين التوزيعات الاحتمالية والعزوم والتآثرات الفعالة في تحليل MEP، ثم نبين أنه، مع تسجيلات قصيرة لديناميات الشبكة، يمكن تطبيق تحليل MEP لإعادة بناء التوزيعات الاحتمالية لحالات الشبكة بشرط أن يكون نشاط العقد في الشبكة غير متزامن. وباستخدام قطارات الشوكات المستخرجة من شبكات عصبونية من نمط Hodgkin-Huxley ومن تجارب فيزيولوجية كهربائية، نتحقق من نتائجنا ونبرهن أن تحليل MEP يوفر أداة لدراسة خصائص ترميز الجمهرة العصبونية حتى في التسجيلات القصيرة.

PACS numbers: 89.70.Cf, 87.19.lo, 87.19.ls, 87.19.ll

pacs:

تظهر رموز PACS الصالحة هنا

المقدمة

استعملت نماذج الحالات الثنائية لوصف نشاط العقد في كثير من الأنظمة الشبكية، مثل الشبكات العصبونية في علم الأعصاب schneidman2006weak ; shlens2006structure ; xu2016dynamical . إن فهم توزيع ديناميات الحالات الثنائية في الشبكة مهم في كشف وظيفة الشبكة الكامنة، ولا سيما في علم الأعصاب، حيث تشير النتائج النظرية والتجريبية معا إلى أن جماعات العصبونات تنجز الحسابات احتماليا من خلال أنماط إطلاقها knill2004bayesian ; karlsson2009awake . فعلى سبيل المثال، ثبت أن التوزيعات الإحصائية لأنماط إطلاق الشبكات العصبونية تنفذ إعادات تشغيل في اليقظة لخبرات بعيدة في حصين الجرذ karlsson2009awake . لذلك فإن دراسة خصائص توزيعات أنماط الإطلاق العصبوني ستساعد على فهم كيفية ترميز الشبكات العصبونية للمعلومات morcos2016history . غير أن هذه مهمة صعبة، إذ إن عدد كل الحالات الشبكية الممكنة ينمو أسيا مع ازدياد حجم الشبكة، أي $2^{n}$ لشبكة تضم $n$ عقدا ثنائية الحالة. وتمثل هذه الأبعاد العالية تحديا أمام القياس المباشر لتوزيع حالات الشبكة في التجارب الفيزيولوجية الكهربائية، ولا سيما في حالة قياسات داخل الجسم الحي على حيوانات يقظة، ومن ثم تنشأ الصعوبة في فهم مخططات الترميز في الشبكات العصبونية.

يعد تحليل مبدأ الإنتروبيا العظمى (MEP) طريقة إحصائية تستعمل لاستنتاج التوزيع الاحتمالي الأقل تحيزا لحالات الشبكة بتعظيم إنتروبيا Shannon مع قيود معطاة، أي العزوم حتى رتبة معينة jaynes1957information . ويسمى التوزيع الاحتمالي المستنتج توزيع MEP. فعلى سبيل المثال، في ظل قيود العزوم منخفضة الرتبة، يعطي توزيع MEP تقديرا دقيقا للتوزيع الإحصائي لحالات الشبكة في مجالات علمية كثيرة، مثل علم الأعصاب schneidman2006weak ; shlens2006structure ; tang2008maximum ; xu2016dynamical ، والأحياء sakakibara2009protein ; sulkowska2012genomics ; mantsyzov2014maximum ، وعلم التصوير saremi2013hierarchical ، والاقتصاد golan1996maximum ; squartini2013early ، واللسانيات stephens2010statistical ، والأنثروبولوجيا hernando2013workings ، وعلوم الغلاف الجوي والمحيطات khatiwala2009reconstruction .

ومع ذلك تبقى مسألة عملية ومهمة غير واضحة، وهي مدى جودة أداء تحليل MEP عندما يكون زمن تسجيل ديناميات عقد الشبكة قصيرا. ويرجع ذلك إلى أن تسجيلا طويلا جدا يكون غالبا مطلوبا لإجراء تحليل MEP، مثل ساعات لشبكة من $10$ عصبونا schneidman2006weak . وهذه التسجيلات الطويلة تكون عادة غير عملية بسبب الكلفة أو حدود القدرة. فمثلا، تجعل القيود الفيزيولوجية مثل إجهاد العصبونات تسجيل حالة الشبكات العصبونية لمدة طويلة أمرا بالغ الصعوبة، ولا سيما في تسجيلات داخل الجسم الحي على حيوانات يقظة. وفي الوقت نفسه، فإن البيانات المستحصلة من التسجيلات القصيرة تلتقط كثيرا من حالات النشاط بصورة ضعيفة، مما يؤدي إلى أوصاف غير صحيحة للتوزيع الاحتمالي لحالات الشبكة. وقد تؤدي القياسات غير الكافية الناجمة عن التسجيلات القصيرة إلى سوء فهم بنية ترميز المعلومات المضمنة في حالات نشاط الشبكة ohiorhenuan2010sparse . لذلك من المهم تقدير توزيع احتمالي دقيق لحالات الشبكة من تسجيلات قصيرة تكون فيها أنشطة شبكية كثيرة ممثلة تمثيلا ناقضا.

في هذا العمل، نبرهن أن تحليل MEP يمكن أن يعطي تقديرا دقيقا للتوزيع الاحتمالي لحالات الشبكة من تسجيل بيانات قصير الزمن إذا كان نشاط العقد في الشبكة غير متزامن (شبكة غير متزامنة). ولتحقيق ذلك، نبين أولا وجود تطبيق واحد لواحد (يرمز إليه بالمصفوفة كاملة الرتبة ${\bf U}_{{\rm PM}}^{(n)}$ لشبكة حجمها $n$ ) بين التوزيع الاحتمالي لحالات الشبكة (الممثل بمتجه حجمه $2^{n}$ ، $\mathbf{P}^{(n)}$ ) وجميع العزوم المقابلة (الممثلة بمتجه حجمه $2^{n}$ ، $\mathbf{M}^{(n)}$ ). وبما أن توزيع MEP كامل الرتبة (وهو التوزيع المستحصل في تحليل MEP مع قيود جميع العزوم $\mathbf{M}^{(n)}$ ) والتوزيع الاحتمالي $\mathbf{P}^{(n)}$ متماثلان (فلهما جميع العزوم نفسها $\mathbf{M}^{(n)}$ )، فإننا نشتق تطبيقا آخر واحدا لواحد (يرمز إليه بالمصفوفة كاملة الرتبة ${\bf L}_{{\rm JP}}^{(n)}$ لشبكة حجمها $n$ ) بين جميع التآثرات الفعالة (مضاعفات Lagrange المقابلة لقيود جميع العزوم في تعبير توزيع MEP كامل الرتبة) والتوزيع الاحتمالي $\mathbf{P}^{(n)}$ . وتبين هذه التطبيقات أن جميع العزوم وجميع التآثرات الفعالة يمكن أن تمثل على نحو مكافئ توزيعا احتماليا لحالات الشبكة في شبكة عامة من أي حجم.

بعد ذلك نستعمل التمثيلات المكافئة أعلاه لنبين أنه في شبكة غير متزامنة يعطي تحليل MEP منخفض الرتبة تقديرا دقيقا للتوزيع الاحتمالي لحالات الشبكة انطلاقا من تسجيل قصير الزمن. ففي الشبكة غير المتزامنة، يكون احتمال أن تكون عقد كثيرة فعالة في نافذة زمنية واحدة لأخذ العينات (ويشار إلى ذلك باسم الحالات عالية النشاط) صغيرا جدا. ومن خلال التطبيق من التآثرات الفعالة إلى التوزيع الاحتمالي، ${\bf L}_{{\rm JP}}^{(n)}$ ، نلاحظ أن احتمال حالة عالية النشاط يمكن أن يكتب على شكل مجموع للتآثرات الفعالة المقابلة لقيود عزوم تلك العقد الفعالة. وفي الشبكة غير المتزامنة تكون التآثرات الفعالة عالية الرتبة (أي مضاعفات Lagrange المقابلة لقيود العزوم عالية الرتبة) صغيرة عادة shlens2006structure ; schneidman2006weak ; tang2008maximum ; cavagna2014dynamical ; watanabe2013pairwise بالمقارنة مع التآثرات الفعالة منخفضة الرتبة (أي مضاعفات Lagrange المقابلة لقيود العزوم منخفضة الرتبة). ومن ثم يمكن تقدير احتمالات الحالات عالية النشاط تقديرا جيدا بواسطة التآثرات الفعالة منخفضة الرتبة المهيمنة. ويبين تحليل MEP أن التآثرات الفعالة منخفضة الرتبة يمكن تقديرها من العزوم منخفضة الرتبة عبر خوارزمية تحجيم تكرارية واسعة الاستعمال (انظر الملحق A للتفاصيل). ولذلك فقد يكون ممكنا قياس العزوم منخفضة الرتبة بدقة باستخدام تسجيل قصير (كما يناقش أدناه)، وقد تستعمل لإجراء تحليل MEP للحصول على تقدير جيد للتوزيع الاحتمالي لحالات الشبكة.

وللحصول على تقدير دقيق للعزوم منخفضة الرتبة، نستعمل خصائص التطبيق بين التوزيع الاحتمالي لحالات الشبكة والعزوم المقابلة للشبكة، ${\bf U}_{{\rm PM}}^{(n)}$ . يبين هذا التطبيق أن العزوم منخفضة الرتبة يمكن أن تكتب على شكل مجموع لكل احتمالات الحالات التي تكون فيها تلك العقد المقابلة لقيود العزوم فعالة؛ فمثلا عزم الرتبة الأولى للعقدة $i$ هو مجموع كل احتمالات حالات الشبكة التي تكون فيها العقدة $i$ فعالة. ويشمل هذا المجموع كلا من احتمالات الحالات عالية النشاط واحتمالات الحالات منخفضة النشاط التي تكون فيها عقد قليلة فعالة في نافذة زمنية واحدة لأخذ العينات. وبما أن احتمال رصد حالة عالية النشاط صغير في شبكة غير متزامنة، فإن احتمالات الحالات منخفضة النشاط تهيمن على المجموع. وينتج من ذلك تقدير جيد للعزوم منخفضة الرتبة، لأن احتمالات الحالات منخفضة النشاط يمكن أن تظل مقيسة جيدا في تسجيل قصير، كما يمكن أن تنخفض ضوضاء تقدير العزوم منخفضة الرتبة أكثر بفعل جمع احتمالات الحالات منخفضة النشاط saulis2012limit .

ومع أن الإجراء الموصوف في هذا العمل يمكن تطبيقه على أي شبكة غير متزامنة ذات ديناميات ثنائية، فإننا نستعمل هنا قطارات الشوكات المستحصلة من محاكاة ديناميات الشبكات العصبونية من نمط Hodgkin-Huxley (HH) ومن تجارب فيزيولوجية كهربائية، لنبرهن أنه يمكن إجراء تحليل MEP لتقدير التوزيع الاحتمالي لحالات الشبكة بدقة من تسجيلات قصيرة الزمن. وفي حالة بيانات المحاكاة من شبكات HH العصبونية، نطور شبكة HH العصبونية لمدة تشغيل قصيرة قدرها $120\,\mathrm{s}$ . ومع قيود العزوم من الرتبتين الأولى والثانية للبيانات من هذا التسجيل القصير، نحصل على توزيع حالات الشبكة من تحليل MEP. وللتحقق من دقة توزيع MEP، نطور شبكة HH العصبونية لمدة تشغيل طويلة قدرها $1.2\times 10^{5}\,\mathrm{s}$ ونقيس مباشرة التوزيع الاحتمالي لحالات الشبكة للمقارنة. أما في حالة البيانات التجريبية من القياسات الفيزيولوجية الكهربائية، فنستعمل بيانات مسجلة من القشرة البصرية الأولية (V1) في قرود macaque مخدرة (انظر الملحق E للتفاصيل)، حيث نستعمل بيانات $3824\,\mathrm{s}$ كبيانات تسجيل طويل للحصول على التوزيع الاحتمالي لحالات الشبكة، ونجري تحليل MEP من الرتبة الثانية على بيانات التسجيل القصير البالغة $191.2\,\mathrm{s}$ ( $5\%$ من التسجيل الكلي). وتبين نتائجنا أنه في كل من بيانات المحاكاة العددية وبيانات التجارب الفيزيولوجية الكهربائية، يتفق هذان التوزيعان، أي توزيع MEP من الرتبة الثانية والتوزيع المقيس في بيانات التسجيل الطويل، اتفاقا جيدا جدا، في حين ينحرف التوزيع الاحتمالي المقيس من التسجيل القصير عنهما بوضوح ولا يلتقط كثيرا من حالات النشاط العصبوني.

الطرائق: تحليل MEP

في هذا القسم، سنعرض تحليل MEP، الذي طبق لتقدير التوزيع الاحتمالي لحالات الشبكة في كثير من الأنظمة الشبكية schneidman2006weak ; shlens2006structure ; tang2008maximum ; bury2012statistical ; cavagna2014dynamical . وتكون عملية إجراء تحليل MEP كما يأتي. لتكن $\sigma\in\{0,1\}$ دالة على حالة عقدة في حاوية زمنية لأخذ العينات، حيث تشير 1 إلى حالة فعالة وتشير 0 إلى حالة غير فعالة. وعندئذ يرمز إلى حالة شبكة من $n$ عقد في حاوية زمنية لأخذ العينات بالرمز $\Omega=(\sigma_{1},\sigma_{2},\cdots,\sigma_{n})\in\{0,1\}^{n}$ . ومن حيث المبدأ، للحصول على التوزيع الاحتمالي لـ $\Omega$ ، يجب قياس كل الحالات الممكنة لـ $\Omega$ ، أي $2^{n}$ حالة في المجموع. وفي حالة شبكة تضم $n$ عصبونا، تمثل $\sigma$ غالبا ما إذا كان عصبون مفرد يطلق في حاوية زمنية لأخذ العينات داخل الشبكة، حيث تقابل $1$ عصبونا في حالة إطلاق وتقابل $0$ عصبونا في حالة صمت. ونختار حجما نموذجيا للحاوية قدره $10\,\mathrm{ms}$ لتحليل MEP shlens2006structure ; tang2008maximum . وتمثل الحالة $\Omega$ في الشبكة العصبونية نمط إطلاق جميع العصبونات في الشبكة.

يعطى عزم الرتبة الأولى لحالة العقدة $i$ ، $\sigma_{i}$ ، بالعلاقة

\left\langle\sigma_{i}\right\rangle=\sum_{\Omega}P(\Omega)\sigma_{i}(\text{$% \Omega)$},

(1)

حيث إن $P(\Omega)$ هو احتمال رصد نمط الإطلاق $\Omega$ في التسجيل، ويمثل $\sigma_{i}(\text{$\Omega)$}$ حالة العقدة ذات الرتبة $i$ في نمط الإطلاق $\Omega$ . ويعطى عزم الرتبة الثانية لحالة العقدة $i$ ، $\sigma_{i}$ ، والعقدة $j$ ، $\sigma_{j}$ ، بالعلاقة

\left\langle\sigma_{i}\sigma_{j}\right\rangle=\sum_{\Omega}P(\Omega)\sigma_{i}% (\text{$\Omega)$}\sigma_{j}(\text{$\Omega)$, }

(2)

وتستحصل العزوم الأعلى رتبة بصورة مماثلة. لاحظ أنه في المعادلتين (1، 2)، يمكن أن يكون $P(\Omega)$ هو التوزيع الاحتمالي الحقيقي لـ $\Omega$ ، وفي هذه الحالة يحسب المرء العزوم الحقيقية؛ أو يمكن أن يكون $P(\Omega)$ توزيعا مرصودا لتسجيل محدود الزمن، وفي هذه الحالة يقدر المرء العزوم.

تعرف إنتروبيا Shannon لتوزيع احتمالي $P_{{\rm any}}(\Omega)$ كما يأتي

$\begin{equation} S=-\sum_{\Omega}P_{{\rm any}}(\Omega)\log P_{{\rm any}}(\Omega).\label{eq:Entropy} \end{equation}$

(3)

وبتعظيم هذه الإنتروبيا، $S$ ، مع الخضوع لجميع العزوم حتى الرتبة $m$ ( $m\leq n$ )، يحصل المرء على توزيع MEP من الرتبة $m$ لشبكة تضم $n$ عقدا schneidman2006weak ; shlens2006structure ; tang2008maximum . لاحظ أن عزوم الرتبة $k$ تتكون من جميع توقعات حاصل ضرب حالات أي $k$ عقد (مثلا، عزوم الرتبة الثانية وفق المعادلة (2) أعلاه لأي زوج من $i$ و $j$ مع $i\neq j$ )، ومن ثم عند اعتبار قيد عزوم الرتبة $k$ يوجد عدد قدره $C_{n}^{k}$ (عدد توليفات $k$ عقد من $n$ اختيارا ممكنا) من قيود عزوم الرتبة $k$ قيد الاعتبار. وأخيرا يستحصل التوزيع الاحتمالي من الرتبة $m$ من المعادلة الآتية،

$\begin{equation} P_{m}(\Omega)=\frac{1}{Z}\exp\left(\sum_{k=1}^{m}\sum_{i_{1}<\cdots<i_{k}}^{n}J_{i_{1}\cdots i_{k}}\sigma_{i_{1}}\cdots\sigma_{i_{k}}\right),\label{eq:PV} \end{equation}$

(4)

حيث يسمى $J_{i_{1}\cdots i_{k}}$ ، تبعا لمصطلحات الفيزياء الإحصائية، التآثر الفعال من الرتبة $k$ ( $2\leq k\leq m$ )، أي مضاعف Lagrange المقابل لقيد عزم الرتبة $k$ $\left\langle \sigma_{i_{1}}\cdots\sigma_{i_{k}}\right\rangle$ ، وتكون دالة التقسيم، $Z$ ، عامل تطبيع. ويشار إلى المعادلة (4) باسم توزيع MEP من الرتبة $m$ . وعمليا يمكن استعمال خوارزمية تحجيم تكرارية (انظر الملحق A للتفاصيل) لحل مسألة أمثلة MEP أعلاه عدديا والحصول على التآثرات الفعالة، ومن ثم على التوزيع الاحتمالي في المعادلة (4). وهنا، لشبكة حجمها $n$ ، يشار إلى $P_{n}(\Omega)$ باسم توزيع MEP كامل الرتبة الخاضع لعزوم جميع الرتب.

النتائج

تنظم النتائج على النحو الآتي. نبدأ بإظهار أن هناك مجالا واسعا من النظم الدينامية تكون فيه ديناميات الشبكة العصبونية غير متزامنة. ثم نبين أن التوزيع الاحتمالي لحالات الشبكة المقيس من تسجيل قصير الزمن (بيانات مسجلة من ديناميات شبكة HH بزمن محاكاة قصير) لا يستطيع التقاط كثير من حالات نشاط الشبكة، ومن ثم يختلف عن التوزيع الاحتمالي لحالات الشبكة المقيس من تسجيل طويل الزمن. لاحظ أننا تحققنا من أن ديناميات شبكة HH في زمن محاكاة طويل قدره $1.2\times 10^{5}\,\mathrm{s}$ تصل إلى الحالة المستقرة؛ لذلك يمكن للتوزيع الاحتمالي لحالات الشبكة المقيس من هذا التسجيل الطويل أن يمثل جيدا التوزيع الاحتمالي الحقيقي لحالات الشبكة.

ونبين بعد ذلك وجود تطبيق واحد لواحد بين التوزيع الاحتمالي لحالات الشبكة والعزوم المقابلة للشبكة. ثم ندمج هذا التطبيق مع توزيع MEP كامل الرتبة لنبين وجود تطبيق واحد لواحد بين جميع التآثرات الفعالة والتوزيع الاحتمالي لحالات الشبكة. وباستخدام هذه التطبيقات، نبرهن كذلك أن التآثرات الفعالة عالية الرتبة صغيرة في الشبكات غير المتزامنة؛ ومن ثم، ولأجل تقدير التوزيع الاحتمالي لحالات الشبكة بدقة، قد لا يحتاج المرء إلا إلى تقدير دقيق للتآثرات الفعالة منخفضة الرتبة. وأخيرا نستعمل العزوم منخفضة الرتبة المقيسة في تسجيلات قصيرة الزمن لتقدير التآثرات الفعالة منخفضة الرتبة، ونبين أن التوزيع الاحتمالي المستحصل من تحليل MEP منخفض الرتبة يتفق جيدا مع التوزيع الاحتمالي لحالات الشبكة. ويبرهن ذلك عبر كل من المحاكاة العددية لديناميات شبكات HH العصبونية غير المتزامنة والتجارب الفيزيولوجية الكهربائية أيضا.

التسجيلات قصيرة الزمن لا تستطيع تمثيل جميع حالات الشبكة

في هذا القسم، نستعمل أولا بيانات محاكاة عددية من ديناميات شبكة HH العصبونية ونبين أن التسجيلات قصيرة الزمن لا تكفي غالبا لتقدير التوزيع الاحتمالي لحالات الشبكة بدقة. وسنبرهن لاحقا هذه المسألة أيضا باستخدام بيانات تجريبية من قياسات فيزيولوجية كهربائية.

نحاكي شبكة من $80$ عصبونا استثارة و $20$ عصبونا تثبيطيا من نمط HH، بكثافة اتصال قدرها $20\%$ بين العصبونات في الشبكة. وبما أن التجارب الفيزيولوجية لا تستطيع غالبا إلا قياس مجموعة جزئية من العصبونات، نختار عشوائيا $10\%$ من عصبونات الشبكة ( $10$ عصبونا) ونبرهن الفروق في التوزيع الاحتمالي المقيس مباشرة بين التسجيل القصير والتسجيل الطويل. لاحظ أن هناك عادة ثلاثة نظم دينامية للشبكات العصبونية zhou2014granger : (i) نظام شديد التقلب عندما يكون معدل الدخل، $\mu$ ، منخفضا (الشكل 1a)؛ (ii) نظام متوسط عندما يكون $\mu$ عاليا باعتدال (الشكل 1b)؛ (iii) نظام منخفض التقلب أو مدفوع بالمتوسط عندما يكون $\mu$ عاليا جدا (الشكل 1c). نطور ديناميات شبكة HH العصبونية ونسجل قطارات الشوكات لجميع العصبونات لمدة $1.2\times 10^{5}\,\mathrm{s}$ ، وهي مدة طويلة بما يكفي للحصول على توزيع احتمالي مستقر لأنماط الإطلاق العصبوني. ثم نقارن التوزيع الاحتمالي لحالات الشبكة المقيس مباشرة في التسجيل القصير البالغ $120\,\mathrm{s}$ بذلك المقيس في التسجيل الطويل. وكما هو مبين في الشكل 2، ينحرف التوزيع الاحتمالي المقيس لأنماط الإطلاق في التسجيل القصير انحرافا كبيرا عن نظيره في التسجيل الطويل، وذلك في النظم الدينامية الثلاثة كلها.

إن التوزيع الاحتمالي لحالات الشبكة مهم لفهم كامل للوظيفة الكامنة للشبكات knill2004bayesian ; karlsson2009awake رغم أن تسجيل بيانات طويل الزمن بما يكفي يكون غالبا مستحيلا أو غير عملي. لذلك من الضروري الحصول على تقدير دقيق للتوزيع الاحتمالي لحالات الشبكة من تسجيل قصير الزمن. ولتحقيق ذلك، ندرس فيما يلي العلاقات بين التوزيع الاحتمالي والعزوم والتآثرات الفعالة في توزيع MEP، ونبين أنه في الشبكات غير المتزامنة يعطي تحليل MEP من الرتبة الثانية تقديرا دقيقا للتوزيع الاحتمالي لحالات الشبكة.

تطبيق واحد لواحد بين التوزيع الاحتمالي والعزوم

لإيضاح العلاقة بين التوزيع الاحتمالي الحقيقي لحالات الشبكة، $P_{{\rm true}}(\Omega)$ ، والعزوم المقابلة، نعرض عدة ترميزات تسهيلا للنقاش. أولا، نرمز إلى المتجه $\mathbf{P}^{(n)}=(p_{1}^{(n)},p_{2}^{(n)},\cdots,p_{2^{n}}^{(n)})^{T}$ بوصفه المتجه الذي يحتوي التوزيع الاحتمالي لحالات الشبكة لشبكة ذات $n$ عقد، ونرمز إلى المتجه $\mathbf{M}^{(n)}=(m_{1}^{(n)},m_{2}^{(n)},\cdots,m_{2^{n}}^{(n)})^{T}$ بوصفه المتجه الذي يحتوي جميع عزوم الشبكة. ونرتب المدخلات في $\mathbf{P}^{(n)}$ و $\mathbf{M}^{(n)}$ كما يأتي. لشبكة مثالية حجمها $n=2$ ، نسند قيما إلى المدخلة ذات الرتبة $i$ بالتعبير عن $i-1$ باستخدام نظام العد ذي الأساس 2 بعدد كلي من الخانات قدره $n=2$ ، أي $E_{i}=e_{2}e_{1}$ ، حيث تمثل $E_{i}$ الحالة المركبة للعقدتين في الشبكة، $e_{1}$ و $e_{2}$ (مثلا تقابل 00 كون العقدتين كلتيهما غير فعالتين)، كما هو مبين في العمود الثاني من الجدول 1. ثم، لكل $i$ ، نرمز إلى احتمال حالة الشبكة ( $\sigma_{1}=e_{1},\sigma_{2}=e_{2})$ بالرمز $p_{i}^{(2)}$ ، كما هو مبين في العمود الثالث من الجدول 1. في علم الأعصاب، يمثل المتجه $P_{00}$ احتمال وجود العصبونين كليهما في حالة سكون، ويمثل $P_{10}$ ( $P_{01}$ ) احتمال كون العصبون الأول (الثاني) في الحالة الفعالة والعصبون الثاني (الأول) في حالة صمت، ويمثل $P_{11}$ احتمال كون العصبونين كليهما في الحالة الفعالة. وترتب المدخلات في المتجه $\mathbf{M}^{(2)}$ بصورة مماثلة، أي إن $m_{i}^{(2)}$ هو توقع $(\sigma_{1})^{e_{1}}(\sigma_{2})^{e_{2}}$ ، كما هو مبين في العمود الرابع من الجدول 1.

Table 1: جدول المدخلات لبناء المتجهين $\mathbf{P}^{(n)}$ و $\mathbf{M}^{(n)}$ لشبكة مثالية مكونة من $n=2$ عقد.

Table 1: جدول المدخلات لبناء المتجهين $\mathbf{P}^{(n)}$ و $\mathbf{M}^{(n)}$ لشبكة مثالية مكونة من $n=2$ عقد.

i	$E_{i}=e_{2}e_{1}$	$p_{i}^{(2)}$	$m_{i}^{(2)}$
1	00	$P_{00}$	1
2	01	$P_{10}$	$\left\langle\sigma_{1}\right\rangle$
3	10	$P_{01}$	$\left\langle\sigma_{2}\right\rangle$
4	11	$P_{11}$	$\left\langle\sigma_{1}\sigma_{2}\right\rangle$

للتوضيح، نبين أنه لشبكة تضم $n=2$ عقد توجد مصفوفة كاملة الرتبة، $\mathbf{U}_{{\rm PM}}^{(2)}$ ، تحول من التوزيع الاحتمالي إلى العزوم. فمن المعادلتين (1) و(2)، يمكن الحصول على توقعات $\sigma_{1}$ و $\sigma_{2}$ و $\sigma_{1}\sigma_{2}$ بجمع الاحتمالات التي تكون فيها تلك العقد فعالة، مما يؤدي إلى النظام الآتي

\left[\begin{array}[]{cccc}1&1&1&1\\ 0&1&0&1\\ 0&0&1&1\\ 0&0&0&1\end{array}\right]\left[\begin{array}[]{c}P_{00}\\ P_{10}\\ P_{01}\\ P_{11}\end{array}\right]=\left[\begin{array}[]{c}1\\ \left\langle\sigma_{1}\right\rangle\\ \left\langle\sigma_{2}\right\rangle\\ \left\langle\sigma_{1}\sigma_{2}\right\rangle\end{array}\right],

(5)

أي $\mathbf{U}_{{\rm PM}}^{(2)}\mathbf{P}^{(2)}=\mathbf{M}^{(2)}$ . ومن الواضح من المعادلة (5) أن $\mathbf{U}_{{\rm PM}}^{(2)}$ مصفوفة مثلثية علوية وكاملة الرتبة.

يمكن توسيع التحليل أعلاه إلى شبكة بأي حجم $n$ . فلكل عدد صحيح $i$ ، $1\leq i\leq2^{n}$ ، يمكننا بالمثل التعبير عن $i-1$ بنظام العد ذي الأساس 2 بعدد خانات قدره $n$ ، ويرمز إليه بـ $E_{i}=e_{n}e_{n-1}\cdots e_{2}e_{1}$ . ثم نكتب احتمال حالة الشبكة ( $\sigma_{1}=e_{1},\sigma_{2}=e_{2},\cdots,\sigma_{n}=e_{n})$ ، ويرمز إليه بـ $p_{i}^{(n)}$ ، والعزم، أي توقع $(\sigma_{1})^{e_{1}}(\sigma_{2})^{e_{2}}\cdots(\sigma_{n-1})^{e_{n-1}}(\sigma_{n})^{e_{n}}$ ، ويرمز إليه بـ $m_{i}^{(n)}$ ، كما يأتي

\mathbf{P}^{(n)}=\left[\begin{array}[]{c}P_{00\cdots 0}\\ P_{10\cdots 0}\\ P_{01\cdots 0}\\ P_{11\cdots 0}\\ \vdots\\ P_{01\cdots 1}\\ P_{11\cdots 1}\end{array}\right],\quad\mathbf{M}^{(n)}=\left[\begin{array}[]{c% }1\\ \left\langle\sigma_{1}\right\rangle\\ \left\langle\sigma_{2}\right\rangle\\ \left\langle\sigma_{1}\sigma_{2}\right\rangle\\ \vdots\\ \left\langle\prod_{j=2}^{n}\sigma_{j}\right\rangle\\ \left\langle\sigma_{1}\prod_{j=2}^{n}\sigma_{j}\right\rangle\end{array}\right].

(6)

نبرهن أن هناك مصفوفة كاملة الرتبة، ${\bf U}_{{\rm PM}}^{(n)}$ ، تحول من $\mathbf{P}^{(n)}$ إلى $\mathbf{M}^{(n)}$ كما يأتي

$\begin{equation} {\bf U}_{{\rm PM}}^{(n)}\mathbf{P}^{(n)}=\mathbf{M}^{(n)},\label{eq:AQR} \end{equation}$

(7)

حيث تكون ${\bf U}_{{\rm PM}}^{(n)}$ مثلثية علوية وكاملة الرتبة (انظر الملحق C للتفاصيل).

لذلك يمكن استعمال جميع العزوم، المبينة في مدخلات $\mathbf{M}^{(n)}$ ، لوصف التوزيع الاحتمالي لحالات الشبكة لشبكة تضم $n$ عقدا ذات ديناميات ثنائية. وبما أن توزيع MEP كامل الرتبة، $P_{n}(\Omega)$ ، يخضع لجميع العزوم، فإن $P_{n}(\Omega)$ و $P_{{\rm true}}(\Omega)$ يشتركان في العزوم نفسها لتسجيل طويل الزمن بما يكفي، أي $\mathbf{M}^{(n)}$ في المعادلة (7). وبما أن ${\bf U}_{{\rm PM}}^{(n)}$ كاملة الرتبة، فإن $P_{n}(\Omega)$ مطابقة لـ $P_{{\rm true}}(\Omega)$ .

وبالتعويض المباشر عن $P_{{\rm true}}(\Omega)$ في تحليل MEP كامل الرتبة، نطور علاقة بين التآثرات الفعالة والتوزيع الاحتمالي، كما يناقش في القسم التالي.

تطبيق واحد لواحد بين التآثرات الفعالة والتوزيع الاحتمالي

لإيضاح العلاقة بين التآثرات الفعالة والتوزيع الاحتمالي الحقيقي لحالات الشبكة، نعوض جميع الحالات البالغ عددها $2^{n}$ لـ $\Omega=(\sigma_{1},\sigma_{2},\cdots,\sigma_{n})$ والتوزيع الاحتمالي، $P_{{\rm true}}(\Omega)$ ، في المعادلة (4) مع $m=n$ ، ثم نأخذ لوغاريتم طرفيها. وينتج من ذلك نظام معادلات خطية بدلالة $-\log Z$ وجميع التآثرات الفعالة،

$\begin{equation} -\log Z+\sum_{k=1}^{n}\sum_{i_{1}<\cdots<i_{k}}^{n}J_{i_{1}\cdots i_{k}}\sigma_{i_{1}}\cdots\sigma_{i_{k}}=\log P_{{\rm true}}(\Omega),\label{eq:SolveJ3} \end{equation}$

(8)

حيث يمكن اعتبار $-\log Z$ تآثرا فعالا من الرتبة الصفرية، $J_{0}$ . وبحل نظام المعادلات الخطية في المعادلة (8)، يمكننا الحصول على جميع التآثرات الفعالة البالغ عددها $2^{n}$ ، أي قيم $J$ ، بدلالة التوزيع الاحتمالي الحقيقي لحالات الشبكة، $P_{{\rm true}}(\Omega)$ .

نعود مرة أخرى إلى حالة الشبكة الصغيرة ذات $n=2$ عقد لتوضيح كيفية الحصول على تطبيق واحد لواحد من النظام الخطي الموصوف بالمعادلة (8). أولا، نرمز إلى المتجه $\mathbf{J}^{(2)}$ بوصفه المتجه الذي يحتوي جميع التآثرات الفعالة، مع فهرس كل تآثر فعال، $i$ . ثم نعبر عن $i-1$ بنظام العد ذي الأساس 2 بعدد كلي من الخانات قدره $n=2$ ، ويرمز إليه بـ $E_{i}=e_{2}e_{1}$ ، وتكون المدخلة ذات الرتبة $i$ من $\mathbf{J}^{(2)}$ هي معامل الحد $(\sigma_{1})^{e_{1}}(\sigma_{2})^{e_{2}}$ في المعادلة (8)، مما يعطي $\mathbf{J}^{(2)}=(J_{0},\,J_{1},\,J_{2},\,J_{12})^{T}$ . وبما أن ترتيب الفهارس لـ $\mathbf{J}^{(2)}$ هو نفسه ترتيبها لـ $\mathbf{P}^{(2)}$ ، فإن الطرف الأيمن من المعادلة (8) هو ببساطة لوغاريتم المتجه $\mathbf{P}^{(2)}$ . لذلك، لشبكة ذات $n=2$ عقد، تكون لدينا المعادلة الآتية

\left[\begin{array}[]{cccc}1&0&0&0\\ 1&1&0&0\\ 1&0&1&0\\ 1&1&1&1\end{array}\right]\left[\begin{array}[]{c}J_{0}\\ J_{1}\\ J_{2}\\ J_{12}\end{array}\right]=\left[\begin{array}[]{c}\log P_{00}\\ \log P_{10}\\ \log P_{01}\\ \log P_{11}\end{array}\right].

(9)

يمكن توسيع العلاقة أعلاه إلى شبكة بأي حجم $n$ وتكون المعادلات الخطية المقابلة كما يأتي

$\begin{equation} {\bf L}_{{\rm JP}}^{(n)}\mathbf{J}^{(n)}=\log\mathbf{P}^{(n)},\label{eq:BJQ} \end{equation}$

(10)

حيث تكون ${\bf L}_{{\rm JP}}^{(n)}$ مصفوفة مثلثية سفلية ذات بعد $2^{n}\times2^{n}$ . ومن أجل $1\leq i\leq2^{n}$ ، يمكننا بالمثل التعبير عن $i-1$ بنظام العد ذي الأساس 2 بعدد خانات قدره $n$ ، ويرمز إليه بـ $E_{i}=e_{n}e_{n-1}\cdots e_{2}e_{1}$ . ثم تكون المدخلة ذات الرتبة $i$ من $\mathbf{J}^{(n)}$ هي معامل الحد $(\sigma_{1})^{e_{1}}(\sigma_{2})^{e_{2}}\cdots(\sigma_{n-1})^{e_{n-1}}(\sigma_{n})^{e_{n}}$ في المعادلة (8). ولإظهار أن التحويل الخطي بين التآثرات الفعالة في توزيع MEP كامل الرتبة $\mathbf{J}^{(n)}$ والتوزيع الاحتمالي لحالات الشبكة $\mathbf{P}^{(n)}$ هو تطبيق واحد لواحد، يلزم إثبات أن ${\bf L}_{{\rm JP}}^{(n)}$ مصفوفة كاملة الرتبة. وبطريقة مماثلة لبرهان التطبيق الواحد لواحد بين التوزيع الاحتمالي والعزوم، نستطيع أن نبين أن ${\bf L}_{{\rm JP}}^{(n)}$ هي منقول ${\bf U}_{{\rm PM}}^{(n)}$ ، أي ${\bf L}_{{\rm JP}}^{(n)}=\left(\mathbf{U}_{{\rm PM}}^{(n)}\right)^{T}$ ، بالاستقراء الرياضي. لذلك فإن ${\bf L}_{{\rm JP}}^{(n)}$ مثلثية سفلية وكاملة الرتبة، ويمكن استعمال التآثرات الفعالة لتوصيف التوزيع الاحتمالي لحالات الشبكة في شبكة من عقد ذات ديناميات ثنائية.

التآثرات الفعالة عالية الرتبة صغيرة في الشبكات غير المتزامنة

باستخدام التطبيق بين التوزيع الاحتمالي والتآثرات الفعالة، نبين أن هناك علاقة عودية بين الرتب المختلفة للتآثرات الفعالة، حيث تكون التآثرات الفعالة عالية الرتبة ضعيفة مقارنة بمنخفضة الرتبة في الشبكات غير المتزامنة. وللتوضيح، نناقش أولا حالة شبكة حجمها $n=2$ . استنادا إلى المعادلة (9)، لدينا

$J_{0}=\log P_{00},\quad J_{1}=\log\frac{P_{10}}{P_{00}},\quad J_{2}=\log\frac{P_{01}}{P_{00}},$

$J_{12}=\log\frac{P_{11}}{P_{01}}-\log\frac{P_{10}}{P_{00}}.$

بعد ذلك نعرف حدا جديدا

$J_{1}^{1}\triangleq\log\frac{P_{11}}{P_{01}},$

يصف الحالة التي تتغير فيها حالة العقدة الثانية في الشبكة من غير فعالة (الحالة $0$ ) إلى فعالة (الحالة $1$ ) (أي إن $J_{1}$ في $P_{10}\rightarrow P_{11}$ و $P_{00}\rightarrow P_{01}$ ). لاحظ أنه مع هذا الترميز نستطيع الآن التعبير عن التآثر الفعال الأعلى رتبة، $J_{12}$ ، كما يأتي

$J_{12}=J_{1}^{1}-J_{1}.$

لشبكة بأي حجم $n$ ، واستنادا إلى المعادلة (10)، نحصل على تعبير للتآثر الفعال من الرتبة الأولى

$\begin{equation} J_{1}=\log\frac{P_{10\cdots0}}{P_{00\cdots0}}\label{eq:hP} \end{equation}$

(11)

وللتآثر الفعال من الرتبة الثانية

$\begin{equation} J_{12}=\log\frac{P_{110\cdots0}}{P_{010\cdots0}}-\log\frac{P_{10\cdots0}}{P_{00\cdots0}}.\label{eq:J12Theo} \end{equation}$

(12)

ثم يمكن الحصول على التآثر الفعال من الرتبة الثانية، $J_{12}$ ، بصورة مكافئة بالإجراء الآتي: أولا، في $J_{1}=\log(P_{10\cdots0}/P_{00\cdots0}),$ نبدل حالة العقدة الثانية من 0 إلى 1 للحصول على حد جديد $J_{1}^{1}=\log(P_{110\cdots0}/P_{010\cdots0})$ . ثم لاحظ أننا إذا طرحنا $J_{1}$ من $J_{1}^{1}$ نصل إلى $J_{12}$ كما هو موصوف في المعادلة (12). ويمكن توسيع الترميز أعلاه إلى حالة التآثرات الفعالة عالية الرتبة (انظر الملحق D للبرهان):

$\begin{equation} J_{12\cdots(k+1)}=J_{12\cdots k}^{1}-J_{12\cdots k},\label{eq:Jobtain} \end{equation}$

(13)

حيث يحصل على $1\leq k\leq n-1$ و $J_{12\cdots k}^{1}$ بتبديل حالة العقدة ذات الرتبة $(k+1)$ في $J_{12\cdots k}$ من 0 إلى 1. بعد ذلك نشرح حدسيا أن البنية العودية (المعادلة (13)) تؤدي إلى تراتب في التآثرات الفعالة، أي إن التآثرات الفعالة عالية الرتبة أصغر بكثير من منخفضة الرتبة في الشبكات غير المتزامنة. يصف $J_{12\cdots k}$ التآثر الفعال للشبكة الفرعية من العصبونات $\{1,2,3,...,k\}$ عندما تكون حالة العصبون ذي الرتبة $(k+1)$ وحالات العصبونات ذات الفهارس $\{k+2,k+3,...,n\}$ غير فعالة. أما الحد $J_{12\cdots k}^{1}$ فيصف الحالة التي يصبح فيها العصبون ذو الرتبة $(k+1)$ فعالا ولا تتغير حالات جميع العصبونات الأخرى. وفي الشبكة غير المتزامنة تكون التآثرات القشرية بين العصبونات ضعيفة نسبيا، ولذلك ينبغي أن يكون أثر تغير ديناميات الشبكة من الحالة التي يكون فيها العصبون ذو الرتبة $(k+1)$ صامتا إلى الحالة التي يكون فيها العصبون ذو الرتبة $(k+1)$ فعالا صغيرا. وبعبارة أخرى، ينبغي أن يكون فرق القيمة بين التآثر الفعال للشبكة الفرعية عندما يكون العصبون ذو الرتبة $(k+1)$ غير فعال، $J_{12\cdots k}$ ، والتآثر الفعال عندما يكون العصبون ذو الرتبة $(k+1)$ فعالا، $J_{12\cdots k}^{1}$ ، صغيرا، ومن ثم يكون التآثر الفعال الأعلى رتبة، $J_{12\cdots(k+1)}$ ، أصغر بكثير من التآثر الفعال منخفض الرتبة، $J_{12\cdots k}$ . لاحظ أن برهانا رياضيا أدق لتراتب التآثرات الفعالة في شبكة غير متزامنة يمكن الاطلاع عليه في عملنا السابق xu2016dynamical . لذلك تؤدي العلاقة العودية في المعادلة (13) إلى تراتب للتآثرات الفعالة، أي إن التآثرات الفعالة منخفضة الرتبة تهيمن على التآثرات الفعالة الأعلى رتبة في تحليل MEP.

بعد ذلك ندرس ديناميات شبكة HH العصبونية للتأكد من أن التآثرات الفعالة لأول رتبتين في توزيع MEP كامل الرتبة تهيمن على التآثرات الفعالة الأعلى رتبة. نطور شبكات HH في محاكاة طويلة الزمن قدرها $1.2\times 10^{5}\,\mathrm{s}$ ونقيس التوزيع الاحتمالي لحالات الشبكة. وقد تحققنا من أن ديناميات شبكة HH في زمن محاكاة طويل كهذا تصل إلى الحالة المستقرة، لذلك يمكن للتوزيع الاحتمالي المقيس لحالات الشبكة أن يمثل جيدا التوزيع الاحتمالي الحقيقي لحالات الشبكة. ثم نحسب التآثرات الفعالة في توزيع MEP كامل الرتبة بواسطة المعادلة (10) من التوزيع الاحتمالي المقيس لحالات الشبكة. في الشكل 3، تحسب القوة المتوسطة للتآثرات الفعالة من الرتبة $k$ كمتوسط القيمة المطلقة للتآثرات الفعالة من الرتبة $k$ . ويمكن أن يرى بوضوح أنه في النظم الدينامية الثلاثة المختلفة، تكون القوة المتوسطة للتآثرات الفعالة ذات الرتب العالية ( $\geq3$ ) أصغر بمرتبة مقدار واحدة على الأقل (بالقيمة المطلقة) من قوة التآثرات الفعالة من الرتبتين الأولى والثانية.

تحليل MEP منخفض الرتبة مع التسجيلات قصيرة الزمن

باستخدام التطبيقات الموصوفة في الأقسام السابقة، نبين أن تحليل MEP منخفض الرتبة يمكن أن يوفر تقديرا دقيقا للتوزيع الاحتمالي لحالات الشبكة مع تسجيل قصير الزمن.

أولا، لاحظ أنه في تسجيل قصير لشبكة غير متزامنة، يكون احتمال رصد حالة عالية النشاط (أي حالة تكون فيها عقد كثيرة فعالة في الوقت نفسه) صغيرا عادة إلى درجة لا تسمح بقياسه بدقة. لذلك لا يستطيع التوزيع الاحتمالي لحالات الشبكة المقيس من التسجيل قصير الزمن التقاط كثير من حالات نشاط الشبكة كما ترصد في التسجيلات طويلة الزمن (مثلا كما هو مبين في الشكل 2). لاحظ أن التطبيق بين التوزيع الاحتمالي والتآثرات الفعالة، أي المصفوفة المثلثية السفلية ${\bf L}_{{\rm JP}}^{(n)}$ ، يشير إلى أن احتمال حالة عالية النشاط يتكون من مجموع عدد كبير من التآثرات الفعالة. فعلى سبيل المثال، في شبكة صغيرة تضم $n=2$ عقد، يمكن الحصول على احتمال الحالة عالية النشاط، $P(\sigma_{1}=1,\sigma_{2}=1)$ ، من المعادلة (9) كما يأتي: $\log P_{11}=J_{0}+J_{1}+J_{2}+J_{12}$ . لذلك، للحصول على تقدير دقيق لهذه الحالات عالية النشاط، من المهم الحصول على تقدير دقيق لمجموع التآثرات الفعالة.

وبالنسبة إلى الشبكات غير المتزامنة، بما أن التآثرات الفعالة عالية الرتبة صغيرة (مثلا كما هو مبين في الشكل 3)، فإن المجموع في احتمال حالة عالية النشاط سيكون محكوما بالتآثرات الفعالة منخفضة الرتبة. لاحظ أن التآثرات الفعالة منخفضة الرتبة يمكن اشتقاقها من العزوم منخفضة الرتبة من خلال خوارزمية تحجيم تكرارية (انظر الملحق A للتفاصيل) في تحليل MEP، ومن ثم فإن تقديرا دقيقا للعزوم منخفضة الرتبة أمر أساسي. ويبين التطبيق بين التوزيع الاحتمالي لحالات الشبكة والعزوم المقابلة للشبكة، أي المصفوفة المثلثية العلوية ${\bf U}_{{\rm PM}}^{(n)}$ (المعادلة (5))، أن العزوم منخفضة الرتبة تتكون من مجموع احتمالات عدد كبير من حالات نشاط الشبكة. فمثلا، في شبكة من $n$ عقد، يكون عزم الرتبة الأولى للعقدة 1 هو مجموع احتمالات حالات الشبكة التي تكون فيها العقدة 1 فعالة (بعدد إجمالي قدره $2^{n-1}$ من الحالات، من الحالات منخفضة النشاط إلى الحالات عالية النشاط)، أي $\left\langle \sigma_{1}\right\rangle =P_{10\cdots0}+P_{11\cdots0}+\cdots+P_{11\cdots1}$ . لاحظ أن الحالات منخفضة النشاط تحدث كثيرا في شبكة غير متزامنة؛ لذلك تهيمن احتمالات هذه الحالات منخفضة النشاط على المجموع في العزوم منخفضة الرتبة، ويمكن قياسها بدقة من تسجيل قصير الزمن، مما يؤدي إلى تقدير جيد للعزوم منخفضة الرتبة. إضافة إلى ذلك، نشير إلى أن خطأ التقدير في العزوم منخفضة الرتبة يمكن أن ينخفض أكثر بفعل المجاميع الخطية. لذلك يمكن تقدير العزوم منخفضة الرتبة بدقة وإجراء تحليل MEP منخفض الرتبة في تسجيل بيانات قصير الزمن لديناميات الشبكة. ومن المتوقع أن يوفر توزيع MEP منخفض الرتبة تقديرا جيدا للتوزيع الاحتمالي لحالات الشبكة.

وباختصار، يمكن الحصول على توزيع MEP منخفض الرتبة بالإجراء الآتي: أولا، حساب العزوم منخفضة الرتبة من التسجيل التجريبي قصير الزمن باستخدام المعادلتين (1) و(2) لعزمي الرتبتين الأولى والثانية، على الترتيب. ثانيا، يجرى تحليل MEP منخفض الرتبة (مع قيود العزوم منخفضة الرتبة) باستخدام خوارزمية التحجيم التكرارية (انظر الملحق A للتفاصيل) لاشتقاق التآثرات الفعالة منخفضة الرتبة مع جعل جميع التآثرات الفعالة الأعلى رتبة مساوية للصفر. وهذا يحدد $\mathbf{J}^{(n)}$ في المعادلة (10)، باستثناء $J_{0}$ . ثالثا، يعبر عن التوزيع الاحتمالي، $\mathbf{P}^{(n)}$ ، كدالة في $J_{0}$ باستخدام المعادلة (10). وأخيرا، يحدد $J_{0}$ بفرض أن مجموع جميع الاحتمالات يساوي واحدا. وما إن تحدد كل التآثرات الفعالة منخفضة الرتبة، تستعمل المعادلة (4) لتحديد توزيع MEP منخفض الرتبة؛ فمثلا يمثل $P_{1}(\Omega)$ و $P_{2}(\Omega)$ توزيعي MEP من الرتبتين الأولى والثانية، على الترتيب.

التحقق من تحليل MEP مع التسجيلات قصيرة الزمن بواسطة نموذج شبكة HH العصبونية

في هذا القسم، نستعمل بيانات من نموذج شبكة HH العصبونية للتحقق من أن تحليل MEP منخفض الرتبة يمكن أن يقدر بدقة التوزيع الاحتمالي لحالات الشبكة من تسجيلات قصيرة الزمن باستخدام الإجراء الموصوف في القسم السابق.

نطور أولا نموذج شبكة HH العصبونية بزمن محاكاة قصير قدره $120\,\mathrm{s}$ ونسجل قطارات الشوكات للشبكة. ثم نقدر عزمي الرتبتين الأولى والثانية من هذا التسجيل القصير، ونستعمل هذين العزمين لتقدير توزيعي MEP من الرتبتين الأولى والثانية كليهما (المعادلة (4)). وأخيرا، نقارن توزيعات MEP بالتوزيع الاحتمالي لحالات الشبكة المقيس من التسجيل الطويل البالغ $1.2\times 10^{5}\,\mathrm{s}$ . وكما هو مبين في الشكل 4، ففي النظم الدينامية الثلاثة كلها ينحرف التوزيع الاحتمالي لتحليل MEP من الرتبة الأولى، $P_{1}$ (الأخضر)، انحرافا كبيرا عن التوزيع الاحتمالي المقيس لحالات الشبكة في التسجيل الطويل. أما التوزيع الاحتمالي لتحليل MEP من الرتبة الثانية، $P_{2}$ (الأزرق)، فيتفق اتفاقا ممتازا مع التوزيع الاحتمالي المقيس لحالات الشبكة في التسجيل الطويل. وتشير هذه النتائج إلى أن تحليل MEP منخفض الرتبة، أي من الرتبة الثانية، يوفر طريقة كفؤة للحصول على التوزيع الاحتمالي لحالات الشبكة من تسجيلات قصيرة.

التحقق من تحليل MEP مع التسجيلات قصيرة الزمن بواسطة التجارب الفيزيولوجية الكهربائية

عموما، يصعب الحصول على تسجيل طويل الزمن مستقر لقطارات الشوكات من دماغ حيوان يقظ داخل الجسم الحي. وللتحقق من صلاحية تحليل MEP على التسجيلات القصيرة، نستعمل البيانات التجريبية الفيزيولوجية الكهربائية المسجلة بمصفوفة متعددة الأقطاب من V1 في قرود macaque مخدرة عبر محاولات متعددة. في كل محاولة، عرض محفز صوري على الشاشة لمدة $100\,\mathrm{ms}$ ، وتلاه عرض شاشة رمادية منتظمة لمدة $200\,\mathrm{ms}$ coen2015flexible ; Kohn2015Multi . يبلغ عدد الصور المختلفة 956 إجمالا، وتعرض الصور بترتيب شبه عشوائي مع عرض كل صورة $20$ مرة. ويمكن العثور على التفاصيل التجريبية في الملحق E. هنا نركز على مسألة ما إذا كان تحليل MEP من الرتبة الثانية انطلاقا من تسجيل قصير يستطيع أن يقدر بدقة التوزيع الاحتمالي لأنماط الإطلاق العصبوني في تسجيل طويل. لاحظ أن مدة عرض كل صورة لا تتجاوز $2\,\mathrm{s}$ ، وهي مدة قصيرة جدا لا تسمح لقطارات الشوكات المسجلة بأن تمتلك توزيعا احتماليا مستقرا. وكبديل، نجمع قطارات الشوكات المسجلة أثناء الشاشة الرمادية المنتظمة ( $200\,\mathrm{ms}$ في كل محاولة) معا للحصول على تسجيل طويل قدره $3824\,\mathrm{s}$ . وقد تحققنا من أن قطارات الشوكات في مثل هذا التسجيل الطويل لها توزيع احتمالي مستقر. ومن أجل التسجيل القصير، نختار عشوائيا مقطعا طوله $5\%$ من التسجيل الطويل، أي $191.2\,\mathrm{s}$ ، وتحققنا أيضا من أن التوزيع الاحتمالي في هذا التسجيل القصير مختلف تماما عن نظيره في التسجيل الطويل. ولإجراء تحليل MEP، اخترنا عشوائيا بيانات قطار الشوكات لثمانية عصبونات من القياسات التجريبية.

كما هو مبين في الشكل 5a، تكون هذه العصبونات الثمانية في حالة غير متزامنة. ثم نحسب التآثرات الفعالة في توزيع MEP كامل الرتبة بواسطة المعادلة (10) باستخدام التوزيع الاحتمالي المقيس لحالات الشبكة من التسجيل الطويل البالغ $3824\,\mathrm{s}$ . في الشكل 5b، تحسب القوة المتوسطة للتآثرات الفعالة من الرتبة $k$ كمتوسط القيمة المطلقة للتآثرات الفعالة من الرتبة $k$ . ويمكن أن يرى بوضوح أن القوة المتوسطة للتآثرات الفعالة ذات الرتب العالية ( $\geq3$ ) أصغر بما يقارب مرتبة مقدار واحدة (بالقيمة المطلقة) من قوة التآثرات الفعالة من الرتبتين الأولى والثانية. بعد ذلك ننظر في تسجيل قصير قدره $191.2\,\mathrm{s}$ ونقدر عزمي الرتبتين الأولى والثانية من هذا التسجيل القصير، ونستعمل هذه العزوم لتقدير توزيعات MEP من الرتبة الثانية (المعادلة (4)). وكما هو مبين في الشكل 5c، فإن التوزيع الاحتمالي المقدر بتحليل MEP من الرتبة الثانية يتفق اتفاقا ممتازا مع التوزيع الاحتمالي المقيس لحالات الشبكة في التسجيل الطويل. غير أن التوزيع الاحتمالي المقيس في التسجيل القصير ينحرف بوضوح عن التوزيع الاحتمالي المقيس في التسجيل الطويل.

المناقشة

استعمل تحليل MEP من الرتبة الثانية لاستنتاج التوزيع الاحتمالي لحالات الشبكة في ظل شروط متنوعة، مثل النشاط التلقائي للشبكات العصبونية shlens2006structure ; tang2008maximum أو الدخل البصري schneidman2006weak . وبما أن توزيع MEP من الرتبة الثانية يمكن الحصول عليه بتعظيم إنتروبيا Shannon مع قيود مقيسة لا تشمل إلا عزوم الرتبتين الأولى والثانية، فإن لعنة الأبعاد تتجاوز ويوفر تقدير دقيق للتوزيع الاحتمالي لحالات الشبكة. وقد بدأت سلسلة من الأعمال لمعالجة جوانب متنوعة من هذا النهج، بما في ذلك استكشاف خوارزميات سريعة nasser2013spatio ; broderick2007faster ، واستنتاج الارتباطات المكانية الزمانية tang2008maximum ; shlens2008synchronized ; marre2009prediction ; yeh2010maximum ; nasser2014parameter ، وتوصيف الاتصال الوظيفي للشبكة yu2008small ; roudi2009ising ; hertz2011ising ; watanabe2013pairwise ; barton2013ising ; dunn2015correlations .

إضافة إلى الشبكات العصبونية الشوكية schneidman2006weak ، طبق تحليل MEP على تحليل أنواع مختلفة من البيانات الثنائية. وتشمل هذه التطبيقات، على سبيل المثال، بيانات التصوير بالرنين المغناطيسي الوظيفي watanabe2013pairwise ، حيث تعد كل منطقة دماغية إما فعالة أو صامتة، وبيانات سوق الأسهم bury2012statistical ، حيث يعد سعر كل سهم إما في ارتفاع أو غير ذلك. غير أن التسجيلات طويلة الزمن غالبا ما تكون غير عملية الحصول في كل هذه البيانات الثنائية.

في هذا العمل، نبدأ بإظهار وجود تحويلات خطية قابلة للعكس بين التوزيع الاحتمالي لحالات الشبكة والعزوم والتآثرات الفعالة في تحليل MEP لشبكة عامة من عقد ذات ديناميات ثنائية. واستنادا إلى هذه التحويلات، نبين أن تحليل MEP من الرتبة الثانية يعطي تقديرا دقيقا للتوزيع الاحتمالي لحالات الشبكة مع تسجيل قصير الزمن. وأخيرا، وباستخدام بيانات من نموذج شبكة HH العصبونية المحاكى ومن التجربة الفيزيولوجية الكهربائية معا، نبرهن الأداء الجيد لتحليل MEP من الرتبة الثانية مع التسجيلات القصيرة. لذلك يمكن أن تتحسن قابلية تطبيق تحليل MEP من الرتبة الثانية في الحالات العملية تحسنا ملحوظا.

وأخيرا نشير إلى أن هناك أيضا بعض القيود على تحليل MEP منخفض الرتبة. أولا، غالبا ما يكون تحليل MEP منخفض الرتبة غير كاف لإعادة بناء التوزيع الاحتمالي لحالات الشبكة بدقة في الشبكات المتزامنة، لأن التآثرات الفعالة عالية الرتبة في مثل هذه الحالات لا تكون صغيرة غالبا xu2016dynamical . ثانيا، كلما ازدادت رتبة قيود العزوم وحجم الشبكة، $n$ ، صارت الخوارزميات الموجودة لتقدير التآثرات الفعالة في شبكة كبيرة بطيئة جدا shlens2009structure ; nasser2013spatio . ونظرا إلى أن عدد جميع حالات الشبكة، أي $2^{n}$ ، يكون كبيرا جدا عندما يكون $n$ عددا كبيرا، فإن الخوارزميات الموجودة تقدر عزوم توزيع MEP باستخدام أخذ عينات Monte Carlo أو متحوراته من توزيع MEP، وهي غالبا بطيئة جدا عندما يكون بعد التوزيع عاليا shlens2009structure ; nasser2013spatio . لذلك تبقى كيفية توصيف الخصائص الإحصائية لديناميات الشبكات شديدة الترابط، مثل الشبكات شبه المتزامنة، بكفاءة، وكيفية تطوير خوارزميات عددية سريعة لتطبيق تحليل MEP في الشبكات واسعة النطاق، مسألتين مثيرتين للاهتمام ومليئتين بالتحدي للدراسات المستقبلية.

Acknowledgements.

دعم هذا العمل من قبل NSFC-11671259 وNSFC-11722107 وNSFC-91630208 وShanghai Rising-Star Program-15QA1402600 (D.Z.)؛ ومن قبل NSF DMS-1009575 وNSFC-31571071 (D.C.)؛ ومن قبل Shanghai 14JC1403800 و15JC1400104، و SJTU-UM Collaborative Research Program (D.C. وD.Z.)؛ ومن قبل NYU Abu Dhabi Institute G1301 (Z.X. وD.Z. وD.C.).

Appendix A خوارزمية التحجيم التكرارية

نصف بإيجاز الخوارزمية العددية واسعة الاستعمال لتقدير التآثرات الفعالة من العزوم. ويمكن العثور على تفاصيل أكثر حول هذه الخوارزمية في المرجع tang2008maximum . وللتوضيح، نعرض الإجراء للحصول على توزيع MEP من الرتبة الثانية، $P_{2}(\Omega)$ . تهيأ التآثرات كما يأتي: $J_{i}=\left\langle \sigma_{i}\right\rangle _{P(\Omega)}$ و $J_{ij}=\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P(\Omega)}$ ، حيث يدل $\left\langle \cdot\right\rangle _{P(\Omega)}$ على التوقع بالنسبة إلى التوزيع الاحتمالي المقيس لحالات الشبكة في تسجيل البيانات، $P(\Omega)$ . ويمكن تحديد القيم المتوقعة للمتوسطات الفردية $\left\langle \sigma_{i}\right\rangle _{P_{2}(\Omega)}$ والارتباطات الزوجية $\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P_{2}(\Omega)}$ بالنسبة إلى توزيع MEP من الرتبة الثانية $P_{2}(\Omega)$ بواسطة

$\left\langle \sigma_{i}\right\rangle _{P_{2}(\Omega)}\equiv\sum_{l=1}^{2^{n}}\sigma_{i}(\Omega_{l})P_{2}(\Omega_{l}),$

$\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P_{2}(\Omega)}\equiv\sum_{l=1}^{2^{n}}\sigma_{i}(\Omega_{l})\sigma_{j}(\Omega_{l})P_{2}(\Omega_{l}),$

حيث إن $\sigma_{i}(\Omega_{l})$ هي حالة العقدة ذات الرتبة $i$ في حالة الشبكة $\Omega_{l}$ . ولتحسين التوافق بين $\left\langle \sigma_{i}\right\rangle _{P_{2}(\Omega)}$ و $\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P_{2}(\Omega)}$ وبين $\left\langle \sigma_{i}\right\rangle _{P(\Omega)}$ و $\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P(\Omega)}$ ، تعدل قيم $J_{i}$ و $J_{ij}$ بإجراء تكراري:

$J_{i}^{new}=J_{i}^{old}+\alpha\mbox{sign}\left(\left\langle \sigma_{i}\right\rangle _{P(\Omega)}\right)\log\frac{\left\langle \sigma_{i}\right\rangle _{P(\Omega)}}{\left\langle \sigma_{i}\right\rangle _{P_{2}(\Omega)}},$

$J_{ij}^{new}=J_{ij}^{old}+\alpha\mbox{sign}\left(\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P(\Omega)}\right)\log\frac{\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P(\Omega)}}{\left\langle \sigma_{i}\sigma_{j}\right\rangle _{P_{2}(\Omega)}},$

حيث يستعمل الثابت $\alpha$ للحفاظ على استقرار التكرار. نستعمل $\alpha=0.75$ كما في المرجع tang2008maximum .

Appendix B نموذج عصبون Hodgkin-Huxley

يوصف نموذج HH كما يأتي. تخضع ديناميات جهد الغشاء للعصبون ذي الرتبة $i$ ، $V_{i}$ ، للعلاقة sun2009library ; sun2010pseudo

	$\displaystyle C\frac{\mathrm{d}V_{i}}{\mathrm{d}t}$	$\displaystyle=I_{{\rm Na}}+I_{{\rm K}}+I_{{\rm L}}+I_{i}^{\textrm{input}},$
	$\displaystyle I_{{\rm Na}}$	$\displaystyle=-(V_{i}-V_{\textrm{Na}})G_{\textrm{Na}}{\rm h}_{i}{\rm m}_{i}^{3},$
	$\displaystyle I_{{\rm K}}$	$\displaystyle=-(V_{i}-V_{\textrm{K}})G_{\textrm{K}}{\rm n}_{i}^{4},$
	$\displaystyle I_{{\rm L}}$	$\displaystyle=-(V_{i}-V_{\textrm{L}})G_{\textrm{L}},$

مع

$\begin{equation} \frac{\mathrm{d}X_{i}}{\mathrm{d}t}=(1-X_{i})\alpha_{X}(V_{i})-X_{i}\beta_{X}(V_{i}),\label{eq:HHdX} \end{equation}$

(14)

حيث متغير البوابة $X={\rm m},{\rm n},{\rm h}$ و

${\displaystyle\alpha_{n}(V_{i})=\frac{0.1-0.01V_{i}}{\exp(1-0.1V_{i})-1}}$ ,	${\displaystyle\beta_{n}(V_{i})=\frac{5}{40}\exp(-V_{i}/80)}$ ,
${\displaystyle\alpha_{m}(V_{i})=\frac{2.5-0.1V_{i}}{\exp(2.5-0.1V_{i})-1}}$ ,	${\displaystyle\beta_{m}(V_{i})=4\exp\left(-V_{i}/18\right)}$ ,
${\displaystyle\alpha_{h}(V_{i})=0.07\exp(-V_{i}/20)}$ ,	${\displaystyle\beta_{h}(V_{i})=\frac{1}{\exp(3-0.1V_{i})+1}}$ .

يمثل التيار $I_{i}^{\textrm{input}}$ المداخل إلى العصبون ذي الرتبة $i$ الآتية من الدفع الخارجي للشبكة، وكذلك التآثرات بين العصبونات في الشبكة، $I_{i}^{\textrm{input}}=I_{i}^{\textrm{E}}+I_{i}^{\textrm{I}}$ مع $I_{i}^{\textrm{E}}=-(V_{i}-V_{G}^{\textrm{E}})G_{i}^{\textrm{E}}$ و $I_{i}^{\textrm{I}}=-(V_{i}-V_{G}^{\textrm{I}})G_{i}^{\textrm{I}}$ ، حيث إن $I_{i}^{\textrm{E}}$ و $I_{i}^{\textrm{I}}$ هما تيارا الدخل الاستثاري والتثبيطي، على الترتيب، و $V_{G}^{\textrm{E}}$ و $V_{G}^{\textrm{I}}$ هما جهدا الانعكاس المقابلان لهما. وتوصف ديناميات الناقلية، $G_{i}^{Q}$ ، من أجل $Q=\textrm{E},\textrm{I}$ كما يأتي،

	$\displaystyle\frac{\mathrm{d}G_{i}^{Q}}{\mathrm{d}t}$	$\displaystyle=-\frac{G_{i}^{Q}}{\sigma_{G}^{Q}}+H_{i}^{Q},$
	$\displaystyle\frac{\mathrm{d}H_{i}^{Q}}{\mathrm{d}t}$	$\displaystyle=-\frac{H_{i}^{Q}}{\sigma_{H}^{Q}}+\sum_{k}F_{i}^{Q}\delta(t-T_{i% ,k}^{F})+\sum_{j\neq i}C_{ij}g(V_{j}^{\textrm{pre}}),$

مع $g(V_{j}^{\textrm{pre}})=1/\left(1+\exp(-(V_{j}^{\textrm{pre}}-85)/2)\right),$ حيث إن $F_{i}^{Q}$ هو شدة دخل Poisson الخارجي ذي المعدل $\mu_{i}$ إلى العصبون $i$ مع كون $T_{i,k}^{F}$ زمن حدث الدخل ذي الرتبة $k$ . نستعمل $F_{i}^{\textrm{E}}=f$ و $F_{i}^{\textrm{I}}=0$ و $\mu_{i}=\mu$ لكل العصبونات في محاكاتنا. يصف المعامل $C_{ij}$ قوة الاقتران من العصبون قبل المشبكي ذي الرتبة $j$ إلى العصبون ذي الرتبة $i$ ، و $V_{j}^{\textrm{pre}}$ هو جهد غشاء العصبون قبل المشبكي ذي الرتبة $j$ . وتصف مصفوفة المجاورة، $\mathbf{W}=(w_{ij})$ ، بنية اتصال الشبكة العصبونية، و $C_{ij}=w_{ij}C^{Q_{i}Q{}_{j}}$ ، حيث تختار $Q_{i}$ و $Q_{j}$ على شكل $E$ أو $I$ ، بما يشير إلى نوع العصبون ذي الرتبة $i$ والعصبون ذي الرتبة $j$ (وتكون $C^{Q_{i}Q{}_{j}}$ واحدا من $C^{\textrm{EE}}$ و $C^{\textrm{EI}}$ و $C^{\textrm{IE}}$ و $C^{\textrm{II}}$ ). وتأخذ القيمة $w_{ij}=1$ إذا وجد اقتران موجه من العصبون قبل المشبكي ذي الرتبة $j$ إلى العصبون بعد المشبكي ذي الرتبة $i$ ، وتأخذ $w_{ij}=0$ في غير ذلك.

في هذه الدراسة، اختيرت قيم المعاملات في معادلات الناقلية أعلاه كما يأتي: $V_{\textrm{Na}}=115\,\mathrm{mV}$ ، $V_{\textrm{K}}=-12\,\mathrm{mV}$ ، $V_{\textrm{L}}=10.6\,\mathrm{mV}$ (يضبط جهد الراحة للعصبون على $0\,\mathrm{mV}$ )، $G_{\textrm{Na}}=120\,\mathrm{mS\cdot cm^{-2}}$ ، $G_{\textrm{K}}=36\,\mathrm{mS\cdot cm^{-2}}$ ، $G_{\textrm{L}}=0.3\,\mathrm{mS\cdot cm^{-2}}$ ، وسعة الغشاء $C=1\,\mathrm{\mu F\cdot cm^{-2}}$ ، $V_{G}^{\textrm{E}}=65\,\mathrm{mV}$ ، $V_{G}^{\textrm{I}}=-15\,\mathrm{mV}$ ، $\sigma_{G}^{E}=0.5\,\mathrm{ms}$ ، $\sigma_{H}^{E}=3.0\,\mathrm{ms}$ ، $\sigma_{G}^{I}=0.5\,\mathrm{ms}$ ، و $\sigma_{H}^{I}=7.0\,\mathrm{ms}$ . ونبقي معاملات دخل Poisson ثابتة أثناء كل محاكاة مفردة.

في محاكاتنا العددية، استعملت طريقة Runge-Kutta صريحة من الرتبة الرابعة sun2009library ; sun2010pseudo بخطوة زمنية $\sim 0.03\,\mathrm{ms}$ . واستحصلت بيانات قطار الشوكات بمعدل أخذ عينات عال بما يكفي، مثل $2\,\mathrm{kHz}$ .

Appendix C برهان التطبيق الواحد لواحد بين التوزيع الاحتمالي والعزوم

نبرهن وجود مصفوفة كاملة الرتبة ${\bf U}_{{\rm PM}}^{(n)}$ تحول من $\mathbf{P}^{(n)}$ إلى $\mathbf{M}^{(n)}$ ، أي

$\begin{equation} {\bf U}_{{\rm PM}}^{(n)}\mathbf{P}^{(n)}=\mathbf{M}^{(n)},\label{eq:AQR-1} \end{equation}$

(15)

لشبكة بأي حجم $n$ . وللتوضيح بشبكة من $n=2$ عقد، يمكن الحصول على توقع $\sigma_{1}$ و $\sigma_{2}$ و $\sigma_{1}\sigma_{2}$ بواسطة

\left[\begin{array}[]{cccc}1&1&1&1\\ 0&1&0&1\\ 0&0&1&1\\ 0&0&0&1\end{array}\right]\left[\begin{array}[]{c}P_{00}\\ P_{10}\\ P_{01}\\ P_{11}\end{array}\right]=\left[\begin{array}[]{c}1\\ \left\langle\sigma_{1}\right\rangle\\ \left\langle\sigma_{2}\right\rangle\\ \left\langle\sigma_{1}\sigma_{2}\right\rangle\end{array}\right],

(16)

أي $\mathbf{U}_{{\rm PM}}^{(2)}\mathbf{P}^{(2)}=\mathbf{M}^{(2)}$ . ومن الواضح من المعادلة (16) أن $\mathbf{U}_{{\rm PM}}^{(2)}$ كاملة الرتبة. نبرهن الآن النتيجة أعلاه لأي $n$ بالاستقراء الرياضي. افترض أن $\mathbf{U}_{{\rm PM}}^{(k)}$ كاملة الرتبة. عندئذ يمكن تحليل $\mathbf{P}^{(k+1)}$ و $\mathbf{M}^{(k+1)}$ إلى جزأين متساويي الطول $2^{k}$ ، كما يمكن تحليل $\mathbf{U}_{{\rm PM}}^{(k+1)}$ إلى أربع مصفوفات فرعية يكون بعد كل مصفوفة فرعية منها $2^{k}\times2^{k}$ كما يأتي:

\left[\begin{array}[]{cc}\mathbf{U}_{11}^{(k+1)}&\mathbf{U}_{12}^{(k+1)}\\ \mathbf{U}_{21}^{(k+1)}&\mathbf{U}_{22}^{(k+1)}\end{array}\right]\left[\begin{% array}[]{c}\mathbf{P}_{1}^{(k+1)}\\ \mathbf{P}_{2}^{(k+1)}\end{array}\right]=\left[\begin{array}[]{c}\mathbf{M}_{1% }^{(k+1)}\\ \mathbf{M}_{2}^{(k+1)}\end{array}\right],

حيث

\mathbf{P}_{1}^{(k+1)}=\left[\begin{array}[]{c}P_{000\cdots 000}\\ P_{100\cdots 000}\\ P_{010\cdots 000}\\ P_{110\cdots 000}\\ \vdots\\ P_{111\cdots 110}\end{array}\right],\quad\quad\mathbf{P}_{2}^{(k+1)}=\left[% \begin{array}[]{c}P_{000\cdots 001}\\ P_{100\cdots 001}\\ P_{010\cdots 001}\\ P_{110\cdots 001}\\ \vdots\\ P_{111\cdots 111}\end{array}\right].

إن تعبير $\mathbf{M}_{1}^{(k+1)}$ هو نفسه تعبير $\mathbf{M}^{(k)}$ في المعادلة (6)، أي $\mathbf{M}_{1}^{(k+1)}=\mathbf{M}^{(k)}$ ، ويمكن التعبير عن $\mathbf{M}_{2}^{(k+1)}$ كما يأتي،

\mathbf{M}_{2}^{(k+1)}=\left[\begin{array}[]{c}\left\langle 1\cdot\sigma_{k+1}% \right\rangle\\ \left\langle\sigma_{1}\sigma_{k+1}\right\rangle\\ \left\langle\sigma_{2}\sigma_{k+1}\right\rangle\\ \left\langle\sigma_{1}\sigma_{2}\sigma_{k+1}\right\rangle\\ \vdots\\ \left\langle\sigma_{2}\prod_{j=3}^{k}\sigma_{j}\sigma_{k+1}\right\rangle\\ \left\langle\sigma_{1}\sigma_{2}\prod_{j=3}^{k}\sigma_{j}\sigma_{k+1}\right% \rangle\end{array}\right].

في تمثيل نظام العد ذي الأساس 2 بعدد خانات قدره $k+1$ ، تكون الخانة الأولى في تمثيل $i-1$ ، التي تشير إلى حالة العقدة $k+1$ ، مساوية لـ $0$ من أجل $1\leq i\leq2^{k}$ ومساوية لـ $1$ من أجل $2^{k}+1\leq i\leq2^{k+1}.$ . ولأي $i$ مع $1\leq i\leq2^{k}$ ، افترض أن $p_{i}^{(k)}$ هو احتمال الحالة $(\sigma_{1},\sigma_{2},\cdots,\sigma_{k})$ ، أي $P_{\sigma_{1}\sigma_{2}\cdots,\sigma_{k}}$ ، عندئذ تكون المدخلتان ذواتا الرتبتين $i$ في $\mathbf{P}_{1}^{(k+1)}$ و $\mathbf{P}_{2}^{(k+1)}$ هما $P_{\sigma_{1}\sigma_{2}\cdots,\sigma_{k},0}$ و $P_{\sigma_{1}\sigma_{2}\cdots,\sigma_{k},1}$ ، على الترتيب. وبذلك تكون حالات العقد من الأولى إلى ذات الرتبة $2^{k}$ كلها متماثلة في $\mathbf{P}^{(k)}$ و $\mathbf{P}_{1}^{(k+1)}$ و $\mathbf{P}_{2}^{(k+1)}$ . وبما أن $\mathbf{M}_{1}^{(k+1)}$ هو نفسه $\mathbf{M}^{(k)}$ ، أي إن تعبيريهما لا ينظران إلا في العقد من الأولى إلى ذات الرتبة $2^{k}$ ، فإن مساهمة كل من $\mathbf{P}_{1}^{(k+1)}$ و $\mathbf{P}_{2}^{(k+1)}$ في $\mathbf{M}_{1}^{(k+1)}$ هي نفسها مساهمة $\mathbf{P}^{(k)}$ في $\mathbf{M}^{(k)}$ ، أي $\mathbf{U}_{11}^{(k+1)}=\mathbf{U}_{{\rm PM}}^{(k)}$ و $\mathbf{U}_{12}^{(k+1)}=\mathbf{U}_{{\rm PM}}^{(k)}$ . وبما أن حالة العقدة $k+1$ هي $0$ في جميع مدخلات $\mathbf{P}_{1}^{(k+1)}$ ، فلا توجد مساهمة لـ $\mathbf{P}_{1}^{(k+1)}$ في $\mathbf{M}_{2}^{(k+1)}$ ، أي إن $\mathbf{U}_{21}^{(k+1)}=\mathbf{0}$ .

وبالمثل، بما أن حالة العقدة $k+1$ هي $1$ في جميع مدخلات $\mathbf{P}_{2}^{(k+1)}$ ، فإن مساهمة $\mathbf{P}_{2}^{(k+1)}$ في $\mathbf{M}_{2}^{(k+1)}$ تعتمد فقط على حالات العقد من الأولى إلى ذات الرتبة $2^{k}$ ؛ فهناك تقابل واحد لواحد لكل مدخلة بين $\mathbf{P}_{2}^{(k+1)}$ و $\mathbf{P}^{(k)}$ ، وبين $\mathbf{M}_{2}^{(k+1)}$ و $\mathbf{M}^{(k)}$ كما ذكر آنفا. لذلك $\mathbf{U}_{22}^{(k+1)}=\mathbf{U}_{{\rm PM}}^{(k)}$ ، ونستطيع الحصول على علاقة عودية، هي

\mathbf{U}_{{\rm PM}}^{(k+1)}=\left[\begin{array}[]{cc}\mathbf{U}_{{\rm PM}}^{% (k)}&\mathbf{U}_{{\rm PM}}^{(k)}\\ \mathbf{0}^{(k)}&\mathbf{U}_{{\rm PM}}^{(k)}\end{array}\right],

(17)

حيث إن $\mathbf{0}^{(k)}$ هي مصفوفة صفرية ذات بعد $2^{k}\times2^{k}$ . ومن ثم تكون $\mathbf{U}_{{\rm PM}}^{(k+1)}$ أيضا مصفوفة كاملة الرتبة. وبالاستقراء، تكون $\mathbf{U}_{{\rm PM}}^{(n)}$ كاملة الرتبة لأي $n$ .

Appendix D برهان العلاقة العودية بين التآثرات الفعالة

لشبكة من $n$ عقد، نبرهن العلاقة العودية الآتية في تحليل MEP كامل الرتبة باستخدام الاستقراء الرياضي:

$\begin{equation} J_{12\cdots(k+1)}=J_{12\cdots k}^{1}-J_{12\cdots k},\label{eq:Jobtain-1} \end{equation}$

(18)

حيث يستحصل الحد $J_{12\dots k}^{1}$ من التآثر الفعال من الرتبة $k$ ، $J_{12...k}$ ، بتغيير حالة العقدة ذات الرتبة $(k+1)$ فيه.

من التطبيق بين التآثرات الفعالة والتوزيع الاحتمالي (المعادلة (10))، يمكن أن يرى أن التآثرات الفعالة ليست إلا توليفة خطية للوغاريتم التوزيع الاحتمالي. وللتعبير عن ذلك صراحة، نقدم أولا الترميز $H_{m}^{l}$ كما يأتي

$\begin{equation} H_{m}^{l}=\sum_{\Omega\in\Lambda_{m}^{l}}\log P(\Omega),\label{eq:Uml} \end{equation}$

(19)

حيث $\Lambda_{m}^{l}=\{(\sigma_{1},\sigma_{2},\cdots,\sigma_{n})|\sum_{i=1}^{m}\sigma_{i}=l;\sigma_{j}=0,m<j\leq n\}$ ، $0\leq l\leq m\leq n$ .

ثم نبرهن أنه إذا أمكن التعبير عن التآثر الفعال من الرتبة $k$ ( $1\leq k\leq n$ )، $J_{12\cdots k}$ ، كما يأتي

$\begin{equation} J_{12\cdots k}=\sum_{i=0}^{k}(-1)^{k-i}H_{k}^{i},\label{eq:Juniform} \end{equation}$

(20)

فإن المعادلة (18) تكون صحيحة أيضا كما يأتي. من أجل $1\leq i\leq k$ ، توجد $i$ عقد من أصل $k+1$ عقد فعالة في الحالات التي يصفها $H_{k+1}^{i}$ من $\Lambda_{k+1}^{^{i}}$ . ومن أجل $0<i<k+1$ ، نستطيع تقسيم $H_{k+1}^{i}$ إلى حدين، أحدهما $H_{k}^{i}$ ، حيث تكون العقدة ذات الرتبة $(k+1)$ غير فعالة، والحد الآخر $W_{k}^{i-1}\equiv H_{k+1}^{i}-H_{k}^{i}$ ، حيث تكون العقدة ذات الرتبة $(k+1)$ فعالة. ونعرف أيضا $W_{k}^{k}\equiv H_{k+1}^{k+1}$ . ومن المعادلة (20)، لدينا

$J_{12\cdots(k+1)}=\sum_{i=0}^{k+1}(-1)^{k+1-i}H_{k+1}^{i}.$

وباستخدام $H_{k+1}^{i}=W_{k}^{i-1}+H_{k}^{i}$ و $H_{k+1}^{0}=H_{k}^{0}$ ، نحصل على

	$\displaystyle J_{12\cdots(k+1)}$	$\displaystyle=H_{k+1}^{k+1}+\sum_{i=1}^{k}(-1)^{k+1-i}(W_{k}^{i-1}+H_{k}^{i})-% (-1)^{k}H_{k+1}^{0}$
		$\displaystyle=W_{k}^{k}+\sum_{i=1}^{k}(-1)^{k+1-i}W_{k}^{i-1}-(-1)^{k}H_{k+1}^% {0}-\sum_{i=1}^{k}(-1)^{k-i}H_{k}^{i}$
		$\displaystyle=\sum_{i=0}^{k}(-1)^{k-i}W_{k}^{i}-\sum_{i=0}^{k}(-1)^{k-i}H_{k}^% {i}$
		$\displaystyle=J_{12\cdots k}^{1}-J_{12\cdots k},$

حيث إن $J_{12\cdots k}^{1}$ هي الكمية التي تبدل حالة العقدة ذات الرتبة $(k+1)$ في التآثر الفعال من الرتبة $k$ ، $J_{12...k}$ ، من غير فعالة إلى فعالة. لذلك تبرهن العلاقة العودية (المعادلة (18)) إذا كانت المعادلة (20) صحيحة من أجل $1\leq k\leq n$ .

بعد ذلك نبرهن صحة المعادلة (20) بالاستقراء الرياضي كما يأتي. من أجل $k=1$ ، كما هو مبين في المعادلة (11) في النص الرئيسي، لدينا

	$\displaystyle J_{1}$	$\displaystyle=\log\frac{P_{10\cdots 0}}{P_{00\cdots 0}}$
		$\displaystyle=H_{1}^{1}-H_{1}^{0}.$

لذلك تكون المعادلة (20) صحيحة عندما $k=1$ . والآن نفترض أن المعادلة (20) صحيحة من أجل $k\leq K$ .

نريد بعد ذلك إثبات أن المعادلة (20) تصح من أجل $k=K+1$ . نبدأ بإظهار أن تآثرا فعالا اعتباطيا من الرتبة $g$ ( $g\leq K$ )، $J_{i_{1}\cdots i_{g}}$ ، يمكن التعبير عنه كما يأتي:

J_{i_{1}\cdots i_{g}}=\sum_{i=0}^{g}(-1)^{g-i}H_{A_{g}}^{i},\quad g\leq K

(21)

حيث $A_{g}=\{i_{1},\cdots,i_{g}\}$ ،

H_{A_{g}}^{l}=\sum_{\Omega\in\Lambda_{A_{g}}^{l}}\log P(\Omega),

و $\Lambda_{A_{g}}^{l}=\{(\sigma_{i_{1}},\sigma_{i_{2}},\cdots,\sigma_{i_{n}})|% \sum_{i_{j}\in A_{g}}\sigma_{i_{j}}=l;\sigma_{i_{j}}=0,g<j\leq n\}$ . ولإظهار صحة المعادلة (21)، يمكننا تبديل فهارس العصبونات من $\{1,2,\cdots,n\}$ إلى $\{i_{1},i_{2},\cdots,i_{n}\}$ عبر التطبيق $j\rightarrow i_{j}$ من أجل $1\leq j\leq n$ . وبما أن المعادلة (20) صحيحة من أجل $g\leq K$ بحسب الفرض، فإن المعادلة (21) صحيحة أيضا.

بعد ذلك ندرس العلاقة بين $J_{12\cdots(K+1)}$ والتآثرات الفعالة التي تكون رتبها أصغر من $K+1$ . وبالتعويض عن $\Omega=(1,1,\cdots,1,0,\cdots,0)$ (العقد من $1$ إلى $K+1$ فعالة، والعقد من $K+2$ إلى $n$ غير فعالة) في تحليل MEP كامل الرتبة، نحصل على

J_{12\cdots(K+1)}+\sum_{g=1}^{K}\sum_{i_{1}<\cdots<i_{g}}^{K+1}J_{i_{1}\cdots i% _{g}}=H_{K+1}^{K+1}-H_{K+1}^{0}.

(22)

من أجل $g\leq K$ ، ومن المعادلة (21)، وبحسب فرض الاستقراء، لدينا

\sum_{i_{1}<\cdots<i_{g}}^{K+1}J_{i_{1}\cdots i_{g}}=\sum_{i=0}^{g}(-1)^{g-i}C% _{K+1-i}^{g-i}H_{K+1}^{i},

(23)

حيث إن $C_{K+1-i}^{g-i}$ هو عدد اختيارات $g-i$ حدود من كل الاختيارات الممكنة البالغ عددها $K+1-i$ . وبما أن $J_{i_{1}\cdots i_{g}}$ هو التآثر الفعال من الرتبة $g$ ، كما في المعادلة (21)، فإن إشارة لوغاريتم احتمال حالة تكون فيها $i$ عقد فعالة هي $(-1)^{g-i}$ . ولاعتبار معامل $H_{K+1}^{i}$ في الطرف الأيمن من المعادلة (23)، يمكن أن ننظر، لكل مجموعة من $i$ عقد، في عدد مجموعات $g$ عقد في الطرف الأيسر من المعادلة (23) التي تحتوي هذه العقد $i$ قيد النظر، حيث $g\geq i$ . فإذا وجدت $g$ عقد تحتوي العقد $i$ قيد النظر، فإن هناك فقط $g-i$ عقد مجهولة. ويمكن اختيار هذه العقد $g-i$ من مجموعة العقد التي تنتمي إلى مجموع العقد البالغ $K+1$ لكنها ليست من العقد $i$ قيد النظر. لذلك يكون عدد اختيارات هذه العقد $g-i$ هو $C_{K+1-i}^{g-i}$ . ومن ثم نحصل على

J_{12\cdots(K+1)}=H_{K+1}^{K+1}-H_{K+1}^{0}-\sum_{g=1}^{K}\sum_{i=0}^{g}(-1)^{% g-i}C_{K+1-i}^{g-i}H_{K+1}^{i}.

(24)

من أجل $K+1>l>0$ ، يكون معامل $H_{K+1}^{l}$ هو

-\sum_{g=l}^{K}(-1)^{g-l}C_{K+1-l}^{g-l}=(-1)^{K+1-l}.

(25)

ومعامل $H_{K+1}^{0}$ هو

-1-\sum_{g=1}^{K}(-1)^{g}C_{K+1}^{g}=(-1)^{K+1}.

(26)

ومن خلال المعادلات (24)، (26)، و(25)، نحصل على

J_{12\cdots(K+1)}=\sum_{i=0}^{K+1}(-1)^{K+1-i}H_{K+1}^{i}.

(27)

أي إن المعادلة (20) صحيحة من أجل $k=K+1$ . وبالاستقراء، نحصل على أن المعادلة (20) تصح لكل عدد صحيح $k$ مع $1\leq k\leq n$ . لذلك نبرهن صحة المعادلة (18).

Appendix E التجارب الفيزيولوجية الكهربائية

جمعت البيانات في مختبر Adam Kohn في Albert Einstein College of Medicine ونزلت من crcns.org (pvc-8) Kohn2015Multi . تتكون هذه البيانات من تسجيلات متعددة الأقطاب من V1 في قرود macaque مخدرة، بينما تعرض صور طبيعية وشبكيات على الشاشة. أجريت التسجيلات باستخدام مصفوفة الأقطاب “Utah”، واستعملت خوارزمية فرز الشوكات لتحديد قطارات الشوكات المقابلة لكل عصبون مفرد. عرضت الصور الطبيعية بحجمين، $3-6.7$ درجة وقصت إلى نافذة $1$ درجة، وذلك لتكميم تعديل المحيط. عرضت جميع المحفزات ( $956$ في المجموع) بترتيب شبه عشوائي لمدة $100\,\mathrm{ms}$ لكل منها، وتلتها شاشة رمادية منتظمة لمدة $200\,\mathrm{ms}$ . عرض كل محفز 20 مرة. وتوصف الإجراءات التجريبية والمحفزات وصفا كاملا في المرجع coen2015flexible .

References

(1) J. Barton and S. Cocco, Ising models for neural activity inferred via selective cluster expansion: structural and coding properties, Journal of Statistical Mechanics: Theory and Experiment, 2013 (2013), p. P03002.
(2) T. Broderick, M. Dudik, G. Tkacik, R. E. Schapire, and W. Bialek, Faster solutions of the inverse pairwise ising problem, arXiv preprint arXiv:0712.2437, (2007).
(3) T. Bury, Statistical pairwise interaction model of stock market, The European Physical Journal B, 86 (2013), p. 89.
(4) A. Cavagna, I. Giardina, F. Ginelli, T. Mora, D. Piovani, R. Tavarone, and A. M. Walczak, Dynamical maximum entropy approach to flocking, Physical Review E, 89 (2014), p. 042707.
(5) R. Coen-Cagli, A. Kohn, and O. Schwartz, Flexible gating of contextual influences in natural vision, Nature neuroscience, (2015).
(6) B. Dunn, M. Mørreaunet, and Y. Roudi, Correlations and functional connections in a population of grid cells, PLoS Comput Biol, 11 (2015), p. e1004052.
(7) A. Golan, G. G. Judge, and D. Miller, Maximum entropy econometrics: Robust estimation with limited data, Wiley New York, 1996.
(8) A. Hernando, R. Hernando, A. Plastino, and A. Plastino, The workings of the maximum entropy principle in collective human behaviour, Journal of The Royal Society Interface, 10 (2013), p. 20120758.
(9) J. Hertz, Y. Roudi, and J. Tyrcha, Ising models for inferring network structure from spike data, arXiv preprint arXiv:1106.1752, (2011).
(10) E. T. Jaynes, Information theory and statistical mechanics, Physical review, 106 (1957), p. 620.
(11) M. P. Karlsson and L. M. Frank, Awake replay of remote experiences in the hippocampus, Nature neuroscience, 12 (2009), p. 913.
(12) S. Khatiwala, F. Primeau, and T. Hall, Reconstruction of the history of anthropogenic co2 concentrations in the ocean, Nature, 462 (2009), pp. 346–349.
(13) D. C. Knill and A. Pouget, The bayesian brain: the role of uncertainty in neural coding and computation, TRENDS in Neurosciences, 27 (2004), pp. 712–719.
(14) A. Kohn and R. Coen-Cagli, Multi-electrode recordings of anesthetized macaque v1 responses to static natural images and gratings., CRCNS.org http://dx.doi.org/10.6080/K0SB43P8, (2015).
(15) A. B. Mantsyzov, A. S. Maltsev, J. Ying, Y. Shen, G. Hummer, and A. Bax, A maximum entropy approach to the study of residue-specific backbone angle distributions in $\alpha$ -synuclein, an intrinsically disordered protein, Protein Science, 23 (2014), pp. 1275–1290.
(16) O. Marre, S. El Boustani, Y. Frégnac, and A. Destexhe, Prediction of spatiotemporal patterns of neural activity from pairwise correlations, Physical review letters, 102 (2009), p. 138101.
(17) A. S. Morcos and C. D. Harvey, History-dependent variability in population dynamics during evidence accumulation in cortex, Nature Neuroscience, (2016).
(18) H. Nasser and B. Cessac, Parameter estimation for spatio-temporal maximum entropy distributions: Application to neural spike trains, Entropy, 16 (2014), pp. 2244–2277.
(19) H. Nasser, O. Marre, and B. Cessac, Spatio-temporal spike train analysis for large scale networks using the maximum entropy principle and monte carlo method, Journal of Statistical Mechanics: Theory and Experiment, 2013 (2013), p. P03006.
(20) I. E. Ohiorhenuan, F. Mechler, K. P. Purpura, A. M. Schmid, Q. Hu, and J. D. Victor, Sparse coding and high-order correlations in fine-scale cortical networks, Nature, 466 (2010), pp. 617–621.
(21) Y. Roudi, J. Tyrcha, and J. Hertz, Ising model for neural data: model quality and approximate methods for extracting functional connectivity, Physical Review E, 79 (2009), p. 051915.
(22) D. Sakakibara, A. Sasaki, T. Ikeya, J. Hamatsu, T. Hanashima, M. Mishima, M. Yoshimasu, N. Hayashi, T. Mikawa, M. Wälchli, et al., Protein structure determination in living cells by in-cell nmr spectroscopy, Nature, 458 (2009), pp. 102–105.
(23) S. Saremi and T. J. Sejnowski, Hierarchical model of natural images and the origin of scale invariance, Proceedings of the National Academy of Sciences, 110 (2013), pp. 3071–3076.
(24) L. Saulis and V. Statulevicius, Limit theorems for large deviations, vol. 73, Springer Science & Business Media, 2012.
(25) E. Schneidman, M. J. Berry, R. Segev, and W. Bialek, Weak pairwise correlations imply strongly correlated network states in a neural population, Nature, 440 (2006), pp. 1007–1012.
(26) J. Shlens, G. D. Field, J. L. Gauthier, M. Greschner, A. Sher, A. M. Litke, and E. Chichilnisky, The structure of large-scale synchronized firing in primate retina, The Journal of Neuroscience, 29 (2009), pp. 5022–5031.
(27) J. Shlens, G. D. Field, J. L. Gauthier, M. I. Grivich, D. Petrusca, A. Sher, A. M. Litke, and E. Chichilnisky, The structure of multi-neuron firing patterns in primate retina, The Journal of neuroscience, 26 (2006), pp. 8254–8266.
(28) J. Shlens, F. Rieke, and E. Chichilnisky, Synchronized firing in the retina, Current opinion in neurobiology, 18 (2008), pp. 396–402.
(29) T. Squartini, I. van Lelyveld, and D. Garlaschelli, Early-warning signals of topological collapse in interbank networks, Scientific reports, 3 (2013).
(30) G. J. Stephens and W. Bialek, Statistical mechanics of letters in words, Physical Review E, 81 (2010), p. 066119.
(31) J. I. Sułkowska, F. Morcos, M. Weigt, T. Hwa, and J. N. Onuchic, Genomics-aided structure prediction, Proceedings of the National Academy of Sciences, 109 (2012), pp. 10340–10345.
(32) Y. Sun, D. Zhou, A. Rangan, and D. Cai, Pseudo-lyapunov exponents and predictability of hodgkin-huxley neuronal network dynamics, Journal of computational neuroscience, 28 (2010), pp. 247–266.
(33) Y. Sun, D. Zhou, A. V. Rangan, and D. Cai, Library-based numerical reduction of the hodgkin–huxley neuron for network simulation, Journal of computational neuroscience, 27 (2009), p. 369.
(34) A. Tang, D. Jackson, J. Hobbs, W. Chen, J. L. Smith, H. Patel, A. Prieto, D. Petrusca, M. I. Grivich, A. Sher, et al., A maximum entropy model applied to spatial and temporal correlations from cortical networks in vitro, The Journal of Neuroscience, 28 (2008), pp. 505–518.
(35) T. Watanabe, S. Hirose, H. Wada, Y. Imai, T. Machida, I. Shirouzu, S. Konishi, Y. Miyashita, and N. Masuda, A pairwise maximum entropy model accurately describes resting-state human brain networks, Nature communications, 4 (2013), p. 1370.
(36) Z.-Q. J. Xu, G. Bi, D. Zhou, and D. Cai, A dynamical state underlying the second order maximum entropy principle in neuronal networks, Communications in Mathematical Sciences, 15 (2017), pp. 665–692.
(37) F.-C. Yeh, A. Tang, J. P. Hobbs, P. Hottowy, W. Dabrowski, A. Sher, A. Litke, and J. M. Beggs, Maximum entropy approaches to living neural networks, Entropy, 12 (2010), pp. 89–106.
(38) S. Yu, D. Huang, W. Singer, and D. Nikolić, A small world of neuronal synchrony, Cerebral cortex, 18 (2008), pp. 2891–2901.
(39) D. Zhou, Y. Xiao, Y. Zhang, Z. Xu, and D. Cai, Granger causality network reconstruction of conductance-based integrate-and-fire neuronal systems, PloS one, 9 (2014), p. e87636.