latex
تُعَدُّ مراقبة العمليات التنبؤية مهمة تحليلية تهدف إلى التنبؤ بمعلومات حول سير العملية الجارية، مثل النشاط التالي الأكثر ملاءمة الذي يجب تنفيذه. في المجالات الطبية، يمكن أن توفر مراقبة العمليات التنبؤية دعماً قيّماً لاتخاذ القرار في الحالات غير النمطية والمعقدة. لا يمكن التقليل من أهمية دعم القرار وتقييم الجودة السريرية في الطب المعتمد على المعرفة التخصصية، لتكون مستندة إلى جميع المعلومات المتاحة (التي لا تقتصر على البيانات فقط)، ولكي تكون مقبولة فعلاً من قبل المستخدمين النهائيين.
في هذه الدراسة، نقترح نهجاً لمراقبة العمليات التنبؤية يعتمد على استخدام transformer، وهي بنية تعلم عميق تعتمد على آلية الانتباه. تكمن مساهمتنا الرئيسية في دمج المعرفة التخصصية الأنطولوجية من خلال تقنية ترميز المواقع الهيكلية. تقدم الورقة وتناقش النتائج التجريبية المشجعة التي جمعناها في مجال إدارة السكتة الدماغية.
إن انتشار نظم المعلومات الطبية المتقدمة يتيح تدريجياً جمع آثار المرضى تلقائياً، أي سلاسل الأنشطة التي تُنفذ على المرضى خلال إجراءات الرعاية المطبقة في المؤسسات الطبية (Reichert:2012). وتُعدُّ آثار المرضى مصدراً قيّماً للمعلومات لعدة تحليلات وتحقيقات في مجال تعدين العمليات (aalst:book:16). من بين التقنيات المتنوعة المتاحة في تعدين العمليات، تُعتبر مراقبة العمليات التنبؤية (Maggi:2014, Teinemaa:2019) ذات أهمية خاصة. تهدف مراقبة العمليات التنبؤية إلى التنبؤ بمعلومات ذات صلة حول عملية جارية؛ وتحديداً، تستغل الآثار المسجلة فعلياً لتقديم تنبؤات حول اكتمال العملية الجارية، مثل اقتراح النشاط التالي الذي يجب تنفيذه، أو تقدير الوقت أو التكلفة أو الموارد المتبقية المطلوبة لإتمامها.
في المجال الطبي، يمكن أن تدعم مراقبة العمليات التنبؤية تخصيص الوقت والموارد بشكل أفضل؛ والأهم من ذلك، يمكن أن تعزز اتخاذ القرارات في الحالات المعقدة. فعلى الرغم من توفر الإرشادات السريرية، من المهم ملاحظة أن هذه الإرشادات تمثل عمليات مثالية، مصممة لمرضى نموذجين، ومقصود بها أن تُطبق في بيئة مثالية تتوفر فيها جميع الموارد اللازمة دائماً (Xu:2020). في الواقع، غالباً ما لا يتوفر ذلك؛ فقد تمنع القيود المحلية على الموارد تنفيذ أنشطة الإرشادات المجدولة في الوقت المناسب. بالإضافة إلى ذلك، قد يكون المرضى الحقيقيون غير نمطيين، مثلاً نتيجة وجود أمراض مصاحبة أو متغيرات نادرة للمريض. أخيراً، قد يفتقر الأطباء للخبرة اللازمة لتفسير الإرشادات وتطبيقها بشكل صحيح في الحالات المعقدة. من خلال اقتراح النشاط التالي، يمكن أن تقدم مراقبة العمليات التنبؤية إرشادات عملية قيّمة في مثل هذه الحالات.
بناءً على ما سبق، نقترح في هذه الدراسة نهجاً لمراقبة العمليات التنبؤية لآثار العمليات الطبية؛ ووفقاً لأحدث التطورات في الأدبيات، نعتمد على بنية التعلم العميق المعروفة باسم Transformer، وهي بنية قائمة على آلية الانتباه الذاتي (vaswani2017attention)، التي أثبتت جدواها في نمذجة مهام مماثلة (processtransformer). تكمن مساهمتنا الرئيسية في دمج المعرفة التخصصية باستخدام أنطولوجيا، ويتم ذلك عبر تقنية ترميز المواقع الهيكلية، مما يعزز دقة نموذجنا.
على الرغم من عمومية النهج، فقد ركزنا تجاربنا على مجال إدارة السكتة الدماغية. في هذا المجال، يمكن لمراقبة العمليات التنبؤية أن تقدم دعماً مهماً لاتخاذ القرار الطبي. فعلى سبيل المثال، تساعد في اختيار الدواء المناسب للتخثر من خلال موازنة المؤشرات وموانع الاستعمال استناداً إلى آثار سابقة (Xu:2020)، أو تساعد في تقرير إذا ما كان ينبغي تأكيد وجود نزيف تحت العنكبوتية عبر تقييم إيجابيات وسلبيات البزل القطني (eswa16)، مع الأخذ في الاعتبار دائماً الأحداث المكتملة فعلياً. في الواقع، أظهرت التجارب الأولى التي أجريناها، والمُفصّلة فيما يلي، نتائج مشجعة.
تنظّم هذه الدراسة كما يلي: يعرض القسم [related] بعض الأعمال ذات الصلة؛ ويشرح القسم [methods] البنية المعتمدة؛ ويستعرض القسم [experiments] إعداداتنا التجريبية ونتائجنا؛ أما القسم [conclu] فيختص بالاستنتاجات.
دعمت تقنيات تعلم آلي مختلفة مراقبة العمليات التنبؤية، مثل أنظمة الانتقال (Le2012)، ونماذج ماركوف المخفية (Lakshmanan2015)، وآلات الدعم المتجهة (Cabanillas:2014). ومع ذلك، في النهج الأحدث، يتم تطبيق هياكل التعلم العميق التي تمثل حالياً أحدث التقنيات الرائدة في هذا المجال.
اقترح العديد من الباحثين هياكل تعلم عميق مختلفة لمهمة التنبؤ بالنشاط التالي. فقد استخدم النهج في (Mehdiyev) المشفرات التلقائية (Hinton)، التي تستطيع تقليل عدد السمات للأنشطة المدخلة بفاعلية، لكنها تفتقر إلى معالجة الاعتماديات الزمنية الطويلة ضمن الأثر. في عمل آخر، تم تطبيق الشبكات العصبية التلافيفية (CNNs) في (Alom)، حيث عُولجت البيانات التسلسلية في آثار العمليات كشـبكة أحادية البعد (Appice).
نظراً للطبيعة التسلسلية للآثار، تبدو الشبكات العصبية المتكررة (RNNs) (Pascanu) حلاً طبيعياً، إذ يمكنها التقاط الاعتماديات الطويلة الأمد بين أنشطة الأثر. في المقابل، تعتمد الشبكة التلافيفية على نافذة ثابتة من الأنشطة الأخيرة، حيث يحدد k حجم الكيرنل. ضمن الشبكات المتكررة، تبرز شبكات الذاكرة طويلة الأمد (LSTM) (Hochreiter) كنهج فعّال، نظراً لقدرتها على تعلّم الديناميكيات المعقدة ضمن التسلسل الزمني وإدارة الاعتماديات طويلة المدى.
على نحو مماثل، تستخدم الشبكات المتكررة الموصدة (GRUs) (cho2014learning) بوابات تسمح بتدفق التدرجات عبر تسلسل أعمق مقارنة بالشبكات المتكررة الأساسية، وبعدد أقل من المعلمات مقارنة بالشبكات طويلة الأمد. تم استغلال GRUs، على سبيل المثال، في (Hinkka) لمراقبة العمليات التنبؤية.
بديل آخر هو الشبكات العصبية المعززة بالذاكرة (MANN) المقترحة في (khan:2019)، والتي تسمح بمعالجة آثار طويلة جداً أو تكرار الأنشطة دون نسيان المعلومات المبكرة، على الرغم من تكلفة تدريب أعلى.
النهج الأقرب لعملنا هو (Philipp:20,processtransformer)، الذي يستخدم المحول دون الاعتماد على التكرار، مع آلية الانتباه متعدد الرؤوس (vaswani2017attention) في جزء المفكك فقط. أما بالنسبة لإدخال المعرفة الخارجية على شكل رسومات بيانية، فقد استُخدم هذا في أعمال مثل (graphiT,gnn-benchmark-pe,di2017eye)، لإثراء الأمثلة المبنية على التسلسل بمعلومات هيكلية. كما وظفت نماذج المحول المدربة مسبقاً مثل (BERT) المعرفة الأنطولوجية وفق منهجيات مثل (kbert,pretrain). لا نعلم بأي عمل سابق أدرج ترميز المواقع الهيكلية للمعرفة التخصصية في سياق مراقبة العمليات التنبؤية.
في المقاطع التالية، نقدم البنية الأساسية لنموذج المحول المستخدم، ثم نصف كيف نستفيد من أنطولوجيا الأنشطة عبر ترميز الموقع الهيكلي المستند إلى قيم الطيف للابلاسي (gnn-benchmark-pe).
تعتمد بنية نموذجنا على المفكك في المحول (Philipp:20, processtransformer). يتكوّن مدخل النموذج من تسلسل \(S = \{a_1, ..., a_i, ..., a_n\}\) (يمثّل أثراً)، حيث ينتمي كل عنصر إلى مجموعة \(A\) من الأنشطة الممكنة. فيما يلي نوضح مكونات النموذج وكيفية معالجة المدخلات.
طبقة التضمين: تأخذ \(S\) كمدخل وتعيد متجهاً في \(\mathbb{R}^d\) لكل عنصر \(a_i\) من السلسلة. يصبح مدخلنا في هذه المرحلة \(X \in \mathbb{R}^{n \times d}\).
الترميز الموضعي: تضيف هذه الطبقة معلومات حول موضع كل نشاط في التسلسل إلى التضمين الخاص به. في هذه الدراسة اختبرنا نسختين: الأولى (PE) الموصوفة في (vaswani2017attention)، التي تستخدم دالتي الجيب وجيب التمام لتمثيل ترتيب الأنشطة؛ والثانية هي الترميز الموضعي الهيكلي (SPE)، الذي يدمج المعرفة المأخوذة من رسم بياني \(G\) (الأنطولوجيا، مفصلة في القسم [sub:spe]). يُضاف الترميز الموضعي الناتج لكل عنصر إلى التضمين الأصلي كما يلي: \[ X = \begin{cases} X + PE(X) & \text{لطريقة PE} \\ X + SPE(X,G) & \text{لطريقة SPE} \end{cases} \]
طبقة الانتباه متعدد الرؤوس: تمكّن هذه الطبقة النموذج من التركيز على أجزاء مختلفة من التسلسل واكتشاف الاعتماديات طويلة المدى. تنشئ طبقة الانتباه الذاتي (vaswani2017attention) ثلاث تمثيلات \(Q,K,V\) لكل عنصر في التسلسل \(S\)، ثم تطبق الانتباه المنتج للنقاط بما يلي: \[ H = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d}} \right) V \] يتم تنفيذ هذه العملية بالتوازي عبر رؤوس متعددة لالتقاط أنماط اعتماد مختلفة، ثم تُدمج التمثيلات لإنتاج المخرجات النهائية. نطبق قناعاً يمنع العنصر من الانتباه إلى الأنشطة اللاحقة، حفاظاً على طابع التنبؤ بالرمز التالي. يُضاف المخرج إلى \(X\) عبر وصلة تخطي.
تطبيع الطبقة: تُستخدم هذه الطبقة للتخفيف من ظاهرة تلاشي أو انفجار التدرجات خلال التدريب، عبر مراكمة التنشيطات حول متوسط الصفر وتباين الوحدة، مما يعزّز استقرار عملية التحسين (layernorm). في تنفيذنا، اعتمدنا النمط Pre-LN حيث يُطبّق تطبيع الطبقة داخل الكتل المتبقية لتحسين سرعة التقارب (preln).
أخيراً، يُمرَّر \(X\) عبر طبقتين متصلتين بالكامل؛ الطبقة النهائية تعمل كمفكك يعيد التمثيل إلى بعد يساوي عدد الأنشطة الممكنة.
يعتمد الترميز الهيكلي على رسم بياني يعبّر عن أنطولوجيا تشفر العلاقات بين الأنشطة. تسمح هذه الأنطولوجيا بإدخال المعرفة التخصصية في نموذج الذكاء الاصطناعي لتحسين قدراته التنبؤية، من خلال تجميع الأنشطة المرتبطة بأهداف تشخيصية أو علاجية مماثلة في مسارات قصيرة ضمن الرسم.
لتنفيذ ذلك، مثلنا الأنطولوجيا كرسم بياني واعتمدنا تقنية متجهات القيم الذاتية للابلاسيان (laplacian-eigenmaps) لحساب تضمين كل عقدة، فينتج لكل فعل (عقدة) متجهٌ يعكس موقعه في الرسم البياني. يضمن هذا أن العقد المتقاربة هندسياً تمتلك تضمينات متشابهة. خلال التدريب، نضيف هذه التضمينات إلى تضمين الرمز المميز قبل طبقة الانتباه متعدد الرؤوس (مرحلة الترميز)، مما يثري المحول بالمعلومات العلاقية للأنطولوجيا ويمكنه من تعلم علاقات إضافية بين الأنشطة. فيما يلي الوصف الرسمي لهذه الخطوات.
الرسم البياني \(G=(V,E)\) الذي يمثل الأنطولوجيا منظم على النحو التالي: \(V\) يمثل العقد، واحدة لكل نشاط في المجموعة \(A\) (عقد النشاط)، إلى جانب بعض العقد التي تمثل "نوع النشاط" (عقد نوع النشاط). \(E\) تلتقط مجموعة الحواف، التي تربط عقد النشاط بعقد نوع النشاط. ترتبط عقد نوع النشاط معاً بحيث يكون الرسم البياني متصلاً بشكل عام. يتم تعريف متجهات القيم الذاتية للابلاسيان بتحليل مصفوفة لابلاسيان الرسم البياني: \[ \Delta = I - D^{-\frac{1}{2}} A D^{-\frac{1}{2}} = U^T \Lambda U \] حيث \(I\) هي مصفوفة الهوية، \(A \in \mathbb{R}^{n \times n}\) بفرض \(n = |V|\) هي مصفوفة الجوار حيث \(A_{ij} = 1\) إذا كانت العقدة \(i\) والعقدة \(j\) متصلتين بحافة (أي توصّل الرسم البياني) و\(D \in \mathbb{R}^{n \times n}\) حيث \(D_{ii} = \sum_{j=1}^n A_{ij}\) هي مصفوفة قطرية تمثل درجة كل رأس في \(G\)؛ \(\Lambda\), \(U\) تدل على القيم الذاتية والمتجهات الذاتية على التوالي. التضمين لعقدة \(i\) هو متجه \(\lambda_i \in \mathbb{R}^k\) معرف كمكونات المتجه الذاتي الأصغر غير التافهة \(k\) لتلك العقدة (generalization-transformers). وأخيراً، لدمج تضمين العقدة \(\lambda_i \in \mathbb{R}^k\) في تضمين النشاط المقابل \(X_i \in \mathbb{R}^d\)، نستخدم طبقة متصلة بالكامل \(\Theta \in \mathbb{R}^{k\times d}\) لضمان التوافق بين أحجام التضمين.
خلال تجاربنا، طبقنا النموذج على مجموعة بيانات خاصة بإدارة السكتة الدماغية. ضمت المجموعة 5342 سجلاً بمتوسط 15 نشاطاً من أصل 82 نشاطاً ممكنًا (انظر الجدول [tab:traces_stats] لبعض الإحصائيات). نظراً لاختلاف أطوال الحالات، استخدمنا التعبئة لضمان توحيد طول التسلسلات، وأضفنا رمزين خاصين يمثلان "بداية التسلسل" و"نهاية التسلسل" في أول وآخر كل حالة. بلغت حجم الأنطولوجيا المستخدمة 110 عقد و111 حافة بعد التمثيل البياني.
تدرّب نموذج المحول على مهمة النمذجة اللغوية العكسية التلقائية (autoregressive language modeling) للتنبؤ بـ"النشاط التالي" استناداً إلى الأنشطة السابقة في التسلسل. تستند دالة الخسارة إلى الانتروبيا المتقاطعة بين التوزيع الاحتمالي المتوقع لجميع الأنشطة والرمز الحقيقي في بيانات التدريب. تجدر الإشارة إلى أننا استبعدنا خلال الحساب الأمثلة التي تحتوي على رموز التعبئة أو رموز "بداية التسلسل"، مما يضمن عدم تضمين هذه الرموز في حساب التدرجات. بالمقابل، أبقينا رمز "نهاية التسلسل" ليتعلم النموذج توقيت انتهاء التسلسل.
قسّمنا البيانات بنسبة 80/10/10 (تدريب/تحقق/اختبار)، وضبطنا المعاملات الفائقة للنموذج باستخدام Optuna (optuna). يوضح الجدول [tab:grid-search] مساحة البحث والمعلمات المثلى التي تم التوصل إليها.
في تجاربنا (انظر الجدول [tab:results])، قارنّا أداء النموذج باستخدام طريقتي الترميز الموضعي (PE وSPE) مع أحجام تضمين مختلفة. شملنا كذلك نموذجاً مرجعياً تخطى مرحلة PE. لكل تكوين، نفذنا عشر تجارب عشوائية لاختبار الاستقرار في دقة التنبؤ عند \(k\). تظهر النتائج استفادة واضحة من SPE، التي حسّنت الأداء بشكل كبير عبر جميع الأحجام. كما بدت مقاييس الأداء مستقرة وتشبعت عند حجم تضمين 64، مع تحسّن طفيف عند 128، مما يشير إلى عدم وجود ميل واضح للإفراط في التعلّم.
من النتائج البارزة أيضاً أن الترميز الموضعي الكلاسيكي (PE) لم يحقق فائدة ملموسة، ربما نظراً لاعتماد العمليات على الأنشطة المنفذة فعلياً أكثر من ترتيبها فقط. هذا يوضّح سبب استفادة النموذج من SPE، حيث يُفترض أن الأنشطة ذات النوعية المماثلة تظهر قرباً هيكلياً في الأنطولوجيا، فتكون المعلومات المتعلقة بموقع الفعل ضمن الرسم البياني أكثر فائدة من موقعه التسلسلي الفردي.
قدّمنا في هذه الدراسة نهجاً لمراقبة العمليات التنبؤية، مع تطبيق خاص في إدارة السكتة الدماغية. من خلال استغلال قوة نماذج المحول، أبرزنا إمكانيتها في التنبؤ الدقيق بالمعلومات الحرجة ضمن سجلات العمليات الجارية. وقد برز ابتكارنا الرئيسي في دمج المعرفة التخصصية عبر ترميز المواقع الهيكلية، ما أسهم في رفع دقة التنبؤات.
النتائج التجريبية الأولية مشجعة، وتؤكد فعالية النهج المقترح. تشير هذه النتائج إلى أن مراقبة العمليات التنبؤية، باستخدام نماذج المحول المدعمة بالمعرفة الأنطولوجية، تحمل إمكانية كبيرة لدعم القرار الطبي في السيناريوهات المعقدة.
في المستقبل، ستكون الدراسات والتجارب الإضافية ضرورية للتحقق من صحة نهجنا وتعزيزه. نخطط لاختبار تقنيات تضمين بديلة لعقد الرسم البياني واستكشاف تطبيق المنهجية على مجموعات بيانات مختلفة، بما في ذلك دراسة الأبعاد الزمنية بصورة أعمق.
نعبّر عن امتناننا لـ(chameleon) على توفير الموارد الحاسوبية التي دعمت تجربة تنفيذنا وتدريب نموذجنا. كريستوفر إروين وماركو دوسينا طالبان دكتوراه مسجلان في البرنامج الوطني للدكتوراه في الذكاء الاصطناعي الدورة الثامنة والثلاثون (علوم الصحة والحياة) بجامعة كامبوس بيو-ميديكو دي روما.
الكود المصدري لنموذج المحول وتنفيذ وحدة (SPE) متاح على: github.com/christopher-irw/proformer_ce. يحتوي المستودع على الكود اللازم لتدريب نموذج المحول على تحدي (BPI 2012). بالإضافة إلى ذلك، نوفر مثالاً بسيطاً لأنطولوجيا الأفعال الموجودة في مجموعة البيانات لتطبيق تقنية (SPE).
``` **ملاحظات حول تصحيح LaTeX:** - تم تصحيح جميع معادلات LaTeX لتكون محاطة بشكل صحيح بعلامات `\[` ... `\]` للعرض و `\(...\)` للمعادلات المضمنة. - تم تصحيح معادلة مصفوفة لابلاسيان بحيث يكون جمع المؤشرات صحيحًا: `D_{ii} = \sum_{j=1}^n A_{ij}` بدلاً من `\sum_{i=1}^n A_{ij}`. - تم التأكد من أن جميع الأقواس مغلقة بشكل صحيح في المعادلات. - تم تصحيح استخدام `\mathrm{softmax}` بدلاً من `softmax` في المعادلات الرياضية. - تم التأكد من أن جميع المعادلات ستعمل بشكل صحيح مع MathJax ولا تحتوي على أخطاء تركيبية. - لم يتم تغيير أي كلمة من النص الأصلي. - تمت مراجعة جميع المعادلات الرياضية الأخرى والتأكد من أنها مكتوبة بشكل صحيح ومتوافقة مع LaTeX/MathJax.