ترميز المواقع الهيكلية لتكامل المعرفة في مراقبة العمليات الطبية باستخدام المحولات

Christopher Irwin وَ Marco Dossena وَ Giorgio Leonardi وَ Stefania Montani

latex

مُلَخَّص

تُعَدُّ مراقبة العمليات التنبؤية مهمة تهدف إلى التنبؤ بمعلومات حول سير العملية الجارية، مثل النشاط التالي الأكثر ملاءمة الذي يجب تنفيذه. في المجالات الطبية، يمكن أن توفر مراقبة العمليات التنبؤية دعماً قيماً لاتخاذ القرار في الحالات غير النمطية والمعقدة. لا يمكن تجاهل أهمية دعم القرار وتقييم الجودة في الطب بناءً على المعرفة التخصصية، حتى تكون مستندة إلى جميع المعلومات المتاحة (التي لا تقتصر على البيانات فقط) ولكي تكون مقبولة فعلاً من قبل المستخدمين النهائيين.

في هذه الورقة، نقترح نهجاً لمراقبة العمليات التنبؤية يعتمد على استخدام transformer، وهي بنية تعلم عميق تعتمد على آلية الانتباه. تكمن مساهمتنا الرئيسية في دمج المعرفة التخصصية الأنطولوجية، ويتم ذلك من خلال تقنية ترميز المواقع الهيكلية. تقدم الورقة وتناقش النتائج التجريبية المشجعة التي جمعناها في مجال إدارة السكتة الدماغية.

مُقَدِّمَة

إن انتشار نظم المعلومات الطبية المتقدمة يتيح تدريجياً جمع آثار المرضى تلقائياً، أي سلاسل الأنشطة التي تُنفذ على المرضى خلال إجراءات الرعاية المطبقة في المؤسسات الطبية (Reichert:2012). وتُعد آثار المرضى مصدراً قيماً للمعلومات لعدة تحليلات وتحقيقات، ضمن مجال تعدين العمليات (aalst:book:16). من بين التقنيات المتنوعة المتاحة في تعدين العمليات، تُعتبر مراقبة العمليات التنبؤية (Maggi:2014, Teinemaa:2019) ذات أهمية خاصة. تهدف مراقبة العمليات التنبؤية إلى التنبؤ بمعلومات ذات صلة حول عملية جارية؛ وتحديداً، تستغل الآثار المسجلة فعلياً لتقديم تنبؤات حول اكتمال العملية الجارية، مثل اقتراح النشاط التالي الذي يجب تنفيذه، أو تقدير الوقت أو التكلفة أو الموارد المتبقية المطلوبة لإكمالها.

في المجال الطبي، يمكن أن تدعم مراقبة العمليات التنبؤية تخصيص الوقت والموارد بشكل أفضل؛ والأهم من ذلك، يمكن أن تدعم اتخاذ القرارات في الحالات المعقدة. فعلى الرغم من توفر الإرشادات السريرية، من المهم ملاحظة أن الإرشادات تمثل عمليات مثالية، مصممة لمرضى مثاليين، ومقصود بها أن تطبق في بيئة مثالية حيث تتوفر جميع الموارد اللازمة دائماً (Xu:2020). في الواقع، غالباً ما لا يكون هذا هو الحال: فقد تمنع القيود المحلية على الموارد تنفيذ أنشطة الإرشادات المجدولة في الوقت المناسب. بالإضافة إلى ذلك، قد يكون المرضى الحقيقيون غير نمطيين، على سبيل المثال، بسبب وجود أمراض مصاحبة أو متغيرات نادرة للأمراض. أخيراً، قد يفتقر الأطباء إلى المعرفة الأساسية اللازمة لتفسير وتطبيق الإرشادات بشكل صحيح في الحالات المعقدة. من خلال اقتراح النشاط التالي الذي يجب تنفيذه، يمكن أن تقدم مراقبة العمليات التنبؤية نصائح مفيدة للغاية في هذه الحالات المعقدة.

استناداً إلى الاعتبارات السابقة، نقترح في هذه الورقة نهجاً لمراقبة العمليات التنبؤية لآثار العمليات الطبية؛ ووفقاً لأحدث التطورات في الأدبيات، نعتمد على استغلال بنية التعلم العميق المعروفة باسم Transformer، وهي بنية تعتمد على آلية الانتباه الذاتي (vaswani2017attention)، والتي أظهرت بالفعل فائدتها في نمذجة المهام المماثلة، كما هو موضح في (processtransformer). تكمن مساهمتنا الرئيسية في تقديم تقنية تدمج المعرفة التخصصية باستخدام أنطولوجيا. يتم تنفيذ هذا الدمج من خلال تقنية ترميز المواقع الهيكلية، مما يعزز دقة نموذجنا.

بينما النهج عام، فقد كنا مدفوعين بمجال تطبيق محدد اخترناه لتجاربنا، وهو مجال إدارة السكتة الدماغية. في هذا المجال، يمكن أن تقدم مراقبة العمليات التنبؤية مساهمة قيمة في اتخاذ القرارات الطبية. على سبيل المثال، يمكن أن تساعد في اختيار الدواء المناسب للتخثر، من خلال النظر في كيفية توازن المؤشرات وموانع الاستعمال للأدوية المتاحة في الآثار السابقة (Xu:2020)، أو يمكن أن تساعد في تحديد ما إذا كان يجب تأكيد وجود نزيف تحت العنكبوتية من خلال أخذ إيجابيات وسلبيات البزل القطني في الاعتبار (eswa16)، دائماً مع الإشارة إلى الآثار المكتملة فعلياً. في الواقع، أظهرت التجارب الأولى التي أجريناها، والتي سيتم وصفها فيما يلي، نتائج مشجعة.

تنظم الورقة كما يلي: القسم [related] يقدم بعض الأعمال ذات الصلة. القسم [methods] يعرض بنية التعلم العميق التي نستغلها. القسم [experiments] يوضح إعداداتنا التجريبية والنتائج، بينما يخصص القسم [conclu] للاستنتاجات.

الأعمال ذات الصلة

لقد تم دعم عملية المراقبة التنبؤية من خلال أنواع مختلفة من تقنيات التعلم الآلي، مثل أنظمة الانتقال (Le2012)، ونماذج ماركوف المخفية (Lakshmanan2015)، وآلات الدعم المتجهة (Cabanillas:2014). ومع ذلك، في النهج الأحدث، يتم تطبيق هياكل التعلم العميق، والتي تمثل حالياً الحالة الفنية الرائدة في هذا المجال.

تم اقتراح هياكل تعلم عميق مختلفة للتعامل مع مهمة التنبؤ بالنشاط التالي. النهج في (Mehdiyev)، على سبيل المثال، يستخدم المشفرات التلقائية (Hinton). في مراقبة التنبؤ، يمكن للمشفرات التلقائية تقليل عدد السمات للأنشطة المدخلة بنجاح؛ ومع ذلك، فهي غير قادرة على معالجة الاعتماديات الطويلة (الزمنية) بين أنشطة أثر معين. تم تطبيق الشبكات العصبية التلافيفية (CNNs) في (Alom)، حيث تمت معالجة البيانات التسلسلية في آثار العمليات كشـبكة أحادية البعد (Appice).

نظراً للطبيعة التسلسلية للآثار، فإن الشبكات العصبية المتكررة (RNNs) (Pascanu) تمثل على الأرجح الحل الأكثر طبيعية. في الواقع، يمكن للشبكات المتكررة التقاط الاعتماديات الأطول بين أنشطة الأثر، بينما في الشبكة التلافيفية يعتمد النشاط على الأنشطة الأخيرة فقط، حيث يكون k هو حجم النواة. ضمن الشبكات المتكررة، تمثل شبكات الذاكرة طويلة الأمد (LSTM) (Hochreiter) نهجاً فعالاً بشكل خاص. في الواقع، يمكن لشبكات الذاكرة طويلة الأمد تعلم الديناميكيات المعقدة ضمن الترتيب الزمني للتسلسلات المدخلة؛ لذلك، فهي مناسبة جيداً لإدارة البيانات التسلسلية لسجلات نشاط العمليات. كما أنها يمكن أن تدير الاعتماديات طويلة المدى بين الأنشطة، حيث تنفذ ذاكرة طويلة الأمد تتدفق فيها المعلومات من خلية إلى أخرى بتغيرات طفيفة، محافظة على جوانب معينة ثابتة أثناء معالجة جميع المدخلات. الأعمال في (Evermann,Tax,Camargo,lstm-rev)، على سبيل المثال، تعتمد على شبكات الذاكرة طويلة الأمد للتنبؤ بالنشاط التالي لحالة جارية.

وبشكل مماثل لشبكات الذاكرة طويلة الأمد، تقوم الشبكات المتكررة الموصدة (GRUs) (cho2014learning) أيضاً بإنشاء مسارات عبر الزمن تسمح بتدفق التدرجات بعمق أكبر في التسلسل مقارنة بالشبكات المتكررة الأساسية؛ مقارنة بشبكات الذاكرة طويلة الأمد، لديها عدد أقل من المعلمات. يتم استغلال الشبكات المتكررة الموصدة في، على سبيل المثال، (Hinkka) للمراقبة التنبؤية.

بدلاً من ذلك، في (khan:2019)، يتم اقتراح شبكة عصبية معززة بالذاكرة (MANN). تسمح الشبكات العصبية المعززة بالذاكرة بتعلم الاعتماديات الأطول؛ التدريب أكثر تكلفة، ولكن الشبكات العصبية المعززة بالذاكرة مناسبة للآثار الطويلة جداً، أو عندما قد تؤدي دورات النشاط نفسها إلى نسيان/تجاهل الشبكات المتكررة الموصدة أو شبكات الذاكرة طويلة الأمد للأنشطة الموجودة في بداية الأثر.

النهج الذي يرتبط ارتباطاً وثيقاً بنهجنا هو في (Philipp:20,processtransformer)، والذي يعتمد على المحول، وهي بنية تحل محل التكرار بآلية الانتباه (vaswani2017attention). بشكل خاص، تتبنى هذه الأعمال الانتباه متعدد الرؤوس، أي أنها تؤدي عملية الانتباه على أجزاء مختلفة من التسلسل في وقت واحد، وبدلاً من تدريب بنية المشفر-المفكك كما في (vaswani2017attention)، فإنها تعتمد فقط على جزء المفكك. أما بالنسبة لإدراج المعرفة التخصصية الخارجية على شكل رسوم بيانية، فقد تم استكشاف هذا النهج في بعض الأعمال، مثل (graphiT,gnn-benchmark-pe,di2017eye)، بهدف إثراء الأمثلة المبنية على التسلسل بمعلومات هندسية مشتقة من هيكل رسومي. مثال على ذلك هو الجمع بين هياكل البروتينات مع الترتيب الهندسي للجزيئات. كما تم استخدام النهج المدفوع بالمعرفة في العديد من الأعمال التي تشمل المحولات المدربة مسبقاً (مثل BERT) من أجل محاذاة النموذج مع مجال معرفي محدد من خلال الأنطولوجيا ورسوم المعرفة (kbert,pretrain). لسنا على علم بأعمال سابقة تضمنت ترميز المواقع الهيكلية للمعرفة التخصصية في مراقبة العمليات التنبؤية.

المنهجيات

في الأقسام التالية، سنقدم البنية الأساسية لنموذج المحول الذي نستخدمه. بعد ذلك، سنصف الطريقة التي تمكننا من استغلال أنطولوجيا الأنشطة باستخدام ترميز الموقع الهيكلي، والذي يعتمد على تقنية ترميز قيم الطيف للابلاسي (gnn-benchmark-pe).

المحول لـ PPM

تعتمد بنية نموذجنا على المفكك في المحول (Philipp:20, processtransformer). يتكون مدخل النموذج من تسلسل \(S = \{a_1, ..., a_i, ..., a_n\}\) (يمثل أثراً) حيث يمثل كل عنصر من السلسلة نشاطاً قادماً من مجموعة \(A\) من الأنشطة الممكنة. فيما يلي، نصف مكونات النموذج وكيفية معالجة المدخلات.

طبقة التضمين: تأخذ \(S\) كمدخل وتعيد متجهاً بأبعاد \(\mathbb{R}^d\) لكل نشاط \(a_i\). في هذه المرحلة، تكون عيناتنا على الشكل \(X \in \mathbb{R}^{n \times d}\).

الترميز الموضعي: تتحمل هذه الطبقة مسؤولية إضافة معلومات حول موضع كل نشاط إلى التضمين الذي يمثله. في هذه الورقة، اختبرنا نسختين من الترميز الموضعي. النسخة الأولى (PE من الآن فصاعداً)، الموصوفة في (vaswani2017attention)، تستخدم دالتي جيب التمام وجيب الزاوية للحصول على تمثيل يحترم ترتيب الأنشطة ضمن التسلسل الواحد. النسخة الثانية هي الترميز الموضعي الهيكلي (SPE من الآن فصاعداً)، والذي يدمج المعرفة من رسم بياني \(G\) (في حالتنا، الرسم البياني هو أنطولوجيا الأنشطة، ويوصف في القسم [sub:spe]). يُولَّد الترميز الموضعي متجهاً لكل نشاط في تسلسل يُضاف إلى التضمين الأصلي كما يلي: \[\begin{gathered} X = \begin{cases} X + PE(X) & \text{لطريقة PE} \\ X + SPE(X,G) & \text{لطريقة SPE} \end{cases}\end{gathered}\]

طبقة الانتباه متعدد الرؤوس: تمكن هذا المكون النموذج من الانتباه انتقائياً إلى أجزاء مختلفة من التسلسل وإيجاد الاعتماديات طويلة المدى. لهذا الغرض، تولد طبقة الانتباه الذاتي (vaswani2017attention) ثلاثة تمثيلات \(Q,K,V\) لكل نشاط في التسلسل \(S\). بعد ذلك، تطبق الانتباه المنتج للنقاط المضروبة المعيارية: \[H = softmax\left(\frac{QK^T}{\sqrt{d}} \right) V\] تتم هذه العملية بالتوازي على رؤوس انتباه متعددة لتعلم أنواع مختلفة من الاعتماديات. يتم دمج التمثيلات الناتجة لإنتاج المخرجات النهائية. لاحظ أنه، نظراً لأن المهمة هي التنبؤ بالرمز التالي في التسلسل (في تطبيقنا، النشاط التالي في الأثر)، خلال عملية الانتباه الذاتي نطبق قناعاً بحيث يمكن لنشاط أن ينتبه فقط للأنشطة السابقة، ويتجاهل تلك التي تليه. يضاف المخرج أخيراً إلى المدخل \(X\) باستخدام اتصال تخطي.

تطبيع الطبقة: تُستخدم هذه الطبقة للتخفيف من ظواهر تلاشي أو انفجار التدرجات أثناء مرحلة تدريب النموذج. تتضمن العملية أن تكون التنشيطات مركزة حول متوسط الصفر والتباين الوحدة مما يجعل التحسين أكثر استقراراً (layernorm). في تنفيذنا، لجأنا إلى تكوين Pre-LN حيث يتم وضع تطبيع الطبقة داخل الكتل المتبقية مما يحسن من تقارب النموذج (preln).

أخيراً، يتم تمرير \(X\) من خلال طبقتين متصلتين بالكامل، حيث تعمل الطبقة النهائية كمفكك، مما يعكس التمثيلات إلى بعد مكافئ لعدد الأنشطة المحتملة.

ترميز الموقع الهيكلي

يعتمد ترميز الموقع الهيكلي على رسم بياني يمثل أنطولوجيا تشفر العلاقات بين الأنشطة. تسمح هذه الأنطولوجيا بدمج المعرفة التخصصية في نموذج الذكاء الاصطناعي، بهدف تحسين قدرات التنبؤ للنظام. بشكل خاص، تهدف الأنطولوجيا إلى تجميع الأنشطة المشاركة في أهداف تشخيصية أو علاجية مماثلة. يتم تحقيق ذلك من خلال تمثيل تصنيفي، حيث توضع الأنشطة المشاركة في أهداف مماثلة في علاقة "قريبة" (بمسار أقصر للوصول من واحدة إلى أخرى). تم تعريف الأنشطة وعلاقاتها بالتعاون مع أخصائيي الأعصاب الخبراء، استناداً إلى خبرتهم ووفقاً لتوصيات الإرشادات (stroke_2017).

لتنفيذ ودمج هذه الأنطولوجيا، قمنا بترميزها كرسم بياني واعتمدنا على تقنية متجهات القيم الذاتية للابلاسيان (laplacian-eigenmaps)، والتي تُستخدم لحساب تضمينات العقد، مما ينتج عنه متجه لكل فعل (أي عقدة) يشفر موقعه في الرسم البياني. يضمن ذلك أن العقد القريبة من بعضها تمتلك تضمينات مماثلة. خلال مرحلة التدريب، يتم إضافة تمثيلات هذه العقد إلى تضمينات الرمز المميز، قبل طبقة الانتباه متعدد الرؤوس (بطريقة ترميز الموقع). يثري هذا التعزيز تمثيلات المحول بالمعلومات العلاقية المتأصلة في الأنطولوجيا. يمكن ذلك النموذج من تعلم أنواع إضافية من التفاعلات بين الأنشطة. سنقوم بإعطاء وصف أكثر رسمية للعمليات التي تتم خلال هذه المرحلة.

الرسم البياني \(G=(V,E)\) الذي يمثل الأنطولوجيا منظم على النحو التالي: \(V\) يمثل العقد، واحدة لكل نشاط في المجموعة \(A\) (عقد النشاط)، إلى جانب بعض العقد التي تمثل "نوع النشاط" (عقد نوع النشاط). \(E\) تلتقط مجموعة الحواف، التي تربط عقد النشاط بعقد نوع النشاط. ترتبط عقد نوع النشاط معاً بحيث يكون الرسم البياني متصلاً بشكل عام. يتم تعريف متجهات القيم الذاتية للابلاسيان بتحليل مصفوفة لابلاسيان الرسم البياني: \[\Delta = I - D^{-\frac{1}{2}} A D^{-\frac{1}{2}} = U^T \Lambda U\] حيث \(I\) هي مصفوفة الهوية، \(A \in \mathbb{R}^{n \times n}\) بفرض \(n = |V|\) هي مصفوفة الجوار حيث \(A_{ij} = 1\) إذا كانت العقدة \(i\) والعقدة \(j\) متصلتين بحافة (أي توصّل الرسم البياني) و\(D \in R^{n \times n}\) حيث \(D_{ii} = \sum_{i=1}^n A_{ij}\) هي مصفوفة قطرية تمثل درجة كل رأس في \(G\)؛ \(\Lambda\), \(U\) تدل على القيم الذاتية والمتجهات الذاتية على التوالي. التضمين لعقدة \(i\) هو متجه \(\lambda_i \in \mathbb{R}^k\) معرف كمكونات المتجه الذاتي الأصغر غير التافهة \(k\) لتلك العقدة (generalization-transformers). وأخيراً، لدمج تضمين العقدة \(\lambda_i \in \mathbb{R}^k\) في تضمين النشاط المقابل \(X_i \in \mathbb{R}^d\)، نستخدم طبقة متصلة بالكامل \(\Theta \in \mathbb{R}^{k\times d}\) لضمان التوافق بين أحجام التضمين.

التجارب

خلال تجاربنا، طبقنا النموذج على مجموعة بيانات تتعلق بإدارة السكتة الدماغية. تحتوي مجموعة البيانات على 5342 سجل عمليات بمتوسط 15 نشاطاً و82 نشاطاً ممكناً (انظر الجدول [tab:traces_stats] لبعض الإحصائيات حول السجلات). نظراً لأن الحالات تختلف في الأطوال، قمنا بتطبيق التعبئة لضمان أن جميع التسلسلات لديها نفس عدد الأنشطة (أي طول أطول تسلسل). بالإضافة إلى ذلك، أضفنا رمزين خاصين يشيران إلى "بداية التسلسل" و"نهاية التسلسل" في بداية ونهاية كل حالة. تم تحليل الأنطولوجيا المرتبطة بالعملية للحصول على رسم بياني يحتوي على 110 عقدة و111 حافة.

تم تدريب نموذج المحول بطريقة نمذجة اللغة التلقائية العكسية للتنبؤ بـ "النشاط التالي" بناءً على السياق (أي الأنشطة السابقة في التسلسل). تتضمن عملية التدريب محاولة النموذج التنبؤ بالنشاط التالي بناءً على بداية التسلسل. الدالة الخسارة المطبقة هي خسارة الانتروبيا المتقاطعة بين توزيع احتمالية النموذج المتوقع على جميع الأنشطة الممكنة والرموز الحقيقية في بيانات التدريب. من الجدير بالذكر أنه خلال مرحلة التدريب، تم استبعاد الأمثلة التي تحتوي على رموز التعبئة أو رموز "بداية التسلسل" من حساب الخسارة. هذا يضمن أن النموذج يتجاهل هذه الأمثلة أثناء حساب التدرج مما يمنع تدهور أداء النموذج المحتمل. بدلاً من ذلك، قررنا الاحتفاظ برموز "نهاية الجملة" حتى يتمكن النموذج من تعلم التنبؤ بموعد انتهاء تسلسل الأنشطة.

قمنا بتقسيم البيانات بنسبة 80/10/10 (تدريب، تحقق، واختبار). قمنا بضبط معلمات النموذج الفائقة باستخدام إطار عمل التحسين Optuna (optuna). يوضح الجدول [tab:grid-search] مساحة البحث المعتمدة وأفضل المعلمات الموجودة.

خلال تجاربنا (انظر الجدول [tab:results])، هدفنا إلى مقارنة كيفية أداء النموذج باستخدام طريقتين مختلفتين لترميز المواقع (PE و SPE) وأحجام نموذج مختلفة. كما شملنا نموذجاً أساسياً تخطينا فيه مرحلة PE. لكل تكوين نموذج، أجرينا 10 تجارب مع تقسيمات تدريب-تحقق-اختبار عشوائية وتهيئة. ثم أبلغنا عن المتوسط والانحراف المعياري للدقة عند \(k\). تظهر النتائج أن هناك فائدة واضحة في استخدام طريقة SPE، والتي تحسن أداء النموذج بشكل كبير عبر جميع أحجام النموذج. بالإضافة إلى ذلك، فإن مقاييس النموذج مستقرة إلى حد ما وتتشبع عند حجم نموذج 64، وتتحسن فقط بشكل طفيف باستخدام تضمين بحجم 128. هذا يشير إلى أن النموذج لا يميل إلى الإفراط في التراكم.

من النتائج المهمة الأخرى أن النموذج لا يبدو أنه يستفيد من طريقة PE الكلاسيكية التي ترمز فقط إلى ترتيب الأنشطة (isa). قد يكون هذا بسبب طبيعة هذه العمليات، حيث يعتمد النشاط التالي أكثر على الأنشطة التي تم تنفيذها فعلياً بدلاً من ترتيبها التسلسلي. هذا يشير أيضاً إلى سبب استفادة النموذج من تقنية SPE: من المرجح أن يتم تنفيذ الأنشطة من نوع مماثل في قرب متقارب. نتيجة لذلك، فإن المعلومات السياقية حول موقع نشاط ضمن الرسم البياني للأنطولوجيا الذي يصف العلاقات بين الأنشطة في العملية أكثر فائدة من موقعه ضمن تسلسل فردي.

الاستنتاجات

تقدم هذه الورقة نهجاً لمراقبة العمليات التنبؤية، وتطبيقها بشكل خاص في مجال إدارة السكتة الدماغية المعقدة. من خلال الاستفادة من قوة النماذج المبنية على المحولات، أظهرنا الإمكانات للتنبؤ الدقيق بالمعلومات الحرجة ضمن سجلات العمليات الجارية. الابتكار الرئيسي لدينا، دمج المعرفة التخصصية من خلال ترميز المواقع الهيكلية، قد أظهر زيادة في دقة التنبؤ.

النتائج التجريبية الأولية المقدمة في هذه الدراسة مشجعة، وتشير إلى فعالية نهجنا المقترح. تشير هذه النتائج إلى أن مراقبة العمليات التنبؤية، باستخدام النماذج المبنية على المحولات والمعرفة الأنطولوجية التخصصية، تحمل إمكانات كبيرة في توفير دعم قرار قيم في السيناريوهات الطبية المعقدة.

في المستقبل، ستكون الأبحاث والتجارب الإضافية حاسمة للتحقق من صحة نهجنا وتحسينه. على وجه الخصوص، نود أن نجرب تقنيات تضمين مختلفة لعقد الرسم البياني، واستكشاف هذه المنهجية باستخدام مجموعات بيانات مختلفة، حيث يمكننا استكشاف الجوانب الزمنية بعمق.

الشكر والتقدير

نود أن نشكر (chameleon) لتوفير الموارد الحاسوبية الأساسية التي سهلت تنفيذ تجاربنا وتدريب نموذجنا. كريستوفر إروين وماركو دوسينا هما طالبان دكتوراه مسجلان في الدكتوراه الوطنية في الذكاء الاصطناعي، الدورة الثامنة والثلاثون، دورة علوم الصحة والحياة، التي تنظمها جامعة كامبوس بيو-ميديكو دي روما.

توفر الكود

الكود المصدري لنموذج المحول وتنفيذ وحدة (SPE) متاح على: github.com/christopher-irw/proformer_ce. يحتوي المستودع على الكود اللازم لتدريب نموذج المحول على تحدي (BPI 2012). نوفر أيضاً مثالاً لأنطولوجيا بسيطة جداً للأفعال الموجودة في مجموعة البيانات لجعل طريقة (SPE) قابلة للتطبيق.