فِي أَيّ وَقْتٍ، فِي أَيّ مَكانٍ، لِأَيّ شَخْصٍ: دِراسَةُ جَدْوَى نَمُوذَج Segment Anything لِتَجْمِيعِ تَعْلِيقَاتِ الصُوَرِ الطِبِّيَّةِ بِواسِطَةِ الجُمْهُورِ

Pranav Kulkarni Adway Kanhere Dharmam Savani Andrew Chan
Devina Chatterjee Paul H. Yi Vishwa S. Parekh
مَرْكَز University of Maryland Medical Intelligent Imaging (UM2ii)
كُلِّيَّة الطِبِّ بِجامِعَة ماريلاند، بالتيمور، MD 21201
{pkulkarni,akanhere,dsavani,andrew.chan,devinachatterjee,pyi,vparekh}@som.umaryland.edu

LaTeX

مُلَخَّص

تَجْمِيعُ التَعْلِيقَاتِ لِتَجْزِئَةِ الصُّوَرِ الطِّبِّيَّةِ هُوَ مَهَمَّةٌ تَسْتَغْرِقُ وَقْتًا طَوِيلًا وَتَتَطَلَّبُ خِبْرَةً فِي المَجَالِ، مِمَّا يُؤَدِّي إِلَى اسْتِعْمَالِ نَمَاذِجِ التَّعَلُّمِ العَمِيقِ (Deep Learning؛ DL) التَّقْلِيدِيَّةِ المُرَكَّزَةِ بِشَكْلٍ ضَيِّقٍ وَذَاتِ قِيمَةٍ تَرْجَمِيَّةٍ سَرِيرِيَّةٍ مَحْدُودَةٍ. مُؤَخَّرًا، أَحْدَثَتْ النَّماذِجُ الأَسَاسِيَّةُ الكَبِيرَةُ مِثْلَ نَمُوذَجِ Segment Anything Model (SAM) ثَوْرَةً فِي التَّجْزِئَةِ الدَّلالِيَّةِ بِقُدْرَةِ تَعْمِيمٍ اسْتِثْنَائِيَّةٍ بِدُونِ تَدَخُّلٍ مُسْبَقٍ عَبْرَ مُخْتَلِفِ المَجَالاتِ، بِمَا فِي ذَلِكَ التَّصْوِيرُ الطِّبِّيُّ، مِمَّا يُبَسِّطُ جِدًّا عَمَلِيَّةَ تَعْلِيقِ الصُّوَرِ. وَمَعَ ذَلِكَ، لَمْ يُقَيَّمْ SAM بَعْدُ فِي سِيَاقِ تَجْمِيعِ الجُمْهُورِ لِتَوْلِيدِ التَّعْلِيقَاتِ اللَّازِمَةِ لِتَدْرِيبِ نَمَاذِجِ التَّجْزِئَةِ الثُّلاثِيَّةِ الأَبْعَادِ (3D DL). فِي هذَا العَمَلِ، نَسْتَكْشِفُ إِمْكَانِيَّاتِ SAM لِتَجْمِيعِ تَعْلِيقَاتٍ "مُتَفَرِّقَةٍ" مِن قِبَلِ غَيْرِ الخُبَرَاءِ لِإِنْتَاجِ أَقْنِعَةِ تَجْزِئَةٍ "كَثِيفَةٍ" لِتَدْرِيبِ نَمَاذِجِ 3D nnU-Net، وَهُوَ نَمُوذَجُ تَجْزِئَةٍ حَدِيثٌ لِلتَّعَلُّمِ العَمِيقِ. تُظْهِرُ نَتَائِجُنَا أَنَّ التَّعْلِيقَاتِ المُولَّدَةَ بِوَاسِطَةِ SAM تُحَقِّقُ قِيَمَ Dice مُتَوَسِّطَةً إِلَى عَالِيَةٍ مُقَارَنَةً بِالتَّعْلِيقَاتِ الأَصْلِيَّةِ، وَلَكِنَّ النَّمَاذِجَ nnU-Net المُدَرَّبَةَ عَلَى التَّعْلِيقَاتِ المُولَّدَةِ مِنْ قِبَلِ SAM تُقَدِّمُ أَدَاءً أَسْوَأَ بِشَكْلٍ مَلْحُوظٍ مُقَارَنَةً بِنَمَاذِجِ nnU-Net المُدَرَّبَةَ عَلَى التَّعْلِيقَاتِ الأَصْلِيَّةِ (\(p<0.001\)، جَمِيعُهَا).

المُقَدِّمَة

تُعْتَبَرُ تَجْزِئَةُ الصُّوَرِ الطِّبِّيَّةِ مِن أَهَمِّ المَهَامِ فِي دَعْمِ اتِّخَاذِ القَرَارَاتِ السَّرِيرِيَّةِ بِالاعْتِمَادِ عَلَى الحَاسُوبِ، حَيْثُ تُشَكِّلُ الأُسُسَ لِلْعَدِيدِ مِنَ التَّطْبِيقَاتِ اللاحِقَةِ، بَدْءًا مِنَ التَّشْخِيصِ وَحَتَّى التَّخْطِيطِ لِلْعِلاجِ وَتَقْيِيمِ الاسْتِجَابَةِ العِلَاجِيَّةِ. وَمَعَ ذَلِكَ، يَتَطَلَّبُ تَطْوِيرُ نَمَاذِجِ تَجْزِئَةِ الصُّوَرِ الطِّبِّيَّةِ خُبَيْرًا مِتْقَنًا فِي المَجَالِ (مِثْلَ أَخِصَّائِيِ الأَشِعَّةِ) لِتَوْفِيرِ تَعْلِيقَاتٍ يَدَوِيَّةٍ لِعَدِيدٍ مِنَ الأَجْسَامِ الهَامَّةِ فِي مَجْمُوعَاتِ بَيَانَاتٍ تَدْرِيبِيَّةٍ تَتَكَوَّنُ مِن مِئَاتِ المَرْضَى، مِمَّا يَجْعَلُهَا مَهَمَّةً شَاقَّةً وَيَسْتَغْرِقُ وَقْتًا طَوِيلًا (diaz2022monai, sebro2023totalsegmentator, wasserthal2023totalsegmentator). نَتِيجَةً لِذَلِكَ، فَإِنَّ أَغْلَبَ مَجْمُوعَاتِ البَيَانَاتِ وَنَمَاذِجِ التَّجْزِئَةِ الَّتِي نُشِرَتْ فِي الأَدَبِ السَّابِقِ تُرَكِّزُ بِشَكْلٍ ضَيِّقٍ عَلَى المَهَمَّةِ الْمَطْلُوبَةِ فَقَطْ، مِمَّا يَقِلِّلُ مِن قِيمَتِهَا التَّرْجَمِيَّةَ السَّرِيرِيَّةَ.

لِمُواجَهَةِ هذَا التَّحَدِّي، اقْتُرِحَتْ فِي السَّنَوَاتِ الأَخِيرَةِ نَهْجِيَّاتٌ مُتَعَدِّدَةٌ يَسْتَطِيعُ مِنْ خِلَالِهَا المُسْتَخْدِمُونَ تَوْفِيرَ تَعْلِيقَاتٍ "مُتَفَرِّقَةٍ" تَقِلُّ فِي وَقْتِ الإِنْشَاءِ، مِثْلَ الخَرْبَشَاتِ وَمُرَبَّعَاتِ الحُدُودِ، لِتَحْفِيزِ نَمُوذَجٍ تَعَلُّمٍ عَمِيقٍ مُدَرَّبٍ مُسْبَقًا (DL) لِإِنْشَاءِ تَعْلِيقَاتٍ "كَثِيفَةٍ" مُمَاثِلَةٍ لأَقْنِعَةِ الحُدُودِ التَّفْصِيلِيَّةِ (diaz2022monai, ronneberger2015u, huang2018weakly). وَرَغْمَ أَنَّ هذِهِ النُّهُجَ أَظْهَرَتْ تَقْلِيلًا كَبِيرًا فِي وَقْتِ التَّعْلِيقِ لِكُلِّ جِسْمٍ، إِلَّا أَنَّهَا مَا زَالَتْ تَتَطَلَّبُ مِنَ الخَبِيرِ لَا فَقَطْ إِنْشَاءَ هذِهِ التَّعْلِيقَاتِ بِشَكْلٍ تَفَاعُلِيٍّ، بَلْ أَيْضًا تَحْسِينَهَا وَالْتَحَقُّقَ مِن صِحَّتِهَا (diaz2022monai). لِذَلِكَ، ثَمَّتْ حَاجَةٌ مَلِّحَةٌ لِوَضْعِ أُطُرٍ لِتَنْقِيحِ مَجْمُوعَاتِ البَيَانَاتِ لِتَجْزِئَةِ الصُّوَرِ الطِّبِّيَّةِ تُمَكِّنُ غَيْرَ الْخُبَرَاءِ مِنْ تَعْلِيقِهَا بِتَعْلِيقَاتٍ مُتَفَرِّقَةٍ دُونَ الْحَاجَةِ إِلَى تَدَخُّلٍ خَبِيرٍ.

مُؤَخَّرًا، أَحْدَثَتْ نَمَاذِجُ الأُسُسِ الكَبِيرَةُ لِلتَّعَلُّمِ العَمِيقِ المُدَرَّبَةِ بِطَرِيقَةِ الإشْرَافِ الذَّاتِيِّ عَلَى مَجْمُوعَاتِ بَيَانَاتٍ وَاسِعَةِ النِّطَاقِ تَتَخَطَّى المِليارَ عَيِّنَةً ثَوْرَةً فِي مَجَالِ الرُّؤْيَةِ الحَاسُوبِيَّةِ، بِفَضْلِ قَابِلِيَّتِهَا العَامَّةِ القَوِيَّةِ دُونَ الحَاجَةِ إِلَى تَحْسِينٍ خَاصٍ (kirillov2023segment, ma2024segment, butoi2023universeg). وَهذَا يَعْنِي أَنَّهَا لا تَحْتَاجُ إِلَى إِعَادَةِ تَدْرِيبٍ مُتَخَصِّصٍ لِلْمَهَامِّ الطِّبِّيَّةِ وَيُمْكِنُ تَشْغِيلُهَا مُبَاشَرَةً "خَارِجَ الصُّنْدُوقِ". نَمُوذَجُ تَجْزِئَةِ أَيِّ شَيْءٍ (SAM) هُوَ أَحَدُ هذِهِ النَّمَاذِجِ الأَسَاسِيَّةِ المَفْتُوحَةِ المَصْدَرِ، المَبْنِيِّ عَلَى مُحَوِّلَاتِ الرُّؤْيَةِ (ViTs)، وَيَمْتَازُ بَقُدْرَتِهِ عَلَى التَّجْزِئَةِ الدَّلالِيَّةِ بِدُونِ الحَاجَةِ إِلَى تَحْسِينٍ خَاصٍّ (kirillov2023segment, dosovitskiy2020image). يَعْمَلُ SAM مِن خِلَالِ تَحْفِيزِ الصُّورِ تَفَاعُلِيًّا بِتَعْلِيقَاتٍ مُتَفَرِّقَةٍ، مِثْلَ النِّقَاطِ أَوِ مُرَبَّعَاتِ الحُدُودِ، لِإِنْتَاجِ أَقْنِعَةِ تَجْزِئَةٍ "كَثِيفَةٍ".

تُشِيرُ الأَدَبِيَّاتُ الحَدِيثَةُ إلى أنَّ SAM يَحْمِلُ وَعْدًا كَبِيرًا لِتَعْلِيقِ مَجْمُوعَاتِ البَيَانَاتِ الطِّبِّيَّةِ باسْتِخْدَامِ تَعْلِيقَاتٍ مُتَفَرِّقَةٍ (cheng2023sam, bui2023sam3d, quan2024slide, deng2023sam, mazurowski2023segment, ma2024segment). وَمَعَ ذَلِكَ، يَظَلُّ النَّهْجُ الْحَالِيُّ مَقْيَدًا بِتَقْيِيمِ SAM فِي بِيئَاتٍ مُحَاكاةٍ بَدَلًا مِنْ اتِّحَادٍ وَاقِعِيٍّ مَصْدَرُهُ الجُمْهُورُ، وَلَمْ تُقَيَّمْ بَعْدُ فَعَّالِيَّةُ التَّعْلِيقَاتِ الَّتِي يُنتِجُهَا SAM فِي تَدْرِيبِ نَمَاذِجِ التَّجْزِئَةِ ثُلَاثِيَّةِ الأَبْعَادِ. الغَرَضُ مِنْ هذِهِ الدِّرَاسَةِ هُوَ 1) تَقْيِيمُ أَدَاءِ SAM فِي جَمْعِ التَّعْلِيقَاتِ عَلَى مَجْمُوعَاتِ البَيَانَاتِ الطِّبِّيَّةِ بِوَاسِطَةِ مُعَلِّقِينَ غَيْرِ خُبَرَاءِ، وَ2) التَّحَقُّقُ مِنْ إِمْكَانِيَّةِ اسْتِخْدَامِ التَّعْلِيقَاتِ الَّتِي يُنتِجُهَا SAM فِي تَدْرِيبِ نَمَاذِجِ التَّجْزِئَةِ الثُّلاثِيَّةِ الأَبْعَادِ.

الطُرُق

تُعْتَبَرُ هذِهِ دِرَاسَةً اسْتِرْجَاعِيَّةً اعْتَمَدَتْ عَلَى مَجْمُوعَاتِ بَيَانَاتٍ مَتَاحَةٍ لِلْعَامَّةِ، وَقَدْ حَازَتْ مَوَافَقَةَ لَجْنَةِ المُرَاجَعَةِ المُؤَسَّسِيَّةِ لَدَيْنَا بَعْدَ إِعْلَانِ أَنَّهَا بَحْثٌ لا يَشْمَلُ أَشْخَاصًا. يُمْكِنُ الوُصُولُ إِلَى الكودِ البَرْمَجِيِّ عَنْ طَرِيقِ: https://github.com/UM2ii/SAM_DataAnnotation

نَمُوذَجُ تَجْزِئَةِ أَيِّ شَيْءٍ

نَمُوذَجُ Segment Anything هُوَ نَمُوذَجٌ أَسَاسِيٌّ فِي رُؤْيَةِ الحاسُوبِ لِلتَّجْزِئَةِ الدَّلالِيَّةِ، يَعْتَمِدُ عَلَى المُحَوِّلَاتِ البَصَرِيَّةِ (ViTs) (kirillov2023segment, dosovitskiy2020image). يَتَكَوَّنُ مِن مُشَفِّرِ صُوَرٍ يَسْتَخْرِجُ الخَصَائِصَ مِنَ الصُّورَةِ لِإِنْشَاءِ التَّضْمِينَاتِ، وَمُشَفِّرِ تَلْمِيحَاتٍ يُحَوِّلُ التَّعْلِيقَاتِ "المُتَفَرِّقَةِ" (مِثْلَ النِّقَاطِ وَصَنَادِيقِ التَّحْدِيدِ) إِلَى تَضْمِينَاتٍ مَكْمَلَةٍ، وَمُفَكِّكِ قِنَاعٍ يَسْتَخْدِمُ تِلْكَ التَّضْمِينَاتِ لِإِنْتَاجِ أَقْنِعَةِ تَجْزِئَةٍ "كَثِيفَةٍ" لِلْعَنَاصِرِ الهَامَّةِ فِي الصُّورَةِ. تَمَّ تَدْرِيبُ نَمُوذَجِ Segment Anything عَلَى مَجْمُوعَةِ بَيَانَاتٍ وَاسِعَةِ النِّطَاقِ تَضُمُّ أَكْثَرَ مِنْ 11 مِلْيُونَ صُورَةٍ وَأَكْثَرَ مِنْ 1 مِلْيَارِ قِنَاعِ تَجْزِئَةٍ، مِمَّا يَمْنَحُهُ قُدْرَةَ تَعْمِيمٍ عَالِيَةً دُونَ حَاجَةٍ إِلَى عَيِّنَاتٍ مُتَعَدِّدَةٍ لِمَهَامِّ التَّجْزِئَةِ الدَّلالِيَّةِ فِي مَجَالاتٍ مُتَنَوِّعَةٍ، بِمَا فِي ذَلِكَ التَّصْوِيرُ الطِّبِّيُّ (cheng2023sam, bui2023sam3d, deng2023sam, mazurowski2023segment, ma2024segment).