مشاركة عبر

مقاييس التقييم لتحليلات النص المخصصة للنماذج الصحية

  • مقالة

تنقسممجموعة البيانات إلى قسمين: مجموعة التدريب ومجموعة الاختبار. تُستخدم مجموعة التدريب لتدريب النموذج، بينما تُستخدم مجموعة الاختبار كاختبار للنموذج بعد التدريب لحساب أداء النموذج وتقييمه. لم يتم تقديم مجموعة الاختبار إلى النموذج من خلال عملية التدريب، للتأكد من اختبار النموذج على بيانات جديدة.

يُشغل تقييم النموذج تلقائياً بعد إكمال التدريب بنجاح. تبدأ عملية التقييم باستخدام النموذج المدرب للتنبؤ بالكيانات المعرفة من قبل المستخدم للمستندات في مجموعة الاختبار، ومقارنتها بتسميات البيانات المقدمة (التي تحدد أساس الحقيقة). تُعاد النتائج حتى تتمكن من مراجعة أداء النموذج. يتم تضمين الكيانات المعرفة من قبل المستخدم في عوامل التقييم في مكونات التعلم والقائمة؛ لا يتم أخذ تحليلات النص للكيانات التي تم إنشاؤها مسبقا في تقييم النموذج. للتقييم، تستخدم تحليلات النص المخصصة للصحة المقاييس التالية:

  • الدقة: يقيس مدى دقة / صحة نموذجك. وهي النسبة بين الإيجابيات المحددة بشكل صحيح (الإيجابيات الصحيحة) وجميع الإيجابيات المحددة. يعمل مقياس الدقة على كشف عدد الكيانات المتوقعة المسماة بشكلٍ صحيح.

    Precision = #True_Positive / (#True_Positive + #False_Positive)

  • الاسترجاع: يقيس قدرة النموذج على توقع الفئات الإيجابية الفعلية. وهو النسبة بين الإيجابيات الصحيحة المتوقعة وما وُضِع عليه علامة بالفعل. يكشف مقياس الاسترجاع عن مدى صحة عدد الكيانات المتوقعة.

    Recall = #True_Positive / (#True_Positive + #False_Negatives)

  • درجة F1: درجة F1 هي وظيفة تُعنى بالدقة والاسترجاع. وهناك حاجة إليها عند البحث عن إحداث توازن بين الدقة والاسترجاع.

    F1 Score = 2 * Precision * Recall / (Precision + Recall)

ملاحظة

تُحسب كل من الدقة والاسترجاع ودرجة F1 لكل كيان على حدة (تقييم على مستوى الكيان)، وللنموذج بشكل جماعي (تقييم على مستوى النموذج).

مقاييس التقييم على مستوى النموذج ومستوى الكيان

تُحسب كل من الدقة والاسترجاع ودرجة F1 لكل كيان على حدة (تقييم على مستوى الكيان)، وللنموذج بشكل جماعي (تقييم على مستوى النموذج).

تعريفات الدقة، والاسترجاع، والتقييم هي نفسها بالنسبة للتقييمات على مستوى الكيان وعلى مستوى النموذج. ومع ذلك، فإن أعداد الإيجابيات الصحيحة، الإيجابيات الخاطئة، والسلبيات الكاذبة قد تختلف. على سبيل المثال، خذ النص التالي بعين الاعتبار.

مثال

الطرف الأول من هذا العقد هو جون سميث، المقيم في 5678 طريق ماين، مدينة فريدريك، ولاية نبراسكا. والطريف الثاني هو فورست راي، المقيم في 123-345 طريق إنتيجير، مدينة كورونا، ولاية نيو مكسيكو. وهناك أيضاً فاني توماس المقيمة في 7890 طريق ريفر، مدينة كولورادو سبرينغز، ولاية كولورادو.

يمكن التوقع بما يلي من الكيانات النموذجية المستخرجة:

الكيان متوقع كـ النوع الفعلي
جون سميث الشخص الشخص
فريدريك الشخص المدينة
فورست المدينة الشخص
فاني توماس الشخص الشخص
كولورادو سبرينغز المدينة المدينة

التقييم على مستوى الكيان لكيان شخص

سيتألف النموذج من التقييم التالي على مستوى الكيان، بالنسبة للكيان الشخص:

المفتاح العدد التفسير
إيجابي صحيح 2 وقدتُنبيءبكل منجون سميث وفاني توماس على نحو صحيح على أنهما شخص.
إيجابية كاذبة 1 أما فريدريكفقد تُنبيء به على نحو غير صحيح باعتباره شخصبينما ينبغي أن يكون مدينة.
سلبية كاذبة 1 أما فورستفقد تُنبيء به على نحو غير صحيح باعتباره مدينةبينما ينبغي أن يكون شخصًا.
  • الدقة: #True_Positive / (#True_Positive + #False_Positive) = 2 / (2 + 1) = 0.67
  • الاسترجاع:#True_Positive / (#True_Positive + #False_Negatives) = 2 / (2 + 1) = 0.67
  • نتيجة F1:2 * Precision * Recall / (Precision + Recall) = (2 * 0.67 * 0.67) / (0.67 + 0.67) = 0.67

التقييم على مستوى الكيان لكيان المدينة

وسيتألف النموذج من التقييم التالي على مستوى الكيان، بالنسبة للكيان الشخص:

المفتاح العدد التفسير
إيجابي صحيح 1 وقد تُنبئبكولورادو سبرينغزعلى نحو صحيح باعتبارها مدينة.
إيجابية كاذبة 1 أما فورستفقد تُنبيء به على نحو غير صحيح باعتباره مدينةبينما ينبغي أن يكون شخصًا.
سلبية كاذبة 1 أما فريدريكفقد تُنبيء به على نحو غير صحيح باعتباره شخصبينما ينبغي أن يكون مدينة.
  • الدقة = #True_Positive / (#True_Positive + #False_Positive) = 1 / (1 + 1) = 0.5
  • الاسترجاع = #True_Positive / (#True_Positive + #False_Negatives) = 1 / (1 + 1) = 0.5
  • نتيجة F1 = 2 * Precision * Recall / (Precision + Recall) = (2 * 0.5 * 0.5) / (0.5 + 0.5) = 0.5

التقييم على مستوى النموذج للنموذج الجماعي

سيكون للنموذج التقييم التالي للنموذج بكليته:

المفتاح العدد التفسير
إيجابي صحيح 3 وقدتُنبيءبكل منجون سميث وفاني توماس على نحو صحيح على أنهما شخص. وقد تُنبئبكولورادو سبرينغزعلى نحو صحيح باعتبارها مدينة. هذا هو مجموع الإيجابيات الحقيقية لجميع الكيانات.
إيجابية كاذبة 2 أما فورستفقد تُنبيء به على نحو غير صحيح باعتباره مدينةبينما ينبغي أن يكون شخصًا. أما فريدريكفقد تُنبيء به على نحو غير صحيح باعتباره شخصبينما ينبغي أن يكون مدينة. هذا هو مجموع الإيجابيات الكاذبة لجميع الكيانات.
سلبية كاذبة 2 أما فورستفقد تُنبيء به على نحو غير صحيح باعتباره مدينةبينما ينبغي أن يكون شخصًا. أما فريدريكفقد تُنبيء به على نحو غير صحيح باعتباره شخصبينما ينبغي أن يكون مدينة. هذا هو مجموع السلبيات الكاذبة لجميع الكيانات.
  • الدقة = #True_Positive / (#True_Positive + #False_Positive) = 3 / (3 + 2) = 0.6
  • الاسترجاع = #True_Positive / (#True_Positive + #False_Negatives) = 3 / (3 + 2) = 0.6
  • نتيجة F1 = 2 * Precision * Recall / (Precision + Recall) = (2 * 0.6 * 0.6) / (0.6 + 0.6) = 0.6

تفسير مقاييس التقييم على مستوى الكيان

فماذا يعني في الواقع أن يكون مقياس نموذج معين عالي الدقة أو الاسترجاع؟

الاسترجاع الدقة الترجمة
درجة عالية درجة عالية يتم التعامل مع هذا الكيان بشكل جيد من قبل النموذج.
منخفض درجة عالية لا يمكن للنموذج دائما استخراج هذا الكيان؛ ولكنه عندما يفعل ذلك، فإنما يقوم به بثقة عالية.
درجة عالية درجة منخفضة يستخرج النموذج هذا الكيان بشكل جيد، ولكنه يفعل ذلك مع انخفاض الثقة حيث يُستخرج في بعض الأحيان باعتباره نوعًا آخر.
منخفض منخفض يُعالج هذا النوع من الكيان بشكل سيئ بواسطة النموذج، لأنه لا يتم استخراجه عادة. وحتى عندما يُستخرج، فإنه لا يكون بثقة عالية.

الإرشاد

بعد تدريب النموذج الخاص بك، سترى بعض الإرشادات والتوصية حول كيفية تحسين النموذج. من المستحسن أن يكون لديك نموذج يغطي جميع النقاط في قسم التوجيه.

  • تحتوي مجموعة التدريب على بيانات كافية: عندما يحتوي نوع الكيان على أقل من 15 مثيلًا مسمى في بيانات التدريب، يمكن أن يؤدي ذلك إلى دقة أقل بسبب عدم تدريب النموذج بشكل كاف على هذه الحالات. في هذه الحالة، ضع في اعتبارك إضافة المزيد من البيانات المسماة في مجموعة التدريب. يمكنك التحقق من علامة تبويب توزيع البيانات للحصول على مزيد من الإرشادات.

  • جميع أنواع الكيانات موجودة في مجموعة الاختبار: عندما تفتقر بيانات الاختبار إلى مثيلات مسماة لنوع كيان، قد يصبح أداء اختبار النموذج أقل شمولًا بسبب السيناريوهات غير المختبرة. يمكنك التحقق من علامة تبويب توزيع بيانات مجموعة الاختبار للحصول على مزيد من الإرشادات.

  • يتم موازنة أنواع الكيانات ضمن مجموعات التدريب والاختبار: عندما يتسبب تحيز أخذ العينات في تمثيل غير دقيق لتردد نوع الكيان، يمكن أن يؤدي ذلك إلى دقة أقل بسبب توقع النموذج أن يحدث نوع الكيان في كثير من الأحيان أو قليلًا جدًا. يمكنك التحقق من علامة تبويب توزيع البيانات للحصول على مزيد من الإرشادات.

  • يتم توزيع أنواع الكيانات بالتساوي بين مجموعات التدريب والاختبار: عندما لا يتطابق مزيج أنواع الكيانات بين مجموعات التدريب والاختبار، يمكن أن يؤدي ذلك إلى انخفاض دقة الاختبار بسبب تدريب النموذج بشكل مختلف عن كيفية اختباره. يمكنك التحقق من علامة تبويب توزيع البيانات للحصول على مزيد من الإرشادات.

  • التمييز غير الواضح بين أنواع الكيانات في مجموعة التدريب: عندما تكون بيانات التدريب متشابهة لأنواع الكيانات المتعددة، يمكن أن يؤدي ذلك إلى دقة أقل لأن أنواع الكيانات قد تسيء تصنيفها بشكل متكرر على أنها بعضها البعض. راجع أنواع الكيانات التالية وفكر في دمجها إذا كانت متشابهة. وإلا، أضف المزيد من الأمثلة لتمييزها بشكل أفضل عن بعضها البعض. يمكنك التحقق من علامة تبويب مصفوفة الارتباك لمزيد من الإرشادات.

مصفوفة الخطأ

مصفوفة الخطأ هي مصفوفة N x N المستخدمة لتقييم أداء النموذج، حيث N هو عدد الكيانات. تقارن المصفوفة التسميات المتوقعة مع التسميات المتوقعة من قبل النموذج. وهو ما يعطي نظرة شاملة لمدى أداء النموذج وأنواع الأخطاء التي يقوم بها.

يمكنك استخدام مصفوفة الخطأ لتحديد الكيانات القريبة جدا من بعضها البعض، والتي غالبا ما تكون عرضة للخطأ (الغموض). في هذه الحالة، خذ دمج هذه الأنواع من الكيانات معا بعين الاعتبار. إذا لم يكن ذلك ممكنا، ففكر في إضافة المزيد من الأمثلة المعلمة لكلا الكيانين لمساعدة النموذج على التفريق بينهما.

القطر المميز في الصورة أدناه هو الكيانات المتوقعة بشكل صحيح، حيث العلامة المتوقعة هي نفس العلامة الفعلية.

لقطة شاشة تعرض مثال على مصفوفة الخطأ.

يمكنك حساب مقاييس التقييم على مستوى الكيان ومستوى النموذج من مصفوفة الخطأ:

  • القيم في القطر هي القيم الإيجابية الصحيحة لكل كيان.
  • مجموع القيم في صفوف الكيان (باستثناء القطر) هو إيجابي خطأ للنموذج.
  • مجموع القيم في أعمدة الكيان (باستثناء القطر) هو إيجابي خطأ للنموذج.

وبالمثل، فإن

  • الإيجابي الصحيح للنموذج هو مجموع الإيجابيات الصحيحة لجميع الكيانات.
  • الإيجابي الخطأ للنموذج هو مجموع الإيجابيات الخطأ لجميع الكيانات.
  • السلبية الكاذبة للنموذج هي مجموع السلبيات الكاذبة لجميع الكيانات.

الخطوات التالية