قيّم نماذج التصنيف

مكتمل

تعد دقة التدريب لنموذج التصنيف أقل أهمية بكثير عن مدى نجاح هذا النموذج عند تقديم بيانات جديدة غير مرئية. بعد كل شيء، نحن نقوم بتدريب النماذج حتى يمكننا استخدامها على البيانات الجديدة التي نجدها في العالم الحقيقي. لذلك، بعد تدريب نموذج التصنيف، سنقيم كيفية أدائه على مجموعة من البيانات الجديدة غير المرئية.

في الوحدات السابقة، أنشأنا نموذج يمكنه التنبؤ بما إذا كان المريض يعاني من مرض السكري أم لا استنادا إلى مستوى الجلوكوز في الدم. الآن، عند تطبيقها على بعض البيانات التي لم تكن جزءا من مجموعة التدريب، نحصل على التنبؤات التالية.

×	س	ŷ
83	1	1
119	1	1
104	1	1
105	1	1
86	1	1
109	1	1

تذكر أن x تشير إلى مستوى الجلوكوز في الدم، وتشير y إلى ما إذا كانوا مصابين بالسكري بالفعل، و تشير ŷ إلى توقع النموذج ما إذا كانوا مصابين بالسكري أم لا.

إن مجرد حساب عدد التنبؤات الصحيحة في بعض الأحيان مضلل أو مبسط للغاية بالنسبة لنا لفهم أنواع الأخطاء التي سيحدثها في العالم الحقيقي. يمكننا جدولة النتائج في بنية تسمى مصفوفة الارتباك، على النحو التالي، للحصول على معلومات أكثر تفصيلًا:

تُظهر مصفوفة الارتباك العدد الإجمالي للحالات التي:

• توقع النموذج 0 والتسمية الفعلية هي 0 (السلبيات الحقيقية، أعلى اليسار)
• توقع النموذج 1 والتسمية الفعلية هي 1 (الإيجابيات الحقيقية، أسفل اليمين)
• توقع النموذج 0 والتسمية الفعلية هي 1 (السلبيات الخاطئة، أسفل اليسار)
• توقع النموذج 1 والتسمية الفعلية هي 0 (إيجابيات خاطئة، أعلى اليمين)

غالبا ما يتم تظليل الخلايا الموجودة في مصفوفة الارتباك بحيث يكون للقيم الأعلى تظليل أعمق. وهذا يجعل من السهل رؤية اتجاه قطري قوي من أعلى اليسار إلى أسفل اليمين، مع تسليط الضوء على الخلايا التي تكون فيها القيمة المتوقعة والقيمة الفعلية هي نفسها.

من هذه القيم الأساسية، يمكنك حساب مجموعة من المقاييس الأخرى التي يمكن أن تساعدك في تقييم أداء النموذج. على سبيل المثال:

• الدقة: (TP + TN) / (TP + TN + FP + FN) - كم عدد التوقعات الصحيحة من بين كافة التوقعات?
• الاستدعاء: TP / (TP + FN) - كم عدد الحالات التي حددها النموذج من بين جميع الحالات التي ظهرت إيجابية?
• الدقة: TP / (TP + FP) - كم عدد الحالات التي كانت إيجابية بالفعل من بين جميع الحالات التي توقع النموذج أن تكون إيجابية?