הערכת מודלי סיווג
מידת הדיוק של ההדרכה של מודל סיווג חשובה הרבה פחות מאיך שהמודל יפעל כאשר נתונים חדשים שלא נראו יקבלו נתונים. אחרי הכל, אנו מכשירים מודלים כך שניתן יהיה להשתמש בהם בנתונים חדשים שנמצא בעולם האמיתי. לכן, לאחר הכשרת מודל סיווג, נעריך את הביצועים שלו על קבוצה של נתונים חדשים שלא נראו.
ביחידות הקודמות יצרנו מודל שינבא אם לחולה יש סוכרת או לא בהתבסס על רמת הגלוקוז בדם שלו. כעת, כשהוחלו על נתונים מסוימים שלא נכללו בערכת ההדרכה, אנו מקבלים את התחזיות הבאות.
| x | y | ŷ |
|---|---|---|
| 83 | 0 | 0 |
| 119 | 1 | 1 |
| 104 | 1 | 0 |
| 105 | 0 | 1 |
| 86 | 0 | 0 |
| 109 | 1 | 1 |
זכור ש- x מתייחס לרמת גלוקוז בדם, y מתייחס אם הם למעשה חולה סוכרת, ו- מתייחס לחיזוי של המודל אם הם סוכרתיים או לא.
רק חישוב מספר התחזיות היו נכונות הוא לפעמים מטעה או פשוט מדי כדי שנבין את סוגי השגיאות שהיא תעשה בעולם האמיתי. כדי לקבל מידע מפורט יותר, אנו יכולים לבצע טבלאות של התוצאות במבנה הנקרא בלבול, באופן הבא:
מטריצת הבלבול מציגה את מספר המקרים הכולל שבו:
- המודל חזה 0 והתווית בפועל היא 0 (שליליים אמיתיים, למעלה ושמאלה)
- המודל חזה 1 והתווית בפועל היא 1 (חיוביים אמיתיים, למטה ולימין)
- המודל חזה 0 והתווית בפועל היא 1 (שליליים מוטעים, למטה ושמאלה)
- המודל חזה 1 והתווית בפועל היא 0 (חיוביות מוטעות, ימין למעלה)
התאים במטריצת בלבול מוצללים לעתים קרובות כך שערכים גבוהים יותר כוללים הצללה עמוקה יותר. פעולה זו מקלה עליך לראות מגמה אלכסונית חזקה משמאל למעלה עד למטה ומדגישה את התאים שבהם הערך החזוי והערך בפועל זהים.
מתוך ערכי ליבה אלה, באפשרותך לחשב טווח של מדדים אחרים שיעזרו לך להעריך את ביצועי המודל. לדוגמה:
- דיוק: (TP+TN)/(TP+TN+FP+FN) - הוצא את כל החיזויים, כמה מהם היו נכונים?
- אחזור: TP/(TP+FN) - מתוך כל המקרים שהם חיוביים, כמה מהם זיהה המודל?
- דיוק: TP/(TP+FP) - מתוך כל המקרים שהמודל חזה לחיובי, כמה מהם בפועל חיוביים?