ביצועי מודל החיזוי
לאחר כל אימון, AI Builder משתמש בערכת הנתונים לבדיקה כדי להעריך את האיכות וההתאמה של מודל הבינה המלאכותית החדש. דף סיכום עבור המודל מציג את תוצאת אימון המודל שלך. תוצאות אלו מתבטאות כדירוג ביצועים: A, B, C או D.
מדידת ביצועים
דירוג ביצועים
לאחר כל אימון, AI Builder מציג דירוג שיעזור לך להעריך את רמת הדיוק של המודל. את ההחלטה אם המודל מוכן לפרסום צריך לקבל לפי הצרכים והנסיבות הייחודיים שלך. AI Builder מספק את דירוג הביצועים כדי לעזור לך להחליט.
איך לפרש כל דירוג
| ציון | הדרכה |
|---|---|
| A | ייתכן שניתן עדיין לשפר את המודל, אך זהו הדירוג הטוב ביותר שתוכל לקבל. |
| B | המודל נכון בהרבה מהמקרים. האם ניתן לשפר אותו? זה תלוי בנסיבות, בנתונים ובדרישות הייחודיות שלך. |
| C | המודל מצליח מעט יותר מאשר ניחוש אקראי. הוא יכול להתאים עבור יישומים מסוימים, אבל ברוב המקרים, זהו מודל שצריך להמשיך לשפר. |
| D | משהו השתבש. המודל מציג ביצועים גרועים יותר ממה שהיינו מצפים מניחוש אקראי (התאמה נמוכה של מודל). לחלופין, הביצועים שלו כל כך טובים (ב-100%) או קרובים לכך, שכנראה יש לך עמודת נתונים שיש לה התאמה ישירה עם התוצאה (התאמת יתר של מודל). |
- מידע נוסף על התאמה נמוכה של מודל
- מידע נוסף על התאמת יתר של מודל
טווח הדיוק משתנה בהתאם לנתונים שלך
אם אתה חוזה 2 תוצאות או יותר, שיעורי הדיוק בפועל התואמים את הדירוג שלמעלה יכולים להשתנות בהתאם להתפלגות של הנתונים ההיסטוריים שלך. ההבדל מסביר את העובדה שהשיפור ביחס לשיעור הבסיס משתנה כאשר אתה מעביר את קו הבסיס הזה.
נניח שהמודל חוזה אם משלוח יגיע בזמן. אם שיעור הזמנים ההיסטורי הוא 80 אחוז, דירוג ביצועים של 92 יתאים לדירוג B. אבל אם שיעור הזמנים ההיסטורי הוא רק 50 אחוז, 92 יתאים לדירוג A. הסיבה לכך היא ש-92 הוא שיפור הרבה יותר טוב מעל 50 אחוז מאשר מעל 80 אחוז, והיית מצפה שניחוש אקראי יהיה קרוב לאחוזים הללו.
דוגמה לנתונים היסטוריים בינאריים
דוגמה זו מציגה את טווחי הדיוק עבור כל דירוג כאשר הנתונים ההיסטוריים מכילים שיעורי זמן שונים עבור חיזוי בינארי.
| ציון | טווח דיוק עבור שיעור היסטורי של 25% בזמן | טווח דיוק עבור שיעור היסטורי של 50% בזמן | טווח דיוק עבור שיעור היסטורי של 80% בזמן | טווח דיוק עבור שיעור היסטורי של 95% בזמן |
|---|---|---|---|---|
| A | 92.5 – <99.3% | 90 – 98% | 93 – <99% | 98.1 – <99.8% |
| B | 81.3 – <92.5% | 75 – <90% | 84 – <93% | 95.3 – <98.1% |
| C | 66.3 – <81.3% | 55 – <75% | 71 – <84% | 91.5 – <95.3% |
| D | <66.3% או ≥99.3% | <55% או ≥98% | <71% או ≥99% | <91.5% או ≥99.8% |
דוגמה לנתונים היסטוריים של ריבוי תוצאות
שיעורי דיוק שתואמים לכל דירוג יכולים להשתנות גם כאשר אתה חוזה יותר מ-2 תוצאות. נניח שהמודל חוזה יותר משתי אפשרויות למשלוח: מוקדם, בזמן או מאוחר.
טווחי הדיוק של כל דירוג משתנים כאשר שיעורי הזמן ההיסטוריים משתנים.
| ציון | מוקדם (33.3%) | מוקדם (20%) | מוקדם (10%) |
|---|---|---|---|
| בזמן (33.3%) | בזמן (40%) | בזמן (80%) | |
| מאוחר (33.4%) | מאוחר (40%) | מאוחר (10%) | |
| A | 86.7 – <98.7% | 87.2 – <98.7% | 93.2 – <99.3% |
| B | 66.7 – <86.7% | 68.0 – <87.2% | 83.0 – <93.2% |
| C | 40.0 – <66.7% | 42.4 – <68.0% | 69.4 – <83.0% |
| D | 33.3 – <40.0% | 36.0 – <42.4% | 66.0 – <69.4% |
דוגמה של חיזוי מספרי
עבור חיזוי מספרי, AI Builder משתמש במדד הסטטיסטי בריבוע R כדי לחשב את דירוג הדיוק של המודלים שלך. הטבלה הבאה מציגה את הדירוגים שמתאימים לכל דירוג:
| ציון | R בריבוע |
|---|---|
| A | 85% - <99% |
| B | 60% - <85% |
| C | 10% - <60% |
| D | ≥99% או <10% |
פרטי ביצועים
לפרטי אימון, בחר ראה פרטים בתיבת הדירוג של המודל. בכרטיסייה ביצועים המידע הבא זמין:
הערה
למידע על תכונות נוספות שמתוכננות לאזור זה, ראה תוכניות הפצה.
- ניקוד דיוק
- R בריבוע
ניקוד דיוק
AI Builder מחשב את ניקוד הדיוק עבור המודל על סמך תוצאת החיזוי של ערכת הנתונים לבדיקה. לפני האימון, AI Builder מפריד את ערכת הנתונים לנתוני אימון נפרדים וערכות נתונים לבדיקה. ואחרי האימון, AI Builder מחיל את מודל הבינה המלאכותית שלך על ערכת הנתונים לבדיקה, ולאחר מכן מחשב את ניקוד הדיוק. לדוגמה: אם לערכת הנתונים לבדיקה יש 200 שורות, ו- AI Builder חוזה נכון 192 מהן, AI Builder מציג ניקוד דיוק של 96 אחוזים.
למידע נוסף, ראה הערך את המודל.
R בריבוע
עבור חיזוי מספרי, AI Builder מחשב ציון R בריבוע לאחר כל אימון. ניקוד זה מודד את 'כושר ההתאמה' של המודל, ומשמש לקביעת דירוג הביצועים של המודל.
נניח שאתה חוזה את מספר הימים למימוש, משלוח ומסירת הזמנה. המודל מנבא קבוצה של מספרים. הערך של R בריבוע מבוסס על המרחקים בין הערכים החזויים לערכים בפועל בנתוני האימון. זה מתבטא כמספר בטווח 0 - 100%, כאשר ערכים גבוהים יותר מציינים שהערך החזוי קרוב יותר לערך האמיתי. בדרך כלל, ניקוד גבוה יותר אומר שהמודל מתפקד טוב יותר. כדאי לזכור שציונים מושלמים או כמעט מושלמים (התאמת יתר של מודל) מעידים בדרך כלל על בעיה בנתוני האימון.
בכרטיסייה סיכום אפשר לראות את פרטי הביצועים הבאים:
- תאריך תרגול
- מקור נתונים
- תוצאה היסטורית
- רשימת טבלה המשמשת לביצוע חיזוי.
שפר את הביצועים של מודל החיזוי
לאחר שאימנת והערכת את המודל, הגיע הזמן להתאים את המודל כדי לשפר את הביצועים שלו. הנה כמה דברים שאתה יכול לנסות כדי לעזור לשפר את כוח החיזוי של המודל.
בדוק שגיאות ובעיות
- אם יש שגיאות לאחר סיום האימון, תקן אותן ואמן את המודל מחדש.
- אם אין שגיאות, בדוק את פרטי האימון. נסה לטפל בכמה שיותר בעיות, ולאחר מכן אמן את המודל מחדש.
בדוק את בעלי ההשפעה המובילים
לאחר כל אימון מופיעה רשימה של הגורמים המשפיעים ביותר בדף פרטי המודל. לכל עמודה המשמשת באימון יש ניקוד שמייצג את השפעתה על האימון. כל הציונים יחד מגיעים ל-100 אחוז.
זה עוזר להראות אם המודל מאומן כפי שאתה מצפה. לדוגמה, אם אתה רוצה לחזות את כוונת הקונים באינטרנט ואתה מצפה שגיל המוצר יהיה העמודה המשפיעה ביותר, אתה אמור לראות זאת ברשימת העמודות המשפיעות ביותר בדף פרטי המודל. אם לא, זה עשוי להצביע על כך שתוצאת האימון אינה מה שציפית. במקרה זה, תוכל לבטל את הבחירה בעמודות הלא רלוונטיות או המטעות ולאמן את המודל מחדש, או לבדוק את הבעיות באימון כדי לראות פרטים נוספים.
הוסף עוד נתונים
הדרישה המינימלית לנתוני אימון היא 50 שורות, אבל זה לא אומר ש-50 שורות נתונים יאמנו מודל חיזוי ברמה גבוהה. נסה לספק 1,000 שורות נתונים או יותר, עם תיוג נכון ועם התפלגות ריאלית בין אפשרויות.
בדוק את התפלגות הנתונים
לדוגמה, אם אתה משתמש בשתי תוויות אפשרויות של כן או לא, ולרוב שורות הנתונים יש רק כן בעמודה זו, קשה למודל ללמוד מהנתונים האלה. נסה ליצור חלוקה של אפשרויות בנתונים שמשקפת בערך את התפלגות האפשרויות שאתה עשוי לצפות לראות. לדוגמה, אם אתה מסתכל על עמודות נתונים עבור בעל_חתול וגם בעל_כלב, השתמש בהתפלגות נתונים שהיא בסביבות 50 אחוז. אם אתה מסתכל על עסקאות זדוניות, השתמש בחלוקה לא מאוזנת יותר - אולי 95 אחוז עד 5 אחוז. עיין בתקנים בתעשייה עבור מידע מסוג זה אם אינך יודע למה לצפות.
הוסף עוד עמודה
לדוגמה, אתה רוצה לחזות אילו לקוחות נוטים יותר לחזור ולרכוש את המוצרים שלך. אתה יכול להוסיף עוד עמודות כדי להפוך את נתוני האימון לעשירים יותר. לדוגמה:
- איך הם מדרגים את המוצר?
- עד כמה הם משתמשים במוצר?
- האם הם לקוחות קיימים?
צמצם את העמודות שנבחרו למידע רלוונטי
ייתכן שכבר יש לך הרבה נתוני אימון עם תווית נכונה, עם עמודות נתונים רבות. אז למה המודל עדיין לא מתפקד טוב? יכול להיות שאתה בוחר בעמודות שמובילות להטיה לא רצויה. ודא שכל העמודות שבחרת רלוונטיות כדי להשפיע על מה שאתה רוצה לחזות. בטל את הבחירה בעמודות לא רלוונטיות או מטעות.
אימות נתונים
- ודא שבעמודות הנתונים אין שיעור גבוה של ערכים חסרים (יותר מ-99 אחוז). אכלס את הערכים החסרים בנתוני ברירת מחדל או הסר את עמודת הנתונים מאימון המודל.
- אם לעמודת נתונים יש מתאם גבוה עם תוצאת החיזוי, הסר את עמודת הנתונים מאימון המודל.