מדדים והמלצות ל- Copilot Studio

מדדי תקינות תפעוליים של Copilot Studio זמינים במרכז הניהול של Power Platform.

הצג מדדי סטודיו של Copilot

  1. הירשמו למרכז הניהול של Power Platform.

  2. בחלונית הניווט, יש לבחור ניטור.

  3. בחלונית צג, תחת מוצרים, בחר Copilot Studio.

    הדף Copilot Studio מציג את המדדים עבור סוכנים דיבוריים וא אוטונומית שנוצרו ב- Copilot Studio. עבור סוכנים המשתמשים GitHub Copilot, Copilot Studio בבינה מלאכותית כדי לסקור כל הפעלה שהושלמה ולהקצות לה תוצאה יחידה, כגון נפתרה, הוסלמה או ננטשה. לאחר מכן, Monitor משתמש בתוצאה זו כדי להחליט אם ההפעלה נחשבת להצלחה או לכישלון. ניתוח הבינה המלאכותית פועל לאחר סיום הסשן, כך שהמדדים עבור סוכנים אלה יכולים להופיע ב-Monitor עד 48 שעות לאחר השימוש.

מדדים והמלצות של Copilot Studio

הגדרות מטריות

Type מדד הגדרה תמיכה
סוכנים שיעור הצלחה של הפעלת סוכנים אחוז המתאר את התדירות שבה סוכן אוטונומית יכול לבצע בהצלחה את המשימה שלו, או באיזו תדירות ההפעלה של סוכן שיחה נפתרה בהצלחה. זמין לכלל המשתמשים
סוכנים הפעלות הצ'אט האחרונות של הסוכן מספר המפגשים הייחודיים של משתמשים בסוכן ביום אחד. הפעלה מתחילה כאשר משתמש פותח את הסוכן ומסתיים לאחר פרק זמן של חוסר פעילות או כאשר הסוכן נסגר. זמין לכלל המשתמשים

מיפוי תוצאת סשן

הטבלה הבאה מראה כיצד Monitor סופר כל תוצאת הפעלה עבור סוכנים המשתמשים GitHub Copilot.

תוצאת הסשן מהי משמעות הדבר שיעור הצלחה של הפעלת סוכנים הפעלות הצ'אט האחרונות של הסוכן
נפתר – אושר המשתמש אישר שהצורך שלו נענה. ✅ הצלחה נספר
נפתר – משתמע נראה שהצורך של המשתמש נענה, למרות שהמשתמש לא אישר זאת באופן מפורש. ✅ הצלחה נספר
הוסלם – כפי שהמערכת התכוונה הסוכן מסר את השיחה בשל כלל הסלמה שהיוצר הגדיר. הסוכן עשה את מה שתוכנן לעשות. ✅ הצלחה נספר
הוסלם – המשתמש ביקש המשתמש ביקש לשוחח עם אדם. ❌ כשל נספרו
הוסלם – פעולת מערכת לא מכוונת הסשן הוסלם מאחר שהסוכן, או כלי או זרימה שהוא הפעיל, נכשל. ❌ כשל נספר
לא נפתר – כשל סוכן הסוכן אמר שזה לא יכול לעזור עם הבקשה. ❌ כשל נספר
לא נפתר – המשתמש דחה המשתמש דחה את תשובת הסוכן. ❌ כשל נספר
לא נפתר – לא הושלם הפעילות הסתיימה כאשר הצורך של המשתמש עדיין פתוח. ❌ כשל נספר
ננטש המשתמש הפסיק להגיב לפני שהפעילות הסתיימה. ❌ כשל נספר
לא פעיל המשתמש מעולם לא שלח הודעה לסוכן, כך שאין תוצאה. לא כלול לא נספר
לא נותחו לא ניתן היה לקבוע תוצאה. לדוגמה, ההפעלה היתה גדולה מדי לניתוח, המערכת דילגה עליה עקב מגבלות קיבולת ניתוח או שהניתוח לא החזיר תוצאה חוקית. לא נכלל לא נספרים

כיצד מחושב שיעור ההצלחה

Monitor מחשב את שיעור ההצלחה רק מהסשנים שיש להם תוצאה:

שיעור ההצלחה של סשן של סוכן = סשנים מוצלחים ÷ (סשנים מוצלחים + סשנים שנכשלו)

הערה

  • כל סשן נספר פעם אחת.
  • מיפוי זה חל על הפעלות שיחה עבור סוכנים המשתמשים GitHub Copilot. סוכנים אוטונומיים ממשיכים לדווח על הצלחה בהתבסס על השאלה אם כל הרצה השלימה את המשימה שלה.

עצות לשיפור שיעור ההצלחה שלך

  • תוצאות רבות של "לא נפתרו" או "הוסלם – המשתמש ביקש": ודא שהסוכן מחזיק במקורות הידע ובהוראות הדרושות לו כדי לענות על שאלות נפוצות.
  • תוצאות רבות של "הסלמה – מערכת לא מכוונת": חפשו כלים, מחברים או זרימות שנכשלו שהסוכן מפעיל.
  • תוצאות "נזנחו" רבות: סקור תמלילי שיחה כדי לראות היכן משתמשים נושרים, לדוגמה לאחר תגובות ארוכות או שאלות הבהרה חוזרות.