הערה
הגישה לדף זה מחייבת הרשאה. באפשרותך לנסות להיכנס או לשנות מדריכי כתובות.
הגישה לדף זה מחייבת הרשאה. באפשרותך לנסות לשנות מדריכי כתובות.
הערה
מאמר זה מתאר תכונות המשמשות בסוכנים או בזרימות סוכנים המופעלים על ידי הרתמה הסטנדרטית.
השתמש בדף Monitor ב-Copilot Studio כדי לבדוק את יעילות סוכן השיחה שלך לאורך מפגשי אנליטיקה. זהה היכן שיחות מצליחות או מתפרקות, בדוק את המשוב של המשתמשים, ומצא הזדמנויות לשפר תשובות ושימוש בכלים.
סקור את האזורים הבאים:
- תחומי הסיכום, הסקירה, והחיסכון מציגים תובנות מרכזיות, מדדי ביצועים מרכזיים (KPIs), וחיסכון מוערך בזמן ובעלויות.
- החלק של מדדים מותאמים אישית (תצוגה מקדימה) מאפשר לך להגדיר מדדים ספציפיים לעסק עבור מקרי השימוש של הסוכן שלך.
- המקטע יעילות עוזר לך להעריך את האיכות של חוויות המשתמשים על-ידי הצגת המקום שבו שיחות מצליחות, היכן הן נפסקות וכיצד המשתמשים מרגישים לגבי התוצאות.
- המקטע שימוש עוזר לך לשפר את הביצועים התפעוליים על-ידי הצגת האופן שבו הסוכן שלך עונה על שאלות, כיצד כלים ומקורות ידע מהימנים תומכים בתשובות אלה, והיכן עדכונים ייעודיים יכולים להגביר את הכיסוי והעקביות.
באפשרותך להציג ניתוח עבור אירועים שהתרחשו ב- 360 הימים האחרונים.
מדדים מותאמים אישית (תצוגה מקדימה)
[מקטע זה הוא תיעוד קדם-הפצה והוא עשוי להשתנות.]
המקטע מדדים מותאמים אישית מאפשר לך להגדיר עד שלושה מדדים ספציפיים לעסק בשפה טבעית ולעקוב אחר התדירות שבה כל תוצאה מופיעה בהפעלות לדוגמה. השתמש במדדים אלה כדי להשלים את תובנות הניתוח הסטנדרטיות שלך באמצעות מחוונים המשקפים את המטרות והשימוש העסקי של הסוכן שלך.
Important
מאמר זה מכיל תיעוד תצוגה מקדימה עבור Microsoft Copilot Studio והוא כפוף לשינויים.
תכונות Preview אינן מיועדות לשימוש בסביבת ייצור והפונקציונליות שלהן עשויה להיות מוגבלת. תכונות אלה זמינות לפני ההפצה הרשמית, כך שתוכל לקבל גישה מוקדמת ולספק משוב.
אם אתה בונה סוכן המוכן לייצור, ראה Microsoft Copilot Studio Overview.
משתמשים עם הרשאת Bot Transcript Viewer יכולים להעמיק לרשימת סשנים של לקוחות המסוננת לפי הקטע שנבחר בתרשים הטבעת. בחר סשן בודד כדי לראות את ההיגיון מאחורי המדד ולגשת לתמלול שלו.
למדו עוד על יצירה, בדיקה ושיפור מדדים במאמר Monitor Your Agent with Custom Metrics (תצוגה מקדימה).
האפקטיביות
המקטע יעילות מציג משוב משתמשים שנאסף מתגובות, תגובות סוכן, תוצאות סקר ותחושות עבור סשן. היעילות מפוצלת בין חלקי משנה רבים:
- תוצאות שיחה: הכרת התוצאה הסופית של שיחה מסייעת לך להתחיל לזהות היכן הסוכן שלך מצליח והיכן יש לשפר אותה.
- תגובות: תגובות של משתמשים, כולל משוב של אגודל למעלה/אגודל למטה והערות משתמשים עבור תגובות מסוימות של הסוכן.
- שביעות רצון הלקוחות: הצגת ניקוד שביעות רצון הלקוחות (CSAT).
- סנטימנט (תצוגה מקדימה): ניתוח סנטימנט המבוסס על בינה מלאכותית עבור ההפעלה כולה.
- סוכנים: ראה מדדי נפח שיחה, תעריפי הצלחה ומצב נוכחי עבור צאצאים וסוכנים מחוברים.
המערכת מאחסנת נתוני משוב בטבלת תמלולי השיחה ב-Dataverse.
תוצאות שיחה
המקטע תוצאות שיחה מציג תרשים שעוקבת אחר סוג התוצאה עבור כל הפעלה בין הסוכן והמשתמשים שלך.
הגרף מציג היסטוגרמה מוערמת או תרשים שטח מוערם של תוצאות הסשן. ל-נפתר, הוסלם, ננטש ו-ללא מעורבות יש כל אחד צבע תואם במקרא. ציר ה- y מציין את מספר ההפעלות.
כדי לצפות במדדים לתוצאה ביום מסוים, השתמש באגדת התרשים כדי לזהות את התוצאה, ואז העבר עם העכבר מעל המקטע שלו באותו יום.
להורדת נתוני תוצאות השיחה, פתח את תפריט התרשים ובחר Download CSV.
הערה
אם תסיר פריטים מהגרף כשאתה מוריד, הנתונים שלהם לא מופיעים ב-CSV.
כדי לפתוח לוח צידי עם מידע מפורט אודות תוצאות השיחה, בחר הצג פרטים בתרשים. החלונית הצדדית של תוצאות השיחה כוללת:
- התפלגות תרשים עוגה של תוצאות ההפעלה, המציגה משקל יחסי (המבוטא כאחוז) של התוצאות 'נפתר', 'הוסלם', ו'נטוש'.
- גרף עמודות מוערם המציג את המשקל היחסי (המובע באחוזים) של נפתר מאושר ונפתר משתמע כסיבות לתוצאות המתארות את כל האירועים שנפתרו.
- גרף עמודות מוערם המציג את המשקל היחסי (המבוטא כאחוזים) של תוצאה במטרה של המערכת
, תוצאה לא מכוונת של המערכת , ותוצאה שהמשתמש ביקש , המתאר את כל תוצאות ההפעלות שהוסלמו. - הנושאים המובילים שהובילו לכל תוצאה.
הערה
כדי לראות תיאור כלי עם מידע אודות ספירה גולמית, רחף מעל כל אחד ממקטעי תרשים העוגה או תרשים העמודות המוערם.
סשן נמצא באחד משני המצבים הבאים:
לא מחובר: הפעלה מתחילה כאשר משתמש מקיים אינטראקציה עם הסוכן שלך או שהסוכן שולח הודעה יזומה למשתמש. ההפעלה מתחילה במצב לא מופעל.
מעורב: המשתמש מקיים אינטראקציה באופן פעיל עם הסוכן. יש הבדל בהתנהגות בהתבסס על מצב התזמור של הסוכן.
תזמור קלאסי: הפעלה הופכת להיות פעילה כאשר אחד הנושאים הבאים מופעל:
- נושא מותאם אישית שהופעל ישירות על-ידי המשתמש
- להעלות את הנושא לדרגה גבוהה יותר
- נושא רקע
- נושא הגברת שיחה
תזמור בינה מלאכותית גנרטיבית: מפגש הופך להיות פעיל כאשר משתמש מפעיל תוכנית ישירות וכולל אחד מהרכיבים הבאים:
- נושא שאינו מערכת
- להעלות את הנושא לדרגה גבוהה יותר
- נושא רקע
- מקור ידע
- כלי
מפגש מעורב כולל אחת מהתוצאות הבאות:
| קטגוריית תוצאה | תוצאה | תיאור |
|---|---|---|
| נפתר | הפעלה מסתיימת בהצלחה. קיימים שני סוגים של הפעלות שנפתרו: אישור שנפתרופתרון משתמע. | |
| נפתר אושר | הפעלה נחשבת ל'נפתרה' מאושרת כאשר נושא סיום השיחה מופעל והמשתמש מאשר שהאינטראקציה היתה הצלחה. | |
| נפתר משתמע | הפעלה נחשבת כ־משתמעת לאחר פתרון כאשר היא מושלמת ללא אישור משתמש, אלא על בסיס שיקול דעת הסוכן. המצב המשתמע שנפתר תלוי בשאלה אם הסוכן שלך משתמש בתימור קלאסי או Generative של בינה מלאכותית: - תזמור קלאסי: הפעלה נחשבת לפתרון משתמע כאשר נושא סיום השיחה מופעל, והמשתמש מאפשר להפעלה להסתיים מבלי לספק אישור. - תזמור בינה מלאכותית גנרטיבית: הפעלה נחשבת ל"פתרון משתמע" כאשר הזמן להפעלתה פג ולא נותרו תוכניות פעילות. תוכנית פעילה היא תוכנית הממתנה לקלט של משתמש. |
|
| הוסלם | סשן מסתיים ומסווג כהסלמה כאשר הנושא הסלמה מופעל או כאשר צומת העברת לשיחה עם סוכן מופעל (סשן הניתוחים הנוכחי מסתיים, בין אם השיחה מועברת לסוכן חי או לא). קיימים שלושה סוגים של הפעלות שהוסלמו: יוזמת המערכת, שאינה יוזמת המערכת ולבקשת המשתמש. | |
| המערכת המיועדת | הפעלה תסלים באופן אוטומטי כתוצאה מכלל עסקי שהוגדר על ידי יוצר באופן אוטומטי. ההסלמה היא תוצאה צפויה של השיחה, והיא אינה משהו שדרושה חקירה או שינוי. דוגמה: משתמש מעוניין להעביר יותר מ- $25,000 לספק חיצוני. סכום זה עולה על סף בכלל עסקי ולכן המושב מוסלים באופן אוטומטי. |
|
| המערכת לא נועדה | הסלמה מתרחשת באופן אוטומטי כתוצאה מהפעלה החורגת מסף אחד או יותר המוגדר על-ידי יוצר. בדרך כלל, תוצאה זו מציינת שהמשתמש תקוע בשיחה שזקוק לסיוע. לדוגמה: סשן מוקפץ לאחר שלושה כישלונות לבצע משימה מסוימת. |
|
| המשתמש ביקש | הפעלה הועלתה לרמה גבוה יותר בגלל בקשה מפורשת של המשתמש במהלך השיחה. דוגמה: משתמש מזין Transfer me to an agent. |
|
| נטוש | הפעלה מסתיימת ונחשבת 'נטושה' כאשר הזמן הקצוב של הפעלה פעילה נגמר לאחר 30 דקות ולא הגיעה למצב של פתרון או הסלמה. |
באפשרותך גם להגדיר את התוצאה עבור כלים עם הפרמטר conversationOutcome באמצעות עורך קוד הכלי. לדוגמה, conversationOutcome: ResolvedConfirmed להצלחה מאושרת או להצלחה conversationOutcome: ResolvedImplied משתמעת.
תגובות
המקטע תגובות מציג משוב של משתמשים שנאסף מתגובות לתגובות סוכן. התרשים סופר את מספר הפעמים שמשתמשים בחרו באגודל כלפי מעלה (חיובי) או באגודל כלפי מטה (שלילי) הזמינים בכל תגובה שהם קיבלו מהסוכן שלך.
הערה
- סוכנים שמפורסמים בערוץ Microsoft Copilot דורשים הסכמת מנהל ב-מרכז הניהול של Microsoft 365 כדי לשתף משוב משתמשים, כולל תגובות ותגובות. ניתן לצפות במשוב הזה בדף המוניטור . למידע נוסף בהגדרות הסוכן ב-מרכז הניהול של Microsoft 365.
- תגובות מערוץ Microsoft Copilot אינן מצטברות או נספרות בעמודת התגובות בקטעי Themes and Knowledge Source שימוש.
- כדי להציג הערות, דרוש לך תפקיד האבטחה מציג תמלול בוט.
תכונת התגובות מופעלת כברירת מחדל בכל הערוצים למעט ערוץ Microsoft Copilot. באפשרותך לבטל תכונה זו, אם אתה מעוניין בכך. באפשרותך גם להוסיף או לערוך כתב ויתור עבור משתמשים לגבי אופן השימוש במשוב שלהם:
פתח את הסוכן, לך להגדרות, ומצא את סעיף המשוב של המשתמש .
הפעל או בטל את האפשרות אסוף תגובות משתמשיםלהודעותסוכן.
הוסף או ערוך כתב ויתור כדי שהמשתמשים יוכלו לדעת כיצד נעשה שימוש במשוב שלהם. באפשרותך גם לספק מידע על פרטיות ועצות.
משתמשים בעלי ההרשאה 'מציג תמלול בוט' יכולים להסתעף לתגובות סוכן עבור תגובות ספציפיות ולסנן לפי הערות משתמש.
ראה מגמות תגובה לאורך זמן
בחר הצג פרטים על האריח תגובות כדי לפתוח את החלונית הצדדית תגובות. הלוח מראה כיצד תגובות חיוביות ושליליות (כגון
שביעות רצון הלקוחות
הסעיף שביעות הרצון של הלקוחות מציג מידע אודות שביעות הרצון של המשתמשים בהתבסס על תוצאות סקר המשתמש:
ציון שביעות רצון: ציון מתוך 5 מחושב משביעות הרצון הממוצעת של הלקוחות (CSAT) עבור הפעלות שבהן המשתמשים הגיבו לבקשות סיום הפעלה כדי לרשום סקר.
הערה
ציונים של
1ו2ממופים ל'לא מרוצה', ניקוד של נחשב לניטראלי, וציונים של3ו ממופים ל'מרוצה'.שביעות רצון לכל ישיבה: תרשים עמודות מוערם שממחיש את המשקל היחסי עבור כל אחת מקטגוריות הניקוד של הסקר, ,
Dissatisfied, וNeutral. רחף מעל כל מקטע של התרשים כדי לראות את גודל המדגם ואת הערך המספרי של העובי של כל קטגוריית ניקוד. עבור משתמשים בעלי הרשאת 'מציג תמלול בוט', באפשרותך לבצע הסתעפות לרשימה של הפעלות לקוח מסוננים בהתבסס על החלק של מקטע מייצג הפעילות שנבחר.
בחר הצג פרטים כדי להציג את מגמת ציון שביעות הרצון לאורך פרק הזמן שנבחר.
סנטימנט (תצוגה מקדימה)
[מקטע זה הוא תיעוד קדם-הפצה והוא עשוי להשתנות.]
ניתוח סנטימנט משתמש בבינה מלאכותית כדי לנתח הודעות משתמש ממדגם של הפעלות כדי להעריך סנטימנט משתמש כולל עבור הסוכן. הערך המספרי מייצג את אחוז ההפעלות עם סנטימנט משתמש שלילי.
Important
מאמר זה מכיל תיעוד תצוגה מקדימה עבור Microsoft Copilot Studio והוא כפוף לשינויים.
תכונות Preview אינן מיועדות לשימוש בסביבת ייצור והפונקציונליות שלהן עשויה להיות מוגבלת. תכונות אלה זמינות לפני ההפצה הרשמית, כך שתוכל לקבל גישה מוקדמת ולספק משוב.
אם אתה בונה סוכן המוכן לייצור, ראה Microsoft Copilot Studio Overview.
בחר הצג פרטים כדי להציג את נתוני הסנטימנט עבור הירידה היחסית של כל אחת מקטגוריות הסנטימנט (הן Positive, Neutral, ו- Negative).
באפשרותך להפעיל ולבטל ניתוח סנטימנט עבור הסוכן שלך תחת הגדרות. כאשר ניתוח סנטימנט כבוי, הסנטימנט של המשתמש אינו מנותג במהלך הפעלות.
עבור אל הגדרות ובחר מתקדם.
הפעל או כבה את ניתוח סנטימנט.
סוכנים
רשימת הסוכנים מציגה מדדי נפח, ביצועים ומצב ברמה גבוהה עבור נציגים מחוברים וסוכנים צאצאים של הסוכן הראשי שלך. הרשימה מזהה את סוג מערכת היחסים שיש לסוכן הנרשם לסוכן הראשי בעמודת Type. אם סוכן הוא סוכן ילד, הסוג שלו הוא Child. לסוכנים מחוברים יש סוג רשומה המשקף את המיקום שבו הם נוצרו (לדוגמה, Copilot Studio, Azure AI Foundry).
מדד השיחות עבור כל סוכן ברשימה מתאר את נפח השיחות מהסוכן הראשי לסוכן המחובר או לנציג הילד.
שיעור ההצלחה משקף את היחס בין השיחות (% של כל השיחות) שהושלמו בהצלחה.
מצב מציין את המצב הניהולי הבודד עבור כל סוכן מחובר וסוכן צאצא.
כברירת מחדל, רשימת הסוכנים מציגה את חמשת הסוכנים המחוברים וסוכני המשנה המובילים של הסוכן הראשי שלך, המדורגים לפי המספר הכולל של השאלות, מהגבוה לנמוך. אם יש יותר מחמישה סוכנים, בחר הצג הכל כדי להציג את כל הסוכנים.
הערה
לחצן הצג הכל גלוי רק אם יש יותר מחמישה סוכני צאצא מחוברים לנציג הראשי שלך.
שימוש
המקטע שימוש עוזר לך להבין כיצד משתמשים מקיימים אינטראקציה עם הסוכן שלך והיכן לשפר את מהימנות התשובות. השימוש מפוצל בין חלקי משנה רבים:
- ערכות נושא: ערכות נושא עוזרות לך לקבל תובנות ניתוח על-ידי קיבוץ באשכולות של שאלות המשתמשים לקטגוריות המוצעות לבינה מלאכותית.
- שיעור ואיכות התשובות שנוצרו: זהה מתי הסוכן שלך מתקשה לענות על שאלות וכיצד הוא משתמש במקורות ידע כדי לשפר את שיעור התשובות ואיכותו.
- שימוש בכלי: למידה באיזו תדירות נעשה שימוש בכלים ובתדירות שבה הם מצליחים לעזור לך להבין אם כלים אלה שימושיים ומוצלמים עבור משתמשים.
- שימוש במקור ידע: למידת תדירות השימוש במקורות ידע ספציפיים ובתדירות שבה הם מחזירים שגיאות מסייעת לך לשפר את האיכות והכיסוי של תשובות הסוכן שלך.
שיעור ואיכות התשובות שנוצרו
עם תשובות גנרטיביות, הסוכן שלך יכול להשתמש בבינה מלאכותית כדי לייצר תשובות לשאילתות משתמשים באמצעות מקורות ידע וההוראות שאתה מספק. עם זאת, ייתכן שהסוכן שלך לא יוכל לענות על כל שאילתות המשתמש. המקטע 'שיעור תשובה ואיכות שנוצרו' עוקב אחר שאילתות, מארגן ומנתח שאילתות שלא נענו ואיכות מענה כדי לתת לך הדרכה לשיפור ביצועי המענה של הסוכן שלך.
שיעור התשובות מציג את מספר השאלות שנענו ואת השאלות שלא נענו במהלך פרק הזמן שנבחר ואת אחוז השינוי לאורך זמן.
איכות התשובות מודדת את איכות התשובות באמצעות בינה מלאכותית. Copilot Studio מנתח מדגם של שאלות שנענו מבחינת שלמות, רלוונטיות ומעוגנות. אם תשובה עומדת בסטנדרט קבוע, Copilot Studio מתייג אותה כבעלת איכות טובה. תשובות שלא עומדות בסטנדרט הזה מסומנות איכות ירודה. לגבי תשובות גרועות, Copilot Studio נותן סיבה לדירוג האיכות ומציג את אחוז התשובות שהוקצו לכל קטגוריה.
רחף מעל מקטע כלשהו של עמודה בתרשים כדי לראות את העובי היחסי של סיבה בודדת עבור תווית באיכות טובהאו ירודה. תיאור הכלי מציין גם את מספר התשובות שנדגמשו כדי להגיע לערך האחוז המחושב.
במקרא שמתחת לתרשים, רחף מעל אחת מהסיבות של תווית האיכות כדי לסמן סיבה זו בתרשים.
בחר מקטע של תרשים העמודות כדי לפתוח דף של שאלות משתמש המסוננים לגבי איכות תגובה זו. בחר ב'הצג שאלות ' כדי לצפות ברשימה לא מסוננת של כל השאלות בתוך תקופת הזמן המוגדרת.
שימוש בכלי
סעיף השימוש בכלים מציג תרשים ומדדים שעוקבים אחרי כמה פעמים הכלים שלך מופעלים לאורך זמן, וכמה פעמים הסוכן שלך משתמש בהם בהצלחה. הוא מציג גם מחווני מגמה עבור התדירות שבה הסוכן שלך משתמש בכל כלי ואת אחוז הכלים שבהם נעשה שימוש מוצלח.
הגרף מציג את חמשת הכלים המובילים בשימוש לאורך תקופת התאריך שהוגדרה בראש דף Monitor.
במקרא שמתחת לגרף, העבר את העכבר מעל כל אחד מהכלים כדי להדגיש את הכלי הזה בגרף.
כדי לפתוח לוח צידי עם רשימה של כל הכלים המשמשים במהלך פרק הזמן שצוין, יחד עם מחווני מגמה, בחר הצג פרטים בתרשים. בלוח השימוש בכלי , באפשרותך להציג חישובים של אחוז השאלות המשמשות עבור כל כלי. אם הסוכן שלך כולל סוכנים של ילד, באפשרותך לבחור להציג חישובים הן עבור הסוכן הראשי והן עבור נציג הילד (הכל), הסוכן הראשי בלבד או סוכן הילד בלבד.
שימוש במקור ידע
סעיף השימוש במקור ידע מספק תובנות לגבי האופן שבו הסוכן שלך משתמש במקורות הידע שלו ובתדירות שבה מקורות אלה מחזירים שגיאות. למידע נוסף ב-שימוש במקור ידע.