ניתוח סוכני שיחה

הדף Analytics ב- Copilot Studio מספק תובנות מצטברות לגבי היעילות הכוללת של הסוכן שלך בהפעלות analytics. העמוד מחולק לאזורי ליבה המתמקדים בהקשרי ביצועים שונים. הדף מציג גם אזור מבט כולל המספק מדדי מחוון ביצועי מפתח (KPI) ברמה גבוהה עבור הסוכן שלך, אזור חיסכון שמנתח זמן וחיסכון בעלויות המיוחסים לנציג או לכלי הסוכן שלך, לאזור סיכום המספק תובנות אנליטיות מרכזיות לגבי ביצועי הסוכן שלך.

קיימים ארבעה מקטעים עיקריים שיש להתמקד שבהם בעת סקירה ושיפור של יעילות סוכן שיחה.

• המקטע סיכום, מבט כוללוחיסכון מציג תובנות ניתוח מרכזיות אודות הסוכנים שלך יחד עם נתונים סטטיסטיים בנושא חיוב וחיסכון בעלויות; ראה סיכום, מבט כולל וחיסכון כדי לקבל מידע נוסף על כל מקטע משנה.
• המקטע מדדים מותאמים אישית מאפשר לך להגדיר מדדים ספציפיים לעסק עבור מקרי השימוש של הסוכנים שלך.
• המקטע יעילות עוזר לך להעריך את האיכות של חוויות המשתמשים על-ידי הצגת המקום שבו שיחות מצליחות, היכן הן נפסקות וכיצד המשתמשים מרגישים לגבי התוצאות.
• המקטע שימוש עוזר לך לשפר את הביצועים התפעוליים על-ידי הצגת האופן שבו הסוכן שלך עונה על שאלות, כיצד כלים ומקורות ידע מהימנים תומכים בתשובות אלה, והיכן עדכונים ייעודיים יכולים להגביר את הכיסוי והעקביות.

באפשרותך להציג ניתוח עבור אירועים שהתרחשו ב- 360 הימים האחרונים.

מדדים מותאמים אישית

המקטע מדדים מותאמים אישית מאפשר לך להגדיר עד שלושה מדדים ספציפיים לעסק בשפה טבעית ולעקוב אחר התדירות שבה כל תוצאה מופיעה בהפעלות לדוגמה. השתמש במדדים אלה כדי להשלים את תובנות הניתוח הסטנדרטיות שלך באמצעות מחוונים המשקפים את המטרות והשימוש העסקי של הסוכן שלך. כדי ללמוד כיצד ליצור, לבדוק ולמקד מדדים מותאמים אישית, ראה ניתוח הסוכן שלך באמצעות מדדים מותאמים אישית.

האפקטיביות

המקטע יעילות מציג משוב משתמשים שנאסף מתגובות, תגובות סוכן, תוצאות סקר ותחושות עבור סשן. היעילות מפוצלת בין חלקי משנה רבים:

• תוצאות שיחה: הכרת התוצאה הסופית של שיחה מסייעת לך להתחיל לזהות היכן הסוכן שלך מצליח והיכן יש לשפר אותה.
• תגובות: תגובות של משתמשים, כולל משוב של אגודל למעלה/אגודל למטה והערות משתמשים עבור תגובות מסוימות של הסוכן.
• שביעות רצון הלקוחות: הצגת ניקוד שביעות רצון הלקוחות (CSAT).
• סנטימנט (תצוגה מקדימה): ניתוח סנטימנט המבוסס על בינה מלאכותית עבור ההפעלה כולה.
• סוכנים: ראה מדדי נפח שיחה, תעריפי הצלחה ומצב נוכחי עבור צאצאים וסוכנים מחוברים.

נתוני המשוב מאוחסנים בטבלת התעתיק של השיחה ב- Dataverse. לקבלת רשימה של ערוצים התומכים בתכונה זו, ראה פרטי תכונה.

תוצאות שיחה

המקטע תוצאות שיחה מציג תרשים שעוקבת אחר סוג התוצאה עבור כל הפעלה בין הסוכן והמשתמשים שלך.

התרשים, בין אם הוא מוצג כהיסטוגרמה מוערם או כתרשים שטח מוערם, ממחיש באופן חזותי את נפח התוצאות היחסי, לפי צבע, מוערם לפי סוג. כל אחד מהצבעים Resolved, Escalated, Abandoned ו - Unengaged מיוצג על-ידי הצבעים המתאימים עבור כל נקודת נתונים. ציר ה- y מציין את מספר ההפעלות.

כדי לראות מדדים לגבי תוצאות בודדות ספציפיות לנקודה אחת של נתונים (יום ספציפי), רחף מעל אזור המייצג את הצבע של תוצאת עניין (לדוגמה, כחול-ים עבור נטוש) ביום שבו אתה מעוניין.

כדי להוריד את נתוני תוצאת השיחה (נתונים המחשה בגרף), בחר את סמל התפריט ובחר הורד CSV.

הערה

אם יש לך תוצאות שהוסרו מהתרשים בעת ההורדה, הנתונים שלהן אינם מופיעים בקובץ ה- CSV.

כדי לפתוח לוח צידי עם מידע מפורט אודות תוצאות השיחה, בחר הצג פרטים בתרשים. החלונית הצדדית של תוצאות השיחה כוללת:

• התפלגות תרשים עוגה של תוצאות הפעלה, עם המשקל היחסי (המבוטא באחוזים) של תוצאות בסטטוס 'נפתר', 'הוסלם' ו'ננטשו'.
• גרף עמודות מוערם המציג את המשקל היחסי (המובע באחוזים) של נפתר מאושר ונפתר משתמע כסיבות לתוצאות המתארות את כל האירועים שנפתרו.
• גרף עמודות מוערם המציג את המשקל היחסי (המבוטא באחוזים) של סיבות של תוצאות מערכת מיועדת‬, מערכת לא מיועדת ובקשה של משתמש, המתאר את כל תוצאות ההפעלות שהוסלמו.
• הנושאים המובילים שהובילו לכל תוצאה.

הערה

כדי לראות תיאור כלי עם פרטי הספירה הגולמית, העבר את העכבר מעל כל אחד ממקטעי תרשים העוגה או תרשים העמודות המוערם.

סשן נמצא באחד משני המצבים הבאים:

• לא מחובר: הפעלה מתחילה כאשר משתמש מקיים אינטראקציה עם הסוכן שלך או שהסוכן שולח הודעה יזומה למשתמש. ההפעלה מתחילה במצב לא מופעל.

• מעורב: המשתמש מקיים אינטראקציה באופן פעיל עם הסוכן. יש הבדל בהתנהגות בהתבסס על מצב התזמור של הסוכן.

  • תזמור קלאסי: הפעלה הופכת להיות פעילה כאשר אחד הנושאים הבאים מופעל:

    • נושא מותאם אישית שהופעל ישירות על-ידי המשתמש
    • להעלות את הנושא לדרגה גבוהה יותר
    • נושא רקע
    • נושא הגברת שיחה

  • תזמור בינה מלאכותית גנרטיבית: מפגש הופך להיות פעיל כאשר משתמש מפעיל תוכנית ישירות וכולל אחד מהרכיבים הבאים:

    • נושא שאינו מערכת
    • להעלות את הנושא לדרגה גבוהה יותר
    • נושא רקע
    • מקור ידע
    • כלי

מפגש מעורב כולל אחת מהתוצאות הבאות:

קטגוריית תוצאה	תוצאה	תיאור
נפתר		הפעלה מסתיימת בהצלחה. יש שני סוגים של הפעלות שנפתרו: אישור שנפתרו ונפתר (משתמע).
	נפתר אושר	הפעלה נחשבת ל'נפתרה' מאושרת כאשר נושא סיום השיחה מופעל והמשתמש מאשר שהאינטראקציה היתה הצלחה.
	נפתר משתמע	הפעלה נחשבת נפתרה (משתמע) כאשר היא מושלמת ללא אישור משתמש, אלא לפי שיקול הדעת של הסוכן. המצב המשתמע שנפתר תלוי בשאלה אם הסוכן שלך משתמש בתימור קלאסי או Generative של בינה מלאכותית: - תיאום גנרטיבי: הפעלה נחשבת נפתרה (משתמע) כאשר הנושא סיום השיחה מופעל, והמשתמש מאפשר להפעלה להסתיים בלי לספק אישור. - תיאום על ידי בינה מלאכותית גנרטיבית: הפעלה נחשבת נפתרה (משתמע) כאשר הזמן להפעלתה פג ולא נותרו תוכניות פעילות. תוכנית פעילה היא תוכנית הממתנה לקלט של משתמש.
הוסלמו		סשן מסתיים ומסווג כהסלמה כאשר הנושא הסלמה מופעל או כאשר צומת העברת לשיחה עם סוכן מופעל (סשן הניתוחים הנוכחי מסתיים, בין אם השיחה מועברת לסוכן חי או לא). יש שלושה סוגים של הפעלות שהוסלמו: מערכת מיועדת‬, מערכת לא מיועדת‬ ולבקשת המשתמש.
	המערכת המיועדת	הפעלה מוסלמת באופן אוטומטי כתוצאה מכלל עסקי שהוגדר על ידי היוצר באופן אוטומטי. ההסלמה היא תוצאה צפויה של השיחה, והיא אינה משהו שדרושה חקירה או שינוי. דוגמה: משתמש מעוניין להעביר יותר מ- $25,000 לספק חיצוני. הכמות עולה על סף בכלל עסקי ולכן ההפעלה מוסלמת באופן אוטומטי.
	המערכת לא נועדה	הסלמה מתרחשת באופן אוטומטי כתוצאה מהפעלה שחורגת מסף אחד או יותר שהוגדר על-ידי יוצר. בדרך כלל, תוצאה זו מציינת שהמשתמש תקוע בשיחה שזקוק לסיוע. לדוגמה: הפעלה מוסלמת לאחר שלושה כישלונות לבצע משימה מסוימת.
	המשתמש ביקש	הפעלה מוסלמת בגלל בקשה מפורשת של המשתמש במהלך השיחה. דוגמה: משתמש מזין Transfer me to an agent.
נטוש		הפעלה מסתיימת ונחשבת 'נטושה' כאשר הזמן הקצוב של הפעלה פעילה נגמר לאחר 30 דקות ולא הגיעה למצב של פתרון או הסלמה.

באפשרותך גם להגדיר את התוצאה עבור כלים עם הפרמטר conversationOutcome באמצעות עורך קוד הכלי. לדוגמה, conversationOutcome: ResolvedConfirmed להצלחה מאושרת או להצלחה conversationOutcome: ResolvedImplied משתמעת.

עיין בתיעוד ההדרכה בנושא מדידת המעורבות לקבלת הצעות ושיטות עבודה מומלצות המסבירות כיצד למדוד ולשפר את המעורבות.

תגובות

המקטע תגובות מציג משוב של משתמשים שנאסף מתגובות לתגובות סוכן. התרשים סופר את מספר הפעמים שמשתמשים בחרו באגודל כלפי מעלה (חיובי) או באגודל כלפי מטה (שלילי) הזמינים בכל תגובה שהם קיבלו מהסוכן שלך.

הערה

• סוכנים שפורסמו בערוץ Microsoft 365 Copilot אינם תומכים בתגובות.
• כדי להציג הערות, דרוש לך תפקיד האבטחה מציג תמלול בוט.

התכונה תגובות מופעלת כברירת מחדל. באפשרותך לבטל תכונה זו, אם אתה מעוניין בכך. באפשרותך גם להוסיף או לערוך כתב ויתור עבור משתמשים לגבי אופן השימוש במשוב שלהם:

1. פתח את הסוכן ולאחר מכן עבור אל הגדרות וחפש את המקטע משוב משתמש.

2. הפעל או בטל את האפשרות אסוף תגובות משתמשיםלהודעותסוכן.

3. הוסף או ערוך כתב ויתור כדי שהמשתמשים יוכלו לדעת כיצד נעשה שימוש במשוב שלהם. באפשרותך גם לספק מידע על פרטיות ועצות.

משתמשים בעלי ההרשאה 'מציג תמלול בוט' יכולים להסתעף לתגובות סוכן עבור תגובות ספציפיות ולסנן לפי הערות משתמש.

ראה מגמות תגובה לאורך זמן

בחר הצג פרטים על האריח תגובות כדי לפתוח את החלונית הצדדית תגובות. הלוח מראה כיצד תגובות חיוביות ושליליות (כגון אגודלים כלפי מעלה ואגודלים כלפי מטה) נוטות לאורך זמן.

שביעות רצון הלקוחות

הסעיף שביעות הרצון של הלקוחות מציג מידע אודות שביעות הרצון של המשתמשים בהתבסס על תוצאות סקר המשתמש:

• ציון שביעות רצון: ציון מתוך 5 מחושב משביעות הרצון הממוצעת של הלקוחות (CSAT) עבור הפעלות שבהן המשתמשים הגיבו לבקשות סיום הפעלה כדי לרשום סקר.

  הערה

  ציונים של 1 ו2 ממופים ל'לא מרוצה', ניקוד של נחשב לניטראלי, וציונים של 3 ו ממופים ל'מרוצה'.

• שביעות רצון לכל ישיבה: תרשים עמודות מוערם שממחיש את המשקל היחסי עבור כל אחת מקטגוריות הניקוד של הסקר, , Dissatisfied, וNeutral. רחף מעל כל מקטע של התרשים כדי לראות את גודל המדגם ואת הערך המספרי של העובי של כל קטגוריית ניקוד. עבור משתמשים בעלי הרשאת מציג תמלילי בוט, ניתן להסתעף לרשימת הפעלות לקוח המסוננת לפי החלק שנבחר במקטע העמודה.

בחר הצג פרטים כדי להציג את מגמת ציון שביעות הרצון לאורך פרק הזמן שנבחר.

סנטימנט (תצוגה מקדימה)

[מקטע זה הוא תיעוד קדם-הפצה והוא עשוי להשתנות.]

ניתוח סנטימנט משתמש בבינה מלאכותית כדי לנתח הודעות משתמש ממדגם של הפעלות כדי להעריך סנטימנט משתמש כולל עבור הסוכן. הערך המספרי מייצג את אחוז ההפעלות עם סנטימנט משתמש שלילי.

חשוב

מאמר זה מכיל תיעוד תצוגה מקדימה עבור Microsoft Copilot Studio והוא כפוף לשינויים.

תכונות Preview אינן מיועדות לשימוש בסביבת ייצור והפונקציונליות שלהן עשויה להיות מוגבלת. תכונות אלה זמינות לפני ההפצה הרשמית, כך שתוכל לקבל גישה מוקדמת ולספק משוב.

אם אתה בונה סוכן המוכן לייצור, ראה Microsoft Copilot Studio Overview.

בחר הצג פרטים כדי להציג את נתוני הסנטימנט עבור הירידה היחסית של כל אחת מקטגוריות הסנטימנט (הן Positive, Neutral, ו- Negative).

באפשרותך להפעיל ולבטל ניתוח סנטימנט עבור הסוכן שלך תחת הגדרות. כאשר ניתוח סנטימנט כבוי, הסנטימנט של המשתמש אינו מנותג במהלך הפעלות.

1. עבור אל הגדרות ובחר מתקדם.

2. הפעלה או ביטול של ניתוח סנטימנט.

   

סוכנים

רשימת הסוכנים מציגה מדדי נפח, ביצועים ומצב ברמה גבוהה עבור נציגים מחוברים וסוכנים צאצאים של הסוכן הראשי שלך. הרשימה מזהה את סוג מערכת היחסים שיש לסוכן הנרשם לסוכן הראשי בעמודת Type. אם סוכן הוא סוכן ילד, הסוג שלו הוא Child. לסוכנים מחוברים יש סוג רשומה המשקף את המיקום שבו הם נוצרו (לדוגמה, Copilot Studio, Azure AI Foundry). מדד השיחות עבור כל סוכן ברשימה מתאר את נפח השיחות מהסוכן הראשי לסוכן המחובר או לנציג הילד. שיעור ההצלחה משקף את היחס בין השיחות (% של כל השיחות) שהושלמו בהצלחה. מצב מציין את המצב הניהולי הבודד עבור כל סוכן מחובר וסוכן צאצא.

כברירת מחדל, הרשימה סוכנים מציגה את חמשת (5) הסוכנים המחוברים והצאצאים המובילים של הסוכן הראשי שלך, המדורגים מהמספר הכולל הגבוה ביותר לנמוך ביותר של שאלות. אם יש יותר מחמישה סוכנים, בחר הצג הכל כדי להציג את כל הסוכנים.

הערה

לחצן הצג הכל גלוי רק אם יש יותר מחמישה סוכני צאצא מחוברים לנציג הראשי שלך.

שימוש

המקטע שימוש עוזר לך להבין כיצד משתמשים מקיימים אינטראקציה עם הסוכן שלך והיכן לשפר את מהימנות התשובות. השימוש מפוצל בין חלקי משנה רבים:

• ערכות נושא: ערכות נושא עוזרות לך לקבל תובנות ניתוח על-ידי קיבוץ באשכולות של שאלות המשתמשים לקטגוריות המוצעות לבינה מלאכותית.
• שיעור תשובה ואיכות שנוצרו: הבנה מתי הסוכן מתקשה לספק תשובות לשאלות המשתמשים וכיצד הוא משתמש במקורות ידע יכול לעזור לך למצוא דרכים לשיפור שיעור התשובות ואיכותו של הסוכן שלך.
• שימוש בכלי: למידה באיזו תדירות נעשה שימוש בכלים ובתדירות שבה הם מצליחים לעזור לך להבין אם כלים אלה שימושיים ומוצלמים עבור משתמשים.
• שימוש במקור ידע: למידת תדירות השימוש במקורות ידע ספציפיים ובתדירות שבה הם מחזירים שגיאות מסייעת לך לשפר את האיכות והכיסוי של תשובות הסוכן שלך.

שיעור ואיכות התשובות שנוצרו

בעזרת תשובות גנאיות, הסוכן שלכם יכול להשתמש בבינה מלאכותית כדי ליצור תשובות לשאילתות משתמש באמצעות מקורות ידע וההוראות שתספקו. עם זאת, ייתכן שהסוכן שלך לא יוכל לענות על כל שאילתות המשתמש. המקטע 'שיעור תשובה ואיכות שנוצרו' עוקב אחר שאילתות, מארגן ומנתח שאילתות שלא נענו ואיכות מענה כדי לתת לך הדרכה לשיפור ביצועי המענה של הסוכן שלך.

שיעור התשובות מציג את מספר השאלות שנענו ואת השאלות שלא נענו במהלך פרק הזמן שנבחר ואת אחוז השינוי לאורך זמן.

איכות התשובות מודדת את איכות התשובות באמצעות בינה מלאכותית. Copilot Studio בערכת דוגמאות של שאלה שנענתה ומנתחת איכות שונה, כולל בהירות, רלוונטיות ורמת הארקעות של תגובה. אם התשובה עומדת בתקנים מסוימים, Copilot Studio מסמנת את התשובה כ- איכות טובה. Copilot Studio מסמן תשובות שלא עומדות בתקן זה כ-Poor באיכות. עבור Poor, Copilot Studio מקצה סיבה לדירוג האיכות ומציג את אחוז התשובות שהוקצו לכל קטגוריה.

רחף מעל מקטע כלשהו של עמודה בתרשים כדי לראות את העובי היחסי של סיבה בודדת עבור תווית באיכות טובהאו ירודה. תיאור הכלי מציין גם את מספר התשובות שנדגמשו כדי להגיע לערך האחוז המחושב.

במקרא שמתחת לתרשים, העבר את הסמן מעל כל אחת מהסיבות של תיוג האיכות כדי להדגיש את הסיבה הזו בתרשים.

בחר מקטע של תרשים העמודות כדי לפתוח דף של שאלות משתמש המסוננים לגבי איכות תגובה זו. בחר הצג שאלות כדי לראות רשימה לא מסוונן של כל השאלות במהלך פרק הזמן שהוגדר.

שימוש בכלי

המקטע שימוש בכלי מציג תרשים ומדדים שעוקבים אחר התדירות שבה הכלים שלך מופעלים לאורך זמן, ואת התדירות שבה הסוכן שלך השתמש בכלים אלה בהצלחה. הוא מציג גם מחווני מגמה עבור התדירות שבה הסוכן שלך משתמש בכל כלי ואת אחוז הכלים שבהם נעשה שימוש מוצלח.

התרשים מציג את חמשת הכלים המובילים המשמשים במהלך תקופת התאריך שהוגדרה בחלק העליון של דף הניתוח .

במקרא שמתחת לתרשים, רחף מעל אחד הכלים כדי להדגיש כלי זה בתרשים.

כדי לפתוח לוח צידי עם רשימה של כל הכלים המשמשים במהלך פרק הזמן שצוין, יחד עם מחווני מגמה, בחר הצג פרטים בתרשים. בלוח השימוש בכלי , באפשרותך להציג חישובים של אחוז השאלות המשמשות עבור כל כלי. אם הסוכן שלך כולל סוכנים של ילד, באפשרותך לבחור להציג חישובים הן עבור הסוכן הראשי והן עבור נציג הילד (הכל), הסוכן הראשי בלבד או סוכן הילד בלבד.

שימוש במקור ידע

סעיף השימוש במקור ידע מספק תובנות לגבי האופן שבו הסוכן שלך משתמש במקורות הידע שלו ובתדירות שבה מקורות אלה מחזירים שגיאות. לקבלת פרטים מלאים על היכולות הזמינות של מדדים, סינון והסתעפות, ראה שימוש במקור ידע.