הפעל הערכות והצג תוצאות

הפעל הערכות ונתח את התוצאות כדי למטב את אופן הפעולה של הסוכן שלך ולאמת שהסוכן שלך עומד בדרישות העסקיות והאיכות שלך. באפשרותך גם להפעיל ערכת בדיקה מספר פעמים כדי לראות שינויים לאורך זמן כאשר אתה משפר את הסוכן שלך.

מאמר זה מסביר כיצד להתחיל הערכות ולהצגת תוצאות באמצעות Copilot Studio הממשק. באפשרותך גם להפעיל הערכות באמצעות ה- API של Power Platform או connectors שנוספו ככלים או כחלק מזרימות אוטומציה ב- Copilot Studio או ב- Power Automate.

תוצאות הבדיקה זמינות ב- Copilot Studio 89 ימים. כדי לשמור את תוצאות הבדיקה לפרק זמן ארוך יותר, יצא את התוצאות לקובץ CSV.

הפעל בדיקה עם ערכת בדיקה

לאחר יצירת ערכת בדיקה, הפעל בדיקה באמצעות ערכה זו. לחלופין, הפעל שוב את הבדיקות באמצעות אותה ערכה כדי להשוות בין תוצאות לאורך זמן ותדירות. בדיקה עשויה להימשך עד כמה דקות. באפשרותך להפעיל בדיקה אחת בלבד בכל פעם.

חשוב

הערכות סוכן המשתמשות באימות משתמש דורשות גישה דרך Microsoft Copilot Studio המחבר. אם מנהל המערכת מבטל חיבור זה, לא ניתן להפעיל בדיקות באמצעות כלי ההערכה. לקבלת מידע נוסף, ראה Copilot Studio מחברים וקבוצות נתונים.

1. עבור אל דף ההערכה של הסוכן שלך.

   

2. הפעל בדיקה על-ידי ביצוע אחת מהפעולות הבאות:

   • בסיום יצירה או עריכה של ערכת בדיקה, בחר הערך.
   • במקטע תוצאות אחרונות , הפעל בדיקה מחדש על-ידי ביצוע אחד מהפעולות הבאות:
     • רחף מעל תוצאת הבדיקה שברצונך להעריך ולאחר מכן בחר ▶ הערכה (הערכת סט הבדיקה שוב) לצד הערכת סוכן.
     • בחר את תוצאת הבדיקה כדי לפתוח אותה ולאחר מכן בחר את סמל הפעל ▶ בחלונית סיכום הערכה.

   אם פרופיל המשתמש עבור ערכת הבדיקה כולל חיבורים מנותקים, או שערכת הבדיקה אינה כוללת פרופיל משתמש, תיבת הדו-שיח ניהול פרופילים וחיבורים מופיעה. אינך צריך להשתמש בפרופיל משתמש לבדיקה. עם זאת, אם אתה משתמש בפרופיל, כל החיבורים חייבים לפעול. לקבלת מידע אודות תיקון חיבורים, ראה ניהול פרופילי משתמשים וחיבורים.

ההערכה לוקחת כמה דקות. תוצאות הבדיקה מעובדות בזמן אמת, שורה אחר שורה. אתה רואה את התוצאה של כל מקרה בדיקה להערכה מופיעה ברצף כפי שהם נוצרים. עיבוד בזמן חי של מקרי בדיקה מעניק לך ניראות מיידית של מגמות איכות וכשלים פוטנציאליים בזמן שההערכה פועלת. באפשרותך להפסיק את הריצה בכל נקודה אם מתרחשות בעיות. התראה מופיעה ב- Copilot Studio כאשר ההערכה המלאה הושלמה, והתוצאות הסיכום מוכנות לתצוגה.

הערה

ניתן להפעיל ערכת בדיקה להערכה אחת בלבד בכל פעם. המתן להשלמת ההערכה הנוכחית לפני הפעלת הערכה אחרת.

התעמק בתוצאות הבדיקה

בכל פעם שאתה מריץ הערכה עם ערכת בדיקה, Copilot Studio:

1. משתמש בחשבון המשתמש המחובר כדי לדמות שיחות עם הסוכן, תוך שליחת כל שאלה במקרה הבדיקה לסוכן.

2. אוסף את התגובות של הסוכן.

3. מודדת ומנתחת את הצלחת כל תגובה. כל מקרה בדיקה מקבל Pass, Fail, Invalid או Error בהתבסס על הקריטריונים של מקרה הבדיקה.

4. הקצאת ניקוד שיעור מעבר בהתבסס על שיעור מעבר/כשלון של ערכת המבחן.

באפשרותך לראות את שיעור המעבר של הפעלת כל ערכת בדיקה בדף הערכה של הסוכן שלך, תחת קטגוריית תוצאות אחרונות. כדי לראות הפעלות נוספות של ערכת בדיקה, בחר הצג הכל.

הצג ודרג ניתוח מפורט עבור מקרה בדיקה

בעת פתיחת תוצאת בדיקה, אתה רואה את הפרטים של הפעלת הבדיקה, רשימה של השאילתות המשמשות במבחן, כיצד הסוכן הגיב, ואת הציון Pass או Fail .

בחר מקרה בדיקה ברשימה כדי לראות הערכה מפורטת של כל תגובה. בחר הכל, מעבר או כשל בסינון אירועים לפי תוצאה.

ההערכה כוללת את התגובות הצפויות ואת התגובות בפועל, את הסיבה מאחורי תוצאת הבדיקה ואת הידע, הנושאים וכלים שהסוכן השתמש בהם כדי להגיב.

1. תוצאות ההערכה. דוגמה זו מציגה את פרטי התוצאה של הערכת איכות.

2. בחר הצג מפת פעילות כדי לראות את רצף הקלט, ההחלטות והפלט של הסוכן שלך בתוך מקרה בדיקה. קבל מידע נוסף בהצגת שיחה בתוך פעילות.

3. התעתיק של שאלת הבדיקה ותשובת הסוכן.

4. המשאבים שבהם הסוכן השתמש בבדיקה. בחר אפשרות אחת כדי לפתוח אותה.

באפשרותך לספק ל-Microsoft משוב על האופן שבו התבצעה ההערכה עבור כל מקרה בדיקה. משוב זה מציין באופן ספציפי עד כמה שיטת ההערכה שנבחרה העריך את התגובה, לא אם התגובה עצמה היתה נכונה. המשוב שלך מסייע בשיפור האיכות והדיוק של ההערכות לאורך זמן.

כדי לדרג הערכה, בחר בסמל אגודל למעלה או בסמל אגודל למטה בחלונית פרטי מקרה הבדיקה. כאשר טופס המשוב נפתח, ספק פרטים נוספים אודות הדירוג שלך ולאחר מכן בחר שלח.

מספר "יצרנים" של אותו סוכן יכולים להפעיל מספר פעמים ערכת בדיקה להערכה. יצרנים יכולים להפעיל הערכות באמצעות ערכות בדיקה שנוצרו על-ידי יצרנים אחרים. יצרנים יכולים לראות את מצב ההפעלה ואת מדדי התוצאות של כל בדיקה שהופעלה, אך רק היוצר שהפעיל את הפעלת הבדיקה יכול להציג את התגובות לנציגים והסברים לתוצאה.

השווה תוצאות בדיקה

ברצונך לבדוק גירסה אחת של הסוכן שלך ולראות שינויים בביצועים לפני ואחרי ביצוע השינויים. באפשרותך להשוות בין שתי ההפעלות של אותה ערכת בדיקה באמצעות הכלי השוואה עם .

כדי לראות השוואה, עליך להפעיל את אותה ערכת בדיקה לפחות פעמיים.

1. בדף הערכה של הסוכן שלך,תחת תוצאות בדיקהאחרונות, פתח את הפעלת הבדיקה שבה ברצונך להשתמש כבסיס עבור ההשוואה.

2. בחר את הרשימה הנפתחת השווה עם ולאחר מכן בחר את השעה והתאריך של הפעלת הבדיקה שברצונך להשוות לתוצאות הבדיקה הפתוחות כעת.

ברשימת מקרי בדיקה, החצים מציגים אילו תוצאות של מקרי הבדיקה השתפרו על-ידי שינוי מכישלון להצלחה , או ירדו על-ידי שינוי מהצלחה לכישלון .

בחר מקרה בדיקה כדי לראות פרטים נוספים. בחלונית סיכום הערכה , באפשרותך לראות השוואה ישירה של תוצאות הבדיקה, עם התוצאה של הפעלת הבדיקה הנוכחית למעלה.

ייצוא תוצאות בדיקה

באפשרותך לייצא תוצאות בדיקה לקובץ CSV. הקובץ מפרט את השאלה, התגובה הצפויה (אם ישים), שיטת בדיקה, העברת ניקוד (אם ישים), תגובת הסוכן, תוצאת הבדיקה והניתוח עבור כל מקרה בדיקה.

1. עבור אל דף ההערכה של הסוכן שלך.
2. במקטע תוצאות אחרונות , יצא תוצאת בדיקה על-ידי ביצוע אחד מהפעולות הבאות:
   • רחף מעל מקרה הבדיקה שברצונך לייצא, בחר את שלוש הנקודות (...) ולאחר מכן בחר ייצוא תוצאות בדיקה.
   • בחר את מקרה הבדיקה כדי לפתוח אותו, בחר את שלוש הנקודות (...) בחלונית סיכום הערכה ולאחר מכן בחר ייצוא תוצאות בדיקה.

תוצאות הבדיקה מורדות כקובץ your test set name.csv.