יצירת ערכת בדיקה של שיחה

הערה

מאמר זה מתאר תכונות שמשמשות בסוכנים או בזרימות סוכנים שמופעלות באמצעות המסגרת הרגילה.

הערכת שיחות מאפשרת לך להעריך את אופן הפעולה הכללי של הסוכן שלך במהלך אינטראקציה ארוכה יותר. הוא משקף את האופן שבו משתמשים אמיתיים מקיימים אינטראקציה עם סוכנים, כאשר כל תגובה תלויה בהקשר הקודם בתוך שיחה מתמשכת. באפשרותך להשתמש בהערכות אלה כדי לקבוע אם סוכן יכול לשמור על הקשר, לבקש הבהרות ולהשלים משימות מרובות שלבים.

באפשרותך גם להפעיל הערכות תגובה בודדות , שבהן ברצונך לבדוק את הסוכן שלך לגבי האופן שבו הוא עונה על שאלות ספציפיות, על היכולות שהוא קורא, ועל הנוצות המדויקות שבהן הוא משתמש בתשובות שלו.

הערכות משתמשות בערכות בדיקה. ערכת בדיקה עבור הערכות שיחות מורכבת מקבוצה של עד 20 מקרי בדיקה. בעת הפעלת הערכת הסוכן, אתה בוחר ערכת בדיקה ו-Copilot Studio מפעילה כל מקרה בדיקה בקבוצה זו מול הסוכן שלך.

ניתן ליצור מקרי בדיקה בתוך ערכת בדיקה על-ידי ייבואם באמצעות גיליון אלקטרוני או להשתמש בבינה מלאכותית כדי ליצור הודעות בהתבסס על העיצוב והמשאבים של הסוכן שלך. לאחר מכן תוכל לבחור כיצד ברצונך למדוד את איכות התגובות של הסוכן שלך עבור כל מקרה בדיקה בתוך ערכת בדיקה.

למדו עוד על אופן פעולת הערכת סוכנים ב-About Agent.

כדי ללמוד כיצד לערוך ערכת בדיקה קיימת, ראה שינוי הפרטים של ערכת בדיקה.

חשוב

תוצאות הבדיקה זמינות ב- Copilot Studio 89 ימים. כדי לשמור את תוצאות הבדיקה לפרק זמן ארוך יותר, יצא את התוצאות לקובץ CSV.

יצירת ערכת בדיקת שיחה

1. עבור אל דף ההערכה של הסוכן שלך.

   

2. בחר הערכה חדשה ולאחר מכן בחר שיחה.

   

3. באפשרותך ליצור אירועי בדיקה מרובי סיבובים באמצעות כל אחת מהשיטות הבאות:

   • ערכת שיחות מהירות: צור באופן אוטומטי 10 שיחות קצרות בהתבסס על התיאור, ההוראות והיכולות של הסוכן שלך.

   • ערכת שיחות מלאה: צור שיחות באמצעות הידע של הסוכן שלך או נושאים מוגדרים. באפשרות זו תוכל לבחור ליצור שיחות קצרות או ארוכות.

   • השתמש בצ'אט הבדיקה שלך: המר את צ'אט הבדיקה העדכני ביותר למקרה בדיקה.

   הערה

   ערכות בדיקה של שיחות תומכות בעד 20 מקרי בדיקה. כל מקרה בדיקה תומך ב- 12 הודעות בסך הכל, שהוא 6 זוגות של שאלות ותשובות.

4. תחת שם, הקלד שם עבור ערכת הבדיקה.

5. שנה או הוסף את שיטות הבדיקה שבהן ברצונך להשתמש. למערכי בדיקות שיחה, אפשר להוסיף את האיכות הכללית, התאמת מילות מפתח, שימוש בכלים או שיטות בדיקה מותאמות אישית .

   • הוסף שיטה חדשה:
     1. בחר הוסף שיטת בדיקה.
     2. בחר את כל השיטות שברצונך לבדוק איתם ולאחר מכן בחר אישור. באפשרותך להוסיף שיטות מרובות.
     3. בשיטות מסוימות, הגדר ציון סיסמה ולאחר מכן בחר אישור. ניקוד המעבר קובע מהו הניקוד שגורם למעבר או כשל.
     4. שיטות מסוימות דורשות הוספת תגובות צפויות או מילות מפתח עבור כל אחד מהמקרים שלך. למידע נוסף בבחירת שיטות הערכה.
   • בחר שיטת בדיקה קיימת לעריכה או למחיקה.

   שיטת בדיקה	מדידות	סוג ערכת בדיקה	הבקיע	תצורות
   איכות כללית	עד כמה טובה התגובה של מקרה בדיקה מבוססת על תכונות ספציפיות	תגובה בודדת או שיחה אחת	ציון מתוך 100%	ללא
   בטיחות תוכן	האם תגובת המקרה מכילה תוכן מזיק, כמו שנאה, אלימות, פגיעה עצמית או תוכן מיני	תגובה בודדת או שיחה אחת	מעבר/כשל	סוג תוכן, רמת בטיחות תוכן מותרת
   השוואת משמעות	עד כמה המשמעות של התשובה של תיק הבדיקה תואמת לתשובה הצפויה	תגובה יחידה	ציון מתוך 100%	ציון מעבר, תשובה צפויה
   שימוש בכלים	אם מקרה הבדיקה השתמש בכל המשאבים הצפויים או בכלל	תגובה יחידה	מעבר/כשל	יכולות צפויות
   התאמת מילת מפתח	אם מקרה הבדיקה השתמש בכל מילות המפתח או בצירופי המילים הצפויים	תגובה בודדת או שיחה אחת	מעבר/כשל	מילות מפתח או צירופי מילים צפויה
   דמיון טקסט	עד כמה הטקסט של התשובה של מקרה הבדיקה תואם לתשובה הצפויה	תגובה יחידה	ציון מתוך 100%	ציון מעבר, תשובה צפויה
   התאמה מדויקת	אם התשובה של מקרה הבדיקה תואמת בדיוק לתשובה הצפויה	תגובה יחידה	מעבר/כשל	תשובה צפויה
   מותאם אישית	בין אם תגובת מקרה הבדיקה עומדת בקריטריונים המוגדרים או בציפיות שלך.	תגובה בודדת או שיחה אחת	מעבר/כשל (מעבר לקריטריוני התווית המוגדרים)	שם, הוראות הערכה, תוויות

6. ערוך את הפרטים של מקרי הבדיקה. כל שיטות הבדיקה, למעט איכות כללית, דורשות תגובות צפויות או מילות מפתח. למדו עוד על עריכת מקרי בדיקה ב-Modify a test set.

7. בחר פרופיל משתמש, בדוק את החיבורים של המשתמש שמחובר כרגע, או המשך ללא אימות. ההערכה משתמשת במשתמש שמחובר כרגע כדי להתחבר למקורות וכלים של ידע במהלך הבדיקות. כדי להפעיל את ההערכה כמשתמש אחר, התנתק, התחבר באמצעות החשבון של משתמש זה ולאחר מכן התחל את ההערכה. למדו עוד בניהול פרופילי משתמש וקשרים.

   הערה

   בדיקות אוטומטיות משתמשות באימות של המשתמש המחובר כעת. ודאו שהמשתמש יכול לגשת לכל מקור ידע או חיבורים שדורשים אימות.

8. ערוך או צור מקרי בדיקה נוספים. קבל מידע נוסף בעריכת מקרי בדיקה בתוך ערכת בדיקה.

9. בחר שמור כדי לעדכן את ערכת הבדיקה מבלי להפעיל את מקרי הבדיקה או הערך כדי להפעיל את ערכת הבדיקה באופן מיידי.