בחר שיטות הערכה

הערה

המאפיינים במאמר זה מופעלים על ידי הרתמה הסטנדרטית, המשתמשת באפשרויות החיוב המתוארות ברישוי לסוכנים המופעלים על ידי הרתמה הסטנדרטית. למד כיצד לגשת ליכולות סטנדרטיות ב-גישה לסוכנים סטנדרטיים ולתזרימי סוכן.

בעת יצירת ערכות בדיקה, בחר מבין שיטות בדיקה שונות כדי להעריך את התגובות של הסוכן שלך. לכל שיטת בדיקה יש נקודות חוזק משלה והיא מתאים לסוגים שונים של הערכות.

שיטת בדיקה	מדידות	סוג ערכת בדיקה	הבקיע	תצורות
איכות כללית	עד כמה טובה התגובה של מקרה בדיקה מבוססת על תכונות ספציפיות	תגובה בודדת או שיחה אחת	ציון מתוך 100%	ללא
השוואת משמעות	עד כמה המשמעות של התשובה של תיק הבדיקה תואמת לתשובה הצפויה	תגובה יחידה	ציון מתוך 100%	ציון מעבר, תשובה צפויה
שימוש בכלים	אם מקרה הבדיקה השתמש בכל המשאבים הצפויים או בכלל	תגובה יחידה	מעבר/כשל	יכולות צפויות
התאמת מילת מפתח	אם מקרה הבדיקה השתמש בכל מילות המפתח או בצירופי המילים הצפויים	תגובה בודדת או שיחה אחת	מעבר/כשל	מילות מפתח או צירופי מילים צפויה
דמיון טקסט	עד כמה הטקסט של התשובה של מקרה הבדיקה תואם לתשובה הצפויה	תגובה יחידה	ציון מתוך 100%	ציון מעבר, תשובה צפויה
התאמה מדויקת	אם התשובה של מקרה הבדיקה תואמת בדיוק לתשובה הצפויה	תגובה יחידה	מעבר/כשל	תשובה צפויה
מותאם אישית	בין אם תגובת מקרה הבדיקה עומדת בקריטריונים המוגדרים או בציפיות שלך.	תגובה בודדת או שיחה אחת	מעבר/כשל (מעבר לקריטריוני התווית המוגדרים)	שם, הוראות הערכה, תוויות

הוספת שיטת בדיקה

1. בעת יצירה או עריכה של ערכת בדיקה, בחר הוסף שיטת בדיקה.

2. בחר את כל השיטות שברצונך לבדוק איתם ולאחר מכן בחר אישור. באפשרותך להוסיף שיטות מרובות.

   1. שיטות מסוימות דורשות ציון עובר. ניקוד המעבר קובע מהו הניקוד שגורם למעבר או כשל. הגדר את הציון ולאחר מכן בחר אישור.

   2. שיטות בדיקה מסוימות דורשות קריטריונים נוספים.

3. בחר שמור כדי לשמור את השינויים בערכת הבדיקה.

בחר שיטת בדיקה קיימת כדי לערוך את הקריטריונים של פעולת שירות זו או למחוק שיטה זו.

איכות כללית

זמין עבור ערכות בדיקה של תגובה יחידה ושיחה. איכות כללית עוזרת לך להחליט אם התגובות של הסוכן שלך עומדות בתקנים שלך. הוא משתמש במודל שפה גדול (LLM) כדי להעריך את היעילות שבה סוכן עונה על שאלות המשתמשים.

איכות כללית שימושית במיוחד כאשר אין תשובה מדויקת הצפויה. הוא מציע דרך גמישה ומדרגית להערכת תגובות בהתבסס על המסמכים שאוחזרו וזרימת השיחה.

הוא משתמש בקריטריוני מפתח אלה ומחיל הנחיה עקבית לניקוד עקבי.

• רלוונטיות: במידה שבה התגובה של הסוכן עונה על השאלה. לדוגמה, האם תגובת הסוכן תישאר על הנושא ותענה ישירות לשאלה?

• מקורקעות: במידה שבה תגובת הסוכן מבוססת על ההקשר שסופק. לדוגמה, האם חומר ההפניה לתגובה של הסוכן או שהוא מסתכם במידע הנתון בהקשר, במקום להציג מידע לא קשור או לא נתמך?

• מלאות: במידה שבה תגובת הסוכן מספקת את כל המידע הנחוץ. לדוגמה, האם תגובת הסוכן מכסה את כל היבטי השאלה ומספקת פרטים מספיקים?

• נעדר: האם הסוכן ניסה לענות על השאלה.

כדי להיחשב לאיכות גבוהה, על תגובה לעמוד בכל קריטריוני המפתח הללו. אם קריטריון אחד אינו מתקיים, התגובה מסומנת לשיפור. שיטת ניקוד זו מבטיחה שרק תגובות שהן גם מלאות וגם נתמכות היטב יקבלו ציונים גבוהים. לעומת זאת, תשובות שלא הושלמו או שאין עדויות תומכות מקבלות תוצאות נמוכות יותר.

בעת הוספה או עריכה של שיטות בדיקה, בחר איכות כללית. כל ערכות הבדיקה מתחילות בשיטה זו כברירת מחדל.

אין צורך להוסיף תשובות צפויות למקרי בדיקה כדי להשלים הערכת איכות כללית.

הערה

הפחתת מספר מקורות הידע עבור הסוכן אינה מובטחת כדי לשפר את הדרגת איכות כללית בהערכת סוכן. מגבלה זו קיימת מאחר שהידע המאוחזר (הידע שהמודל חושב שהוא רלוונטי למקרה בדיקה ספציפי) עשוי להיות גדול מדי.

השוואת משמעות

זמין עבור ערכות בדיקת תגובה בודדות. השוואת המשמעות מעריכה עד כמה תשובת הסוכן משקפת את המשמעות המיועדת של התגובה הצפויה. במקום להתמקד בטקסט מדויק, הוא משתמש בדמיוןכוונת, כלומר הוא משווה בין הרעיונות והמשמעות מאחורי המילים, כדי לשפוט עד כמה התגובה מתאימה למה שצופה.

כמו איכות כללית, השוואה בין משמעות שימושית במיוחד כאשר אין תשובה מדויקת הצפויה. הוא מציע דרך גמישה ומדרגית להערכת תגובות בהתבסס על המסמכים שאוחזרו וזרימת השיחה.

באפשרותך להגדיר סף ניקוד עובר כדי לקבוע מה מהווה ציון עובר עבור תשובה. ברירת המחדל היא 50. שיטת בדיקת המשמעות של השוואה שימושית כאשר ניתן לצירוף תשובה בדרכים נכונות שונות, אך המשמעות הכוללת או המטרה עדיין צריכים להגיע.

1. בעת הוספה או עריכה של שיטות בדיקה, בחר השווה משמעות.

2. הגדר את ציון המעבר עבור שיטה זו.

3. הוסף את התשובות הצפויות. כל מקרה בדיקה ללא תשובות צפויות מפיק תוצאה לא חוקית עבור שיטת בדיקה זו.

   1. בחר מקרה בדיקה.

   2. הוסף את התשובה שאתה מצפה לה.

   3. בחר החל כדי לשמור את התשובה הצפויה.

   4. חזור על הפעולה עבור כל מקרי הבדיקה שברצונך לבדוק באמצעות שיטה זו.

שימוש בכלי

זמין עבור ערכות בדיקת תגובה בודדות. כלי משתמש בבדיקות אם הסוכן השתמש בכלים או בנושאים ספציפיים כדי ליצור תשובה. אם זה היה קורה, היא עוברת. אם לא, היא תיכשל.

1. בעת הוספה או עריכה של שיטות בדיקה, בחר שימוש בכלי.

2. הוסף את הכלים או הנושאים הצפויים. כל מקרה בדיקה ללא תשובות צפויות מפיק תוצאה לא חוקית עבור שיטת בדיקה זו.

   1. בחר מקרה בדיקה. כדי להוסיף את אותם הכלים והנושאים הצפויים עבור כל מקרי הבדיקה, בחר את סמל ערוך בכותרת העמודה כלים.

   2. בחלונית בחר כלים , בחר את הנושאים או הכלים שבהם אתה מצפה שהסוכן שלך ישתמש עבור מקרה בדיקה זה.

   3. בחר אישור.

   4. בחר שמור כדי לשמור שינויים.

   5. חזור על הפעולה עבור כל מקרי הבדיקה שברצונך לבדוק אם יש בהם כלים.

התאמת מילת מפתח

זמין עבור ערכות בדיקה של תגובה יחידה ושיחה. התאמת מילות מפתח בודקת אם התשובה של הסוכן מכילה חלק מהביטויים או את כולם מהתגובה הצפויה שאתה מגדיר. אם כן, היא תעבור. אם לא, היא תיכשל.

באפשרותך לבחור אם המעבר דורש כל אחת מ מילות המפתח או את כולן. בחירה באפשרות כלשהו פירושה שאם לפחות מילה אחת או צירוף מילים אחד תואמים, מקרה הבדיקה עובר. בחירה באפשרות הכל פירושה שכל המילים או צירופי המילים הצפויים חייבים להיות תואמים כדי שמקרה בדיקה יעבור.

1. בעת הוספה או עריכה של שיטות בדיקה, בחר התאמה למילת מפתח.

2. בחר אם יש צורך במילות מפתח כלשהן או בכל מילות המפתח להתאמה.

3. הוסף את מילות המפתח הצפויות. כל מקרה בדיקה ללא מילות מפתח צפויות מפיק תוצאה לא חוקית עבור שיטת בדיקה זו.

   1. בחר מקרה בדיקה.

   2. בחלונית עריכת מקרה בדיקה , הוסף מילת מפתח או צירוף מילים שאתה מצפה שתשובת האירוע תקבל.

   3. בחר + הוסף כדי להוסיף מילות מפתח או צירופי מילים נוספים. כדי להסיר מילת מפתח או צירוף מילים, בחר את סמל מחק.

   4. בחר החל כדי לשמור את מילות המפתח הצפויות.

   5. חזור על הפעולה עבור כל מקרי הבדיקה שברצונך לבדוק אם קיימת התאמה למילות מפתח.

דמיון טקסט

שיטת בדיקת הדמיון לטקסט משווה את הדמיון בין התגובות של הסוכן לתגובות הצפויות שאתה מגדיר בערכת הבדיקה. השתמש בפעולת שירות זו לבדיקה כאשר תשובה נכונה צריכה להתאים בדיוק לתגובה הצפויה, או כמעט בדיוק, הן במבנה של מילים והן במבנה משפטים. לדוגמה, לעתים קרובות נדרשת נוסחה מדויקת בעת יצירת מסמך משפטי. בדיקה זו משמשת בדרך כלל לצד שיטת בדיקת המשמעות של Compare שמבטיחה דמיון למשמעות, אך אינה מבטיחה דמיון לטקסט. היא שונה גם משיטה לבדיקת התאמת מילות מפתח, המבטיחה את הנוכחות של מונחים מסוימים, אך אינה מבטיחה דמיון לבנייה. אם התשובה כולה חייבת להתאים בדיוק לתשובה הצפויה כולה, השתמש במקום זאת בשיטה Exact match test.

מדד דמיון של קוסינוס מעריך את מידת הדמיון של תשובת הסוכן למילה של התגובה הצפויה וקובע ציון. ציון הטווחים בין 0 ל- 1, כאשר 1 פירושו שהתשובה תואמת במדויק ו- 0 פירושו שהיא אינה תואמת. באפשרותך להגדיר סף ניקוד עובר כדי לקבוע מה מהווה ציון עובר עבור תשובה.

1. בעת הוספה או עריכה של שיטות בדיקה, בחר דמיון טקסט.

2. הגדר את ציון המעבר עבור שיטה זו.

3. הוסף את התשובות הצפויות. כל מקרה בדיקה ללא תשובות צפויות מפיק תוצאה לא חוקית עבור שיטת בדיקה זו.

   1. בחר מקרה בדיקה.

   2. הוסף את התשובה שאתה מצפה לה.

   3. בחר החל כדי לשמור את התשובה הצפויה.

   4. חזור על הפעולה עבור כל מקרי הבדיקה שברצונך לבדוק באמצעות שיטה זו.

התאמה מדויקת

זמין עבור ערכות בדיקת תגובה בודדות. התאמה מדויקת בודקת אם התשובה של הסוכן תואמת בדיוק לתגובה הצפויה בבדיקה: תו עבור תו, מילה עבור word. אם זה אותו הדבר, הדבר עובר. אם משהו שונה, הוא נכשל. התאמה מדויקת שימושית עבור תשובות קצרות ומדויקות, כגון מספרים, קודים או צירופי מילים קבועים. הוא אינו מתאים לתשובות שאנשים יכולים לצירוף מילים בדרכים נכונות מרובות.

1. בעת הוספה או עריכה של שיטות בדיקה, בחר התאמה מדויקת.

2. הוסף את התשובות הצפויות. כל מקרה בדיקה ללא תשובות צפויות מפיק תוצאה לא חוקית עבור שיטת בדיקה זו.

   1. בחר מקרה בדיקה.

   2. הוסף את התשובה שאתה מצפה לה.

   3. בחר החל כדי לשמור את התשובה הצפויה.

   4. חזור על הפעולה עבור כל מקרי הבדיקה שברצונך לבדוק באמצעות שיטה זו.

מותאם אישית

התאמה אישית היא שיטת בדיקה הניתנת להתאמה אישית. הוא מאפשר לך לבדוק ולתייג את התשובות של הסוכן באמצעות הקריטריונים שלך. לדוגמה, באפשרותך ליצור בדיקת תאימות עבור סוכן משאבי אנוש כדי להוסיף תווית לתשובות בדיקה כתאימות או לא תואמות לתיאור של תאימות משאבי אנוש.

בדיקה מותאמת אישית כוללת שני רכיבים עבורך להגדרה:

הוראות הערכה: מתאר את המטרה שברצונך להשיג במבחן זה. מה אתה רוצה שהמבחן יגלה על התשובות של הסוכן שלך?

הוראות הערכה טובות צריכות:

• היה מונחה מטרה.

• השתמש בתווים המותרים בלבד.

• השתמש בנקודות תבליט ובכותרות עבור הארגון.

לדוגמה:

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

תוויות: מתאר את התוצאה שהוקצתה לכל תשובה באמצעות הבדיקה המותאמת אישית. תוויות כוללות גם הקצאות מעבר/כשל, אשר נספרות לשיעור המעבר של קבוצת הבדיקה עבור שיטת בדיקה זו.

לתוויות יש שם ותיאור. תיאור טוב:

• תמציתי.

• מכיל את התכונות שאתה מחפש בתשובות תואמות.

אסטרטגיה אחת עבור תוויות היא להחזיק בשתי תוויות: אחת היא תשובות שממלאות בהצלחה את הקריטריונים שאתה מחפש, והאסטרטגיה האחרת לקבלת תשובות שלא. לדוגמה, בדיקה מותאמת אישית של תאימות מדיניות משאבי אנוש יכולה לכלול תוויות כגון 'תואמת' ו-'לא תואמת'.

1. בעת הוספה או עריכה של שיטות בדיקה, בחר מותאם אישית.

2. הזן שם עבור בדיקה מותאמת אישית זו.

3. הוסף הוראות הערכה.

4. הוסף שתי תוויות או יותר. לכל תווית יש שם ותיאור.

   כדי להוסיף תוויות נוספות, בחר הוסף תווית.

   כותרות תוויות יכולות להשתמש רק באותיות, מספרים, רווח, -מקף, קו תחתון, _/קו נטוי , &אמפרסנד , סימן חיבור +ונקודה ..

5. הגדר את התוצאה Passאו Fail עבור כל תווית.

6. בחר אישור.