גישות הערכה נפוצות

כאשר אתם בונים סוכני בינה מלאכותית, אתם זקוקים לדרכים מהימנה כדי לבדוק ולמדוד את הביצועים שלהם. אסטרטגיות הערכה עוזרות לך להפיק נתוני בדיקה, ציונים לתשובות סוכן, ולהחליט החלטות מושכלות לגבי איכות הסוכן שלך.

מאמר זה מתאר גישות הערכה נפוצות ומתי להשתמש בכל אחת מהן. כדי למטב את העלות, הביצועים והאיכותיים, שלב גישות ופלטפורמות מרובות במקום להשתמש בשיטה להערכה יחידה.

יוצר זוגות של בקשות-תגובה לקבלת דרגות

סעיף זה מתאר שלוש גישות נפוצות ליצירת זוגות של בקשות-תגובה כדי לדמות אינטראקציות מהעולם האמיתי: הד, הפעלה חוזרת היסטורית וגורמים מסונתזים. לכל גישה יש יתרונות ומגבלות משלה, מה שהופך אותן למתאימות לבדיקות בתרחישים שונים.

הד

צ'אט סוכן משחזר רשימה סטטית של פקודות רבות-שלבים המתאימות לתרחיש, מילה במילה.

יתרונות: עלות נמוכה. מספק השוואות הוגנת כאשר אתה משנה היבט אחד בלבד של סוכן, כגון שדרוגים מצטברים של מודלים או שינויי כלי יחיד.

חסרונות: מאחר שההערכה משתמשת ברשימת בקשות סטטית, אין לה אפשרות להתאים לתגובות שונות שהסוכנים מספקים במהלך השיחה. ייתכן שהנחיות מאוחרות יותר לא יהיו רלוונטיות להקשר השיחה הנוכחי.

אידיאלי עבור: תרחישים חד-פעמיים ובדיקת דטרמיניסטיות. השתמש בשיטה זו כדי לבדוק אם ציטוטים מוצגים כראוי, אם השיחות בכלי מופעלות כראוי, ובשיחות פשוטות שבהן ההקשר אינו גורם לתפצלות.

תרחישים לדוגמה הפועלים היטב:

  • סיבוב 1: העלאת מסמך (מעבר בינארי או בדיקת כשל)
  • פנייה 1: צור תמונה עבור תוכן זה (בדיקת דמיון)
  • תור 2: כעת ייצר כיתוב. (בדיקת דמיון)

שחזור היסטורי

הערך כל סיבוב בהקשר של בקשות ותגובות קודמות עבור כל בקשה.

יתרונות: פותר באופן חלקי את בעיית הסטייה בשיחות רב־פניות על־ידי זיהוי המיקום ומידת הסטייה של כל פנייה מהנתיב האידיאלי.

חסרונות: עדיין לא ניתן לטפל בשיחות מרובות סיבובים דינאמיות, כגון למידה, או חשבון לשינויים דינאמיים של RAG (Retrieval Augmented Generation) (לדוגמה, חיפוש באינטרנט).

אידיאלי עבור: טיפולים להשוואה או שינויי מודלים כדי להבין הסחה מהתנהגות מקורית בכל סיבוב.

אנשים מסונתזים (מבוסס תרחיש)

שחקן אנושי או סוכן יוצר שיחה בזמן אמת בהתבסס על תרחיש ואדם.

יתרונות: באפשרותך להעריך באופן דינאמי תרחישים מורכבים (לדוגמה, לפעול כמורה פרטי).

חסרונות: דיוק הציון של התשובות דורש נואנס, ועליך לקחת בחשבון את העלות של מודל שפה או בודק אנושי.

מתן דרגות לתגובות

לאחר לכידת זוגות של בקשות תגובה, תן ציון לאיכות ולביצועים הכוללים של המערכת הנציגית. גישות הדרגתיות הנפוצות כוללות הדרגתיים מבוססי קוד, מודלי שפות כשופטים ומדרגי בני אדם.

דרגתיים מבוססי קוד

דוגמאות: Regex, בדיקת מעבר-כישלון בינארית, בדיקות יחידה, דמיון וקטורי מחושב, מבוסס טלמטריה (ביצועים, קיבולת, עלות).

יתרונות: קיימים פתרונות ומסגרות למבוגרים. לדוגמה, קווי צינור לבדיקות רג'קס, lint ובדיקות UX. באפשרותך לאמת בקלות את הבדיקת דטרמיניסטיות.

חסרונות: קשה להעריך במדויק היבטים איכותיים או נואנסים של סוכן, כגון טון ודיוק.

מודל השפה כשופט

יתרונות: מאפשר בדיקה מבוססת תרחיש בקנה מידה רחב. גמיש מספיק כדי לקודד מערך רחב של העדפות משתמש.

חסרונות: התבססות על הערכת בסיס של מודל שפה בלבד או קבוצה מוגבלת של מודלים ותוני הארקת נתונים יכולה להכניס אנטרופיה לתהליך ההערכה.

בודקי אנוש

יתרונות: מספק את ההערכה האיכותית הטובה ביותר.

חסרונות: איטי ויקר. דורש ממומחים אנושיים להקדיש זמן הרחק מהעבודות שלהם.

תרגום תוצאות הערכה להחלטות

סוכנים משבשים את הכדאיות הקיימת ומסגרות החזר על השקעה (ROI) כאשר החשיבה לפתרון מתפתחת למושגי ריבוי סוכנים, Agent 365 או עובד דיגיטלי. שקול את הגורמים הבאים:

  • הטבע הלא-דטרמיניסטי של מודלי שפה דורש מעבר מסטטיות של קריטריוני הצלחה של מעבר או כשלון ומדידות המבוססות על בדיקות יחידה להערכות מבוססות אחוזים.

  • ההחזר על ההשקעה עבור סוכן כולל השפעה מעבר לפתרון עצמאי או זרימת תהליך יחידה ככלים מודולריים (MCP) או Agent2Agent (A2A) מערכות אקולוגיות רב-סוכנותיות שמתרחבות מעבר למקרה שימוש יחיד.

הסעיפים הבאים מתארים שיטות עבודה מומלצות לתרגום תוצאות הערכה לקבלת החלטות מושכלות לגבי אסטרטגיית הארכיטקטורה והפריסה של הסוכן שלך.

יצירת מדדי הערכה

צור מדידה בסיסית של הצלחת המערכת הקיימת, גם אם היא ידנית. לדוגמה, ניתוב כרטיסים עם ספקי תמיכה קיימים אינו כולל שיעור הצלחה של 100% גם כאשר נעשה שימוש באוטומציית תהליכים או אנשים.

מדדי הערכה צריכים להיות ספציפיים לתוצאה העסקית. לדוגמה, בעת הערכת פתרון ניתוב כרטיס, הערך הן את הזמן לפתרון (TTR) והן לדיוק הניתוב כדי לתעדף עסקאות מסחריות בין ארכיטקטורות. פתרון אחד עשוי להציע דיוק גבוה יותר עם TTR ארוך יותר, שעשוי להיות פחות רצוי מפתרון סוכן מהיר יותר אך מעט פחות מדויק.

לפני שתבנה פתרון כלשהו, השלם הוכחת רעיון של מודל השפה, ה- API או סוג הסוכן. הערכה זו עוזרת לך להבין אם הפתרון המוצע מגדיל את שיעור ההצלחה הבסיסי באחוז משמעותי מבחינה סטטיסטית, או אם הוא מספק שיעור הצלחה שווה ערך באופן מהימן עם זמן או חיסכון בעלויות.

התרחק מזרימות פיתוח טוריות

גישות מדור קודם לבניית סוכנים משתמשות במודל מחשבה רציף או סידורי. מודל זה מוביל לעתים קרובות למ מבוי סתום. הרעיון של 'שדרוג' סוכנים דקלרטיביים לסוכנים מותאמים אישית לסוכני 'קוד פרו' תומך בתפיסת חשיבה זו. זה רציף וסדרתי במהותו.

גישה זו יוצרת תפיסה של מבוי סתום או רגרסיה בעת "שדרוג" סוכן, למרות שהמתזמורים ומודלי השפה המשמשים תחילה הם שונים. הערכה של קריטריוני הצלחה באופן זה אינה מחשבת את אופיו המשתנה של פתרונות סוכן.

כאשר אתה מפרש תוצאות הערכה, התנגד לדחף לבחור בציון ממוצע או כזה שקל להשיג, כמו גרף רדאר. בחר סוכנים בהתבסס על היכולת שלהם להטיה לטובת אחד או שניים תכונות ספציפיות הדרושות להצלחה.

בדוגמה הבאה, למרות שהתוויית המכ"ם מצביעה על כך שפתרון א' הוא הבחירה הטובה ביותר מכיוון שהוא מכסה שטח פני שטח גדול יותר, עבור פתרון משאבי אנוש פתרון ב' מפיק תוצאות תואמות יותר. פתרון ב' הוא הבחירה הטובה ביותר כאשר בקשת נפח ועדיפות עסקית (תנועות מכירות) אינן גורמים עיקריים להצלחה.

דיאגרמה של תרשים מכ

השתמש בפריטים חזותיים עם חיכוך גבוה, כגון תרשימי טורים או מסגרות החלטות, כדי לסמן ממדים קריטיים ביותר להצלחה עבור מקרה שימוש מסוים. כלים אלה מבהירים מתי לתעדף את רלוונטיות החיפוש על פני אחזור, או זמן לתגובה, על-פני גודל ההקשר, הביצועים על-פני עלות ושיקולים דומים.

הערה

גישות הערכה היברידיות שבהן מעריכים אנושיים מבקרים וממוקדים עוד יותר את הנימוקים של שופטי מודל השפה יכולות לספק יתרונות של שתי הגישות תוך צמצום אילוצים בודדים.

יצירת תוכנית בדיקה

קריטריוני ההערכה והתוצאות משתנים בהתאם לפלטפורמה ולפתרון. לקבלת הדרכה לגבי יצירת תוכנית בדיקה, עיין במשאבים הבאים:

  • Last updated on