הערה
הגישה לדף זה מחייבת הרשאה. באפשרותך לנסות להיכנס או לשנות מדריכי כתובות.
הגישה לדף זה מחייבת הרשאה. באפשרותך לנסות לשנות מדריכי כתובות.
מאמר זה עונה על שאלות נפוצות לגבי יכולות הבינה המלאכותית המשמשות בתכונות אנליטיקה בלשונית Copilot Studio Monitor.
כיצד משתמשת בינה מלאכותית ג'נקטיבית לניתוח?
Copilot Studio משתמש בבינה מלאכותית כדי להעריך את איכות התשובות שנוצרו על ידי בינה מלאכותית ולזהות דפוסים בשאילתות של משתמשים באמצעות קיבוץ לאשכולות. אשכולות אלה מספקים תובנות לגבי ביצועי סוכן.
תשובות Generative משתמשות במקורות ידע שאתה בוחר כדי ליצור תגובה. התכונה גם אוספת משוב שאתה מספק. ניתוחים משתמשים במודלים גדולים של שפה (LLMs) כדי לסווג את הודעות הצ'אט בין משתמשים וסוכנים לרמות שמציינות את איכות התשובות הג'נפרטיות. סיווגים אלה נצברים כדי לספק סיכום של ביצועי סוכן.
מיון אשכולות משתמש ב-LLMs כדי לסדר הודעות של משתמשים לקבוצות על בסיס נושאים משותפים ולספק לכל קבוצה שם תיאורי. Copilot Studio משתמש בשמות של אשכולות אלה כדי לספק סוגים שונים של תובנות שתוכל להשתמש בהן כדי לשפר את הסוכן שלך.
איכות התגובות לתשובות מחוללות
מהו השימוש המיועד באיכות התגובה?
השתמש באיכות של ניתוח תגובה כדי להבין את ביצועי הסוכן ולזהות שיפורים. בשלב זה, באפשרותך להשתמש בכלי ניתוח כדי להבין אם איכות התשובות הג'יניטיביות של נציג עונה על הציפיות שלך.
בנוסף לאיכות הכוללת, איכות ניתוח תגובה מזהה אזורים שבהם סוכן מבצע ביצועים ירודה או לא מצליח לבצע את המטרות המיועדות שלך. זהה היכן מבצעים תשובות הג'יניטיביות בצורה גרועה ובצע שלבים כדי לשפר את האיכות שלהן.
בעת זיהוי ביצועים ירודים, פעל בהתאם לשיטות העבודה המומלצות שעשויות לעזור בשיפור האיכות. לדוגמה, לאחר זיהוי מקורות ידע בעלי ביצועים ירודים, באפשרותך לערוך את מקור הידע או לפצל את מקור הידע למספר מקורות ממוקדים יותר כדי לשפר את האיכות.
אילו נתונים משמשים ליצירת ניתוח עבור איכות התגובה?
איכות ניתוח תגובה מבוססת על מדגם של אינטראקציות של תשובה ג'נקטיבית . היא דורשת את שאילתת המשתמש, את תגובת הסוכן ואת מקורות הידע הרלוונטיים שהמודל הגנטי משתמש בהם לתשובה הגנטית. ניתוח איכות התגובה משתמש במידע זה כדי להעריך אם איכות התשובות הגנדרטיביות טובה, ואם לא, מדוע האיכות ירודה. לדוגמה, איכות התגובה יכולה לזהות תגובות לא מלאות, לא רלוונטיות או לא מקורקעות במלואן.
מהן המגבלות של איכות ניתוח תגובה, וכיצד משתמשים יכולים למזער את ההשפעות של מגבלות אלה?
איכות ניתוח תגובה אינה משתמשת בכל התגובות הגנדרטיביות. במקום זאת, ניתוחים מודדים דוגמה של סשנים של User-Agent. סוכנים עם פחות מהמספר המינימלי של תשובות Generative מוצלחות אינם יכולים לקבל סיכום אנליטי של איכות תגובה.
יש מקרים שבהם ניתוחים אינם מוערכים באופן מדויק של תגובה בודדת. ברמה מצטברת, היא אמורה להיות מדויקת עבור רוב המקרים.
ניתוח איכות תגובה אינו מספק פירוט של השאילתות הספציפיות שהובילו לביצועי איכות נמוכה. בנוסף, הם אינם מספקים פירוט של מקורות או נושאים נפוצים של ידע שבהם נעשה שימוש כאשר מתרחשות תגובות באיכות נמוכה.
ניתוחים אינם מחושבים עבור תשובות המשתמשות בידע Generative.
השלמת תשובה היא אחד מהמדדים המשמשים להעריך את איכות התגובה. מדד זה מודד את האופן בו התגובה מתייחסת באופן מלא לתוכן במסמך המאוחזר.
אם המערכת אינה מאחזרת מסמך רלוונטי עם מידע נוסף עבור השאלה, היא אינה מעריכה את מדד ההשלמה עבור מסמך זה.
אילו הגנות קיימות לאיכות של ניתוח תגובה ב- Copilot Studio ליישום אחראי של בינה מלאכותית?
משתמשי סוכנים אינם רואים תוצאות ניתוח. התוצאות זמינות ליוצרי הסוכן ולמנהלי מערכת בלבד.
יצרנים ומנהלי מערכת יכולים להשתמש רק באיכות של ניתוח תגובה כדי לראות את אחוז התגובות באיכות טובה ואת הסיבות המוגדרות מראש לביצועים ירודים. התוצאות נצברות ומוצגות כאחוזים וקטגוריות מוגדרות מראש.
בדקנו את הניתוח כדי לבדוק את איכות התגובות באופן יסודי במהלך הפיתוח כדי להבטיח ביצועים טובים. עם זאת, במקרים נדירים, איכות ההערכות של התגובה עשויה להיות לא מדויקת.
ניתוח סנטימנט עבור הפעלות שיחה
מהו השימוש המיועד בניתוח סנטימנט?
השתמש בניתוח סנטימנט כדי להבין את רמת שביעות הרצון של המשתמשים בהפעלות שיחה בהתבסס על ניתוח בינה מלאכותית של הודעות המשתמש לנציג. באפשרותך להבין את הסנטימנט הכולל של ההפעלה (חיובי, שלילי או ניטראלי), לחקור את הסיבות ולבצע אמצעים כדי לטפל בה.
אילו נתונים משמשים לניתוח סנטימנט?
ניתוח סנטימנט משתמש בהודעות משתמש לסוכן עבור קבוצה לדוגמה של הפעלות שיחה.
ניתוח סנטימנט משתמש במידע זה כדי להעריך אם שביעות הרצון של המשתמש במהלך ההפעלה היא חיובית, שלילית או ניטראלית. לדוגמה, משתמש יכול להשתמש במילים ובטון קול שמצביעים על תסכול או חוסר שביעות רצון בהתבסס על האינטראקציה עם הסוכן. במקרה כזה, ההפעלה מסווגת כסנטימנט שלילי.
מהן המגבלות של ניתוח סנטימנט וכיצד המשתמשים יכולים לצמצם את המגבלות האלה?
ניתוחי סנטימנטים לא מחושבים באמצעות שימוש בהפעלות שיחה. במקום זאת, ניתוחים מודדים דוגמה של סשנים של User-Agent. סוכנים מתחת למספר מינימלי של תשובות גנרטיביות מוצלחות יומיות לא יכולים לקבל ציון רגשות.
ניתוח סנטימנט תלוי כיום בתשובות שנוצרות על ידי המערכת ודורש מספר מינימלי של תשובות מוצלחות ביום לחישוב ציון הסנטימנט עבור הסוכן.
כדי לחשב סנטימנט עבור הפעלה, חייבות להיות לפחות שתי הודעות משתמש. בנוסף, עקב אילוצים טכניים נוכחיים, ניתוח סנטימנט אינו מבוצע בהפעלות החורגות מ- 26 הודעות בסך הכל (כולל הודעות של משתמשים ונציגים)
ניתוח סנטימנט אינו מספק פירוט של הודעות המשתמש הספציפיות שהובילו לציון הסנטימנט.
אילו הגנות קיימות לניתוח סנטימנט ב- Copilot Studio ליישום אחראי של בינה מלאכותית?
משתמשי סוכנים אינם רואים תוצאות ניתוח. התוצאות זמינות ליוצרי הסוכן ולמנהלי מערכת בלבד.
באפשרותך להשתמש בניתוח סנטימנט רק כדי לראות את התפלגות הסנטימנט בכל ההפעלות.
בדקנו ניתוח סנטימנט באופן יסודי במהלך הפיתוח כדי להבטיח ביצועים טובים. עם זאת, במקרים נדירים, הערכות סנטימנט עשויות להיות לא מדויקות.
ערכות נושא של שאלות משתמשים
מהו השימוש המיועד בערכות נושא?
קיבוץ באשכולות לפי ערכות נושא וניתוח ברמת ערכת הנושא עוזרים לך להבין במהירות אילו משתמשים שואלים בקנה מידה גדול. תכונה זו מנתחת כמויות גדולות של שאילתות משתמשים וממשטחת נושאים ברמה גבוהה ("ערכות נושא") שמייצגים את הנושאים העיקריים החשובים למשתמשים. ניתוח זה עוזר לך לעבור מבדיקת שיחות בודדות לזיהוי דפוסים רחבים יותר, צרכים מתפתחים ו תחומי עניין.
על-ידי מתן מבט כולל מובנים מונחי נתונים על פעילות משתמשים, ניתוח ברמת ערכת הנושא עוזר לך:
זהה את הנושאים הנפוצים ביותר שהמשתמשים עוסקים איתם.
זהה פערים בכיסוי או בחוויות לא ברורות.
ניטור האופן שבו תחומי העניין של המשתמש מתפתחים לאורך זמן.
קבע סדרי עדיפויות של שיפורים בהתבסס על דרישת משתמשים אמיתיים.
כיצד פועל ניתוח ערכת נושא ברמה גבוהה?
תכונה זו פועלת כתהליך של Multistage המארגן ברציפות שאילתות משתמשים בקבוצות בעלות משמעות. רמה גבוהה, תהליך זה כולל שני שלבים עיקריים:
יצירת מועמדים לערכת נושא
המערכת מנתחת ערכה אחרונה של שאילתות משתמש ומזהה ערכות נושא של מועמדים המייצגות נושאים ייחודיים ברמה גבוהה. המערכת מזהה דפוסים, קווי דמיון ונושאים חוזרים בין שאילתות כדי לגזור מועמדים אלה.
שיוך שאילתה לנושאים
לאחר שהמערכת יוצרת ערכות נושא של מועמדים, היא משייכת שאילתות בודדות לערכת הנושא הרלוונטית ביותר. כל ערכת נושא מייצגת אוסף של שאלות משתמשים קשורות והיא מתפתחת כאשר המערכת מעבדת שאילתות חדשות. המערכת ממקדת ערכות נושא אלה לאורך זמן באמצעות אותות כגון דמיון סמנטי ומשוב של משתמשים. תהליך עידון זה מאפשר לייצוג להתאים את עצמו כשינויים בהתנהגות המשתמש.
אילו נתונים משמשים ליצירת ערכות נושא?
משתמשים יוצרים נושאים משאילתות שמובילות לתשובות מחוללות. התהליך מתמקד בחלון פעילות שבוצע לאחרונה כדי להבטיח שערכות נושא משקפות את תחומי העניין הנוכחיים של המשתמשים ואת המגמות המתפתחות. כאשר נתונים חדשים זמינים, המערכת מרענן ערכות נושא כדי לשמור על הרלוונטיות שלהן.
מאחר שערכות נושא מסתמכות על דפוסים בשאילתות משתמש, התכונה תלויה בכמות משמעותית של פעילות לניתוח. במצבים שבהם יש נתונים מוגבלים או שאילתות מפוצלות מאוד, ייתכן שהמערכת לא תפיק ערכות נושא או תספק תובנות מוגבלות.
מהן המגבלות של ניתוח ערכת נושא, וכיצד ניתן לצמצם אותן?
ניתוח ערכת נושא הוא מערכת קיבוץ באשכולות מונחית-נתונים, והיעילות שלה תלויה בטבע ובנפח של שאילתות משתמש. חלק מהמגבלות הפוטנציאליות כוללות:
נתונים שאינם מספיקים או מגוונים מאוד עשויים להוביל לערכות נושא רחבות או צרות מדי.
נושאים קשורים מאוד עשויים לעתים להיות מפוצלים לערכות נושא נפרדות.
שאילתות לא קשורות עשויות לעתים להיות מקובצות יחד.
שינויים בשפת המשתמש לאורך זמן עשויים להשפיע על עקביות של ערכות נושא.
כדי להפיק את המרב מערכות נושא:
סקור באופן קבוע ערכות נושא שנוצרו.
ספק משוב (לדוגמה: אגודלים למעלה או למטה) כדי לשפר את האיכות.
יש לפרש נושאים כאינדיקציות כלליות ולא כסיווגים מדויקים.
אילו הגנות של יישום אחראי של בינה מלאכותית קיימות?
קיבוץ באשכולות וניתוח של ערכות נושא מתוכנן מתוך התחשבות בעקרונות של יישום אחראי של בינה מלאכותית.
יוצרים ומנהלי מערכת מורשים הם היחידים שיכולים לראות ערכות נושא.
רק אלה המורשים לראות את שאילתות המשתמשים יכולים לראות את התפלגותן בערכות נושא.
ערכות הנושא משקפות את התוכן של שאילתות המשתמש, כך שהן מספקות סיכום כנה למשתתפים ולמנהלי המערכת.
אמצעי בטיחות אלה עוזרים להבטיח שערכות נושא מספקות תובנות שימושיות תוך שמירה על חוויה בטוחה ומבוקרת.
ניתוח מדדים מותאמים אישית
מהו השימוש המיועד במדדים מותאמים אישית?
השתמש בניתוח מדדים מותאמים אישית כדי להבין כמה סוכני השיחה שלך משפיעים על התוצאות העסקיות. מדדים אלה משלימים את ניתוח החיסכון. דוגמאות למדדים מותאמים אישית כוללות שיעור פתרון, סיווג כוונת לקוח ותוצאות אחרות הספציפיות לתחום.
מדדים מותאמים אישית יכולים להראות היכן הסוכנים מחמיץ יעדים המיועדים. הגדר מה למדוד, לבדוק מדדים מול נתוני הפעלה אמיתית ולמקד הגדרות בהתבסס על התוצאות.
אילו נתונים משמשים לחישוב מדדים מותאמים אישית?
חשב מדדים מותאמים אישית באמצעות דוגמה של הפעלות סוכן קודמות. החישוב משתמש בהודעות השיחה שהוחלו במהלך הפעלה.
מודל הבינה המלאכותית מסווג נתוני הפעלה בהתבסס על ההגדרה המטרית שלכם. הסוכן צובר תוצאות במדגם כולו כדי להציג את הביצועים המטריים הכוללים עבור פרק הזמן שנבחר.
מהן המגבלות של מדדים מותאמים אישית וכיצד המשתמשים יכולים למזער את השפעות המגבלות?
מדדים מותאמים אישית אינם מבוססים על כל ההפעלות של הסוכן. במקום זאת, הם מודדים מדגם של הפעלות מתוך פרק הזמן שנבחר. מכיוון שהתוצאות מבוססות על מדגם, התייחס אליהן כמחווני כיוון במקום כנתונים מדויקים.
יש להביא בחשבון כי חישוב המדד מבוסס על תמלול ההודעות בעת פירוש המדדים. הימנע מציור מסקנות לגבי אופני פעולה המתרחשים בעיקר מחוץ להודעות, כגון נושאים וכלים.
מודל הבינה המלאכותית עשוי לסווג באופן מוטעה הפעלות. תוצאות צבירה הן בדרך כלל מדויקות. הפעלות שלא תואמות לקטגוריה מוגדרת ממוקמות בקטגוריה של החזרה (אחר). אם תוצאות הבדיקה אינן תואמות לתוצאות הצפויות, באפשרותך לעדכן את התיאור המטרי ואת הגדרות הקטגוריות.
אם תשנה באופן משמעותי הוראות או תצורה של סוכן לאחר הגדרת מדד, ייתכן שהמדד כבר לא ישקף באופן מדויק את אופן הפעולה המעודכן של הסוכן. סקור את המדדים המותאמים אישית שלהם לאחר ביצוע שינויים מהותיים בסוכן.
אילו הגנות קיימות עבור מדדים מותאמים אישית ב- Copilot Studio ליישום אחראי של בינה מלאכותית?
יוצרי הנציגים ומנהלי המערכת הם היחידים שיכולים לגשת לתוצאות מדדים מותאמים אישית. למשתמשים של הסוכן אין גישה לתוצאות ניתוח.
עליך לסקור ולאשר את כל המדדים המותאמים אישית לפני השמירה. במהלך ההגדרה המטרית, אתה בודק מדדים מול נתוני הפעלה לדוגמה וסקר תוצאות בודדות והסיבה למודל. אם התוצאות לא עומדות בציפיות, באפשרותך לעדכן או לבטל את המדד. מדדים אינם מיושמים ללא אישורך המפורש.
הבקשה שנוצרה על-ידי בינה מלאכותית המשמשת לסווג הפעלות גלויה לך בממשק המשתמש, כך שתוכל להבין כיצד המודל מפרש את ההגדרה המטרית שלך. באפשרותך לערוך או להסיר מדדים מותאמים אישית בכל עת.
במקרים נדירים, סיווגי הפעלות בודדים עשויים להיות לא מדויקים. יש לפרש את התוצאות באופן מצטבר ולא ברמת המושב הבודד.