שאלות נפוצות עבור כלי השימוש במחשב

שאלות נפוצות (שאלות נפוצות) אלה מספקות תובנות לגבי היכולות, השימוש, המגבלות וההגנה שעליך להיות מודע לגבין בעת הוספת כלי השימוש במחשב לנציגי Copilot Studio שלך.

מהו כלי השימוש במחשב?

השימוש במחשב הוא כלי שניתן להוסיף לנציגי Copilot Studio שמיועדים להפוך משימות לאוטומטיות באתרי אינטרנט ובאפליקציות. אתה מספק תיאורי משימות בשפה טבעית, וה כלי הופך לחיצות עכבר ופעולות לוח מקשים לאוטומטיות בהתאם. לדוגמה, באפשרותך להורות לכלי לפתוח קובץ PDF ולהשתמש בתוכן שלו כדי למלא טופס אינטרנט. הכלי מפרש את המסך באופן חזותי ומבצע את הלחיצה וההקשות הנחוצות, ומדמה אינטראקציות בין בני אדם.

אזהרה

השימוש במחשב הוא כלי רב-עוצמה אשר הופך אינטראקציות בין אתרי אינטרנט ואפליקציות שולחן עבודה לאוטומטיות, אך הוא כולל גם שיקולי אבטחה חשובים. במקרים מסוימים, הבינה המלאכותית עשויה לבצע פעולות לא מכוונות עקב הוראות רב-משמעיות או תוכן בלתי צפוי על המסך. פעולות אלה יכולות להשפיע על אבטחת המכשיר, הנתונים או החשבונות המחוברים שלך, כולל גישה למערכות אישיות, פיננסיות או ארגוניות.

מה יכול לעשות הכלי לשימוש במחשב?

המחשב משתמש בכלי מעבד נתוני פיקסלים של מסך כדי להבין תוכן על המסך, והוא מבצע משימות באמצעות לחיצות עכבר וירטואליות וקלט של לוח מקשים. הכלי יכול לנהל זרימות עבודה מרובות שלבים, לטפל בתרחישים בלתי צפויים ולהסתגל באופן דינאמי לשינויי מסך, דבר המאפשר לו לבצע משימות דיגיטליות שונות כגון ניווט באתרי אינטרנט ומילוי טפסים ללא צורך בממשקי API מיוחדים.

כלי השימוש במחשב עוקב אחר לולאה איטרטיבית המבוססת על שלושה שלבים:

• תפיסה: הוא לוכד צילומי מסך כדי להבין באופן חזותי את המצב הנוכחי של מסך המחשב.

• הגיוני: הוא מעריך את המצב הנוכחי, הפעולות הקודמות וצילומי המסך באמצעות גישה של שרשרת מחשבה, המאפשרת לו להתאים את פעולותיה ביעילות.

• פעולה: היא מבצעת פעולות כגון לחיצה, הקלדה או גלילה עד להשלמת המשימה או דורשת קלט משתמש נוסף.

מהן השימושים המיועדים לכלי השימוש במחשב?

כלי השימוש במחשב נועד להפוך את האינטראקציות של המשתמשים לאוטומטיות עם אתרי אינטרנט ואפליקציות באמצעות עכבר ומקלדת וירטואליים, שימושי במיוחד בתרחישים שבהם ממשקי API אינם זמינים.

כיצד הוערך כלי השימוש במחשב? אילו מדדים משמשים למדידת ביצועים?

כלי השימוש במחשב הוערך בצורה קפדנית באמצעות תרחישים מהעולם האמיתי בשלבי העיצוב, הפיתוח והפריסה שלו. שיטות הערכה כללו מחקר, מחקרי השפעה ובדיקות בתרחישים שונים כדי למדוד את הדיוק, אמון המשתמש והיעילות. מדדים איכותיים וכמותיים מנוטרים באופן קבוע כדי לשמור על ביצועים גבוהים ועל חוויית משתמש חיובית. הזמינות של הכלי מובטחת גם על-ידי עמידה בהסכמי רמת שירות מבוססים.

מהן המגבלות של כלי השימוש במחשב? כיצד יכולים המשתמשים לצמצם את השפעת המגבלות של כלי השימוש במחשב בעת השימוש במערכת?

השימוש במחשב הוא טכנולוגיה חדשנית עם סיכוני אבטחה ידועים ומגבלות פונקציונליות. אנחנו מעצים אותך להתנסות בזה. יכולת זו של שלב מוקדם מאפשרת אוטומציה של משימות מסוימות המבוססות על מחשב, אם כי הביצועים שלה משתנים באופן רחב בהתאם למקרה השימוש. כדי להשתמש בה ביעילות וב לאחריות, הבן את המגבלות הנוכחיות שלה.

מגבלות ידועות

• שיעור ההצלחה משתנה בהתאם למשימה: הכלי מבצע את הפעולה הטובה ביותר במשימות מבוססות אינטרנט (כ- 80% הצלחה) אך ירידה משמעותית באפליקציות שולחן העבודה (כ- 35% הצלחה).
• ביצועים לא עקביים: אותה משימה עשויה להניב תוצאות שונות בהתאם לשינויים חזותיים או שינויי תזמון.
• קשיים בפקדי ממשק משתמש מסוימים: השימוש במחשב עשוי להיות בעייתי באינטראקציה עם רכיבים לא סטנדרטיים או דינאמיים של ממשק, כגון רשימות נפתחות, בוררי תאריכים או רכיבים גרפיים מותאמים אישית.
• לולאות וארצות תקועות: במקרים מסוימים, הסוכן נכנס בלולאה או נתקע כאשר המסך אינו תואם לציפיות או משתנה באופן בלתי צפוי.
• אתגרים עם משימות מורכבות: תוך שמירה על היעילות של פעולות פשוטות, הכלי עלול להיתקל בממשקים גרפיים מפורטים או במשימות הקשורות למניפולציית טקסט מורכבת.
• לא עבור מקרי שימוש רגישים או בעלי סיכון גבוה: הכלי אינו מיועד ל:
  • המלצה או ניקוד תחומים רגישים, כגון גיוס עובדים, שירותי בריאות או כספים
  • ביצוע עסקאות פיננסיות
  • פעולות מזיקות, כגון דואר זבל או מידע מוטעה
  • שיתוף נתונים מחוץ לארגון שלך ללא הרשאה נכונה

כיצד למזער מגבלות

כדי לשפר את המהימנות, עליך לספק הוראות ברורות ומפורטות בעת קביעת התצורה של משימות כדי להפחית שגיאות ולהגדיל את שיעור ההצלחה של המשימות.

מהי התכונה של פיקוח אנושי?

חשוב

נציגי שימוש במחשב עשויים להיתקל בהוראות מזיקות או זדוניות, הנקראות לעתים קרובות תקיפות של הזרקת בקשות, שבהן פקודות מוסתרות בצילומי מסך, דפי אינטרנט או קלטים אחרים מנסים להשפיע על פעולות בדרכים לא מכוונות. כדי להפחית סיכונים אלה, הפעל את השימוש במחשב בסביבות מהימנות ומבודדות והחל בדיקות אימות חזקות לפני ביצוע הוראות.

הפעלות לשימוש במחשב יכולות להיתקל באי-בהירות או במידע חסר, לדוגמה, כאשר ערך נדרש אינו קיים או שישנן מספר אפשרויות לפענוח. במקרים אלה, תכונת הפיקוח האנושי מאפשרת לסוכן המשתמש במחשב להשהות את הביצוע ולקבוע בקשה הבהרה אל בודק אנושי מורשה שתצורתו נקבעה. בודקים יכולים להגיב באמצעות דואר אלקטרוני או בתוך Copilot Studio באמצעות מפת הפעילות של הסוכן. לאחר שהסוכן המשתמש במחשב חוזר לתגובה, הוא מחדש את פעולתה מהצעד המושהה במפה.

מהימנות ומגבלות

הערכות בהובלת המוצר מציינות שתכונת הפיקוח האנושי פועלת בדרך כלל כצפוי, אך היא יכולה להיכשל או לפעול בדרכים שמשתמשים אינם צופים. מאחר שבקשות הבהרה מופעלות על-ידי אופן פעולה צפויה של מודל, ייתכן שהן לא יופעלו בכל מצב שבו אדם היה מעוניין בהשהיה, והן עשויות גם לפעול כאשר אין צורך בהשהיה. אין להשתמש בבקשות הבהרה כבטיחות להיכשל או כערובה לכך שהמערכת תבקש תמיד קלט אנושי לפני שתמשיך.

לא מנגנון אכיפה של כללים מותאמים אישית

בקשות לפיקוח אנושי אינן מבטיחות אכיפה של הכללים, המדיניות או האילוצים המוגדרים שלך. עליך להחיל פקדים נוספים המתאימים לכל תרחיש אפשרי (לדוגמה: הוראות ברורות, בסביבות מוגבלות, חשבונות עם הרשאות הפחותות, רשימות היתרים והגנה תפעולית אחרת) במקום להשתמש בבקשות הבהרה כדי לספק מידע או למנוע פעולות לא רצויות.

אילו גורמים תפעוליים והגדרות מאפשרים שימוש יעיל אחראי בכלי השימוש במחשב?

כלי השימוש במחשב פועל באופן מיטבי כאשר מסופקות הוראות משתמש ברורות ומפורטות. המשתמשים צריכים לתת רמזים מדויקים לגבי אינטראקציות של אתרי אינטרנט או יישומים כדי לשפר את המהימנות והדיוק במהלך ביצוע משימה. כדי להוסיף ניראות ושליטה, הפוך פיקוח אנושי לזמין על-ידי הקצאת בודק מורשה אחד או יותר בדף קביעת התצורה של הכלים. כאשר המודל מזהה הוראות שעשויות להיות זדוניות, בודקים אלה מקבלים הודעות לאימות ולהחליט אם להמשיך או לעצור את הריצה.

כיצד ניתן לספק משוב על כלי השימוש במחשב?

יש לך משוב לגבי כלי השימוש במחשב? דואר אלקטרוני computeruse-feedback@microsoft.com.