שאלות נפוצות עבור כלי השימוש במחשב

שאלות נפוצות (שאלות נפוצות) אלה מספקות תובנות לגבי היכולות, השימוש, המגבלות וההגנה שעליך להיות מודע לגבין בעת הוספת כלי השימוש במחשב לנציגי Copilot Studio שלך.

מהו כלי השימוש במחשב?

השימוש במחשב הוא כלי שניתן להוסיף לנציגי Copilot Studio שמיועדים להפוך משימות לאוטומטיות באתרי אינטרנט ובאפליקציות. אתה מספק תיאורי משימות בשפה טבעית, וה כלי הופך לחיצות עכבר ופעולות לוח מקשים לאוטומטיות בהתאם. לדוגמה, תוכל להורות לכלי לפתוח PDF ולהשתמש בתוכנו כדי למלא טופס אינטרנט. הכלי מפרש את המסך באופן חזותי ומבצע את הלחיצה וההקשות הנחוצות, ומדמה אינטראקציות בין בני אדם.

אזהרה

השימוש במחשב הוא כלי רב-עוצמה אשר הופך אינטראקציות בין אתרי אינטרנט ואפליקציות שולחן עבודה לאוטומטיות, אך הוא כולל גם שיקולי אבטחה חשובים. במקרים מסוימים, הבינה המלאכותית עשויה לבצע פעולות לא מכוונות עקב הוראות רב-משמעיות או תוכן בלתי צפוי על המסך. פעולות אלה יכולות להשפיע על אבטחת המכשיר, הנתונים או החשבונות המחוברים שלך, כולל גישה למערכות אישיות, פיננסיות או ארגוניות.

מה יכול לעשות הכלי לשימוש במחשב?

המחשב משתמש בכלי מעבד נתוני פיקסלים של מסך כדי להבין תוכן על המסך, והוא מבצע משימות באמצעות לחיצות עכבר וירטואליות וקלט של לוח מקשים. הכלי יכול לנהל זרימות עבודה רב-שלביות, להתמודד עם תרחישים בלתי צפויים ולהסתגל באופן דינמי לשינויים במסך. הוא יכול לבצע משימות דיגיטליות שונות כמו ניווט באתרים ומילוי טפסים ללא צורך ב-API מיוחד.

כלי השימוש במחשב עוקב אחר לולאה איטרטיבית המבוססת על שלושה שלבים:

• תפיסה: הוא לוכד צילומי מסך כדי להבין באופן חזותי את המצב הנוכחי של מסך המחשב.

• הגיוני: הוא מעריך את המצב הנוכחי, הפעולות הקודמות וצילומי המסך באמצעות גישה של שרשרת מחשבה, המאפשרת לו להתאים את פעולותיה ביעילות.

• פעולה: היא מבצעת פעולות כגון לחיצה, הקלדה או גלילה עד להשלמת המשימה או דורשת קלט משתמש נוסף.

מהן השימושים המיועדים לכלי השימוש במחשב?

כלי השימוש במחשב מיועד להפוך את האינטראקציות של המשתמשים לאוטומטיות עם אתרי אינטרנט ואפליקציות באמצעות עכבר ומקלדת וירטואליים. הוא שימושי במיוחד בתרחישים שבהם ממשקי API אינם זמינים.

כיצד הוערך כלי השימוש במחשב? אילו מדדים משמשים למדידת ביצועים?

כלי השימוש במחשב הוערך בצורה קפדנית באמצעות תרחישים מהעולם האמיתי בשלבי העיצוב, הפיתוח והפריסה שלו. שיטות ההערכה כללו מחקר, מחקרי השפעה ובדיקות בתרחישים שונים למדידת דיוק, אמון משתמשים ושימושיות. כדי לשמור על ביצועים גבוהים וחוויית משתמש חיובית, הצוות עוקב באופן קבוע אחר מדדים איכותיים וכמותיים. הצוות גם מבטיח את זמינות הכלי על ידי עמידה ב-SLAs מבוססים.

מהן המגבלות של כלי השימוש במחשב? כיצד יכולים המשתמשים לצמצם את השפעת המגבלות של כלי השימוש במחשב בעת השימוש במערכת?

השימוש במחשב הוא טכנולוגיה חדשנית עם סיכוני אבטחה ידועים ומגבלות פונקציונליות. הצוות מעניק לך כוח להתנסות בזה. יכולת זו של שלב מוקדם מאפשרת אוטומציה של משימות מסוימות המבוססות על מחשב, אם כי הביצועים שלה משתנים באופן רחב בהתאם למקרה השימוש. כדי להשתמש בה ביעילות וב לאחריות, הבן את המגבלות הנוכחיות שלה.

מגבלות ידועות

• הביצועים משתנים לפי משימה ויישום. אמינות תלויה במורכבות המשימה, בעיצוב הממשק ובהתנהגות היישום.

• רגיש לשינויים בממשק ובתזמון. שינויים בפריסה, עיכובי טעינה או דיאלוגים בלתי צפויים יכולים להניב תוצאות שונות לאותה משימה.

• קושי עם שליטה מסוימת. אלמנטים לא סטנדרטיים או דינמיים, כמו תפריטים נפתחים, בוחרים תאריכים ווידג'טים מותאמים אישית, יכולים להיות מאתגרים לאינטראקציה.

• יכול לחזור על פעולות או להיתקע. מצבי מסך בלתי צפויים יכולים לגרום לסוכן לחזור בלולאה או להפסיק להתקדם.

• אתגרים עם משימות מורכבות. משימות הכוללות ממשקים גרפיים מפורטים או עיבוד טקסט מורכב עשויות להיות פחות אמינות מפעולות פשוטות.

• לא למקרים רגישים או בסיכון גבוה. לדוגמה, הכלי אינו מיועד ל:

  • המלצה או דירוג בתחומים רגישים, כמו גיוס, בריאות או פיננסים.
  • ביצוע עסקאות פיננסיות.
  • פעולות מזיקות, כמו ספאם או מידע שגוי.
  • שיתוף נתונים מחוץ לארגון שלך ללא אישור מתאים.

כיצד למזער מגבלות

כדי לשפר את האמינות, יש לספק הוראות ברורות ומפורטות בעת הגדרת המשימות להפחתת טעויות ולהעלאת שיעורי הצלחת המשימות.

מהי התכונה של פיקוח אנושי?

חשוב

נציגי שימוש במחשב עשויים להיתקל בהוראות מזיקות או זדוניות, הנקראות לעתים קרובות תקיפות של הזרקת בקשות, שבהן פקודות מוסתרות בצילומי מסך, דפי אינטרנט או קלטים אחרים מנסים להשפיע על פעולות בדרכים לא מכוונות. כדי להפחית סיכונים אלה, הפעל את השימוש במחשב בסביבות מהימנות ומבודדות והחל בדיקות אימות חזקות לפני ביצוע הוראות.

הרצות של שימוש במחשב עשויות להיתקל בעמימות או במידע חסר. לדוגמה, ערך נדרש אינו קיים או שפענוחים מרובים מתקבלים על הדעת. במקרים אלה, תכונת הפיקוח האנושי מאפשרת לסוכן המשתמש במחשב להשהות את הביצוע ולקבוע בקשה הבהרה אל בודק אנושי מורשה שתצורתו נקבעה. בודקים יכולים להגיב באמצעות דואר אלקטרוני או בתוך Copilot Studio באמצעות מפת הפעילות של הסוכן. לאחר שהסוכן המשתמש במחשב מקבל תגובה, הוא מחדש את פעולתו מהצעד המושהה במפה.

מהימנות ומגבלות

הערכות בהובלת מוצר מציינות שתכונת הפיקוח האנושי פועלת בדרך כלל כצפוי, אך היא יכולה להיכשל או לפעול בדרכים שמשתמשים לא צופים. מאחר שבקשות הבהרה מופעלות על-ידי אופן פעולה צפויה של מודל, ייתכן שהן לא יופעלו בכל מצב שבו אדם היה מעוניין בהשהיה. הם עשויים גם להפעיל כאשר אין צורך בהשהיה. אין להשתמש בבקשות הבהרה כבטיחות להיכשל או כערובה לכך שהמערכת תבקש תמיד קלט אנושי לפני שתמשיך.

לא מנגנון אכיפה של כללים מותאמים אישית

בקשות לפיקוח אנושי אינן מבטיחות אכיפה של הכללים, המדיניות או האילוצים המוגדרים שלך. עליך להחיל פקדים נוספים המתאימים לכל תרחיש אפשרי (לדוגמה: הוראות ברורות, בסביבות מוגבלות, חשבונות עם הרשאות הפחותות, רשימות היתרים ו אמצעי בטיחות תפעוליים אחרים) במקום להשתמש בבקשות הבהרה כדי לספק מידע או למנוע פעולות לא רצויות.

אילו גורמים תפעוליים והגדרות מאפשרים שימוש יעיל אחראי בכלי השימוש במחשב?

כלי השימוש במחשב פועל באופן מיטבי כאשר מסופקות הוראות משתמש ברורות ומפורטות. המשתמשים צריכים לתת רמזים מדויקים לגבי אינטראקציות של אתרי אינטרנט או יישומים כדי לשפר את המהימנות והדיוק במהלך ביצוע משימה. כדי להוסיף ניראות ושליטה, הפוך פיקוח אנושי לזמין על-ידי הקצאת בודק מורשה אחד או יותר בדף קביעת התצורה של הכלים. כאשר המודל מזהה הוראות שעשויות להיות זדוניות, בודקים אלה מקבלים הודעות לאימות ולהחליט אם להמשיך או לעצור את הריצה.

כיצד ניתן לספק משוב על כלי השימוש במחשב?

יש לך משוב לגבי כלי השימוש במחשב? דואר אלקטרוני computeruse-feedback@microsoft.com.