שאלות נפוצות על כלי השימוש במחשב

שאלות נפוצות אלו (FAQ) מספקות תובנות לגבי היכולות, השימוש, המגבלות ואמצעי הבטיחות שעליכם להיות מודעים אליהם בעת הוספת כלי השימוש במחשב לסוכני Copilot Studio שלכם.

מהו כלי השימוש במחשב?

שימוש במחשב הוא כלי שתוכלו להוסיף לסוכני Copilot Studio שלכם, שנועד לאוטומציה של משימות באתרי אינטרנט ואפליקציות. אתם מספקים תיאורי משימות בשפה טבעית, והכלי מבצע אוטומציה של לחיצות עכבר ופעולות מקלדת בהתאם. לדוגמה, ניתן להורות לכלי לפתוח קובץ PDF ולהשתמש בתוכנו כדי למלא טופס אינטרנט. הכלי מפרש ויזואלית את המסך ומבצע את הקליקים והקשות המקשים הנדרשות, תוך חיקוי אינטראקציות אנושיות.

אזהרה

שימוש במחשב הוא כלי רב עוצמה שמאפשר אוטומציה של אינטראקציות בין אתרי אינטרנט ויישומי שולחן עבודה, אך הוא מגיע גם עם שיקולי אבטחה חשובים. במקרים מסוימים, הבינה המלאכותית עשויה לנקוט בפעולות לא מכוונות עקב הוראות מעורפלות או תוכן לא צפוי על המסך. פעולות אלה עלולות להשפיע על אבטחת המכשיר, הנתונים או החשבונות המחוברים שלך, כולל גישה למערכות אישיות, פיננסיות או ארגוניות.

מה יכול לעשות כלי השימוש במחשב?

כלי השימוש במחשב מעבד נתוני פיקסלים של המסך כדי להבין תוכן שעל המסך, והוא מבצע משימות באמצעות לחיצות עכבר וירטואליות וקלטי מקלדת. הכלי יכול לנהל זרימות עבודה מרובות שלבים, להתמודד עם תרחישים בלתי צפויים ולהסתגל באופן דינמי לשינויים במסך. הוא יכול לבצע משימות דיגיטליות שונות כגון ניווט באתרי אינטרנט ומילוי טפסים ללא צורך בממשקי API ייעודיים.

כלי השימוש במחשב עוקב אחר לולאה איטרטיבית המבוססת על שלושה שלבים:

• תְפִיסָה: הוא לוכד צילומי מסך כדי להבין ויזואלית את המצב הנוכחי של מסך המחשב.

• הַנמָקָה: הוא מעריך את המצב הנוכחי, פעולות קודמות וצילומי מסך באמצעות גישת שרשרת מחשבה, המאפשרת לו להתאים את פעולותיו ביעילות.

• פְּעוּלָה: הוא מבצע פעולות כמו לחיצה, הקלדה או גלילה עד שהמשימה הושלמה או דורשת קלט נוסף של המשתמש.

מהם השימושים המיועדים של כלי השימוש במחשב?

כלי השימוש במחשב נועד להפוך את האינטראקציות של המשתמשים עם אתרי אינטרנט ויישומים לאוטומטיות באמצעות עכבר ומקלדת וירטואליים. זה שימושי במיוחד בתרחישים שבהם ממשקי API אינם זמינים.

כיצד הוערך כלי השימוש במחשב? אילו מדדים משמשים למדידת ביצועים?

כלי השימוש במחשב עבר הערכה קפדנית באמצעות תרחישים מהעולם האמיתי לאורך שלבי התכנון, הפיתוח והפריסה שלו. שיטות ההערכה כללו מחקר, מחקרי השפעה ובדיקות בתרחישים שונים כדי למדוד דיוק, אמון המשתמשים ותועלת. מדדים איכותיים וכמותיים כאחד מנוטרים באופן קבוע כדי לשמור על ביצועים גבוהים וחוויית משתמש חיובית. זמינות הכלי מובטחת גם על ידי עמידה בהסכמי רמת שירות שנקבעו.

מהן המגבלות של כלי השימוש במחשב? כיצד יכולים משתמשים למזער את ההשפעה של מגבלות כלי השימוש במחשב בעת השימוש במערכת?

שימוש במחשב הוא טכנולוגיה חדשנית עם סיכוני אבטחה ידועים ומגבלות פונקציונליות. אנחנו נותנים לכם את הכוח להתנסות בזה. יכולת בשלב מוקדם זו מאפשרת אוטומציה של משימות מבוססות מחשב מסוימות, אם כי ביצועיה משתנים במידה רבה בהתאם למקרה השימוש. כדי להשתמש בו ביעילות ובאחריות, יש להבין את המגבלות הנוכחיות שלו.

‏‫מגבלות ידועות‬

• שיעור ההצלחה משתנה בהתאם למשימה: הכלי מתפקד בצורה הטובה ביותר במשימות מבוססות אינטרנט (כ-80% הצלחה) אך יורד משמעותית באפליקציות שולחן עבודה (כ-35% הצלחה).
• ביצועים לא עקביים: אותה משימה עשויה להניב תוצאות שונות בהתאם לשינויים חזותיים או בתזמון.
• קשיים עם פקדי ממשק משתמש מסוימים: שימוש במחשב עלול להיתקל בקשיים באינטראקציה עם רכיבי ממשק לא סטנדרטיים או דינמיים, כגון תפריטים נפתחים, בוררי תאריכים או ווידג'טים מותאמים אישית.
• לולאות ומצבים תקועים: במקרים מסוימים, הסוכן נכנס ללולאה או נתקע כאשר המסך אינו תואם את הציפיות או משתנה באופן בלתי צפוי.
• אתגרים עם משימות מורכבות: למרות שהוא יעיל לפעולות פשוטות, הכלי עלול להתקשות בממשקים גרפיים מפורטים או במשימות הכרוכות במניפולציה מורכבת של טקסט.
• לא לשימוש רגיש או בסיכון גבוה: הכלי אינו מיועד ל:
  • המלצה או ניקוד בתחומים רגישים, כגון גיוס עובדים, שירותי בריאות או פיננסים
  • ביצוע עסקאות פיננסיות
  • פעולות מזיקות, כגון ספאם או מידע שגוי
  • שיתוף נתונים מחוץ לארגון שלך ללא אישור מתאים

כיצד למזער מגבלות

כדי לשפר את האמינות, עליך לספק הוראות ברורות ומפורטות בעת הגדרת משימות כדי להפחית שגיאות ולהגדיל את שיעורי ההצלחה של המשימות.

מהי תכונת הפיקוח האנושי?

חשוב

סוכני שימוש במחשב עלולים להיתקל בהוראות מזיקות או זדוניות, המכונות לעתים קרובות התקפות הזרקה מיידית, בהן פקודות נסתרות בצילומי מסך, דפי אינטרנט או קלט אחר מנסות להשפיע על פעולות בדרכים לא מכוונות. כדי להפחית סיכונים אלה, יש להפעיל את המחשב בסביבות מהימנות ומבודדות ולבצע בדיקות אימות חזקות לפני ביצוע הוראות כלשהן.

ריצות שימוש במחשב עלולות להיתקל בעמימות או במידע חסר. לדוגמה, ערך נדרש אינו קיים או שישנן פרשנויות מרובות סבירות. באותם מקרים, ה- פיקוח אנושי התכונה מאפשרת לסוכן המשתמש במחשב להשהות את הביצוע ולשלוח בקשת הבהרה לבודק אנושי מורשה ותצורתו מוגדרת. סוקרים יכולים להגיב באמצעות דוא"ל או בתוך Copilot Studio באמצעות מפת פעילות הריצה של הסוכן. ברגע שהסוכן המשתמש במחשב מקבל תגובה, הוא ממשיך את הפעלתו מהשלב שהושהה במפה.

אמינות ומגבלות

הערכות מבוססות מוצרים מצביעות על כך שתכונת הפיקוח האנושי פועלת בדרך כלל כמצופה, אך היא עלולה להיכשל או להתנהג באופן שאינו צפוי על ידי משתמשים. מכיוון שבקשות הבהרה מופעלות על ידי התנהגות של מודל הסתברותי, ייתכן שהן לא יופעלו בכל מצב שבו אדם ירצה הפסקה. הם עשויים גם להפעיל את עצמם כאשר הפסקה אינה הכרחית. אין להסתמך על בקשות הבהרה כאמצעי בטיחותי למניעת כשל או כערובה לכך שהמערכת תמיד תבקש קלט אנושי לפני שתמשיך.

לא מנגנון אכיפה של כללים מותאמים אישית

בקשות לפיקוח אנושי אינן מבטיחות אכיפה של הכללים, המדיניות או המגבלות שהגדרת. עליך להחיל יותר בקרות המתאימות לכל תרחיש אפשרי (לדוגמה: הוראות ברורות, סביבות מוגבלות, חשבונות עם הרשאות מועטות, רשימות היתרים ואמצעי הגנה תפעוליים אחרים) במקום להסתמך על בקשות הבהרה כדי לספק מידע או למנוע פעולות לא רצויות.

אילו גורמים והגדרות תפעוליות מאפשרים שימוש יעיל ואחראי בכלי השימוש במחשב?

כלי השימוש במחשב מתפקד בצורה הטובה ביותר כאשר ניתנות הוראות שימוש ברורות ומפורטות. על המשתמשים לתת רמזים מדויקים לגבי אינטראקציות עם אתרים או יישומים כדי לשפר את האמינות והדיוק במהלך ביצוע המשימות. לקבלת נראות ובקרה נוספות, אפשרו פיקוח אנושי על ידי הקצאת בודק מורשה אחד או יותר בדף תצורת הכלים. כאשר המודל מזהה הוראות שעלולות להיות זדוניות, בודקים אלה מקבלים התראות לאימות ולהחליט אם להמשיך או להפסיק את הריצה.

כיצד ניתן לספק משוב על כלי השימוש במחשב?

יש לך משוב על כלי השימוש במחשב? כתובת דוא"ל computeruse-feedback@microsoft.com