الأسئلة المتداولة حول أداة استخدام الكمبيوتر

توفر هذه الأسئلة المتداولة (FAQ) رؤى حول القدرات والاستخدام والقيود والضمانات التي يجب أن تكون على دراية بها عند إضافة أداة استخدام الكمبيوتر إلى وكلاء Copilot Studio.

ما هي أداة استخدام الكمبيوتر؟

Computer use هي أداة يمكنك إضافتها إلى وكلاء Copilot Studio المصممين لأتمتة المهام على مواقع الويب والتطبيقات. يمكنك توفير أوصاف المهام باللغة الطبيعية، وأتمتة الأداة نقرات الماوس وإجراءات لوحة المفاتيح وفقا لذلك. على سبيل المثال، يمكنك توجيه الأداة لفتح ملف PDF واستخدام محتوياته لملء نموذج ويب. تقوم الأداة بتفسير الشاشة بصريا وتنفيذ النقرات الضرورية وضغطات المفاتيح، وتحاكي التفاعلات البشرية.

التحذير

استخدام الكمبيوتر هو أداة قوية تعمل على أتمتة التفاعلات عبر مواقع الويب وتطبيقات سطح المكتب، ولكنها تأتي أيضا مع اعتبارات أمنية مهمة. في بعض الحالات، قد يتخذ الذكاء الاصطناعي إجراءات غير مقصودة بسبب إرشادات غامضة أو محتوى غير متوقع على الشاشة. يمكن أن تؤثر هذه الإجراءات على أمان جهازك أو بياناتك أو حساباتك المتصلة، بما في ذلك الوصول إلى الأنظمة الشخصية أو المالية أو المؤسسية.

ما الذي يمكن أن يفعله الكمبيوتر باستخدام الأداة؟

تعالج أداة استخدام الكمبيوتر بيانات بكسل الشاشة لفهم المحتوى على الشاشة، وتنفذ المهام باستخدام نقرات الماوس الظاهرية وإدخالات لوحة المفاتيح. يمكن للأداة إدارة سير العمل متعدد الخطوات، والتعامل مع السيناريوهات غير المتوقعة، والتكيف ديناميكيا مع تغييرات الشاشة. يمكنه أداء مهام رقمية متنوعة مثل تصفح المواقع وملء النماذج دون الحاجة إلى واجهات برمجة تطبيقات متخصصة.

تتبع أداة استخدام الكمبيوتر حلقة تكرارية استنادا إلى ثلاث خطوات:

• الإدراك: يلتقط لقطات الشاشة لفهم الحالة الحالية لشاشة الكمبيوتر بشكل مرئي.

• المنطق: يقوم بتقييم الحالة الحالية والإجراءات السابقة ولقطات الشاشة من خلال نهج سلسلة التفكير، والذي يسمح له بتكييف إجراءاته بشكل فعال.

• الإجراء: ينفذ إجراءات مثل النقر أو الكتابة أو التمرير حتى تكتمل المهمة أو يتطلب إدخال مستخدم إضافي.

ما هي الاستخدامات المقصودة لأداة استخدام الكمبيوتر؟

تهدف أداة استخدام الكمبيوتر إلى أتمتة تفاعل المستخدم مَعَ المواقع والتطبيقات مِنْ خلال فأرة ولوحة مفاتيح افتراضية. هذا مفيد بشكل خاص فِي الحالات التي لا تتوفر فيها واجهات برمجة التطبيقات (APIs).

كيف تم تقييم أداة استخدام الكمبيوتر؟ ما المقاييس التي يتم استخدامها لقياس الأداء؟

تم تقييم أداة استخدام الكمبيوتر بدقة باستخدام سيناريوهات العالم الحقيقي طوال مراحل التصميم والتطوير والنشر. شملت طرق التقييم البحث، ودراسات التأثير، والاختبارات عبر سيناريوهات مختلفة لقياس الدقة وثقة المستخدمين والفائدة. للحفاظ على أداء عال وتجربة مستخدم إيجابية، يراقب الفريق بانتظام كل من المقاييس النوعية والكمية. يضمن الفريق أيضا توفر الأداة من خلال الالتزام باتفاقيات مستوى الخدمة المعتمدة.

ما هي قيود أداة استخدام الكمبيوتر؟ كيف يمكن للمستخدمين تقليل تأثير قيود أداة استخدام الكمبيوتر عند استخدام النظام؟

استخدام الكمبيوتر هو تقنية جديدة مع المخاطر الأمنية المعروفة والقيود الوظيفية. الفريق يمنحك القدرة على التجربة معه. تتيح هذه الإمكانية في المرحلة المبكرة أتمتة بعض المهام المستندة إلى الكمبيوتر، على الرغم من أن أدائها يختلف بشكل كبير اعتمادا على حالة الاستخدام. لاستخدامه بفعالية ومسؤولية، فهم قيوده الحالية.

القيود المعروفة

• يختلف الأداء حسب المهمة والتطبيق. تعتمد الموثوقية على تعقيد المهام، وتصميم الواجهة، وسلوك التطبيق.

• حساس لتغيرات الواجهة والتوقيت. تغييرات التخطيط، تأخيرات التحميل، أو الحوارات غير المتوقعة يمكن أن تؤدي إلى نتائج مختلفة لنفس المهمة.

• صعوبة في بعض عناصر التحكم. العناصر غير القياسية أو الديناميكية للواجهة، مثل القوائم المنسدلة، وأدوات اختيار التواريخ، والأدوات المخصصة، قد تكون صعبة في التفاعل.

• قد يكرر الإجراءات أو يتوقف. يمكن أن تؤدي حالات الشاشة غير المتوقعة إلى دخول الوكيل في حلقة تكرارية أو التوقف عن إحراز تقدم.

• تحديات مع مهام معقدة. المهام التي تتضمن واجهات رسومية مفصلة أو معالجة نصية معقدة قد تكون أقل موثوقية من الإجراءات البسيطة.

• ليس للحالات الحساسة أو عالية الخطورة. على سبيل المثال، الأداة ليست مخصصة ل:

  • التوصية أو التقييم في مجالات حساسة، مثل التوظيف، الرعاية الصحية، أو المالية.
  • إجراء معاملات مالية.
  • أفعال ضارة، مثل الرسائل المزعجة أو المعلومات المضللة.
  • مشاركة البيانات خارج مؤسستك دون تفويض مناسب.

كيفية تقليل القيود

لتحسين الموثوقية، قدم تعليمات واضحة ومفصلة عند تكوين المهام لتقليل الأخطاء وزيادة معدلات نجاح المهام.

ما هي ميزة الإشراف البشري؟

مهم

قد يواجه وكلاء استخدام الكمبيوتر تعليمات ضارة أو ضارة، غالبا ما يشار إليها باسم هجمات الحقن الفوري، حيث تحاول الأوامر المخفية في لقطات الشاشة أو صفحات الويب أو المدخلات الأخرى التأثير على الإجراءات بطرق غير مقصودة. لتقليل هذه المخاطر، قم بتشغيل استخدام الكمبيوتر في بيئات موثوق بها ومعزولة وتطبيق فحوصات تحقق قوية قبل تنفيذ أي إرشادات.

قد تواجه عمليات استخدام الكمبيوتر غموضًا أو معلومات مفقودة. على سبيل المثال، القيمة المطلوبة غير موجودة أو أن تفسيرات متعددة ممكنة. في هذه الحالات، تتيح ميزة الإشراف البشري للعامل الذي يستخدم الكمبيوتر إيقاف التنفيذ مؤقتا وإصدار طلب توضيح إلى مراجع بشري معتمد ومكون. يمكن للمراجعين الرد عبر البريد الإلكتروني أو ضمن Copilot Studio باستخدام خريطة نشاط تشغيل العامل. بمجرد أن يتلقى عامل استخدام الكمبيوتر رد، يستأنف تشغيله مِنْ الخطوة المعلقة على الخريطة.

الموثوقية والحدود

تشير التقييمات المستندة إلى المنتج إلى أن ميزة الإشراف البشري تعمل غالبًا كما هو متوقع، ولكنها قد تفشل أو تتصرف بطرق غير متوقعة بالنسبة للمستخدمين. نظرًا لأن طلبات التوضيح يتم تفعيلها نتيجة لسلوك النموذج الاحتمالي، فقد لا يتم تفعيلها فِي جميع الحالات التي يفضل فيها المستخدم التوقف. قد تُفعّل أيضًا عندما لا يكون التوقف ضروريًا. يجب ألا تعتمد على طلبات التوضيح باعتبارها أمان آمنا من الفشل أو ضمانا بأن النظام سيطلب دائما إدخالا بشريا قبل المتابعة.

ليست آلية إنفاذ قواعد مخصصة

لا تضمن طلبات الإشراف البشري فرض القواعد أو النهج أو القيود المحددة. يجب عليك تطبيق المزيد مِنْ الضوابط المناسبة لكل سيناريو ممكن (على سبيل المثال: تعليمات واضحة، بيئات مقيدة، حسابات بأقل أذونات ممكنة، قوائم الأذونات، وغيرها مِنْ الضمانات التشغيلية) بدلاً مِنْ الاعتماد على طلبات التوضيح لتوفير المعلومات أو منع الإجراءات غير المرغوب فيها.

ما هي العوامل والإعدادات التشغيلية التي تسمح بالاستخدام الفعال والمسؤول لأداة استخدام الكمبيوتر؟

تعمل أداة استخدام الكمبيوتر بشكل أفضل عند توفير تعليمات واضحة ومفصلة للمستخدم. يجب على المستخدمين إعطاء تلميحات دقيقة حول تفاعلات الموقع أو التطبيق لتعزيز الموثوقية والدقة أثناء تنفيذ المهمة. لزيادة الرؤية والتحكم، قم بتمكين الإشراف البشري عن طريق تعيين واحد أو أكثر من المراجعين المعتمدين في صفحة تكوين الأدوات. عندما يكتشف النموذج إرشادات يحتمل أن تكون ضارة، يتلقى هؤلاء المراجعون إعلامات للتحقق من صحة التشغيل وتحديد ما إذا كان يجب متابعة التشغيل أو إيقافه.

كيف يمكنني تقديم ملاحظات حول أداة استخدام الكمبيوتر؟

هل لديك ملاحظات حول أداة استخدام الكمبيوتر؟ البريد الإلكتروني computeruse-feedback@microsoft.com.