الأسئلة المتداولة حول أداة استخدام الكمبيوتر

توفر هذه الأسئلة المتداولة (FAQ) رؤى حول القدرات والاستخدام والقيود والضمانات التي يجب أن تكون على دراية بها عند إضافة أداة استخدام الكمبيوتر إلى وكلاء Copilot Studio.

ما هي أداة استخدام الكمبيوتر؟

Computer use هي أداة يمكنك إضافتها إلى وكلاء Copilot Studio المصممين لأتمتة المهام على مواقع الويب والتطبيقات. يمكنك توفير أوصاف المهام باللغة الطبيعية، وأتمتة الأداة نقرات الماوس وإجراءات لوحة المفاتيح وفقا لذلك. على سبيل المثال، يمكنك إرشاد الأداة لفتح ملف PDF واستخدام محتوياته لملء نموذج ويب. تقوم الأداة بتفسير الشاشة بصريا وتنفيذ النقرات الضرورية وضغطات المفاتيح، وتحاكي التفاعلات البشرية.

التحذير

استخدام الكمبيوتر هو أداة قوية تعمل على أتمتة التفاعلات عبر مواقع الويب وتطبيقات سطح المكتب، ولكنها تأتي أيضا مع اعتبارات أمنية مهمة. في بعض الحالات، قد يتخذ الذكاء الاصطناعي إجراءات غير مقصودة بسبب إرشادات غامضة أو محتوى غير متوقع على الشاشة. يمكن أن تؤثر هذه الإجراءات على أمان جهازك أو بياناتك أو حساباتك المتصلة، بما في ذلك الوصول إلى الأنظمة الشخصية أو المالية أو المؤسسية.

ما الذي يمكن أن يفعله الكمبيوتر باستخدام الأداة؟

تعالج أداة استخدام الكمبيوتر بيانات بكسل الشاشة لفهم المحتوى على الشاشة، وتنفذ المهام باستخدام نقرات الماوس الظاهرية وإدخالات لوحة المفاتيح. يمكن للأداة إدارة مهام سير العمل متعددة الخطوات، والتعامل مع السيناريوهات غير المتوقعة، والتكيف ديناميكيا مع تغييرات الشاشة، ما يمكنها من تنفيذ مهام رقمية مختلفة مثل التنقل في مواقع الويب وملء النماذج دون الحاجة إلى واجهات برمجة تطبيقات متخصصة.

تتبع أداة استخدام الكمبيوتر حلقة تكرارية استنادا إلى ثلاث خطوات:

• الإدراك: يلتقط لقطات الشاشة لفهم الحالة الحالية لشاشة الكمبيوتر بشكل مرئي.

• المنطق: يقوم بتقييم الحالة الحالية والإجراءات السابقة ولقطات الشاشة من خلال نهج سلسلة التفكير، والذي يسمح له بتكييف إجراءاته بشكل فعال.

• الإجراء: ينفذ إجراءات مثل النقر أو الكتابة أو التمرير حتى تكتمل المهمة أو يتطلب إدخال مستخدم إضافي.

ما هي الاستخدامات المقصودة لأداة استخدام الكمبيوتر؟

تهدف أداة استخدام الكمبيوتر إلى أتمتة تفاعلات المستخدم مع مواقع الويب والتطبيقات من خلال ماوس ظاهري ولوحة مفاتيح، بشكل خاص مفيد في السيناريوهات التي لا تتوفر فيها واجهات برمجة التطبيقات.

كيف تم تقييم أداة استخدام الكمبيوتر؟ ما المقاييس التي يتم استخدامها لقياس الأداء؟

تم تقييم أداة استخدام الكمبيوتر بدقة باستخدام سيناريوهات العالم الحقيقي طوال مراحل التصميم والتطوير والنشر. وشملت أساليب التقييم البحث ودراسات التأثير والاختبار عبر سيناريوهات مختلفة لقياس الدقة وثقة المستخدم والفائدة. تتم مراقبة كل من المقاييس النوعية والكمية بانتظام للحفاظ على الأداء العالي وتجربة مستخدم إيجابية. كما يتم ضمان توفر الأداة من خلال الالتزام باتفاقيات مستوى الخدمة المعمول بها.

ما هي قيود أداة استخدام الكمبيوتر؟ كيف يمكن للمستخدمين تقليل تأثير قيود أداة استخدام الكمبيوتر عند استخدام النظام؟

استخدام الكمبيوتر هو تقنية جديدة مع المخاطر الأمنية المعروفة والقيود الوظيفية. نحن نمكنك من تجربة ذلك. تتيح هذه الإمكانية في المرحلة المبكرة أتمتة بعض المهام المستندة إلى الكمبيوتر، على الرغم من أن أدائها يختلف بشكل كبير اعتمادا على حالة الاستخدام. لاستخدامه بفعالية ومسؤولية، فهم قيوده الحالية.

القيود المعروفة

• يختلف معدل النجاح حسب المهمة: تعمل الأداة بشكل أفضل على المهام المستندة إلى الويب (حوالي 80% نجاح) ولكنها تنخفض بشكل كبير على تطبيقات سطح المكتب (حوالي 35% النجاح).
• أداء غير متناسق: قد تسفر نفس المهمة عن نتائج مختلفة اعتمادا على التغييرات المرئية أو التوقيت.
• الصعوبات مع بعض عناصر تحكم واجهة المستخدم: يمكن أن يواجه استخدام الكمبيوتر صعوبات في التفاعل مع عناصر واجهة غير قياسية أو ديناميكية، مثل القوائم المنسدلة أو منتقيات التاريخ أو عناصر واجهة المستخدم المخصصة.
• الحلقات والحالات العالقة: في بعض الحالات، يدخل العامل حلقة أو يتعثر عندما لا تتطابق الشاشة مع التوقعات أو التغييرات غير المتوقعة.
• التحديات المتعلقة بالمهام المعقدة: على الرغم من فعاليتها في الإجراءات البسيطة، فقد تواجه الأداة صعوبات مع واجهات رسومية مفصلة أو مهام تتضمن معالجة نص معقدة.
• ليس لحالات الاستخدام الحساسة أو عالية المخاطر: الأداة غير مخصصة ل:
  • التوصية أو التقدير في المجالات الحساسة، مثل التوظيف أو الرعاية الصحية أو التمويل
  • إجراء معاملات مالية
  • الإجراءات الضارة، مثل البريد العشوائي أو المعلومات الخاطئة
  • مشاركة البيانات خارج مؤسستك دون تخويل مناسب

كيفية تقليل القيود

لتحسين الموثوقية، يجب توفير إرشادات واضحة ومفصلة عند تكوين المهام لتقليل الأخطاء وزيادة معدلات نجاح المهام.

ما هي ميزة الإشراف البشري؟

Important

قد يواجه وكلاء استخدام الكمبيوتر تعليمات ضارة أو ضارة، غالبا ما يشار إليها باسم هجمات الحقن الفوري، حيث تحاول الأوامر المخفية في لقطات الشاشة أو صفحات الويب أو المدخلات الأخرى التأثير على الإجراءات بطرق غير مقصودة. لتقليل هذه المخاطر، قم بتشغيل استخدام الكمبيوتر في بيئات موثوق بها ومعزولة وتطبيق فحوصات تحقق قوية قبل تنفيذ أي إرشادات.

يمكن أن تواجه عمليات تشغيل استخدام الكمبيوتر غموضا أو معلومات مفقودة، على سبيل المثال، القيمة المطلوبة غير موجودة أو تفسيرات متعددة معقولة. في هذه الحالات، تتيح ميزة الإشراف البشري للعامل الذي يستخدم الكمبيوتر إيقاف التنفيذ مؤقتا وإصدار طلب توضيح إلى مراجع بشري معتمد ومكون. يمكن للمراجعين الاستجابة عبر البريد الإلكتروني أو ضمن Copilot Studio باستخدام مخطط نشاط تشغيل العامل. بمجرد أن يستعيد العامل الذي يستخدم الكمبيوتر استجابة، فإنه يستأنف تشغيله من الخطوة المتوقفة مؤقتا على الخريطة.

الموثوقية والحدود

تشير التقييمات التي يقودها المنتج إلى أن ميزة الإشراف البشري تعمل بشكل عام كما هو متوقع، ولكنها يمكن أن تفشل أو تتصرف بطرق قد لا يتوقعها المستخدمون. نظرا لأن طلبات التوضيح يتم تشغيلها بواسطة سلوك النموذج الاحتمالي، فقد لا يتم تشغيلها في كل حالة يرغب فيها الشخص في إيقاف مؤقت، وقد يتم تشغيلها أيضا عندما لا يكون الإيقاف المؤقت ضروريا. يجب ألا تعتمد على طلبات التوضيح باعتبارها أمان آمنا من الفشل أو ضمانا بأن النظام سيطلب دائما إدخالا بشريا قبل المتابعة.

ليست آلية إنفاذ قواعد مخصصة

لا تضمن طلبات الإشراف البشري فرض القواعد أو النهج أو القيود المحددة. يجب تطبيق المزيد من عناصر التحكم المناسبة لكل سيناريو محتمل (على سبيل المثال: تعليمات واضحة، وبيئات مقيدة، وحسابات أقل امتيازات، وقائمة السماح، وضمانات تشغيلية أخرى) بدلا من الاعتماد على طلبات التوضيح لتوفير المعلومات أو منع الإجراءات غير المرغوب فيها.

ما هي العوامل والإعدادات التشغيلية التي تسمح بالاستخدام الفعال والمسؤول لأداة استخدام الكمبيوتر؟

تعمل أداة استخدام الكمبيوتر بشكل أفضل عند توفير تعليمات واضحة ومفصلة للمستخدم. يجب على المستخدمين إعطاء تلميحات دقيقة حول تفاعلات الموقع أو التطبيق لتعزيز الموثوقية والدقة أثناء تنفيذ المهمة. لزيادة الرؤية والتحكم، قم بتمكين الإشراف البشري عن طريق تعيين واحد أو أكثر من المراجعين المعتمدين في صفحة تكوين الأدوات. عندما يكتشف النموذج إرشادات يحتمل أن تكون ضارة، يتلقى هؤلاء المراجعون إعلامات للتحقق من صحة التشغيل وتحديد ما إذا كان يجب متابعة التشغيل أو إيقافه.

كيف يمكنني تقديم ملاحظات حول أداة استخدام الكمبيوتر؟

هل لديك ملاحظات حول أداة استخدام الكمبيوتر؟ البريد الإلكتروني computeruse-feedback@microsoft.com.