مشاركة عبر

تنفيذ تطبيقات الويب وسطح المكتب تلقائيًا باستخدام الكمبيوتر (إصدار أولي)

[هذا المقال عبارة عن وثائق نسخة مسبقة وهو عرضة للتغيير.]

استخدام الكمبيوتر هو أداة في Copilot Studio تتيح للعامل التفاعل مع المهام وأتمتتها على كمبيوتر يعمل بنظام Windows. وإنها تعمل مع مواقع الويب وتطبيقات سطح المكتب عن طريق تحديد الأزرار واختيار القوائم وإدخال النص في الحقول على الشاشة. صف باللغة الطبيعية ما تريد أن يستخدمه الكمبيوتر، ويقوم بتنفيذ المهمة على جهاز كمبيوتر قمت بإعداده باستخدام الماوس الظاهري ولوحة المفاتيح. باستخدام الكمبيوتر، يمكن للعوامل إكمال المهام حتى عندما لا تكون هناك API للاتصال مباشرةً بالنظام. إذا كان بإمكان الشخص استخدام تطبيق أو موقع ويب، فيمكن استخدام الكمبيوتر أيضًا. يمكنك استخدام الكمبيوتر لمهام مثل إدخال البيانات التلقائي ومعالجة الفواتير واستخراج البيانات.

مهم

تحتوي هذه المقالة على وثائق إصدار أولي Microsoft Copilot Studio وهي عرضة للتغيير.

ولا تُستخدم ميزات الإصدار الأولي في بيئة التشغيل وقد يتم تقيد بعض الوظائف بها. تتوفر هذه الميزات قبل الإصدار الرسمي حتى تتمكن من الحصول على وصول مبكر وتقديم التعليقات.

إذا كنت تقوم بإنشاء عامل جاهز للإنتاج، فشاهد نظرة عامة على Microsoft Copilot Studio.

يتم تشغيل استخدام الكمبيوتر بواسطة عوامل استخدام الكمبيوتر (CUA)، وهو نموذج الذكاء الاصطناعي يجمع بين قدرات الرؤية والمنطق المتقدم للتفاعل مع واجهات المستخدم الرسومية (GUIs). نظرًا لأنه مدعوم الذكاء الاصطناعي، فإنه يتكيف مع تغييرات الواجهة. على سبيل المثال، عند تغيير الأزرار أو الشاشات، تستمر الأداة في العمل دون قطع التدفق. من السهل الاستخدام. ما عليك سوى وصف ما تريده باللغة الطبيعية. ولا تحتاج إلى كتابة تعليمات برمجية.

شاهد هذا الفيديو لمعرفة كيف تسمح أداة استخدام الكمبيوتر للعامل بالتفاعل مع تطبيق ويب.

المتطلبات

  • تتوفر الميزة للبيئات التي تم تعيين المنطقة فيها إلى الولايات المتحدة.

  • تأكد من أن العامل لديك لديه المنسق التوليدي ممكنًا لاستخدام الكمبيوتر.

إضافة استخدام الكمبيوتر إلى عاملك

على عامل جديد أو عامل موجود في Copilot Studio، أضف استخدام الكمبيوتر كأداة باتباع الخطوات التالية:

  1. انتقل إلى القسم الأدوات العامل وحدد إضافة أداة.

  2. في مربع الحوار إضافة أداة، حدد أداة جديدة.

  3. حدد استخدام الكمبيوتر.

  4. قم بتوفير الإرشادات التي تصف المهمة التي يجب أن تقوم بها الأداة على الكمبيوتر. ترى بعض قوالب التعليمات للبدء بها. لمعرفة المزيد حول أفضل طريقة لكتابة الإرشادات لاستخدام الكمبيوتر، تحقق من أفضل الممارسات للحصول على إرشادات لاستخدام الكمبيوتر.

  5. اختر الجهاز الذي يتم فيه تشغيل استخدام الكمبيوتر. يمكنك إما استخدام المستعرض المستضاف، أو جهاز جاهز للاستخدام لأتمتة المهام على مواقع الويب العامة، أو تحديد جهاز Windows يمكنك تكوينه لاستخدام الكمبيوتر. تعرف على المزيد في تكوين مكان تشغيل استخدام الكمبيوتر.

  6. حدد إضافة وتكوين.

  7. في صفحة التكوين، قم بتكوين هذه الحقول الثلاثة:

    • الاسم: أدخل الاسم المعروض لأداة استخدام الكمبيوتر. يساعدك هذا الاسم على تمييزه عن الأدوات الأخرى التي تضيفها إلى العامل الخاص بك.

    • الوصف: أدخل وصفًا مختصرًا لما تقوم به هذه الأداة ومتى تستخدمها. يتيح هذا النص للعامل الخاص بك معرفة متى يستخدم هذه الأداة.

    • الإرشادات: اسرد الخطوات التي يجب أن تنفذها الأداة، بما في ذلك عناوين URL وأسماء التطبيقات. للحصول على تلميحات، راجع أفضل الممارسات للحصول على إرشادات حول استخدام الكمبيوتر.

  8. راجع هذه الحقول والإعدادات الأخرى في صفحة التكوين التي قد تكون ذات صلة:

    • الإدخالات: استخدم الإدخالات لتعريف القيم الديناميكية التي تتغير في كل مرة يتم فيها تشغيل استخدام الكمبيوتر. على سبيل المثال، إذا كنت تريد ملء نموذج بقيمة مختلفة في كل عملية تشغيل، فقم بإنشاء إدخال لهذا الحقل. في وقت التنفيذ، يجمع استخدام الكمبيوتر بين الإرشادات الخاصة بك وقيم الإدخال لإكمال المهمة.

    • الجهاز: حدد الجهاز الهدف الذي يستخدمه العامل لتشغيل استخدام الكمبيوتر. ارجع إلى تكوين مكان تشغيل استخدام الكمبيوتر لمزيد من التفاصيل حول اختيار نوع الجهاز المناسب بناءً على متطلباتك.

      • استخدم تحديث لتحديث قائمة الجهاز.

      • اختر إدارة الأجهزة لفتح صفحة إدارة الجهاز في مدخل Power Automate.

      • حدد عرض تفاصيل الجهاز لفتح صفحة تفاصيل الجهاز في مدخل Power Automate.

      • الاتصال: الاتصال المستخدم لهذه الأداة. قم بتحديث أو إنشاء اتصال جديد لتغيير بيانات الاعتماد المستخدمة.

      • بيانات الاعتماد المراد استخدامها: حدد كيفية مصادقة استخدام الكمبيوتر أثناء التنفيذ:

        • بيانات الاعتماد المقدمة من قِبل المنشئ‬ (افتراضي): يستخدم هذا الخيار بيانات اعتماد المنشئ وهو مناسب للعوامل المستقلة.

          تحذير

          إذا قمت بمشاركة عامل مع هذا الإعداد، يمكن لأي شخص يستخدمه العمل مع وصول المؤلف الأصلي على الجهاز الذي تم تكوينه.

        • بيانات اعتماد المستخدم النهائي: يستخدم هذا الخيار بيانات اعتماد الشخص الذي يتفاعل مع العامل. يجب أن يكون لدى كل مستخدم بيانات اعتماد الوصول إلى الجهاز.

    • الإشراف البشري: حدد من يجب الاتصال به عبر البريد الإلكتروني (Outlook) إذا اكتشف عامل استخدام الكمبيوتر إرشادات قد تكون ضارة وقد تغير سلوك النموذج. يتم تشغيل كل عامل ويكون نشاطه مرتبطًا بالمستخدم الذي بدأه. إذا اخترت مراجعًا غير الشخص الذي يقوم بتشغيل عامل استخدام الكمبيوتر، من المحتمل ألا يرى النشاط لأنه لم يبدأ التشغيل. لذلك، لا يمكنهم التحقق من الطلب أو التصرف بناءً عليه بشكل صحيح. تأكد أيضًا من أن المستلم مخول ولديه السياق اللازم للتعامل مع هذه الطلبات. يحدد حد وقت الاستجابة المدة التي يظل فيها الطلب نشطًا. بعد هذه الفترة، تنتهي صلاحية الطلب، ويتوقف تشغيل استخدام الكمبيوتر إذا لم يتم تلقي أي استجابة. راجع الإشراف البشري لمزيد من المعلومات.

    • بيانات الاعتماد المخزنة: حدد بيانات الاعتماد التي يستخدمها الكمبيوتر لتسجيل الدخول إلى مواقع الويب والتطبيقات. أثناء التنفيذ، إذا ظهرت مطالبة بتسجيل الدخول، يستخدم الكمبيوتر بشكل آمن أي بيانات اعتماد قمت بتعريفها في هذا القسم لهذا الموقع أو التطبيق. يتم تخزين قيم كلمة المرور لبيانات الاعتماد هذه في Azure Key Vault الذي توفره. تعرف على كيفية إنشاء Azure Key Vault في إنشاء Azure Key Vault باستخدام مدخل Azure.

      لتكوين بيانات الاعتماد في الأداة، أدخل أولاً مُعرف الاشتراك واسم مجموعة الموارد واسم Key Vault. تتوفر كل هذه المعلومات من صفحة نظرة عامة على Key Vault.

      لاستخدام أسرار Azure Key Vault مع Power Platform:

      • يجب أن يكون لدى اشتراك Azure الذي يحتوي على المخزن "موفر موارد PowerPlatform" مسجل.
      • يجب أن يكون لدى المستخدم الذي يقوم بإنشاء متغير البيئة الأذونات المناسبة لمورد Azure Key Vault.

      إذا لم تكن قد قمت بالفعل، فاتبع الخطوات الواردة في تكوين Azure Key Vault. ثم قدم التفاصيل التالية:

      • الاسم: الاسم المعروض لبيانات الاعتماد.

      • اسم المستخدم: اسم المستخدم لتسجيل الدخول إلى موقع الويب أو التطبيق الهدف.

      • مجال تسجيل الدخول: المجال الذي تدخل فيه بيانات الاعتماد (على سبيل المثال، login.microsoft.com). تأكد من التحقق من هذا المجال، لأنه قد يختلف عن عنوان URL للموقع الرئيسي.

      • اسم بيانات سرية من Azure: اسم البيانات السرية في Key Vault الذي يخزن كلمة المرور لموقع الويب أو التطبيق.

        إشعار

        يتم دعم حقول كلمة المرور على جميع مواقع الويب ومعظم تطبيقات Windows (WinForms وWPF وUWP وWinUI وWin32)، والتي تغطي معظم سيناريوهات العملاء. قد لا يتم دعم بعض أنواع التطبيقات، مثل Electron أو Java أو Unity أو الألعاب أو واجهات سطر الأوامر أو Citrix أو البيئات الظاهرية الأخرى.

    • التحكم بالوصول: بشكل افتراضي، يمكن أن يعمل استخدام الكمبيوتر على أي موقع ويب أو تطبيق. إذا كنت ترغب في تقييد هذا الوصول، فمكن التحكم في الوصول لتعريف عناوين URL المحددة وتطبيقات سطح المكتب التي يستخدمها الكمبيوتر يجب أن تقتصر عليها. يمكنك تكوين كل من مواقع الويب والتطبيقات:

      • مواقع الويب: أدخل عنوان موقع الويب الرئيسي (على سبيل المثال، example.com). يتم تضمين جميع الصفحات الموجودة على موقع ويب هذا تلقائيًا. يمكنك أيضًا استخدام أحرف البدل (*) للمجالات الفرعية.
        • الأمثلة: www.contoso.com، *.contoso.com، contoso.com
      • تطبيقات سطح المكتب: أدخل اسم منتج التطبيق أو اسم العملية. للعثور عليه، اضغط على Ctrl+Shift+Esc لفتح مدير المهام. ثم تحقق من علامة التبويب العمليات.
        • الأمثلة: Microsoft Edge، msedge، Notepad.

      إشعار

      يمنع التحكم في الوصول النموذج فقط من اتخاذ إجراءات على مواقع الويب أو التطبيقات غير الموجودة في قائمة السماح. لا يمنع النموذج من فتحها. على سبيل المثال، إذا كان microsoft.com وMicrosoft Edge فقط في قائمة السماح، فلا يزال بإمكان النموذج استخدام شريط بحث Edge لفتح Bing. ومع ذلك، بمجرد فتح Bing، تفشل أي محاولة للتفاعل معها لأنها ليست في قائمة السماح.

  9. حدد حفظ..

اختبار استخدام الكمبيوتر

اختبار استخدام الكمبيوتر هو خطوة رئيسية في رحلة التأليف. بعد إدخال اسم ووصف وتعليمات وحفظ الأداة، حدد اختبار لبدء تجربة الاختبار.

بعد فترة تحميل قصيرة، تظهر تجربة الاختبار:

  • تعرض اللوحة اليسرى التعليمات الخاصة بك وسجلاً خطوة بخطوة لعقلية الأداة وإجراءاتها.
  • تعرض اللوحة اليمنى معاينة للإجراءات على الجهاز الذي قمت بإعداده لاستخدام الكمبيوتر.

عند انتهاء المهمة، سترى رسالة اكتمل الاختبار. أثناء إجراء الاختبار، يمكنك تحديد إيقاف الاختبار لإيقاف جميع الإجراءات على الجهاز على الفور.

إذا لم تكن النتيجة كما تتوقع، فانتقل إلى صفحة التكوين وصقل الإرشادات الخاصة بك. أضف المزيد من التفاصيل لتحسين الدقة. للحصول على إرشادات، راجع أفضل الممارسات لكتابة تعليمات فعالة.

نشر عامل باستخدام الكمبيوتر

إعداد استخدام الكمبيوتر، ثم نشر العامل. تعتمد كيفية تشغيل العامل على السيناريو. يمكن أن تكون مستقلة أو محادثة:

  • يتم تشغيل العوامل المستقلة تلقائيًا وتنفيذ المهام في الخلفية.

  • يسمح العمال المحادثة للمستخدمين بالتفاعل من خلال قنوات مثل Microsoft Teams.

يعمل استخدام الكمبيوتر بشكل أفضل مع العمال المستقلين، وينفذ المهام في الخلفية دون تفاعل المستخدم.

يمكنك أيضًا تطبيق استخدام الكمبيوتر في تجارب المحادثة، ولكن ضع هذه الاعتبارات في الاعتبار:

  1. إذا حددت مصادقة المستخدم كإعداد المصادقة، يحتاج كل مستخدم يتفاعل مع العامل في محادثة إلى بيانات اعتماد صالحة للجهاز المستخدم بواسطة استخدام الكمبيوتر.
  2. عند تشغيل الأداة، فإنها تشارك رسائل المنطق ولقطات الشاشة لنشاط الجهاز في الدردشة.

أفضل الممارسات

للحفاظ على الإنتاجية والأمان في البيئات الرقمية اليوم، اتبع أفضل الممارسات لاستخدام الكمبيوتر، خاصةً عند كتابة تعليمات واضحة وتأمين الأجهزة.

أفضل الممارسات لتأمين الأجهزة

عند إعداد أجهزة لاستخدام الكمبيوتر تتيح الذكاء الاصطناعي تنفيذ المهام باستخدام اللغة الطبيعية، ضع في اعتبارك توصيات الأمان هذه:

توصية الأمان معلومات إضافية
استخدام أجهزة مخصصة لاستخدام الكمبيوتر قم بتعيين أجهزة معينة ومعزولة حصريًا للمهام التي تتضمن استخدام الكمبيوتر. يقلل هذا النهج من خطر التلوث المتبادل من البرامج غير المرتبطة أو البرامج الضارة أو الوصول غير المصرح به. يتيح لك التحكم في التكوينات والتحديثات والمراقبة بشكل أكثر فعالية.
تقييد الأذونات لحساب المستخدم الذي تستخدمه لاستخدام الكمبيوتر قم بإعداد حساب المستخدم لاستخدام الكمبيوتر لاتباع مبدأ الامتياز الأقل—امنح فقط الأذونات اللازمة لتشغيل الأدوات المطلوبة.
تقييد الوصول إلى الويب إلى قائمة السماح لمواقع ويب موثوق بها محددة فقط السماح بالوصول إلى الويب فقط إلى قائمة محددة مسبقًا من المجالات التي تم التحقق منها والموثوق بها. على سبيل المثال، يمكنك تكوين إعدادات نهج Microsoft Edge باستخدام Microsoft Intune التي تستهدف الأجهزة المستخدمة لاستخدام الكمبيوتر.
تقييد توفر تطبيقات سطح المكتب المحددة قم بتثبيت التطبيقات الضرورية لسير عمل الذكاء الاصطناعي المقصود والسماح بتنفيذها فقط. قم بمنع الوصول إلى البرامج غير الضرورية أو تعطيله. على سبيل المثال، يمكنك تكوين التحكم في التطبيق للحد من التطبيقات المسموح بتشغيلها على الجهاز.

أفضل الممارسات للحصول على إرشادات لاستخدام الكمبيوتر

تحدد التعليمات التي تكتبها مدى جودة استخدام الكمبيوتر. تساعد الإرشادات التفصيلية المحددة الكمبيوتر على استخدام المهام الكاملة بدقة. فكر في الأمر على أنه شرح لمهمة لزميل. تساعد التوجيهات الواضحة خطوة بخطوة على ضمان النجاح.

نصائح لكتابة تعليمات فعالة:

  • كن محددًا حول مواقع الويب والتطبيقات. قم بتضمين عنوان URL الكامل لأي موقع ويب والاسم الدقيق لأي تطبيق يجب أن تستخدمه الأداة. مثال: "افتح https://www.microsoft.com وانتقل إلى "أخبار الشركة".

  • تحديد الإجراءات ذات الصلة بوضوح. إذا كنت تريد القيام بشيء ما، فقله بشكل صريح - خاصة الإجراءات مثل إرسال نموذج أو إرسال بريد إلكتروني. مثال: "بمجرد تعبئة النموذج، حدد إرسال. لا حاجة لطلب الإذن".

  • تقسيم التفاعلات المعقدة. بالنسبة إلى المناطق التي قد تكون فيها واجهة المستخدم أكثر تعقيدًا للتنقل، اشرح كل خطوة بالتفصيل. مثال: "حدد أيقونة المزيد في الزاوية العلوية اليسرى. تظهر قائمة منسدلة. بمجرد فتحه، حدد العنصر الأخير في القائمة."

  • استخدم التنسيق خطوة بخطوة لمهام أطول. يسهل اتباع الإرشادات الطويلة عند تنسيقها كقائمة.

إرشادات العينة

استكشف هذه الإرشادات النموذجية لتجربة استخدام الكمبيوتر أو استخدامها كمرجع لكتابة تعليماتك الخاصة.

السينَاريو‏‎‏‎‏‎‏‎ الاسم الوصف إرشادات
معالجة الفاتورة نقل تفاصيل الفاتورة وإرسالها نقل بيانات الفاتورة من ملف PDF وإرسالها إلى نموذج آخر. 1. انتقل إلى https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html، واضبط عامل تصفية التاريخ على آخر 24 ساعة، وافتح ملف PDF الخاص بالفاتورة.
2. في علامة تبويب جديدة، افتح https://computerusedemos.blob.core.windows.net/web/Contoso/index.html واملأ النموذج بالبيانات من ملف PDF هذا. أرسل نموذج الفاتورة، دون الحاجة إلى تأكيد.
إدخال البيانات إرسال عناصر المخزون إضافة منتجات إلى نظام المخزون. 1. انتقل إلى https://computerusedemos.blob.core.windows.net/web/Adventure/index.html.
2. إرسال إدخال جديد لكل عنصر من العناصر التالية:
Rear Derailleur, RD-4821, 50, 42.75, Tailspin Toys
Pedal Set, PD-1738, 80, 19.99, Northwind Traders
Brake Lever, BL-2975, 35, 14.50, Trey Research
Chainring Bolt Set, CB-6640, 100, 5.25, VanArsdel, Ltd.
Bottom Bracket, BB-9320, 60, 24.90, Tailwind Traders
استخراج البيانات البحث عن مدير المحفظة والقيمة احصل على اسم المدير وقيمته لمحفظة. 1. انتقل إلى https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. ابحث عن صف Fourth Coffee وسجل اسم مدير المحفظة وقيمة قائمة المشاريع الحالية تمامًا كما هو موضح.
3. إرجاع هاتين القيمتين كإخراج نهائي.

أفضل الممارسات لاستخراج البيانات

يمكنك استخدام الكمبيوتر لاستخراج البيانات مِنْ مواقع الويب أو ٱلتَّطْبِيقَاتُ ثم تمرير تلك البيانات إلى عامِلك أو إلى أدوات أخرى فِي ٱلْعَامِلُ. للقيام بذلك، ما عليك سوى وصف المعلومات التي تريد استخراجها مباشرة فِي إرشادات استخدام الكمبيوتر.

إذا كنت تريد استخدام البيانات المستخرجة مَعَ أَدَاةٌ أخرى (على سبيل المثال، إرسالها عبر البريد الإلكتروني)، فحدد هذه الحاجة فِي إرشادات ٱلْعَامِلُ وتأكد مِنْ إضافة كلتا الأدوتين إلى ٱلْعَامِلُ.

مثال: "استخدام الكمبيوتر لاستخراج معلومات العميل للوحة معلومات قائمة المشاريع المالية وإرسال البيانات المستخرجة بالبريد الإلكتروني." فِي هذه الحالة، يجب أن يتضمن عامِلك كُلٌّ مِنْ أَدَاةٌ استخدام الكمبيوتر وأَدَاةٌ البريد الإلكتروني.

استخراج القيم كنص

يمكنك إرشاد استخدام الكمبيوتر لاستخراج قيم معينة وإعادتها كنص عادي. على سبيل المثال، تستخرج المطالبة التالية مدير قائمة المشاريع وقيمة قائمة المشاريع للعميل Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

يقوم ٱلْعَامِلُ بإرجاع القيمتين المطلوبتين كنص فقط.

استخراج القيم ك JSON

يمكنك أيضا طلب استخدام الكمبيوتر لإرجاع المعلومات المستخرجة بتنسيق JSON. يكون هذا التنسيق مفيدا عندما تريد تمرير البيانات المنظمة إلى أَدَاةٌ أخرى. يستخرج المثال التالي جميع صفوف قائمة المشاريع المتعلقة ب Contoso ويعيدها عَلَى أنها JSON منسقة بِشَكْلٍ صحيح:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
•	Each top-level key is the client name
•	Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
•	Return only the JSON, with no additional text.

يضمن هذا النهج تنظيم الإخراج.

ترخيص

بينما يكون استخدام الكمبيوتر قيد المعاينة، تتم فوترته باستخدام ميزة إجراء العامل بمعدل فوترة يبلغ خمسة أرصدة Copilot. لمزيد من المعلومات، راجع معدل الفوترة والإدارة في Microsoft Copilot Studio.

يمكن لكل تشغيل استخدام للكمبيوتر تنفيذ العديد من الإجراءات، وكل إجراء يكلف خمسة أرصدة Copilot.

على سبيل المثال، إذا قمت بإعداد استخدام الكمبيوتر لملء نموذج جدول زمني مستند إلى ويب، فإنه ينفذ هذه الإجراءات في كل مرة يتم فيها تشغيله:

  1. تشغيل المستعرض.

  2. انتقل إلى مدخل ويب الجدول الزمني.

  3. حدد إنشاء جدول زمني جديدة.

  4. املأ حقل نموذج وقت البدء.

  5. املأ حقل نموذج وقت الانتهاء.

  6. املأ حقل نموذج كود المشروع.

  7. حدد زر إرسَال.

في هذا المثال، ينفذ استخدام الكمبيوتر سبعة إجراءات، ويستهلك ما مجموعه 35 رسالة.

شارك ملاحظاتك

هل لديك تعليقات حول استخدام الكمبيوتر؟ أخبرنا في computeruse-feedback@microsoft.com.

الأسئلة المتداولة حول أداة استخدام الكمبيوتر

  • Last updated on