إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
يجب أن يكون تقييم العامل عملية تكرارية تبدأ من مرحلة تصور العامل وتصميمه، والاستمرار من خلال نشر العامل واكتشاف الانحدار. يوفر هذا القالب العناصر الأساسية لبناء مجموعات اختبار التقييم وكيفية تنفيذها والتكرار من خلال بنية مكونة من أربع مراحل طوال دورة حياة العامل.
- المرحلة 1: بناء مجموعات اختبار التقييم التأسيسي
- المرحلة 2: إنشاء أساس وتحسين
- المرحلة الثالثة: تنفيذ التوسع المنهجي
- المرحلة الرابعة: إنشاء عملية تقييم مستمرة لتحسين الجودة
تلميح
قم بتنزيل قالب قائمة الاختيار القابلة للتحرير.
المرحلة 1: بناء مجموعات اختبار التقييم التأسيسي
الهدف: إنشاء وتشغيل مجموعة اختبار تقييم أساسية تقيم السيناريوهات الأساسية للعامل.
مجموعة اختبار التقييم هي مجموعة من حالات الاختبار. حالة الاختبار هي زوج فردي من المطالبة والاستجابة لتقييم إجابة العامل على سؤال معين. يتضمن موجه اختبار واستجابة متوقعة اختيارية (تأكيد) تظهر مباشرة من متطلبات تعليمات العامل. يجب أن تحدد حالة الاختبار أيضا معايير القبول وطريقة الاختبار لتقييم الجودة.
| سيناريو العامل1 | اختبار الْموجه (نموذج موجه السؤال إلى الوكيل) |
الاستجابة المتوقعة | معايير القبول2 (حدد كيف تبدو الاستجابة الناجحة: ما الذي يمر وما لا يحدث) |
|---|---|---|---|
| يجب أن يجيب الوكيل على محتوى السياسة استنادًا إلى مقالة المعرفة الخاصة بالسياسة. | "كم عدد أيام الإجازة المرضية التي يحصل عليها الموظف؟" | "30 يوما. <الاقتباس>" | يجب أن تحتوي الاستجابة على النص الدقيق من معرفة السياسة وتطابق النص. يجب أن تتضمن الاستجابة اقتباسا. |
| يجب ألا يجيب الوكيل على أسئلة تتجاوز مقالة معرفة النهج. توفير إجابات مباشرة من دعم الموارد البشرية البشري. | "كم عدد أيام الإجازة المرضية التي يحصل عليها الموظف؟" | "لا يحدد مستند النهج أيام الإجازة المرضية. استشر الموارد البشرية بشأن سياسة الإجازة المرضية الخاصة بك." | يجب أن يتم توجيه الاستجابة للحالة المحظورة إلى دعم الموارد البشرية البشرية. |
تلميح
1سيناريو العامل: يجب أن تتضمن مجموعة الاختبار الأساسية حالات اختبار تغطي السيناريوهات الرئيسية للعامل أو حالات الاستخدام. استخدم سيناريو العامل كإرشادات والتركيز على ما يهدف العامل إلى التعامل معه أو تجنبه. تساعدك هذه العملية على تجميع قائمة مستهدفة من مطالبات الاختبار ويجب تنسيقها بشكل وثيق مع تطوير إرشادات العامل. لتحديد العدد الصحيح لحالات الاختبار، ابدأ بمطالبة اختبار واحدة لكل سيناريو رئيسي. ابدأ بمجموعة صغيرة من حالات الاختبار، ثم تكرر وتنقيح كلما اكتسبت رؤى وتحسن التغطية.
2معايير القبول: تحديد ما يشكل النجاح بوضوح. يمكن أن يكون هذا التعريف صعبا في البداية، لذا ضع في اعتبارك تحسين معاييرك من خلال التكرار. قم بتشغيل موجه الاختبار، ومراجعة الاستجابة، وتقييم جودتها عن طريق السؤال: هل يجيب على السؤال الرئيسي؟ هل يستخدم المعلومات الصحيحة؟ هل النغمة والنمط مناسبان؟ هل يحترم أذونات المشاركة؟ تساعدك رؤىك من هذه الأسئلة على وضع معايير القبول، وإذا لزم الأمر، استجابة متوقعة.
المرحلة 2: إنشاء أساس وتحسين
الهدف: قم بتشغيل التقييمات وإنشاء مقاييس أساسية لقياس الأداء وتحسينه.
يمكنك إجراء التقييم يدويا أو استخدام أدوات متخصصة. للتقييم اليدوي، أرسل موجه الاختبار إلى العامل، وراجع الاستجابة، واستخدم الحكم البشري لتحديد ما إذا كان يفي بمعايير القبول، وسجل النتيجة. يوفر Microsoft أدوات لتقييم العامل، بما في ذلك ميزة تقييم العامل Copilot Studio.
إنشاء الأساس
- قم بتشغيل مجموعة الْاختبار الْأساسي مقابل العامل.
- تسجيل النجاح أو الفشل لكل حالة اختبار.
- حساب معدل النجاح الإجمالي: ______%.
- سجل إصدار العامل وتاريخ الأساس: ___________.
تحليل السبب الجذري والتكرار
راجع نتائج التقييم لتحديد الإيجابيات الزائفة والسلبيات الحقيقية لمزيد من التحليل. الْإيجابي الْزائف هو إجابة تم تحديدها على أنها صحيحة ولكن ينبغي أن تُعتبر فاشلة بناءً على الْحكم الْبشري. السلبية الحقيقية هي إجابة تم تعريفها بشكل صحيح على أنها فشل. تقييم الحالات الفاشلة من منظورين:
- مشكلة حالة الاختبار: هل تتسبب مطالبة الاختبار أو الإجابة المتوقعة أو معايير القبول في الفشل؟
- مشكلة في تصميم العامل: هل يشير الفشل إلى تعليمات عامل غير واضحة، أو عيوب في المعرفة أو تكوين الأداة؟
حدد السبب الجذري وتحسن إما عن طريق تحسين حالة الاختبار أو تحسين تصميم العامل.
تلميح
نتيجة نجاح التقييم: يمكن للوكلاء إنتاج استجابات مختلفة لنفس المطالبة بسبب طبيعتها الاحتمالية. قد يؤدي هذا التغير إلى تمرير الإجابات أو فشلها استنادا إلى مدى صرامة معايير القبول. لضمان تقييم موثوق به، قم بتشغيل كل مجموعة اختبار عدة مرات وحساب متوسط معدل النجاح. تهدف إلى معدل تمرير واقعي من 80-90%، بناء على احتياجات عملك.
المرحلة الثالثة: تنفيذ التوسع المنهجي
الهدف: بناء مجموعات تقييم شاملة على فئات جودة وكيل مختلفة.
أنشأت المرحلتين 1 و2 مجموعة الاختبار الأساسي لحالات الاستخدام الأساسي للعامل. بعد ذلك، قم بتوسيع تقييمك عن طريق إنشاء مجموعات اختبار تقيم فئات جودة العامل المختلفة. تقترح القائمة التالية فئات تتناول جوانب مختلفة من الجودة.
| فئة الجودة | الهدف |
|---|---|
| النواة الأساسية | مجموعة "يجب اجتيازها" وهو يقيس جودة الاستجابة الأساسية عند التوزيع وينفذ الكشف عن الانحدار أثناء التشغيل. |
| متانة الوكيل | تتمثل القيمة الأساسية لأحد الوكلاء على البرامج التقليدية في قوتها في التعامل مع حالات الاستخدام المختلفة. يمكن أن تتضمن هذه القيمة ما يلي:
|
| اختبار البنية | تقييم الأداء الوظيفي للعامل. يمكن أن تتضمن الأبعاد ما يلي:
|
| الحالات النادرة | كيف يجب على الْوكيل الْتعامل مع حالْة طرفية باستخدام حواجز الْحماية.
|
تلميح
مرجع الغرض من الفئة:
- فشل الذاكرة الأساسية: شيء ما مكسور أو لا يعمل. التحقيق في التغييرات الأخيرة.
- فشل الصمود: الوكيل صارم جدا. قد تركز بشكل مفرط على الجمل المحددة.
- فشل البنية: يحتاج مكون معين أو سير عمل معين إلى تصحيح الأخطاء.
- السيناريوهات الحدودية تفشل: تحتاج حواجز الحماية إلى تحسين. تعزيز الحدود.
المرحلة الرابعة: إنشاء عملية تقييم مستمرة لتحسين الجودة
الهدف: إنشاء مراقبة تقييم مستمرة للحفاظ على جودة العامل أثناء التشغيل.
بمجرد نشر عامل للإنتاج، فإنه يدخل مرحلة مستقرة. للحفاظ على الجودة والكشف بسرعة عن التراجعات أو المشكلات الناتجة عن تغييرات المنتج (مثل ترقيات النموذج أو تحديثات نظام المعرفة) أو حالات الاستخدام المتطورة، قم بإعداد عملية تقييم مستمرة. جدولة عمليات تشغيل الْتقييم الْمنتظمة أو تشغيلها استنادا إلى أحداث محددة لضمان الْجودة.
- قم بإعداد جدول زمني لصيانة التقييم المستمرة.
- المحفزات المقترحة لتقييم الحزمة الكاملة:
- تغيير النموذج
- تحديث إعداد نظام المعرفة الرئيسي
- تكامل أداة أو موصل جديد
- حدث الإنتاج
تلميح
مؤشر النجاح: يمكنك التشغيل بنجاح عندما يمكنك الرد على مخاوف المساهمين بالتحديدات، بدلا من القول: "يبدو العامل على ما يرام".
تقول: "يبلغ الامتثال للسياسة 98%، ولكن تم إسقاط إضفاء الطابع الشخصي إلى 87%- على وجه التحديد، لا يتم تطبيق السياسات المستندة إلى الحيازة. لقد حددنا السبب الجذري ونكرر".