مراقبة النموذج باستخدام Azure التعلم الآلي

في هذه المقالة، ستتعرف على مراقبة النموذج في Azure التعلم الآلي، والإشارات والمقاييس التي يمكنك مراقبتها، والممارسات الموصى بها لاستخدام مراقبة النموذج.

حالة مراقبة النموذج

مراقبة النموذج هي الخطوة الأخيرة في دورة حياة التعلم الآلي الشاملة. تتعقب هذه الخطوة أداء النموذج في الإنتاج وتهدف إلى فهم الأداء من كل من علم البيانات ووجهات النظر التشغيلية.

على عكس أنظمة البرامج التقليدية، لا يتم التحكم في سلوك أنظمة التعلم الآلي فقط من خلال القواعد المحددة في التعليمات البرمجية، ولكن أيضا بسلوك النموذج المستفاد من البيانات. لذلك، يمكن أن تتسبب تغييرات توزيع البيانات أو انحراف خدمة التدريب أو مشكلات جودة البيانات أو التحولات في البيئات أو تغييرات سلوك المستهلك في أن يصبح النموذج قديما. عندما يصبح النموذج قديما، يمكن أن يتدهور أدائه إلى درجة أنه يفشل في إضافة قيمة تجارية أو يبدأ في التسبب في مشكلات امتثال خطيرة في بيئات شديدة التنظيم.

قيود مراقبة النموذج في Azure التعلم الآلي

تدعم مراقبة نموذج Azure التعلم الآلي فقط استخدام المصادقة المستندة إلى بيانات الاعتماد (على سبيل المثال، رمز SAS المميز) للوصول إلى البيانات الموجودة في مخازن البيانات. لمعرفة المزيد حول مخازن البيانات وأوضاع المصادقة، راجع إدارة البيانات.

كيفية عمل مراقبة النموذج في Azure التعلم الآلي

لتنفيذ المراقبة، يكتسب Azure التعلم الآلي إشارات مراقبة من خلال إجراء حسابات إحصائية على بيانات استدلال الإنتاج المتدفقة والبيانات المرجعية. يمكن أن تكون البيانات المرجعية بيانات تدريب تاريخية أو بيانات التحقق من الصحة أو بيانات الحقيقة الأساسية. من ناحية أخرى، تشير بيانات استدلال الإنتاج إلى بيانات الإدخال والإخراج الخاصة بالنموذج التي تم جمعها في الإنتاج.

تحتوي كل إشارة مراقبة على مقياس واحد أو أكثر. يمكن للمستخدمين تعيين حدود لهذه المقاييس من أجل تلقي تنبيهات عبر Azure التعلم الآلي أو Azure Event Grid حول حالات الشذوذ في النموذج أو البيانات. يمكن أن تطالب هذه التنبيهات المستخدمين بتحليل إشارات المراقبة أو استكشاف الأخطاء وإصلاحها في Azure التعلم الآلي studio لتحسين جودة النموذج المستمر.

تصف الخطوات التالية مثالا للحساب الإحصائي المستخدم للحصول على إشارة مراقبة مضمنة، مثل انحراف البيانات، لنموذج قيد الإنتاج.

• للحصول على ميزة في بيانات التدريب، احسب التوزيع الإحصائي لقيمها. هذا التوزيع هو التوزيع الأساسي للميزة.
• حساب التوزيع الإحصائي لأحدث قيم الميزة التي تظهر في الإنتاج.
• قارن توزيع أحدث قيم الميزة في الإنتاج مع التوزيع الأساسي عن طريق إجراء اختبار إحصائي أو حساب درجة المسافة.
• عندما تتجاوز إحصائية الاختبار أو درجة المسافة بين التوزيعين عتبة محددة من قبل المستخدم، يحدد Azure التعلم الآلي الشذوذ ويعلم المستخدم.

إعداد مراقبة النموذج

لتمكين واستخدام مراقبة النموذج في Azure التعلم الآلي:

1. تمكين جمع بيانات استدلال الإنتاج. إذا قمت بنشر نموذج إلى نقطة نهاية Azure التعلم الآلي عبر الإنترنت، يمكنك تمكين جمع بيانات استدلال الإنتاج باستخدام تجميع بيانات نموذج Azure التعلم الآلي. ومع ذلك، إذا قمت بنشر نموذج خارج Azure التعلم الآلي أو إلى نقطة نهاية دفعة Azure التعلم الآلي، فأنت مسؤول عن جمع بيانات استدلال الإنتاج. يمكنك بعد ذلك استخدام هذه البيانات لمراقبة نموذج Azure التعلم الآلي.
2. إعداد مراقبة النموذج. يمكنك استخدام Azure التعلم الآلي SDK/CLI 2.0 أو واجهة مستخدم الاستوديو لإعداد مراقبة النموذج بسهولة. أثناء الإعداد، يمكنك تحديد إشارات المراقبة المفضلة وتخصيص المقاييس والحدود لكل إشارة.
3. عرض نتائج مراقبة النموذج وتحليلها. بمجرد إعداد مراقبة النموذج، يقوم Azure التعلم الآلي بجدولة مهمة مراقبة لتشغيلها بالتردد المحدد. يحسب كل تشغيل ويقيم المقاييس لجميع إشارات المراقبة المحددة ويشغل إعلامات التنبيه عند تجاوز أي حد محدد. يمكنك اتباع الارتباط في إعلام التنبيه لعرض نتائج المراقبة وتحليلها في مساحة عمل Azure التعلم الآلي.

قدرات مراقبة النموذج

يوفر Azure التعلم الآلي الإمكانات التالية لمراقبة النموذج المستمر:

• إشارات المراقبة المضمنة. توفر مراقبة النموذج إشارات مراقبة مضمنة للبيانات الجدولية. تتضمن إشارات المراقبة هذه انحراف البيانات وانحراف التنبؤ وجودة البيانات وانحراف سمة الميزة وأداء النموذج.
• إعداد مراقبة النموذج الجاهز باستخدام نقطة نهاية Azure التعلم الآلي عبر الإنترنت. إذا قمت بنشر النموذج الخاص بك للإنتاج في نقطة نهاية Azure التعلم الآلي عبر الإنترنت، فإن Azure التعلم الآلي يجمع بيانات استدلال الإنتاج تلقائيا ويستخدمها للمراقبة المستمرة.
• استخدام إشارات مراقبة متعددة لنظرة عامة. يمكنك بسهولة تضمين العديد من إشارات المراقبة في إعداد مراقبة واحد. لكل إشارة مراقبة، يمكنك تحديد المقياس (المقاييس) المفضل لديك وضبط حد التنبيه.
• استخدام بيانات التدريب أو بيانات الإنتاج الحديثة الماضية كبيانات مرجعية للمقارنة. بالنسبة إلى إشارات المراقبة، يتيح لك Azure التعلم الآلي تعيين بيانات مرجعية باستخدام بيانات التدريب أو بيانات الإنتاج الحديثة والسابقة.
• مراقبة أهم ميزات N لميزة انحراف البيانات أو جودة البيانات. إذا كنت تستخدم بيانات التدريب كبيانات مرجعية، يمكنك تحديد انحراف البيانات أو إشارات جودة البيانات ذات الطبقات فوق أهمية الميزة.
• المرونة لتحديد إشارة المراقبة الخاصة بك. إذا كانت إشارات المراقبة المضمنة غير مناسبة لسيناريو عملك، يمكنك تحديد إشارة المراقبة الخاصة بك باستخدام مكون إشارة مراقبة مخصص.
• المرونة لاستخدام بيانات استدلال الإنتاج من أي مصدر. إذا قمت بنشر نماذج خارج Azure التعلم الآلي، أو إذا قمت بنشر نماذج إلى نقاط نهاية دفعة Azure التعلم الآلي، يمكنك جمع بيانات استدلال الإنتاج لاستخدامها في Azure التعلم الآلي لمراقبة النموذج.

حجم نافذة Lookback والإزاحة

حجم نافذة البحث هو مدة الوقت (بتنسيق ISO 8601) لنافذة بيانات الإنتاج أو المرجع، بالنظر إلى الوراء من تاريخ تشغيل المراقبة.

إزاحة نافذة البحث هي مدة الوقت (بتنسيق ISO 8601) لإزاحة نهاية نافذة البيانات من تاريخ تشغيل المراقبة.

على سبيل المثال، افترض أن النموذج الخاص بك قيد الإنتاج وأن لديك جهاز عرض تم تعيينه للتشغيل في 31 يناير الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه، إذا قمت بتعيين حجم نافذة عرض الإنتاج ( P7D سبعة أيام) لجهاز العرض وإزاحة نافذة عرض الإنتاج من P0D (صفر أيام)، فإن جهاز العرض يستخدم البيانات من 24 يناير في الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه حتى 31 يناير الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه (وقت تشغيل جهاز العرض) في نافذة البيانات.

علاوة على ذلك، بالنسبة للبيانات المرجعية، إذا قمت بتعيين إزاحة نافذة البحث إلى P7D (سبعة أيام)، تنتهي نافذة البيانات المرجعية مباشرة قبل بدء نافذة بيانات الإنتاج، بحيث لا يوجد تداخل. يمكنك بعد ذلك تعيين حجم نافذة البحث عن البيانات المرجعية لتكون كبيرة كما تريد. على سبيل المثال، من خلال تعيين حجم نافذة البحث عن البيانات المرجعية إلى P24D (24 يوما)، تتضمن نافذة البيانات المرجعية بيانات من 1 يناير الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه حتى 24 يناير الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه. يوضح الشكل التالي هذا المثال.

في بعض الحالات، قد تجد أنه من المفيد تعيين إزاحة نافذة البحث لبيانات الإنتاج إلى رقم أكبر من صفر من الأيام. على سبيل المثال، إذا كان من المقرر تشغيل جهاز العرض أسبوعيا في يوم الاثنين في الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه، ولكنك لا تريد استخدام البيانات من عطلة نهاية الأسبوع في تشغيل المراقبة، يمكنك استخدام حجم نافذة البحث من P5D (خمسة أيام) وإزاحة نافذة البحث من P2D (يومين). ثم تبدأ نافذة البيانات الخاصة بك في يوم الاثنين السابق في الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه وتنتهي يوم الجمعة الساعة 3:15 مساء بالتوقيت العالمي المتفق عليه.

في الممارسة العملية، يجب التأكد من عدم تداخل نافذة البيانات المرجعية ونافذة بيانات الإنتاج. كما هو موضح في الشكل التالي، يمكنك التأكد من أن النوافذ غير المتراكبة عن طريق التأكد من أن إزاحة نافذة البحث عن البيانات المرجعية (P10D أو 10 أيام، في هذا المثال) أكبر أو مساوية لمجموع حجم نافذة البحث لبيانات الإنتاج وإزاحة نافذة البحث الخاصة بها (إجمالي سبعة أيام).

باستخدام مراقبة نموذج Azure التعلم الآلي، يمكنك استخدام الإعدادات الافتراضية الذكية لحجم نافذة البحث وإزاحة نافذة البحث، أو يمكنك تخصيصها لتلبية احتياجاتك. أيضا، يتم دعم كل من النوافذ المتداولة والنوافذ الثابتة.

تخصيص حجم نافذة البحث

لديك المرونة لتحديد حجم نافذة البحث لكل من بيانات الإنتاج والبيانات المرجعية.

• بشكل افتراضي، حجم نافذة البحث لبيانات الإنتاج هو تكرار المراقبة الخاص بك. أي أنه سيتم تحليل جميع البيانات التي تم جمعها في فترة المراقبة قبل تشغيل مهمة المراقبة. يمكنك استخدام الخاصية production_data.data_window.lookback_window_size لضبط نافذة البيانات المتداولة لبيانات الإنتاج.

• بشكل افتراضي، تكون نافذة البحث للبيانات المرجعية هي مجموعة البيانات الكاملة. يمكنك استخدام الخاصية reference_data.data_window.lookback_window_size لضبط حجم نافذة البحث المرجعي.

• لتحديد نافذة بيانات ثابتة للبيانات المرجعية، يمكنك استخدام الخصائص reference_data.data_window.window_start_date و reference_data.data_window.window_end_date.

تخصيص إزاحة نافذة البحث

لديك المرونة لتحديد إزاحة نافذة البحث لنافذة البيانات الخاصة بك لكل من بيانات الإنتاج والبيانات المرجعية. يمكنك استخدام الإزاحة للتحكم الدقيق في البيانات التي يستخدمها جهاز العرض. تنطبق الإزاحة فقط على نوافذ البيانات المتداولة.

• بشكل افتراضي، تكون إزاحة بيانات P0D الإنتاج (صفر أيام). يمكنك تعديل هذه الإزاحة باستخدام الخاصية production_data.data_window.lookback_window_offset .

• بشكل افتراضي، تكون إزاحة البيانات المرجعية ضعف production_data.data_window.lookback_window_size. يضمن هذا الإعداد وجود بيانات مرجعية كافية لنتائج المراقبة ذات المعنى الإحصائي. يمكنك تعديل هذه الإزاحة باستخدام الخاصية reference_data.data_window.lookback_window_offset .

مراقبة الإشارات والمقاييس

تدعم مراقبة نموذج Azure التعلم الآلي القائمة التالية من إشارات المراقبة والمقاييس:

هام

العناصر التي تم وضع علامة عليها (إصدار أولي) في هذه المقالة موجودة حالياً في الإصدار الأولي العام. تتوفر نسخة الإصدار الأولي دون اتفاقية مستوى الخدمة، ولا يوصى به لأحمال عمل الإنتاج. بعض الميزات ربما لا تكون مدعمة أو بها بعض القدرات المقيدة. لمزيد من المعلومات، راجع ⁧⁩شروط الاستخدام التكميلية لمعاينات Microsoft Azure⁧⁩.

إشارة المراقبة	‏‏الوصف	المقاييس	مهام النموذج (تنسيق البيانات المدعوم)	بيانات الإنتاج	البيانات المرجعية
انحراف البيانات	يتتبع انحراف البيانات التغييرات في توزيع بيانات إدخال النموذج من خلال مقارنة التوزيع ببيانات التدريب الخاصة بالنموذج أو بيانات الإنتاج الأخيرة الماضية.	Jensen-Shannon Distance, Population Stability Index, Normalized Wasserstein Distance, Two-Sample Kolmogorov-Smirnov Test, Pearson's Chi-Squared Test	التصنيف (البيانات الجدولية)، الانحدار (بيانات جدولية)	بيانات الإنتاج - مدخلات النموذج	بيانات الإنتاج أو بيانات التدريب السابقة الأخيرة
انحراف التنبؤ	يتعقب انحراف التنبؤ التغييرات في توزيع المخرجات المتوقعة للنموذج، من خلال مقارنة التوزيع ببيانات التحقق من الصحة، أو بيانات الاختبار المسماة، أو بيانات الإنتاج السابقة الأخيرة.	Jensen-Shannon Distance, Population Stability Index, Normalized Wasserstein Distance, Chebyshev Distance, Two-Sample Kolmogorov-Smirnov Test, Pearson's Chi-Squared Test	التصنيف (البيانات الجدولية)، الانحدار (بيانات جدولية)	بيانات الإنتاج - مخرجات النموذج	بيانات الإنتاج أو بيانات التحقق من الصحة السابقة الأخيرة
جودة البيانات	تتعقب جودة البيانات تكامل البيانات لإدخال النموذج من خلال مقارنتها ببيانات تدريب النموذج أو بيانات الإنتاج الحديثة الماضية. تتضمن عمليات التحقق من جودة البيانات التحقق من القيم الخالية أو عدم تطابق النوع أو القيم خارج الحدود.	معدل القيمة الخالية، معدل خطأ نوع البيانات، معدل خارج الحدود	التصنيف (البيانات الجدولية)، الانحدار (بيانات جدولية)	بيانات الإنتاج - مدخلات النموذج	بيانات الإنتاج أو بيانات التدريب السابقة الأخيرة
انحراف إسناد الميزة (معاينة)	يستند انحراف إسناد الميزة إلى مساهمة الميزات في التنبؤات (المعروفة أيضا باسم أهمية الميزة). يتتبع انحراف إسناد الميزة أهمية الميزة أثناء الإنتاج من خلال مقارنتها مع أهمية الميزة أثناء التدريب.	مكاسب تراكمية مخفضة تمت تسويتها	التصنيف (البيانات الجدولية)، الانحدار (بيانات جدولية)	بيانات الإنتاج - مدخلات النموذج ومخرجاته	بيانات التدريب (مطلوبة)
أداء النموذج - التصنيف (معاينة)	يتتبع أداء النموذج الأداء الموضوعي لإخراج النموذج في الإنتاج من خلال مقارنته ببيانات الحقيقة الأرضية المجمعة.	الدقة والدقة والاستدعاء	التصنيف (بيانات جدولية)	بيانات الإنتاج - مخرجات النموذج	بيانات الحقيقة الأساسية (مطلوبة)
أداء النموذج - الانحدار (معاينة)	يتتبع أداء النموذج الأداء الموضوعي لإخراج النموذج في الإنتاج من خلال مقارنته ببيانات الحقيقة الأرضية المجمعة.	متوسط الخطأ المطلق (MAE)، متوسط الخطأ التربيعي (MSE)، متوسط خطأ التربيع الجذر (RMSE)	الانحدار (بيانات جدولية)	بيانات الإنتاج - مخرجات النموذج	بيانات الحقيقة الأساسية (مطلوبة)
الذكاء الاصطناعي التوليدية: أمان الجيل وجودته (معاينة)	تقييم تطبيقات الذكاء الاصطناعي التوليدية للسلامة والجودة، باستخدام مقاييس بمساعدة GPT.	الأساس، الصلة، الطلاقة، التشابه، الاتساق	الأسئلة والأجوبة	المطالبة والإكمال والسياق وقالب التعليق التوضيحي	‏‫غير متوفر‬

مقاييس إشارة مراقبة جودة البيانات

تتعقب إشارة مراقبة جودة البيانات تكامل بيانات إدخال النموذج عن طريق حساب المقاييس الثلاثة:

• معدل القيمة الخالية
• معدل خطأ نوع البيانات
• معدل خارج الحدود

معدل القيمة الخالية

معدل القيمة الخالية هو معدل القيم الخالية في إدخال النموذج لكل ميزة. على سبيل المثال، إذا كانت نافذة بيانات إنتاج المراقبة تحتوي على 100 صف وقيمة ميزة temperature معينة فارغة ل 10 من تلك الصفوف، فإن معدل القيمة الخالية هو temperature 10٪.

• يدعم Azure التعلم الآلي حساب معدل القيمة الفارغة لجميع أنواع بيانات الميزات.

معدل خطأ نوع البيانات

معدل خطأ نوع البيانات هو معدل اختلافات نوع البيانات بين نافذة بيانات الإنتاج الحالية والبيانات المرجعية. أثناء كل تشغيل مراقبة، تستنتج مراقبة نموذج Azure التعلم الآلي نوع البيانات لكل ميزة من البيانات المرجعية. على سبيل المثال، إذا تم استنتاج IntegerType أن نوع البيانات لميزة temperature ما من البيانات المرجعية، ولكن في نافذة بيانات الإنتاج، فإن 10 من أصل 100 قيمة ليست temperature IntegerType (ربما تكون سلاسل)، فإن معدل خطأ نوع البيانات هو temperature 10٪.

• يدعم Azure التعلم الآلي حساب معدل خطأ نوع البيانات بأنواع البيانات التالية المتوفرة في PySpark: ShortTypeوLongTypeByteTypeFloatTypeBooleanTypeStringTypeBinaryTypeDoubleTypeTimestampTypeIntegerType.DateType
• إذا لم يكن نوع البيانات لميزة مضمنا في هذه القائمة، فإن مراقبة نموذج Azure التعلم الآلي لا تزال قيد التشغيل ولكنها لن تحسب معدل خطأ نوع البيانات لتلك الميزة المحددة.

معدل خارج الحدود

معدل خارج الحدود هو معدل القيم لكل ميزة، والتي تقع خارج النطاق المناسب أو التي تحددها البيانات المرجعية. أثناء كل تشغيل مراقبة، تحدد مراقبة نموذج Azure التعلم الآلي النطاق المقبول أو يتم تعيينه لكل ميزة من البيانات المرجعية.

• بالنسبة للميزة الرقمية، يكون النطاق المناسب فاصلا رقميا للحد الأدنى للقيمة في مجموعة البيانات المرجعية إلى القيمة القصوى، مثل [0، 100].
• بالنسبة إلى ميزة فئوية، مثل color، فإن النطاق المناسب هو مجموعة من جميع القيم المضمنة في مجموعة البيانات المرجعية، مثل [red، yellow، ، green].

على سبيل المثال، إذا كانت لديك ميزة temperature رقمية حيث تقع جميع القيم ضمن النطاق [37، 77] في مجموعة البيانات المرجعية، ولكن في نافذة بيانات الإنتاج، تقع 10 من أصل 100 قيمة temperature خارج النطاق [37، 77]، ثم معدل خارج الحدود هو temperature 10٪.

• يدعم Azure التعلم الآلي حساب معدل خارج الحدود الخاصة بأنواع البيانات هذه المتوفرة في PySpark: StringTypeو IntegerTypeDoubleTypeوLongTypeByteType.FloatType
• إذا لم يكن نوع البيانات لميزة مضمنا في هذه القائمة، فإن مراقبة نموذج Azure التعلم الآلي لا تزال قيد التشغيل ولكنها لن تحسب معدل خارج الحدود لتلك الميزة المحددة.

تدعم مراقبة نموذج Azure التعلم الآلي دقة تصل إلى 0.00001 لحسابات معدل القيمة الخالية ومعدل خطأ نوع البيانات ومعدل خارج الحدود.

أفضل الممارسات الموصى بها لمراقبة النموذج

كل نموذج للتعلم الآلي وحالات استخدامه فريدة من نوعها. لذلك، فإن مراقبة النموذج فريدة لكل حالة. فيما يلي قائمة بأفضل الممارسات الموصى بها لمراقبة النموذج:

• ابدأ مراقبة النموذج مباشرة بعد نشر نموذج للإنتاج.
• العمل مع علماء البيانات الذين هم على دراية بالنموذج لإعداد مراقبة النموذج. علماء البيانات الذين لديهم نظرة ثاقبة على النموذج وحالات استخدامه في أفضل وضع للتوصية بإشارات المراقبة والمقاييس وتعيين حدود التنبيه الصحيحة لكل مقياس (لتجنب إرهاق التنبيه).
• تضمين إشارات مراقبة متعددة في إعداد المراقبة. مع إشارات مراقبة متعددة، يمكنك الحصول على رؤية واسعة وعرض دقيق للمراقبة. على سبيل المثال، يمكنك الجمع بين إشارات انحراف البيانات وإسناد الميزة للحصول على تحذير مبكر حول مشكلات أداء النموذج الخاص بك.
• استخدم بيانات تدريب النموذج كبيانات مرجعية. بالنسبة للبيانات المرجعية المستخدمة كأساس المقارنة، يسمح لك Azure التعلم الآلي باستخدام بيانات الإنتاج السابقة الأخيرة أو البيانات التاريخية (مثل بيانات التدريب أو بيانات التحقق من الصحة). للمقارنة ذات المعنى، نوصي باستخدام بيانات التدريب كأساس للمقارنة لأنحراف البيانات وجودة البيانات. بالنسبة إلى انحراف التنبؤ، استخدم بيانات التحقق من الصحة كأساس للمقارنة.
• حدد تكرار المراقبة، استنادا إلى كيفية نمو بيانات الإنتاج بمرور الوقت. على سبيل المثال، إذا كان نموذج الإنتاج الخاص بك يحتوي على حركة مرور كبيرة يوميا، وكان تراكم البيانات اليومي كافيا لك للمراقبة، فيمكنك تعيين تكرار المراقبة إلى يوميا. وإلا، يمكنك التفكير في تكرار المراقبة الأسبوعية أو الشهرية، استنادا إلى نمو بيانات الإنتاج بمرور الوقت.
• مراقبة أهم ميزات N الهامة أو مجموعة فرعية من الميزات. إذا كنت تستخدم بيانات التدريب كأساس للمقارنة، يمكنك بسهولة تكوين مراقبة انحراف البيانات أو مراقبة جودة البيانات لميزات N العلوية. بالنسبة للنماذج التي تحتوي على عدد كبير من الميزات، ضع في اعتبارك مراقبة مجموعة فرعية من هذه الميزات لتقليل تكلفة الحساب ومراقبة الضوضاء.
• استخدم إشارة أداء النموذج عندما يكون لديك حق الوصول إلى بيانات الحقيقة الأساسية. إذا كان لديك حق الوصول إلى بيانات الحقيقة الأساسية (المعروفة أيضا باسم الفعليات) استنادا إلى تفاصيل تطبيق التعلم الآلي الخاص بك، نوصي باستخدام إشارة أداء النموذج لمقارنة بيانات الحقيقة الأرضية بإخراج النموذج الخاص بك. توفر هذه المقارنة عرضا موضوعيا لأداء النموذج الخاص بك في الإنتاج.

تكامل مراقبة النموذج مع Azure Event Grid

يمكنك استخدام الأحداث التي تم إنشاؤها بواسطة تشغيل مراقبة نموذج Azure التعلم الآلي لإعداد التطبيقات أو العمليات أو مهام سير عمل CI/CD المستندة إلى الحدث باستخدام Azure Event Grid.

عندما تكتشف مراقبة النموذج الانحراف أو مشكلات جودة البيانات أو تدهور أداء النموذج، يمكنك تتبع هذه الأحداث باستخدام Event Grid واتخاذ إجراء برمجيا. على سبيل المثال، إذا انخفضت دقة نموذج التصنيف الخاص بك في الإنتاج إلى أقل من حد معين، يمكنك استخدام Event Grid لبدء مهمة إعادة تدريب تستخدم بيانات الحقيقة الأرضية المجمعة. لمعرفة كيفية دمج Azure التعلم الآلي مع Event Grid، راجع إجراء مراقبة مستمرة للنموذج في Azure التعلم الآلي.

المحتوى ذو الصلة

• تجميع بيانات النموذج
• جمع بيانات استدلال الإنتاج
• مراقبة النموذج لتطبيقات الذكاء الاصطناعي التوليدية