مشاركة عبر


إدارة نموذج MLOps باستخدام التعلم الآلي من Microsoft Azure

ينطبق على:ملحق ML Azure CLI v2 (الحالي)Python SDK azure-ai-ml v2 (الحالي)

توضح هذه المقالة كيفية استخدام التعلم الآلي من Azure لعمليات التعلم الآلي (MLOps) لإدارة دورة حياة النماذج الخاصة بك. يمكن أن يؤدي تطبيق ممارسات MLOps إلى تحسين جودة حلول التعلم الآلي واتساقها.

يستند MLOps إلى مبادئ وممارسات DevOps التي تزيد من كفاءة مهام سير العمل، مثل التكامل المستمر والنشر المستمر والتسليم المستمر. يؤدي تطبيق هذه المبادئ على دورة حياة التعلم الآلي إلى:

  • تجربة أسرع وتطوير نموذج.
  • التوزيع السريع للنماذج في الإنتاج.
  • ضمان جودة أفضل وتتبع دورة حياة من طرف إلى طرف.

إمكانات MLOps

يوفر MLOps الإمكانات التالية لعملية التعلم الآلي:

  • إنشاء مسارات التعلم الآلي القابلة للتكرار لتحديد خطوات قابلة للتكرار وقابلة لإعادة الاستخدام لإعداد البيانات والتدريب وعمليات تسجيل النقاط.
  • إنشاء بيئات برامج قابلة لإعادة الاستخدام لتدريب النماذج ونشرها.
  • تسجيل النماذج وحزمها ونشرها من أي مكان، وتتبع بيانات التعريف المقترنة المطلوبة لاستخدام نموذج.
  • سجل بيانات دورة حياة التعلم الآلي، مثل من نشر النماذج، ولماذا تم إجراء التغييرات، ومتى تم نشر النماذج أو استخدامها في الإنتاج.
  • قم بإعلام أحداث دورة حياة التعلم الآلي والتنبيه بشأنها مثل إكمال التجربة وتسجيل النموذج ونشر النموذج واكتشاف انحراف البيانات.
  • مراقبة المشكلات التشغيلية والمتعلقة بالتعلم الآلي من خلال مقارنة مدخلات النموذج، واستكشاف المقاييس الخاصة بالنموذج، وعرض المراقبة والتنبيهات على البنية الأساسية للتعلم الآلي.
  • أتمتة دورة حياة التعلم الآلي من طرف إلى طرف باستخدام مسارات التعلم الآلي وAzure Pipelines لاختبار نماذج التعلم الآلي الجديدة وتحديثها وطرحها باستمرار.

لمزيد من المعلومات حول MLOps، راجع عمليات التعلم الآلي.

مسارات التعلم الآلي القابلة للتكرار

استخدم البنية الأساسية لبرنامج ربط العمليات التجارية التعلم الآلي Azure لتجميع جميع الخطوات في عملية تدريب النموذج. يمكن أن تتضمن خطوات مسار التعلم الآلي إعداد البيانات واستخراج الميزات وضبط المعلمات الفائقة وتقييم النموذج.

في مصمم استوديو التعلم الآلي من Azure، يمكنك استنساخ مسار للتكرار عبر تصميمه دون فقدان الإصدارات القديمة. لاستنساخ مسار في أي وقت في Designer، حدد Clone في شريط القوائم العلوي.

لمزيد من المعلومات حول البنية الأساسية لبرنامج ربط العمليات التجارية التعلم الآلي Azure، راجع مسارات التعلم الآلي.

بيئات البرامج القابلة لإعادة الاستخدام

تضمن بيئات التعلم الآلي من Azure أن البنيات قابلة للتكرار دون استخدام تكوينات البرامج اليدوية. يمكن للبيئات تتبع وإعادة إنتاج تبعيات برنامج pip وconda لمشاريعك.

يمكنك استخدام البيئات لتدريب النموذج ونشره. لمزيد من المعلومات حول البيئات، راجع بيئات التعلم الآلي من Azure.

تسجيل النموذج وتغليفه ونشره

يمكن للتعلم الآلي من Azure استخدام MLOps من أي مكان لتسجيل النماذج وحزمها ونشرها.

تسجيل النماذج وتتبعها

يخزن تسجيل النموذج إصدارات النماذج الخاصة بك في مساحة عمل التعلم الآلي من Azure في سحابة Azure. يسهل سجل النموذج تنظيم نماذجك المدربة وتتبعها.

النموذج المسجل هو حاوية منطقية لملفات أو أكثر التي تشكل النموذج الخاص بك. على سبيل المثال، إذا تم تخزين النموذج الخاص بك في ملفات متعددة، يمكنك تسجيل الملفات كنموذج واحد في مساحة عمل التعلم الآلي من Azure. بعد التسجيل، يمكنك تنزيل النموذج المسجل أو نشره وتلقي جميع ملفات المكونات.

يمكنك أيضا تسجيل النماذج المدربة خارج التعلم الآلي من Azure. يدعم Azure التعلم الآلي أي نموذج يمكن تحميله باستخدام Python 3.5.2 أو أعلى.

يمكنك تحديد النماذج المسجلة حسب الاسم والإصدار. كلما قمت بتسجيل نموذج بنفس اسم نموذج موجود، يقوم السجل بزيادة رقم الإصدار.

يمكنك توفير علامات بيانات التعريف أثناء التسجيل واستخدام هذه العلامات للبحث عن نموذج.

هام

لا يمكنك حذف نموذج مسجل يتم استخدامه في عملية توزيع نشطة.

لمزيد من المعلومات حول كيفية استخدام النماذج في Azure التعلم الآلي، راجع العمل مع النماذج في Azure التعلم الآلي.

حزم النماذج وتصحيحها

لنشر نموذج في الإنتاج، يجب أولا حزمه في صورة Docker. في معظم الحالات، يحدث إنشاء الصورة تلقائيا في الخلفية أثناء النشر. ومع ذلك، يمكنك تحديد الصورة يدويا.

من المفيد النشر في بيئة التطوير المحلية أولا حتى تتمكن من استكشاف الأخطاء وإصلاحها قبل النشر على السحابة. يمكن أن تساعدك هذه الممارسة على تجنب حدوث مشكلات في التوزيع إلى Azure التعلم الآلي. لمزيد من المعلومات حول كيفية حل مشكلات النشر الشائعة، راجع كيفية استكشاف أخطاء نقاط النهاية عبر الإنترنت وإصلاحها.

تحويل النماذج وتحسينها

يمكنك تحويل النموذج إلى Open Neural Network Exchange (ONNX) لمحاولة تحسين الأداء. عادة ما يمكن أن يؤدي التحويل إلى ONNX إلى مضاعفة الأداء.

لمزيد من المعلومات حول ONNX باستخدام Azure Machine Learning، راجع إنشاء نماذج التعلم الآلي وتسريعها.

نشر النماذج كنقاط نهاية

يمكنك نشر نماذج التعلم الآلي المدربة كنقاط نهاية محليا أو في السحابة. تستخدم عمليات التوزيع وحدات المعالجة المركزية ووحدات معالجة الرسومات للاستدلال.

لنشر نموذج كنقطة نهاية، تحتاج إلى توفير المعلومات التالية:

  • النموذج المستخدم لتسجيل البيانات المرسلة إلى الخدمة أو الجهاز.
  • برنامج نصي إدخال، يسمى أيضا برنامج نصي لتسجيل النقاط، يقبل الطلبات، ويستخدم النماذج لتسجيل البيانات، ويعيد استجابة.
  • بيئة تصف تبعيات pip وconda المطلوبة من قبل النماذج والبرنامج النصي للإدخل.
  • أي أصول أخرى، مثل النص والبيانات، المطلوبة من قبل النموذج والبرنامج النصي للإدخل.

هام

عند نشر نموذج MLflow، لا تحتاج إلى توفير برنامج نصي لإدخال أو بيئة للتوزيع. لمزيد من المعلومات حول نشر نماذج MLflow، راجع إرشادات نشر نماذج MLflow.

يمكنك أيضا توفير تكوين النظام الأساسي للتوزيع الهدف، مثل نوع عائلة الجهاز الظاهري (VM) والذاكرة المتوفرة وعدد الذاكرات الأساسية. عندما يقوم التعلم الآلي من Azure بإنشاء الصورة، فإنه يضيف أيضا أي مكونات يحتاجها، مثل الأصول اللازمة لتشغيل خدمة الويب.

تسجيل الدفعات مع نقاط نهاية الدفعة

يتم دعم تسجيل الدفعات من خلال نقاط نهاية الدفعة. لمزيد من المعلومات حول تسجيل الدفعات، راجع نقاط نهاية الدفعات.

تسجيل النقاط في الوقت الحقيقي باستخدام نقاط النهاية عبر الإنترنت

يمكنك استخدام نماذجك مع نقاط النهاية عبر الإنترنت لتسجيل النقاط في الوقت الحقيقي. يمكن أن تكون أهداف الحساب لنقاط النهاية عبر الإنترنت بيئات تطوير محلية أو نقاط نهاية مدارة عبر الإنترنت أو خدمة Azure Kubernetes (AKS).

لنشر نموذج إلى نقطة نهاية عبر الإنترنت، تحتاج إلى توفير المعلومات التالية:

  • النموذج أو مجموعة النماذج.
  • التبعيات المطلوبة لاستخدام النموذج، على سبيل المثال، برنامج نصي يقبل الطلبات ويستدعي النموذج وتبعيات conda.
  • تكوين التوزيع الذي يوضح كيفية توزيع النموذج ومكانه.

لمزيد من المعلومات حول النشر لتسجيل النقاط في الوقت الحقيقي، راجع نشر نقاط النهاية عبر الإنترنت.

الإطلاق المتحكم به لنقاط النهاية عبر الإنترنت

عند النشر إلى نقطة نهاية عبر الإنترنت، يمكنك استخدام الإطلاق المتحكم فيه لتمكين السيناريوهات التالية:

  • إنشاء إصدارات متعددة من نقطة نهاية للنشر.
  • إجراء اختبار A/B عن طريق توجيه نسبة استخدام الشبكة إلى عمليات توزيع مختلفة داخل نقطة النهاية.
  • التبديل بين عمليات نشر نقطة النهاية عن طريق تحديث النسبة المئوية لنسبة استخدام الشبكة في تكوين نقطة النهاية.

لمزيد من المعلومات حول النشر باستخدام الإطلاق المتحكم به، راجع تنفيذ الإطلاق الآمن للتوزيعات الجديدة للاستدلال في الوقت الفعلي.

بيانات التعريف لحوكمة دورة حياة التعلم الآلي

يمنحك Azure التعلم الآلي القدرة على تتبع سجل التدقيق الشامل لجميع أصول التعلم الآلي باستخدام بيانات التعريف. على سبيل المثال:

  • تساعدك أصول بيانات Azure التعلم الآلي على تعقب بيانات الإصدار وملف التعريف وإصدارها.
  • تسمح لك قابلية تفسير النموذج بشرح نماذجك، وتلبية التوافق التنظيمي، وفهم كيفية وصول النماذج إلى نتيجة لإدخال معين.
  • يخزن سجل مهام التعلم الآلي من Azure لقطة من التعليمات البرمجية والبيانات والحسابات المستخدمة لتدريب نموذج.
  • يسجل تسجيل نموذج التعلم الآلي من Microsoft Azure جميع بيانات التعريف المرتبطة بالنموذج الخاص بك. على سبيل المثال، أي تجربة دربت النموذج، حيث يتم نشر النموذج، وما إذا كانت عمليات نشر النموذج سليمة.
  • يتيح لك التكامل مع Azure العمل على الأحداث في دورة حياة التعلم الآلي، مثل تسجيل النموذج والنشر وانحراف البيانات وأحداث مهمة التدريب.

يتم التقاط بعض المعلومات حول النماذج وأصول البيانات تلقائيا، ولكن يمكنك إضافة المزيد من المعلومات باستخدام العلامات. عند البحث عن النماذج المسجلة وأصول البيانات في مساحة العمل الخاصة بك، يمكنك استخدام العلامات كعوامل تصفية.

ملاحظة

عند استخدام العلامات في الخيار تصفية حسب في صفحة النماذج في استوديو التعلم الآلي من Azure، تأكد من استخدام TagName=TagValue بدون مسافات بدلا من TagName : TagValue.

إعلامات وتنبيهات حدث دورة حياة التعلم الآلي

ينشر Azure التعلم الآلي الأحداث الرئيسية إلى Azure Event Grid، والتي يمكن استخدامها لإعلام الأحداث وأتمتتها في دورة حياة التعلم الآلي. لمزيد من المعلومات حول كيفية إعداد العمليات المستندة إلى الأحداث استنادا إلى أحداث Azure التعلم الآلي، راجع CI/CD المخصص ومهام سير العمل المستندة إلى الحدث.

أتمتة دورة حياة التعلم الآلي

يمكنك استخدام Git وAzure Pipelines لإنشاء عملية تكامل مستمرة تقوم بتدريب نموذج التعلم الآلي. في سيناريو نموذجي، عندما يتحقق عالم البيانات من التغيير في مستودع Git للمشروع، تبدأ Azure Pipelines مهمة التدريب.

يمكنك فحص نتائج الوظيفة لمعرفة خصائص الأداء للنموذج المدرب. يمكنك أيضًا إنشاء مسار يوزع النموذج كخدمة ويب.

يسهل ملحق التعلم الآلي العمل باستخدام Azure Pipelines. يوفر الملحق التحسينات التالية ل Azure Pipelines:

  • تمكين تحديد مساحة عمل التعلم الآلي من Azure عند تعريف اتصال خدمة.
  • تمكين إنشاء نموذج مدرب في مسار تدريب لتشغيل التوزيع في Azure Pipelines.

لمزيد من المعلومات حول استخدام Azure Pipelines مع التعلم الآلي من Azure، راجع استخدام Azure Pipelines مع التعلم الآلي من Azure.

التحليلات

يدعم Microsoft Power BI استخدام نماذج التعلم الآلي لتحليلات البيانات. لمزيد من المعلومات، راجع الذكاء الاصطناعي مع تدفقات البيانات.