إجراء إطلاق آمن للتوزيعات الجديدة للاستدلال في الوقت الحقيقي

ينطبق على:ملحق ML Azure CLI v2 (الحالي)Python SDK azure-ai-ml v2 (الحالي)

في هذه المقالة، ستتعلم كيفية نشر إصدار جديد من نموذج التعلم الآلي في الإنتاج دون التسبب في أي تعطيل. ستستخدم استراتيجية نشر زرقاء أخضر (تعرف أيضا باسم استراتيجية الإطلاق الآمن) لتقديم إصدار جديد من خدمة الويب للإنتاج. ستسمح لك هذه الاستراتيجية بطرح الإصدار الجديد من خدمة الويب لمجموعة فرعية صغيرة من المستخدمين أو الطلبات قبل طرحها بالكامل.

تفترض هذه المقالة أنك تستخدم نقاط النهاية عبر الإنترنت، أي نقاط النهاية المستخدمة للاستدلال عبر الإنترنت (في الوقت الحقيقي). هناك نوعان من نقاط النهاية عبر الإنترنت: نقاط النهاية المدارة عبر الإنترنت ونقاط نهاية Kubernetes عبر الإنترنت. لمزيد من المعلومات حول نقاط النهاية والاختلافات بين نقاط النهاية المدارة عبر الإنترنت ونقاط نهاية Kubernetes عبر الإنترنت، راجع ما هي نقاط نهاية Azure التعلم الآلي؟.

يستخدم المثال الرئيسي في هذه المقالة نقاط النهاية المدارة عبر الإنترنت للنشر. لاستخدام نقاط نهاية Kubernetes بدلا من ذلك، راجع الملاحظات الموجودة في هذا المستند المضمنة مع مناقشة نقطة النهاية المدارة عبر الإنترنت.

في هذه المقالة، سوف تتعلم:

• تعريف نقطة نهاية عبر الإنترنت مع نشر يسمى "أزرق" لخدمة الإصدار 1 من نموذج
• تغيير حجم التوزيع الأزرق بحيث يمكنه التعامل مع المزيد من الطلبات
• نشر الإصدار 2 من النموذج (يسمى النشر "الأخضر") إلى نقطة النهاية، ولكن أرسل التوزيع بدون حركة مرور مباشرة
• اختبار الانتشار الأخضر في عزلة
• عكس نسبة مئوية من نسبة استخدام الشبكة المباشرة إلى النشر الأخضر للتحقق من صحتها
• إرسال نسبة صغيرة من نسبة استخدام الشبكة المباشرة إلى النشر الأخضر
• إرسال عبر كل حركة المرور المباشرة إلى النشر الأخضر
• حذف التوزيع الأزرق الإصدار 1 غير المستخدم الآن

المتطلبات الأساسية

Azure CLI

قبل اتباع الخطوات الواردة في هذه المقالة، تأكد من توفر المتطلبات الأساسية التالية لديك:

• Azure CLI والملحق ml إلى Azure CLI. لمزيد من المعلومات، راجع تثبيت وإعداد واستخدام واجهة مستوى الاستدعاء (CLI) (الإصدار 2).

  هام

  تفترض أمثلة CLI في هذه المقالة أنك تستخدم Bash (أو متوافق). على سبيل المثال، من النظام الخاص بـ Linux أو نظام Windows الفرعي لـ Linux‬.

• مساحة عمل للتعلم الآلي من Microsoft Azure. إذا لم تكن لديك واحدة، فاستخدم الخطوات الواردة في تثبيت CLI (v2) وإعدادها واستخدامها لإنشاء واحدة.

• يتم استخدام عناصر التحكم في الوصول المستندة إلى الدور في (Azure RBAC) لمنح الوصول إلى العمليات في التعلم الآلي من Microsoft Azure. لتنفيذ الخطوات الواردة في هذه المقالة، يجب تعيين دور المالك أو المساهم لحساب المستخدم لمساحة عمل التعلم الآلي من Microsoft Azure، أو دور مخصص يسمح Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. لمزيدٍ من المعلومات، راجع إدارة الوصول إلى مساحة عمل Azure Machine Learning.

• (اختياري) للتوزيع محلياً، يجب عليك تثبيت Docker Engine على الكمبيوتر المحلي. نوصي بشدة باستخدام هذا الخيار، حتى يسهل تصحيح الأخطاء.

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

قبل اتباع الخطوات الواردة في هذه المقالة، تأكد من توفر المتطلبات الأساسية التالية لديك:

• مساحة عمل للتعلم الآلي من Microsoft Azure. إذا لم يكن لديك واحدة، فاستخدم الخطوات الواردة في مقالة التشغيل السريع: إنشاء موارد مساحة العمل لإنشاء واحدة.

• لتثبيت Python SDK v2، استخدم الأمر التالي:

  pip install azure-ai-ml azure-identity
  

  لتحديث تثبيت موجود من SDK إلى أحدث إصدار، استخدم الأمر التالي:

  pip install --upgrade azure-ai-ml azure-identity
  

  لمزيد من المعلومات، راجع تثبيت Python SDK v2 ل Azure التعلم الآلي.

• يتم استخدام عناصر التحكم في الوصول المستندة إلى الدور في (Azure RBAC) لمنح الوصول إلى العمليات في التعلم الآلي من Microsoft Azure. لتنفيذ الخطوات الواردة في هذه المقالة، يجب تعيين دور المالك أو المساهم لحساب المستخدم لمساحة عمل التعلم الآلي من Microsoft Azure، أو دور مخصص يسمح Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. لمزيدٍ من المعلومات، راجع إدارة الوصول إلى مساحة عمل Azure Machine Learning.

• (اختياري) للتوزيع محلياً، يجب عليك تثبيت Docker Engine على الكمبيوتر المحلي. نوصي بشدة باستخدام هذا الخيار، حتى يسهل تصحيح الأخطاء.

مرسم

قبل اتباع الخطوات الواردة في هذه المقالة، تأكد من توفر المتطلبات الأساسية التالية لديك:

• اشتراك Azure. في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء. جرّب الإصدار المجاني أو المدفوع من «التعلم الآلي» من Azure.

• مساحة عمل Azure التعلم الآلي ومثيل حساب. إذا لم يكن لديك هذه، فاستخدم الخطوات الواردة في مقالة التشغيل السريع: إنشاء موارد مساحة العمل لإنشائها.

• يتم استخدام عناصر التحكم في الوصول المستندة إلى الدور في (Azure RBAC) لمنح الوصول إلى العمليات في التعلم الآلي من Microsoft Azure. لتنفيذ الخطوات الواردة في هذه المقالة، يجب تعيين دور المالك أو المساهم لحساب المستخدم لمساحة عمل التعلم الآلي من Microsoft Azure، أو دور مخصص يسمح Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. لمزيدٍ من المعلومات، راجع إدارة الوصول إلى مساحة عمل Azure Machine Learning.

إعداد النظام الخاص بك

Azure CLI

تعيين متغيرات البيئة

إذا لم تكن قد قمت بالفعل بتعيين الإعدادات الافتراضية لـAzure CLI، فاحفظ الإعدادات الافتراضية. لتجنب تمرير قيم اشتراكك، ومساحة العمل، ومجموعة الموارد عدة مرات، قم بتشغيل هذا التعليمة البرمجية:

az account set --subscription <subscription id>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

استنساخ مستودع الأمثلة

لمتابعة هذه المقالة، قم أولا باستنساخ مستودع الأمثلة (azureml-examples). ثم انتقل إلى دليل المستودع cli/ :

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

تلميح

استخدم --depth 1 لاستنساخ أحدث تثبيت للمستودع فقط. وهذا يقلل من الوقت لإكمال العملية.

الأوامر في هذا البرنامج التعليمي موجودة في الملف deploy-safe-rollout-online-endpoints.sh في cli الدليل، وملفات تكوين YAML في endpoints/online/managed/sample/ الدليل الفرعي.

إشعار

ملفات تكوين YAML لنقاط نهاية Kubernetes عبر الإنترنت موجودة في endpoints/online/kubernetes/ الدليل الفرعي.

Python

استنساخ مستودع الأمثلة

لتشغيل أمثلة التدريب، قم أولا باستنساخ مستودع الأمثلة (azureml-examples). ثم انتقل إلى azureml-examples/sdk/python/endpoints/online/managed الدليل:

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

تلميح

استخدم --depth 1 لاستنساخ أحدث تثبيت للمستودع فقط. وهذا يقلل من الوقت لإكمال العملية.

تستند المعلومات الواردة في هذه المقالة إلى دفتر الملاحظات online-endpoints-safe-rollout.ipynb . يحتوي على نفس محتوى هذه المقالة، على الرغم من أن ترتيب الرموز مختلف قليلا.

إشعار

تستند خطوات نقطة نهاية Kubernetes عبر الإنترنت إلى دفتر ملاحظات kubernetes-online-endpoints-safe-rollout.ipynb .

الاتصال بمساحة عمل التعلم الآلي من Microsoft Azure

مساحة العمل هي المورد ذو المستوى الأعلى للتعلم الآلي من Microsoft Azure، حيث توفر مكانًا مركزيًا للعمل مع جميع البيانات الاصطناعية التي تنشئها عند استخدام التعلم الآلي من Microsoft Azure. في هذا القسم، سنتصل بمساحة العمل حيث ستقوم بتنفيذ مهام النشر. للمتابعة، افتح دفتر الملاحظات online-endpoints-safe-rollout.ipynb .

1. استيراد المكتبات المطلوبة:

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   إشعار

   إذا كنت تستخدم نقطة نهاية Kubernetes عبر الإنترنت، فاستورد KubernetesOnlineEndpoint الفئة و KubernetesOnlineDeployment من المكتبة azure.ai.ml.entities .

2. تكوين تفاصيل مساحة العمل والحصول على مؤشر لمساحة العمل:

   للاتصال بمساحة عمل، نحتاج إلى معلمات المعرف - اشتراك ومجموعة موارد واسم مساحة العمل. سنستخدم هذه التفاصيل في MLClient من azure.ai.ml للتعرف على مؤشر مساحة عمل التعلم الآلي المطلوبة. يستخدم هذا المثال مصادقة Azure الافتراضية.

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

مرسم

إذا كان لديك Git مثبتا على جهازك المحلي، يمكنك اتباع الإرشادات لاستنساخ مستودع الأمثلة. وإلا، اتبع الإرشادات لتنزيل الملفات من مستودع الأمثلة.

استنساخ مستودع الأمثلة

للمتابعة مع هذه المقالة، قم أولا باستنساخ مستودع الأمثلة (أمثلة azureml) ثم قم بالتغيير إلى azureml-examples/cli/endpoints/online/model-1 الدليل.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

تلميح

استخدم --depth 1 لنسخ آخر تثبيت فقط في المستودع، ما يقلل الوقت اللازم لإكمال العملية.

تنزيل الملفات من مستودع الأمثلة

إذا قمت باستنساخ مستودع الأمثلة، فإن جهازك المحلي يحتوي بالفعل على نسخ من الملفات لهذا المثال، ويمكنك التخطي إلى القسم التالي. إذا لم تقم باستنساخ المستودع، يمكنك تنزيله على جهازك المحلي.

1. انتقل إلى https://github.com/Azure/azureml-examples/.
2. انتقل إلى <> الزر Code على الصفحة، ثم حدد Download ZIP من علامة التبويب Local .
3. حدد موقع مجلد /cli/endpoints/online/model-1/model النموذج والبرنامج النصي /cli/endpoints/online/model-1/onlinescoring/score.py لتسجيل النقاط لنموذج model-1أول .
4. حدد موقع مجلد /cli/endpoints/online/model-2/model النموذج والبرنامج النصي /cli/endpoints/online/model-2/onlinescoring/score.py لتسجيل النقاط لنموذج model-2ثان .

تحديد نقطة النهاية والنشر

يتم استخدام نقاط النهاية عبر الإنترنت للاستدلال عبر الإنترنت (في الوقت الحقيقي). تحتوي نقاط النهاية عبر الإنترنت على عمليات نشر جاهزة لتلقي البيانات من العملاء وإرسال الاستجابات مرة أخرى في الوقت الفعلي.

تعريف نقطة نهاية

يسرد الجدول التالي السمات الرئيسية لتحديدها عند تعريف نقطة نهاية.

السمة	الوصف
الاسم	مطلوب. اسم نقطة النهاية. يجب أن تكون فريدة في منطقة Azure. لمزيد من المعلومات حول قواعد التسمية، راجع حدود نقطة النهاية.
وضع المصادقة	طريقة المصادقة لنقطة النهاية. اختر بين المصادقة المستندة إلى المفتاح والمصادقة key aml_tokenالمستندة إلى الرمز المميز في Azure التعلم الآلي . لا تنتهي صلاحية المفتاح، ولكن تنتهي صلاحية الرمز المميز. لمزيد من المعلومات حول المصادقة، راجع المصادقة إلى نقطة نهاية عبر الإنترنت.
‏‏الوصف	وصف نقطة النهاية.
علامات	قاموس العلامات لنقاط النهاية.
نسبة استخدام الشبكة	قواعد حول كيفية توجيه نسبة استخدام الشبكة عبر عمليات النشر. تمثيل نسبة استخدام الشبكة كقاموس لأزواج قيم المفاتيح، حيث يمثل المفتاح اسم النشر والقيمة التي تمثل النسبة المئوية لنسبة استخدام الشبكة إلى هذا النشر. يمكنك تعيين نسبة استخدام الشبكة فقط عند إنشاء عمليات النشر ضمن نقطة نهاية. يمكنك أيضا تحديث حركة المرور لنقطة نهاية عبر الإنترنت بعد إنشاء عمليات النشر. لمزيد من المعلومات حول كيفية استخدام حركة المرور المتطابقة، راجع تخصيص نسبة صغيرة من نسبة استخدام الشبكة المباشرة للتوزيع الجديد.
حركة مرور معكوسة	النسبة المئوية لنسبة استخدام الشبكة المباشرة التي تعكس عملية التوزيع. لمزيد من المعلومات حول كيفية استخدام حركة المرور المتطابقة، راجع اختبار النشر باستخدام حركة مرور متطابقة.

للاطلاع على قائمة كاملة بالسمات التي يمكنك تحديدها عند إنشاء نقطة نهاية، راجع CLI (v2) مخطط YAML لنقطة النهاية عبر الإنترنت أو SDK (v2) ManagedOnlineEndpoint Class.

تعريف التوزيع

يشكل التوزيع مجموعة من الموارد اللازمة لاستضافة النموذج الذي يقوم بالاستدلال الفعلي. يصف الجدول التالي السمات الرئيسية التي يجب تحديدها عند تعريف التوزيع.

السمة	الوصف
الاسم	مطلوب. اسم التوزيع.
اسم نقطة النهاية	مطلوب. اسم نقطة النهاية لإنشاء التوزيع ضمن.
النموذج	النموذج الذي يجب استخدامه للتوزيع. يمكن أن تكون هذه القيمة إما مرجعًا لنموذج موجود بإصدار في مساحة العمل أو لمواصفات نموذج مدمج. في هذا المثال، لدينا نموذج scikit-Learn الذي يقوم بالتراجع.
مسار التعليمات البرمجية	المسار إلى الدليل على بيئة التطوير المحلية التي تحتوي على جميع التعليمات البرمجية لمصدر Python لتسجيل النموذج. يمكنك استخدام الدلائل والحزم المتداخلة.
برنامج نصي لتسجيل النقاط	تعليمة Python البرمجية التي تنفذ النموذج على طلب إدخال معين. يمكن أن تكون هذه القيمة المسار النسبي لملف تسجيل النقاط في دليل التعليمات البرمجية المصدر. يتلقى البرنامج النصي لتسجيل النقاط البيانات المرسلة إلى خدمة ويب منشورة ويمررها إلى النموذج. ثم ينفذ البرنامج النصي النموذج ويعيد استجابته إلى العميل. البرنامج النصي لتسجيل النقاط خاص بالنموذج الخاص بك ويجب أن يفهم البيانات التي يتوقعها النموذج كإدخل وإرجاع كإخراج. في هذا المثال، لدينا ملف score.py . يجب أن تحتوي التعليمة البرمجية لـPython هذه على دالة init() ودالة run() . init() سيتم استدعاء الدالة بعد إنشاء النموذج أو تحديثه (يمكنك استخدامه لتخزين النموذج مؤقتا في الذاكرة، على سبيل المثال). يتم استدعاء الدالة run() في كل استدعاء لنقطة النهاية للقيام بتسجيل النقاط والتنبؤ الفعليين.
البيئة	مطلوب. البيئة لاستضافة النموذج والرمز. يمكن أن تكون هذه القيمة إما مرجعًا لبيئة موجودة بإصدار في مساحة العمل أو مواصفات بيئة مدمجة. يمكن أن تكون البيئة صورة Docker مع تبعيات Conda أو Dockerfile أو بيئة مسجلة.
نوع المثيل	مطلوب. حجم الجهاز الظاهري المراد استخدامه للتوزيع. للحصول على قائمة بالأحجام المدعومة، راجع قائمة SKU لنقاط النهاية المدارة عبر الإنترنت.
عدد المثيلات	مطلوب. عدد المثيلات التي يجب استخدامها للتوزيع. قم بإسناد القيمة إلى حِمل العمل الذي تتوقعه. للحصول على قابلية وصول عالية، نوصي بتعيين القيمة إلى على الأقل 3. نحتفظ بنسبة 20٪ إضافية لإجراء الترقيات. لمزيد من المعلومات، راجع حدود نقاط النهاية عبر الإنترنت.

للاطلاع على قائمة كاملة بالسمات التي يمكنك تحديدها عند إنشاء عملية نشر، راجع مخطط YAML للتوزيع المدار عبر الإنترنت ل CLI (v2) أو SDK (v2) ManagedOnlineDeployment Class.

Azure CLI

قم بإنشاء نقطة نهاية عبر الإنترنت

قم أولا بتعيين اسم نقطة النهاية ثم قم بتكوينه. في هذه المقالة، ستستخدم ملف endpoints/online/managed/sample/endpoint.yml لتكوين نقطة النهاية. تعرض القصاصة البرمجية التالية محتويات الملف:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

يتم وصف مرجع تنسيق YAML لنقطة النهاية في الجدول التالي. لمعرفة كيفية تحديد هذه السمات، راجع مرجع YAML لنقطة النهاية عبر الإنترنت. للحصول على معلومات حول الحدود المتعلقة بنقاط النهاية المدارة عبر الإنترنت، راجع حدود نقاط النهاية عبر الإنترنت.

المفتاح	‏‏الوصف
$schema	(اختياري) مخطط YAML. لمشاهدة جميع الخيارات المتوفرة في ملف YAML، يمكنك عرض المخطط في قصاصة التعليمات البرمجية السابقة في مستعرض.
name	اسم نقطة النهاية.
auth_mode	استخدام key للمصادقة المستندة إلى المفتاح. استخدم aml_token للمصادقة المستندة إلى الرمز المميز التعلم الآلي من Microsoft Azure. للحصول على أحدث رمز مميز، استخدم az ml online-endpoint get-credentials الأمر .

لإنشاء نقطة نهاية عبر الإنترنت:

1. تعيين اسم نقطة النهاية:

   بالنسبة إلى Unix، قم بتشغيل هذا الأمر (استبدل YOUR_ENDPOINT_NAME باسم فريد):

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   هام

   يجب أن تكون أسماء نقاط النهاية فريدة داخل منطقة Azure. على سبيل المثال، في منطقة Azure westus2، يمكن أن تكون هناك نقطة نهاية واحدة فقط مع الاسم my-endpoint.

2. إنشاء نقطة النهاية في السحابة:

   قم بتشغيل التعليمات البرمجية endpoint.yml التالية لاستخدام الملف لتكوين نقطة النهاية:

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

إنشاء عملية التوزيع 'الأزرق'

في هذه المقالة، ستستخدم ملف نقاط النهاية/online/managed/sample/blue-deployment.yml لتكوين الجوانب الرئيسية للتوزيع. تعرض القصاصة البرمجية التالية محتويات الملف:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

لإنشاء نشر باسم blue لنقطة النهاية الخاصة بك، قم بتشغيل الأمر التالي لاستخدام blue-deployment.yml الملف لتكوين

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

هام

--all-traffic تخصص العلامة az ml online-deployment create في 100٪ من نسبة استخدام الشبكة لنقطة النهاية إلى النشر الأزرق الذي تم إنشاؤه حديثا.

في blue-deployment.yaml الملف، نحدد path (مكان تحميل الملفات) المضمنة. يقوم CLI تلقائياً بتحميل الملفات وتسجيل النموذج والبيئة. كأفضل ممارسة للإنتاج، يجب عليك تسجيل النموذج والبيئة وتحديد الاسم والإصدار المسجلين بشكل منفصل في YAML. استخدم النموذج model: azureml:my-model:1 أو environment: azureml:my-env:1.

للتسجيل، يمكنك استخراج تعريفات YAML لـmodel وenvironment إلى ملفات YAML منفصلة واستخدام الأوامر az ml model create وaz ml environment create. لمعرفة المزيد بشأن هذه الأوامر، قم بتشغيل az ml model create -h وaz ml environment create -h.

لمزيد من المعلومات حول تسجيل النموذج الخاص بك كأصل، راجع تسجيل نموذجك كأصل في التعلم الآلي باستخدام CLI. لمزيد من المعلومات حول إنشاء بيئة، راجع إدارة بيئات Azure التعلم الآلي باستخدام CLI وSDK (v2).

Python

قم بإنشاء نقطة نهاية عبر الإنترنت

لإنشاء نقطة نهاية مدارة عبر الإنترنت، استخدم ManagedOnlineEndpoint الفئة . تسمح هذه الفئة للمستخدمين بتكوين الجوانب الرئيسية لنقطة النهاية.

1. تكوين نقطة النهاية:

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   إشعار

   لإنشاء نقطة نهاية Kubernetes عبر الإنترنت، استخدم KubernetesOnlineEndpoint الفئة .

2. أنشئ نقطة النهاية:

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

إنشاء عملية التوزيع 'الأزرق'

لإنشاء نشر لنقطة النهاية المدارة عبر الإنترنت، استخدم ManagedOnlineDeployment الفئة . تسمح هذه الفئة للمستخدمين بتكوين الجوانب الرئيسية للتوزيع. يصف الجدول التالي سمات deployment:

1. تكوين عملية التوزيع الأزرق:

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   في هذا المثال، نحدد path المضمّن (مكان تحميل الملفات منه). تقوم SDK تلقائيا بتحميل الملفات وتسجيل النموذج والبيئة. كأفضل ممارسة للإنتاج، يجب عليك تسجيل النموذج والبيئة وتحديد الاسم والإصدار المسجلين بشكل منفصل في الرموز.

   لمزيد من المعلومات حول تسجيل النموذج الخاص بك كأصل، راجع تسجيل نموذجك كأصل في التعلم الآلي باستخدام SDK.

   لمزيد من المعلومات حول إنشاء بيئة، راجع إدارة بيئات Azure التعلم الآلي باستخدام CLI وSDK (v2).

   إشعار

   لإنشاء نشر لنقطة نهاية Kubernetes عبر الإنترنت، استخدم KubernetesOnlineDeployment الفئة .

2. إنشاء التوزيع:

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

مرسم

عند إنشاء نقطة نهاية مدارة عبر الإنترنت في Azure التعلم الآلي studio، يجب عليك تعريف توزيع أولي لنقطة النهاية. قبل أن تتمكن من تعريف التوزيع، يجب أن يكون لديك نموذج مسجل في مساحة العمل الخاصة بك. لنبدأ بتسجيل النموذج لاستخدامه في النشر.

تسجيل النموذج الخاص بك

تسجيل النموذج هو كيان منطقي في مساحة العمل. يمكن أن يحتوي هذا الكيان على ملف نموذج واحد أو دليل لملفات متعددة. كأفضل ممارسة للإنتاج، يجب عليك تسجيل النموذج والبيئة. عند إنشاء نقطة النهاية والنشر في هذه المقالة، سنفترض أنك قمت بتسجيل مجلد النموذج الذي يحتوي على النموذج.

لتسجيل نموذج المثال، اتبع الخطوات التالية:

1. انتقل إلى "Azure التعلم الآلي studio".

2. في شريط التنقل الأيمن، حدد صفحة النماذج.

3. حدد تسجيل، ثم اختر من الملفات المحلية.

4. حدد نوع غير محدد لنوع النموذج.

5. حدد استعراض، واختر استعراض المجلد.

   

6. \azureml-examples\cli\endpoints\online\model-1\model حدد المجلد من النسخة المحلية من المستودع الذي قمت باستنساخه أو تنزيله مسبقا. عند المطالبة، حدد تحميل وانتظر حتى يكتمل التحميل.

7. حدد التالي بعد اكتمال تحميل المجلد.

8. أدخل اسمًا مألوفًا للنموذج. تفترض الخطوات الواردة في هذه المقالة أن النموذج يسمى model-1.

9. حدد Next، ثم Register لإكمال التسجيل.

10. كرر الخطوات السابقة لتسجيل model-2 من \azureml-examples\cli\endpoints\online\model-2\model المجلد في النسخة المحلية من المستودع الذي قمت باستنساخه أو تنزيله مسبقا.

لمزيد من المعلومات حول العمل مع النماذج المسجلة، راجع التسجيل والعمل مع النماذج.

للحصول على معلومات حول إنشاء بيئة في الاستوديو، راجع إنشاء بيئة.

إنشاء نقطة نهاية مدارة عبر الإنترنت والنشر "الأزرق"

استخدم Azure التعلم الآلي studio لإنشاء نقطة نهاية مدارة عبر الإنترنت مباشرة في المستعرض الخاص بك. عندما تقوم بإنشاء نقطة نهاية عبر الإنترنت مُدارة في الاستوديو، يجب عليك تحديد توزيع أولي. لا يمكنك إنشاء نقطة نهاية فارغة مُدارة عبر الإنترنت.

إحدى الطرق لإنشاء نقطة نهاية مدارة عبر الإنترنت في الاستوديو هي من صفحة Models . يوفر هذا الأسلوب أيضا طريقة سهلة لإضافة نموذج إلى نشر موجود عبر الإنترنت مدار. لنشر النموذج المسمى model-1 الذي قمت بتسجيله مسبقا في قسم تسجيل النموذج الخاص بك:

1. انتقل إلى "Azure التعلم الآلي studio".

2. في شريط التنقل الأيمن، حدد صفحة النماذج.

3. حدد النموذج المسمى model-1 عن طريق التحقق من الدائرة الموجودة بجانب اسمها.

4. حدد Deploy>Real-time endpoint.

   

   يفتح هذا الإجراء نافذة حيث يمكنك تحديد تفاصيل حول نقطة النهاية.

   

5. أدخل اسم نقطة النهاية.

6. احتفظ بالتحديدات الافتراضية: مدارة لنوع الحساب والمصادقة المستندة إلى المفتاح لنوع المصادقة.

7. حدد Next، حتى تصل إلى صفحة "Deployment". هنا، قم بتنفيذ المهام التالية:

   • قم بتسمية النشر "أزرق".
   • حدد مربع تمكين تشخيص Application Insights وجمع البيانات للسماح لك بعرض الرسوم البيانية لأنشطة نقطة النهاية في الاستوديو لاحقا.

8. حدد التالي للانتقال إلى صفحة "البيئة". هنا، نفذ الخطوات التالية:

   • في المربع "تحديد ملف تسجيل النقاط والتبعيات"، استعرض الملف وحدده \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py من المستودع الذي نسخته أو قمت بتنزيله سابقا.
   • ابدأ الكتابة sklearn في مربع البحث أعلى قائمة البيئات، وحدد البيئة المنسقة AzureML-sklearn-0.24 .

9. حدد التالي للانتقال إلى صفحة "الحساب". هنا، احتفظ بالتحديد الافتراضي للجهاز الظاهري "Standard_DS3_v2" وغير عدد المثيلات إلى 1.

10. حدد التالي، لقبول تخصيص نسبة استخدام الشبكة الافتراضي (100٪) للتوزيع الأزرق.

11. راجع إعدادات النشر وحدد الزر إنشاء .

    

بدلا من ذلك، يمكنك إنشاء نقطة نهاية مدارة عبر الإنترنت من صفحة نقاط النهاية في الاستوديو.

1. انتقل إلى "Azure التعلم الآلي studio".

2. في شريط التنقل الأيمن، حدد صفحة نقاط النهاية.

3. حدد + إنشاء.

   

يفتح هذا الإجراء نافذة لك لتحديد تفاصيل حول نقطة النهاية والنشر. أدخل إعدادات نقطة النهاية والنشر كما هو موضح في الخطوات السابقة من 5 إلى 11، مع قبول الإعدادات الافتراضية حتى تتم مطالبتك بإنشاء النشر.

تأكيد التوزيع الحالي

إحدى الطرق لتأكيد التوزيع الحالي هي استدعاء نقطة النهاية الخاصة بك حتى تتمكن من تسجيل نموذجك لطلب إدخال معين. عند استدعاء نقطة النهاية الخاصة بك عبر CLI أو Python SDK، يمكنك اختيار تحديد اسم النشر الذي سيتلقى نسبة استخدام الشبكة الواردة.

إشعار

على عكس CLI أو Python SDK، يتطلب منك Azure التعلم الآلي studio تحديد توزيع عند استدعاء نقطة نهاية.

استدعاء نقطة النهاية باسم النشر

إذا قمت باستدعاء نقطة النهاية باسم النشر الذي سيتلقى نسبة استخدام الشبكة، فسيوجه Azure التعلم الآلي نسبة استخدام الشبكة لنقطة النهاية مباشرة إلى النشر المحدد ويعيد إخراجه. يمكنك استخدام --deployment-name الخيار ل CLI v2، أو deployment_name خيار SDK v2 لتحديد النشر.

استدعاء نقطة النهاية دون تحديد التوزيع

إذا قمت باستدعاء نقطة النهاية دون تحديد التوزيع الذي سيتلقى نسبة استخدام الشبكة، فسيوجه Azure التعلم الآلي نسبة استخدام الشبكة الواردة لنقطة النهاية إلى التوزيع (التوزيعات) في نقطة النهاية استنادا إلى إعدادات التحكم في نسبة استخدام الشبكة.

تخصص إعدادات التحكم في حركة المرور نسبا مئوية محددة من نسبة استخدام الشبكة الواردة لكل عملية نشر في نقطة النهاية. على سبيل المثال، إذا حددت قواعد حركة المرور الخاصة بك أن عملية نشر معينة في نقطة النهاية الخاصة بك ستتلقى نسبة استخدام الشبكة الواردة بنسبة 40٪ من الوقت، فسيوجه Azure التعلم الآلي 40٪ من نسبة استخدام الشبكة لنقطة النهاية إلى هذا النشر.

Azure CLI

يمكنك عرض حالة نقطة النهاية الحالية والتوزيع عن طريق تشغيل:

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

يجب أن تشاهد نقطة النهاية المحددة بواسطة $ENDPOINT_NAME و، عملية توزيع تسمى blue.

اختبر نقطة النهاية ببيانات العينة

يمكن استدعاء نقطة النهاية باستخدام invoke الأمر . سنرسل نموذج طلب باستخدام ملف json.

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

Python

تحقق من الحالة لمعرفة ما إذا كان النموذج قد تم توزيعه دون خطأ:

ml_client.online_endpoints.get(name=online_endpoint_name)

اختبر نقطة النهاية ببيانات العينة

باستخدام MLClient الذي تم إنشاؤه سابقاً، سنحصل على مؤشر لنقطة النهاية. يمكن استدعاء نقطة النهاية باستخدام الأمر invoke مع المعلمات التالية:

• endpoint_name - اسم نقطة النهاية
• request_file - ملف مع بيانات الطلب
• deployment_name - اسم التوزيع المحدد للاختبار في نقطة نهاية

سنرسل نموذج طلب باستخدام ملف json.

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

مرسم

عرض نقاط النهاية المدارة عبر الإنترنت

يمكنك عرض جميع نقاط النهاية المدارة عبر الإنترنت في صفحة نقاط النهاية. انتقل إلى صفحة تفاصيل نقطة النهاية للعثور على المعلومات الهامة بما في ذلك URI لنقطة النهاية والحالة وأدوات الاختبار ومراقبات النشاط وسجلات التوزيع ونموذج التعليمات البرمجية للاستهلاك:

1. في شريط التنقل الأيمن، حدد نقاط النهاية. هنا، يمكنك مشاهدة قائمة بجميع نقاط النهاية في مساحة العمل.
2. (اختياري) أنشئ عامل تصفية في نوع الحساب لعرض أنواع الحوسبة المُدارة فقط.
3. حدد اسم نقطة نهاية لعرض صفحة تفاصيل نقطة النهاية.

اختبر نقطة النهاية ببيانات العينة

استخدم علامة التبويب Test في صفحة تفاصيل نقطة النهاية لاختبار التوزيع المدار عبر الإنترنت. أدخل نموذج الإدخال واعرض النتائج.

1. حدد علامة تبويب اختبار في صفحة تفاصيل نقطة النهاية. تم تحديد النشر الأزرق بالفعل في القائمة المنسدلة.
2. انسخ نموذج الإدخال من ملف json
3. الصق إدخال العينة في مربع الاختبار.
4. حدد اختبار.

توسيع نطاق التوزيع الحالي الخاص بك للتعامل مع المزيد من نسبة استخدام الشبكة

Azure CLI

في عملية التوزيع الموضحة في توزيع وتسجيل نموذج التعلم الآلي بنقطة نهاية عبر الإنترنت، يمكنك تعيين instance_count إلى القيمة 1 في ملف yaml للتوزيع. يمكنك التوسع باستخدام الأمر update :

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

إشعار

لاحظ أننا في الأمر أعلاه نستخدم --set لإلغاء تكوين التوزيع. بدلاً من ذلك، يمكنك تحديث ملف yaml وتمريره كمدخل إلى الأمر update باستخدام الإدخال --file.

Python

باستخدام MLClient الذي تم إنشاؤه سابقاً، سنحصل على مؤشر لنقطة التوزيع. يمكن توسيع نطاق النشر عن طريق زيادة أو تقليل instance_count.

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

تفاصيل نقاط النهاية

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

مرسم

استخدم الإرشادات التالية لتوسيع نطاق النشر لأعلى أو لأسفل عن طريق ضبط عدد المثيلات:

1. في صفحة تفاصيل نقطة النهاية. ابحث عن بطاقة النشر الأزرق.
2. حدد أيقونة التحرير في رأس بطاقة النشر الزرقاء.
3. تغيير عدد المثيلات إلى 2.
4. حدد تحديث.

قم بتوزيع نموذج جديد، لكن لا ترسل إليه أي حركة مرور حتى الآن

Azure CLI

قم بإنشاء عملية توزيع جديدة باسم green:

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

نظرا لأننا لم نخصص أي حركة مرور بشكل صريح إلى green، فإنه لا يحتوي على نسبة استخدام الشبكة المخصصة لها. يمكنك التحقق من ذلك باستخدام الأمر:

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

اختبار التوزيع الجديد

على الرغم من تخصيص 0% من نسبة استخدام الشبكة لـgreen، يمكنك استدعاؤها مباشرةً عن طريق تحديد اسم --deployment :

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

إذا كنت تريد استخدام عميل REST لاستدعاء التوزيع مباشرة دون المرور بقواعد المرور، فقم بتعيين رأس HTTP التالي: azureml-model-deployment: <deployment-name>. يستخدم قصاصة برمجية التعليمة البرمجية أدناه curl لاستدعاء التوزيع مباشرة. يجب أن يعمل قصاصة برمجية التعليمة البرمجية في بيئات Unix/WSL:

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

Python

إنشاء نشر جديد لنقطة النهاية المدارة عبر الإنترنت وتسمية التوزيع green:

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

إشعار

إذا كنت تقوم بإنشاء نشر لنقطة نهاية Kubernetes عبر الإنترنت، فاستخدم KubernetesOnlineDeployment الفئة وحدد نوع مثيل Kubernetes في مجموعة Kubernetes.

اختبار التوزيع الجديد

على الرغم من تخصيص green 0٪ من نسبة استخدام الشبكة، لا يزال بإمكانك استدعاء نقطة النهاية والنشر باستخدام ملف json .

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

مرسم

أنشئ نشرا جديدا لإضافته إلى نقطة النهاية المدارة عبر الإنترنت وقم بتسمية التوزيع green.

من صفحة تفاصيل نقطة النهاية

1. حدد الزر + Add Deployment في صفحة "Details" لنقطة النهاية.

2. حدد Deploy a model.

3. حدد Next للانتقال إلى صفحة "Model" وحدد model-2.

4. حدد التالي للانتقال إلى صفحة "النشر" وتنفيذ المهام التالية:

   1. قم بتسمية التوزيع "أخضر".
   2. تمكين تشخيصات رؤى التطبيق وجمع البيانات.

5. حدد التالي للانتقال إلى صفحة "البيئة". هنا، نفذ الخطوات التالية:

   • في المربع "تحديد ملف تسجيل النقاط والتبعيات"، استعرض الملف وحدده \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py من المستودع الذي نسخته أو قمت بتنزيله سابقا.
   • ابدأ الكتابة sklearn في مربع البحث أعلى قائمة البيئات، وحدد البيئة المنسقة AzureML-sklearn-0.24 .

6. حدد التالي للانتقال إلى صفحة "الحساب". هنا، احتفظ بالتحديد الافتراضي للجهاز الظاهري "Standard_DS3_v2" وغير عدد المثيلات إلى 1.

7. حدد التالي للانتقال إلى صفحة "نسبة استخدام الشبكة". هنا، احتفظ بتخصيص نسبة استخدام الشبكة الافتراضية إلى عمليات النشر (نسبة استخدام الشبكة 100٪ إلى "الأزرق" و0٪ إلى "الأخضر").

8. حدد التالي لمراجعة إعدادات النشر.

   

9. حدد Create لإنشاء النشر.

بدلاً من ذلك، يمكنك استخدام صفحة النماذج لإضافة عملية توزيع:

1. في شريط التنقل الأيمن، حدد صفحة النماذج.
2. حدد نموذجًا عن طريق تحديد الدائرة المجاورة لاسم النموذج.
3. حدد Deploy>Real-time endpoint.
4. اختر للتوزيع إلى نقطة نهاية عبر الإنترنت مُدارة حالية.
5. اتبع الخطوات السابقة من 3 إلى 9 لإنهاء إنشاء النشر الأخضر.

إشعار

عند إضافة نشر جديد إلى نقطة نهاية، يمكنك ضبط موازنة نسبة استخدام الشبكة بين عمليات التوزيع في صفحة "نسبة استخدام الشبكة". في هذه المرحلة، على الرغم من ذلك، يجب الاحتفاظ بتخصيص نسبة استخدام الشبكة الافتراضية إلى عمليات التوزيع (نسبة استخدام الشبكة بنسبة 100٪ إلى "الأزرق" و0٪ إلى "الأخضر").

اختبار التوزيع الجديد

على الرغم من تخصيص green 0٪ من نسبة استخدام الشبكة، لا يزال بإمكانك استدعاء نقطة النهاية والنشر. استخدم علامة التبويب Test في صفحة تفاصيل نقطة النهاية لاختبار التوزيع المدار عبر الإنترنت. أدخل نموذج الإدخال واعرض النتائج.

1. حدد علامة تبويب اختبار في صفحة تفاصيل نقطة النهاية.
2. حدد التوزيع الأخضر من القائمة المنسدلة.
3. انسخ نموذج الإدخال من ملف json .
4. الصق إدخال العينة في مربع الاختبار.
5. حدد اختبار.

اختبار التوزيع باستخدام حركة مرور معكوسة

بمجرد اختبار التوزيع الخاص بك green ، يمكنك عكس (أو نسخ) نسبة مئوية من نسبة استخدام الشبكة المباشرة إليه. لا يغير النسخ المتطابق لنسبة استخدام الشبكة (يسمى أيضا التظليل) النتائج التي تم إرجاعها إلى العملاء - لا تزال الطلبات تتدفق بنسبة blue 100٪ إلى النشر. يتم نسخ النسبة المئوية المتطابقة لنسبة استخدام الشبكة وإرسالها إلى green النشر بحيث يمكنك جمع المقاييس والتسجيل دون التأثير على عملائك. يكون النسخ المطابق مفيداً عندما تريد التحقق من صحة توزيع جديد دون التأثير على العملاء. على سبيل المثال، يمكنك استخدام النسخ المتطابق للتحقق مما إذا كان زمن الانتقال ضمن حدود مقبولة أو للتحقق من عدم وجود أخطاء HTTP. يعرف اختبار التوزيع الجديد باستخدام النسخ المتطابق/التظليل لنسبة استخدام الشبكة أيضا باسم اختبار الظل. يمكن أيضا تسمية التوزيع الذي يتلقى نسبة استخدام الشبكة المتطابقة (في هذه الحالة، green التوزيع) باسم نشر الظل.

للانعكاس القيود التالية:

• النسخ المتطابق مدعوم ل CLI (v2) (الإصدار 2.4.0 أو أعلى) وPython SDK (v2) (الإصدار 1.0.0 أو أعلى). إذا كنت تستخدم إصدارا قديما من CLI/SDK لتحديث نقطة نهاية، فستفقد إعداد نسبة استخدام الشبكة المتطابقة.
• النسخ المتطابق غير مدعوم حاليا لنقاط نهاية Kubernetes عبر الإنترنت.
• يمكنك عكس نسبة استخدام الشبكة إلى نشر واحد فقط في نقطة نهاية.
• النسبة المئوية القصوى لنسبة استخدام الشبكة التي يمكنك عكسها هي 50٪. هذا الحد هو تقليل التأثير على الحصة النسبية لعرض النطاق الترددي لنقطة النهاية (5 ميغابايت في الثانية الافتراضية) - يتم تقييد النطاق الترددي لنقطة النهاية إذا تجاوزت الحصة النسبية المخصصة. للحصول على معلومات بشأن مراقبة التحكم في النطاق الترددي، راجع مراقبة نقاط النهاية عبر الإنترنت المُدارة.

لاحظ أيضا السلوكيات التالية:

• يمكن تكوين التوزيع لتلقي نسبة استخدام الشبكة المباشرة أو حركة المرور المتطابقة فقط، وليس كليهما.
• عند استدعاء نقطة نهاية، يمكنك تحديد اسم أي من عمليات التوزيع الخاصة بها - حتى نشر الظل - لإرجاع التنبؤ.
• عند استدعاء نقطة نهاية باسم النشر الذي سيتلقى نسبة استخدام الشبكة الواردة، لن يعكس Azure التعلم الآلي نسبة استخدام الشبكة إلى نشر الظل. يعكس Azure التعلم الآلي نسبة استخدام الشبكة إلى نشر الظل من نسبة استخدام الشبكة المرسلة إلى نقطة النهاية عندما لا تحدد توزيعا.

الآن، دعونا نضبط التوزيع الأخضر لتلقي 10٪ من نسبة استخدام الشبكة المتطابقة. سيظل العملاء يتلقون تنبؤات من النشر الأزرق فقط.

Azure CLI

يعكس الأمر التالي 10% من نسبة استخدام الشبكة إلى توزيع green :

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

يمكنك اختبار حركة مرور متطابقة عن طريق استدعاء نقطة النهاية عدة مرات دون تحديد توزيع لتلقي نسبة استخدام الشبكة الواردة:

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

يمكنك التأكد من أن النسبة المئوية المحددة لنسبة استخدام الشبكة تم إرسالها إلى green النشر من خلال رؤية السجلات من التوزيع:

az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

بعد الاختبار، يمكنك ضبط نسبة استخدام الشبكة المتطابقة على صفر لتعطيل الانعكاس:

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

Python

يعكس الأمر التالي 10% من نسبة استخدام الشبكة إلى توزيع green :

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

يمكنك اختبار حركة مرور متطابقة عن طريق استدعاء نقطة النهاية عدة مرات دون تحديد توزيع لتلقي نسبة استخدام الشبكة الواردة:

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

يمكنك التأكد من أن النسبة المئوية المحددة لنسبة استخدام الشبكة تم إرسالها إلى green النشر من خلال رؤية السجلات من التوزيع:

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

بعد الاختبار، يمكنك ضبط نسبة استخدام الشبكة المتطابقة على صفر لتعطيل الانعكاس:

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

مرسم

لعكس 10٪ من نسبة استخدام الشبكة إلى green النشر:

1. من صفحة تفاصيل نقطة النهاية، حدد تحديث نسبة استخدام الشبكة.
2. مرر الزر لتمكين حركة المرور المتطابقة.
3. حدد التوزيع الأخضر في القائمة المنسدلة "Deployment name".
4. احتفظ بتخصيص نسبة استخدام الشبكة الافتراضية بنسبة 10٪.
5. حدد تحديث.

تعرض صفحة تفاصيل نقطة النهاية الآن تخصيص نسبة استخدام الشبكة المتطابقة بنسبة 10٪ للتوزيع green .

لاختبار حركة المرور المتطابقة، راجع علامات تبويب Azure CLI أو Python لاستدعاء نقطة النهاية عدة مرات. تأكد من إرسال النسبة المئوية المحددة لنسبة استخدام الشبكة إلى green النشر من خلال رؤية السجلات من التوزيع. يمكنك الوصول إلى سجلات التوزيع من علامة تبويب سجلات النشر الخاصة بنقطة النهاية. يمكنك أيضا استخدام المقاييس والسجلات لمراقبة أداء حركة المرور المتطابقة. لمزيد من المعلومات، راجع مراقبة نقاط النهاية عبر الإنترنت.

بعد الاختبار، يمكنك تعطيل النسخ المتطابق:

1. من صفحة تفاصيل نقطة النهاية، حدد تحديث نسبة استخدام الشبكة.
2. مرر الزر إلى جانب تمكين حركة المرور المتطابقة مرة أخرى لتعطيل حركة المرور المتطابقة.
3. حدد تحديث.

تخصيص نسبة صغيرة من نسبة استخدام الشبكة المباشرة للنشر الجديد

Azure CLI

بمجرد اختبار توزيع green، خصص نسبة صغيرة من نسبة استخدام الشبكة إليه:

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

Python

بمجرد اختبار توزيع green، خصص نسبة صغيرة من نسبة استخدام الشبكة إليه:

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

مرسم

بمجرد اختبار توزيع green، خصص نسبة صغيرة من نسبة استخدام الشبكة إليه:

1. في صفحة تفاصيل نقطة النهاية، حدد تحديث نسبة استخدام الشبكة.
2. اضبط نسبة استخدام الشبكة للتوزيع عن طريق تخصيص 10٪ للتوزيع الأخضر و90٪ للتوزيع الأزرق.
3. حدد تحديث.

تلميح

يجب أن تجمع النسبة المئوية الإجمالية لنسبة استخدام الشبكة إلى 0٪ (لتعطيل نسبة استخدام الشبكة) أو 100٪ (لتمكين نسبة استخدام الشبكة).

الآن، يتلقى التوزيع الخاص بك green 10٪ من جميع نسبة استخدام الشبكة المباشرة. سيتلقى العملاء تنبؤات من عمليات blue التوزيع و green .

إرسال كل نسبة استخدام الشبكة إلى التوزيع الجديد الخاص بك

Azure CLI

بمجرد أن تكون راضيا تماما عن النشر الخاص بك green ، قم بتبديل كل حركة المرور إليه.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

Python

بمجرد أن تكون راضيا تماما عن النشر الخاص بك green ، قم بتبديل كل حركة المرور إليه.

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

مرسم

بمجرد أن تكون راضيا تماما عن النشر الخاص بك green ، قم بتبديل كل حركة المرور إليه.

1. في صفحة تفاصيل نقطة النهاية، حدد تحديث نسبة استخدام الشبكة.
2. اضبط نسبة استخدام الشبكة للتوزيع عن طريق تخصيص 100٪ للتوزيع الأخضر و0٪ للتوزيع الأزرق.
3. حدد تحديث.

إزالة التوزيع القديم

استخدم الخطوات التالية لحذف عملية توزيع فردية من نقطة نهاية عبر الإنترنت مُدارة. يؤثر حذف نشر فردي على عمليات التوزيع الأخرى في نقطة النهاية المدارة عبر الإنترنت:

Azure CLI

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

Python

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

مرسم

إشعار

لا يمكنك حذف عملية نشر تم تخصيص حركة مرور مباشرة لها. يجب عليك أولاً تعيين تخصيص حركة المرور للتوزيع على 0% قبل حذفه.

1. في صفحة تفاصيل نقطة النهاية، ابحث عن التوزيع الأزرق.
2. حدد أيقونة الحذف بجوار اسم النشر.

حذف نقطة النهاية والتوزيع

Azure CLI

إذا كنت لن تستخدم نقطة النهاية والنشر، فيجب حذفها. بحذف نقطة النهاية، ستحذف أيضا جميع عمليات النشر الأساسية الخاصة بها.

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python

إذا كنت لن تستخدم نقطة النهاية والنشر، فيجب حذفها. بحذف نقطة النهاية، ستحذف أيضا جميع عمليات النشر الأساسية الخاصة بها.

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

مرسم

إذا كنت لن تستخدم نقطة النهاية والنشر، فيجب حذفها. بحذف نقطة النهاية، ستحذف أيضا جميع عمليات النشر الأساسية الخاصة بها.

1. انتقل إلى "Azure التعلم الآلي studio".
2. في شريط التنقل الأيمن، حدد صفحة نقاط النهاية.
3. حدد نقطة نهاية عن طريق التحقق من الدائرة المجاورة لاسم النموذج.
4. حدد حذف.

بدلا من ذلك، يمكنك حذف نقطة نهاية مدارة عبر الإنترنت مباشرة عن طريق تحديد أيقونة حذف في صفحة تفاصيل نقطة النهاية.

المحتوى ذو الصلة

• استكشاف نماذج نقاط النهاية المتصل
• توزيع النماذج باستخدام REST
• استخدام عزل الشبكة مع نقاط النهاية المدارة عبر الإنترنت
• الوصول إلى موارد Azure بنقطة نهاية عبر الإنترنت وهوية مُدارة
• مراقبة نقاط النهاية المدارة عبر الإنترنت
• إدارة وزيادة حصص الموارد باستخدام التعلم الآلي من Azure
• عرض تكاليف نقطة نهاية عبر الإنترنت مُدارة من Azure Machine Learning
• قائمة SKU لنقاط النهاية المُدارة عبر الإنترنت
• استكشاف أخطاء توزيع نقاط النهاية وتسجيلها عبر الإنترنت وإصلاحها
• مرجع YAML لنقطة النهاية عبر الإنترنت