القياس التلقائي لنقطة نهاية عبر الإنترنت

ينطبق على:ملحق التعلم الآلي من Azure CLI v2 (الحالي)Python SDK azure-ai-ml v2 (الحالي)

يقوم التحجيم التلقائي بتشغيل المقدار المناسب من الموارد للتعامل مع الحِمل على تطبيقك. نقاط النهاية عبر الإنترنت يدعم القياس التلقائي من خلال التكامل مع ميزة القياس التلقائي لـ Azure Monitor.

يدعم القياس التلقائي لـ Azure Monitor مجموعة غنية من القواعد. يمكنك تكوين القياس المستند إلى القياسات (على سبيل المثال، استخدام وحدة المعالجة المركزية >70%)، أو القياس المستند إلى الجدول الزمني (على سبيل المثال، قواعد القياس لساعات العمل القصوى)، أو مجموعة. لمزيد من المعلومات، راجع نظرة عامة على التحجيم التلقائي في Microsoft Azure.

اليوم، يمكنك إدارة القياس التلقائي باستخدام إما Azure CLI أو REST أو ARM أو مدخل Microsoft Azure المستندة إلى المستعرض. ستضيف مجموعات SDK الأخرى للتعلم الآلي من Microsoft Azure، مثل Python SDK، الدعم بمرور الوقت.

المتطلبات الأساسية

• نقطة نهاية منتشرة. يمكنك نشر نموذج التعلم الآلي وتسجيله باستخدام نقطة نهاية عبر الإنترنت.
• لاستخدام التحجيم التلقائي، يجب تعيين الدور microsoft.insights/autoscalesettings/write للهوية التي تدير التحجيم التلقائي. يمكنك استخدام أي أدوار مضمنة أو مخصصة تسمح بهذا الإجراء. للحصول على إرشادات عامة حول إدارة الأدوار للتعلم الآلي من Microsoft Azure، راجع إدارة المستخدمين والأدوار. لمزيد من المعلومات حول إعدادات التحجيم التلقائي من Azure Monitor، راجع التحجيم التلقائي ل Microsoft.Insights.

تعريف ملف تعريف التحجيم التلقائي

لتمكين مقياس تلقائي لنقطة نهاية، عليك أولاً تحديد ملف تعريف تحجيم تلقائي. يُحدد ملف التعريف هذا سعة مجموعة التحجيم الافتراضية والحد الأدنى والحد الأقصى. يعيّن المثال التالي السعة الافتراضية والحد الأدنى كمثيلين للجهاز الظاهري، والسعة القصوى خمسة:

Azure CLI

ينطبق على:ملحق Azure CLI ml الإصدار 2 (الحالي)

تعيّن القصاصة البرمجية التالية اسمي نقطة النهاية والتوزيع:

# set your existing endpoint name
ENDPOINT_NAME=your-endpoint-name
DEPLOYMENT_NAME=blue

بعد ذلك، احصل على معرف Azure Resource Manager للتوزيع ونقطة النهاية:

# ARM id of the deployment
DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
# ARM id of the deployment. todo: change to --query "id"
ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
# set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`

تنشئ القصاصة البرمجية التالية ملف تعريف تحجيم تلقائي:

az monitor autoscale create \
  --name $AUTOSCALE_SETTINGS_NAME \
  --resource $DEPLOYMENT_RESOURCE_ID \
  --min-count 2 --max-count 5 --count 2

ملاحظة

لمزيد من المعلومات، راجع الصفحة المرجعية للتحجيم التلقائي

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

استيراد الوحدات النمطية:

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
from azure.mgmt.monitor import MonitorManagementClient
from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
import random 
import datetime 

تعريف المتغيرات لمساحة العمل ونقطة النهاية والتوزيع:

subscription_id = "<YOUR-SUBSCRIPTION-ID>"
resource_group = "<YOUR-RESOURCE-GROUP>"
workspace = "<YOUR-WORKSPACE>"

endpoint_name = "<YOUR-ENDPOINT-NAME>"
deployment_name = "blue"

احصل على عملاء التعلم الآلي من Azure وAzure Monitor:

credential = DefaultAzureCredential()
ml_client = MLClient(
    credential, subscription_id, resource_group, workspace
)

mon_client = MonitorManagementClient(
    credential, subscription_id
)

الحصول على عناصر التوزيع ونقطة النهاية:

deployment = ml_client.online_deployments.get(
    deployment_name, endpoint_name
)

endpoint = ml_client.online_endpoints.get(
    endpoint_name
)

إنشاء ملف تعريف التحجيم التلقائي:

# Set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = []
            )
        ]
    }
)

استوديو

في Azure Machine Learning studio، حدد مساحة العمل الخاصة بك ثم حدد Endpoints من الجانب الأيسر من الصفحة. بمجرد إدراج نقاط النهاية، حدد النقطة التي تريد تكوينها.

من علامة التبويب Details لنقطة النهاية، حدد Configure auto scaling.

ضمن Choose how to scale your resources، حدد Custom autoscale لبدء التكوين. لشرط المقياس الافتراضي، استخدم القيم التالية:

• عيّن Scale mode على Scale based on a metric.
• عيّن Minimum على 2.
• عيّن Maximum على 5.
• عيّن Default على 2.

إنشاء قاعدة للتوسع باستخدام القياسات

قاعدة القياس الشائعة هي تلك التي تزيد من عدد مثيلات الجهاز الظاهري عندما يكون متوسط ​​حمل وحدة المعالجة المركزية مرتفعاً. سيخصص المثال التالي عقدتين أخريين (بحد أقصى) إذا كان متوسط ​​حمل وحدة المعالجة المركزية أكبر من 70% لمدة خمس دقائق:

Azure CLI

ينطبق على:ملحق Azure CLI ml الإصدار 2 (الحالي)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

القاعدة جزء من ملف التعريف my-scale-settings (autoscale-name يتطابق مع name ملف التعريف). تشير قيمة الوسيطة condition إلى أنه يجب تشغيل القاعدة عندما "يتجاوز متوسط ​​استهلاك وحدة المعالجة المركزية بين مثيلات الجهاز الظاهري 70% لمدة خمس دقائق". عند استيفاء هذا الشرط، يتم تخصيص مثيلات أخرى للجهاز الظاهري.

ملاحظة

لمزيد من المعلومات حول بنية CLI، راجع az monitor autoscale.

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

إنشاء تعريف الدور:

rule_scale_out = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="CpuUtilizationPercentage",
        metric_resource_uri = deployment.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "GreaterThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 70
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 2, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

تشير هذه القاعدة إلى متوسط آخر 5 دقائق لـ CPUUtilizationpercentage من الوسيطات metric_name، وtime_window، وtime_aggregation. عندما تكون قيمة المقياس أكبر من threshold 70، يُخصص مثيلان آخران للجهاز الظاهري.

حدّث ملف التعريف my-scale-settings لتضمين هذه القاعدة:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out
                ]
            )
        ]
    }
)

استوديو

في قسم Rules، حدد Add a rule. يتم عرض صفحة Scale rule. استخدم المعلومات التالية لتعبئة الحقول في هذه الصفحة:

• عيّن Metric name على CPU Utilization Percentage.
• عيّن Operator على Greater than واضبط Metric threshold على 70.
• عيّن Duration (minutes) على 5. اترك إحصاء الحبوب الزمنية على أنها متوسط ​​.
• قم بتعيين Operation على Increase count by وتعيين Instance count على 2.

أخيراً، حدد الزر Add لإنشاء القاعدة.

إنشاء قاعدة لتوسيع نطاق استخدام القياسات

عندما يكون الحمل خفيفاً، يمكن أن يؤدي القياس في القاعدة إلى تقليل عدد مثيلات الجهاز الظاهري. سيحرر المثال التالي عقدة واحدة، إلى حد أدنى 2، إذا كان حمل وحدة المعالجة المركزية أقل من 30% لمدة 5 دقائق:

Azure CLI

ينطبق على:ملحق CLI للتعلم الآلي من Azure v2 (الحالي)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

إنشاء تعريف الدور:

rule_scale_in = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="CpuUtilizationPercentage",
        metric_resource_uri = deployment.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "LessThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 30
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 1, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

حدّث ملف التعريف my-scale-settings لتضمين هذه القاعدة:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out, 
                    rule_scale_in
                ]
            )
        ]
    }
)

استوديو

في قسم Rules، حدد Add a rule. يتم عرض صفحة Scale rule. استخدم المعلومات التالية لتعبئة الحقول في هذه الصفحة:

• عيّن Metric name على CPU Utilization Percentage.
• عيّن Operator على Less than وحد المقياس على 30.
• عيّن Duration (minutes) على 5.
• عيّن Operation على Decrease count by واضبط Instance count على 1.

أخيراً، حدد الزر Add لإنشاء القاعدة.

إذا كان لديك كل من توسيع نطاق القواعد وقياسها، فستبدو القواعد الخاصة بك مشابهة للقطة الشاشة التالية. لقد حددت أنه إذا تجاوز متوسط ​​حمل وحدة المعالجة المركزية 70% لمدة 5 دقائق، فيجب تخصيص عقدتين إضافيتين، بحد أقصى 5. إذا كان حمل وحدة المعالجة المركزية أقل من 30% لمدة 5 دقائق، فيجب تحرير عقدة واحدة، بحد أدنى 2.

إنشاء قاعدة تحجيم بناءً على قياسات نقطة النهاية

تم تطبيق القواعد السابقة على التوزيع. الآن، أضف قاعدة تنطبق على نقطة النهاية. في هذا المثال، إذا كان وقت استجابة الطلب أكبر من متوسط ​​70 ملّي ثانية لمدة 5 دقائق، فخصص عقدة أخرى.

Azure CLI

ينطبق على:ملحق CLI للتعلم الآلي من Azure v2 (الحالي)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

إنشاء تعريف الدور:

rule_scale_out_endpoint = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="RequestLatency",
        metric_resource_uri = endpoint.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "GreaterThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 70
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 1, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

يشير حقل metric_resource_uri لهذه القاعدة الآن إلى نقطة النهاية بدلاً من التوزيع.

حدّث ملف التعريف my-scale-settings لتضمين هذه القاعدة:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out, 
                    rule_scale_in,
                    rule_scale_out_endpoint
                ]
            )
        ]
    }
)

استوديو

من أسفل الصفحة، حدد + Add a scale condition.

حدد Scale based on metric، ثم حدد Add a rule. يتم عرض صفحة Scale rule. استخدم المعلومات التالية لتعبئة الحقول في هذه الصفحة:

• عيّن Metric source إلى Other resource.
• عيّن Resource type إلى Machine Learning online endpoints.
• قم بتعيين Resource إلى نقطة النهاية الخاصة بك.
• عيّن Metric name على Request latency.
• عيّن Operator على Greater than وعيِّن Metric threshold على 70.
• عيّن Duration (minutes) على 5.
• عيِّن Operation على Increase count by وتعيين Instance count على 1

إنشاء قواعد القياس على أساس الجدول الزمني

يمكنك أيضاً إنشاء قواعد لا تنطبق إلا في أيام معينة أو في أوقات معينة. في هذا المثال، تم تعيين عدد العقدة على 2 في عطلة نهاية الأسبوع.

Azure CLI

ينطبق على:ملحق CLI للتعلم الآلي من Azure v2 (الحالي)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

استوديو

من أسفل الصفحة، حدد + Add a scale condition. في شرط المقياس الجديد، استخدم المعلومات التالية لتعبئة الحقول:

• حدد Scale to a specific instance count.
• عيّن Instance count على 2.
• اضبط Schedule على Repeat specific days.
• اضبط الجدول على Repeat everySaturday and Sunday.

حذف الموارد

إذا كنت لا تنوي استخدام عمليات التوزيع الخاصة بك، فاحذفها:

Azure CLI

ينطبق على:ملحق CLI للتعلم الآلي من Azure v2 (الحالي)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python

ينطبق على: Python SDK azure-ai-ml v2 (الحالي)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

استوديو

1. انتقل إلى "Azure التعلم الآلي studio".
2. في شريط التنقل الأيمن، حدد صفحة نقاط النهاية.
3. حدد نقطة نهاية عن طريق التحقق من الدائرة المجاورة لاسم النموذج.
4. حدد⁧⁩حذف⁧⁩.

بدلاً من ذلك، يمكنك حذف نقطة نهاية عبر الإنترنت مُدارة مباشرةً في صفحة تفاصيل نقطة النهاية.

الخطوات التالية

لمعرفة المزيد حول القياس التلقائي باستخدام Azure Monitor، راجع المقالات التالية:

• التعرف على إعدادات المقياس التلقائي
• نظرة عامة حول أنماط التوسع التلقائي الشائعة
• أفضل ممارسات المقياس التلقائي
• استكشاف أخطاء تحجيم Azure التلقائي وإصلاحها