Автомасштабирование сетевой конечной точки

ПРИМЕНИМО К:Расширение машинного обучения Azure CLI версии 2 (в настоящее время)Пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

Благодаря автомасштабированию автоматически запускается именно тот объем ресурсов, который нужен для обработки нагрузки в вашем приложении. Сетевые конечные точки поддерживают автоматическое масштабирование через интеграцию с функцией автомасштабирования Azure Monitor.

Автомасштабирование Azure Monitor поддерживает широкий набор правил. Можно настроить масштабирование на основе метрик (например, загрузка ЦП >70%), масштабирование на основе расписания (например, правила масштабирования для пиковых рабочих часов) или их сочетание. Дополнительные сведения см. в разделе Общие сведения об автомасштабировании в Microsoft Azure.

Сейчас автомасштабированием можно управлять с помощью Azure CLI, RESTFUL, ARM или портала Azure на основе браузера. Другие пакеты SDK для Машинного обучения Azure, такие как пакет SDK для Python, со временем будут добавлять поддержку.

Предварительные требования

• Развернутая конечная точка. Развертывание и оценка модели машинного обучения с помощью сетевой конечной точки.
• Чтобы использовать автомасштабирование, роль microsoft.insights/autoscalesettings/write должна быть назначена удостоверению, управляющее автомасштабированием. Вы можете использовать любые встроенные или настраиваемые роли, которые разрешают это действие. Общие рекомендации по управлению ролями для Машинного обучения Azure см. в статье Управление пользователями и ролями. Дополнительные сведения о параметрах автомасштабирования из Azure Monitor см. в статье Параметры автомасштабирования Microsoft.Insights.

Определение профиля автомасштабирования

Чтобы включить автомасштабирование для конечной точки, сначала определите профиль автомасштабирования. Этот профиль определяет используемую по умолчанию, минимальную и максимальную емкости масштабируемого набора. В следующем примере минимальная емкость и емкость по умолчанию составляют два экземпляра виртуальных машин, а максимальная — пять.

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI версии 2 (текущая версия)

В следующем фрагменте кода задаются имена конечной точки и развертывания:

# set your existing endpoint name
ENDPOINT_NAME=your-endpoint-name
DEPLOYMENT_NAME=blue

Затем получите идентификатор Azure Resource Manager развертывания и конечной точки:

# ARM id of the deployment
DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
# ARM id of the deployment. todo: change to --query "id"
ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
# set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`

Следующий фрагмент кода создает профиль автомасштабирования:

az monitor autoscale create \
  --name $AUTOSCALE_SETTINGS_NAME \
  --resource $DEPLOYMENT_RESOURCE_ID \
  --min-count 2 --max-count 5 --count 2

Примечание

Дополнительные сведения см. на странице справки по автомасштабированию.

Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

Импортируйте модули:

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
from azure.mgmt.monitor import MonitorManagementClient
from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
import random 
import datetime 

Определите переменные для рабочей области, конечной точки и развертывания:

subscription_id = "<YOUR-SUBSCRIPTION-ID>"
resource_group = "<YOUR-RESOURCE-GROUP>"
workspace = "<YOUR-WORKSPACE>"

endpoint_name = "<YOUR-ENDPOINT-NAME>"
deployment_name = "blue"

Получение клиентов Машинного обучения Azure и Azure Monitor:

credential = DefaultAzureCredential()
ml_client = MLClient(
    credential, subscription_id, resource_group, workspace
)

mon_client = MonitorManagementClient(
    credential, subscription_id
)

Получение конечной точки и объектов развертывания:

deployment = ml_client.online_deployments.get(
    deployment_name, endpoint_name
)

endpoint = ml_client.online_endpoints.get(
    endpoint_name
)

Создание профиля автомасштабирования:

# Set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = []
            )
        ]
    }
)

Студия

В студии Машинного обучения Azure выберите свою рабочую область, а затем в левой части страницы выберите Конечные точки. Когда появится список конечных точек, выберите ту, которую нужно настроить.

На вкладке Сведения для конечной точки выберите пункт Настроить автоматическое масштабирование.

В разделе Выберите способ масштабирования ресурсов щелкните Пользовательское автомасштабирование, чтобы начать настройку. Для условия масштабирования по умолчанию используйте следующие значения:

• Для параметра Режим масштабирования — значение Масштабировать на основе метрики.
• Для параметра Минимум — значение 2.
• Для параметра Максимум — значение 5.
• Для параметра По умолчанию — значение 2.

Создание правила для увеличения масштаба с помощью метрик

Обычное правило масштабирования увеличивает количество экземпляров виртуальных машин при высокой средней загрузке ЦП. В следующем примере выделяются еще два узла (до максимального количества), если средняя нагрузка ЦП превышает 70 % в течение пяти минут:

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI версии 2 (текущая версия)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

Это правило составляет часть профиля my-scale-settings (autoscale-name соответствует name профиля). Значение аргумента condition говорит о том, что правило должно активироваться, когда "Среднее потребление ресурсов ЦП между экземплярами виртуальной машины превышает 70 % в течение пяти минут". При соблюдении этого условия выделяются два дополнительных экземпляра виртуальных машин.

Примечание

Дополнительные сведения о синтаксисе интерфейса командной строки см. в разделе az monitor autoscale.

Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

Создайте определение правила:

rule_scale_out = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="CpuUtilizationPercentage",
        metric_resource_uri = deployment.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "GreaterThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 70
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 2, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

Это правило относится к последним 5-минутным средним значениям CPUUtilizationpercentage из аргументов metric_name, time_window и time_aggregation. Когда значение метрики больше threshold из 70, выделяются еще два экземпляра виртуальных машин.

Обновите профиль my-scale-settings, чтобы включить это правило:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out
                ]
            )
        ]
    }
)

Студия

В разделе Правила выберите Добавить правило. Отобразится страница Правило масштабирования. Заполните поля на этой странице, используя следующие сведения:

• Задайте для параметра Имя метрики значение Процент использования ЦП.
• Задайте для параметра Оператор значение Больше, а для параметра Пороговое значение метрики — значение 70.
• Задайте для параметра Длительность (в минутах) значение 5. Для параметра Статистика интервала времени оставьте значение Средний.
• Задайте для параметра Операция значение Увеличить на, а для параметра Число экземпляров — значение 2.

Наконец, нажмите кнопку Добавить, чтобы создать правило.

Создание правила для уменьшения масштаба с помощью метрик

Когда нагрузка невелика, уменьшение масштаба по правилу может уменьшить количество экземпляров виртуальных машин. В следующем примере один узел освобождается, так что количество узлов сокращается до минимальных двух, если загрузка ЦП составляет меньше 30 % в течение 5 минут:

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI версии 2 (текущая версия)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

Создайте определение правила:

rule_scale_in = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="CpuUtilizationPercentage",
        metric_resource_uri = deployment.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "LessThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 30
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 1, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

Обновите профиль my-scale-settings, чтобы включить это правило:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out, 
                    rule_scale_in
                ]
            )
        ]
    }
)

Студия

В разделе Правила выберите Добавить правило. Отобразится страница Правило масштабирования. Заполните поля на этой странице, используя следующие сведения:

• Задайте для параметра Имя метрики значение Процент использования ЦП.
• Задайте для параметра Оператор значение Меньше, а для параметра Пороговое значение метрики — значение 30.
• Задайте для параметра Длительность (в минутах) значение 5.
• Задайте для параметра Операция значение Уменьшить на, а для параметра Число экземпляров — значение 1.

Наконец, нажмите кнопку Добавить, чтобы создать правило.

Если вы используете правила увеличения и уменьшения масштаба, они будут выглядеть примерно как на представленном ниже снимке экрана. Вы указали, что если средняя загрузка ЦП превышает 70 % в течение 5 минут, выделяются 2 дополнительных узла — до ограничения в 5 узлов. Если загрузка ЦП составляет меньше 30 % в течение 5 минут, освобождается один узел — до минимального количества в 2 узла.

Создание правила масштабирования на основе метрик конечной точки

К развертыванию применяются предыдущие правила. Теперь добавьте правило, которое применяется к конечной точке. В этом примере, если задержка запроса превышает среднее значение в 70 миллисекунд в течение 5 минут, выделяется другой узел.

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI версии 2 (текущая версия)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

Создайте определение правила:

rule_scale_out_endpoint = ScaleRule(
    metric_trigger = MetricTrigger(
        metric_name="RequestLatency",
        metric_resource_uri = endpoint.id, 
        time_grain = datetime.timedelta(minutes = 1),
        statistic = "Average",
        operator = "GreaterThan", 
        time_aggregation = "Last",
        time_window = datetime.timedelta(minutes = 5), 
        threshold = 70
    ), 
    scale_action = ScaleAction(
        direction = "Increase", 
        type = "ChangeCount", 
        value = 1, 
        cooldown = datetime.timedelta(hours = 1)
    )
)

Поле этого правила metric_resource_uri теперь ссылается на конечную точку, а не на развертывание.

Обновите профиль my-scale-settings, чтобы включить это правило:

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="my-scale-settings",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 5,
                    "default" : 2
                },
                rules = [
                    rule_scale_out, 
                    rule_scale_in,
                    rule_scale_out_endpoint
                ]
            )
        ]
    }
)

Студия

В нижней части страницы выберите + Добавить условие масштабирования.

Выберите Масштабирование на основе метрики, а затем Добавить правило. Отобразится страница Правило масштабирования. Заполните поля на этой странице, используя следующие сведения:

• Задайте для параметра Источник метрики значение Другой ресурс.
• Задайте для параметра Тип ресурса значение Сетевые конечные точки Машинного обучения Azure.
• Для параметра Ресурс в качестве значения укажите свою конечную точку.
• Задайте для параметра Имя метрики значение Задержка запросов.
• Задайте для параметра Оператор значение Больше, а для параметра Пороговое значение метрики — значение 70.
• Задайте для параметра Длительность (в минутах) значение 5.
• Задайте для параметра Операция значение Увеличить на, а для параметра Число экземпляров — значение 1.

Создание правил масштабирования на основе расписания

Кроме прочего можно создавать правила, действующие только в определенные дни или моменты времени. В этом примере число узлов в выходные составляет 2.

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI версии 2 (текущая версия)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Студия

В нижней части страницы выберите + Добавить условие масштабирования. Заполните поля в новом условии масштабирования, используя следующие сведения:

• Выберите параметр Масштабировать до указанного числа экземпляров.
• Задайте для параметра Число экземпляров значение 2.
• Задайте для параметра Расписание значение Повторять в определенные дни.
• Установите расписание Повторять каждуюсубботу и воскресенье.

Удаление ресурсов

Если вы не собираетесь использовать развертывания, удалите их:

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение ml для Azure CLI версии 2 (текущая версия)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: пакет SDK для Python azure-ai-ml версии 2 (текущая версия)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

Студия

1. Перейдите в Студию машинного обучения Azure.
2. На панели навигации слева выберите Конечные точки.
3. Выберите конечную точку, щелкнув кружок рядом с именем модели.
4. Выберите команду Удалить.

Кроме того, управляемую сетевую конечную точку можно удалить непосредственно на странице сведений о ней.

Дальнейшие действия

Дополнительные сведения об автомасштабировании с помощью Azure Monitor см. в следующих статьях:

• Основные сведения о параметрах автомасштабирования
• Обзор общих шаблонов автомасштабирования
• Рекомендации по автомасштабированию
• Устранение неполадок с автомасштабированием Azure