Online-eindpunten automatisch schalen in Azure Machine Learning

VAN TOEPASSING OP:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

In dit artikel leert u hoe u het resourcegebruik in een implementatie beheert door automatisch schalen te configureren op basis van metrische gegevens en planningen. Met het proces voor automatisch schalen kunt u automatisch de juiste hoeveelheid resources uitvoeren om de belasting van uw toepassing te verwerken. Online-eindpunten in Azure Machine Learning ondersteunen automatisch schalen via integratie met de functie voor automatisch schalen in Azure Monitor.

Met automatische schaalaanpassing van Azure Monitor kunt u regels instellen waarmee een of meer acties voor automatisch schalen worden geactiveerd wanneer aan de voorwaarden van de regels wordt voldaan. U kunt schaalaanpassing op basis van metrische gegevens (zoals CPU-gebruik groter dan 70%), op planning gebaseerde schaalaanpassing (zoals schaalregels voor piekuren) of een combinatie van de twee configureren. Zie Overzicht van automatische schaalaanpassing in Microsoft Azure voor meer informatie.

U kunt op dit moment automatisch schalen beheren met behulp van de Azure CLI, de REST API's, Azure Resource Manager, de Python-SDK of de azure-portal op basis van de browser.

Vereisten

• Een geïmplementeerd eindpunt. Zie Een machine learning-model implementeren en beoordelen met behulp van een online-eindpunt voor meer informatie.

• Als u automatische schaalaanpassing wilt gebruiken, moet de rol microsoft.insights/autoscalesettings/write worden toegewezen aan de identiteit waarmee automatische schaalaanpassing wordt beheerd. U kunt ingebouwde of aangepaste rollen gebruiken die deze actie toestaan. Zie Gebruikers en rollen beheren voor algemene richtlijnen voor het beheren van rollen voor Azure Machine Learning. Zie Microsoft.Insights autoscalesettings voor meer informatie over instellingen voor automatisch schalen van Azure Monitor.

• Als u de Python SDK wilt gebruiken om de Azure Monitor-service te beheren, installeert u het azure-mgmt-monitor pakket met de volgende opdracht:

  pip install azure-mgmt-monitor
  

Profiel voor automatisch schalen definiëren

Als u automatische schaalaanpassing wilt inschakelen voor een online-eindpunt, definieert u eerst een profiel voor automatisch schalen. Het profiel geeft de standaard-, minimale en maximale capaciteit van de schaalset op. In het volgende voorbeeld ziet u hoe u het aantal VM-exemplaren (virtuele machines) instelt voor de standaard-, minimale en maximale schaalcapaciteit.

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

Als u de standaardinstellingen voor de Azure CLI nog niet hebt ingesteld, slaat u de standaardinstellingen op. Voer deze code uit om te voorkomen dat de waarden voor uw abonnement, werkruimte en resourcegroep meerdere keren worden doorgegeven:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Stel de namen van het eindpunt en de implementatie in:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Haal de Azure Resource Manager-id van de implementatie en het eindpunt op:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Maak het profiel voor automatische schaalaanpassing:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

Notitie

Zie de naslaginformatie az monitor autoscale voor meer informatie.

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

1. Importeer de benodigde modules:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Definieer variabelen voor de werkruimte, het eindpunt en de implementatie:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Azure Machine Learning- en Azure Monitor-clients ophalen:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Haal het eindpunt en de implementatieobjecten op:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Een profiel voor automatisch schalen maken:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

Studio

1. Ga in Azure Machine Learning-studio naar uw werkruimte en selecteer Eindpunten in het linkermenu.

2. Selecteer in de lijst met beschikbare eindpunten het eindpunt dat u wilt configureren:

   

3. Selecteer op het tabblad Details voor het geselecteerde eindpunt de optie Automatisch schalen configureren:

   

4. Voor de optie Kiezen hoe u uw resources wilt schalen, selecteert u Aangepaste automatische schaalaanpassing om de configuratie te starten.

5. Voor de optie Standaardschaalvoorwaarde configureert u de volgende waarden:

   • Schaalmodus: Selecteer Schalen op basis van een metrische waarde.
   • Minimum aantal exemplaren>: stel de waarde in op 2.
   • Maximum aantal exemplaren>: stel de waarde in op 5.
   • Standaardlimieten voor exemplaren>: stel de waarde in op 2.

   

Laat het configuratievenster open. In de volgende sectie configureert u de instellingen voor regels .

Regel voor uitschalen maken op basis van metrische implementatiegegevens

Een algemene uitschaalregel is het verhogen van het aantal VM-exemplaren wanneer de gemiddelde CPU-belasting hoog is. In het volgende voorbeeld ziet u hoe u twee knooppunten (maximaal het maximum) toewijst als de gemiddelde CPU-belasting gedurende 5 minuten groter is dan 70%:

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

De regel maakt deel uit van het my-scale-settings profiel, waarbij autoscale-name het gedeelte van het profiel overeenkomt name . De waarde van het regelargument condition geeft aan dat de regel wordt geactiveerd wanneer 'Het gemiddelde CPU-verbruik tussen de VM-exemplaren langer is dan 70% gedurende 5 minuten'. Wanneer aan de voorwaarde wordt voldaan, worden er nog twee VM-exemplaren toegewezen.

Notitie

Zie de naslaginformatie over az monitor autoscale Azure CLI syntaxis voor meer informatie.

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

1. Maak de regeldefinitie:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Deze regel verwijst naar het gemiddelde van de laatste 5 minuten van de CPUUtilizationpercentage waarde uit de argumenten metric_name, time_windowen time_aggregation. Wanneer de waarde van de metrische waarde groter is dan de threshold 70, wijst de implementatie nog twee VM-exemplaren toe.

2. Werk het my-scale-settings profiel bij om deze regel op te nemen:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Studio

De volgende stappen gaan verder met de configuratie van automatische schaalaanpassing.

1. Selecteer voor de optie Regels de koppeling Een regel toevoegen. De pagina Regel schalen wordt geopend.

2. Configureer op de pagina Regel schalen de volgende waarden:

   • Metrische naam: Selecteer percentage CPU-gebruik.
   • Operator: Ingesteld op Groter dan.
   • Drempelwaarde voor metrische gegevens: stel de waarde in op 70.
   • Duur (minuten): stel de waarde in op 5.
   • Tijdsintervalstatistiek: Selecteer Gemiddelde.
   • Bewerking: Selecteer Het aantal verhogen op.
   • Aantal exemplaren: Stel de waarde in op 2.

3. Selecteer Toevoegen om de regel te maken:

   

Laat het configuratievenster open. In de volgende sectie past u de instellingen voor regels aan.

Een inschaalregel maken op basis van metrische implementatiegegevens

Wanneer de gemiddelde CPU-belasting licht is, kan een regel voor inschalen het aantal VM-exemplaren verminderen. In het volgende voorbeeld ziet u hoe u één knooppunt kunt vrijgeven tot een minimum van twee, als de CPU-belasting gedurende vijf minuten minder dan 30% is.

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

1. Maak de regeldefinitie:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Werk het my-scale-settings profiel bij om deze regel op te nemen:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Studio

Met de volgende stappen past u de regelsconfiguratie aan ter ondersteuning van een regel voor schalen.

1. Selecteer voor de optie Regels de koppeling Een regel toevoegen. De pagina Regel schalen wordt geopend.

2. Configureer op de pagina Regel schalen de volgende waarden:

   • Metrische naam: Selecteer percentage CPU-gebruik.
   • Operator: Ingesteld op kleiner dan.
   • Drempelwaarde voor metrische gegevens: stel de waarde in op 30.
   • Duur (minuten): stel de waarde in op 5.
   • Tijdsintervalstatistiek: Selecteer Gemiddelde.
   • Bewerking: Selecteer Aantal verlagen op.
   • Aantal exemplaren: Stel de waarde in op 1.

3. Selecteer Toevoegen om de regel te maken:

   

   Als u zowel uitschaal- als inschaalregels configureert, zien uw regels er ongeveer als volgt uit. De regels geven aan dat als de gemiddelde CPU-belasting gedurende vijf minuten meer dan 70% overschrijdt, er twee knooppunten moeten worden toegewezen, tot aan de limiet van vijf. Als de CPU-belasting gedurende 5 minuten kleiner is dan 30%, moet één knooppunt worden vrijgegeven tot ten minste twee.

   

Laat het configuratievenster open. In de volgende sectie geeft u andere schaalinstellingen op.

Een schaalregel maken op basis van metrische eindpuntgegevens

In de vorige secties hebt u regels gemaakt om in of uit te schalen op basis van metrische implementatiegegevens. U kunt ook een regel maken die van toepassing is op het implementatie-eindpunt. In deze sectie leert u hoe u een ander knooppunt toewijst wanneer de aanvraaglatentie gedurende vijf minuten groter is dan gemiddeld 70 milliseconden.

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

1. Maak de regeldefinitie:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Het veld van metric_resource_uri deze regel verwijst nu naar het eindpunt in plaats van de implementatie.

2. Werk het my-scale-settings profiel bij om deze regel op te nemen:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Studio

Met de volgende stappen gaat u verder met de regelconfiguratie op de pagina Aangepaste automatische schaalaanpassing .

1. Selecteer onderaan de pagina de koppeling Een schaalvoorwaarde toevoegen.

2. Selecteer op de pagina Schaalvoorwaarde Schalen op basis van metrische gegevens en selecteer vervolgens de koppeling Een regel toevoegen. De pagina Regel schalen wordt geopend.

3. Configureer op de pagina Regel schalen de volgende waarden:

   • Metrische bron: Selecteer andere resource.
   • Resourcetype: Selecteer Online-eindpunten voor Machine Learning.
   • Resource: Selecteer uw eindpunt.
   • Naam van metrische waarde: Selecteer latentie van aanvraag.
   • Operator: Ingesteld op Groter dan.
   • Drempelwaarde voor metrische gegevens: stel de waarde in op 70.
   • Duur (minuten): stel de waarde in op 5.
   • Tijdsintervalstatistiek: Selecteer Gemiddelde.
   • Bewerking: Selecteer Het aantal verhogen op.
   • Aantal exemplaren: Stel de waarde in op 1.

4. Selecteer Toevoegen om de regel te maken:

   

Id's zoeken voor ondersteunde metrische gegevens

Als u andere metrische gegevens in code wilt gebruiken om regels voor automatisch schalen in te stellen met behulp van de Azure CLI of de SDK, raadpleegt u de tabel in Beschikbare metrische gegevens.

Schaalregel maken op basis van planning

U kunt ook regels maken die alleen op bepaalde dagen of op bepaalde tijdstippen van toepassing zijn. In deze sectie maakt u een regel waarmee het aantal knooppunten wordt ingesteld op 2 in het weekend.

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Studio

Met de volgende stappen configureert u de regel met opties op de pagina Aangepaste automatische schaalaanpassing in de studio.

1. Selecteer onderaan de pagina de koppeling Een schaalvoorwaarde toevoegen.

2. Selecteer op de pagina Voorwaarde schalen de optie Schalen naar een specifiek aantal exemplaren en selecteer vervolgens de koppeling Een regel toevoegen. De pagina Regel schalen wordt geopend.

3. Configureer op de pagina Regel schalen de volgende waarden:

   • Aantal exemplaren: Stel de waarde in op 2.
   • Planning: Selecteer Specifieke dagen herhalen.
   • Stel het schemapatroon in: Selecteer Elke en zaterdag en zondag herhalen.

4. Selecteer Toevoegen om de regel te maken:

   

Automatische schaalaanpassing in- of uitschakelen

U kunt een specifiek profiel voor automatisch schalen in- of uitschakelen.

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

Studio

• Als u een profiel voor automatische schaalaanpassing wilt uitschakelen, selecteert u Handmatig schalen en selecteert u Opslaan.

• Als u een profiel voor automatische schaalaanpassing wilt inschakelen, selecteert u Aangepaste automatische schaalaanpassing. De studio bevat alle herkende profielen voor automatische schaalaanpassing voor de werkruimte. Selecteer een profiel en selecteer Opslaan om in te schakelen.

Resources verwijderen

Als u uw implementaties niet gaat gebruiken, verwijdert u de resources met de volgende stappen.

Azure-CLI

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python SDK

VAN TOEPASSING OP: Python SDK azure-ai-ml v2 (actueel)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

Studio

1. Ga in Azure Machine Learning-studio naar uw werkruimte en selecteer Eindpunten in het linkermenu.

2. Selecteer in de lijst met eindpunten het eindpunt dat u wilt verwijderen (controleer de cirkel naast de modelnaam).

3. Selecteer Verwijderen.

U kunt ook een beheerd online-eindpunt rechtstreeks op de pagina met eindpuntdetails verwijderen.

Gerelateerde inhoud

• Meer informatie over instellingen voor automatisch schalen
• Algemene patronen voor automatische schaalaanpassing controleren
• Aanbevolen procedures voor automatisch schalen verkennen