Scalabilità automatica di endpoint online in Azure Machine Learning

SI APPLICA A:Estensione ml dell'interfaccia della riga di comando di Azure v2 (corrente)Python SDK azure-ai-ml v2 (corrente)

Questo articolo illustra come gestire l'uso della risorsa in una distribuzione configurando la scalabilità automatica in base alle metriche e alle pianificazioni. Il processo di scalabilità automatica consente di eseguire automaticamente la giusta quantità di risorse per gestire il carico nell'applicazione. Gli endpoint online in Azure Machine Learning supportano la scalabilità automatica tramite l'integrazione con la funzionalità di scalabilità automatica in Monitoraggio di Azure.

La scalabilità automatica di Monitoraggio di Azure consente di impostare regole che attivano una o più azioni di scalabilità automatica nel momento in cui vengono soddisfatte le condizioni. È possibile configurare il ridimensionamento basato sulle metriche (ad esempio l'utilizzo della CPU superiore al 70%), il ridimensionamento basato sulla pianificazione (ad esempio le regole di ridimensionamento per le ore di ufficio di punta) o una combinazione dei due. Per altre informazioni, vedere Panoramica della scalabilità automatica in Microsoft Azure.

È attualmente possibile gestire la scalabilità automatica usando l'interfaccia della riga di comando di Azure, le API REST, Azure Resource Manager, Python SDK o il portale di Azure basato su browser.

Prerequisiti

• Un endpoint distribuito. Per altre informazioni, vedere Distribuire e assegnare punteggi a un modello di Machine Learning usando un endpoint online.

• Per usare la scalabilità automatica, è necessario assegnare il ruolo microsoft.insights/autoscalesettings/write all'identità che gestisce la scalabilità automatica. È possibile usare qualsiasi ruolo predefinito o personalizzato che consenta questa azione. Per indicazioni generali sulla gestione dei ruoli per Azure Machine Learning, vedere Gestire utenti e ruoli. Per altre informazioni sulla scalabilità automatica da Monitoraggio di Azure, vedere Microsoft.Insights autoscalesettings.

• Per usare Python SDK per gestire il servizio Monitoraggio di Azure, installare il pacchetto azure-mgmt-monitor con il comando seguente:

  pip install azure-mgmt-monitor
  

Definire il profilo di scalabilità automatica

Per abilitare la scalabilità automatica per un endpoint online, è innanzitutto necessario definire un profilo di scalabilità automatica. Questo profilo specifica la capacità predefinita, minima e massima del set di scalabilità. L'esempio seguente illustra come impostare il numero di istanze di macchine virtuali (VM) per la capacità di scalabilità predefinita, minima e massima.

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

Se le impostazioni predefinite per l'interfaccia della riga di comando di Azure non sono già state impostate, salvare le proprie impostazioni predefinite. Per evitare di passare più volte i valori per la sottoscrizione, l'area di lavoro e il gruppo di risorse, eseguire questo codice:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Impostare i nomi di endpoint e distribuzione:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Ottenere l'ID della distribuzione e dell'endpoint per Azure Resource Manager:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Creare il profilo di scalabilità automatica:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

Nota

Per altre informazioni, vedere il riferimento scalabilità automatica monitor az.

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Importare i moduli necessari:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Definire variabili per l'area di lavoro, l'endpoint e la distribuzione:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Ottenere i client di Azure Machine Learning e Monitoraggio di Azure:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Ottenere gli oggetti endpoint e distribuzione:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Creare un profilo di scalabilità automatica:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

Studio

1. In studio di Azure Machine Learning passare all'area di lavoro e selezionare Endpoint dal menu a sinistra.

2. Nell'elenco degli endpoint disponibili selezionare l'endpoint da configurare:

   

3. Nella scheda Dettagli per l'endpoint scelto, selezionare Configura ridimensionamento automatico:

   

4. Per l'opzione Scegliere come ridimensionare le risorse, selezionare Scalabilità automatica personalizzata per avviare la configurazione.

5. Per l'opzione condizione di scalabilità predefinita, configurare i valori seguenti:

   • Modalità ridimensionamento: selezionare Ridimensiona in base a una metrica.
   • Limiti dell'istanza>Minimo: impostare il valore su 2.
   • Limiti dell'istanza>Massimo: impostare il valore su 5.
   • Limiti dell'istanza>Predefinito: impostare il valore su 2.

   

Lasciare aperto il riquadro di configurazione. Nella sezione successiva si configurano le impostazioni per le regole.

Creare una regola di scale-out basata sulle metriche di distribuzione

Una regola di scale-out comune consiste nell'aumentare il numero di istanze di VM quando il carico medio della CPU è elevato. L'esempio seguente mostra come allocare altri due nodi (fino al massimo) se il carico medio della CPU è maggiore del 70% per cinque minuti:

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

La regola è parte del profilo my-scale-settings dove autoscale-name corrisponde alla parte name del profilo. Il valore dell'argomento per la regola condition indica che la regola viene attivata quando "Il consumo medio della CPU tra le istanze di VM supera il 70% per cinque minuti". Quando la condizione è soddisfatta, vengono allocate altre due istanze di VM.

Nota

Per altre informazioni, vedere il riferimento sulla sintassi dell'interfaccia della riga di comando di Azure scalabilità automatica monitor az.

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Creare la definizione della regola:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Questa regola fa riferimento alla media degli ultimi cinque minuti del valore CPUUtilizationpercentage degli argomenti metric_name, time_window e time_aggregation. Se il valore della metrica è maggiore del threshold di 70, la distribuzione alloca altre due istanze di VM.

2. Aggiornare il profilo my-scale-settings per includere questa regola:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Studio

I passi seguenti proseguono la configurazione della scalabilità automatica.

1. Per l'opzione Regole, selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

2. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Nome metrica: selezionare Percentuale utilizzo CPU.
   • Operatore: impostato su Maggiore di.
   • Soglia metrica: impostare il valore su 70.
   • Durata (minuti): impostare il valore su 5.
   • Statistica intervallo di tempo: selezionare Media.
   • Operazione: selezionare Aumenta conteggio di.
   • Numero di istanze: impostare il valore su 2.

3. Selezionare Aggiungi per creare la regola:

   

Lasciare aperto il riquadro di configurazione. Nella sezione successiva si regolano le impostazioni di Regole.

Creare una regola di riduzione in base alle metriche di distribuzione

Quando il carico medio della CPU è leggero, una regola di riduzione può ridurre il numero di istanze di VM. L'esempio seguente mostra come rilasciare un singolo nodo fino a lasciarne un minimo di due, se il carico della CPU è inferiore al 30% per cinque minuti.

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Creare la definizione della regola:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Aggiornare il profilo my-scale-settings per includere questa regola:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Studio

I passi seguenti regolano la configurazione di Regole per supportare una regola di riduzione.

1. Per l'opzione Regole, selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

2. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Nome metrica: selezionare Percentuale utilizzo CPU.
   • Operatore: impostato su Minore di.
   • Soglia metrica: impostare il valore su 30.
   • Durata (minuti): impostare il valore su 5.
   • Statistica intervallo di tempo: selezionare Media.
   • Operazione: selezionare Riduci conteggio di.
   • Numero di istanze: impostare il valore su 1.

3. Selezionare Aggiungi per creare la regola:

   

   Se si configurano regole sia di scale-out sia di riduzione, saranno simili alla schermata seguente. Le regole specificano che se il carico medio della CPU supera il 70% per cinque minuti, devono essere allocati altri due nodi, fino al limite di cinque. Se il carico della CPU è inferiore al 30% per cinque minuti, deve essere rilasciato un nodo singolo fino a lasciarne un minimo di due.

   

Lasciare aperto il riquadro di configurazione. Nella sezione successiva si specificano altre impostazioni di scalabilità.

Creare una regola di scalabilità basata sulle metriche degli endpoint

Nelle sezioni precedenti sono state create regole per aumentare o ridurre le prestazioni in base alle metriche di distribuzione. Inoltre è possibile creare una regola applicabile all'endpoint di distribuzione. In questa sezione si apprenderà come allocare un altro nodo quando la latenza della richiesta è maggiore di una media di 70 millisecondi per 5 minuti.

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Creare la definizione della regola:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Il campo metric_resource_uri di questa regola ora fa riferimento all'endpoint anziché alla distribuzione.

2. Aggiornare il profilo my-scale-settings per includere questa regola:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Studio

I passi seguenti continuano la configurazione della regola nella pagina Scalabilità automatica personalizzata.

1. Nella parte inferiore della pagina selezionare il collegamento Aggiungi una condizione di scalabilità.

2. Nella pagina Condizione di scalabilità, selezionare Ridimensiona in base alla metrica e quindi selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

3. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Origine metrica: selezionare Altra risorsa.
   • Tipo di risorsa: selezionare Endpoint online di Machine Learning.
   • Risorsa: selezionare l'endpoint.
   • Nome metrica: selezionare Latenza della richiesta.
   • Operatore: impostato su Maggiore di.
   • Soglia metrica: impostare il valore su 70.
   • Durata (minuti): impostare il valore su 5.
   • Statistica intervallo di tempo: selezionare Media.
   • Operazione: selezionare Aumenta conteggio di.
   • Numero di istanze: impostare il valore su 1.

4. Selezionare Aggiungi per creare la regola:

   

Trovare gli ID per le metriche supportate

Se si desidera usare altre metriche nel codice, per configurare le regole di scalabilità automatica usando l'interfaccia della riga di comando di Azure o il pacchetto SDK, vedere la tabella in Metriche disponibili.

Creare una regola di scalabilità in base alla pianificazione

È anche possibile creare regole che vengono applicate solo in orari o giorni specifici. In questa sezione viene creata una regola che imposta il numero di nodi su 2 nei fine settimana.

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Studio

I passi seguenti consentono di configurare la regola con le opzioni nella pagina Scalabilità automatica personalizzata in Studio.

1. Nella parte inferiore della pagina selezionare il collegamento Aggiungi una condizione di scalabilità.

2. Nella pagina Condizione di scalabilità selezionare Ridimensiona in un numero di istanze specifico, quindi selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

3. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Numero di istanze: impostare il valore su 2.
   • Pianificazione: selezionare Ripeti in giorni specifici.
   • Impostare il criterio di pianificazione: selezionare Ripeti ogni e sabato e domenica.

4. Selezionare Aggiungi per creare la regola:

   

Abilitare o disabilitare la scalabilità automatica

È possibile abilitare o disabilitare uno specifico profilo di scalabilità automatica.

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

Studio

• Per disabilitare un profilo di scalabilità automatica in uso, selezionare Scalabilità manuale e poi selezionare Salva.

• Per abilitare un profilo di scalabilità automatica, selezionare Scalabilità automatica personalizzata. Studio elenca tutti i profili di scalabilità automatica riconosciuti per l'area di lavoro. Per abilitare, selezionare un profilo e poi selezionare Salva.

Eliminare risorse

Se non si intende usare le distribuzioni, eliminare le risorse seguendo i passi seguenti.

Interfaccia della riga di comando di Azure

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

Studio

1. In studio di Azure Machine Learning, passare all'area di lavoro e selezionare Endpoint dal menu a sinistra.

2. Nell'elenco degli endpoint selezionare quello da eliminare (selezionare il cerchio accanto al nome del modello).

3. Selezionare Elimina.

In alternativa, è possibile eliminare un endpoint online gestito direttamente nella pagina dei dettagli dell'endpoint.

Contenuto correlato

• Informazioni sulle impostazioni di scalabilità automatica
• Rivedere i modelli comuni di scalabilità automatica
• Esplorare le procedure consigliate per la scalabilità automatica