Profilare il modello per determinare l'utilizzo delle risorse

  • Articolo

SI APPLICA A:estensione ml dell'interfaccia della riga di comando (CLI) di Azure v1azureml Python SDKv1

Questo articolo illustra come profilare una Machine Learning per determinare la quantità di CPU e memoria da allocare per il modello durante la distribuzione come servizio Web.

Importante

Questo articolo si applica all'interfaccia della riga di comando (CLI) v1 e all'SDK v1. Questa tecnica di profilatura non è disponibile per la v2 dell'interfaccia della riga di comando (CLI) o dell'SDK.

Importante

Alcuni comandi dell'interfaccia della riga di comando (CLI) di Azure in questo articolo usano l'estensione azure-cli-ml, o v1, per Azure Machine Learning. L'assistenza per l'estensione v1 terminerà il 30 settembre 2025. Fino a tale data è possibile installare e usare l'estensione v1.

Consigliamo di passare all'estensione ml, o v2, prima del 30 settembre 2025. Per ulteriori informazioni sull'estensione v2, vedere Estensione dell'interfaccia della riga di comando (CLI) di Azure ML e Python SDK v2.

Prerequisiti

Questo articolo presuppone che sia stato eseguito il training e la registrazione di un modello con Azure Machine Learning. Vedere l'esercitazione di esempio qui per un esempio di training e registrazione di un modello scikit-learn con Azure Machine Learning.

Limiti

  • La profilatura non funzionerà quando il Registro Azure Container (ACR) per l'area di lavoro è dietro una rete virtuale.

Eseguire il profiler

Dopo aver registrato il modello e preparato gli altri componenti necessari per la distribuzione, è possibile determinare la CPU e la memoria necessarie per il servizio distribuito. La profilatura testa il servizio che esegue il modello e restituisce informazioni quali l'utilizzo della CPU, l'utilizzo della memoria e la latenza di risposta. Inoltre fornisce una raccomandazione per la CPU e la memoria in base all'utilizzo delle risorse.

Per profilare il modello, è necessario:

  • Un modello registrato.
  • Una configurazione dell'inferenza in base alla definizione dell'ambiente di inferenza e allo script di immissione.
  • Un set di dati tabulari a colonna singola, in cui ogni riga contiene una stringa che rappresenta i dati della richiesta di esempio.

Importante

A questo punto è supportata solo la profilatura dei servizi che prevedono che i dati della richiesta siano una stringa, ad esempio: json serializzata stringa, testo, immagine serializzata stringa, ecc. Il contenuto di ogni riga del set di dati (stringa) verrà inserito nel corpo della richiesta HTTP e inviato al servizio incapsulando il modello per l'assegnazione dei punteggi.

Importante

È supportata solo la profilatura fino a 2 CPU nell'area ChinaEast2 e USGovArizona.

Di seguito è riportato un esempio di come creare un set di dati di input per profilare un servizio che prevede che i dati delle richieste in ingresso contengano json serializzato. In questo caso, è stato creato un set di dati basato su 100 istanze dello stesso contenuto dei dati della richiesta. Negli scenari reali è consigliabile usare set di dati di dimensioni maggiori contenenti vari input, soprattutto se l'utilizzo/comportamento delle risorse del modello dipende dall'input.

SI APPLICA A:azureml Python SDK v1

import json
from azureml.core import Datastore
from azureml.core.dataset import Dataset
from azureml.data import dataset_type_definitions

input_json = {'data': [[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
                       [10, 9, 8, 7, 6, 5, 4, 3, 2, 1]]}
# create a string that can be utf-8 encoded and
# put in the body of the request
serialized_input_json = json.dumps(input_json)
dataset_content = []
for i in range(100):
    dataset_content.append(serialized_input_json)
dataset_content = '\n'.join(dataset_content)
file_name = 'sample_request_data.txt'
f = open(file_name, 'w')
f.write(dataset_content)
f.close()

# upload the txt file created above to the Datastore and create a dataset from it
data_store = Datastore.get_default(ws)
data_store.upload_files(['./' + file_name], target_path='sample_request_data')
datastore_path = [(data_store, 'sample_request_data' +'/' + file_name)]
sample_request_data = Dataset.Tabular.from_delimited_files(
    datastore_path, separator='\n',
    infer_column_types=True,
    header=dataset_type_definitions.PromoteHeadersBehavior.NO_HEADERS)
sample_request_data = sample_request_data.register(workspace=ws,
                                                   name='sample_request_data',
                                                   create_new_version=True)

Dopo aver creato il set di dati contenente i dati della richiesta di esempio, creare una configurazione di inferenza. La configurazione dell'inferenza si basa sul score.py e sulla definizione dell'ambiente. L'esempio seguente illustra come creare la configurazione di inferenza ed eseguire la profilatura:

from azureml.core.model import InferenceConfig, Model
from azureml.core.dataset import Dataset


model = Model(ws, id=model_id)
inference_config = InferenceConfig(entry_script='path-to-score.py',
                                   environment=myenv)
input_dataset = Dataset.get_by_name(workspace=ws, name='sample_request_data')
profile = Model.profile(ws,
            'unique_name',
            [model],
            inference_config,
            input_dataset=input_dataset)

profile.wait_for_completion(True)

# see the result
details = profile.get_details()

SI APPLICA A:Estensione ml dell’interfaccia della riga di comando (CLI) di Azure v1

Il comando seguente illustra come profilare un modello usando l'interfaccia della riga di comando (CLI):

az ml model profile -g <resource-group-name> -w <workspace-name> --inference-config-file <path-to-inf-config.json> -m <model-id> --idi <input-dataset-id> -n <unique-name>

Suggerimento

Per rendere persistenti le informazioni restituite dalla profilatura, usare tag o proprietà per il modello. L'uso di tag o proprietà archivia i dati con il modello nel registro dei modelli. Gli esempi seguenti illustrano l'aggiunta di un nuovo tag contenente le informazioni requestedCpu e requestedMemoryInGb:

model.add_tags({'requestedCpu': details['requestedCpu'],
                'requestedMemoryInGb': details['requestedMemoryInGb']})

az ml model profile -g <resource-group-name> -w <workspace-name> --i <model-id> --add-tag requestedCpu=1 --add-tag requestedMemoryInGb=0.5

Passaggi successivi