Condividi tramite

InferenceConfig Classe

  • Riferimento

Rappresenta le impostazioni di configurazione per un ambiente personalizzato usato per la distribuzione.

La configurazione dell'inferenza è un parametro di input per le azioni correlate alla Model distribuzione:

Inizializzare l'oggetto config.

Ereditarietà
builtins.object
InferenceConfig

Costruttore

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametri

Nome Descrizione
entry_script
Necessario
str

Percorso di un file locale contenente il codice da eseguire per l'immagine.
runtime
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".

Valore predefinito: None
conda_file
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.

Valore predefinito: None
extra_docker_file_steps
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.

Valore predefinito: None
source_directory
str

Percorso della cartella contenente tutti i file per creare l'immagine.

Valore predefinito: None
enable_gpu
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Il valore predefinito è False.

Valore predefinito: None
description
str

Descrizione da assegnare all'immagine.

Valore predefinito: None
base_image
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.

Valore predefinito: None
base_image_registry
ContainerRegistry

Registro immagini contenente l'immagine di base.

Valore predefinito: None
cuda_version
str

Versione di CUDA da installare per le immagini che necessitano del supporto della GPU. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, questa impostazione predefinita viene impostata su '9.1'.

Valore predefinito: None
environment
Environment

Oggetto ambiente da usare per la distribuzione. L'ambiente non deve essere registrato.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Valore predefinito: None
entry_script
Necessario
str

Percorso di un file locale contenente il codice da eseguire per l'immagine.
runtime
Necessario
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".
conda_file
Necessario
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.
extra_docker_file_steps
Necessario
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.
source_directory
Necessario
str

Percorso della cartella contenente tutti i file per creare l'immagine.
enable_gpu
Necessario
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Il valore predefinito è False.
description
Necessario
str

Descrizione da assegnare all'immagine.
base_image
Necessario
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.
base_image_registry
Necessario
ContainerRegistry

Registro immagini contenente l'immagine di base.
cuda_version
Necessario
str

Versione di CUDA da installare per le immagini che necessitano del supporto della GPU. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, questa impostazione predefinita viene impostata su '9.1'.
environment
Necessario
Environment

Oggetto ambiente da usare per la distribuzione. L'ambiente non deve essere registrato.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Commenti

Nell'esempio seguente viene illustrato come creare un oggetto InferenceConfig e usarlo per distribuire un modello.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabili

Nome Descrizione
entry_script
str

Percorso di un file locale contenente il codice da eseguire per l'immagine.
runtime
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".
conda_file
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.
extra_docker_file_steps
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.
source_directory
str

Percorso della cartella contenente tutti i file per creare l'immagine.
enable_gpu
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes.
azureml.core.model.InferenceConfig.description

Descrizione da assegnare all'immagine.
base_image
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.
base_image_registry
ContainerRegistry

Registro immagini contenente l'immagine di base.
cuda_version
str

Versione di CUDA da installare per le immagini che richiedono supporto GPU. L'immagine GPU deve essere usata in Servizi di Microsoft Azure, ad esempio Istanze di Azure Container, Calcolo di Azure Machine Learning, Macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, questa impostazione predefinita viene impostata su '9.1'.
azureml.core.model.InferenceConfig.environment

Oggetto ambiente da usare per la distribuzione. L'ambiente non deve essere registrato.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Metodi

build_create_payload

Compilare il payload di creazione per l'immagine contenitore.
build_profile_payload

Compilare il payload di profilatura per il pacchetto Modello.
validate_configuration

Verificare che i valori di configurazione specificati siano validi.

Genera un valore WebserviceException se la convalida ha esito negativo.
validation_script_content

Verificare che la sintassi dello script di punteggio sia valida con ast.parse.

Genera un valore UserErrorException se la convalida ha esito negativo.

build_create_payload

Compilare il payload di creazione per l'immagine contenitore.

build_create_payload(workspace, name, model_ids)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Oggetto area di lavoro in cui creare l'immagine.
name
Necessario
str

Nome dell'immagine.
model_ids
Necessario
list[str]

Elenco di ID modello da inserire nell'immagine.

Restituisce

Tipo Descrizione
dict

Payload di creazione dell'immagine del contenitore.

Eccezioni

Tipo Descrizione
WebserviceException

build_profile_payload

Compilare il payload di profilatura per il pacchetto Modello.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametri

Nome Descrizione
profile_name
Necessario
str

Nome dell'esecuzione della profilatura.
input_data
str

Dati di input per la profilatura.

Valore predefinito: None
workspace
Workspace

Oggetto Workspace in cui profilare il modello.

Valore predefinito: None
models
list[Model]

Elenco di oggetti modello. Può essere un elenco vuoto.

Valore predefinito: None
dataset_id
str

ID associato al set di dati contenente i dati di input per l'esecuzione della profilatura.

Valore predefinito: None
container_resource_requirements
ContainerResourceRequirements

requisiti di risorsa contenitore per l'istanza più grande in cui deve essere distribuito il modello

Valore predefinito: None
description
str

Descrizione da associare all'esecuzione della profilatura.

Valore predefinito: None

Restituisce

Tipo Descrizione
dict

Payload del profilo del modello

Eccezioni

Tipo Descrizione
WebserviceException

validate_configuration

Verificare che i valori di configurazione specificati siano validi.

Genera un valore WebserviceException se la convalida ha esito negativo.

validate_configuration()

Eccezioni

Tipo Descrizione
WebserviceException

validation_script_content

Verificare che la sintassi dello script di punteggio sia valida con ast.parse.

Genera un valore UserErrorException se la convalida ha esito negativo.

validation_script_content()

Eccezioni

Tipo Descrizione
UserErrorException