Partager via

InferenceConfig Classe

  • Référence

Représente les paramètres de configuration d’un environnement personnalisé utilisé pour le déploiement.

La configuration de l’inférence est un paramètre d’entrée pour les actions liées au déploiement de Model :

Initialisez l’objet config.

Héritage
builtins.object
InferenceConfig

Constructeur

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Paramètres

Nom Description
entry_script
Obligatoire
str

Chemin d’un fichier local qui contient le code à exécuter pour l’image.
runtime
str

Runtime à utiliser pour l’image. Actuellement, les runtimes pris en charge sont « spark-py » et « python ».

Valeur par défaut: None
conda_file
str

Chemin d’un fichier local contenant une définition d’environnement Conda à utiliser pour l’image.

Valeur par défaut: None
extra_docker_file_steps
str

Chemin d’un fichier local contenant les étapes Docker supplémentaires à exécuter durant la configuration d’une image.

Valeur par défaut: None
source_directory
str

Chemin du dossier qui contient tous les fichiers permettant de créer l’image.

Valeur par défaut: None
enable_gpu
bool

Indique s’il est nécessaire d’activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Valeur par défaut False.

Valeur par défaut: None
description
str

Description à fournir à cette image.

Valeur par défaut: None
base_image
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est proposée, l’image de base sera utilisée en fonction d’un paramètre d’exécution donné.

Valeur par défaut: None
base_image_registry
ContainerRegistry

Registre d’images contenant l’image de base.

Valeur par défaut: None
cuda_version
str

Version de CUDA à installer pour les images qui nécessitent une prise en charge du GPU. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont les versions 9.0, 9.1 et 10.0. Si enable_gpu est défini, la valeur par défaut est « 9.1 ».

Valeur par défaut: None
environment
Environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Indiquez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne remplacent PAS l’objet d’environnement. Les exceptions incluent entry_script, source_directory et description.

Valeur par défaut: None
entry_script
Obligatoire
str

Chemin d’un fichier local qui contient le code à exécuter pour l’image.
runtime
Obligatoire
str

Runtime à utiliser pour l’image. Actuellement, les runtimes pris en charge sont « spark-py » et « python ».
conda_file
Obligatoire
str

Chemin d’un fichier local contenant une définition d’environnement Conda à utiliser pour l’image.
extra_docker_file_steps
Obligatoire
str

Chemin d’un fichier local contenant les étapes Docker supplémentaires à exécuter durant la configuration d’une image.
source_directory
Obligatoire
str

Chemin du dossier qui contient tous les fichiers permettant de créer l’image.
enable_gpu
Obligatoire
bool

Indique s’il est nécessaire d’activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Valeur par défaut False.
description
Obligatoire
str

Description à fournir à cette image.
base_image
Obligatoire
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est proposée, l’image de base sera utilisée en fonction d’un paramètre d’exécution donné.
base_image_registry
Obligatoire
ContainerRegistry

Registre d’images contenant l’image de base.
cuda_version
Obligatoire
str

Version de CUDA à installer pour les images qui nécessitent une prise en charge du GPU. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont les versions 9.0, 9.1 et 10.0. Si enable_gpu est défini, la valeur par défaut est « 9.1 ».
environment
Obligatoire
Environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Indiquez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne remplacent PAS l’objet d’environnement. Les exceptions incluent entry_script, source_directory et description.

Remarques

L’exemple suivant montre comment créer un objet InferenceConfig et l’utiliser pour déployer un modèle.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variables

Nom Description
entry_script
str

Chemin d’un fichier local qui contient le code à exécuter pour l’image.
runtime
str

Runtime à utiliser pour l’image. Actuellement, les runtimes pris en charge sont « spark-py » et « python ».
conda_file
str

Chemin d’un fichier local contenant une définition d’environnement Conda à utiliser pour l’image.
extra_docker_file_steps
str

Chemin d’un fichier local contenant les étapes Docker supplémentaires à exécuter durant la configuration de l’image.
source_directory
str

Chemin du dossier qui contient tous les fichiers permettant de créer l’image.
enable_gpu
bool

Indique s’il est nécessaire d’activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service.
azureml.core.model.InferenceConfig.description

Description à fournir à cette image.
base_image
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est proposée, l’image de base sera utilisée en fonction d’un paramètre d’exécution donné.
base_image_registry
ContainerRegistry

Registre d’images contenant l’image de base.
cuda_version
str

Version de CUDA à installer pour les images qui nécessitent une prise en charge du GPU. L’image GPU doit être utilisée sur les services Microsoft Azure tels que Azure Container Instances, Capacité de calcul Azure Machine Learning, Machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont les versions 9.0, 9.1 et 10.0. Si enable_gpu est défini, la valeur par défaut est « 9.1 ».
azureml.core.model.InferenceConfig.environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Indiquez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne remplacent PAS l’objet d’environnement. Les exceptions incluent entry_script, source_directory et description.

Méthodes

build_create_payload

Génère la charge utile de la création de l’image conteneur.
build_profile_payload

Génère la charge utile de profilage pour le package de modèle.
validate_configuration

Vérifie que les valeurs de configuration spécifiées sont valides.

Lève une exception WebserviceException en cas d’échec de la validation.
validation_script_content

Vérifiez que la syntaxe du script de score est valide avec ast.parse.

Lève une exception UserErrorException en cas d’échec de la validation.

build_create_payload

Génère la charge utile de la création de l’image conteneur.

build_create_payload(workspace, name, model_ids)

Paramètres

Nom Description
workspace
Obligatoire
Workspace

Objet d’espace de travail dans lequel créer l’image.
name
Obligatoire
str

Nom de l'image.
model_ids
Obligatoire
list[str]

Liste d’ID de modèles à packager dans l’image.

Retours

Type Description
dict

Charge utile de la création de l’image conteneur.

Exceptions

Type Description
WebserviceException

build_profile_payload

Génère la charge utile de profilage pour le package de modèle.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Paramètres

Nom Description
profile_name
Obligatoire
str

Nom de l’exécution du profilage.
input_data
str

Données d’entrée pour le profilage.

Valeur par défaut: None
workspace
Workspace

Objet Workspace dans lequel profiler le modèle.

Valeur par défaut: None
models
list[Model]

Liste d’objets de modèle. Il peut s’agir d’une liste vide.

Valeur par défaut: None
dataset_id
str

ID associé au jeu de données contenant les données d’entrée pour l’exécution du profilage.

Valeur par défaut: None
container_resource_requirements
ContainerResourceRequirements

impératifs liés aux ressources d’un conteneur pour la plus grande instance sur laquelle le modèle doit être déployé

Valeur par défaut: None
description
str

Description à associer à l’exécution du profilage.

Valeur par défaut: None

Retours

Type Description
dict

Charge utile de profil du modèle

Exceptions

Type Description
WebserviceException

validate_configuration

Vérifie que les valeurs de configuration spécifiées sont valides.

Lève une exception WebserviceException en cas d’échec de la validation.

validate_configuration()

Exceptions

Type Description
WebserviceException

validation_script_content

Vérifiez que la syntaxe du script de score est valide avec ast.parse.

Lève une exception UserErrorException en cas d’échec de la validation.

validation_script_content()

Exceptions

Type Description
UserErrorException