InferenceConfig Clase

  • Referencia

Representa los valores de configuración de un entorno personalizado que se usa para la implementación.

La configuración de inferencia es un parámetro de entrada para las acciones relacionadas con la implementación de Model:

Inicialice el objeto config.

Herencia
builtins.object
InferenceConfig

Constructor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parámetros

entry_script
str
Requerido

Ruta de acceso al archivo local que contiene el código que se ejecuta para la imagen.

runtime
str
valor predeterminado: None

Runtime que se usará para la imagen. Los runtimes admitidos actualmente son "spark-py" y "python".

conda_file
str
valor predeterminado: None

Ruta de acceso a un archivo local que contiene una definición de entorno de conda que se usará para la imagen.

extra_docker_file_steps
str
valor predeterminado: None

Ruta de acceso a un archivo local que contiene los pasos de Docker adicionales que se deben ejecutar al configurar la imagen.

source_directory
str
valor predeterminado: None

Ruta de acceso a la carpeta que contiene todos los archivos para crear la imagen.

enable_gpu
bool
valor predeterminado: None

Indica si se habilita la compatibilidad con GPU en la imagen. La imagen GPU se debe usar en servicios de Microsoft Azure como Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines y Azure Kubernetes Service. El valor predeterminado es False.

description
str
valor predeterminado: None

Descripción para proporcionar esta imagen.

base_image
str
valor predeterminado: None

una imagen personalizada que se usará como imagen base. Si no se especifica ninguna imagen base, la imagen base se usará en función del parámetro de runtime proporcionado.

base_image_registry
ContainerRegistry
valor predeterminado: None

Registro de imágenes que contiene la imagen base.

cuda_version
str
valor predeterminado: None

Versión de CUDA que se debe instalar para las imágenes que requieren compatibilidad con GPU. La imagen GPU se debe usar en servicios de Microsoft Azure como Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines y Azure Kubernetes Service. Las versiones compatibles son 9.0, 9.1 y 10.0. Si enable_gpu está establecido, el valor predeterminado es "9,1".

environment
Environment
valor predeterminado: None

Objeto del entorno que se usará para la implementación. El entorno no tiene que registrarse.

Proporcione este parámetro o los demás, pero no ambos. Los parámetros individuales NO servirán como invalidación para el objeto de entorno. Las excepciones incluyen entry_script, source_directory y description.

entry_script
str
Requerido

Ruta de acceso al archivo local que contiene el código que se ejecuta para la imagen.

runtime
str
Requerido

Runtime que se usará para la imagen. Los runtimes admitidos actualmente son "spark-py" y "python".

conda_file
str
Requerido

Ruta de acceso a un archivo local que contiene una definición de entorno de conda que se usará para la imagen.

extra_docker_file_steps
str
Requerido

Ruta de acceso a un archivo local que contiene los pasos de Docker adicionales que se deben ejecutar al configurar la imagen.

source_directory
str
Requerido

Ruta de acceso a la carpeta que contiene todos los archivos para crear la imagen.

enable_gpu
bool
Requerido

Indica si se habilita la compatibilidad con GPU en la imagen. La imagen GPU se debe usar en servicios de Microsoft Azure como Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines y Azure Kubernetes Service. El valor predeterminado es False.

description
str
Requerido

Descripción para proporcionar esta imagen.

base_image
str
Requerido

una imagen personalizada que se usará como imagen base. Si no se especifica ninguna imagen base, la imagen base se usará en función del parámetro de runtime proporcionado.

base_image_registry
ContainerRegistry
Requerido

Registro de imágenes que contiene la imagen base.

cuda_version
str
Requerido

Versión de CUDA que se debe instalar para las imágenes que requieren compatibilidad con GPU. La imagen GPU se debe usar en servicios de Microsoft Azure como Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines y Azure Kubernetes Service. Las versiones compatibles son 9.0, 9.1 y 10.0. Si enable_gpu está establecido, el valor predeterminado es "9,1".

environment
Environment
Requerido

Objeto del entorno que se usará para la implementación. El entorno no tiene que registrarse.

Proporcione este parámetro o los demás, pero no ambos. Los parámetros individuales NO servirán como invalidación para el objeto de entorno. Las excepciones incluyen entry_script, source_directory y description.

Comentarios

En el ejemplo siguiente se muestra cómo crear un objeto InferenceConfig y usarlo para implementar un modelo.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variables

entry_script
str

Ruta de acceso al archivo local que contiene el código que se ejecuta para la imagen.

runtime
str

Runtime que se usará para la imagen. Los runtimes admitidos actualmente son "spark-py" y "python".

conda_file
str

Ruta de acceso a un archivo local que contiene una definición de entorno de conda que se usará para la imagen.

extra_docker_file_steps
str

Ruta de acceso a un archivo local que contiene los pasos de Docker adicionales que se deben ejecutar al configurar la imagen.

source_directory
str

Ruta de acceso a la carpeta que contiene todos los archivos para crear la imagen.

enable_gpu
bool

Indica si se habilita la compatibilidad con GPU en la imagen. La imagen GPU se debe usar en servicios de Microsoft Azure como Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines y Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Descripción para proporcionar esta imagen.

base_image
str

una imagen personalizada que se usará como imagen base. Si no se especifica ninguna imagen base, la imagen base se usará en función del parámetro de runtime proporcionado.

base_image_registry
ContainerRegistry

Registro de imágenes que contiene la imagen base.

cuda_version
str

Versión de CUDA que se debe instalar para las imágenes que requieren compatibilidad con GPU. La imagen GPU se debe usar en servicios de Microsoft Azure como Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines y Azure Kubernetes Service. Las versiones compatibles son 9.0, 9.1 y 10.0. Si enable_gpu está establecido, el valor predeterminado es "9,1".

azureml.core.model.InferenceConfig.environment

Objeto del entorno que se usará para la implementación. El entorno no tiene que registrarse.

Proporcione este parámetro o los demás, pero no ambos. Los parámetros individuales NO servirán como invalidación para el objeto de entorno. Las excepciones incluyen entry_script, source_directory y description.

Métodos

build_create_payload

Cree la carga de creación de la imagen de contenedor.
build_profile_payload

Crea la carga de generación de perfiles del paquete del modelo.
validate_configuration

Comprueba que los valores de configuración especificados sean válidos.

Genera una excepción WebserviceException si la validación produce un error.
validation_script_content

Compruebe que la sintaxis del script de puntuación es válida con ast.parse.

Genera una excepción UserErrorException si la validación produce un error.

build_create_payload

Cree la carga de creación de la imagen de contenedor.

build_create_payload(workspace, name, model_ids)

Parámetros

workspace
Workspace
Requerido

Objeto de área de trabajo en el que se creará la imagen.

name
str
Requerido

Nombre de la imagen.

model_ids
list[str]
Requerido

Lista de los id. del modelo que se empaquetan en la imagen.

Devoluciones

Carga de creación de la imagen de contenedor.

Tipo de valor devuelto

dict

Excepciones

WebserviceException

build_profile_payload

Crea la carga de generación de perfiles del paquete del modelo.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parámetros

profile_name
str
Requerido

Nombre de la ejecución de generación de perfiles.

input_data
str
valor predeterminado: None

Datos de entrada de la generación de perfiles.

workspace
Workspace
valor predeterminado: None

Objeto de área de trabajo en el que se generarán los perfiles del modelo.

models
list[Model]
valor predeterminado: None

Lista de objetos de modelo. Puede ser una lista vacía.

dataset_id
str
valor predeterminado: None

Identificador asociado al conjunto de datos que contiene los datos de entrada de la ejecución de generación de perfiles.

container_resource_requirements
ContainerResourceRequirements
valor predeterminado: None

Requisitos de recursos de contenedor para la instancia más grande en la que se va a implementar el modelo.

description
str
valor predeterminado: None

Descripción que se va a asociar a la ejecución de generación de perfiles.

Devoluciones

Carga del perfil de modelo

Tipo de valor devuelto

dict

Excepciones

WebserviceException

validate_configuration

Comprueba que los valores de configuración especificados sean válidos.

Genera una excepción WebserviceException si la validación produce un error.

validate_configuration()

Excepciones

WebserviceException

validation_script_content

Compruebe que la sintaxis del script de puntuación es válida con ast.parse.

Genera una excepción UserErrorException si la validación produce un error.

validation_script_content()

Excepciones

UserErrorException