InferenceConfig Classe

  • Referência

Representa as definições de configuração para um ambiente personalizado usado para implantação.

A configuração de inferência é um parâmetro de entrada para ações Model relacionadas à implantação:

Inicialize o objeto de configuração.

Herança
builtins.object
InferenceConfig

Construtor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parâmetros

entry_script
str
Obrigatório

O caminho para um arquivo local que contém o código a ser executado para a imagem.

runtime
str
valor padrão: None

O runtime a ser usado para a imagem. Os runtimes com suporte atualmente são 'spark-py' e 'python'.

conda_file
str
valor padrão: None

O caminho para um arquivo local que contém uma definição de ambiente Conda a ser usada para a imagem.

extra_docker_file_steps
str
valor padrão: None

O caminho para um arquivo local que contém etapas adicionais do Docker a serem executadas ao configurar a imagem.

source_directory
str
valor padrão: None

O caminho para a pasta que contém todos os arquivos para criar a imagem.

enable_gpu
bool
valor padrão: None

Indica se o suporte à GPU deve ser habilitado na imagem. A imagem de GPU precisa ser usada em serviços do Microsoft Azure, como Instâncias de Contêiner do Azure, Computação do Machine Learning, Máquinas Virtuais do Azure e Serviço de Kubernetes do Azure. Usa False como padrão.

description
str
valor padrão: None

Uma descrição a ser fornecida a essa imagem.

base_image
str
valor padrão: None

Uma imagem personalizada a ser usada como imagem base. Se nenhuma imagem base for fornecida, a imagem base será usada com base no parâmetro de runtime determinado.

base_image_registry
ContainerRegistry
valor padrão: None

O registro de imagem que contém a imagem base.

cuda_version
str
valor padrão: None

A versão do CUDA a ser instalada para imagens que precisam de suporte a GPU. A imagem de GPU precisa ser usada em serviços do Microsoft Azure, como Instâncias de Contêiner do Azure, Computação do Machine Learning, Máquinas Virtuais do Azure e Serviço de Kubernetes do Azure. As versões com suporte são 9.0, 9.1 e 10.0. Se enable_gpu for definido, o padrão será '9.1'.

environment
Environment
valor padrão: None

Um objeto de ambiente a ser usado para a implantação. O ambiente não precisa ser registrado.

Forneça esse parâmetro ou os outros parâmetros, mas não ambos. Os parâmetros individuais NÃO funcionarão como uma substituição para o objeto de ambiente. As exceções incluem entry_script, source_directorye description.

entry_script
str
Obrigatório

O caminho para um arquivo local que contém o código a ser executado para a imagem.

runtime
str
Obrigatório

O runtime a ser usado para a imagem. Os runtimes com suporte atualmente são 'spark-py' e 'python'.

conda_file
str
Obrigatório

O caminho para um arquivo local que contém uma definição de ambiente Conda a ser usada para a imagem.

extra_docker_file_steps
str
Obrigatório

O caminho para um arquivo local que contém etapas adicionais do Docker a serem executadas ao configurar a imagem.

source_directory
str
Obrigatório

O caminho para a pasta que contém todos os arquivos para criar a imagem.

enable_gpu
bool
Obrigatório

Indica se o suporte à GPU deve ser habilitado na imagem. A imagem de GPU precisa ser usada em serviços do Microsoft Azure, como Instâncias de Contêiner do Azure, Computação do Machine Learning, Máquinas Virtuais do Azure e Serviço de Kubernetes do Azure. Usa False como padrão.

description
str
Obrigatório

Uma descrição a ser fornecida a essa imagem.

base_image
str
Obrigatório

Uma imagem personalizada a ser usada como imagem base. Se nenhuma imagem base for fornecida, a imagem base será usada com base no parâmetro de runtime determinado.

base_image_registry
ContainerRegistry
Obrigatório

O registro de imagem que contém a imagem base.

cuda_version
str
Obrigatório

A versão do CUDA a ser instalada para imagens que precisam de suporte a GPU. A imagem de GPU precisa ser usada em serviços do Microsoft Azure, como Instâncias de Contêiner do Azure, Computação do Machine Learning, Máquinas Virtuais do Azure e Serviço de Kubernetes do Azure. As versões com suporte são 9.0, 9.1 e 10.0. Se enable_gpu for definido, o padrão será '9.1'.

environment
Environment
Obrigatório

Um objeto de ambiente a ser usado para a implantação. O ambiente não precisa ser registrado.

Forneça esse parâmetro ou os outros parâmetros, mas não ambos. Os parâmetros individuais NÃO funcionarão como uma substituição para o objeto de ambiente. As exceções incluem entry_script, source_directorye description.

Comentários

O exemplo a seguir mostra como criar um objeto InferenceConfig e usá-lo para implantar um modelo.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variáveis

entry_script
str

O caminho para um arquivo local que contém o código a ser executado para a imagem.

runtime
str

O runtime a ser usado para a imagem. Os runtimes com suporte atualmente são 'spark-py' e 'python'.

conda_file
str

O caminho para um arquivo local que contém uma definição de ambiente Conda a ser usada para a imagem.

extra_docker_file_steps
str

O caminho para um arquivo local que contém etapas adicionais do Docker a serem executadas ao configurar a imagem.

source_directory
str

O caminho para a pasta que contém todos os arquivos para criar a imagem.

enable_gpu
bool

Indica se o suporte à GPU deve ser habilitado na imagem. A imagem de GPU precisa ser usada em serviços do Microsoft Azure, como Instâncias de Contêiner do Azure, Computação do Machine Learning, Máquinas Virtuais do Azure e Serviço de Kubernetes do Azure.

azureml.core.model.InferenceConfig.description

Uma descrição a ser fornecida a essa imagem.

base_image
str

Uma imagem personalizada a ser usada como imagem base. Se nenhuma imagem base for fornecida, a imagem base será usada com base no parâmetro de runtime determinado.

base_image_registry
ContainerRegistry

O registro de imagem que contém a imagem base.

cuda_version
str

A versão do CUDA a ser instalada para imagens que precisam de suporte a GPU. A imagem de GPU precisa ser usada em serviços do Microsoft Azure, como Instâncias de Contêiner do Azure, Computação do Machine Learning, Máquinas Virtuais do Azure e Serviço de Kubernetes do Azure. As versões com suporte são 9.0, 9.1 e 10.0. Se enable_gpu for definido, o padrão será '9.1'.

azureml.core.model.InferenceConfig.environment

Um objeto de ambiente a ser usado para a implantação. O ambiente não precisa ser registrado.

Forneça esse parâmetro ou os outros parâmetros, mas não ambos. Os parâmetros individuais NÃO funcionarão como uma substituição para o objeto de ambiente. As exceções incluem entry_script, source_directorye description.

Métodos

build_create_payload

Compilar o conteúdo de criação para a imagem de contêiner.
build_profile_payload

Compila o conteúdo de criação de perfil para o pacote de modelo.
validate_configuration

Verifique se os valores de configuração especificados são válidos.

Gera uma WebserviceException quando a validação falha.
validation_script_content

Verifique se a sintaxe do script de pontuação é válida com ast.parse.

Gera uma UserErrorException quando a validação falha.

build_create_payload

Compilar o conteúdo de criação para a imagem de contêiner.

build_create_payload(workspace, name, model_ids)

Parâmetros

workspace
Workspace
Obrigatório

O objeto de workspace no qual criar a imagem.

name
str
Obrigatório

O nome da imagem.

model_ids
list[str]
Obrigatório

Uma lista de IDs de modelo a ser empacotada na imagem.

Retornos

O conteúdo de criação da imagem de contêiner.

Tipo de retorno

dict

Exceções

WebserviceException

build_profile_payload

Compila o conteúdo de criação de perfil para o pacote de modelo.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parâmetros

profile_name
str
Obrigatório

O nome da execução da criação de perfil.

input_data
str
valor padrão: None

Os dados de entrada para criação de perfil.

workspace
Workspace
valor padrão: None

Um objeto de workspace no qual criar o perfil do modelo.

models
list[Model]
valor padrão: None

Uma lista de objetos de modelo. Pode ser uma lista vazia.

dataset_id
str
valor padrão: None

A ID associada ao conjunto de dados que contém o dado de entrada para a execução da criação de perfil.

container_resource_requirements
ContainerResourceRequirements
valor padrão: None

requisitos de recurso de contêiner para a maior instância para a qual o modelo deve ser implantado

description
str
valor padrão: None

Descrição a ser associada à criação de perfil.

Retornos

Conteúdo do perfil de modelo

Tipo de retorno

dict

Exceções

WebserviceException

validate_configuration

Verifique se os valores de configuração especificados são válidos.

Gera uma WebserviceException quando a validação falha.

validate_configuration()

Exceções

WebserviceException

validation_script_content

Verifique se a sintaxe do script de pontuação é válida com ast.parse.

Gera uma UserErrorException quando a validação falha.

validation_script_content()

Exceções

UserErrorException