InferenceConfig 类

  • 参考

表示用于部署的自定义环境的配置设置。

推理配置是 Model 部署相关操作的输入参数：

初始化 config 对象。

继承
builtins.object
InferenceConfig

构造函数

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

参数

entry_script
str
必需

包含要为映像运行的代码的本地文件的路径。

runtime
str
默认值: None

用于映像的运行时。 当前支持的运行时为“spark-py”和“python”。

conda_file
str
默认值: None

包含要用于映像的 Conda 环境定义的本地文件的路径。

extra_docker_file_steps
str
默认值: None

包含设置映像时要运行的附加 Docker 步骤的本地文件的路径。

source_directory
str
默认值: None

包含用于创建映像的所有文件的文件夹的路径。

enable_gpu
bool
默认值: None

指示是否在映像中启用 GPU 支持。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 默认为 False。

description
str
默认值: None

为此映像指定的说明。

base_image
str
默认值: None

用作基础映像的自定义映像。 如果未提供基础映像，则基于给定的运行时参数使用基础映像。

base_image_registry
ContainerRegistry
默认值: None

包含基础映像的映像注册表。

cuda_version
str
默认值: None

要为需要 GPU 支持的映像安装的 CUDA 版本。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 支持的版本为 9.0、9.1 和 10.0。 如果设置了 enable_gpu，则默认值为“9.1”。

environment
Environment
默认值: None

用于部署的环境对象。 不必注册环境。

提供此参数或其他参数，但不能同时提供这两个参数。 单个参数不会用作环境对象的重写。 异常包括 entry_script、source_directory 和 description。

entry_script
str
必需

包含要为映像运行的代码的本地文件的路径。

runtime
str
必需

用于映像的运行时。 当前支持的运行时为“spark-py”和“python”。

conda_file
str
必需

包含要用于映像的 Conda 环境定义的本地文件的路径。

extra_docker_file_steps
str
必需

包含设置映像时要运行的附加 Docker 步骤的本地文件的路径。

source_directory
str
必需

包含用于创建映像的所有文件的文件夹的路径。

enable_gpu
bool
必需

指示是否在映像中启用 GPU 支持。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 默认为 False。

description
str
必需

为此映像指定的说明。

base_image
str
必需

用作基础映像的自定义映像。 如果未提供基础映像，则基于给定的运行时参数使用基础映像。

base_image_registry
ContainerRegistry
必需

包含基础映像的映像注册表。

cuda_version
str
必需

要为需要 GPU 支持的映像安装的 CUDA 版本。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 支持的版本为 9.0、9.1 和 10.0。 如果设置了 enable_gpu，则默认值为“9.1”。

environment
Environment
必需

用于部署的环境对象。 不必注册环境。

提供此参数或其他参数，但不能同时提供这两个参数。 单个参数不会用作环境对象的重写。 异常包括 entry_script、source_directory 和 description。

注解

以下示例演示如何创建 InferenceConfig 对象并使用它来部署模型。


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

变量

entry_script
str

包含要为映像运行的代码的本地文件的路径。

runtime
str

用于映像的运行时。 当前支持的运行时为“spark-py”和“python”。

conda_file
str

包含要用于映像的 Conda 环境定义的本地文件的路径。

extra_docker_file_steps
str

包含设置映像时要运行的附加 Docker 步骤的本地文件路径。

source_directory
str

包含用于创建映像的所有文件的文件夹的路径。

enable_gpu
bool

指示是否在映像中启用 GPU 支持。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。

azureml.core.model.InferenceConfig.description

为此映像指定的说明。

base_image
str

用作基础映像的自定义映像。 如果未提供基础映像，则基于给定的运行时参数使用基础映像。

base_image_registry
ContainerRegistry

包含基础映像的映像注册表。

cuda_version
str

要为需要 GPU 支持的映像安装的 CUDA 版本。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 支持的版本为 9.0、9.1 和 10.0。 如果设置了 enable_gpu，则默认值为“9.1”。

azureml.core.model.InferenceConfig.environment

用于部署的环境对象。 不必注册环境。

提供此参数或其他参数，但不能同时提供这两个参数。 单个参数不会用作环境对象的重写。 异常包括 entry_script、source_directory 和 description。

方法

build_create_payload

生成容器映像的创建有效负载。
build_profile_payload

生成模型包的分析有效负载。
validate_configuration

检查指定的配置值是否有效。

如果验证失败，则会引发 WebserviceException。
validation_script_content

检查评分脚本的语法是否对 ast.parse 有效。

如果验证失败，则会引发 UserErrorException。

build_create_payload

生成容器映像的创建有效负载。

build_create_payload(workspace, name, model_ids)

参数

workspace
Workspace
必需

要在其中创建映像的工作区对象。

name
str
必需

图像的名称。

model_ids
list[str]
必需

要打包到映像中的模型 ID 的列表。

返回

容器映像创建有效负载。

返回类型

dict

例外

WebserviceException

build_profile_payload

生成模型包的分析有效负载。

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

参数

profile_name
str
必需

分析运行的名称。

input_data
str
默认值: None

用于分析的输入数据。

workspace
Workspace
默认值: None

要在其中分析模型的工作区对象。

models
list[Model]
默认值: None

模型对象列表。 可以是空列表。

dataset_id
str
默认值: None

与包含分析运行的输入数据的数据集关联的 ID。

container_resource_requirements
ContainerResourceRequirements
默认值: None

要将模型部署到的最大实例的容器资源要求

description
str
默认值: None

要与分析运行关联的说明。

返回

模型分析有效负载

返回类型

dict

例外

WebserviceException

validate_configuration

检查指定的配置值是否有效。

如果验证失败，则会引发 WebserviceException。

validate_configuration()

例外

WebserviceException

validation_script_content

检查评分脚本的语法是否对 ast.parse 有效。

如果验证失败，则会引发 UserErrorException。

validation_script_content()

例外

UserErrorException