InferenceConfig 类
- 继承
-
builtins.objectInferenceConfig
构造函数
InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)
参数
- enable_gpu
- bool
指示是否在映像中启用 GPU 支持。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 默认为 False。
- cuda_version
- str
要为需要 GPU 支持的映像安装的 CUDA 版本。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 支持的版本为 9.0、9.1 和 10.0。
如果设置了 enable_gpu
,则默认值为“9.1”。
- environment
- Environment
用于部署的环境对象。 不必注册环境。
提供此参数或其他参数,但不能同时提供这两个参数。 单个参数不会用作环境对象的重写。 异常包括 entry_script
、source_directory
和 description
。
- enable_gpu
- bool
指示是否在映像中启用 GPU 支持。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 默认为 False。
- cuda_version
- str
要为需要 GPU 支持的映像安装的 CUDA 版本。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 支持的版本为 9.0、9.1 和 10.0。
如果设置了 enable_gpu
,则默认值为“9.1”。
- environment
- Environment
用于部署的环境对象。 不必注册环境。
提供此参数或其他参数,但不能同时提供这两个参数。 单个参数不会用作环境对象的重写。 异常包括 entry_script
、source_directory
和 description
。
注解
以下示例演示如何创建 InferenceConfig 对象并使用它来部署模型。
from azureml.core.model import InferenceConfig
from azureml.core.webservice import AciWebservice
service_name = 'my-custom-env-service'
inference_config = InferenceConfig(entry_script='score.py', environment=environment)
aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)
service = Model.deploy(workspace=ws,
name=service_name,
models=[model],
inference_config=inference_config,
deployment_config=aci_config,
overwrite=True)
service.wait_for_deployment(show_output=True)
变量
- entry_script
- str
包含要为映像运行的代码的本地文件的路径。
- runtime
- str
用于映像的运行时。 当前支持的运行时为“spark-py”和“python”。
- conda_file
- str
包含要用于映像的 Conda 环境定义的本地文件的路径。
- extra_docker_file_steps
- str
包含设置映像时要运行的附加 Docker 步骤的本地文件路径。
- source_directory
- str
包含用于创建映像的所有文件的文件夹的路径。
- enable_gpu
- bool
指示是否在映像中启用 GPU 支持。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。
- azureml.core.model.InferenceConfig.description
为此映像指定的说明。
- base_image
- str
用作基础映像的自定义映像。 如果未提供基础映像,则基于给定的运行时参数使用基础映像。
- base_image_registry
- ContainerRegistry
包含基础映像的映像注册表。
- cuda_version
- str
要为需要 GPU 支持的映像安装的 CUDA 版本。 GPU 映像必须用于 Azure 容器实例、Azure 机器学习计算、Azure 虚拟机和 Azure Kubernetes 服务等 Microsoft Azure 服务。 支持的版本为 9.0、9.1 和 10.0。
如果设置了 enable_gpu
,则默认值为“9.1”。
- azureml.core.model.InferenceConfig.environment
用于部署的环境对象。 不必注册环境。
提供此参数或其他参数,但不能同时提供这两个参数。 单个参数不会用作环境对象的重写。 异常包括 entry_script
、source_directory
和 description
。
方法
build_create_payload |
生成容器映像的创建有效负载。 |
build_profile_payload |
生成模型包的分析有效负载。 |
validate_configuration |
检查指定的配置值是否有效。 如果验证失败,则会引发 WebserviceException。 |
validation_script_content |
检查评分脚本的语法是否对 ast.parse 有效。 如果验证失败,则会引发 UserErrorException。 |
build_create_payload
生成容器映像的创建有效负载。
build_create_payload(workspace, name, model_ids)
参数
返回
容器映像创建有效负载。
返回类型
例外
build_profile_payload
生成模型包的分析有效负载。
build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)
参数
返回
模型分析有效负载
返回类型
例外
validate_configuration
validation_script_content
反馈
https://aka.ms/ContentUserFeedback。
即将发布:在整个 2024 年,我们将逐步淘汰作为内容反馈机制的“GitHub 问题”,并将其取代为新的反馈系统。 有关详细信息,请参阅:提交和查看相关反馈