InferenceConfig 類別

  • 參考

表示用於部署之自訂環境的組態設定。

推斷組態是部署相關動作的 Model 輸入參數：

初始化組態物件。

繼承
builtins.object
InferenceConfig

建構函式

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

參數

entry_script
str
必要

本機檔案的路徑，其中包含要針對映射執行的程式碼。

runtime
str
預設值: None

要用於映射的執行時間。 目前支援的執行時間是 'spark-py' 和 'python'。

conda_file
str
預設值: None

本機檔案的路徑，其中包含要用於映射的 conda 環境定義。

extra_docker_file_steps
str
預設值: None

本機檔案的路徑，其中包含設定映射時要執行的其他 Docker 步驟。

source_directory
str
預設值: None

包含要建立映射之所有檔案的資料夾路徑。

enable_gpu
bool
預設值: None

指出是否要在映射中啟用 GPU 支援。 GPU 映射必須用於 Microsoft Azure 服務，例如 Azure 容器執行個體、Azure Machine Learning Compute、Azure 虛擬機器 和 Azure Kubernetes Service。 預設為 False。

description
str
預設值: None

提供此影像的描述。

base_image
str
預設值: None

做為基底映射的自訂映射。 如果沒有提供基底映射，則會根據指定的執行時間參數來使用基底映射。

base_image_registry
ContainerRegistry
預設值: None

包含基底映射的映射登錄。

cuda_version
str
預設值: None

要針對需要 GPU 支援的映射安裝 CUDA 版本。 GPU 映射必須用於 Microsoft Azure 服務，例如 Azure 容器執行個體、Azure Machine Learning Compute、Azure 虛擬機器 和 Azure Kubernetes Service。 支援的版本為 9.0、9.1 和 10.0。 如果 enable_gpu 已設定，則預設為 '9.1'。

environment
Environment
預設值: None

要用於部署的環境物件。 環境不需要註冊。

提供此參數或其他參數，但不能同時提供這兩個參數。 個別參數不會做為環境物件的覆寫。 例外狀況包括 entry_script 、 source_directory 和 description 。

entry_script
str
必要

本機檔案的路徑，其中包含要針對映射執行的程式碼。

runtime
str
必要

要用於映射的執行時間。 目前支援的執行時間是 'spark-py' 和 'python'。

conda_file
str
必要

本機檔案的路徑，其中包含要用於映射的 conda 環境定義。

extra_docker_file_steps
str
必要

本機檔案的路徑，其中包含設定映射時要執行的其他 Docker 步驟。

source_directory
str
必要

包含要建立映射之所有檔案的資料夾路徑。

enable_gpu
bool
必要

指出是否要在映射中啟用 GPU 支援。 GPU 映射必須用於 Microsoft Azure 服務，例如 Azure 容器執行個體、Azure Machine Learning Compute、Azure 虛擬機器 和 Azure Kubernetes Service。 預設為 False。

description
str
必要

提供此影像的描述。

base_image
str
必要

做為基底映射的自訂映射。 如果沒有提供基底映射，則會根據指定的執行時間參數來使用基底映射。

base_image_registry
ContainerRegistry
必要

包含基底映射的映射登錄。

cuda_version
str
必要

要針對需要 GPU 支援的映射安裝 CUDA 版本。 GPU 映射必須用於 Microsoft Azure 服務，例如 Azure 容器執行個體、Azure Machine Learning Compute、Azure 虛擬機器 和 Azure Kubernetes Service。 支援的版本為 9.0、9.1 和 10.0。 如果 enable_gpu 已設定，則預設為 '9.1'。

environment
Environment
必要

要用於部署的環境物件。 環境不需要註冊。

提供此參數或其他參數，但不能同時提供這兩個參數。 個別參數不會做為環境物件的覆寫。 例外狀況包括 entry_script 、 source_directory 和 description 。

備註

下列範例示範如何建立 InferenceConfig 物件，並用它來部署模型。


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

變數

entry_script
str

本機檔案的路徑，其中包含要針對映射執行的程式碼。

runtime
str

要用於映射的執行時間。 目前支援的執行時間是 'spark-py' 和 'python'。

conda_file
str

本機檔案的路徑，其中包含要用於映射的 conda 環境定義。

extra_docker_file_steps
str

本機檔案的路徑，其中包含設定映射時要執行的其他 Docker 步驟。

source_directory
str

包含要建立映射之所有檔案的資料夾路徑。

enable_gpu
bool

指出是否要在映射中啟用 GPU 支援。 GPU 映射必須用於 Microsoft Azure 服務，例如 Azure 容器執行個體、Azure Machine Learning Compute、Azure 虛擬機器 和 Azure Kubernetes Service。

azureml.core.model.InferenceConfig.description

提供此影像的描述。

base_image
str

做為基底映射的自訂映射。 如果沒有提供基底映射，則會根據指定的執行時間參數來使用基底映射。

base_image_registry
ContainerRegistry

包含基底映射的映射登錄。

cuda_version
str

要針對需要 GPU 支援的映射安裝 CUDA 版本。 GPU 映射必須用於 Microsoft Azure 服務，例如 Azure 容器執行個體、Azure Machine Learning Compute、Azure 虛擬機器 和 Azure Kubernetes Service。 支援的版本為 9.0、9.1 和 10.0。 如果 enable_gpu 已設定，則預設為 '9.1'。

azureml.core.model.InferenceConfig.environment

要用於部署的環境物件。 環境不需要註冊。

提供此參數或其他參數，但不能同時提供這兩個參數。 個別參數不會做為環境物件的覆寫。 例外狀況包括 entry_script 、 source_directory 和 description 。

方法

build_create_payload

建置容器映射的建立承載。
build_profile_payload

建置模型套件的分析承載。
validate_configuration

檢查指定的組態值是否有效。

如果驗證失敗，則引發 WebserviceException 。
validation_script_content

檢查評分腳本的語法是否有效，並搭配 ast.parse 使用。

如果驗證失敗，則引發 UserErrorException 。

build_create_payload

建置容器映射的建立承載。

build_create_payload(workspace, name, model_ids)

參數

workspace
Workspace
必要

要用來建立映射的工作區物件。

name
str
必要

影像的名稱。

model_ids
list[str]
必要

要封裝至映射的模型識別碼清單。

傳回

容器映射建立承載。

傳回類型

dict

例外狀況

WebserviceException

build_profile_payload

建置模型套件的分析承載。

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

參數

profile_name
str
必要

程式碼剖析執行的名稱。

input_data
str
預設值: None

用於分析的輸入資料。

workspace
Workspace
預設值: None

用來分析模型的 Workspace 物件。

models
list[Model]
預設值: None

模型物件的清單。 可以是空的清單。

dataset_id
str
預設值: None

與資料集相關聯的識別碼，其中包含分析執行的輸入資料。

container_resource_requirements
ContainerResourceRequirements
預設值: None

要部署模型之最大實例的容器資源需求

description
str
預設值: None

與程式碼剖析執行相關聯的描述。

傳回

模型設定檔承載

傳回類型

dict

例外狀況

WebserviceException

validate_configuration

檢查指定的組態值是否有效。

如果驗證失敗，則引發 WebserviceException 。

validate_configuration()

例外狀況

WebserviceException

validation_script_content

檢查評分腳本的語法是否有效，並搭配 ast.parse 使用。

如果驗證失敗，則引發 UserErrorException 。

validation_script_content()

例外狀況

UserErrorException