了解及建立批次端點
若要取得模型以產生批次預測,您可以將模型部署到批次端點。
您將瞭解如何使用批次端點進行異步批次評分。
批次預測
若要取得批次預測,您可以將模型部署到端點。 端點是 HTTPS 端點,您可以呼叫 以觸發批次評分作業。 這類端點的優點是您可以從其他服務觸發批次評分作業,例如 Azure Synapse Analytics 或 Azure Databricks。 批次端點可讓您整合批次評分與現有的數據擷取和轉換管線。
每當叫用端點時,就會將批次評分作業提交至 Azure Machine Learning 工作區。 作業通常會使用 計算叢集 來評分多個輸入。 結果可以儲存在連線至 Azure Machine Learning 工作區的數據存放區中。
建立批次端點
若要將模型部署至批次端點,您必須先建立批次端點。
若要建立批次端點,您將使用 BatchEndpoint 類別。 Batch 端點名稱在 Azure 區域內必須是唯一的。
若要建立端點,請使用下列命令:
# create a batch endpoint
endpoint = BatchEndpoint(
name="endpoint-example",
description="A batch endpoint",
)
ml_client.batch_endpoints.begin_create_or_update(endpoint)
小提示
探索參考文件,以 使用 Python SDK v2 建立批次端點。
將模型部署到批次端點
您可以將多個模型部署到批次端點。 每當呼叫觸發批次評分作業的批次端點時,除非另有指定,否則會使用 預設部署 。
使用計算叢集進行批次部署
用於批次部署的理想計算是 Azure Machine Learning 計算叢集。 如果您想要批次評分作業以平行批次處理新數據,您必須布建具有多個最大實例的計算叢集。
若要建立計算叢集,您可以使用 類別 AMLCompute 。
from azure.ai.ml.entities import AmlCompute
cpu_cluster = AmlCompute(
name="aml-cluster",
type="amlcompute",
size="STANDARD_DS11_V2",
min_instances=0,
max_instances=4,
idle_time_before_scale_down=120,
tier="Dedicated",
)
cpu_cluster = ml_client.compute.begin_create_or_update(cpu_cluster)