批次端點
Azure 機器學習 可讓您實作批次端點和部署，以使用機器學習模型和管線執行長時間執行的異步推斷。 當您定型機器學習模型或管線時，您需要部署它，讓其他人可以使用它搭配新的輸入數據來產生預測。 使用模型或管線產生預測的程式稱為 推斷。
批次端點會接收資料的指標，並以非同步方式執行作業，以在計算叢集上平行處理資料。 批次端點會將輸出儲存至資料存放區，以供進一步分析。 在下列情況下使用批次端點：
- 您有昂貴的模型或管線，其需要較長的執行時間。
- 您想要讓機器學習管線運作並重複使用元件。
- 您必須對大量資料執行推斷，這些資料分散在多個檔案中。
- 您沒有低延遲需求。
- 您的模型輸入會儲存在儲存體帳戶或 Azure Machine Learning 資料資產中。
- 您可以利用平行處理。
批次部署
部署是實作端點所提供的功能所需的一組資源和計算。 每個端點都可以裝載數個具有不同組態的部署，這項功能有助於 將端點的介面 與 部署所定義的實作詳細數據 分離。 叫用批次端點時，會自動將用戶端路由至其預設部署。 您可以隨時設定和變更此預設部署。
Azure 機器學習 批次端點中可進行兩種類型的部署：
模型部署
模型部署可讓您大規模地實作模型推斷，讓您以低延遲和異步方式處理大量數據。 Azure 機器學習 藉由在計算叢集中多個節點之間提供推斷程式的平行處理，來自動檢測延展性。
在下列情況下使用 模型部署 ：
- 您有耗費較長時間才能執行推斷的昂貴模型。
- 您必須對大量資料執行推斷，這些資料分散在多個檔案中。
- 您沒有低延遲需求。
- 您可以利用平行處理。
模型部署的主要優點是，您可以使用針對即時推斷在線端點所部署的相同資產，但現在，您可以大規模地以批次方式執行它們。 如果您的模型需要簡單的前置處理或後置處理，您可以 撰寫執行所需數據轉換的評分腳本 。
若要在批次端點中建立模型部署，您需要指定下列元素：
- 模型
- 計算叢集
- 評分指令碼 (對 MLflow 模型為選擇性)
- 環境 (對 MLflow 模型為選擇性)
管線元件部署
管線元件部署可讓整個處理圖形（或管線）的作業化，以低延遲和異步的方式執行批次推斷。
在下列情況下使用 管線元件部署 ：
- 您需要將可分解成多個步驟的完整計算圖形運作。
- 您需要在推斷管線中重複使用定型管線中的元件。
- 您沒有低延遲需求。
管線元件部署的主要優點是可重複使用已存在於您平臺中的元件，以及運作複雜推斷例程的功能。
若要在批次端點中建立管線元件部署，您需要指定下列元素：
- 管線元件
- 計算叢集設定
Batch 端點也可讓您 從現有的管線作業建立管線元件部署。 這麼做時，Azure 機器學習 會自動從作業中建立管線元件。 這可簡化這些部署類型的使用。 不過，最好一律 明確建立管線元件，以簡化 MLOps 做法。
成本管理
叫用批次端點會觸發非同步批次推斷作業。 Azure 機器學習 會在作業啟動時自動布建計算資源，並在作業完成時自動解除分配。 如此一來，您只會在使用它時支付計算費用。
提示
部署模型時，您可以 覆寫每個個別批次推斷作業的計算資源設定 （例如實例計數）和進階設定（例如迷你批次大小、錯誤臨界值等等）。 藉由利用這些特定組態，您可以加速執行並降低成本。
Batch 端點也可以在低優先順序的 VM 上執行。 批次端點可以自動從解除配置的 VM 復原，並在部署模型以供推斷時，從其離開的位置繼續工作。 如需如何使用低優先順序 VM 來降低批次推斷工作負載成本的詳細資訊，請參閱 在批次端點中使用低優先順序的 VM。
最後，Azure 機器學習 不會為您收取批次端點或批次部署的費用，因此您可以將端點和部署組織成最適合您的案例。 端點和部署可以使用獨立叢集或共用叢集，因此您可以對計算作業所取用的細微控制。 在叢集中使用 縮放至零 ，以確保閑置時不會耗用任何資源。
簡化 MLOps 實務
批次端點可以在相同的端點下處理多個部署，讓您變更端點的實作，而不需要變更取用者用來叫用的 URL。
您可以新增、移除和更新部署，而不會影響端點本身。
彈性資料來源和儲存體
Batch 端點會直接從記憶體讀取和寫入數據。 您可以將 Azure 機器學習 資料存放區、Azure 機器學習 資料資產或 儲存體 帳戶指定為輸入。 如需所支援輸入選項以及如何指定它們的詳細資訊，請參閱 建立作業和輸入數據給批次端點。
安全性
批次端點提供在企業設定中操作生產層級工作負載所需的所有功能。 其支援安全工作區上的私人網路、Microsoft Entra 驗證，無論是使用使用者主體 (例如使用者帳戶) 或服務主體 (例如受控或非受控識別)。 批次端點所產生的作業會在叫用者身分識別下執行，這可讓您彈性實作任何案例。 如需使用批次端點時授權的詳細資訊，請參閱 如何在批次端點上進行驗證。