Azure Machine Learning 的運作方式：資源和資產

發行項
06/13/2024

適用於：Azure CLI ml 延伸模組 v2 (目前)Python SDK azure-ai-ml v2 (目前)

本文適用於第二版的 Azure Machine Learning CLI 和 Python SDK (v2)。如需第一版 (v1)，請參閱 Azure Machine Learning 運作方式：結構與概念 (v1)

Azure Machine Learning 包含數個資源和資產，可讓您執行機器學習工作。執行任何作業皆需要這些資源和資產。

資源：執行機器學習工作流程所需的設定或基礎結構資源。這些資源包括：
資產：使用 Azure Machine Learning 命令或作為定型／評分執行的一部分所建立。資產已建立版本，而且可以在 Azure Machine Learning 工作區中註冊。其中包括：
- 模型
- 環境
- Data
- 元件

本文件提供這些資源和資產的快速概觀。

必要條件

若要使用本文中的 Python SDK 程式代碼範例：

安裝 Python SDK v2

建立 Azure 機器學習訂用帳戶的連線。範例全都依賴 ml_client。若要建立工作區，連線不需要工作區名稱，因為您可能還沒有工作區名稱。本文中所有其他範例都需要將工作區名稱包含在連線中。

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Workspace
from azure.identity import DefaultAzureCredential

# Enter details of your subscription
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"

# get a handle to the subscription (use this if you haven't created a workspace yet)
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group)

# all other examples in this article require the connection to include workspace name
workspace_name = "<WORKSPACE_NAME>"
ml_client = ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace_name)

若要使用本文中的 Azure CLI 程式代碼範例，您必須安裝並設定 Azure CLI。您可以從安裝並設定 CLI 安裝 Azure CLI（v2）。

安裝 Azure CLI 之後，請登入您的 Azure 帳戶：

az login

如果您有多個 Azure 訂用帳戶的存取權，您可以設定作用中的訂用帳戶：

az account set -s "<YOUR_SUBSCRIPTION_NAME_OR_ID>"

工作區

工作區是 Azure Machine Learning 的最上層資源，其提供一個集中位置來處理您在使用 Azure Machine Learning 時建立的所有成品。工作區保留所有工作的歷程記錄，包括記錄、計量、輸出，以及指令碼的快照集。工作區會儲存資料存放區與計算等資源的參考。它也會保存所有資產，例如模型、環境、元件和資料資產。

建立工作區

若要使用 Python SDK v2 建立工作區，您可以使用下列程式碼：

適用於：Python SDK azure-ai-ml v2 (目前)

# specify the workspace details
ws = Workspace(
    name="my_workspace",
    location="eastus",
    display_name="My workspace",
    description="This example shows how to create a workspace",
    tags=dict(purpose="demo"),
)

ml_client.workspaces.begin_create(ws) # use MLClient to connect to the subscription and resource group and create workspace

此 Jupyter Notebook 會顯示更多使用 SDK v2 建立 Azure Machine Learning 工作區的方式。

若要使用 CLI v2 建立工作區，請使用下列命令：

適用於：Azure CLI ml 延伸模組 v2 (目前)

az ml workspace create --file my_workspace.yml

如需檔案的內容，請參閱工作區 YAML 範例。

計算

計算是您可以用來執行工作或是裝載端點的指定計算資源。 Azure Machine Learning 支援下列計算類型：

計算執行個體 - 已完整設定和完全受控的雲端開發環境。您可以使用執行個體作為開發和測試的定型或推斷計算。它類似於雲端的虛擬機器。
計算叢集 - 受控計算基礎結構，可讓您輕鬆地在雲端中建立 CPU 或 GPU 計算節點的叢集。
無伺服器計算 - 您即時存取的計算叢集。當您使用無伺服器計算時，不需要建立自己的叢集。所有計算生命週期管理都會卸除至 Azure 機器學習。
推斷叢集 - 可用於將定型的機器學習模型部署到 Azure Kubernetes Service。您可以從 Azure Machine Learning 工作區建立 Azure Kubernetes Service (AKS) 叢集，或附加現有的 AKS 叢集。
附加的計算 - 您可以將自己的計算資源附加至工作區，並將它們用於定型和推斷。

建立計算

若要使用 Python SDK v2 建立計算叢集，您可以使用下列程序代碼：

適用於：Python SDK azure-ai-ml v2 (目前)

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic)

此 Jupyter Notebook 會顯示更多使用 SDK v2 建立計算的方式。

若要使用 CLI v2 建立計算，請使用下列命令：

適用於：Azure CLI ml 延伸模組 v2 (目前)

az ml compute create --file my_compute.yml

如需檔案的內容，請參閱計算 YAML 範例。 .

Datastore

Azure Machine Learning 資料存放區安全保留 Azure 資料儲存體的連線資訊，因此您不需要寫在指令碼中。您可以註冊和建立資料存放區，輕鬆連線至儲存體帳戶，並存取基礎儲存體服務中的資料。 CLI v2 和 SDK v2 支援下列類型的雲端式儲存體服務：

Azure Blob 容器
Azure 檔案共用
Azure Data Lake
Azure Data Lake Gen2

建立資料存放區

若要使用 Python SDK v2 建立資料存放區，您可以使用下列程式碼：

適用於：Python SDK azure-ai-ml v2 (目前)

import AzureBlobDatastore

blob_datastore1 = AzureBlobDatastore(
    name="blob_example",
    description="Datastore pointing to a blob container.",
    account_name="mytestblobstore",
    container_name="data-container",
    credentials={
        "account_key": "XXXxxxXXXxXXXXxxXXXXXxXXXXXxXxxXxXXXxXXXxXXxxxXXxxXXXxXxXXXxxXxxXXXXxxxxxXXxxxxxxXXXxXXX"
    },
)
ml_client.create_or_update(blob_datastore1)

此 Jupyter Notebook 會顯示更多使用 SDK v2 建立資料存放區的方式。

若要使用 CLI v2 建立資料存放區，請使用下列命令：

適用於：Azure CLI ml 延伸模組 v2 (目前)

az ml datastore create --file my_datastore.yml

如需檔案的內容，請參閱數據存放區 YAML 範例。

若要深入瞭解如何使用數據存放區，請參閱建立和管理數據資產。

模型

Azure 機器學習模型包含二進位檔，代表機器學習模型和任何對應的元數據。您可以從本機或遠端的檔案或目錄建立模型。針對遠端位置 https，支援 wasbs 和 azureml 位置。建立的模型將會在工作區中以指定的名稱和版本被追蹤。 Azure Machine Learning 支援三種類型的模型儲存體格式：

custom_model
mlflow_model
triton_model

在模型登錄中建立模型

模型註冊可讓您在 Azure 雲端中您自己的工作區內儲存模型，以及設定模型的版本。模型登錄可協助您組織和追蹤已定型模型。

如需如何在登錄中建立模型的詳細資訊，請參閱在 Azure 機器學習中使用模型。

Environment

Azure Machine Learning 環境是您機器學習工作執行環境的封裝。這些環境會針對您的定型和評分指令碼指定軟體套件、環境變數和軟體設定。這些環境是您的機器學習工作區中受控且已建立版本的實體。環境讓您在各種計算中執行可重現、可稽核和可攜式機器學習工作流程。

環境類型

Azure Machine Learning 支援兩種類型的環境：策展和自訂。

策展環境由 Azure Machine Learning 提供，依預設在工作區中可用。主要是依原樣使用，含有 Python 封裝和設定的集合，協助您開始使用各種機器學習架構。這些預先建立的環境也能加快部署時間。如需完整清單，請參閱策展環境文章。

在自訂環境中，您必須負責設定環境，以及安裝計算上定型或評分指令碼所需的套件或任何其他相依性。 Azure Machine Learning 可讓您用以下方式建立自己的環境

Docker 映像
具有 conda YAML 基礎的 Docker 映像，以進一步自訂
Docker 建置內容

建立 Azure Machine Learning 自訂環境

若要使用 Python SDK v2 建立環境，請參閱建立環境。

此 Jupyter Notebook 會顯示更多使用 SDK v2 建立自訂環境的方式。

資料

Azure Machine Learning 可讓您使用不同類型的資料：

URI (本機/雲端儲存體中的位置)
- uri_folder
- uri_file
資料表 (表格式資料抽象概念)
- mltable
基本型別
- string
- boolean
- number

在大部分情況下，您將使用 URI (uri_folder 和 uri_file) - 儲存體中的位置，它可藉由裝載或下載儲存體至節點，輕鬆地對應至作業中計算節點的檔案系統。

mltable 是表格式資料的抽象概念，用於 AutoML 作業、平行作業和一些進階案例。如果您剛開始使用 Azure Machine Learning 且未使用 AutoML，我們強烈建議您開始使用 URI。

元件

Azure Machine Learning 元件是獨立式程式碼片段，可在機器學習管線中執行單一步驟。元件是進階機器學習管線的建置區塊。元件可以執行資料處理、模型定型、模型評分等工作。元件類似於函式 - 它具有名稱、參數，會預期輸入並會傳回輸出。

共用方式為

Azure Machine Learning 的運作方式：資源和資產

必要條件

工作區

建立工作區

計算

建立計算

Datastore

建立資料存放區

模型

在模型登錄中建立模型

Environment

環境類型

建立 Azure Machine Learning 自訂環境

資料

元件

下一步

意見反應

意見反應

其他資源