モデルをサーバーレス API エンドポイントとしてデプロイする

この記事では、従量課金制トークン ベースの課金を使用して、モデル カタログからモデルをサーバーレス API としてデプロイする方法について説明します。

モデル カタログ内の特定のモデルは、従量課金制請求でサーバーレス API としてデプロイできます。 この種類のデプロイは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。 このデプロイ オプションでは、サブスクリプションからのクォータを必要としません。

前提条件

• 有効な支払い方法を持つ Azure サブスクリプション。 無料または試用版の Azure サブスクリプションは機能しません。 Azure サブスクリプションを持っていない場合は、始めるために有料の Azure アカウントを作成してください。

• Azure Machine Learning ワークスペース。

• Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。 この記事の手順を実行するには、ご自分のユーザー アカウントに、リソース グループの Azure AI 開発者ロールを割り当てる必要があります。 アクセス許可について詳しくは、Azure Machine Learning でのロールベースのアクセス制御に関する記事をご覧ください。

• Azure Machine Learning を使用するには、次のソフトウェアをインストールする必要があります。

  互換性のある任意の Web ブラウザーを使用して、Azure Machine Learning 内を移動できます。

  Azure CLI

  Azure CLI と Azure Machine Learning 用の ml 拡張機能。

  az extension add -n ml
  

  拡張機能が既にインストールされている場合は、最新バージョンがインストールされていることを確認します。

  az extension update -n ml
  

  拡張機能がインストールされたら、次のように構成します。

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Azure Machine Learning SDK for Python をインストールする。

  pip install -U azure-ai-ml
  

  インストールしたら、必要な名前空間をインポートし、ワークスペースに接続されたクライアントを作成します。

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  互換性のある任意の Web ブラウザーを使用して、Microsoft Azure portal または任意のデプロイ ツールを使って、ARM テンプレートをデプロイできます。 このチュートリアルでは、Azure CLI を使用します。

モデル オファリングに対してワークスペースをサブスクライブする

Azure Marketplace 経由で提供されるモデルについては、それらをサーバーレス API エンドポイントにデプロイして予測を使用できます。 ワークスペースにモデルを初めてデプロイする場合は、Azure Marketplace から特定のモデル オファリングに対してワークスペースをサブスクライブする必要があります。 ワークスペースごとに、モデルの特定の Azure Marketplace オファリングへの固有のサブスクリプションがあり、それを使って支出を管理およびモニターできます。

Note

Azure Marketplace 経由で提供されるモデルは、特定のリージョンのサーバーレス API エンドポイントへのデプロイに使用できます。 サーバーレス API エンドポイントでのモデルに対するリージョンの可用性に関する記事を確認して、利用可能なリージョンを確認します。 必要なものが一覧にない場合は、サポートされているリージョンのワークスペースにデプロイし、別のワークスペースからサーバーレス API エンドポイントを使用できます。

1. Azure Machine Learning Studio にサインインします。

2. リソース グループに対する Azure AI 開発者ロールのアクセス許可がアカウントにあること、またはモデル オファリングをサブスクライブするために必要なアクセス許可を満たしていることを確認します。

3. ワークスペースに移動します。

4. 左側のサイドバーから [モデル カタログ] を選び、デプロイするモデルのモデル カードを見つけます。 この記事では、Meta-Llama-3-8B-Instruct モデルを選びます。

   1. Azure CLI、Python SDK、または ARM を使用してモデルをデプロイする場合は、モデル ID をコピーします。

   重要

   モデル ID をコピーするときにバージョンを含めないでください。 サーバーレス API エンドポイントは、常に使用可能なモデルの最新バージョンをデプロイします。 たとえば、モデル ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3 の場合は、azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct をコピーします。

   

5. モデルのマーケットプレース サブスクリプションを作成します。 サブスクリプションを作成するときに、モデル オファーに関連付けられているご契約条件に同意します。

   1. モデルの [詳細] ページで、[デプロイ] を選択し、[サーバーレス API] を選択してデプロイ ウィザードを開きます。

   2. Microsoft の購入ポリシーに同意するチェック ボックスをオンにします。

      

   3. 「You already have an Azure Marketplace subscription for this workspace (このワークスペースの Azure Marketplace サブスクリプションが既にある)」というメモが表示される場合は、サブスクリプションを既に持っているため、作成する必要はありません。 サーバーレス API エンドポイントへのモデルのデプロイに進むことができます。

   4. デプロイ ウィザードで、[Azure Marketplace の使用条件] へのリンクを選び、使用条件の詳細を確認します。 [Pricing and terms] (価格と条件) タブを選択して、選択したモデルの価格について確認することもできます。

   5. デプロイ ウィザードで、リンク [Azure Marketplace の使用条件] を選択して、使用条件の詳細を確認します。 [Marketplace オファーの詳細] タブを選択して、選択したモデルの価格について確認することもできます。

   6. [サブスクライブしてデプロイ] を選択します。

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   subscription.yml ファイルを使用してサブスクリプションを作成します。

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   次のテンプレートを使用して、モデル サブスクリプションを作成します。

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

6. 特定の Azure Marketplace オファリングにワークスペースをサインアップすると、"同じ" ワークスペース内の "同じ" オファリングの以降のデプロイで再度サブスクライブする必要はありません。

7. ワークスペースが現在サブスクライブしているモデル オファーは、いつでも確認できます。

   1. Azure portal に移動します

   2. ワークスペースが属するリソース グループに移動します。

   3. [種類] フィルターで、[SaaS] を選択します。

   4. 現在サブスクライブしているすべてのオファリングが表示されます。

   5. 詳細を表示するには、リソースを選びます。

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   リソース管理ツールを使用して、リソースのクエリを実行できます。 次のコードは、Azure CLI を使用します。

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

サーバーレス API エンドポイントにモデルをデプロイする

モデルのサブスクリプションを作成したら、関連付けられているモデルをサーバーレス API エンドポイントにデプロイできます。 サーバーレス API エンドポイントは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。 このデプロイ オプションでは、サブスクリプションからのクォータを必要としません。

この記事では、meta-llama3-8b-qwerty という名前のエンドポイントを作成します。

1. サーバーレス エンドポイントを作成する

   1. 前のウィザードで [デプロイ] (直前のセクションでワークスペースをモデル オファーに対してサブスクライブした場合) を選択するか、[Continue to deploy] (デプロイに進む) (デプロイ ウィザードに「You already have an Azure Marketplace subscription for this workspace (このワークスペースの Azure Marketplace サブスクリプションが既にある)」というメモがある場合) を選びます。

      

   2. デプロイに名前を付けます。 この名前は、デプロイ API URL の一部になります。 この URL は、Azure リージョンごとに一意である必要があります。

      

   3. 展開 を選択します。 デプロイの準備ができるまで待つと、[デプロイ] ページにリダイレクトされます。

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   endpoint.yml ファイルを使用してエンドポイントを作成します。

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   次のテンプレートを使用して、エンドポイントを作成します。

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   次に、デプロイを作成します。

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Azure デプロイ テンプレートが完了するまでに数分かかる場合があります。 デプロイが完了すると、次のような結果を含むメッセージが表示されます。

   "provisioningState": "Succeeded",
   

2. いつでも、ワークスペースにデプロイされたエンドポイントを確認できます。

   1. ワークスペースに移動します。

   2. [エンドポイント] を選択します。

   3. [Serverless endpoints] (サーバーレス エンドポイント) タブを選択して、サーバーレス API エンドポイントを表示します。

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   リソース管理ツールを使用して、リソースのクエリを実行できます。 次のコードは、Azure CLI を使用します。

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. 作成されたエンドポイントは、承認にキー認証を使用します。 次の手順を使用して、特定のエンドポイントに関連付けられているキーを取得します。

   1. デプロイのページに戻るには、サーバーレス エンドポイントの一覧からエンドポイントの名前を選びます。
   2. エンドポイントの [ターゲット URI] と [キー] をメモします。 これらを使用してデプロイを呼び出し、予測を生成します。

   Note

   Azure portal を使用するときは、リソース グループにサーバーレス API エンドポイントが既定では表示されません。 リソース グループに表示するには、[非表示の種類を表示] オプションを使用します。

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   REST API を使用して、この情報に対してクエリを実行します。

4. この時点で、エンドポイントを使用する準備ができました。

5. 異なるワークスペースからこのデプロイを使用する必要がある場合、またはプロンプト フローを使用してインテリジェントなアプリケーションを構築する予定の場合は、サーバーレス API デプロイへの接続を作成する必要があります。 新しいプロジェクトまたはハブに既存のサーバーレス API エンドポイントを構成する方法については、デプロイされたサーバーレス API エンドポイントを異なるワークスペースから、またはプロンプト フローから使用する方法に関する記事を参照してください。

   ヒント

   デプロイがデプロイされたのと同じワークスペースでプロンプト フローを使用する場合でも、接続を作成する必要があります。

サーバーレス API エンドポイントを使用する

サーバーレス API エンドポイントの Azure Machine Learning と Azure AI Studio にデプロイされたモデルは、Azure AI Model Inference API をサポートします。これは、基本モデルの一般的な機能セットを公開していて、さまざまなモデル セットからの予測を一定かつ一貫した方法で利用するために開発者が使用できます。

この API の機能と、アプリケーションを構築するときのその活用方法について詳細を確認してください。

エンドポイントとサブスクリプションを削除する

モデルのサブスクリプションとエンドポイントを削除できます。 モデル サブスクリプションを削除すると、関連付けられているエンドポイントは [異常] になり、使用できなくなります。

サーバーレス API エンドポイントを削除するには、次のようにします。

1. [Azure Machine Learning Studio] に移動します。

2. 左側のサイドバーで [エンドポイント] を選びます。

3. [Serverless endpoints] (サーバーレス エンドポイント) タブを選択して、サーバーレス API エンドポイントを表示します。

4. 削除するエンドポイントを開きます。

5. [削除] を選択します。

関連付けられているモデル サブスクリプションを削除するには、次のようにします。

1. Azure portal に移動します

2. ワークスペースが属するリソース グループに移動します。

3. [種類] フィルターで、[SaaS] を選択します。

4. 削除するサブスクリプションを選択します。

5. [削除] を選択します。

Azure CLI

サーバーレス API エンドポイントを削除するには、次のようにします。

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

関連付けられているモデル サブスクリプションを削除するには、次のようにします。

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

サーバーレス API エンドポイントを削除するには、次のようにします。

client.serverless_endpoints.begin_delete(endpoint_name).wait()

関連付けられているモデル サブスクリプションを削除するには、次のようにします。

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

リソース管理ツールを使用して、リソースを管理できます。 次のコードは、Azure CLI を使用します。

az resource delete --name <resource-name>

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

サーバーレス API エンドポイントとしてデプロイされたモデルは、Azure Marketplace 経由で提供され、使用するために Azure Machine Learning と統合されます。 モデルをデプロイまたはモデルを微調整するときに、Azure Marketplace の価格を確認できます。

ワークスペースが Azure Marketplace から特定のオファーにサブスクライブするたびに、その使用に関連するコストを追跡するための新しいリソースが作成されます。 推論と微調整に関連するコストを追跡するために同じリソースが使用されますが、各シナリオを個別に追跡するために複数の測定値を使用できます。

コストを追跡する方法の詳細については、「Azure Marketplace を通じて提供されるモデルのコストを監視する」を参照してください。

クォータはデプロイごとに管理されます。 各デプロイのレート制限は、1 分あたり 200,000 トークン、1 分あたり 1,000 個の API 要求です。 ただし現在、ワークスペースのモデルごとにデプロイを 1 つに制限しています。 現在のレート制限がシナリオに十分でない場合は、Microsoft Azure サポートにお問い合わせください。

モデル オファリングをサブスクライブするために必要なアクセス許可

Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。 この記事の手順を実行するには、ユーザー アカウントに、Azure サブスクリプションの所有者、共同作成者、または Azure AI 開発者ロールを割り当てる必要があります。 別の方法として、アカウントに、次のアクセス許可を持つカスタム ロールを割り当てることができます。

• Azure サブスクリプションで - ワークスペースを Azure Marketplace オファリングにサブスクライブするため、各ワークスペースに対して 1 回、オファリングごと:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• リソース グループで - SaaS リソースを作成して使用するため:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• ワークスペースで - エンドポイントをデプロイするため (Azure Machine Learning データ サイエンティスト ロールには、既に次のアクセス許可が含まれています):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

アクセス許可の詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

関連するコンテンツ

• モデル カタログとコレクション
• デプロイされたサーバーレス API エンドポイントを異なるワークスペースから使用する