バッチエンドポイントにスコアリング用のモデルをデプロイする

適用対象:Azure CLI ml 拡張機能 v2 (現行)Python SDK azure-ai-ml v2 (現行)

バッチエンドポイントを使用すると、大量のデータに対して推論を実行するモデルをデプロイできます。これらのエンドポイントを使用すると、バッチスコアリング用のホスティングモデルが簡略化されるため、インフラストラクチャではなく機械学習に集中できます。

バッチエンドポイントを使用して、次の場合にモデルをデプロイします。

推論の実行に時間がかかるコストの高いモデルを使用します。
複数のファイルに分散された大量のデータに対して推論を実行します。
待機時間を短くする必要はありません。
並列化を利用します。

この記事では、バッチエンドポイントを使用して、従来の MNIST (米国標準技術研究所) の数字認識の問題を解決する機械学習モデルをデプロイする方法について説明します。デプロイされたモデルは、画像ファイルなどの大量のデータに対してバッチ推論を実行します。プロセスは、Torch を使用して構築されたモデルのバッチデプロイの作成から始まります。このデプロイは、エンドポイントの既定値になります。その後、TensorFlow (Keras) で構築されたモデルの 2 つ目のデプロイを作成し、2 つ目のデプロイをテストし、エンドポイントの既定のデプロイとして設定します。

前提条件

この記事の手順を実行する前に、次の前提条件が満たされていることをご確認ください。

Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。無料版または有料版の Azure Machine Learning をお試しください。
Azure Machine Learning ワークスペース。準備できていない場合は、ワークスペースの管理方法に関する記事の手順を使用して作成します。
次のタスクを実行するには、ワークスペースで次のアクセス許可を持っている必要があります。
- バッチエンドポイントおよびデプロイを作成または管理する場合: 所有者ロール、共同作成者のロール、または Microsoft.MachineLearningServices/workspaces/batchEndpoints/* を許可するカスタムロールを使用します。
- ワークスペースリソースグループに ARM デプロイを作成する場合: 所有者ロール、共同作成者ロール、またはワークスペースがデプロイされているリソースグループで Microsoft.Resources/deployments/write を許可するカスタムロールを使用します。
Azure Machine Learning を使用するには、次のソフトウェアをインストールする必要があります。
適用対象: Azure CLI ml 拡張機能 v2 (現行)

Azure CLI と mlAzure Machine Learning 用の拡張機能。
```
az extension add -n ml
```
適用対象: Python SDK azure-ai-ml v2 (現行)

Azure Machine Learning SDK for Python をインストールする。
```
pip install azure-ai-ml
```
Azure Machine Learning スタジオを使用する予定がある場合は、それ以上の要件はありません。

examples リポジトリをクローンします

この記事の例は、azureml-examples リポジトリに含まれているコードサンプルを基にしています。 YAML などのファイルをコピーして貼り付けることなくコマンドをローカルで実行するには、最初にリポジトリを複製してから、ディレクトリをそのフォルダーに変更します。

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli/endpoints/batch/deploy-models/mnist-classifier

!git clone https://github.com/Azure/azureml-examples --depth 1
!cd azureml-examples/sdk/python/endpoints/batch/deploy-models/mnist-classifier

Jupyter Notebook でこの例を実行するには、複製されたリポジトリで、ノートブック mnist-batch.ipynb を開きます。

システムを準備する

ワークスペースに接続する

まず、作業している Azure Machine Learning ワークスペースに接続します。

まだ Azure CLI の既定値を設定していない場合は、既定の設定を保存する必要があります。サブスクリプション、ワークスペース、リソースグループ、場所の値を複数回入力しないようにするには、次のコードを実行します。

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

ワークスペースは Azure Machine Learning の最上位のリソースであり、Azure Machine Learning を使用するときに作成するすべての成果物を一元的に管理する場所を提供します。このセクションでは、展開タスクを実行するワークスペースに接続します。

必要なライブラリをインポートします。

from azure.ai.ml import MLClient, Input, load_component
from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment
from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
from azure.ai.ml.dsl import pipeline
from azure.identity import DefaultAzureCredential

Note

クラス ModelBatchDeployment と PipelineComponentBatchDeployment は、SDK のバージョン 1.7.0 で導入されました。

ワークスペースの詳細を構成し、ワークスペースへのハンドルを取得します。

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

コンピューティングを作成する

バッチエンドポイントはコンピューティングクラスターで実行され、Azure Machine Learning コンピューティングクラスター (AmlCompute) と Kubernetes クラスターの両方をサポートします。クラスターは共有リソースであるため、1 つのクラスターで 1 つまたは多数のバッチデプロイ (必要に応じてほかのワークロードと一緒に) をホストすることができます。

次のコードに示されているように、batch-cluster という名前のコンピューティングを作成します。必要に応じて調整し、azureml:<your-compute-name>を使用して計算を参照してください。

az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5

compute_name = "batch-cluster"
if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
    compute_cluster = AmlCompute(
        name=compute_name,
        description="CPU cluster compute",
        min_instances=0,
        max_instances=2,
    )
    ml_client.compute.begin_create_or_update(compute_cluster).result()

Note

バッチエンドポイントが呼び出され、バッチスコアリングジョブが送信されるまでクラスターは 0 ノードのままであるため、この時点ではコンピューティングに対して課金されません。コンピューティングコストの詳細については、AmlCompute のコストの管理と最適化に関する記事を参照してください。

バッチエンドポイントを作成する

バッチエンドポイントは、クライアントが呼び出してバッチスコアリングジョブをトリガーする HTTPS エンドポイントです。 バッチスコアリングジョブは、複数の入力をスコア付けします。 バッチデプロイは、バッチスコアリング (またはバッチ推論) を実行するモデルをホストする一連のコンピューティングリソースです。 1 つのバッチエンドポイントに複数のバッチデプロイを割り当てることができます。バッチエンドポイントの詳細については、「バッチエンドポイントとは」を参照してください。

ヒント

バッチデプロイのうちの 1 つが、エンドポイントの既定のデプロイとして機能します。エンドポイントが呼び出されると、既定のデプロイでバッチスコアリングが実行されます。バッチエンドポイントとデプロイの詳細については、バッチエンドポイントとバッチデプロイに関する説明を参照してください。

エンドポイントに名前を付けます。 エンドポイントの名前はエンドポイントの URI に含まれているため、Azure リージョン内で一意である必要があります。たとえば、mybatchendpoint に存在できる westus2 という名前のバッチエンドポイントは 1 つだけです。
後で簡単に参照できるように、エンドポイントの名前を変数に配置します。
```
ENDPOINT_NAME="mnist-batch"
```
後で簡単に参照できるように、エンドポイント名を変数に入れます。
```
endpoint_name = "mnist-batch"
```
後でデプロイを作成するときに、エンドポイントの名前を指定します。

バッチエンドポイントを構成する

次の YAML ファイルは、バッチエンドポイントを定義します。このファイルは、バッチエンドポイントの作成に CLI コマンドと共に使用します。

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
name: mnist-batch
description: A batch endpoint for scoring images from the MNIST dataset.
tags:
  type: deep-learning

次の表では、エンドポイントの主要なプロパティについて説明します。完全なバッチエンドポイント YAML スキーマについては、 CLI (v2) バッチエンドポイント YAML スキーマを参照してください。

鍵	説明
`name`	バッチエンドポイントの名前。 Azure リージョンレベルで一意である必要があります。
`description`	バッチエンドポイントの説明。このプロパティは省略可能です。
`tags`	エンドポイントに含めるタグ。このプロパティは省略可能です。

endpoint = BatchEndpoint(
    name=endpoint_name,
    description="A batch endpoint for scoring images from the MNIST dataset.",
    tags={"type": "deep-learning"},
)

次の表では、エンドポイントの主要なプロパティについて説明します。バッチエンドポイント定義の詳細については、BatchEndpoint クラスに関する記事を参照してください。

鍵	説明
`name`	バッチエンドポイントの名前。 Azure リージョンレベルで一意である必要があります。
`description`	バッチエンドポイントの説明。このプロパティは省略可能です。
`tags`	エンドポイントに含めるタグ。このプロパティは省略可能です。

エンドポイントを作成します。
このコードを実行して、バッチエンドポイントを作成します。
```
az ml batch-endpoint create --file endpoint.yml  --name $ENDPOINT_NAME
```
```
ml_client.begin_create_or_update(endpoint).result()
```
後でデプロイを作成するときに、エンドポイントを作成します。

バッチデプロイを作成する

モデルデプロイは、実際の推論を実行するモデルをホストするのに必要なリソースのセットです。バッチモデルデプロイを作成するには、次の項目が必要です。

ワークスペースに登録済みのモデル
モデルをスコアリングするコード
モデルの依存関係がインストールされている環境
事前に作成されたコンピューティングとリソースの設定

まず、デプロイするモデルを登録します。これは、一般的な数字認識問題 (MNIST) 用の Torch モデルです。バッチデプロイでは、ワークスペースに登録されているモデルのみをデプロイできます。デプロイするモデルが既に登録されている場合は、この手順をスキップできます。

ヒント

モデルは、エンドポイントではなくデプロイに関連付けられます。つまり、異なるモデル (またはモデルバージョン) がデプロイごとに展開されている限り、同じ単一のエンドポイントで、異なるモデル (またはモデルバージョン) にサービスを提供できます。
```
MODEL_NAME='mnist-classifier-torch'
az ml model create --name $MODEL_NAME --type "custom_model" --path "deployment-torch/model"
```
```
model_name = "mnist-classifier-torch"
model_local_path = "deployment-torch/model/"

model = ml_client.models.create_or_update(
    Model(
        name=model_name,
        path=model_local_path,
        type=AssetTypes.CUSTOM_MODEL,
        tags={"task": "classification", "framework": "torch"},
    )
)
```
1. サイドメニューの [Models]$モデル$ タブに移動します。
2. [登録]>[ローカルファイルから] を選択します。
3. ウィザードの [Model type]$モデルの種類$ オプションは [Unspecified type]$未指定の種類$ のままにします。
4. [参照]>[フォルダーの参照]>、deployment-torch/model フォルダーを選択 >[次へ] の順に選択します。
5. モデルの名前 (mnist-classifier-torch) を構成します。残りのフィールドはそのままで問題ありません。
6. [登録] を選択します。
次に、スコアリングスクリプトを作成します。バッチデプロイには、指定のモデルの実行方法と入力データの処理方法を示すスコアリングスクリプトが必要です。バッチエンドポイントでは、Python で作成されたスクリプトがサポートされます。今回は、数字が表示された画像ファイルを読み込んで、対応する数字を出力するモデルをデプロイします。スコアリングスクリプトは次のようになります。

Note

MLflow モデルの場合、このスコアリングスクリプトは Azure Machine Learning によって自動的に生成されるため、必要ありません。モデルが MLflow モデルの場合は、この手順をスキップできます。バッチエンドポイントが MLflow モデルでどのように動作するかの詳細については、「バッチデプロイで MLflow モデルを使用する」の記事を参照してください。

警告

自動機械学習 (AutoML) モデルをバッチエンドポイントの下にデプロイする場合、AutoML が提供するスコアリングスクリプトはオンラインエンドポイントでのみ機能することと、バッチ実行用には設計されていないことに注意してください。スコアリングスクリプトを作成する方法については、「バッチデプロイ用のスコアリングスクリプトを作成する」を参照してください。

deployment-torch/code/batch_driver.py
```
import os
import pandas as pd
import torch
import torchvision
import glob
from os.path import basename
from mnist_classifier import MnistClassifier
from typing import List


def init():
    global model
    global device

    # AZUREML_MODEL_DIR is an environment variable created during deployment
    # It is the path to the model folder
    model_path = os.environ["AZUREML_MODEL_DIR"]
    model_file = glob.glob(f"{model_path}/*/*.pt")[-1]

    model = MnistClassifier()
    model.load_state_dict(torch.load(model_file))
    model.eval()

    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")


def run(mini_batch: List[str]) -> pd.DataFrame:
    print(f"Executing run method over batch of {len(mini_batch)} files.")

    results = []
    with torch.no_grad():
        for image_path in mini_batch:
            image_data = torchvision.io.read_image(image_path).float()
            batch_data = image_data.expand(1, -1, -1, -1)
            input = batch_data.to(device)

            # perform inference
            predict_logits = model(input)

            # Compute probabilities, classes and labels
            predictions = torch.nn.Softmax(dim=-1)(predict_logits)
            predicted_prob, predicted_class = torch.max(predictions, axis=-1)

            results.append(
                {
                    "file": basename(image_path),
                    "class": predicted_class.numpy()[0],
                    "probability": predicted_prob.numpy()[0],
                }
            )

    return pd.DataFrame(results)
```
バッチデプロイを実行する環境を作成します。この環境では、バッチエンドポイントで必要なパッケージ azureml-core と azureml-dataset-runtime[fuse]、およびコードの実行に必要な依存関係を含める必要があります。この場合、依存関係は conda.yaml ファイルにキャプチャされています。

deployment-torch/environment/conda.yaml
```
name: mnist-env
channels:
  - conda-forge
dependencies:
  - python=3.8.5
  - pip<22.0
  - pip:
    - torch==1.13.0
    - torchvision==0.14.0
    - pytorch-lightning
    - pandas
    - azureml-core
    - azureml-dataset-runtime[fuse]
```
重要

パッケージ azureml-core と azureml-dataset-runtime[fuse] はバッチデプロイに必要であり、環境の依存関係に含める必要があります。

次のように環境を指定します。
環境定義は、匿名環境としてデプロイ定義自体に含まれます。デプロイでは、次の行で確認できます。
```
environment:
  name: batch-torch-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
```
その環境に対する参照を取得します。
```
env = Environment(
    name="batch-torch-py38",
    conda_file="deployment-torch/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
Azure Machine Learning スタジオで、次の手順を実行します。
サイドメニューの [ 環境 ] タブに移動します。
[ カスタム環境>作成] を選択します。
1. 環境の名前 (この例では torch-batch-env) を入力します。
2. [環境ソースの選択] で、[オプションの Conda ファイルとともに既存の Docker イメージを使用する] を選択します。
3. [コンテナーレジストリイメージパス] に、「mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04」と入力します。
4. [次へ] を選択し、[カスタマイズ] セクションに進みます。
5. GitHub リポジトリからポータルに deployment-torch/environment/conda.yaml ファイルの内容をコピーします。
[Review page]$レビューページ$ に到達するまで [ 次へ ] を選択します。
[ 作成] を選択し、環境の準備が整うのを待ちます。

警告

キュレーションされた環境は、バッチデプロイではサポートされていません。独自の環境を指定する必要があります。プロセスを簡略化するために、キュレーションされた環境の基本イメージをいつでも自分のイメージとして使用できます。

デプロイの定義を作成する

deployment-torch/deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/modelBatchDeployment.schema.json
name: mnist-torch-dpl
description: A deployment using Torch to solve the MNIST classification dataset.
endpoint_name: mnist-batch
type: model
model:
  name: mnist-classifier-torch
  path: model
code_configuration:
  code: code
  scoring_script: batch_driver.py
environment:
  name: batch-torch-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
compute: azureml:batch-cluster
resources:
  instance_count: 1
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 10
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 30
  error_threshold: -1
  logging_level: info

次の表では、バッチデプロイの主要なプロパティについて説明します。完全なバッチデプロイの YAML スキーマについては、「CLI (v2) バッチデプロイの YAML スキーマ」を参照してください。

鍵	説明
`name`	デプロイの名前。
`endpoint_name`	デプロイを作成するエンドポイントの名前。
`model`	バッチスコアリングに使用するモデル。この例では、`path` を使用してインラインでモデルを定義しています。この定義により、自動的にモデルファイルをアップロードし、自動生成された名前とバージョンで登録できるようになります。その他のオプションについては、モデルスキーマに関する記事を参照してください。運用シナリオのベストプラクティスとして、モデルを個別に作成し、ここで参照します。既存のモデルを参照するには、`azureml:<model-name>:<model-version>` 構文を使用します。
`code_configuration.code`	モデルをスコアリングするためのすべての Python ソースコードを格納するローカルディレクトリ。
`code_configuration.scoring_script`	`code_configuration.code` ディレクトリ内の Python ファイル。このファイルには、`init()` 関数と `run()` 関数が記述されている必要があります。 `init()` 関数は、コストのかかる、または一般的な準備を行うときに使用します (たとえば、メモリにモデルを読み込むなど)。 `init()` は、プロセスの開始時に 1 回だけ呼び出されます。各エントリをスコアリングするには、`run(mini_batch)` を使用します。`mini_batch` の値は、ファイルパスのリストです。 `run()` 関数からは、Pandas の DataFrame または配列が返されます。返された要素はそれぞれ、`mini_batch` 内で成功した入力要素の 1 回の実行を示します。スコアリングスクリプトを作成する方法の詳細については、「スコアリングスクリプトについて」を参照してください。
`environment`	モデルをスコアリングする環境。この例では、`conda_file` と `image` を使用して環境をインラインで定義しています。 `conda_file` の依存関係は、`image` の上部にインストールされます。環境は自動生成された名前とバージョンを使用し、自動的に登録されます。その他のオプションについては、環境スキーマに関する記事を参照してください。運用シナリオのベストプラクティスとして、環境を別途作成し、ここで参照することをお勧めします。既存の環境を参照するには、`azureml:<environment-name>:<environment-version>` 構文を使用します。
`compute`	バッチスコアリングを実行するコンピューティング。この例では、最初に作成した `batch-cluster` を使用し、`azureml:<compute-name>` 構文を使用してそれを参照します。
`resources.instance_count`	各バッチスコアリングジョブに使用されるインスタンスの数。
`settings.max_concurrency_per_instance`	インスタンスあたりの `scoring_script` の並列実行の最大数。
`settings.mini_batch_size`	`scoring_script` が 1 回の `run()` 呼び出しで処理できるファイルの数。
`settings.output_action`	出力ファイルで出力を整理する方法。 `append_row` は、`run()` が返す出力結果を、すべて `output_file_name` という名前の単一のファイルにマージします。 `summary_only` を使用すると、出力結果はマージされず、`error_threshold` の計算だけが行われます。
`settings.output_file_name`	`append_row` `output_action` のバッチスコアリング出力ファイルの名前。
`settings.retry_settings.max_retries`	`scoring_script` `run()` が失敗した場合の最大再試行回数。
`settings.retry_settings.timeout`	ミニバッチをスコアリングするための `scoring_scriptrun()` のタイムアウト (秒単位)。
`settings.error_threshold`	無視する必要がある入力ファイルのスコアリングエラーの数。入力全体でのエラーの数がこの値を超えると、ジョブは終了します。この例では `-1` を使用しています。これは、バッチスコアリングジョブを終了することなく、任意の数のエラーが許容されることを示します。
`settings.logging_level`	ログの詳細。値は詳細度が低い順に WARNING、INFO、DEBUG です。
`settings.environment_variables`	バッチスコアリングジョブごとに設定される環境変数の名前と値のペアの辞書。

deployment = ModelBatchDeployment(
    name="mnist-torch-dpl",
    description="A deployment using Torch to solve the MNIST classification dataset.",
    endpoint_name=endpoint_name,
    model=model,
    code_configuration=CodeConfiguration(
        code="deployment-torch/code/", scoring_script="batch_driver.py"
    ),
    environment=env,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
        max_concurrency_per_instance=2,
        mini_batch_size=10,
        instance_count=2,
        output_action=BatchDeploymentOutputAction.APPEND_ROW,
        output_file_name="predictions.csv",
        retry_settings=BatchRetrySettings(max_retries=3, timeout=30),
        logging_level="info",
    ),
)

BatchDeployment クラスを使用すると、バッチデプロイの次の主要なプロパティを構成できます。

鍵	説明
`name`	デプロイの名前。
`endpoint_name`	デプロイの作成先となるエンドポイントの名前。
`model`	デプロイに使用するモデル。この値は、ワークスペース内の既存のバージョン管理されたモデルへの参照またはインラインモデルの仕様のいずれかです。
`environment`	デプロイに使用する環境。この値は、ワークスペース内の既存のバージョン管理された環境への参照、またはインライン環境仕様 (MLflow モデルの場合はオプション) のいずれかになります。
`code_configuration`	モデルの推論を実行する方法に関する構成 (MLflow モデルの場合はオプション)。
`code_configuration.code`	モデルをスコアリングするためのソースコードディレクトリへのパス。
`code_configuration.scoring_script`	ソースコードディレクトリ内のスコアリングファイルへの相対パス。
`compute`	バッチスコアリングジョブを実行するコンピューティング先の名前。
`instance_count`	各バッチスコアリングジョブに使用するノードの数。
`settings`	モデルデプロイの推論の構成。
`settings.max_concurrency_per_instance`	インスタンスあたりの `scoring_script` の並列実行の最大数。
`settings.mini_batch_size`	`code_configuration.scoring_script` が 1 回の `run`() 呼び出しで処理できるファイルの数。
`settings.retry_settings`	各ミニバッチのスコアリングの設定を再試行します。
`settings.retry_settingsmax_retries`	失敗した、またはタイムアウトになったミニバッチの最大再試行回数 (既定値は 3)。
`settings.retry_settingstimeout`	ミニバッチのスコアリングに適用するタイムアウト (秒単位) (既定値は 30)。
`settings.output_action`	出力ファイルで出力を整理する方法。使用できる値は `append_row` または `summary_only` です。既定値は `append_row` です。
`settings.logging_level`	ログの詳細レベル。使用できる値は、`warning`、`info`、`debug` です。既定値は `info` です。
`settings.environment_variables`	バッチスコアリングジョブごとに設定される環境変数の名前と値のペアの辞書。

サイドメニューの [ エンドポイント ] タブに移動します。
1. [バッチエンドポイント]>[作成] の順に選択します。
2. エンドポイントに名前を付けます (この例では mnist-batch)。残りのフィールドは、構成してもよいですし、空白のままにすることもできます。
3. [次へ] を選択して、[モデル] セクションに進みます。
4. モデル mnist-classifier-torch を選択します。
5. [次へ] を選択して、[デプロイ] ページに進みます。
6. デプロイに名前を付けます。
[出力] アクションで、[行の追加] が選択されていることを確認します。
1. [出力ファイル名] で、バッチスコアリング出力ファイルが必要なものであることを確認します。既定値は predictions.csv です。
2. [ミニバッチサイズ] で、各ミニバッチに含めるファイルのサイズを調整します。このサイズは、スコアリングスクリプトがバッチごとに受け取るデータの量を制御します。
3. [スコアリングタイムアウト (秒)] では、デプロイでファイルのバッチをスコアリングするのに十分な時間が確保されていることを確認してください。ファイルの数を増やす場合は、通常、タイムアウト値も増やす必要があります。コストのより高い (ディープラーニングに基づくもののような) モデルでは、このフィールドに高い値が必要になる場合があります。
4. [インスタンスごとの最大コンカレンシー] で、デプロイで取得する各コンピューティングインスタンスごとに必要な Executor の数を構成します。この数値を大きくすると、並列処理の度合いが高くなりますが、コンピューティングインスタンスのメモリ負荷も増加します。この値は、[ミニバッチサイズ] と合わせて調整するようにします。
5. 完了したら、[次へ] を選択して、[コード + 環境] ページに進みます。
6. [Select a scoring script for inferencing]$推論用のスコアリングスクリプトの選択$ で、deployment-torch/code/batch_driver.py スコアリングスクリプトファイルを検索して選択します。
7. [環境の選択] セクションで、以前に torch-batch-env を作成した環境を選択します。
8. [次へ] を選択して、[コンピューティング] ページに進みます。
9. 前の手順で作成したコンピューティングクラスターを選択します。
  
  警告
  
  Azure Kubernetes クラスターでは、バッチデプロイがサポートされていますが、Azure Machine Learning CLI または Python SDK を使用して作成された場合にのみ有効です。
10. [インスタンス数] に、デプロイに必要なコンピューティングインスタンスの数を入力します。この場合は、2 を使用します。
11. [次へ]を選択します。
デプロイを作成します。
次のコードを実行して、バッチエンドポイントの下にバッチデプロイを作成し、それを既定のデプロイとして設定します。
```
az ml batch-deployment create --file deployment-torch/deployment.yml --endpoint-name $ENDPOINT_NAME --set-default
```
ヒント

--set-default は、新しく作成したデプロイをエンドポイントの既定のデプロイとして設定するパラメーターです。これは、特に最初のデプロイを作成する場合に、エンドポイントの新しい既定のデプロイを作成する便利な方法です。運用シナリオのベストプラクティスとして、新しいデプロイを既定として設定せずに作成することをお勧めします。デプロイが期待どおりに動作することを確認し、後で既定のデプロイを更新します。このプロセスの実装の詳細については、「新しいモデルをデプロイする」セクションを参照してください。
先ほど作成した MLClient を使用して、ワークスペースにデプロイを作成します。このコマンドでは、デプロイの作成を開始し、デプロイの作成が続行されている間に確認応答を返します。
```
ml_client.begin_create_or_update(deployment).result()
```
デプロイが完了したら、この新しいデプロイをエンドポイントの既定のデプロイとして設定します。
```
endpoint = ml_client.batch_endpoints.get(endpoint_name)
endpoint.defaults.deployment_name = deployment.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
```
ウィザードで [作成] を選択してデプロイプロセスを開始します。
バッチエンドポイントとデプロイの詳細を確認します。
show を使用して、エンドポイントとデプロイの詳細を確認します。バッチデプロイを確認するには、次のコードを実行します。
```
DEPLOYMENT_NAME="mnist-torch-dpl"
az ml batch-deployment show --name $DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME
```
バッチデプロイを確認するには、次のコードを実行します。
```
ml_client.batch_deployments.get(name=deployment.name, endpoint_name=endpoint.name)
```
バッチエンドポイントを作成すると、エンドポイントの詳細ページが開きます。このページは、次の手順を実行して見つけることもできます。
1. サイドメニューの [エンドポイント] タブに移動します。
[ Batch エンドポイント ] タブを選択します。
1. 表示するバッチエンドポイントを選択します。
2. エンドポイントの [詳細] ページには、エンドポイントの詳細と、エンドポイントで使用可能なすべてのデプロイが表示されます。

バッチエンドポイントを実行して結果にアクセスする

データフローを理解する

バッチエンドポイントを実行する前に、データがシステムを通過する方法を理解してください。

入力: 処理するデータ (スコア付け)。これには次のものが含まれます。

Azure Storage (BLOB ストレージ、データレイク) に保存されているファイル
複数のファイルを含むフォルダー
Azure Machine Learning に登録されたデータセット

処理: デプロイされたモデルは、入力データをバッチ (ミニバッチ) で処理し、予測を生成します。

出力: モデルからの結果。Azure Storage にファイルとして格納されます。既定では、出力はワークスペースの既定の BLOB ストレージに保存されますが、別の場所を指定することもできます。

バッチエンドポイントを呼び出す

バッチエンドポイントを呼び出すと、バッチスコアリングジョブがトリガーされます。ジョブ name は呼び出し応答で返され、バッチスコアリングの進行状況を追跡します。エンドポイントがスコア付けするデータを検索できるように、入力データパスを指定します。次の例は、Azure Storage アカウントに格納されている MNIST データセットのサンプルデータに対して新しいジョブを開始する方法を示しています。

Azure CLI、Azure Machine Learning SDK、REST エンドポイントを使用して、バッチエンドポイントを呼び出して実行することができます。これらのオプションの詳細については、「バッチエンドポイントのジョブと入力データの作成」を参照してください。

Note

並列処理のしくみ

バッチデプロイは、ファイルレベルで作業を分散します。たとえば、100 個のファイルと 10 個のファイルのミニバッチを含むフォルダーでは、それぞれ 10 個のファイルから 10 個のバッチが生成されます。これは、ファイルサイズに関係なく発生します。ミニバッチで処理するにはファイルが大きすぎる場合は、小さなファイルに分割して並列処理を増やすか、ミニバッチあたりのファイル数を減らします。現在、バッチデプロイでは、ファイルサイズの分散のずれは考慮されていません。

JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $SAMPLE_INPUT_URI --input-type uri_folder --query name -o tsv)

ヒント

エンドポイントを呼び出すときのパラメーター inputs と input の違いは何ですか?

一般的には inputs = {} メソッドで辞書パラメーター invoke を使用すると、"モデルデプロイ" または "パイプラインデプロイ" を含むバッチエンドポイントに任意の個数の必須入力を与えることができます。

"モデルデプロイ" の場合は、デプロイの入力データの場所を指定する簡単な方法としてパラメーターを使用できます。input このアプローチが機能するのは、モデルデプロイが常に 1 つだけのデータ入力を受け取るためです。

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    input=Input(
        path=Path(temp_data_path) / "data",
        type=AssetTypes.URI_FOLDER,
    ),
)

サイドメニューの [エンドポイント] タブに移動します。
[バッチエンドポイント] タブを選択します。
作成したバッチエンドポイントを選びます。
[ジョブの作成] を選択します。
[デプロイ] で、実行するデプロイを選択します。
[次へ] を選択して、[データソースを選択する] ページに進みます。
[データソースの種類] で、[データストア] を選択します。
[データストア] で、ドロップダウンメニューから workspaceblobstore 選択します。
[パス] で、完全な URL https://azuremlexampledata.blob.core.windows.net/data/mnist/sample を入力します。

ヒント

このパスは、指定されたパスでパブリックアクセスが有効になっている場合にのみ機能します。一般的には、データソースをデータストアとして登録する必要があります。詳細については、バッチエンドポイントジョブからのデータへのアクセスに関するページを参照してください。
[次へ]を選択します。
[作成] を選択してジョブを開始します。

バッチエンドポイントでは、さまざまな場所にあるファイルやフォルダーの読み取りがサポートされています。サポートされているタイプとその指定方法の詳細については、「バッチエンドポイントジョブからのデータへのアクセス」を参照してください。

バッチジョブ実行の進行状況を監視する

バッチスコアリングジョブでは、すべての入力の処理に時間がかかります。

次のコードは、ジョブの状態を確認し、詳細が記載された Azure Machine Learning スタジオへのリンクを出力します。

az ml job show -n $JOB_NAME --web

次のコードは、ジョブの状態を確認し、詳細が記載された Azure Machine Learning スタジオへのリンクを出力します。

ml_client.jobs.get(job.name)

バッチスコアリングの結果を確認する

ジョブの出力は、クラウドストレージに格納されます。これはワークスペースの既定の BLOB ストレージか指定したストレージのいずれかです。既定値を変更する方法については、「出力の場所を構成する」を参照してください。次の手順を実行すると、ジョブが完了したときに Azure Storage Explorer でスコアリング結果を表示できます。

次のコードを実行して、Azure Machine Learning スタジオでバッチスコアリングジョブを開きます。ジョブのスタジオリンクは、invoke の応答にも interactionEndpoints.Studio.endpoint の値として含まれています。
```
az ml job show -n $JOB_NAME --web
```
ジョブのグラフで、batchscoring ステップを選択します。
[出力 + ログ] タブを選択し、[Show data outputs]$データ出力の表示$ を選択します。
[Data outputs]$データ出力$ で、Storage Explorer を開くアイコンを選択します。

Storage Explorer のスコアリング結果は、次のサンプルページのようになります。

出力の場所を構成する

既定では、バッチスコアリングの結果は、ワークスペースの既定の BLOB ストアに、ジョブ (システム生成 GUID) にちなんだフォルダーに格納されます。バッチエンドポイントを呼び出すときの出力場所を構成します。

Azure Machine Learning の登録済みデータストア内でフォルダーを構成するには、output-path を使用します。 --output-path の構文は、フォルダーを指定する場合は --input と同じです。つまり、azureml://datastores/<datastore-name>/paths/<path-on-datastore>/ となります。新しい出力ファイル名を構成するには、--set output_file_name=<your-file-name> を使用します。

OUTPUT_FILE_NAME=predictions_`echo $RANDOM`.csv
OUTPUT_PATH="azureml://datastores/workspaceblobstore/paths/$ENDPOINT_NAME"

JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $SAMPLE_INPUT_URI --output-path $OUTPUT_PATH --set output_file_name=$OUTPUT_FILE_NAME --query name -o tsv)

params_override パラメーターを使用すると、デプロイの構成を恒久的に変更せずに、特定のジョブに対するデプロイ設定を変更できます。これは、個々のジョブの出力場所、ミニバッチサイズ、インスタンス数などの設定を調整する場合に便利です。

params_override パラメーターの値は、個々のジョブに対して一時的に変更できる、デプロイ構成の設定に対応しています。これらのパラメーターは、デプロイの YAML スキーマ設定、データストア構成 (出力パスなど)、コードで定義するランタイム変数などから決定されます。

Azure Machine Learning の登録済みデータストア内でフォルダーを構成するには、params_override を使用します。登録済みのデータストアのみが出力パスとしてサポートされます。この例では、次の既定のデータストアを使用します。

batch_ds = ml_client.datastores.get_default()

使用するデータストアを特定したら、次のように出力を構成します。

filename = f"predictions-{random.randint(0,99999)}.csv"

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    input=Input(
        path=Path(temp_data_path) / "data",
        type=AssetTypes.URI_FOLDER,
    ),
    params_override=[
        {"output_dataset.datastore_id": f"azureml:{batch_ds.id}"},
        {"output_dataset.path": f"/{endpoint_name}/"},
        {"output_file_name": filename},
    ],
)

ヒント

デプロイを変更せずにジョブごとに異なる設定が必要な場合は、params_override を使用します。これは、さまざまなデータサイズの処理やパフォーマンス設定の実験において、特に役立ちます。

警告

一意の出力場所を使用する必要があります。出力ファイルが存在する場合、バッチスコアリングジョブは失敗します。

重要

入力とは異なり、出力は BLOB ストレージアカウントで実行される Azure Machine Learning データストアにのみ格納できます。

各ジョブごとにデプロイ構成を上書きする

バッチエンドポイントを呼び出すときに、一部の設定を上書きしてコンピューティングリソースを最大限に活用し、パフォーマンスを向上させることができます。この機能は、デプロイを完全に変更せずに、ジョブごとに異なる設定が必要な場合に便利です。

オーバーライドできる設定はどれですか?

次の設定は、ジョブごとに構成することができます。

設定	いつ使用するか	サンプルシナリオ
インスタンス数	さまざまなデータボリュームがある場合	大規模なデータセットには、より多くのインスタンスを使用します (100 万ファイルの場合は 10 インスタンス、100,000 ファイルの場合は 2 インスタンス)。
ミニバッチサイズ	スループットとメモリ使用量のバランスを取る必要がある場合	大きな画像には小さなバッチ (10 ~ 50 ファイル) を、小さなテキストファイルには大きなバッチ (100 ~ 500 ファイル) を使用します。
最大再試行回数	データ品質が異なる場合	ノイズの多いデータに対しては再試行回数を多く (5 から 10)、クリーンなデータに対しては再試行回数を少なく (1 から 3)
タイムアウト	データ型によって処理時間が異なる場合	複雑なモデルに対してはタイムアウトを長く (300 秒)、単純なモデルに対してはタイムアウトを短く (30 秒)
エラーのしきい値	異なる障害許容レベルが必要な場合	重大なジョブに対しては厳密なしきい値 (-1)、試験的ジョブに対しては寛容なしきい値 (10%)

設定をオーバーライドする方法

JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input https://azuremlexampledata.blob.core.windows.net/data/mnist/sample --mini-batch-size 20 --instance-count 5 --query name -o tsv)

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    input=Input(path="./data"),
    params_override=[{"mini_batch_size": "20"}, {"compute.instance_count": "5"}],
)

デプロイをエンドポイントに追加する

バッチエンドポイントにデプロイを追加した後も、引き続きモデルを改良して、新しいデプロイを追加できます。ユーザーが新しいモデルを開発して同じエンドポイントの下にデプロイする間、バッチエンドポイントは引き続き、既定のデプロイに対応し続けます。デプロイが相互に影響することはありません。

この例では、同じ MNIST の問題を解決するために、Keras と TensorFlow で構築されたモデルを使用する 2 つ目のデプロイを追加します。

2 つめのデプロイを追加する

バッチデプロイ用の環境を作成します。コードで実行する必要がある依存関係を含めます。バッチデプロイに必要なライブラリ azureml-coreを追加します。次の環境定義には、TensorFlow でモデルを実行するために必要なライブラリが含まれています。
環境定義は、匿名環境としてデプロイ定義自体に含まれます。
```
environment:
  name: batch-tensorflow-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
```
その環境に対する参照を取得します。
```
env = Environment(
    name="batch-tensorflow-py38",
    conda_file="deployment-keras/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
1. サイドメニューの [環境] タブに移動します。
2. [カスタム環境]>[作成] タブを選択します。
3. 環境の名前 (この例では keras-batch-env) を入力します。
4. [環境ソースの選択] で、[オプションの Conda ファイルとともに既存の Docker イメージを使用する] を選択します。
5. [コンテナーレジストリイメージパス] に、「mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04」と入力します。
6. [次へ] を選択し、[カスタマイズ] セクションに進みます。
GitHub リポジトリからポータルに deployment-keras/environment/conda.yaml ファイルの内容をコピーします。
1. [概要] ページが表示されるまで [次へ] を選択します。
2. [作成] を選択し、環境が使用できる状態になるまで待ちます。
使用した conda ファイルは次のようになります。

deployment-keras/environment/conda.yaml
```
name: tensorflow-env
channels:
  - conda-forge
dependencies:
  - python=3.8.5
  - pip
  - pip:
    - pandas
    - tensorflow
    - pillow
    - azureml-core
    - azureml-dataset-runtime[fuse]
```

モデルのスコアリングスクリプトを作成します。

deployment-keras/code/batch_driver.py

import os
import numpy as np
import pandas as pd
import tensorflow as tf
from typing import List
from os.path import basename
from PIL import Image
from tensorflow.keras.models import load_model


def init():
    global model

    # AZUREML_MODEL_DIR is an environment variable created during deployment
    model_path = os.path.join(os.environ["AZUREML_MODEL_DIR"], "model")

    # load the model
    model = load_model(model_path)


def run(mini_batch: List[str]) -> pd.DataFrame:
    print(f"Executing run method over batch of {len(mini_batch)} files.")

    results = []
    for image_path in mini_batch:
        data = Image.open(image_path)
        data = np.array(data)
        data_batch = tf.expand_dims(data, axis=0)

        # perform inference
        pred = model.predict(data_batch)

        # Compute probabilities, classes and labels
        pred_prob = tf.math.reduce_max(tf.math.softmax(pred, axis=-1)).numpy()
        pred_class = tf.math.argmax(pred, axis=-1).numpy()

        results.append(
            {
                "file": basename(image_path),
                "class": pred_class[0],
                "probability": pred_prob,
            }
        )

    return pd.DataFrame(results)

デプロイの定義を作成する
deployment-keras/deployment.yml
```
$schema: https://azuremlschemas.azureedge.net/latest/modelBatchDeployment.schema.json
name: mnist-keras-dpl
description: A deployment using Keras with TensorFlow to solve the MNIST classification dataset.
endpoint_name: mnist-batch
type: model
model: 
  name: mnist-classifier-keras
  path: model
code_configuration:
  code: code
  scoring_script: batch_driver.py
environment:
  name: batch-tensorflow-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
compute: azureml:batch-cluster
resources:
  instance_count: 1
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 10
  output_action: append_row
  output_file_name: predictions.csv
```
```
deployment_keras = ModelBatchDeployment(
    name="mnist-keras-dpl",
    description="A deployment using Keras to solve the MNIST classification dataset.",
    endpoint_name=endpoint_name,
    model=model,
    code_configuration=CodeConfiguration(
        code="deployment-keras/code/", scoring_script="batch_driver.py"
    ),
    environment=env,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
        instance_count=2,
        max_concurrency_per_instance=2,
        mini_batch_size=10,
        output_action=BatchDeploymentOutputAction.APPEND_ROW,
        output_file_name="predictions.csv",
        retry_settings=BatchRetrySettings(max_retries=3, timeout=30),
        logging_level="info",
    ),
)
```
1. サイドメニューの [エンドポイント] タブに移動します。
2. [バッチエンドポイント] タブを選択します。
3. デプロイを追加する既存のバッチエンドポイントを選択します。
4. [デプロイの追加] を選択します。
5. [次へ] を選択して、[モデル] ページに移動します。
6. モデルのリストからモデル mnist を選択し、[次へ] を選択します。
7. [デプロイ構成] ページで、デプロイに名前を付けます。
8. オプションの選択を元に戻す: この新しいデプロイをバッチジョブの既定値にします。
9. [出力アクション] で、[行の追加] が選択されていることを確認します。
10. [出力ファイル名] で、バッチスコアリング出力ファイルが必要なものであることを確認します。既定値は predictions.csv です。
11. [ミニバッチサイズ] で、各ミニバッチに含めるファイルのサイズを調整します。これにより、バッチごとにスコアリングスクリプトが受け取るデータの量が制御されます。
12. [スコアリングタイムアウト (秒)] では、デプロイでファイルのバッチをスコアリングするのに十分な時間が確保されていることを確認してください。ファイルの数を増やす場合は、通常、タイムアウト値も増やす必要があります。コストのより高い (ディープラーニングに基づくもののような) モデルでは、このフィールドに高い値が必要になる場合があります。
13. [インスタンスごとの最大コンカレンシー] で、デプロイで取得する各コンピューティングインスタンスごとに必要な Executor の数を構成します。この数値を大きくすると、並列処理の度合いが高くなりますが、コンピューティングインスタンスのメモリ負荷も増加します。この値は、[ミニバッチサイズ] と合わせて調整するようにします。
[ 次へ ] を選択して、[コード + 環境] ページに進みます。
1. [Select a scoring script for inferencing]$推論用のスコアリングスクリプトの選択$ で、deployment-keras/code/batch_driver.py スコアリングスクリプトファイルを検索して選択します。
2. [環境の選択] で、前の手順で作成した環境を選択します。
3. [次へ]を選択します。
4. [コンピューティング] ページで、前の手順で作成したコンピューティングクラスターを選択します。
5. [インスタンス数] に、デプロイに必要なコンピューティングインスタンスの数を入力します。この場合は、2 を使用します。
6. [次へ]を選択します。
デプロイを作成します。
次のコードを実行して、バッチエンドポイントの下にバッチデプロイを作成し、それを既定のデプロイとして設定します。
```
az ml batch-deployment create --file deployment-keras/deployment.yml --endpoint-name $ENDPOINT_NAME
```
ヒント

この例には、--set-default パラメーターがありません。運用シナリオのベストプラクティスとして、新しいデプロイを既定として設定せずに作成します。次に、それを確認し、後で既定のデプロイを更新します。
先ほど作成した MLClient を使用して、ワークスペースにデプロイを作成します。このコマンドでは、デプロイの作成を開始し、デプロイの作成が続行されている間に確認応答を返します。
```
ml_client.begin_create_or_update(deployment_keras).result()
```
ウィザードで [作成] を選択してデプロイプロセスを開始します。

既定以外のバッチデプロイをテストする

既定以外の新しいデプロイをテストするには、実行するデプロイの名前を把握している必要があります。

DEPLOYMENT_NAME="mnist-keras-dpl"
JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --deployment-name $DEPLOYMENT_NAME --input $SAMPLE_INPUT_URI --input-type uri_folder --query name -o tsv)

--deployment-name を使用して実行するデプロイを指定していることに注意してください。このパラメーターを使用すると、バッチエンドポイントの既定のデプロイは更新せずに、既定以外のデプロイをinvokeことができます。

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment_keras.name,
    input=Input(
        path=Path(temp_data_path) / "data",
        type=AssetTypes.URI_FOLDER,
    ),
)

deployment_name を使用して実行するデプロイを指定していることに注意してください。このパラメーターを使用すると、バッチエンドポイントの既定のデプロイは更新せずに、既定以外のデプロイをinvokeことができます。

サイドメニューの [エンドポイント] タブに移動します。
[バッチエンドポイント] タブを選択します。
作成したバッチエンドポイントを選びます。
[ジョブの作成] を選択します。
[デプロイ] で、実行するデプロイを選択します。例では、 mnist-kerasが使用されます。
ジョブの作成ウィザードを完了して、ジョブを開始します。

既定のバッチデプロイを更新する

エンドポイント内で特定のデプロイを呼び出すこともできますが、通常はエンドポイント自体を呼び出し、使用するデプロイはエンドポイントで決定されるようにします。エンドポイントを呼び出すユーザーとの契約を変更することなく、既定のデプロイを変更する (その結果として、デプロイを提供するモデルが変更される) ことができます。既定のデプロイを更新するには、次のコードを使用します。

az ml batch-endpoint update --name $ENDPOINT_NAME --set defaults.deployment_name=$DEPLOYMENT_NAME

endpoint = ml_client.batch_endpoints.get(endpoint_name)
endpoint.defaults.deployment_name = deployment_keras.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

バッチエンドポイントとデプロイを削除する

古いバッチデプロイが不要な場合は、次のコードを実行して削除します。 --yes フラグによって削除が確認されます。

az ml batch-deployment delete --name mnist-torch-dpl --endpoint-name $ENDPOINT_NAME --yes

次のコードを実行して、バッチエンドポイントとその基になるデプロイを削除します。バッチスコアリングジョブは削除されません。

az ml batch-endpoint delete --name $ENDPOINT_NAME --yes

古いバッチデプロイを今後使用しない場合は、次のコードを実行して削除します。

ml_client.batch_deployments.begin_delete(
    endpoint_name=endpoint_name, name=deployment.name
).result()

次のコードを実行して、バッチエンドポイントおよびその基礎となるすべてのデプロイを削除します。バッチスコアリングジョブは削除されません。

ml_client.batch_endpoints.begin_delete(name=endpoint_name)

フィードバック

このページはお役に立ちましたか?

Last updated on 2025-08-04

次の方法で共有

バッチ エンドポイントにスコアリング用のモデルをデプロイする

前提条件

examples リポジトリをクローンします

システムを準備する

ワークスペースに接続する

コンピューティングを作成する

バッチ エンドポイントを作成する

バッチ デプロイを作成する

バッチ エンドポイントを実行して結果にアクセスする

データ フローを理解する

バッチ エンドポイントを呼び出す

バッチ ジョブ実行の進行状況を監視する

バッチ スコアリングの結果を確認する

出力の場所を構成する

各ジョブごとにデプロイ構成を上書きする

オーバーライドできる設定はどれですか?

設定をオーバーライドする方法

デプロイをエンドポイントに追加する

2 つめのデプロイを追加する

既定以外のバッチ デプロイをテストする

既定のバッチ デプロイを更新する

バッチ エンドポイントとデプロイを削除する

関連コンテンツ

フィードバック

その他のリソース

バッチエンドポイントにスコアリング用のモデルをデプロイする

バッチエンドポイントを作成する

バッチデプロイを作成する

バッチエンドポイントを実行して結果にアクセスする

データフローを理解する

バッチエンドポイントを呼び出す

バッチジョブ実行の進行状況を監視する

バッチスコアリングの結果を確認する

既定以外のバッチデプロイをテストする

既定のバッチデプロイを更新する

バッチエンドポイントとデプロイを削除する