チュートリアル: AutoML と Python を使用して物体検出モデルをトレーニングする

適用対象:Azure CLI ml extension v2 (現行)Python SDK azure-ai-ml v2 (現行)

このチュートリアルでは、Azure Machine Learning CLI 拡張機能 v2 または Azure Machine Learning Python SDK v2 で Azure Machine Learning の自動 ML を使って、物体検出モデルをトレーニングする方法について説明します。 このオブジェクト検出モデルは、画像に缶、箱、牛乳瓶、水のボトルなどのオブジェクトが含まれているかどうかを識別します。

自動 ML は、トレーニング データと構成設定を受け取り、さまざまな特徴量の正規化/標準化の方法、モデル、およびハイパーパラメーター設定の組み合わせを自動的に反復処理し、最適なモデルに到達します。

このチュートリアルでは、Python SDK を使用してコードを記述し、次のタスクを学習します。

• データをダウンロードして変換する
• 自動機械学習オブジェクト検出モデルをトレーニングする
• モデルのハイパーパラメーター値を指定する
• ハイパーパラメーター スイープを実行する
• モデルをデプロイする
• 検出を視覚化する

前提条件

• Azure Machine Learning を使用するには、まずワークスペースが必要です。 まだない場合は、作業を開始するために必要なリソースの作成を完了し、ワークスペースを作成してその使用方法の詳細を確認してください。

• この機能では、Python 3.6 または 3.7 がサポートされています。

• *odFridgeObjects.zip データ ファイルをダウンロードし、展開します。 このデータセットには Pascal VOC 形式で注釈が付けられており、各画像は xml ファイルに対応しています。 各 xml ファイルには、対応する画像ファイルが配置されている場所の情報と、境界ボックスとオブジェクト ラベルの情報が含まれています。 このデータを使うには、まずノートブックの ダウンロードしたデータを JSONL に変換する方法に関するセクションで説明されているように、必要な JSONL 形式に変換する必要があります。

• 追加のインストールを行わずにこのチュートリアルを行うには、コンピューティング インスタンスを使ってください。 (コンピューティング インスタンスを作成する方法に関する記事を参照)。または、独自のローカル環境を使うには CLI/SDK をインストールします。

  Azure CLI

  適用対象: Azure CLI ML 拡張機能 v2 (現行)

  このチュートリアルは、GitHub の azureml-examples リポジトリでも利用できます。 独自のローカル環境で実行する場合:

  • CLI (v2) をインストールして設定します。必ず、ml 拡張機能をインストールしてください。

  Python SDK

  適用対象: Python SDK azure-ai-ml v2 (現行)

  このチュートリアルは、GitHub の azureml-examples リポジトリでも利用できます。 独自のローカル環境で実行する場合:

  • 次のコマンドを使用して、Azure Machine Learning Python SDK v2 をインストールします。

    • 以前のプレビュー バージョンをアンインストールします。

    pip uninstall azure-ai-ml
    

    • Azure Machine Learning Python SDK v2 をインストールします。

    pip install azure-ai-ml azure-identity
    

    Note

    Python 3.6 と 3.7 のみ、Computer Vision タスクの自動 ML のサポートと互換性があります。

コンピューティング先のセットアップ

注意

サーバーレス コンピューティング (プレビュー) を試すには、このステップをスキップして、「実験のセットアップ」に進んでください。

最初に、自動 ML モデルのトレーニングに使用するコンピューティング先を設定する必要があります。 画像タスクの自動 ML モデルには、GPU SKU が必要です。

このチュートリアルでは、NCsv3 シリーズ (V100 GPU を使用) を使用します。この種類のコンピューティング先では、トレーニングを高速化するために複数の GPU が利用されるためです。 さらに、複数のノードを設定すると、モデルのハイパーパラメーターをチューニングするときに並列処理を利用できます。

次のコードを実行すると、サイズが Standard_NC24s_v3 で 4 つのノードを持つ GPU コンピューティングが作成されます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

次の構成で .yml ファイルを作成します。

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: gpu-cluster
type: amlcompute
size: Standard_NC24s_v3
min_instances: 0
max_instances: 4
idle_time_before_scale_down: 120

コンピューティングを作成するには、.yml ファイルへのパス、ワークスペース名、リソース グループ、サブスクリプション ID を指定して、次の CLI v2 コマンドを実行します。

az ml compute create -f [PATH_TO_YML_FILE] --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

from azure.ai.ml.entities import AmlCompute
compute_name = "gpu-cluster"
cluster_basic = AmlCompute(
    name=compute_name,
    type="amlcompute",
    size="Standard_NC24s_v3",
    min_instances=0,
    max_instances=4,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic)

このコンピューティングは、後でタスク固有の automl ジョブを作成するときに使用されます。

実験のセットアップ

実験を使用して、モデル トレーニングのジョブを追跡できます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

実験名は、次のように experiment_name キーを使用して指定できます。

experiment_name: dpv2-cli-automl-image-object-detection-experiment

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

実験名は、後でタスク固有の automl ジョブを作成するときに使用されます。

exp_name = "dpv2-image-object-detection-experiment"

入力データを視覚化する

JSONL (JSON 行) 形式で入力画像データを準備したら、画像のグラウンド トゥルース境界ボックスを視覚化できます。 これを行うために、matplotlib がインストールされていることを確認します。

%pip install --upgrade matplotlib

%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import matplotlib.patches as patches
from PIL import Image as pil_image
import numpy as np
import json
import os

def plot_ground_truth_boxes(image_file, ground_truth_boxes):
    # Display the image
    plt.figure()
    img_np = mpimg.imread(image_file)
    img = pil_image.fromarray(img_np.astype("uint8"), "RGB")
    img_w, img_h = img.size

    fig,ax = plt.subplots(figsize=(12, 16))
    ax.imshow(img_np)
    ax.axis("off")

    label_to_color_mapping = {}

    for gt in ground_truth_boxes:
        label = gt["label"]

        xmin, ymin, xmax, ymax =  gt["topX"], gt["topY"], gt["bottomX"], gt["bottomY"]
        topleft_x, topleft_y = img_w * xmin, img_h * ymin
        width, height = img_w * (xmax - xmin), img_h * (ymax - ymin)

        if label in label_to_color_mapping:
            color = label_to_color_mapping[label]
        else:
            # Generate a random color. If you want to use a specific color, you can use something like "red".
            color = np.random.rand(3)
            label_to_color_mapping[label] = color

        # Display bounding box
        rect = patches.Rectangle((topleft_x, topleft_y), width, height,
                                 linewidth=2, edgecolor=color, facecolor="none")
        ax.add_patch(rect)

        # Display label
        ax.text(topleft_x, topleft_y - 10, label, color=color, fontsize=20)

    plt.show()

def plot_ground_truth_boxes_jsonl(image_file, jsonl_file):
    image_base_name = os.path.basename(image_file)
    ground_truth_data_found = False
    with open(jsonl_file) as fp:
        for line in fp.readlines():
            line_json = json.loads(line)
            filename = line_json["image_url"]
            if image_base_name in filename:
                ground_truth_data_found = True
                plot_ground_truth_boxes(image_file, line_json["label"])
                break
    if not ground_truth_data_found:
        print("Unable to find ground truth information for image: {}".format(image_file))

上記のヘルパー関数を使用すると、任意の画像に対して、次のコードを実行して境界ボックスを表示できます。

image_file = "./odFridgeObjects/images/31.jpg"
jsonl_file = "./odFridgeObjects/train_annotations.jsonl"

plot_ground_truth_boxes_jsonl(image_file, jsonl_file)

データをアップロードして MLTable を作成する

トレーニング用のデータを使用するには、Azure Machine Learning ワークスペースの既定の Blob Storage にデータをアップロードし、資産として登録します。 データを登録する利点は次のとおりです。

• チームの他のメンバーと簡単に共有できます
• メタデータ (場所、説明など) のバージョン管理
• 系列の追跡

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

次の構成で .yml ファイルを作成します。

$schema: https://azuremlschemas.azureedge.net/latest/data.schema.json
name: fridge-items-images-object-detection
description: Fridge-items images Object detection
path: ./data/odFridgeObjects
type: uri_folder

画像をデータ資産としてアップロードするには、.yml ファイルへのパス、ワークスペース名、リソース グループ、サブスクリプション ID を指定して、次の CLI v2 コマンドを実行します。

az ml data create -f [PATH_TO_YML_FILE] --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Uploading image files by creating a 'data asset URI FOLDER':

from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes, InputOutputModes
from azure.ai.ml import Input

my_data = Data(
    path=dataset_dir,
    type=AssetTypes.URI_FOLDER,
    description="Fridge-items images Object detection",
    name="fridge-items-images-object-detection",
)

uri_folder_data_asset = ml_client.data.create_or_update(my_data)

print(uri_folder_data_asset)
print("")
print("Path to folder in Blob Storage:")
print(uri_folder_data_asset.path)

次の手順では、下に示すように jsonl 形式でデータから MLTable を作成します。 MLtable によって、データがトレーニングに使用可能なオブジェクトにパッケージ化されます。

paths:
  - file: ./train_annotations.jsonl
transformations:
  - read_json_lines:
        encoding: utf8
        invalid_lines: error
        include_path_column: false
  - convert_column_types:
      - columns: image_url
        column_type: stream_info

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

次の構成では、MLTable からトレーニングと検証のデータが作成されます。

target_column_name: label
training_data:
  path: data/training-mltable-folder
  type: mltable
validation_data:
  path: data/validation-mltable-folder
  type: mltable

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

次のコードを使用して、トレーニングおよび検証の MLTable からデータ入力を作成できます。

from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes

# Training MLTable defined locally, with local data to be uploaded
my_training_data_input = Input(type=AssetTypes.MLTABLE, path=training_mltable_path)

# Validation MLTable defined locally, with local data to be uploaded
my_validation_data_input = Input(type=AssetTypes.MLTABLE, path=validation_mltable_path)

# WITH REMOTE PATH: If available already in the cloud/workspace-blob-store
# my_training_data_input = Input(type=AssetTypes.MLTABLE, path="azureml://datastores/workspaceblobstore/paths/vision-classification/train")
# my_validation_data_input = Input(type=AssetTypes.MLTABLE, path="azureml://datastores/workspaceblobstore/paths/vision-classification/valid")

オブジェクト検出実験を構成する

画像関連タスクの自動 ML ジョブを構成するには、タスク固有の AutoML ジョブを作成します。

Azure CLI

適用対象: Azure CLI ml 拡張機能 v2 (現行)

サーバーレス コンピューティング (プレビュー) を使うには、compute: azureml:gpu-cluster の行を次のコードに置き換えてください。

resources:
 instance_type: Standard_NC24s_v3
 instance_count: 4

task: image_object_detection
primary_metric: mean_average_precision
compute: azureml:gpu-cluster

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Create the AutoML job with the related factory-function.

image_object_detection_job = automl.image_object_detection(
    compute=compute_name,
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="label",
    primary_metric=ObjectDetectionPrimaryMetrics.MEAN_AVERAGE_PRECISION,
    tags={"my_custom_tag": "My custom value"},
)

注意

サーバーレス コンピューティング (プレビュー) を使うには、compute="cpu-cluster" の行を次のコードに置き換えてください。

image_object_detection_job.resources = ResourceConfiguration(instance_type="Standard_NC24rs_v3",instance_count =4)

image_object_detection_job.set_limits(
    max_trials=10,
    max_concurrent_trials=2,
)

画像タスクの自動ハイパーパラメーター スイープ (AutoMode)

重要

現在、この機能はパブリック プレビュー段階にあります。 このプレビュー バージョンは、サービス レベル アグリーメントなしに提供されます。 特定の機能はサポート対象ではなく、機能が制限されることがあります。 詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

AutoML ジョブでは、最適なモデルを見つけるために自動ハイパーパラメーター スイープを実行できます (この機能は AutoMode と呼ばれます)。 試行回数のみを指定します。ハイパーパラメーター検索空間、サンプリング方法、早期終了ポリシーは必要ありません。 試行回数に基づいて、スイープするハイパーパラメーター スペースの領域がシステムによって自動的に決定されます。 多くのデータセットでは、10 回から 20 回の間の値が適切に機能する可能性があります。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

limits:
  max_trials: 10
  max_concurrent_trials: 2

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Trigger AutoMode
image_object_detection_job.set_limits(max_trials=10, max_concurrent_trials=2)

その後、ジョブを送信して画像モデルをトレーニングできます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

AutoML ジョブを送信するには、.yml ファイルへのパス、ワークスペース名、リソース グループ、サブスクリプション ID を指定して、次の CLI v2 コマンドを実行します。

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

AutoML ジョブに必要な設定を構成したら、ジョブを送信できます。

# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    image_object_detection_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

画像タスクの手動ハイパーパラメーター スイープ

AutoML ジョブで、model_name パラメーターを使用してモデル アーキテクチャを指定し、定義された検索空間でハイパーパラメーター スイープを実行して最適なモデルを見つけるように設定を構成できます。

この例では、yolov5 と fasterrcnn_resnet50_fpn を使用して、オブジェクト検出モデルをトレーニングします。これらはどちらも COCO、大規模なオブジェクト検出、セグメンテーション、および 80 を超えるラベル カテゴリと数千を超えるラベル付き画像を含むキャプション データセットで事前トレーニングされています。

最適なモデルを見つけるために、定義された検索空間に対してハイパーパラメーター スイープを実行できます。

ジョブの制限

制限の設定でジョブの timeout_minutes、max_trials、max_concurrent_trials を指定することにより、AutoML の画像トレーニング ジョブに使われるリソースを制御できます。 ジョブの制限のパラメーターに関する詳細な説明に関する記事を参照してください。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

limits:
  timeout_minutes: 60
  max_trials: 10
  max_concurrent_trials: 2

Python SDK

# Set limits
image_object_detection_job.set_limits(
    timeout_minutes=60,
    max_trials=10,
    max_concurrent_trials=2,
)

次のコードは、定義された各アーキテクチャ (yolov5 および fasterrcnn_resnet50_fpn) のハイパーパラメーター スイープに備えて検索空間を定義します。 検索空間で、AutoML が最適な主要メトリックでモデルの生成を試みるときに選択できるようにするため、learning_rate、optimizer、lr_scheduler などの値の範囲を指定します。 ハイパーパラメーター値を指定しない場合は、アーキテクチャごとに既定値が使用されます。

チューニング設定では、random sampling_algorithm を使用することで、ランダム サンプリングを使用してこのパラメーター空間からサンプルを選択します。 上のようにジョブ制限を構成することで、自動 ML に、これらの異なるサンプルで合計 10 回の試行を実行し、4 つのノードを使用して設定されたコンピューティング先で一度に 2 回の試行を実行するように指示します。 検索空間に含まれるパラメーターが多いほど、最適なモデルを見つけるために必要な試行の回数が多くなります。

バンディット早期終了ポリシーも使用されます。 このポリシーは、パフォーマンスが低い試行 (つまり、最高のパフォーマンスを発揮する試行と比較してパフォーマンスが 20％ 超低下する試行) を終了します。これによりコンピューティング リソースが大幅に節約されます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

sweep:
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

search_space:
  - model_name:
      type: choice
      values: [yolov5]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.01
    model_size:
      type: choice
      values: [small, medium]

  - model_name:
      type: choice
      values: [fasterrcnn_resnet50_fpn]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.001
    optimizer:
      type: choice
      values: [sgd, adam, adamw]
    min_size:
      type: choice
      values: [600, 800]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Configure sweep settings
image_object_detection_job.set_sweep(
    sampling_algorithm="random",
    early_termination=BanditPolicy(
        evaluation_interval=2, slack_factor=0.2, delay_evaluation=6
    ),
)

# Define search space
image_object_detection_job.extend_search_space(
    [
        SearchSpace(
            model_name=Choice(["yolov5"]),
            learning_rate=Uniform(0.0001, 0.01),
            model_size=Choice(["small", "medium"]),  # model-specific
            # image_size=Choice([640, 704, 768]),  # model-specific; might need GPU with large memory
        ),
        SearchSpace(
            model_name=Choice(["fasterrcnn_resnet50_fpn"]),
            learning_rate=Uniform(0.0001, 0.001),
            optimizer=Choice(["sgd", "adam", "adamw"]),
            min_size=Choice([600, 800]),  # model-specific
            # warmup_cosine_lr_warmup_epochs=Choice([0, 3]),
        ),
    ]
)

検索空間とスイープ設定を定義したら、ジョブを送信して、トレーニング データセットを使用して画像モデルをトレーニングできます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

AutoML ジョブを送信するには、.yml ファイルへのパス、ワークスペース名、リソース グループ、サブスクリプション ID を指定して、次の CLI v2 コマンドを実行します。

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

AutoML ジョブを必要な設定に構成したら、ジョブを送信できます。

# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    image_object_detection_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

ハイパーパラメーター スイープを実行する場合は、HyperDrive UI を使用して試行されたさまざまな試行を視覚化すると便利な場合があります。 この UI に移動するには、上の HyperDrive の親ジョブからメイン automl_image_job の UI の [Child jobs] (子ジョブ) タブに移動します。 その後、この UI の [Child jobs] (子ジョブ) タブに移動できます。

または、以下を実行すると、HyperDrive の親ジョブを直接確認し、その [Child jobs] (子ジョブ) タブに移動することができます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

CLI example not available, please use Python SDK.

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

hd_job = ml_client.jobs.get(returned_job.name + '_HD')
hd_job

モデルを登録して展開する

ジョブが完了したら、最適な試行 (最適な主要メトリックになった構成) から作成されたモデルを登録できます。 モデルの登録は、ダウンロードの後で、または azureml パスと対応する jobid を指定して、行うことができます。

最適な試行を取得する

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

CLI example not available, please use Python SDK.

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Get the best model's child run

best_child_run_id = mlflow_parent_run.data.tags["automl_best_child_run_id"]
print(f"Found best child run id: {best_child_run_id}")

best_run = mlflow_client.get_run(best_child_run_id)

print("Best child run: ")
print(best_run)

# Create local folder
local_dir = "./artifact_downloads"
if not os.path.exists(local_dir):
    os.mkdir(local_dir)

# Download run's artifacts/outputs
local_path = mlflow_client.download_artifacts(
    best_run.info.run_id, "outputs", local_dir
)
print(f"Artifacts downloaded in: {local_path}")
print(f"Artifacts: {os.listdir(local_path)}")

モデルを登録する

azureml パスまたはダウンロードしたローカル環境のパスを使って、モデルを登録します。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

 az ml model create --name od-fridge-items-mlflow-model --version 1 --path azureml://jobs/$best_run/outputs/artifacts/outputs/mlflow-model/ --type mlflow_model --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

model_name = "od-fridge-items-mlflow-model"
model = Model(
    path=f"azureml://jobs/{best_run.info.run_id}/outputs/artifacts/outputs/mlflow-model/",
    name=model_name,
    description="my sample object detection model",
    type=AssetTypes.MLFLOW_MODEL,
)

# for downloaded file
# model = Model(
#     path=mlflow_model_dir,
#     name=model_name,
#     description="my sample object detection model",
#     type=AssetTypes.MLFLOW_MODEL,
# )

registered_model = ml_client.models.create_or_update(model)

使用するモデルを登録したら、マネージド オンライン エンドポイント deploy-managed-online-endpoint を使用してモデルをデプロイできます。

オンライン エンドポイントを構成する

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: od-fridge-items-endpoint
auth_mode: key

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

online_endpoint_name = "od-fridge-items-" + datetime.datetime.now().strftime(
    "%m%d%H%M%f"
)

# create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint for deploying model",
    auth_mode="key",
    tags={"foo": "bar"},
)
print(online_endpoint_name)

エンドポイントを作成する

先ほど作成した MLClient を使用して、今度はワークスペースにエンドポイントを作成します。 このコマンドでは、エンドポイントの作成を開始し、エンドポイントの作成が続行されている間に確認応答を返します。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

az ml online-endpoint create --file .\create_endpoint.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

ml_client.begin_create_or_update(endpoint).result()

また、一定期間の大量のデータでバッチ推論を行うために、バッチ エンドポイントを作成することもできます。 バッチ エンドポイントを使ったバッチ推論については、物体検出バッチ スコアリング ノートブックを確認してください。

オンライン デプロイを構成する

デプロイは、実際の推論を実行するモデルをホストするのに必要なリソースのセットです。 ManagedOnlineDeployment クラスを使用してエンドポイントのデプロイを作成します。 デプロイ クラスターには、GPU または CPU VM SKU のいずれかを使用できます。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

name: od-fridge-items-mlflow-deploy
endpoint_name: od-fridge-items-endpoint
model: azureml:od-fridge-items-mlflow-model@latest
instance_type: Standard_DS3_v2
instance_count: 1
liveness_probe:
    failure_threshold: 30
    success_threshold: 1
    timeout: 2
    period: 10
    initial_delay: 2000
readiness_probe:
    failure_threshold: 10
    success_threshold: 1
    timeout: 10
    period: 10
    initial_delay: 2000 

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

deployment = ManagedOnlineDeployment(
    name="od-fridge-items-mlflow-deploy",
    endpoint_name=online_endpoint_name,
    model=registered_model.id,
    instance_type="Standard_DS4_V2",
    instance_count=1,
    request_settings=req_timeout,
    liveness_probe=ProbeSettings(
        failure_threshold=30,
        success_threshold=1,
        timeout=2,
        period=10,
        initial_delay=2000,
    ),
    readiness_probe=ProbeSettings(
        failure_threshold=10,
        success_threshold=1,
        timeout=10,
        period=10,
        initial_delay=2000,
    ),
)

配置を作成する

先ほど作成した MLClient を使用してワークスペースにデプロイを作成します。 このコマンドでは、デプロイの作成を開始し、デプロイの作成が続行されている間に確認応答を返します。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

az ml online-deployment create --file .\create_deployment.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

ml_client.online_deployments.begin_create_or_update(deployment).result()

トラフィックを更新する:

既定では、現在のデプロイは 0% のトラフィックを受信するように設定されています。 現在のデプロイで受信するトラフィックの割合を設定できます。 1 つのエンドポイントを使用するすべてのデプロイのトラフィックの割合の合計が 100% を超えないようにする必要があります。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

az ml online-endpoint update --name 'od-fridge-items-endpoint' --traffic 'od-fridge-items-mlflow-deploy=100' --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# od fridge items deployment to take 100% traffic
endpoint.traffic = {"od-fridge-items-mlflow-deploy": 100}
ml_client.begin_create_or_update(endpoint).result()

展開をテスト

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

CLI example not available, please use Python SDK.

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

# Create request json
import base64

sample_image = os.path.join(dataset_dir, "images", "1.jpg")


def read_image(image_path):
    with open(image_path, "rb") as f:
        return f.read()


request_json = {
    "input_data": {
        "columns": ["image"],
        "data": [base64.encodebytes(read_image(sample_image)).decode("utf-8")],
    }
}

import json

request_file_name = "sample_request_data.json"

with open(request_file_name, "w") as request_file:
    json.dump(request_json, request_file)

resp = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name=deployment.name,
    request_file=request_file_name,
)

検出を視覚化する

テスト画像をスコア付けしたので、この画像の境界ボックスを視覚化できます。 これを行うために、matplotlib がインストールされていることを確認します。

Azure CLI

適用対象: Azure CLI ML 拡張機能 v2 (現行)

CLI example not available, please use Python SDK.

Python SDK

適用対象: Python SDK azure-ai-ml v2 (現行)

%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import matplotlib.patches as patches
from PIL import Image
import numpy as np
import json

IMAGE_SIZE = (18, 12)
plt.figure(figsize=IMAGE_SIZE)
img_np = mpimg.imread(sample_image)
img = Image.fromarray(img_np.astype("uint8"), "RGB")
x, y = img.size

fig, ax = plt.subplots(1, figsize=(15, 15))
# Display the image
ax.imshow(img_np)

# draw box and label for each detection
detections = json.loads(resp)
for detect in detections[0]["boxes"]:
    label = detect["label"]
    box = detect["box"]
    conf_score = detect["score"]
    if conf_score > 0.6:
        ymin, xmin, ymax, xmax = (
            box["topY"],
            box["topX"],
            box["bottomY"],
            box["bottomX"],
        )
        topleft_x, topleft_y = x * xmin, y * ymin
        width, height = x * (xmax - xmin), y * (ymax - ymin)
        print(
            f"{detect['label']}: [{round(topleft_x, 3)}, {round(topleft_y, 3)}, "
            f"{round(width, 3)}, {round(height, 3)}], {round(conf_score, 3)}"
        )

        color = np.random.rand(3)  #'red'
        rect = patches.Rectangle(
            (topleft_x, topleft_y),
            width,
            height,
            linewidth=3,
            edgecolor=color,
            facecolor="none",
        )
        ax.add_patch(rect)
        plt.text(topleft_x, topleft_y - 10, label, color=color, fontsize=20)
plt.show()

リソースをクリーンアップする

Azure Machine Learning の他のチュートリアルを実行する予定の場合、このセクションを実行しないでください。

作成したリソースを今後使用する予定がない場合は、課金が発生しないように削除します。

1. Azure Portal で、左端にある [リソース グループ] を選択します。
2. 作成したリソース グループを一覧から選択します。
3. [リソース グループの削除] を選択します。
4. リソース グループ名を入力します。 次に、 [削除] を選択します。

リソース グループは保持しつつ、いずれかのワークスペースを削除することもできます。 ワークスペースのプロパティを表示し、 [削除] を選択します。

次のステップ

自動化された機械学習に関するこのチュートリアルでは、以下のタスクを学習しました。

• 実験用のワークスペースと準備されたデータを構成しました。
• 自動オブジェクト検出モデルをトレーニングしました
• モデルのハイパーパラメーター値を指定しました
• ハイパーパラメーター スイープを実行しました
• モデルをデプロイしました
• 検出を視覚化しました

• 自動 ML の Computer Vision の詳細を確認します。

• Python を使用して Computer Vision モデルをトレーニングするために AutoML を設定する方法の詳細を確認します。

• コンピューター ビジョン モデルの段階的トレーニングを構成する方法を確認します。

• 「コンピューター ビジョン タスクで使用できるハイパーパラメーター」を参照してください。

• コード例:

  Azure CLI

  適用対象: Azure CLI ML 拡張機能 v2 (現行)

  • 自動機械学習サンプルの azureml-examples リポジトリで詳しいコード サンプルやユース ケースを確認してください。 Computer Vision モデルの構築に固有のサンプルについては、"cli-automl-image-" プレフィックスが付いたフォルダーを確認します。

  Python SDK

  適用対象: Python SDK azure-ai-ml v2 (現行)

  • GitHub の自動機械学習サンプルのノートブック リポジトリで詳しいコード サンプルやユース ケースを確認してください。 コンピュータービジョン モデルの構築に固有のサンプルについては、「automl-image-」プレフィックスが付いたフォルダーを確認してください。

Note

fridge オブジェクト データセットの使用は、MIT ライセンスのライセンスを通じて利用できます。