チュートリアル: AutoML と Python を使用してオブジェクト検出モデル (プレビュー) をトレーニングする (v1)

[アーティクル]
09/03/2024

重要

この記事に記載されている機能はプレビュー段階です。これらは、いつでも変更される可能性がある試験段階のプレビュー機能と考える必要があります。

このチュートリアルでは、Azure Machine Learning Python SDK で Azure Machine Learning の自動 ML を使用してオブジェクト検出モデルをトレーニングする方法について説明します。このオブジェクト検出モデルは、画像に缶、箱、牛乳瓶、水のボトルなどのオブジェクトが含まれているかどうかを識別します。

自動 ML は、トレーニングデータと構成設定を受け取り、さまざまな特徴量の正規化/標準化の方法、モデル、およびハイパーパラメーター設定の組み合わせを自動的に反復処理し、最適なモデルに到達します。

このチュートリアルでは、Python SDK を使用してコードを記述し、次のタスクを学習します。

データをダウンロードして変換する
自動機械学習オブジェクト検出モデルをトレーニングする
モデルのハイパーパラメーター値を指定する
ハイパーパラメータースイープを実行する
モデルをデプロイする
検出を視覚化する

前提条件

Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。無料版または有料版の Azure Machine Learning を今すぐお試しください。
この機能では、Python 3.7 または 3.8 がサポートされています。
まだ Azure Machine Learning ワークスペースがない場合は、Azure Machine Learning の利用開始に関するクイックスタートを完了します。
*odFridgeObjects.zip データファイルをダウンロードし、展開します。このデータセットには Pascal VOC 形式で注釈が付けられており、各画像は xml ファイルに対応しています。各 xml ファイルには、対応する画像ファイルが配置されている場所の情報と、境界ボックスとオブジェクトラベルの情報が含まれています。このデータを使うには、まずノートブックのダウンロードしたデータを JSONL に変換する方法に関するセクションで説明されているように、必要な JSONL 形式に変換する必要があります。

このチュートリアルを自分のローカル環境で実行したい場合は、GitHub の azureml-examples リポジトリでも利用できます。必要なパッケージを取得するには、

pip install azureml を実行します。
完全な automl クライアントをインストールします。

コンピューティング先のセットアップ

最初に、自動 ML モデルのトレーニングに使用するコンピューティング先を設定する必要があります。画像タスクの自動 ML モデルには、GPU SKU が必要です。

このチュートリアルでは、NCsv3 シリーズ (V100 GPU を使用) を使用します。この種類のコンピューティング先では、トレーニングを高速化するために複数の GPU が利用されるためです。さらに、複数のノードを設定すると、モデルのハイパーパラメーターをチューニングするときに並列処理を利用できます。

次のコードを実行すると、ワークスペース ws に接続されている 4 つのノードを持つ Standard _NC24s_v3 の GPU コンピューティングサイズが作成されます。

警告

使用するコンピューティング先に対して、サブスクリプションに十分なクォータがあることを確認します。

from azureml.core.compute import AmlCompute, ComputeTarget

cluster_name = "gpu-nc24sv3"

try:
    compute_target = ComputeTarget(workspace=ws, name=cluster_name)
    print('Found existing compute target.')
except KeyError:
    print('Creating a new compute target...')
    compute_config = AmlCompute.provisioning_configuration(vm_size='Standard_NC24s_v3',
                                                           idle_seconds_before_scaledown=1800,
                                                           min_nodes=0,
                                                           max_nodes=4)

    compute_target = ComputeTarget.create(ws, cluster_name, compute_config)

#If no min_node_count is provided, the scale settings are used for the cluster.
compute_target.wait_for_completion(show_output=True, min_node_count=None, timeout_in_minutes=20)

実験のセットアップ

次に、ワークスペースに Experiment を作成して、モデルのトレーニングの実行を追跡します。


from azureml.core import Experiment

experiment_name = 'automl-image-object-detection'
experiment = Experiment(ws, name=experiment_name)

入力データを視覚化する

JSONL (JSON 行) 形式で入力画像データを準備したら、画像のグラウンドトゥルース境界ボックスを視覚化できます。これを行うために、matplotlib がインストールされていることを確認します。

%pip install --upgrade matplotlib


%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import matplotlib.patches as patches
from PIL import Image as pil_image
import numpy as np
import json
import os

def plot_ground_truth_boxes(image_file, ground_truth_boxes):
    # Display the image
    plt.figure()
    img_np = mpimg.imread(image_file)
    img = pil_image.fromarray(img_np.astype("uint8"), "RGB")
    img_w, img_h = img.size

    fig,ax = plt.subplots(figsize=(12, 16))
    ax.imshow(img_np)
    ax.axis("off")

    label_to_color_mapping = {}

    for gt in ground_truth_boxes:
        label = gt["label"]

        xmin, ymin, xmax, ymax =  gt["topX"], gt["topY"], gt["bottomX"], gt["bottomY"]
        topleft_x, topleft_y = img_w * xmin, img_h * ymin
        width, height = img_w * (xmax - xmin), img_h * (ymax - ymin)

        if label in label_to_color_mapping:
            color = label_to_color_mapping[label]
        else:
            # Generate a random color. If you want to use a specific color, you can use something like "red".
            color = np.random.rand(3)
            label_to_color_mapping[label] = color

        # Display bounding box
        rect = patches.Rectangle((topleft_x, topleft_y), width, height,
                                 linewidth=2, edgecolor=color, facecolor="none")
        ax.add_patch(rect)

        # Display label
        ax.text(topleft_x, topleft_y - 10, label, color=color, fontsize=20)

    plt.show()

def plot_ground_truth_boxes_jsonl(image_file, jsonl_file):
    image_base_name = os.path.basename(image_file)
    ground_truth_data_found = False
    with open(jsonl_file) as fp:
        for line in fp.readlines():
            line_json = json.loads(line)
            filename = line_json["image_url"]
            if image_base_name in filename:
                ground_truth_data_found = True
                plot_ground_truth_boxes(image_file, line_json["label"])
                break
    if not ground_truth_data_found:
        print("Unable to find ground truth information for image: {}".format(image_file))

def plot_ground_truth_boxes_dataset(image_file, dataset_pd):
    image_base_name = os.path.basename(image_file)
    image_pd = dataset_pd[dataset_pd['portable_path'].str.contains(image_base_name)]
    if not image_pd.empty:
        ground_truth_boxes = image_pd.iloc[0]["label"]
        plot_ground_truth_boxes(image_file, ground_truth_boxes)
    else:
        print("Unable to find ground truth information for image: {}".format(image_file))

上記のヘルパー関数を使用すると、任意の画像に対して、次のコードを実行して境界ボックスを表示できます。

image_file = "./odFridgeObjects/images/31.jpg"
jsonl_file = "./odFridgeObjects/train_annotations.jsonl"

plot_ground_truth_boxes_jsonl(image_file, jsonl_file)

データをアップロードしてデータセットを作成する

トレーニングにデータを使用するには、データストアを介してそのデータをワークスペースにアップロードします。データストアは、データをアップロードまたはダウンロードし、リモートコンピューティング先からデータを操作するためのメカニズムを提供します。

ds = ws.get_default_datastore()
ds.upload(src_dir='./odFridgeObjects', target_path='odFridgeObjects')

データストアにアップロードしたら、そのデータから Azure Machine Learning データセットを作成できます。データセットによって、データがトレーニングに使用可能なオブジェクトにパッケージ化されます。

次のコードでは、トレーニング用のデータセットが作成されます。検証データセットは指定されていないので、トレーニングデータの 20% が既定で検証に使用されます。

from azureml.core import Dataset
from azureml.data import DataType

training_dataset_name = 'odFridgeObjectsTrainingDataset'
if training_dataset_name in ws.datasets:
    training_dataset = ws.datasets.get(training_dataset_name)
    print('Found the training dataset', training_dataset_name)
else:
    # create training dataset
        # create training dataset
    training_dataset = Dataset.Tabular.from_json_lines_files(
        path=ds.path('odFridgeObjects/train_annotations.jsonl'),
        set_column_types={"image_url": DataType.to_stream(ds.workspace)},
    )
    training_dataset = training_dataset.register(workspace=ws, name=training_dataset_name)

print("Training dataset name: " + training_dataset.name)

データセットを視覚化する

このデータセットから画像のグラウンドトゥルース境界ボックスを視覚化することもできます。

pandas データフレームにデータセットを読み込みます。

import azureml.dataprep as dprep

from azureml.dataprep.api.functions import get_portable_path

# Get pandas dataframe from the dataset
dflow = training_dataset._dataflow.add_column(get_portable_path(dprep.col("image_url")),
                                              "portable_path", "image_url")
dataset_pd = dflow.to_pandas_dataframe(extended_types=True)

任意の画像に対して、次のコードを実行して境界ボックスを表示できます。

image_file = "./odFridgeObjects/images/31.jpg"
plot_ground_truth_boxes_dataset(image_file, dataset_pd)

オブジェクト検出実験を構成する

画像関連タスクに対して自動 ML の実行を構成するには、AutoMLImageConfig オブジェクトを使用します。 AutoMLImageConfig で、model_name パラメーターを使用してモデルアルゴリズムを指定し、定義されたパラメーター空間でハイパーパラメータースイープを実行して最適なモデルを見つけるように設定を構成できます。

この例では、AutoMLImageConfig を使用して、yolov5 と fasterrcnn_resnet50_fpn でオブジェクト検出モデルをトレーニングします。これらはどちらも COCO、大規模なオブジェクト検出、セグメンテーション、および 80 を超えるラベルカテゴリと数千を超えるラベル付き画像を含むキャプションデータセットで事前トレーニングされています。

画像タスクのハイパーパラメータースイープ

最適なモデルを見つけるために、定義されたパラメーター空間に対してハイパーパラメータースイープを実行できます。

次のコードは、定義された各アルゴリズム (yolov5 および fasterrcnn_resnet50_fpn) のハイパーパラメータースイープに備えてパラメーター空間を定義します。パラメーター空間で、AutoML が最適な主要メトリックでモデルの生成を試みるときに選択できるようにするため、learning_rate、optimizer、lr_scheduler などの値の範囲を指定します。ハイパーパラメーター値を指定しない場合は、アルゴリズムごとに既定値が使用されます。

チューニング設定では、GridParameterSampling, RandomParameterSampling および BayesianParameterSampling のクラスをインポートすることで、ランダムサンプリングを使用してこのパラメーター空間からサンプルを選択します。そうすることで、自動 ML に、これらの異なるサンプルで合計 20 回のイテレーションを試行し、4 つのノードを使用して設定されたコンピューティング先で一度に 4 回のイテレーションを実行するように指示します。空間に含まれるパラメーターが多いほど、最適なモデルを見つけるために必要なイテレーションの回数が多くなります。

バンディット早期終了ポリシーも使用されます。このポリシーは、パフォーマンスが低い構成 (つまり、最高のパフォーマンスを発揮する構成と比較してパフォーマンスが 20％超低下する構成) を終了します。これによりコンピューティングリソースが大幅に節約されます。

from azureml.train.hyperdrive import RandomParameterSampling
from azureml.train.hyperdrive import BanditPolicy, HyperDriveConfig
from azureml.train.hyperdrive import choice, uniform

parameter_space = {
    'model': choice(
        {
            'model_name': choice('yolov5'),
            'learning_rate': uniform(0.0001, 0.01),
            #'model_size': choice('small', 'medium'), # model-specific
            'img_size': choice(640, 704, 768), # model-specific
        },
        {
            'model_name': choice('fasterrcnn_resnet50_fpn'),
            'learning_rate': uniform(0.0001, 0.001),
            #'warmup_cosine_lr_warmup_epochs': choice(0, 3),
            'optimizer': choice('sgd', 'adam', 'adamw'),
            'min_size': choice(600, 800), # model-specific
        }
    )
}

tuning_settings = {
    'iterations': 20,
    'max_concurrent_iterations': 4,
    'hyperparameter_sampling': RandomParameterSampling(parameter_space),
    'policy': BanditPolicy(evaluation_interval=2, slack_factor=0.2, delay_evaluation=6)
}

パラメーター空間とチューニング設定を定義したら、それらを AutoMLImageConfig オブジェクトに渡し、実験を送信して、トレーニングデータセットを使用して画像モデルをトレーニングできます。

from azureml.train.automl import AutoMLImageConfig
automl_image_config = AutoMLImageConfig(task='image-object-detection',
                                        compute_target=compute_target,
                                        training_data=training_dataset,
                                        validation_data=validation_dataset,
                                        primary_metric='mean_average_precision',
                                        **tuning_settings)

automl_image_run = experiment.submit(automl_image_config)
automl_image_run.wait_for_completion(wait_post_processing=True)

ハイパーパラメータースイープを実行する場合は、HyperDrive UI を使用して試行されたさまざまな構成を視覚化すると便利な場合があります。この UI に移動するには、上の HyperDrive の親実行からメイン automl_image_run の UI の [Child runs](子実行) タブに移動します。その後、この UI の [Child runs](子実行) タブに移動できます。または、以下を実行すると、HyperDrive の親実行を直接確認し、その [Child runs](子実行) タブに移動することができます。

from azureml.core import Run
hyperdrive_run = Run(experiment=experiment, run_id=automl_image_run.id + '_HD')
hyperdrive_run

最高のモデルを登録する

実行が完了したら、最適な実行から作成されたモデルを登録できます。

best_child_run = automl_image_run.get_best_child()
model_name = best_child_run.properties['model_name']
model = best_child_run.register_model(model_name = model_name, model_path='outputs/model.pt')

モデルを Web サービスとしてデプロイする

トレーニング済みモデルが準備できたら、そのモデルを Azure にデプロイできます。 Azure Container Instances (ACI) または Azure Kubernetes Service (AKS) にトレーニング済みモデルを Web サービスとしてデプロイできます。 ACI はデプロイをテストするための最適なオプションであるのに対し、AKS は高スケールの運用環境での使用により適しています。

このチュートリアルでは、モデルを Web サービスとして AKS にデプロイします。

AKS コンピューティングクラスターを作成します。この例では、デプロイクラスターに GPU 仮想マシン SKU が使用されます

from azureml.core.compute import ComputeTarget, AksCompute
from azureml.exceptions import ComputeTargetException

# Choose a name for your cluster
aks_name = "cluster-aks-gpu"

# Check to see if the cluster already exists
try:
    aks_target = ComputeTarget(workspace=ws, name=aks_name)
    print('Found existing compute target')
except ComputeTargetException:
    print('Creating a new compute target...')
    # Provision AKS cluster with GPU machine
    prov_config = AksCompute.provisioning_configuration(vm_size="STANDARD_NC6",
                                                        location="eastus2")
    # Create the cluster
    aks_target = ComputeTarget.create(workspace=ws,
                                      name=aks_name,
                                      provisioning_configuration=prov_config)
    aks_target.wait_for_completion(show_output=True)

モデルを含む Web サービスを設定する方法を示す推論構成を定義します。推論構成では、スコアリングスクリプトとトレーニング実行の環境を使用できます。

注意

モデルの設定を変更するには、ダウンロードしたスコアリングスクリプトを開き、モデルをデプロイする前に model_settings 変数を変更します。
```
from azureml.core.model import InferenceConfig

best_child_run.download_file('outputs/scoring_file_v_1_0_0.py', output_file_path='score.py')
environment = best_child_run.get_environment()
inference_config = InferenceConfig(entry_script='score.py', environment=environment)
```

その後、AKS Web サービスとしてモデルをデプロイできます。


from azureml.core.webservice import AksWebservice
from azureml.core.webservice import Webservice
from azureml.core.model import Model
from azureml.core.environment import Environment

aks_config = AksWebservice.deploy_configuration(autoscale_enabled=True,
                                                cpu_cores=1,
                                                memory_gb=50,
                                                enable_app_insights=True)

aks_service = Model.deploy(ws,
                           models=[model],
                           inference_config=inference_config,
                           deployment_config=aks_config,
                           deployment_target=aks_target,
                           name='automl-image-test',
                           overwrite=True)
aks_service.wait_for_deployment(show_output=True)
print(aks_service.state)

Web サービスをテストする

デプロイした Web サービスをテストして、新しい画像を予測できます。このチュートリアルでは、データセットからランダムな画像を渡し、スコアリング URI に渡します。

import requests

# URL for the web service
scoring_uri = aks_service.scoring_uri

# If the service is authenticated, set the key or token
key, _ = aks_service.get_keys()

sample_image = './test_image.jpg'

# Load image data
data = open(sample_image, 'rb').read()

# Set the content type
headers = {'Content-Type': 'application/octet-stream'}

# If authentication is enabled, set the authorization header
headers['Authorization'] = f'Bearer {key}'

# Make the request and display the response
resp = requests.post(scoring_uri, data, headers=headers)
print(resp.text)

検出を視覚化する

テスト画像をスコア付けしたので、この画像の境界ボックスを視覚化できます。これを行うために、matplotlib がインストールされていることを確認します。

%pip install --upgrade matplotlib

%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import matplotlib.patches as patches
from PIL import Image
import numpy as np
import json

IMAGE_SIZE = (18,12)
plt.figure(figsize=IMAGE_SIZE)
img_np=mpimg.imread(sample_image)
img = Image.fromarray(img_np.astype('uint8'),'RGB')
x, y = img.size

fig,ax = plt.subplots(1, figsize=(15,15))
# Display the image
ax.imshow(img_np)

# draw box and label for each detection
detections = json.loads(resp.text)
for detect in detections['boxes']:
    label = detect['label']
    box = detect['box']
    conf_score = detect['score']
    if conf_score > 0.6:
        ymin, xmin, ymax, xmax =  box['topY'],box['topX'], box['bottomY'],box['bottomX']
        topleft_x, topleft_y = x * xmin, y * ymin
        width, height = x * (xmax - xmin), y * (ymax - ymin)
        print('{}: [{}, {}, {}, {}], {}'.format(detect['label'], round(topleft_x, 3),
                                                round(topleft_y, 3), round(width, 3),
                                                round(height, 3), round(conf_score, 3)))

        color = np.random.rand(3) #'red'
        rect = patches.Rectangle((topleft_x, topleft_y), width, height,
                                 linewidth=3, edgecolor=color,facecolor='none')

        ax.add_patch(rect)
        plt.text(topleft_x, topleft_y - 10, label, color=color, fontsize=20)

plt.show()

リソースをクリーンアップする

Azure Machine Learning の他のチュートリアルを実行する予定の場合、このセクションを実行しないでください。

作成したリソースを今後使用する予定がない場合は、課金が発生しないように削除します。

Azure Portal で、左端にある [リソースグループ] を選択します。
作成したリソースグループを一覧から選択します。
[リソースグループの削除] を選択します。
リソースグループ名を入力します。次に、 [削除] を選択します。

リソースグループは保持しつつ、いずれかのワークスペースを削除することもできます。ワークスペースのプロパティを表示し、 [削除] を選択します。

次のステップ

自動化された機械学習に関するこのチュートリアルでは、以下のタスクを学習しました。

実験用のワークスペースと準備されたデータを構成しました。
自動オブジェクト検出モデルをトレーニングしました
モデルのハイパーパラメーター値を指定しました
ハイパーパラメータースイープを実行しました
モデルをデプロイしました
検出を視覚化しました

自動 ML の Computer Vision の詳細を確認します。
Python を使用して Computer Vision モデルをトレーニングするために AutoML を設定する方法の詳細を確認します。
コンピュータービジョンモデルの段階的トレーニングを構成する方法を確認します。
「コンピュータービジョンタスクで使用できるハイパーパラメーター」を参照してください。
GitHub の自動機械学習サンプルのノートブックリポジトリで詳しいコードサンプルやユースケースを確認してください。 Computer Vision モデルの構築に固有のサンプルについては、"image-" プレフィックスが付いたフォルダーを確認してください。

Note

fridge オブジェクトデータセットの使用は、MIT ライセンスのライセンスを通じて利用できます。

次の方法で共有

チュートリアル: AutoML と Python を使用してオブジェクト検出モデル (プレビュー) をトレーニングする (v1)

前提条件

コンピューティング先のセットアップ

実験のセットアップ

入力データを視覚化する

データをアップロードしてデータセットを作成する

データセットを視覚化する

オブジェクト検出実験を構成する

画像タスクのハイパーパラメータースイープ

最高のモデルを登録する

モデルを Web サービスとしてデプロイする

Web サービスをテストする

検出を視覚化する

リソースをクリーンアップする

次のステップ

フィードバック

その他のリソース

次の方法で共有

チュートリアル: AutoML と Python を使用してオブジェクト検出モデル (プレビュー) をトレーニングする (v1)

前提条件

コンピューティング先のセットアップ

実験のセットアップ

入力データを視覚化する

データをアップロードしてデータセットを作成する

データセットを視覚化する

オブジェクト検出実験を構成する

画像タスクのハイパーパラメーター スイープ

最高のモデルを登録する

モデルを Web サービスとしてデプロイする

Web サービスをテストする

検出を視覚化する

リソースをクリーンアップする

次のステップ

フィードバック

その他のリソース

画像タスクのハイパーパラメータースイープ