カスタム画像分析モデルを作成する (プレビュー)

[アーティクル]
02/27/2024

Image Analysis 4.0 では、独自のトレーニング画像を使用してカスタムモデルをトレーニングできます。画像に手動でラベルを付けることで、モデルをトレーニングして画像にカスタムタグを適用したり (画像分類)、カスタムオブジェクトを検出したり (物体検出) できます。 Image Analysis 4.0 モデルは、少数のショットの学習で特に効果的であるため、少ないトレーニングデータでも正確なモデルを取得できます。

このガイドでは、カスタム画像分類モデルを作成してトレーニングする方法について説明します。画像分類モデルと物体検出モデルトレーニングの、いくつかの違いを説明します。

前提条件

Azure サブスクリプション - 無料アカウントを作成します
Azure サブスクリプションを入手したら、Azure portal で Vision リソースを作成し、キーとエンドポイントを取得します。 Vision Studio を使用し、このガイドに従っている場合は、米国東部リージョンでリソースを作成する必要があります。デプロイされたら、 [リソースに移動] を選択します。後で使うので、キーとエンドポイントを一時的な場所にコピーしておきます。
Azure Storage リソース - 作成する
分類モデルのトレーニングに使用する画像のセット。 GitHub 上のサンプル画像のセットを使用することができます。または、独自の画像を使用できます。 1 つのクラスあたり約 3 ～ 5 個の画像のみが必要です。

注意

待ち時間が長くなる可能性があるため、ビジネス上重要な環境ではカスタムモデルを使用しないことをお勧めします。お客様が Vision Studio でカスタムモデルをトレーニングすると、それらのカスタムモデルはトレーニング対象の Vision リソースに属し、お客様は Analyze Image API を使用してそれらのモデルを呼び出すことができます。これらの呼び出しを行うと、カスタムモデルがメモリに読み込まれ、予測インフラストラクチャが初期化されます。このような場合、お客様は予測結果を受け取るために予想よりも長い待機時間が発生する可能性があります。

Vision Studio
REST API

新しいカスタムモデルの作成

まず、Vision Studio に移動し、[画像分析] タブを選択します。次に、[モデルのカスタマイズ] タイルを選択します。

[モデルのカスタマイズ] タイルのスクリーンショット。

続いて、Azure アカウントでサインインし、Vision リソースを選択します。アカウントがない場合は、この画面から作成できます。

重要

Vision Studio でカスタムモデルをトレーニングするには、使用している Azure サブスクリプションによるアクセスが承認されている必要があります。このフォームを使用してアクセス権を要求してください。

[リソースの選択] 画面のスクリーンショット。

トレーニング画像を準備する

Azure BLOB ストレージコンテナーにトレーニング画像をアップロードする必要があります。 Azure portal でストレージリソースに移動し、[ストレージブラウザー] タブに移動します。ここでは、BLOB コンテナーを作成し、画像をアップロードできます。それらをすべてをコンテナーのルートに配置します。

データセットを追加する

カスタムモデルをトレーニングするには、画像とそのラベル情報をトレーニングデータとして提供するデータセットにそのモデルを関連付ける必要があります。 Vision Studio で、[データセット] タブを選択してデータセットを表示します。

新しいデータセットを作成するには、[新しいデータセットの追加] を選択します。ポップアップウィンドウで、名前を入力し、ユースケースのデータセットの種類を選択します。 画像分類モデルは画像全体にコンテンツラベルを適用し、物体検出モデルは画像内の特定の場所にオブジェクトラベルを適用します。 製品認識モデルは、小売製品の検出用に最適化された物体検出モデルのサブカテゴリです。

BLOB ストレージの選択

次に、トレーニング画像を保存した Azure Blob Storage アカウントからコンテナーを選択します。このチェックボックスをオンにすると、Vision Studio が BLOB ストレージコンテナーの読み取りと書き込みを行うことができます。これは、ラベル付きデータをインポートするために必要な手順です。データセットを作成します。

Azure Machine Learning データのラベル付けプロジェクトを作成する

ラベル付け情報を伝えるには COCO ファイルが必要です。 COCO ファイルを生成するための簡単な方法は、データラベル付けワークフローに含まれる Azure Machine Learning プロジェクトを作成することです。

データセットの詳細ページで、[Add a new Data Labeling project] (新しいデータラベル付けプロジェクトの追加) を選択します。名前を付けて、[新しいワークスペースの作成] を選択します。それにより、新しい Azure portal タブが開き、Azure Machine Learning プロジェクトを作成できます。

Azure Machine Learning の選択

Azure Machine Learning プロジェクトが作成されたら、[Vision Studio] タブに戻り、[ワークスペース] でそれを選択します。選択すると、Azure Machine Learning ポータルが新しいブラウザータブで開きます。

Azure Machine Learning: ラベルを作成する

ラベル付けを開始するには、[Please add label classes] (ラベルクラスを追加してください) プロンプトに従ってラベルクラスを追加します。

ラベルクラス

クラスラベルの追加

すべてのクラスラベルを追加したら、それらを保存し、プロジェクトで [開始] を選択して、上部にある [ラベルデータ] を選択します。

ラベル付けを開始する

Azure Machine Learning: トレーニングデータに手動でラベルを付ける

[ラベル付けの開始] を選択し、プロンプトに従ってすべての画像にラベルを付けます。完了したら、ブラウザーの [Vision Studio] タブに戻ります。

次に、[ADD COCO file] (COCO ファイルの追加) を選択し、[Import COCO file from an Azure ML Data Labeling project] (Azure ML Data Labeling プロジェクトからの COCO ファイルのインポート) を選択します。これにより、ラベル付きデータが Azure Machine Learning からインポートされます。

作成した COCO ファイルは、このプロジェクトにリンクした Azure Storage コンテナーに格納されます。これでファイルをモデルのカスタマイズワークフローにインポートできるようになります。ドロップダウンリストから選択します。 COCO ファイルがデータセットにインポートされたら、データセットを使用してモデルをトレーニングできます。

注意

別の場所から COCO ファイルをインポートする

インポートする既製の COCO ファイルがある場合は、[データセット] タブに移動し、Add COCO files to this dataset を選択します。 BLOB ストレージアカウントから特定の COCO ファイルを選択して追加するか、Azure Machine Learning ラベル付けプロジェクトからインポートすることができます。

現在、Microsoft は、Vision Studio で開始すると、大規模なデータセットで COCO ファイルのインポートが失敗する問題に対処しています。大規模なデータセットを使用してトレーニングするには、代わりに REST API を使用することをお勧めします。

COCO の選択

COCO ファイルについて

COCO ファイルは以下の"images"、"annotations"および "categories"のように特定の必須フィールドを持つ JSON ファイルです。サンプルの COCO ファイルは次のようになります：

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

COCO ファイルフィールドリファレンス

独自の COCO ファイルを最初から生成する場合は、すべての必須フィールドに正しい詳細が入力されていることを確認します。次の表では、COCO ファイルの各フィールドについて説明します：

「イメージ」

キー	Type	説明	必須
`id`	整数	1 から始まる一意のイメージ ID	はい
`width`	整数 (integer)	画像の幅 (ピクセル単位)	はい
`height`	整数 (integer)	画像の高さ (ピクセル単位)	はい
`file_name`	string	イメージの一意の名前	はい
`absolute_url` または `coco_url`	string	BLOB コンテナー内の BLOB への絶対 URI としてのイメージパス。 Vision リソースには、注釈ファイルと参照されているすべてのイメージファイルを読み取るアクセス許可が必要です。	はい

absolute_url の値は、BLOB コンテナーのプロパティにあります。

絶対 URL

「注釈」

キー	Type	説明	必須
`id`	整数	注釈の ID	はい
`category_id`	整数 (integer)	`categories` セクションで定義されているカテゴリの ID	はい
`image_id`	整数 (integer)	イメージの ID	はい
`area`	整数 (integer)	'幅' x '高さ' の値 (の 3 番目と 4 番目の`bbox`の値)	いいえ
`bbox`	リスト[float]	境界ボックスの相対座標 (0 から 1)、'左'、'上'、'幅'、'高さ' の順	はい

「カテゴリ」

キー	Type	説明	必須
`id`	整数	各カテゴリの一意の ID (ラベルクラス)。これらは`annotations` セクションに存在する必要があります。	はい
`name`	string	カテゴリの名前 (ラベルクラス)	はい

COCO ファイルの確認

COCO ファイルの形式を確認するには、Microsoft の Python サンプルコードを使用できます。

カスタムモデルをトレーニングする

COCO ファイルを使用してモデルのトレーニングを開始するには、[カスタムモデル] タブに移動し、[Add a new model] (新しいモデルの追加) を選択します。モデルの名前を入力し、モデルの種類として Image classification または Object detection を選択します。

カスタムモデルの作成

データセットを選択します。これは現在、ラベル付け情報を含む COCO ファイルに関連付けられています。

次に、時間予算を選択し、モデルをトレーニングします。小さな例では、1 hour の予算を使用できます。

トレーニングの詳細の確認

トレーニングの完了までに少し時間がかかる場合があります。 Image Analysis 4.0 モデルは、小さなトレーニングデータセットのみでも正確ですが、以前のモデルよりトレーニングに時間がかかります。

トレーニング済みモデルを評価する

トレーニングが完了したら、モデルのパフォーマンス評価を表示できます。次のメトリックが使用されます。

画像分類: 平均精度、正確性上位 1、正確性上位 5
物体検出: 平均値平均精度 @ 30、平均値平均精度 @ 50、平均値平均精度 @ 75

モデルのトレーニング時に評価セットを指定しないと、報告されるパフォーマンスはトレーニングセットの一部に基づいて推定されます。モデルのパフォーマンスを確実に推定するために、評価データセット (上記と同じプロセスを使用) を使用することを強くお勧めします。

評価のスクリーンショット

Vision Studio でカスタムモデルをテストする

カスタムモデルを構築したら、モデル評価画面の [試してみる] ボタンを選択してテストできます。

モデル評価画面で [試してみる] ボタンがアウトライン表示されているスクリーンショット。

これにより、[画像から一般的なタグを抽出する] ページに移動します。ドロップダウンメニューからカスタムモデルを選択し、テスト画像をアップロードします。

Vision Studio でのテストモデルの選択のスクリーンショット。

予測結果が右側の列に表示されます。

トレーニングデータの準備

最初に行う必要があるのは、トレーニングデータから COCO ファイルを作成することです。 COCO ファイルを作成するには、移行スクリプトを使用して古いCustom Vision プロジェクトを変換します。または、他のラベル付けツールを使用して、COCO ファイルを新規に作成することもできます。次の指定を使用します。

COCO ファイルについて

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

COCO ファイルフィールドリファレンス

「イメージ」

キー	Type	説明	必須
`id`	整数	1 から始まる一意のイメージ ID	はい
`width`	整数 (integer)	画像の幅 (ピクセル単位)	はい
`height`	整数 (integer)	画像の高さ (ピクセル単位)	はい
`file_name`	string	イメージの一意の名前	はい
`absolute_url` または `coco_url`	string	BLOB コンテナー内の BLOB への絶対 URI としてのイメージパス。 Vision リソースには、注釈ファイルと参照されているすべてのイメージファイルを読み取るアクセス許可が必要です。	はい

absolute_url の値は、BLOB コンテナーのプロパティにあります。

絶対 URL

「注釈」

キー	Type	説明	必須
`id`	整数	注釈の ID	はい
`category_id`	整数 (integer)	`categories` セクションで定義されているカテゴリの ID	はい
`image_id`	整数 (integer)	イメージの ID	はい
`area`	整数 (integer)	'幅' x '高さ' の値 (の 3 番目と 4 番目の`bbox`の値)	いいえ
`bbox`	リスト[float]	境界ボックスの相対座標 (0 から 1)、'左'、'上'、'幅'、'高さ' の順	はい

「カテゴリ」

キー	Type	説明	必須
`id`	整数	各カテゴリの一意の ID (ラベルクラス)。これらは`annotations` セクションに存在する必要があります。	はい
`name`	string	カテゴリの名前 (ラベルクラス)	はい

COCO ファイルの確認

COCO ファイルの形式を確認するには、Microsoft の Python サンプルコードを使用できます。

ストレージにアップロードする

COCO ファイルを BLOB ストレージコンテナーにアップロードします。理想的なのは、トレーニング画像自体を保管しているのと同じ BLOB コンテナーです。

トレーニングデータセットを作成する

datasets/<dataset-name> API を使用すると、トレーニングデータを参照する新しいデータセットオブジェクトを作成できます。以下の cURL コマンドを次のように変更します。

<endpoint> を Azure AI Vision エンドポイントに置き換えます。
<dataset-name> をデータセットの名前に置き換えます。
<subscription-key> を Azure AI Vision キーに置き換えます。
要求本文で、プロジェクトに応じて "annotationKind" を "imageClassification" または "imageObjectDetection" に設定します。
要求本文で、"annotationFileUris" 配列を BLOB ストレージ内の COCO ファイルの URI の場所を示す文字列の配列に設定します。

curl.exe -v -X PUT "<endpoint>/computervision/datasets/<dataset-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'annotationKind':'imageClassification',
'annotationFileUris':['<URI>']
}"

モデルを作成してトレーニングする

この models/<model-name> API を使用すると、新しいカスタムモデルを作成し、それを既存のデータセットに関連付けることができます。また、トレーニングプロセスも開始します。以下の cURL コマンドを次のように変更します。

<endpoint> を Azure AI Vision エンドポイントに置き換えます。
<model-name> をモデルの名前に置き換えます。
<subscription-key> を Azure AI Vision キーに置き換えます。
要求本文で、"trainingDatasetName" を前の手順のデータセットの名前に設定します。
要求本文で、プロジェクトに応じて "modelKind" を "Generic-Classifier" または "Generic-Detector" に設定します。

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'trainingParameters': {
    'trainingDatasetName':'<dataset-name>',
    'timeBudgetInHours':1,
    'modelKind':'Generic-Classifier',
    }
}"

データセットに対するモデルのパフォーマンスを評価する

models/<model-name>/evaluations/<eval-name> API は、既存のモデルのパフォーマンスを評価します。以下の cURL コマンドを次のように変更します。

<endpoint> を Azure AI Vision エンドポイントに置き換えます。
<model-name> を自分のモデルの名前に置き換えます。
<eval-name> を、評価を一意に識別するために使用できる名前に置き換えます。
<subscription-key> を Azure AI Vision キーに置き換えます。
要求本文で、"testDatasetName" を評価に使用するデータセットの名前に設定します。専用のデータセットがない場合は、トレーニングに使用したのと同じデータセットを使用できます。

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>/evaluations/<eval-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'evaluationParameters':{
    'testDatasetName':'<dataset-name>'
    },
}"

API 呼び出しは ModelPerformance JSON オブジェクトを返します。このオブジェクトは、複数のカテゴリのモデルのスコアを一覧表示します。次のメトリックが使用されます。

画像分類: 平均精度、正確性上位 1、正確性上位 5
物体検出: 平均値平均精度 @ 30、平均値平均精度 @ 50、平均値平均精度 @ 75

画像でカスタムモデルをテストする

imageanalysis:analyze API は通常の画像分析操作を行います。この API を使用すると、いくつかのパラメーターを指定することで、事前構築済みの画像分析モデルではなく、独自のカスタムモデルに対してクエリを実行できます。以下の cURL コマンドを次のように変更します。

<endpoint> を Azure AI Vision エンドポイントに置き換えます。
<model-name> を自分のモデルの名前に置き換えます。
<subscription-key> を Azure AI Vision キーに置き換えます。
要求本文の "url" を、モデルのテストに使用するリモート画像の URL に設定します。

curl.exe -v -X POST "<endpoint>/computervision/imageanalysis:analyze?model-name=<model-name>&api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{'url':'https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png'
}"

API 呼び出しは ImageAnalysisResult JSON オブジェクトを返します。このオブジェクトには、画像分類子に関して検出されたすべてのタグ、またはオブジェクト検出機能のオブジェクトとその信頼度スコアが含まれています。

{
  "kind": "imageAnalysisResult",
  "metadata": {
    "height": 900,
    "width": 1260
  },
  "customModelResult": {
    "classifications": [
      {
        "confidence": 0.97970027,
        "label": "hemlock"
      },
      {
        "confidence": 0.020299695,
        "label": "japanese-cherry"
      }
    ],
    "objects": [],
    "imageMetadata": {
      "width": 1260,
      "height": 900
    }
  }
}

次のステップ

このガイドでは、Image Analysis を使用してカスタム画像分類モデルを作成し、トレーニングしました。次に、Analyze Image 4.0 API の詳細を確認して、REST SDK またはライブラリ SDK を使用してアプリケーションからカスタムモデルを呼び出すことができます。

この機能の概要とよく寄せられる質問の一覧については、「モデルのカスタマイズの概念ガイド」を参照してください。
Analyze Image API を呼び出します。

カスタム画像分析モデルを作成する (プレビュー)

前提条件

新しいカスタム モデルの作成

トレーニング画像を準備する

データセットを追加する

Azure Machine Learning データのラベル付けプロジェクトを作成する

Azure Machine Learning: ラベルを作成する

Azure Machine Learning: トレーニング データに手動でラベルを付ける

別の場所から COCO ファイルをインポートする

COCO ファイルについて

COCO ファイル フィールドリファレンス

COCO ファイルの確認

カスタム モデルをトレーニングする

トレーニング済みモデルを評価する

Vision Studio でカスタム モデルをテストする

次のステップ

その他のリソース

新しいカスタムモデルの作成

Azure Machine Learning: トレーニングデータに手動でラベルを付ける

COCO ファイルフィールドリファレンス

カスタムモデルをトレーニングする

Vision Studio でカスタムモデルをテストする