Azure Percept Studio でコードなしのビジョンソリューションを作成する

[アーティクル]
02/07/2023

重要

Azure Percept DK の提供終了:

2023 年 2 月 22 日の更新プログラム: Percept DK Vision および Audio アクセサリコンポーネント (Vision および Audio SOM とも呼ばれます) のファームウェア更新プログラムがここで利用可能になり、アクセサリコンポーネントは廃止日を超えて引き続き機能するようになります。

Azure Percept パブリックプレビューは、新しいエッジデバイスプラットフォームと開発者エクスペリエンスをサポートするために進化する予定です。この進化の一環として、Azure Percept DK と Azure Percept Audio アクセサリ、Percept DK に関連するサポート Azure サービスは、2023 年 3 月 30 日に廃止されます。

2023 年 3 月 30 日より、Azure Percept DK と Azure Percept Audio アクセサリは、Azure Percept Studio、OS の更新プログラム、コンテナーの更新、Web ストリームの表示、Custom Vision 統合などの Azure サービスでサポートされなくなります。カスタマーサクセスサポートおよび関連するサポートサービスが Microsoft から提供されなくなります。詳しくは、廃止の通知に関するブログ記事をご覧ください。

Azure Percept Studio では、コーディングを必要とせずに、カスタムコンピュータービジョンソリューションを構築してデプロイできます。この記事では、次のことについて説明します。

Azure Percept Studio でビジョンプロジェクトを作成する
開発キットを使用してトレーニング画像を収集する
Custom Vision でトレーニング画像にラベルを付ける
カスタム物体検出または分類モデルをトレーニングする
自分のモデルを開発キットにデプロイする
再トレーニングを設定してモデルを改善する

このチュートリアルは、AI の実務経験が少ないまたはない開発者や、Azure Percept の使用を開始したばかりの方に適しています。

前提条件

Azure Percept DK (開発キット)
Azure サブスクリプション
Azure Percept DK セットアップエクスペリエンス: 開発キットを Wi-Fi ネットワークに接続し、IoT ハブを作成して、開発キットを IoT ハブに接続済みであること

ビジョンプロトタイプの作成

ブラウザーを起動し、Azure Percept Studio に移動します。
[概要] ページで、[デモ] & [チュートリアル] タブをクリックします。
[Vision tutorials and demos](ビジョンのチュートリアルとデモ) で [Create a vision prototype](ビジョンプロトタイプの作成) をクリックします。
[New Azure Percept Custom Vision prototype](新しい Azure Percept Custom Vision プロトタイプ) ページで、以下を実行します。
1. [プロジェクト名] ボックスに、自分のビジョンプロトタイプの名前を入力します。
2. [プロジェクトの説明] ボックスに、ビジョンプロトタイプの説明を入力します。
3. [デバイスの種類] ドロップダウンメニューで [Azure Percept DK] を選択します。
4. [リソース] ドロップダウンメニューでリソースを選択するか、 [新しいリソースを作成する] をクリックします。新しいリソースを作成する場合、 [作成] ウィンドウで以下を実行します。
  1. 新しいリソースの名前を入力します。
  2. Azure サブスクリプションを選択します。
  3. リソースグループを選択するか、新しく作成します。
  4. 任意のリージョンを選択します。
  5. 価格レベルを選択します (S0 が推奨)。
  6. ウィンドウの下部にある [作成] をクリックします。
5. [プロジェクトタイプ] では、自分のビジョンプロジェクトで物体検出と画像分類のどちらを実行するのかを選択します。プロジェクトタイプの詳細を確認するには、 [選択に関する詳細] をクリックします。
6. [最適化] で、自分のプロジェクトでの最適化の目標を、正確性、ネットワークの低遅延、両方のバランスから選択します。
7. [作成] ボタンをクリックします。

プロジェクトへのデバイスの接続と画像のキャプチャ

ビジョンソリューションの作成後、自分の開発キットとその対応する IoT ハブをそれに追加する必要があります。

開発キットの電源をオンにします。
[IoT Hub] ドロップダウンメニューで、OOBE 中に自分の開発キットが接続された IoT ハブを選択します。
[デバイス] ドロップダウンメニューで、自分の開発キットを選択します。

次に、自分の AI モデルのトレーニング用に、画像を読み込むか画像をキャプチャする必要があります。タグの種類ごとに少なくとも 30 個の画像をアップロードすることをお勧めします。たとえば、犬と猫を検出する機能を構築したい場合は、少なくとも犬の画像を 30 個、猫の画像を 30 個アップロードする必要があります。開発キットのビジョン SoM を使用して画像をキャプチャするには、以下を実行します。

[Image capture](画像のキャプチャ) ウィンドウで [View device stream](デバイスストリームの表示) を選択し、ビジョン SoM のビデオストリームを表示します。
ビデオストリームをチェックして、ビジョン SoM のカメラがトレーニング画像を撮影できるように正しく調整されていることを確かめます。必要に応じて調整を行います。
[Image capture](画像のキャプチャ) ウィンドウで、 [Take photo](写真の撮影) をクリックします。
または、 [Automatic image capture](自動画像キャプチャ) チェックボックスをオンにすることで、自動画像キャプチャを設定して一度に大量の画像を収集します。 [Capture rate](キャプチャレート) で希望する画像化レートを、 [ターゲット] で収集したい画像の総数を選択します。 [Set automatic capture](自動キャプチャの設定) をクリックし、自動画像キャプチャプロセスを開始します。

写真が十分にある場合は、画面の下部にある [Next: Tag images and model training](次へ: 画像のタグ付けとモデルのトレーニング) をクリックします。すべての画像は Custom Vision に保存されます。

Note

トレーニング画像を Custom Vision に直接アップロードする場合は、画像ファイルのサイズを 6 MB より大きくできない点に注意してください。

画像のタグ付けとモデルのトレーニング

モデルをトレーニングする前に、画像にラベルを付けます。

[Tag images and model training](画像のタグ付けとモデルのトレーニング) ページで、 [Open project in Custom Vision](Custom Vision でプロジェクトを開く) をクリックします。
[Custom Vision] ページの左側にある [タグ] で [タグなし] をクリックし、前の手順で収集したばかりの画像を表示します。タグの付いていない画像を 1 つまたは複数選択します。
[Image Detail](画像の詳細) ウィンドウで、画像をクリックしてタグ付けを開始します。物体検出を自分のプロジェクトタイプとして選択した場合は、タグ付けしたい特定のオブジェクトを境界ボックスで囲む必要もあります。必要に応じて境界ボックスを調整します。オブジェクトのタグを入力し、 [+] をクリックしてタグを適用します。たとえば、店舗の棚の補充が必要な場合に通知するビジョンソリューションを作成していたのなら、空の棚の画像に "空の棚" タグを追加します。また、在庫で埋まった棚には "埋まった棚" タグを追加します。タグ付けされていないすべての画像で繰り返します。
画像へのタグ付け後、ウィンドウの右上隅にある [X] アイコンをクリックします。 [タグ] の [タグ付き] をクリックし、新しくタグ付けした画像をすべて表示します。
画像にラベルを付けたら、AI モデルをトレーニングする準備が整います。これを行うには、ページの上部付近にある [トレーニング] をクリックします。モデルをトレーニングするには、タグの種類ごとに少なくとも 15 個の画像が必要です (最低 30 個の使用が推奨)。トレーニングは通常、約 30 分かかります。ただし、画像セットが非常に大きい場合は、もっと長い時間がかかる可能性があります。
トレーニングが完了したら、自分のモデルのパフォーマンスが画面に表示されます。これらの結果の評価について詳しくは、モデルの評価に関するドキュメントを参照してください。トレーニング後は必要に応じて、追加の画像に基づいてモデルをテストすることや、再トレーニングすることもできます。モデルはトレーニングのたびに新しい反復として保存されます。モデルのパフォーマンスを改善する方法の詳細については、Custom Vision のドキュメントを参照してください。

Note

Custom Vision で追加の画像に基づいてモデルをテストする場合は、テストする画像ファイルのサイズが 4 MB 以下に収まるように注意してください。

自分のモデルのパフォーマンスに満足したら、ブラウザーのタブを閉じて Custom Vision を閉じます。

AI モデルのデプロイ

Azure Percept Studio のタブに戻って、画面の下部にある [Next: Evaluate and deploy](次へ: 評価とデプロイ) をクリックします。
[Evaluate and deploy](評価とデプロイ) ウィンドウには、自分が選択したモデルの反復のパフォーマンスが表示されます。自分の開発キットにデプロイしたい反復を [Model iteration](モデルの反復) ドロップダウンメニューで選択し、画面の下部にある [Deploy model](モデルのデプロイ) をクリックします。
モデルのデプロイ後、デバイスのビデオストリームを表示して、自分のモデルの推論が動作していることを確認します。

このウィンドウを閉じた後は、Azure Percept Studio のホームページの [AI プロジェクト] にある [ビジョン] をクリックして自分のビジョンプロジェクトの名前を選択することで、いつでも自分のビジョンプロジェクトに戻って編集することができます。

再トレーニングを設定してモデルを改善する

モデルのトレーニングとデバイスへのデプロイが完了したら、再トレーニングのパラメーターを設定して、より多くのトレーニングデータをキャプチャすることで、モデルのパフォーマンスを向上させることができます。この機能は、確率範囲に基づいて画像をキャプチャできるようにして、トレーニング済みのモデルのパフォーマンスを向上させるために使用されます。たとえば、確率が低い場合にのみトレーニング画像をキャプチャするようにデバイスを設定できます。画像の追加とトレーニングデータのバランスに関するその他のガイダンスを次に示します。

再トレーニングを設定するには、 [プロジェクト] に戻り、 [プロジェクトの概要] に戻ります。
[画像キャプチャ] タブで、 [自動画像キャプチャ] と [再トレーニングの設定] を選択します。
[自動画像キャプチャ] チェックボックスをオンにすることで、自動画像キャプチャを設定して一度に大量の画像を収集します。
[Capture rate](キャプチャレート) で希望する画像化レートを、 [ターゲット] で収集したい画像の総数を選択します。
[再トレーニングの設定] セクションで、トレーニングデータをさらにキャプチャするイテレーションを選択し、次に確率範囲を選択します。確率レートを満たす画像のみがプロジェクトにアップロードされます。

リソースをクリーンアップする

このチュートリアルで新しい Azure リソースを作成したものの、今後自分のビジョンソリューションを開発したり使用したりするつもりがない場合は、次の手順に従ってリソースを削除してください。

Azure ポータルにアクセスします。
[すべてのリソース] をクリックします。
このチュートリアルで作成したリソースの横にあるチェックボックスをオンにします。リソースの種類は [Cognitive Services] として表示されます。
画面の上部近くにある [削除] アイコンをクリックします。

ビデオチュートリアル

上記の手順を視覚的に説明するチュートリアルについては、次の動画をご覧ください。

次の手順

次は、Azure Percept Studio のその他のビジョンソリューション機能について、ビジョンのハウツー記事をご確認ください。

Azure Percept Studio でコードなしのビジョン ソリューションを作成する