Azure Percept Vision AI モジュール

  • [アーティクル]

重要

Azure Percept DK の提供終了:

2023 年 2 月 22 日の更新プログラム: Percept DK Vision および Audio アクセサリ コンポーネント (Vision および Audio SOM とも呼ばれます) のファームウェア更新プログラム がここで利用可能になり、アクセサリ コンポーネントは廃止日を超えて引き続き機能するようになります。

Azure Percept パブリック プレビューは、新しいエッジ デバイス プラットフォームと開発者エクスペリエンスをサポートするために進化する予定です。 この進化の一環として、Azure Percept DK と Azure Percept Audio アクセサリ、Percept DK に関連するサポート Azure サービスは、2023 年 3 月 30 日に廃止されます。

2023 年 3 月 30 日より、Azure Percept DK と Azure Percept Audio アクセサリは、Azure Percept Studio、OS の更新プログラム、コンテナーの更新、Web ストリームの表示、Custom Vision 統合などの Azure サービスでサポートされなくなります。 カスタマー サクセス サポートおよび関連するサポート サービスが Microsoft から提供されなくなります。 詳しくは、廃止の通知に関するブログ記事をご覧ください。

azureeyemodule は、Azure Percept DK での AI ビジョン ワークロードの実行を担当するエッジ モジュールの名前です。 これは、エッジ モジュールの Azure IoT スイートの一部であり、セットアップ エクスペリエンス中に Azure Percept DK にデプロイされます。 この記事では、このモジュールとそのアーキテクチャの概要を示します。

アーキテクチャ

azureeyemodule のアーキテクチャを示す図。

Azure Percept DK 上の Azure Percept ワークロードは、azureeyemodule Docker コンテナー内で実行される C++ アプリケーションです。 画像処理とモデルの実行には、OpenCV GAPI が使用されます。 azureeyemodule は、Azure Percept DK で実行されるモジュールの Azure IoT スイートの一部として、Mariner オペレーティング システムで実行されます。

Azure Percept ワークロードは、イメージを取り込み、イメージとメッセージを出力するように意図されています。 出力画像は、境界ボックス、セグメンテーション マスク、結合部、ラベルなどの描画でマークされている場合があります。 出力メッセージは、ダウンストリーム タスクで取り込んで使用できる推論結果の JSON ストリームです。 結果は、デバイスのポート 8554 で使用できる RTSP ストリームとして提供されます。 また、この結果は、デバイスで実行されている別のモジュールにも送信されます。それは、ポート 3000 で実行されている、HTTP サーバーにラップされた RTSP ストリームを提供します。 どちらの場合も、それらはローカル ネットワークでのみ表示できます。

注意事項

RTSP フィードに関して暗号化や認証は "ありません"。 Web ブラウザーまたは RTSP メディア プレーヤーに正しいアドレスを入力すれば、ローカル ネットワーク上の誰もが、Azure Percept Vision で映し出されているものとまったく同じものを見ることができます。

Azure Percept ワークロードでは、エンド ユーザーが利用できるいくつかの機能が有効になります。

  • オブジェクトの分類や一般的な物体検出など、一般的なコンピューター ビジョンのユース ケースを対象としたコード不要ソリューション。
  • 開発者が、独自の (カスケードされている可能性がある) トレーニング済みモデルをデバイスに取り込んで実行し、おそらくは、デバイス上で実行されている自分で作成した別の IoT モジュールに結果を渡すことができる、高度なソリューション。
  • デバイスから定期的にイメージを取得し、クラウド内のモデルを再トレーニングしてから、新しくトレーニングしたモデルをデバイスに戻す再トレーニング ループ。 オンザフライでモデルを更新およびスワップするデバイスの機能を使用します。

AI ワークロードの詳細

このワークロード アプリケーションは、Azure Percept Advanced Development の GitHub リポジトリ内でオープンソース化されており、多くの小規模な C++ モジュールと、次のより重要な要素で構成されています。

  • main.cpp: すべてを設定してから、メイン ループを実行します。
  • iot: このフォルダーには、Azure IoT Edge Hub との間の送受信メッセージを処理するモジュールと、ツイン更新メソッドが含まれています。
  • model: このフォルダーには、コンピューター ビジョン モデルのクラス階層のモジュールが含まれています。
  • kernels: このフォルダーには、G-API カーネル、ops、および C++ ラッパー関数のモジュールが含まれています。

開発者は、このワークロード アプリケーションを使用してカスタム モジュールをビルドしたり、現在の azureeyemodule をカスタマイズしたりできます。

次のステップ

  • azureeyemodule と Azure Percept ワークロードの詳細を確認したので、こちらのチュートリアルのいずれかに従って、独自のモデルまたはパイプラインを使用してみてください。
  • または、既成の機械学習ノートブックのいずれかを使用して、転移学習を試してください。