顔検出

[アーティクル]
11/21/2023

重要

Azure Media Services の提供終了の発表により、Azure AI Video Indexer は Azure AI Video Indexer の機能の調整を発表します。 Azure AI Video Indexer アカウントの意味を理解するには、Azure Media Service (AMS) の提供終了に関連する変更に関するページを参照してください。 AMS 提供終了の準備: VI の更新と移行に関するガイドを参照してください。

Azure AI Video Indexer の 1 つの機能である顔検出は、メディアファイル内の顔を自動的に検出し、類似した顔のインスタンスをグループに集約します。その後、著名人認識モデルが実行されて有名人が認識されます。

著名人認識モデルは、約 100 万人の顔を対象とし、よく要求されるデータソースに基づいています。 Video Indexer が有名人として認識しない顔も検出されますが、名前はないままになります。独自のカスタム人物モデルを構築し、既定では認識されない顔が認識されるように Video Indexer をトレーニングできます。

顔検出の分析情報は、各顔のサムネイルと名前または ID を含む JSON ファイル内のカテゴリ別の一覧として生成されます。顔のサムネイルを選択すると、その人物の名前 (認識された場合)、その人物が登場するビデオの割合、その人物の経歴 (有名人の場合) などの情報が表示されます。また、その人物が登場するビデオ内のインスタンス間をスクロールすることもできます。

重要

Microsoft の責任ある AI の原則をサポートするために、顔識別、カスタマイズ、および著名人認識機能へのアクセスは制限されており、適格性と使用基準に基づいています。顔識別、カスタマイズ、および著名人認識機能は、Microsoft が管理するお客様とパートナーが利用できます。利用申請を行うには、顔認識受付フォームを使用してください。

前提条件

「Azure AI Video Indexer の透過性のためのメモ」を参照してください。.

一般的な原則

この記事では、顔検出と、このテクノロジを責任をもって使用するための重要な考慮事項について説明します。 AI を利用した機能の使用と実装の方法を決定するときに、次のような多くの重要な要素を考慮する必要があります。

この機能は、ご自分のシナリオで適切に動作しますか? 顔検出をシナリオに配置する前に、実際のデータを使用してそれがどのように実行されるかテストします。必要な精度を提供できることを確認します。
エラーを特定して対応する機能を備えていますか? AI を利用した製品や機能は 100% 正確とはいえません。そのため、発生するあらゆるエラーを特定し、対応する方法を検討します。

重要な用語

項目	定義
分析情報	ビデオとオーディオの各ファイルの処理と分析から得られる情報と知識。分析情報には、検出された物、人、顔、キーフレーム、翻訳や文字起こしを含めることができます。
顔認識	画像を分析して、画像に表示される顔を識別します。このプロセスは、Azure AI Face API を使用して実装されます。
テンプレート	人物の登録された画像はテンプレートに変換されてから、顔認識に使用されます。個人のテンプレートを作成するために、マシンで解釈可能な特徴がその個人の 1 つ以上の画像から抽出されます。登録やプローブの画像は Face API によって格納されず、元の画像をテンプレートに基づいて再構築することはできません。テンプレートの品質は、結果の精度を決定する重要な要因です。
登録 (enrollment)	テンプレート作成のために個人の画像を登録し、認識できるようにするプロセス。ある人物が認証に使用される検証システムに登録されると、その人物のテンプレートは、プローブテンプレートと比較するテンプレートを決定するために使用されるプライマリ識別子にも関連付けられます。高品質の画像や、人の見た目の自然な変化 (眼鏡をかけている場合とかけていない場合など) を表す画像は、高品質の登録テンプレートを生成します。
ディープ検索	抽出された分析情報内の特定の用語を検索して、ビデオライブラリから関連するビデオとオーディオのファイルのみを取得する機能。

分析情報の表示

Azure AI Video Indexer Web サイトで顔検出インスタンスを表示するには:

メディアファイルをアップロードするときに、[Upload and index] (アップロードとインデックス付け) ダイアログで [詳細設定] を選択します。
左側のメニューで、[人物モデル] を選択します。メディアファイルに適用するモデルを選択します。
ファイルがアップロードされ、インデックスが付けられたら、[分析情報] に移動し、[People] (人物) までスクロールします。

JSON ファイルで顔検出の分析情報を表示するには:

Azure AI Video Indexer Web サイトで、アップロードされたビデオを開きます。
[ダウンロード]>[分析情報 (JSON)] の順に選択します。

insights で、faces 要素をコピーして、JSON ビューアーに貼り付けます。

"faces": [
    {
    "id": 1785,
    "name": "Emily Tran",
    "confidence": 0.7855,
    "description": null,
    "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
    "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
    "title": null,
    "imageUrl": null,
    "thumbnails": [
        {
        "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
        "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:00.033",
            "start": "0:00:00",
            "end": "0:00:00.033"
            }
        ]
        },
        {
        "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
        "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:05",
            "adjustedEnd": "0:00:05.033",
            "start": "0:00:05",
            "end": "0:00:05.033"
            }
        ]
        },
    ]
    }
]

API を使用して JSON ファイルをダウンロードするには、[Azure AI Video Indexer 開発者ポータル] に移動します。

重要

UI で顔検出を確認すると、ビデオに登場するすべての顔が表示されていない場合があります。信頼度が 0.5 を超える顔グループのみ公開されます。顔は、少なくとも 4 秒または video_duration の値の10% の間表示されている必要があります。これらの条件が満たされた場合のみ、UI と Insights.json ファイルに顔が表示されます。次の API を使用して、顔成果物ファイルからすべての顔インスタンスをいつでも取得できます: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]

顔検出のコンポーネント

次の表は、メディアファイル内の画像が顔検出手順でどのように処理されるかを示しています。

コンポーネント	定義
ソースファイル	ユーザーは、インデックス作成のためにソースファイルをアップロードします。
検出と集計	顔検出器が各フレーム内の顔を識別します。その後、顔が集計され、グループ化されます。
認識	著名人モデルにより、集約されたグループが処理されて、有名人が認識されます。独自の人物モデルを作成した場合は、他の人物も認識するようにグループが処理されます。人物が認識されない場合は、Unknown1、Unknown2 などのラベルが付けられます。
信頼度値	よく知られた顔、またはカスタマイズ可能なリストで識別される顔に適用可能な場合、各ラベルの推定される信頼度レベルは 0 から 1 の範囲で計算されます。信頼度スコアは、結果の精度の確実性を表しています。たとえば、82 パーセントの確実性はスコア 0.82 として表されます。

ユースケースの例

次のリストは、顔検出の一般的なユースケースの例を示しています。

組織のアーカイブ内で特定の顔をディープ検索して、特定の有名人に関する分析情報を得ることで、映画で俳優が登場する場所を要約したり、映像を再利用したりします。
通信社やスポーツエージェンシーで特集記事を作成する際の効率を向上させます。たとえば、組織のアーカイブで有名人やサッカー選手をのディープ検索を行う場合などです。
ビデオに登場する顔を使用して、キャンペーン、予告編、ハイライトを作成します。 Video Indexer は、キーフレーム、シーンマーカー、タイムスタンプ、ラベ付けを追加することで、コンテンツ編集者が多数のファイルの確認に費やす時間を短縮できるよう支援できます。

ユースケースの選択に関する考慮事項

顔検出は、責任を持って慎重に使用すれば、多くの業界にとって価値のあるツールとなります。他の人のプライバシーと安全性を尊重し、現地およびグローバルの規制を遵守するために、使用に関する以下のガイドラインに従うことをお勧めします。

結果の精度を慎重に検討してください。検出の正確性をより高めるために、ビデオの品質を確認してください。低品質のビデオは、提供される分析情報に影響を与える可能性があります。
顔検出を法執行機関に使用する場合は、結果を慎重に確認してください。人物が小さかったり、座っていたり、しゃがんでいたり、物や他の人に邪魔されていたりする場合、検出されない可能性があります。公正で質の高い決定を保証するために、顔検出に基づく自動化と人による監視を組み合わせてください。
深刻な悪影響を及ぼす可能性のある決定には、顔検出を使用しないでください。誤った出力に基づく決定は、深刻な悪影響をもたらす可能性があります。個人に深刻な影響を与える可能性のある決定については、人によるレビューを含めることをお勧めします。
プライバシーについての個人の権利を常に尊重し、合法的かつ正当な目的でのみビデオを取り込むようにしてください。
著名人の幼い子供や家族に関する不適切なコンテンツや、個人的な自由に悪影響を及ぼしたり、脅威を与える可能性のあるその他のコンテンツを意図的に開示することのないようにしてください。
分析されたメディアの設計とデプロイにあたっては、人権の尊重と促進に努めてください。
第三者の素材を使用する場合は、それらに由来するコンテンツを配布する前に、既存の著作権や必要な許諾に注意してください。 
不明なソースからのコンテンツを使用する場合は、常に法的なアドバイスを求めるようにしてください。 
アップロードされた動画がセキュリティで保護され、コンテンツの整合性を維持し、未承認のアクセスを防止するための適切な管理が行われるようにするために、常に法的および専門家の適切なアドバイスを求めるようにしてください。
サービスで発生した可能性のある問題をユーザーや個人が報告できるフィードバックチャネルを用意してください。
人物を取り上げたメディアの処理、分析、共有に関しては、当該の地域に存在する適用される法律や規制に注意してください。 
人間の関与を維持してください。いかなるソリューションも、人間の監視と意思決定を置き換えるものとして使用しないでください。
使用している AI モデルについて、その潜在能力を十分に調べて確認し、その能力と限界について理解してください。

責任ある AI の詳細を確認する:

Azure AI Video Indexer 分析情報:

顔検出

前提条件

一般的な原則

重要な用語

分析情報の表示

顔検出のコンポーネント

ユース ケースの例

ユース ケースの選択に関する考慮事項

関連するコンテンツ

フィードバック

フィードバック

その他のリソース

ユースケースの例

ユースケースの選択に関する考慮事項