ビデオ内の観察対象人物を追跡する (プレビュー)

[アーティクル]
12/06/2022

Azure Video Indexer を使用して、ビデオ内の観察対象人物を検出し、その人物のビデオフレーム内の位置、人物が現れたときの正確なタイムスタンプ (開始、終了) などの情報を取得します。この API では、検出された各人物インスタンスの境界ボックス座標 (ピクセル単位) が、検出の信頼度を含めて返されます。

この機能が役に立つ可能性があるシナリオを次に示します。

事後分析 - 人物の動きを検出して追跡し、事故や犯罪の事後 (たとえば、爆発、銀行強盗、事件) をより適切に分析します。
ビデオ広告、ニュース、スポーツの試合など、コンテンツ作成者が生データを作成する際の効率を向上させます (たとえば、ビデオアーカイブの中から赤いシャツを着ている人物を見つけるなど)。
特定の人物がビデオに映っている法廷証拠のように、同一の検出対象人物の ID を使用して、長いビデオから概要を作成します。
顧客がショッピングセンター内の複数の通路をどのように移動するのか、レジの待ち時間など、時間の経過に伴う傾向を学習して分析します。

たとえば、ある人物がビデオに映っている場合、検出操作を行うと、その人物の姿形がビデオフレーム内の座標と共に一覧表示されます。この機能を使用して、ビデオ内でその人物の足取りを判別できます。ビデオ内に同一人物のインスタンスが複数存在するかどうかも判別できます。

新たに追加された観察対象人物追跡機能は、ファイルにインデックスを付けるときに [詳細オプション] ->[詳細ビデオ] または [詳細ビデオ + オーディオ] プリセット ([動画 + オーディオのインデックス作成] の下) を選択すると使用できます。標準のインデックス作成には、この新しい詳細モデルは含まれません。

観察対象人物追跡のスクリーンショット

Video Indexer Web サイトでビデオの分析情報の表示を選択すると、ページに観察対象人物追跡が表示され、検出されたすべての人物のサムネイルが示されます。人物のサムネイルを選択し、その人物が映っている場面をビデオプレーヤーで確認できます。

次の JSON 応答は、Video Indexer で、観察対象人物を追跡したときに返される内容を示しています。

    {
    ...
    "videos": [
        {
            ...
            "insights": {
                ...
                "observedPeople": [{
                    "id": 1,
                    "thumbnailId": "560f2cfb-90d0-4d6d-93cb-72bd1388e19d",
                    "instances": [
                        {
                            "adjustedStart": "0:00:01.5682333",
                            "adjustedEnd": "0:00:02.7027",
                            "start": "0:00:01.5682333",
                            "end": "0:00:02.7027"
                        }
                    ]
                },
                {
                    "id": 2,
                    "thumbnailId": "9c97ae13-558c-446b-9989-21ac27439da0",
                    "instances": [
                        {
                            "adjustedStart": "0:00:16.7167",
                            "adjustedEnd": "0:00:18.018",
                            "start": "0:00:16.7167",
                            "end": "0:00:18.018"
                        }
                    ]
                },]
            }
            ...
            }
    ]
}

制限事項と前提

観察対象人物追跡の制限事項に注意して、偽陰性 (検出漏れ) や詳細の利用制限の影響を回避または軽減することが重要です。

検出器の結果を最適化するには (動くカメラや混合シーンでも結果が得られますが)、静止カメラのビデオ映像を使用します。
人物は、通常、小さく映っている場合は検出されません (人物の最小の高さは 200 ピクセル)。
最大フレームサイズは HD です
人物は、通常、立っているか歩いているのでなければ、検出されません。
低品質のビデオ (たとえば、暗い照明条件) は検出結果に影響を与える可能性があります。
推奨フレームレート (少なくとも 30 FPS)。
推奨されるビデオ入力は、1 つのフレームに含まれる人物が最大 10 人です。この機能では、1 つのフレーム内にそれより多くの人物がいても処理できますが、検出結果としては、フレーム内の検出の信頼度が高い人物が最大 10 人取得されます。
服装が似ている人物 (たとえば、ユニフォームを着ている人物、スポーツの試合の選手) は、ID 番号が同じ同一人物として検出される可能性があります。
障害 – 障害 (シーンと自分、または他の人物によるオクルージョン) がある場所でエラーが発生する可能性があります。
ポーズ: ポーズ (背面/前面) が異なることが理由で、トラックが分割される可能性があります

次のステップ

概要を確認する

ビデオ内の観察対象人物を追跡する (プレビュー)

制限事項と前提

次のステップ

その他のリソース

その他のリソース