Azure AI Video Indexer オブジェクト検出

  • [アーティクル]

Azure AI Video Indexer では、ビデオ内のオブジェクトを検出できます。 分析情報は、標準および高度なビデオ プリセットの一部です。 オブジェクト検出は、ビデオのアップロード要求の結果である分析情報に含まれます。

わかりやすさに関するメモ

オブジェクト検出を使用する前に、透明度に関するメモの概要を確認してください。

JSON のキーと定義

キー 定義
ID メディア ファイル内で検出された物体の増分 ID 番号
Type 物体の種類 (例: 自動車)
ThumbnailID 単一の物体検出を表す GUID
displayName VI ポータル エクスペリエンスに表示される名前
WikiDataID WikiData 構造体の一意識別子
インスタンス 追跡されたすべてのインスタンスのリスト
信頼度 物体検出の信頼度を示す 0 ～ 1 のスコア
adjustedStart エディター使用時のビデオの調整済み開始時刻
adjustedEnd エディター使用時のビデオの調整済み終了時刻
start 物体がフレームに出現する時刻
終了 物体がフレームに表示されなくなる時刻

JSON 応答

検出された物体と追跡された物体

検出されたオブジェクトと追跡されたオブジェクトは、ダウンロードした insights.json ファイルの [検出されたオブジェクト] の下に 表示されます。 一意の物体が検出されるたびに、その物体に ID が付けられます。 また、その物体は追跡されます。つまり、検出された物体が再度フレームに表示されないか、モデルによって監視されます。 再度表示されると、その物体のインスタンスに、開始時刻と終了時刻が異なる別のインスタンスが追加されます。

この例では、最初に自動車が検出されたとき、それは最初に検出された物体でもあったので、ID は 1 になりました。 その後、別の自動車が検出されたとき、それは 23 番目に検出された物体でした。したがって、その自動車の ID は 23 になりました。 その後、最初の車が再び表示され、別のインスタンスが JSON に追加されました。 結果の JSON を次に示します。

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

サポート対象のオブジェクト

  • airplane
  • apple
  • リュックサック
  • banana
  • 野球のグローブ
  • ベッド
  • ベンチ
  • 自転車
  • boat
  • 本
  • ボトル
  • Excel
  • ブロッコリー
  • bus
  • ケーキ
  • car
  • ニンジン
  • 携帯電話
  • 椅子
  • clock
  • コンピューターのマウス
  • ソファ
  • cup
  • ダイニング テーブル
  • ドーナツ
  • 消火栓
  • フォーク
  • フリスビー
  • ヘアドライヤー
  • ハンドバッグ
  • ホットドッグ
  • keyboard
  • 凧
  • knife
  • laptop
  • 電子レンジ
  • motorcycle
  • コンピューターのマウス
  • ネクタイ
  • orange
  • oven
  • パーキング メーター
  • pizza
  • 鉢植え
  • sandwich
  • scissors
  • sink
  • スケートボード
  • スキー
  • スノーボード
  • スプーン
  • スポーツのボール
  • 一時停止標識
  • スーツケース
  • サーフボード
  • テディベア
  • テニス ラケット
  • toaster
  • toilet
  • 歯ブラシ
  • 信号機
  • トレーニング
  • 傘
  • 花瓶
  • 武器のクラスについては、特定のクラスノートを参照してください
  • ワイン グラス

制限事項

  • 標準および高度な処理用にフレームあたり最大 20 個の検出があり、クラスあたり 35 トラックがあります。
  • 物体のサイズはフレームの 90% を超えてはなりません。 フレームの大部分に一貫してまたがっている非常に大きなオブジェクトは認識されない場合があります。
  • 小さいオブジェクトやぼやけたオブジェクトは、検出が困難な場合があります。 見逃されたり、誤って分類されたりする可能性があります (ワイングラス、カップ)。
  • 一時的で、ごく少数のフレームに表示されるオブジェクトは認識されない場合があります。
  • 物体検出の精度に影響を与える可能性のあるその他の要因には、低い光条件、カメラの動き、オクルージョンなどがあります。
  • Azure AI Video Indexer では、実際のオブジェクトのみがサポートされます。 アニメーションや CGI はサポートされません。 コンピューターで生成されたグラフィックス (ニュース ステッカーなど) は、奇妙な結果を生み出す可能性があります。
  • 特定のクラス ノートを参照してください。

特定のクラスノート

バインドされた資料

バインダー、パンフレット、その他の筆記資料は、"書籍" として検出される傾向があります。

武器

  • 武器のクラスは、ハンドガンとライフルの外観が含まれています。
  • 暗いオブジェクト (主にぼやけたオブジェクトに限定されません) を持つ手は、武器と混同される可能性があります。
  • 非常に暗い背景の上の武器は見逃すことができます。
  • 低品質のビデオ (解像度、圧縮など) は、モデルが武器を識別する能力に影響する可能性があります。
  • 機械物体(ロボットを含む)や複雑な機械が武器として検出されることがあります。
  • リコール指向タスクの場合、フィルター処理されたトラックは "filtered_tracks" で使用できます。これらのトラックは全体的な信頼度スコアが低く、Azure AI Video Indexer ポータルには表示されません。

物体検出を試す

物体検出は、Web ポータルまたは API を使用して試すことができます。

ビデオがアップロードされると、分析情報を表示できます。 [分析情報] タブでは、検出された物体とそのメイン インスタンスのリストを表示できます。

洞察

[分析情報] タブを選択します。物体は、ビデオ内の出現数が多い順に並んでいます。

[分析情報] タブのインターフェイスのスクリーンショット

タイムライン

[タイムライン] タブを選択します。

[タイムライン] タブのインターフェイスのスクリーンショット

[タイムライン] タブには、検出されたすべてのオブジェクトが外観の時刻に従って表示されます。 特定の検出にカーソルを合わせると、検出の確実性がパーセント表示されます。

選手

検出された物体は、プレーヤーによって自動的に境界ボックスでマークされます。 分析情報ウィンドウから選択された物体は青で強調表示され、物体の種類とシリアル番号も表示されます。

プレーヤーの境界ボックス アイコンを選択して、物体を囲む境界ボックスをフィルター処理します。

オブジェクト フィルタリング アイコン プレーヤー インターフェイスのスクリーンショット

次に、検出された物体のチェック ボックスをオンまたはオフにします。

プレイヤー インターフェイスで検出されたオブジェクトをフィルター処理するオブジェクトのスクリーンショット

[ダウンロード]、[分析情報 (JSON)] の順に選択して、分析情報をダウンロードします。