Azure AI Video Indexer とは?
重要
Azure Media Services の廃止に関するお知らせに続いて、Azure Video Indexer は 6 月のリリース ノートに関するお知らせを行います。
また、関連する AMS の非推奨に関する FAQ も確認してください。
注意
2020 年 6 月 11 日に、Microsoft は、人権に基づく厳格な法令が制定されない限り、米国内の警察に顔認識テクノロジを販売しないことを発表しました。 そのため、顔認識機能または Face や Video Indexer などの Azure AI サービスに含まれる機能は、お客様が米国内の警察組織である場合や、警察による、あるいは警察のためのそのようなサービスの使用を許可している場合、使用することができません。
注意
責任ある AI の原則をサポートするために、顔識別、カスタマイズ、および著名人認識機能のアクセスは、適格性と使用基準に基づいて制限されています。 顔識別、カスタマイズ、および著名人認識機能は、Microsoft が管理するお客様とパートナーのみが利用できます。 顔認識受付フォームを使用して利用申請を行ってください。
Azure AI Video Indexer は、Azure Media Services と Azure AI Services (Face、Translator、Azure AI Vision、Speech など) の上に構築された Azure AI サービスの一部であるクラウド アプリケーションです。 これによって Azure AI Video Indexer のビデオおよびオーディオ モデルを使用して、ビデオから分析情報を抽出することが可能になります。
Azure AI Video Indexer は、30 個以上の AI モデルを実行することでビデオおよびオーディオ コンテンツを分析し、豊富な分析情報を生成します。 以下の図は、Azure AI Video Indexer によってバックグラウンドで実行されるオーディオとビデオの分析を示しています:
Azure AI Video Indexer を使用して分析情報の抽出を開始するには、以下の「作業の開始方法」セクションを参照してください。
Azure AI Video Indexer を使用して何ができますか?
Azure AI Video Indexer の分析情報は多くのシナリオに適用できます。その一部を以下に示します。
- ディープ検索: ビデオから抽出された分析情報を使用して、ビデオ ライブラリ全体での検索エクスペリエンスを強化します。 たとえば、話されている語句と顔にインデックスを作成すると、人物が特定の単語をいつ話したかや、2 人の人物がいつ会っていたかを検索できるようになります。 ビデオからのこのような分析情報に基づいた検索は、通信社、教育機関、放送局、エンターテイメント コンテンツの所有者、エンタープライズ LOB アプリにとって利用価値があり、一般には、ユーザーが検索の対象にするビデオ ライブラリを保有するすべての業界が対象になります。
- コンテンツ作成: Azure AI Video Indexer がコンテンツから抽出する分析情報に基づいて、トレーラー、ハイライト リール、ソーシャル メディア コンテンツまたはニュース クリップを作成します。 人物とラベルの外観用のキーフレーム、シーン マーカー、タイムスタンプにより、作成プロセスがより円滑で簡単になり、コンテンツの作成中に必要なビデオの部分に容易にアクセスできるようになります。
- アクセシビリティ: コンテンツを障碍のある人々が利用できるようにしたい場合や、コンテンツをさまざまな言語を使用してさまざまなリージョンに配布したい場合には、Azure AI Video Indexer によって複数の言語で提供される文字起こしと翻訳が使用できます。
- 収益化: Azure AI Video Indexer は、ビデオの価値の向上に役立ちます。 たとえば、広告収入に依存している業界 (ニュース メディア、ソーシャル メディアなど) では、抽出した分析情報を広告サーバーへの追加のシグナルとして利用することで、関連広告を提供できます。
- コンテンツ モデレーション: テキストとビジュアルのコンテンツ モデレーション モデルを使用して、不適切なコンテンツからユーザーの安全を維持し、公開したコンテンツが組織の値と一致することを検証します。 コンテンツに関して、特定のビデオを自動的にブロックしたり、ユーザーに通知したりすることができます。
- 推奨事項:ビデオの分析情報は、ユーザーに関連のあるビデオ モーメントを強調表示することで、ユーザー エンゲージメントを向上させるために使用できます。 各ビデオに追加のメタデータをタグ付けすることで、ユーザーに最も関連性の高いビデオを推奨し、ニーズに合うビデオの部分を強調表示することができます。
ビデオ/オーディオの AI 機能
次の一覧は、Azure AI Video Indexer のビデオおよびオーディオの AI 機能 (モデル) を使用して、ビデオまたはオーディオ ファイルから取得できる分析情報を示しています。
特に指定がない限り、モデルは一般提供されます。
ビデオ モデル
顔検出:ビデオに表示される顔を検出し、グループ化します。
著名人の識別: 世界中のリーダー、俳優、アーティスト、アスリート、研究者、ビジネス リーダー、技術リーダーなど、100 万人を超える著名人を識別します。 これらの著名人に関するデータは、さまざまな Web サイト (IMDB、Wikipedia など) でも見つけることができます。
アカウントベースの顔識別: 特定のアカウントのモデルをトレーニングします。 その後、トレーニングされたモデルに基づいてビデオ内の顔を認識します。 詳細については、「Azure AI Video Indexer の Web サイトからの人物モデルのカスタマイズ」と「Azure AI Video Indexer API を使用した人物モデルのカスタマイズ」を参照してください。
顔のサムネイルの抽出: 顔の各グループでキャプチャされた最適な顔を (品質、サイズ、正面位置に基づいて) 識別し、それをイメージ アセットとして抽出します。
光学式文字認識 (OCR): メディア ファイル内の写真、道路標識、商品などの画像からテキストを抽出し、分析情報を作成します。
ビジュアル コンテンツ モデレーション:成人向けやわいせつなビジュアルを検出します。
ラベルの識別:表示されるビジュアル オブジェクトとアクションを識別します。
シーンのセグメント化: 視覚的な手掛かりに基づいて、ビデオ内でシーンが変化するタイミングを決定します。シーンは単一のイベントを表し、意味的に関連する一連の連続したショットで構成されます。
ショット検出:視覚的な手掛かりに基づいて、ビデオ内のショットが変化するタイミングを決定します。ショットは、同じ動画カメラから撮影された一連のフレームです。 詳細については、「Scenes, shots, and keyframes」(シーン、ショット、キーフレーム) を参照してください。
黒フレームの検出:ビデオに表示された黒フレームを識別します。
キーフレームの抽出:ビデオ内の安定したキーフレームを検出します。
ローリング クレジット: テレビ番組や映画の終わりにあるローリング クレジットの始まりと終わりを識別します。
編集ショット タイプの検出: タイプに基づいてショットをタグ付けします (ワイド ショット、ミディアム ショット、クローズアップ、エクストリーム クローズアップ、2 ショット、複数の人物、屋外、室内など)。 詳細については、「編集ショット タイプの検出」を参照してください。
観察対象人物の追跡 (プレビュー): ビデオ内の観察対象人物を検出し、ビデオ フレーム内の人物の位置情報 (境界ボックス使用) や、正確なタイムスタンプ (開始、終了)、人物が表示されたときの信頼度などの情報を提供します。 詳細については、「Trace observed people in a video」(ビデオ内で確認されたユーザーを追跡する)を参照してください。
- 検出された人物の衣服 (プレビュー): ビデオに登場する人の衣服の種類を検出し、長袖または半袖、長ズボンまたは半ズボン、スカートまたはワンピースなどの情報を提供します。 検出された衣服はそれを着ている人に関連付けられ、正確なタイムスタンプ (開始、終了) と検出の信頼度が提供されます。 詳細については、検出された衣服に関する記事を参照してください。
- 特徴化した衣服 (プレビュー): ビデオに出現する特徴化した衣服の画像をキャプチャします。 特徴化した衣服の分析情報を利用して、ターゲット広告を改善することができます。 特徴化した衣服の画像のランク付けと分析情報の取得方法については、特徴化した衣服に関する記事を参照してください。
一致した人物 (プレビュー): ビデオ内の観察対象人物と、検出された対応する顔を照合します。 観察された人物と顔との照合には、信頼レベルが含まれます。
スレート検出 （プレビュー）：高度なインデックス作成オプションを使用してビデオのインデックスを作成すると、次の映画の制作後の分析情報が指定されます:
- メタデータ抽出によるカチンコの検出。
- カラー バーを含むデジタル パターン検出。
- シーン マッチングを含むテキストレス スレート検出。
詳細については、スレート検出に関する記事を参照してください。
テキスト ロゴ検出 (プレビュー): Azure AI Video Indexer OCR を使用して、事前に定義された特定のテキストとの照合を行います。 たとえば、ユーザーが "Microsoft" というテキスト ロゴを作成した場合、外観が異なる Microsoft という単語が "Microsoft" ロゴとして検出されます。 詳細については、「テキスト ロゴを検出する」を参照してください。
オーディオ モデル
音声の文字起こし: 50 を超える言語で音声をテキストに変換します。拡張機能を使用できます。 詳細については、「Azure AI Video Indexer の言語サポート」を参照してください。
自動言語検出: 主要な音声言葉を識別します。 詳細については、「Azure AI Video Indexer の言語サポート」を参照してください。 言語を確実に識別できない場合、Azure AI Video Indexer は音声言語が英語であると想定します。 詳細については、言語識別モデルに関する記事を参照してください。
複数言語の音声識別と文字起こし: 音声からさまざまな区分にある音声言語を識別します。 書き起こされるようにメディア ファイルの各セグメントを送信した後、文字起こしが 1 つの統合された文字起こしに結合されます。 詳細については、「複数言語のコンテンツを自動的に識別および文字起こしする」を参照してください。
字幕:VTT、TML、SRT という 3 つの形式で字幕を作成します。
2 チャネル処理:個別のトランスクリプトを自動検出し、1 つのタイムラインに結合します。
ノイズリダクション:(Skype フィルターに基づいて) テレフォニー音声やノイズの多い録音を明瞭にします。
トランスクリプトのカスタマイズ (CRIS):音声テキスト変換のカスタム モデルをトレーニングして、業界固有のトランスクリプトを作成します。 詳細については、「Azure AI Video Indexer の Web サイトからの言語モデルのカスタマイズ」と「Azure AI Video Indexer API を使用した言語モデルのカスタマイズ」を参照してください。
話者の列挙:どの話者がどの言葉をいつ話したかをマップして認識します。 16 人の話者を 1 つの音声ファイルで検出できます。
話者の統計情報:話者の音声率の統計情報を提供します。
テキストのコンテンツ モデレーション:音声トランスクリプト内の明示的なテキストを検出します。
テキストベースの感情検出: トランスクリプト分析によって検出された喜び、悲しみ、怒り、恐怖などの感情。
翻訳: 音声トランスクリプトの、多くの異なる言語への翻訳を作成します。 詳細については、「Azure AI Video Indexer の言語サポート」を参照してください。
オーディオ効果検出 (プレビュー): コンテンツの非音声セグメントで以下の音声効果を検出します。警報、サイレン、犬の鳴き声、観衆の反応 (歓声、拍手、ブーイング)、銃声や爆発、笑い声、ガラスの破砕音、沈黙。
検出される音響イベントはクローズド キャプション ファイルにあります。 このファイルは、Azure AI Video Indexer の Web サイトからダウンロードできます。 詳細については、「オーディオ効果の検出」を参照してください。
Note
イベントの完全なセットは、アップロード プリセットでファイルをアップロードするときに高度な音声分析を選択した場合にのみ使用できます。 既定では、無音のみが検出されます。
オーディオとビデオのモデル (マルチチャンネル)
1 つのチャンネルでインデックスを付けるときは、これらのモデルの部分的な結果を利用できます。
- キーワードの抽出:音声と視覚テキストからキーワードを抽出します。
- 名前付きエンティティの抽出:自然言語処理 (NLP) を使用して、音声および視覚テキストからブランド、場所、および人物を抽出します。
- トピックの推定: さまざまなキーワードに基づいて、トピックを抽出します (つまり、"証券取引"、"ウォール街" というキーワードから "経済" というトピックが生成されます)。 このモデルでは、3 つの異なるオントロジー (IPTC、Wikipedia、および Video Indexer の階層型トピック オントロジー) を使用します。 このモデルでは、文字起こし (話し言葉)、OCR コンテンツ (ビジュアル テキスト)、および Video Indexer の顔認識モデルを使用してビデオで認識された著名人を使用します。
- 成果物:各モデルについて、"次のレベルの詳細情報" 成果物の豊富なセットを抽出します。
- センチメント分析:音声と視覚テキストから、ポジティブ、ネガティブ、ニュートラルのセンチメントを識別します。
Azure AI Video Indexer の使用を開始するにはどうすればよいですか?
Azure AI Video Indexer の使用を開始する方法を説明します。
設定したら、分析情報の使用を開始し、他のハウツー ガイドを確認してください。
コンプライアンス、プライバシー、セキュリティ
重要な注意事項として、Azure AI Video Indexer の使用においては該当するすべての法律を遵守する必要があります。また、他の人の権利を侵害したり、他の人に害を及ぼしたりする可能性のある方法で Azure AI Video Indexer や何らかの Azure サービスを使用することはできません。
Azure AI Video Indexer にビデオまたは画像をアップロードするには、そのビデオまたは画像を使用するための適切な権限をすべて取得している必要があります。これには、法律で義務づけられるところにより、ビデオまたは画像に含まれる人物 (そのような人物が存在する場合) からの、Azure AI Video Indexer および Azure におけるデータの使用、処理、保存のために必要なすべての同意が含まれます。 一部の法的管轄区域では、生体認証データなどの特定のカテゴリのデータの収集、オンライン処理、および保管に関して特別な法的要件が課せられる場合があります。 特別な法的要件の対象となる何らかのデータの処理と保管のために Azure AI Video Indexer と Azure を使用するには、自分に適用される可能性のあるそのような法的要件のすべてに準拠していることを確認する必要があります。
Azure AI Video Indexer のコンプライアンス、プライバシー、およびセキュリティについて確認するには、Microsoft Trust Center にアクセスしてください。 Microsoft のプライバシー義務、データの取り扱いと保持の慣行 (データの削除方法など) については、Microsoft のプライバシー ステートメント、オンライン サービス規約 ("OST")、およびデータ処理の補遺 ("DPA") に関するページをご確認ください。 Azure AI Video Indexer を使用することによって、OST、DPA およびプライバシーに関する声明に従うことに同意したことになります。
次の手順
これで、Azure AI Video Indexer の使用を開始する準備ができました。 詳細については、次の記事を参照してください。
- インデックス作成の構成ガイド
- 料金
- Azure AI Video Indexer の Web サイトの使用を開始する。
- Azure AI Video Indexer REST API を使用してコンテンツを処理する。
- アプリケーションにビジュアル ウィジェットを埋め込む。
最新の更新については、「Azure AI Video Indexer リリース ノート」を参照してください。