Azure AI Video Indexer を使用して言語モデルをカスタマイズする

Azure AI Video Indexer は、Microsoft Custom Speech Service との統合を通して自動音声認識をサポートしています。 適応テキストをアップロードすることで、言語モデルをカスタマイズできます。 このテキストは、エンジンが適応するために使用するボキャブラリを持つドメインに由来します。 モデルをトレーニングすると、適応テキストに表示される新しい単語が認識され、既定の発音が想定され、言語モデルは単語の新しい可能性のあるシーケンスを学習します。 サポートされている言語で Azure AI Video Indexer 言語のサポート対象の一覧を参照してください。

たとえば、 "Kubernetes" (Azure Kubernetes サービスのコンテキスト) は、非常に具体的な単語です。 その単語は Azure AI Video Indexer にとって未知のものであるため、"コミュニティ" として認識されます。 モデルをトレーニングして、 "Kubernetes"として認識します。 それ以外の場合は、単語は存在しますが、言語モデルでは、特定のコンテキストで単語が表示されるのを想定していません。 たとえば、 "container service" は、指定されていない言語モデルが特定の単語セットとして認識する 2 単語シーケンスではありません。

言語モデルをカスタマイズする方法は 2 つあります。

• オプション 1: Azure AI Video Indexer によって生成されたトランスクリプトを編集します。 トランスクリプトを編集して修正することで言語モデルをトレーニングし、将来的に改善された結果を提供します。
• オプション 2: テキスト ファイルをアップロードして言語モデルをトレーニングします。 ファイルには、Video Indexer トランスクリプトに表示する単語の一覧、または文や段落に自然に含まれる関連する単語を含めることができます。 後者の方法を使用するとより良い結果が得られるため、アップロード ファイルに、コンテンツに関連する完全な文や段落を含めることをお勧めします。

重要

現在誤って文字起こしされている単語や文 (たとえば、 "コミュニティ") は、意図した影響を否定するため、アップロード ファイルに含めないでください。 含まれるようにしたい単語のみを含めます ("Kubernetes" など)。

カスタム言語モデルを最適化する

Azure AI Video Indexer は、単語の組み合わせの確率に基づいて学習するので、最適な学習を行うには、以下のようにします。

• 実際に話されるとおりの文例を十分に提供します。
• 各行には 1 つの文だけを配置します。多くてはいけません。 そのようにしないと、システムでは複数の文にわたる確率が学習されます。
• 1 つの単語を文として配置し、特定の単語を他の単語よりも優先して学習させてもかまいませんが、システムが最適な学習を行うのは完全な文からです。
• 新しい単語や頭字語を導入するときには、可能であれば、できるだけ多くの使用例を完全な文で提供し、システムにできるだけ多くのコンテキストを提供します。
• いくつかの適応オプションを試して、どのような結果が得られるかを確認します。
• まったく同じ文を複数回繰り返すのは避けてください。 それが、残りの入力に対して偏りを生む可能性があります。
• 一般的でないシンボル (~、# @ % > は破棄されるため) を含めないでください。 それらが出現する文も破棄されます。
• 数十万の文など、大きすぎる入力を供給するとブースティングの効果が薄まるため、そうしないようにします。

前提条件

• Azure アカウント
• Azure AI Video Indexer アカウント

Web ポータル

言語モデルを作成する

1. Azure AI Video Indexer の Web サイトに移動してサインインします。
2. アカウント内のモデルをカスタマイズするには、ページの左にある [コンテンツ モデルのカスタマイズ] ボタンを選択します。
3. Language タブを選択します。サポートされている言語の一覧が表示されます。
4. 目的の言語の下で、[モデルを追加] を選択します。
5. 言語モデルの名前を入力し、Enter キーを押します。 この手順によってモデルが作成され、モデルにテキスト ファイルをアップロードするオプションが提供されます。
6. テキスト ファイルを追加するには、[ファイルの追加] を選択します。 ファイル エクスプローラーが開かれます。
7. テキスト ファイルの場所に移動し、ファイルを選択します。 1 つの言語モデルに複数のテキスト ファイルを追加できます。 言語モデルの右側にある [ ... ] ボタンを選択し、[ファイルの追加] を選択して、テキスト ファイル 追加することもできます。
8. テキスト ファイルのアップロードが完了したら、緑色の [トレーニング] オプションを選択します。

トレーニング プロセスには数分かかることがあります。 トレーニングが完了すると、モデルの横に Trained が表示されます。 ユーザーは、モデル内のファイルをプレビュー、ダウンロード、削除することができます。

新しいビデオでの言語モデルの使用

新しいビデオで言語モデルを使用するには、次のいずれかの操作を行います。

1. ページ上部の [アップロード] ボタンを選択します。
2. オーディオまたはビデオ ファイルをドロップするか、ファイルを参照します。
3. Video ソース言語ドロップダウン リストから作成した言語モデルを選択します。
4. ページ下部の [アップロード] オプションを選択すると、その言語モデルを使用して、新しいビデオにインデックスが作成されます。

言語モデルを使用してインデックスを再作成する

1. Azure AI Video Indexer のホーム ページにサインインします。
2. ビデオの [...] ボタンをクリックし、[インデックスの再作成] を選択します。
3. Video ソース言語ドロップダウンを選択し、一覧から作成した言語モデルを選択します。
4. Re-index ボタンを選択すると、言語モデルを使用してビデオのインデックスが再作成されます。

言語モデルを編集する

言語モデルを編集するには、その名前を変更し、それにファイルを追加し、そこからファイルを削除します。 言語モデルからファイルを追加または削除する場合は、緑色の Train オプションを選択して、モデルをもう一度トレーニングする必要があります。

言語モデルの名前を変更する

言語モデルの名前を変更するには、言語モデルの右側にある省略記号 (...) ボタンを選択し、 Renameを選択します。 新しい名前を入力します。

ファイルの追加

1. [ファイルの追加] を選択します。 ファイル エクスプローラーが開かれます。
2. テキスト ファイルの場所に移動し、ファイルを選択します。 1 つの言語モデルに複数のテキスト ファイルを追加できます。

テキスト ファイルを追加するには、言語モデルの右側にある省略記号 (...) ボタンを選択し、 ファイルの追加を選択します。

ファイルを削除する

このアクションにより、言語モデルからファイルが完全に削除されます。

1. テキスト ファイルの右側にある省略記号 (...) ボタンを選択します。
2. [削除] を選択します。 新しいウィンドウが開き、削除は元に戻せないというメッセージが表示されます。
3. 新しいウィンドウで [削除] オプションを選択します。

言語モデルを削除する

この操作により、言語モデルがアカウントから完全に削除されます。 deletedlLanguage モデルを使用していたビデオは、ビデオのインデックスを再作成するまで同じインデックスを保持します。 ビデオのインデックスを再作成する場合は、ビデオに新しい言語モデルを割り当てることができます。 それ以外の場合、Azure AI Video Indexer では既定のモデルを使用して、ビデオのインデックスが再作成されます。

1. 言語モデルの右側にある省略記号 (...) ボタンを選択します。
2. [削除] を選択します。 新しいウィンドウが開き、削除は元に戻せないというメッセージが表示されます。
3. 新しいウィンドウで [削除] オプションを選択します。

トランスクリプトを修正して言語モデルをカスタマイズする

Azure AI Video Indexer は、ユーザーがビデオの文字起こしに対して行った実際の修正に基づいて言語モデルをカスタマイズします。 ビデオの文字起こしで修正したすべての行がキャプチャされ、 From transcript editsというテキスト ファイルに追加されます。 これらの編集は、ビデオのインデックス作成に使用された言語モデルを再トレーニングするために使用されます。

widget のタイムラインで行われた編集も含まれます。

このビデオのインデックス作成時に言語モデルを指定しなかった場合、このビデオのすべての編集は、検出されたビデオの言語内で Account adaptations という既定の言語モデルに格納されます。

同じ行に対して複数の編集が行われた場合、言語モデルの更新には、修正された行の最後のバージョンのみが使用されます。

Note

カスタマイズに使用されるのは、テキストの変更のみです。 実際の単語に関係しない変更 (句読点やスペースなど) は含められません。

1. ライブラリから編集するビデオを選択します。
2. [タイムライン] タブを選択します。
3. 鉛筆アイコンを選択して、文字起こしのトランスクリプトを編集します。
4. トランスクリプトの修正は、[Conテント モードl カスタマイズ] ページの [Language タブに表示されます。 自分の各言語モデルの "From transcript edits" ファイルを確認するには、そのファイルを選択して開きます。

API

言語モデルを作成する

Create 言語モデル要求は、指定されたアカウントの新しいカスタム言語モデルを作成します。 この要求を使用して、言語モデルのファイルをアップロードできます。 または、ここで言語モデルを作成し、後で言語モデルを更新してモデルのファイルをアップロードすることもできます。

必要なパラメーターの値を指定するだけでなく、FormData を使用して本文にファイルをアップロードする必要があります。 このタスクのキー ペアを定義するには、次の 2 つの方法があります。

1. キーはファイル名で、値は txt ファイルです。
2. キーはファイル名で、値は txt ファイルへの URL です。

Note

いずれの場合も、モデル用の対応ファイルでモデルをトレーニングし、ファイルのコンテンツを学習させる必要があります。

応答の例

{
    "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
    "name": "TestModel",
    "language": "En-US",
    "state": "None",
    "languageModelId": "00000000-0000-0000-0000-000000000000",
    "files": [
    {
        "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.6733333"
    },
    {
        "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
        "name": "worldfile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.86"
    }
    ]
}

言語モデルをトレーニングする

Train Language Model 要求は、言語モデルでアップロードされ、有効になっているファイルの内容を使用して、指定されたアカウントのカスタム言語モデルをトレーニングします。

Note

最初に言語モデルを作成し、そのファイルをアップロードする必要があります。 言語モデルを作成するとき、または言語モデルを更新することで、ファイルをアップロードできます。

応答の例

{
    "id": "41464adf-e432-42b1-8e09-f52905d7e29d",
    "name": "TestModel",
    "language": "En-US",
    "state": "Waiting",
    "languageModelId": "531e5745-681d-4e1d-b124-12e5ab57a891",
    "files": [
    {
        "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
        "name": "RenamedFile",
        "enable": false,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.5233333"
    },
    {
        "id": "9ac35b4b-1381-49c4-9fe4-8234bfdd0f50",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.68"
    }
    ]
}

idは言語モデルを区別するために使用される一意の ID ですが、languageModelIdは、ビデオのインデックス作成ビデオ要求のインデックス作成 (Azure AI Video Indexer のアップロード/インデックス再作成要求のlinguisticModelIdとも呼ばれます) の 両方に使用されます。

言語モデルを削除する

Delete 言語モデル要求は、指定されたアカウントからカスタム言語モデルを削除します。 削除された言語モデルを使用していたすべてのビデオでは、ユーザーがビデオのインデックスを再作成するまで同じインデックスが保持されます。 ビデオのインデックスを再作成すると、ビデオに新しい言語モデルを割り当てることができます。 それ以外の場合、Azure AI Video Indexer では既定のモデルを使用して、ビデオのインデックスが再作成されます。

応答の例

言語モデルが正常に削除された場合、返されるコンテンツはありません。

言語モデルを更新する

Update 言語モデル要求は、指定されたアカウントのカスタム言語ユーザー モデルを更新します。

Note

言語モデルを既に作成している必要があります。 この呼び出しは、モデルの配下にあるすべてのファイルを有効または無効にしたり、言語モデルの名前を更新したり、言語モデルに追加するファイルをアップロードしたりするために使用できます。

言語モデルに追加するファイルをアップロードするには、上記の必須パラメーターの値を指定するだけでなく、FormData を使用して本文にファイルをアップロードする必要があります。 このタスクを行うには 2 つの方法があります。

• キーはファイル名で、値は txt ファイルです。
• キーはファイル名で、値は txt ファイルへの URL です。

応答の例

{
    "id": "41464adf-e432-42b1-8e09-f52905d7e29d",
    "name": "TestModel",
    "language": "En-US",
    "state": "Waiting",
    "languageModelId": "531e5745-681d-4e1d-b124-12e5ab57a891",
    "files": [
    {
        "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
        "name": "RenamedFile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.5233333"
    },
    {
        "id": "9ac35b4b-1381-49c4-9fe4-8234bfdd0f50",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.68"
    }
    ]
}

応答で返されたファイルの id を使用して、ファイルのコンテンツをダウンロードします。

言語モデルからファイルを更新する

Update 言語モデル ファイル要求を使用すると、指定したアカウントのカスタム言語モデルのファイルの名前とenable状態を更新できます。

応答の例

{
  "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
  "name": "RenamedFile",
  "enable": false,
  "creator": "John Doe",
  "creationTime": "2018-04-27T20:10:10.5233333"
}

応答で返されたファイルの id を使用して、ファイルのコンテンツをダウンロードします。

特定の言語モデルを取得する

Get 言語モデル要求は、言語や言語モデル内のファイルなど、指定されたアカウント内の指定された言語モデルに関する情報を返します。

応答の例

{
    "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
    "name": "TestModel",
    "language": "En-US",
    "state": "None",
    "languageModelId": "00000000-0000-0000-0000-000000000000",
    "files": [
    {
        "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.6733333"
    },
    {
        "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
        "name": "worldfile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.86"
    }
    ]
}

応答で返されたファイルの id を使用して、ファイルのコンテンツをダウンロードします。

すべての言語モデルを取得する

Get 言語モデル要求は、リスト内の指定されたアカウント内のすべてのカスタム言語モデルを返します。

応答の例

[
    {
        "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
        "name": "TestModel",
        "language": "En-US",
        "state": "None",
        "languageModelId": "00000000-0000-0000-0000-000000000000",
        "files": [
        {
            "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
            "name": "hellofile",
            "enable": true,
            "creator": "John Doe",
            "creationTime": "2018-04-28T11:55:34.6733333"
        },
        {
            "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
            "name": "worldfile",
            "enable": true,
            "creator": "John Doe",
            "creationTime": "2018-04-28T11:55:34.86"
        }
        ]
    },
    {
        "id": "dfae5745-6f1d-4edd-b224-42e1ab57a892",
        "name": "AnotherTestModel",
        "language": "En-US",
        "state": "None",
        "languageModelId": "00000000-0000-0000-0000-000000000001",
        "files": []
    }
]

言語モデルからファイルを削除する

Delete 言語モデル ファイル要求は、指定したアカウント内の指定した言語モデルから指定したファイルを削除します。

応答の例

言語モデルからファイルが正常に削除された場合、返されるコンテンツはありません。

言語モデルからファイルのメタデータを取得する

Get 言語モデル ファイル データ要求は、アカウントで選択した言語モデルから、指定したファイルの内容とメタデータを返します。

応答の例

{
    "content": "hello\r\nworld",
    "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
    "name": "Hello",
    "enable": true,
    "creator": "John Doe",
    "creationTime": "2018-04-27T20:10:10.5233333"
}

Note

このサンプル ファイルの内容は、2 行の "hello" と "world" という単語です。

言語モデルからファイルをダウンロードする

言語モデル ファイルコンテンツのダウンロード要求は、指定されたアカウントの指定された言語モデルから、指定したファイルの内容を含むテキスト ファイルをダウンロードします。 このテキスト ファイルは、最初にアップロードされたテキスト ファイルのコンテンツと一致します。

応答の例

応答では、ファイルのコンテンツを含んだテキスト ファイルが JSON 形式でダウンロードされます。