この記事では、Foundry Tools のテキスト読み上げで、Azure Speech によって提供されたデータがどのように処理、使用、格納されるかについて詳しく説明します。 重要な注意点として、お客様はこの技術の使用と実装に責任を負い、音声およびアバターの権利者（該当する場合は、個人の音声統合のユーザーを含む）から、音声、画像、肖像権、およびその他のデータを処理して合成音声やアバターを開発するための必要なすべての許可を取得する必要があります。
また、テキスト読み上げサービスに入力したコンテンツがオーディオ、画像、ビデオ出力を生成するために必要なライセンス、アクセス許可、またはその他の権利を取得する責任もあります。 一部の管轄区域では、生体認証データなどの特定のカテゴリのデータの収集、処理、保存に関する特別な法的要件を課し、合成音声、画像、ビデオの使用をユーザーに開示することを義務付ける場合があります。 テキスト読み上げを使用してあらゆる種類のデータを処理および格納し、必要に応じてカスタム ニューラル音声、個人用音声、またはカスタムアバター モデルを作成する前に、自分に適用されるすべての法的要件に準拠していることを確認する必要があります。
テキスト読み上げサービスで処理されるデータ
-
音声合成用のテキスト入力。 これは、事前構築済みのニューラル音声のセットを使用してオーディオ出力を生成したり、事前構築済みのニューラル音声またはカスタム ニューラル音声から生成されたオーディオを発声する事前構築済みのアバターを生成したりするために、選択してテキストを音声サービスに送信するテキストです。
録音された声優用承認ステートメントファイル。 お客様は、音声タレントが声を使用して合成音声を作成することに同意していることを確認する、特定の録音されたステートメントをアップロードする必要があります。
注
録音スクリプトを準備するときは、ボイス タレントが録音するために必要な受信確認ステートメントを含めるようにしてください。 このステートメントは複数の言語hereで確認できます。 受信確認ステートメントの言語は、オーディオ録音トレーニング データの言語と同じである必要があります。
トレーニング データ (オーディオ ファイルと関連するテキスト トランスクリプトを含む)。 これには、モデル トレーニングに音声を使用することに同意した音声タレントからの音声録音と、関連するテキスト トランスクリプトが含まれます。 カスタム ニューラル音声プロ プロジェクトでは、オーディオの独自のテキスト文字起こしを提供したり、Speech Studio 内で利用できる自動音声認識文字起こし機能を使用してオーディオのテキスト文字起こしを生成したりできます。 音声録音とテキスト文字起こしファイルの両方が、音声モデルのトレーニング データとして使用されます。 カスタム ニューラル音声ライト プロジェクトでは、Speech Studio で Microsoft が定義したスクリプトを話す音声を録音するように求められます。 テキスト トランスクリプトは、個人の音声機能には必要ありません。
テスト スクリプトとしてのテキスト。 音声合成オーディオ サンプルを生成することで、独自のテキスト ベースのスクリプトをアップロードして、カスタム ニューラル音声モデルの品質を評価およびテストできます。 これは、個人の音声機能には適用されません。
音声合成用のテキスト入力。 これは、カスタム ニューラル音声を使用してオーディオ出力を生成するために、選択してテキストを音声サービスに送信するテキストです。
アバタータレント承認ステートメントファイルを記録しました。 お客様は、アバター タレントが話す特定のビデオ録画ステートメントをアップロードする必要があります。このステートメントでは、自分の声と画像を使用してアバター モデルを作成することを確認します。
注
ビデオ録画計画を立てるときは、アバターのタレントが記録するために必要な受信確認文を含めるようにしてください。 このステートメントは複数の言語hereで確認できます。 受信確認ステートメントの言語は、ビデオ記録トレーニング データの言語と同じである必要があります。
受信確認ステートメントのビデオは、ビデオ録画トレーニング データと同じ状態 (記録環境、アバター タレント服など) である必要はありませんが、アクターの顔を完全に公開し、オクルージョンなしで行う必要があります。
トレーニング データ (オーディオ ファイルや画像/ビデオ ファイルを含む)。 これには、モデルトレーニングに画像と音声を使用することに同意したアバタータレントからのビデオとオーディオの録音が含まれます。 ビデオ内のオーディオのテキスト文字起こしは必要ありません。
テスト スクリプトとしてのテキスト。 合成アバター ビデオ サンプルを生成することで、独自のテキスト ベースのスクリプトをアップロードして、カスタム アバター モデルの品質を評価およびテストできます。
音声合成用のテキスト入力。 これは、カスタム アバターを使用してオーディオとビデオの出力を生成するために、選択してテキストを音声サービスに送信するテキストです。
テキスト読み上げサービスでデータを処理する方法
あらかじめ構築されたニューラル音声
次の図は、事前構築済みのニューラル音声を使用した合成のためにデータがどのように処理されるかを示しています。 入力はテキストで、出力はオーディオです。 入力テキストも出力オーディオ コンテンツも、Microsoft ログには格納しません。
カスタム ニューラル音声
次の図は、カスタム ニューラル音声のデータがどのように処理されるかを示しています。 この図では、3 種類の処理について説明します。カスタム ニューラル音声モデルトレーニングの前に、Microsoft が音声タレントの記録された受信確認ステートメント ファイルを検証する方法、Microsoft がトレーニング データを使用してカスタム ニューラル音声モデルを作成する方法、テキスト読み上げでテキスト入力を処理してオーディオ コンテンツを生成する方法です。
テキスト読み上げ機能付きアバター
次の図は、事前構築済みのテキスト読み上げアバターを使用した合成のためにデータがどのように処理されるかを示しています。 アバター コンテンツ生成ワークフローには、テキスト アナライザー、TTS オーディオ シンセサイザー、TTS アバター ビデオ シンセサイザーの 3 つのコンポーネントがあります。 アバター ビデオを生成するために、テキストは最初にテキスト アナライザーに入力され、音素シーケンスの形式で出力が提供されます。 次に、TTS オーディオ シンセサイザーは、入力テキストの音響機能を予測し、音声を合成します。 これら 2 つの部分は、テキスト読み上げ音声モデルによって提供されます。 次に、ニューラルテキスト読み上げアバターモデルは、音響特徴を用いてリップシンクの画像を予測し、合成ビデオを生成します。
ビデオの翻訳
次の図は、ビデオ翻訳でデータがどのように処理されるかを示しています。 顧客はビデオ翻訳の入力としてビデオをアップロードし、ダイアログオーディオが抽出され、音声からテキストへの音声がテキストコンテンツに文字起こしされます。 その後、テキスト コンテンツがターゲット言語コンテンツに翻訳され、テキスト読み上げ機能を使用して、翻訳されたオーディオがビデオ出力として元のビデオ コンテンツとマージされます。
事前構築済みの音声またはアバター用の追加セクションはありません。
記録された受信確認ステートメントの検証
Microsoft では、お客様が音声を使用して合成音声を作成することを確認する音声タレントの録音されたステートメントを含むオーディオ ファイルを Speech Studio にアップロードする必要があります。 Microsoft は、 Microsoft の音声テキスト変換および音声認識 テクノロジを使用して、この記録された受信確認ステートメントをテキストに文字起こしし、記録の内容が Microsoft が提供する事前に定義されたスクリプトと一致することを確認する場合があります。 この受信確認ステートメントと、音声で提供したタレント情報は、音声タレント プロファイルの作成に使用されます。 カスタム ニューラル音声トレーニングを開始するときは、トレーニング データを関連する音声タレント プロファイルに関連付ける必要があります。
また、Microsoft は、音声タレントの記録された受信確認ステートメント ファイルとトレーニング データセットのランダム化された音声からの生体認証音声署名を処理して、受信確認ステートメントの記録の音声署名とトレーニング データの録音が、Azure AI Speaker Verification を使用して妥当な信頼度と一致することを確認する場合があります。 音声署名は、"音声テンプレート" または "ボイスプリント" とも呼ばれ、話している人の音声録音から抽出される個人の音声特性を表す数値ベクトルです。 この技術的セーフガードは、カスタム ニューラル音声の誤用を防ぐことを目的としています。たとえば、ユーザーが音声録音で音声モデルをトレーニングするのを防ぎ、モデルを使用して、ユーザーの知識や同意なしに人の声を偽装することを防ぎます。
音声署名は、話者の検証の目的、またはサービスの悪用を調査するために必要な目的でのみ、Microsoft によって使用されます。
Microsoft Products and Services Data Protection Addendum ("DPA") は、Azureに関連する顧客データと個人データの処理とセキュリティに関するお客様と Microsoft の義務を定め、Azure サービスに関するお客様のエンタープライズ契約に参照によって組み込まれます。 このセクションの Microsoft のデータ処理は、データ保護補遺の正当な利益ビジネス運用セクションに適用されます。
カスタム ニューラル音声モデルのトレーニング
Speech Studio に送信されるトレーニング データ (音声オーディオ) は、データ形式のチェック、発音スコアリング、ノイズ検出、スクリプト マッピングなど、品質チェック用の自動化されたツールを使用して前処理されます。その後、トレーニング データがカスタム音声プラットフォームのモデル トレーニング コンポーネントにインポートされます。 トレーニング プロセス中に、トレーニング データ (音声オーディオとテキストの文字起こしの両方) は、音声音響とテキストの詳細なマッピング (音素のシーケンスなど) に分解されます。 さらに複雑なマシンリーン モデリングを通じて、サービスは音声モデルを構築します。このモデルを使用して、音声タレントに似た音声を生成し、トレーニング データの記録とは異なる言語で生成することもできます。 音声モデルは、特定のスピーカーの固有の声の特性を模倣できるテキスト読み上げコンピューター モデルです。 人間が判読できず、オーディオ録音を含まないバイナリ形式のパラメーターのセットを表します。
顧客のトレーニング データは、その顧客のカスタム音声モデルの開発にのみ使用され、Microsoft が Microsoft のテキスト読み上げ音声モデルをトレーニングまたは改善するために使用されることはありません。
音声合成/オーディオ コンテンツ生成
音声モデルを作成したら、それを使用して、2 つの異なるオプションを使用してテキスト読み上げサービスを通じてオーディオ コンテンツを作成できます。
リアルタイム音声合成では、入力テキストを TTS SDK または RESTful API 経由で音声合成サービスに送信します。 テキスト読み上げでは、入力テキストが処理され、要求を行ったアプリケーションに出力オーディオ コンテンツ ファイルがリアルタイムで返されます。
長いオーディオの非同期合成 (バッチ合成) の場合は、 Long Audio API を使用して入力テキスト ファイルを音声バッチ サービスに送信し、10 分を超えるオーディオ (オーディオ ブックや講義など) を非同期的に作成します。 テキスト読み上げ API を使用して実行される合成とは異なり、長いオーディオ API では応答がリアルタイムで返されません。 オーディオは非同期的に作成され、合成されたオーディオ ファイルにアクセスして、バッチ合成サービスから使用可能になったときにダウンロードできます。
カスタム音声モデルを使用して、コードなしの Audio コンテンツ作成ツールを使用してオーディオ コンテンツを生成し、ツールを使用してテキスト入力または出力オーディオ コンテンツをAzureストレージに保存することもできます。
カスタム ニューラル音声ライトのデータ処理 (プレビュー)
カスタム ニューラル音声ライトは、パブリック プレビューのプロジェクトの種類であり、Speech Studio で 20 から 50 個の音声サンプルを記録し、デモンストレーションと評価のために軽量のカスタム ニューラル音声モデルを作成できます。 記録スクリプトとテスト スクリプトの両方が、Microsoft によって事前に定義されています。 カスタム ニューラル音声ライトを使用して作成した合成音声モデルは、カスタム ニューラル音声へのフル アクセスを申請して受け取る場合にのみ、より広くデプロイおよび使用できます (該当する用語に従います)。
Speech Studio 経由で送信した合成音声と関連するオーディオ録音は、カスタム ニューラル音声へのフル アクセスを取得し、合成音声のデプロイを選択しない限り、90 日以内に自動的に削除されます。その場合は、その保持期間を制御します。 音声タレントが合成音声と関連するオーディオ録音を 90 日前に削除したい場合は、ポータルで直接削除するか、企業に連絡して削除できます。
さらに、カスタム ニューラル音声ライト プロジェクトを使用して作成された合成音声モデルをデプロイする前に、音声タレントは、合成音声がデモンストレーションや評価以外の追加目的で使用されることを確認する追加の録音を提供する必要があります。
個人用音声 API のデータ処理 (プレビュー)
個人用音声を使用すると、短い人間の音声サンプルを使用して合成音声を作成できます。 上記の音声受信確認ステートメント ファイルは、アプリケーションで統合を使用する各ユーザーから必要です。 Microsoft は、各ユーザーの記録された音声ステートメント ファイルとその記録されたトレーニング サンプル (プロンプト) からの生体認証音声署名を処理して、受信確認ステートメントの録音の音声署名とトレーニング データの記録が、Azure AI Speaker Verification を使用して妥当な信頼度で一致することを確認できます。
トレーニング サンプルは、音声モデルの作成に使用されます。 その後、音声モデルを使用して、API 経由でサービスに提供されるテキスト入力を含む音声を生成できます。追加のデプロイは必要ありません。
ビデオ受信確認ステートメントの検証
Microsoft では、お客様に対し、アバタータレントからの受信確認文を記録したビデオ ファイルを提供し、顧客がタレントの画像と音声を使用してカスタム アバターを作成することを確認する必要があります。 Microsoft は、受信確認ステートメントの記録の内容が、Microsoft によって提供される事前に定義されたスクリプトと一致することを確認します。
Microsoft は、記録された受信確認ビデオ ステートメント ファイルのアバター タレントの顔と声を、関連するトレーニング データセットのランダム化されたビデオと比較して、トレーニング データセットのビデオ録画の人物と受信確認ビデオ ステートメント ファイルの人物が一致することを確認できます。
受信確認ステートメントのビデオ記録ファイルとビデオ トレーニング データの両方が提供され、アクター検証テストに合格した場合にのみ、Microsoft はカスタム アバター モデルのトレーニングを開始します。
カスタム テキスト読み上げアバター モデルのトレーニング
お客様は、カスタム アバター ポータルを使用して Speech Studio にトレーニング データを送信します。 データは、データ形式、ファイル サイズ、合計ボリュームなど、品質を確認するための自動化されたツールを使用して前処理されます。 その後、トレーニング データがカスタム アバター ポータルのモデル トレーニング コンポーネントにインポートされます。 トレーニング プロセス中に、トレーニング データ (ビデオ 画像とビデオ ファイル内の音声オーディオの両方) が、リップの動きと音声音響の詳細なマッピングに分解されます。 さらに複雑なマシン傾きモデリングを通じて、このサービスはアバター モデルを構築します。このモデルを使用して、アバターの才能に似たビデオを生成し、トレーニング データの記録とは異なる言語の音声と一致するように生成することもできます。
顧客のトレーニング データは、その顧客のカスタム アバター モデルの開発にのみ使用され、Microsoft が Microsoft のテキスト読み上げアバター モデルをトレーニングまたは改善するために使用されることはありません。
データストレージとリテンション期間
音声合成のテキスト入力: Microsoft では、リアルタイム合成テキストを音声 API に提供するテキストは保持または保存しません。 テキスト読み上げ用の Long Audio API を介して提供されるスクリプト、またはテキスト読み上げアバター用のテキストから音声へのアバター バッチ API を介して提供されるスクリプトは、バッチ合成要求を処理するためにAzureストレージに格納されます。 入力テキストは、delete API を使用していつでも 削除 できます。
オーディオとビデオのコンテンツを出力します。 Microsoft では、リアルタイム合成 API で生成されたオーディオまたはビデオ コンテンツは保存しません。 音声合成アバター バッチ API にビデオ翻訳または Long Audio API を使用している場合、出力オーディオまたはビデオ コンテンツはAzureストレージに格納されます。 これらのオーディオまたはビデオは、削除操作を使用していつでも 削除 できます。
音声合成のテキスト入力: Microsoft では、リアルタイム合成テキストを音声 API に提供するテキストは保持または保存しません。 テキスト読み上げ用の Long Audio API を介して提供されるスクリプト、またはテキスト読み上げアバター用のテキストから音声へのアバター バッチ API を介して提供されるスクリプトは、バッチ合成要求を処理するためにAzureストレージに格納されます。 入力テキストは、delete API を使用していつでも 削除 できます。
オーディオとビデオのコンテンツを出力します。 Microsoft では、リアルタイム合成 API で生成されたオーディオまたはビデオ コンテンツは保存しません。 音声合成アバター バッチ API にビデオ翻訳または Long Audio API を使用している場合、出力オーディオまたはビデオ コンテンツはAzureストレージに格納されます。 これらのオーディオまたはビデオは、削除操作を使用していつでも 削除 できます。
記録された受信確認ステートメントと話者検証データ: 音声署名は、話者の検証の目的、またはサービスの悪用を調査するために必要な目的でのみ、Microsoft によって使用されます。 音声署名は、話者の検証を実行するために必要な時間だけ保持されます。これは、随時発生する可能性があります。 Microsoft では、Speech Studio でカスタム ニューラル音声モデルをトレーニングまたは再トレーニングする前に、または必要に応じて、この検証を必要とする場合があります。 Microsoft は、Azure Speech のセキュリティと整合性を維持するために必要な限り、記録された受信確認ステートメント ファイルと音声タレント プロファイル データを保持します。
カスタム ニューラル音声モデル: カスタム ニューラル音声モデルに対する排他的な使用権限を維持している間、Microsoft は必要な期間、カスタム ニューラル音声モデルのコピーを個別に保持する場合があります。 Microsoft は、Foundry Tools のセキュリティと整合性を保護する目的でのみ、カスタム ニューラル音声モデルを使用する場合があります。
Microsoft は、他のAzure サービスで使用するのと同じ高レベルのセキュリティを使用して、各ボイス タレントの記録された受信確認ステートメントとカスタム ニューラル音声モデルのコピーをセキュリティで保護して保存します。 詳細については、Microsoft セキュリティ センターを参照してください。
トレーニング データ: 音声タレントの音声トレーニング データを送信し、Speech Studio これは、既定でAzure storageに保持および格納されます (詳細については、Azure Storage REST でのデータの暗号化を参照してください)。 Speech Studio を使用して、音声モデルの構築に使用するトレーニング データにアクセスして削除できます。
BYOS (Bring Your Own Storage) を使用して、トレーニング データのストレージを管理できます。 このストレージ方法では、トレーニング データは音声モデルトレーニングの目的でのみアクセスでき、それ以外の場合は BYOS 経由で格納されます。
注
個人用音声は BYOS をサポートしていません。 データは、Microsoft によって管理Azureストレージに格納されます。 API を使用して音声モデルを構築するために使用されるトレーニング データ (プロンプト オーディオ) にアクセスして削除できます。 Microsoft は、必要な限り、個人の音声モデルのコピーを個別に保持することができます。 Microsoft は、Foundry Tools のセキュリティと整合性を保護する目的でのみ、お客様の個人用音声モデルを使用する場合があります。
音声合成のテキスト入力: Microsoft では、リアルタイム合成テキストを音声 API に提供するテキストは保持または保存しません。 テキスト読み上げ用の Long Audio API を介して提供されるスクリプト、またはテキスト読み上げアバター用のテキストから音声へのアバター バッチ API を介して提供されるスクリプトは、バッチ合成要求を処理するためにAzureストレージに格納されます。 入力テキストは、delete API を使用していつでも 削除 できます。
オーディオとビデオのコンテンツを出力します。 Microsoft では、リアルタイム合成 API で生成されたオーディオまたはビデオ コンテンツは保存しません。 音声合成アバター バッチ API にビデオ翻訳または Long Audio API を使用している場合、出力オーディオまたはビデオ コンテンツはAzureストレージに格納されます。 これらのオーディオまたはビデオは、削除操作を使用していつでも 削除 できます。
記録された受信確認ステートメント データ: Microsoft では、カスタム アバター モデルのトレーニングまたは再トレーニングを許可する前に、受信確認ステートメントのビデオとトレーニング データを比較できます。 Microsoft は、Foundry Tools のセキュリティと整合性を維持するために必要な限り、記録された受信確認ステートメント ファイルとアバター タレント プロファイル データを保持します。
カスタム テキスト読み上げアバター モデル: カスタム アバター モデルに対する排他的な使用権を維持している間、Microsoft は必要な限りカスタム アバター モデルのコピーを個別に保持する場合があります。 Microsoft は、Foundry Tools のセキュリティと整合性を保護する目的でのみ、カスタム アバター モデルを使用する場合があります。
Microsoft は、アバター タレントの記録された受信確認ステートメントとカスタム アバター モデルのコピーを、他のAzure サービスに使用するのと同じ高レベルのセキュリティで保護して保存します。 詳細については、Microsoft セキュリティ センターを参照してください。
トレーニング データ: Speech Studio を介して送信されたトレーニング データは、既定で保持され、Azure Storage に格納されます (詳細については、データが REST されているときの Azure Storage の暗号化を参照してください)。 Speech Studio を使用してアバター モデルを構築するために使用するトレーニング データにアクセスして削除できます。
不正使用や有害なコンテンツ生成の防止 (プレビュー)
Azureテキスト読み上げアバター サービスの有害な使用のリスクを軽減するために、Azureテキスト読み上げアバターにはコンテンツの安全性機能が含まれています。 サービスがテキストを処理してオーディオを生成すると、コンテンツの安全性が同期的に発生します。 テキストや生成された結果はコンテンツ分類子モデルに格納されず、テキストと結果は分類子モデルのトレーニング、再トレーニング、改善には使用されません。 コンテンツの安全性機能の損害カテゴリの詳細については、「 損害カテゴリ」を参照してください。
こちらも参照ください