共用方式為


如何建立自訂文字轉換語音虛擬人偶

開始使用自訂文字轉換語音虛擬人偶是一個直接的程序。 您演員只需要一些視訊剪輯。 如果您想要為同一個演員訓練相同自訂語音,您可以個別執行此動作。

附註

自訂虛擬人偶存取受限於資格和使用準則。 要求輸入表單的存取權。

先決條件

您需要其中一個 支援自定義虛擬人偶訓練的區域中的 Azure AI Foundry 資源。 自定義虛擬人偶僅支持標準 (S0) AI Foundry 或語音資源。

您需要配音員閱讀同意聲明以認可其影像和聲音使用的視訊錄製。 設定虛擬人偶配音員時,您會上傳此影片。 如需詳細資訊,請參閱新增虛擬人偶配音員同意

您需要虛擬人偶配音員的影片錄製作為訓練資料。 當您準備訓練資料時,您會上傳這些影片。 如需詳細資訊,請參閱新增訓練資料

步驟 1:開始微調

秘訣

請勿在同一個微調工作區中混合不同虛擬形象的數據。 每個虛擬人偶都必須有自己的微調工作區。

若要微調自定義虛擬人偶,請遵循下列步驟:

  1. Azure AI Foundry 入口網站中,移至您的 Azure AI Foundry 專案。 如果您需要建立專案,請參閱 建立 Azure AI Foundry 專案

  2. 從左側窗格中選取 [微調]

  3. 選取 [AI 服務微調]>[+ 微調]

    頁面的螢幕擷取畫面,以選取 Azure AI 服務模型的微調。

  4. 在精靈中,選取 [自訂虛擬人偶 (文字轉換語音虛擬人偶微調)]

  5. 選取 [下一步]

  6. 請遵循精靈所提供的指示來建立微調工作區。

虛擬人偶配音員是個人或目標演員,其說話影片會錄製並用來建立神經虛擬人偶模型。 您必須根據虛擬人偶配音員的所有相關法律法規取得足夠的同意,才能使用其影片建立自訂文字轉換語音虛擬人偶。

您必須提供影片檔案,其中包含來自虛擬人偶人才的錄製語句,並確認其影片和語音的使用。 Microsoft 會確認錄製中的內容符合 Microsoft 所提供的預先定義指令碼。 Microsoft 會比較錄製影片語句檔案中虛擬人偶配音員的臉部與訓練資料集中的隨機影片,以確保影片錄製中的虛擬人偶配音員和語句影片檔案中的虛擬人偶配音員來自同一個人。

  • 如果您想要在虛擬人偶訓練期間建立虛擬人偶的語音同步處理,則會在自訂虛擬人偶旁邊建立與您虛擬人偶類似的自訂語音。 語音會與指定的虛擬人偶專屬搭配使用。 您的同意聲明必須同時包含自定義虛擬人偶和虛擬人偶的語音同步處理。 如需具有語音同步的自定義虛擬人偶同意語句範例,請參閱 Azure-Samples/cognitive-services-speech-sdk GitHub 存放庫中的verbal-statement-voice-sync-for-avatar-all-locales.txt 檔案。
  • 如果您未建立虛擬人偶的語音同步處理,則只會訓練自定義虛擬人偶,且您的同意語句必須反映此範圍。 如需僅限自定義虛擬人偶的同意語句範例,請參閱 Azure-Samples/cognitive-services-speech-sdk GitHub 存放庫中的verbal-statement-all-locales.txt 檔案。

如需錄製同意影片的詳細資訊,請參閱 如何錄製影片範例虛擬人偶人才披露

若要新增虛擬人偶配音員設定檔並在專案中上傳其同意聲明,請遵循下列步驟:

  1. 登入 Azure AI Foundry 入口網站

  2. 從左窗格中選取 [ 微調 ],然後選取 [AI 服務微調]。

  3. 選取您啟動的自訂虛擬人偶微調工作 (依模型名稱),如上一節所述

  4. 選取 設定虛擬人偶的技能>上傳同意影片

  5. 在 [上傳同意影片] 頁面上,依照指示上傳您事先錄製的虛擬人偶配音員同意影片。

    • 選取要建置的虛擬人偶類型。 建置聽起來像是您虛擬人偶配音員與虛擬人偶模型的虛擬人偶語音同步,或建置不需要虛擬人偶語音同步處理的虛擬人偶。 建立虛擬人偶語音同步的選項僅適用於東南亞、西歐和美國西部 2 區域。
    • 選取虛擬人偶配音員所錄製口頭同意聲明的說話語言。
    • 以與錄製的語句相同的語言輸入虛擬人偶配音員姓名和您的公司名稱。
      • 虛擬人偶配音員姓名必須是錄製同意聲明之人員的姓名。
      • 公司名稱必須符合錄製聲明中所述的公司名稱。
    • 您可以選擇從本機檔案,或使用 Azure Blob 從共用儲存體上傳您的資料。
  6. 從您的電腦選取本機檔案,或輸入儲存資料所在的 Azure Blob 儲存體 URL。

  7. 選取 [下一步]

  8. 檢閱上傳詳細數據,然後選取 [上傳]。

在虛擬人偶配音員同意上傳成功之後,您可以繼續訓練您的自訂虛擬人偶模型。

步驟 3:新增訓練資料

語音服務會使用您的訓練資料來建立經過調整的唯一虛擬人偶,以符合錄製中人員的外觀。 訓練虛擬人偶模型之後,您可以開始合成虛擬人偶影片,或使用它進行應用程式中的即時聊天。

您上傳的所有資料都必須符合您所選擇資料類型的需求。 為了確保語音服務能正確處理您的資料,請務必在上傳之前正確格式化資料。 若要確認您的資料格式正確,請參閱資料需求

上傳您的資料

當您準備好上傳資料時,請移至 [準備訓練資料] 索引標籤以新增您的資料。

若要上傳訓練資料,請遵循下列步驟:

  1. 登入 Azure AI Foundry 入口網站
  2. 從左窗格中選取 [ 微調 ],然後選取 [AI 服務微調]。
  3. 選取您啟動的自訂虛擬人偶微調工作 (依模型名稱),如上一節所述
  4. 選取 [準備訓練數據>上傳數據]。
  5. 在 [上傳資料] 精靈中,選擇資料類型,然後選取 [下一步]。 如需數據類型的詳細資訊(包括 自然說話無訊息狀態手勢狀態 0 說話),請參閱 要錄製哪些影片剪輯
  6. 從您的電腦選取本機檔案,或輸入儲存資料所在的 Azure Blob 儲存體 URL。
  7. 選取 [下一步]
  8. 檢閱上傳詳細數據,然後選取 [上傳]。

當您選取 [ 上傳] 時,會自動驗證數據檔。 資料驗證包含影片檔案的一系列檢查,以驗證其檔案格式、大小和總量。 若發生任何錯誤,請加以修正並再次提交。

上傳資料之後,您可以檢查資料概觀,其指出您是否提供足夠的資料來開始訓練。

步驟 4:訓練虛擬人偶模型

重要事項

專案中的所有訓練資料都包含在訓練中。 模型品質高度相依於您提供的資料,且您對視訊品質負責。 請務必根據如何錄製影片範例指南來錄製訓練影片。

若要在 Azure AI Foundry 入口網站中建立自定義虛擬人偶,請依照下列步驟執行下列其中一種方法:

  1. 登入 Azure AI Foundry 入口網站

  2. 從左窗格中選取 [ 微調 ],然後選取 [AI 服務微調]。

  3. 選取您啟動的自訂虛擬人偶微調工作 (依模型名稱),如上一節所述

  4. 選取 [訓練模型]>[+ 訓練模型]

  5. 輸入「名稱」以協助您識別模型。 請謹慎選擇名稱。 模型名稱會用作 SDK 和 SSML 輸入在合成要求中提出的虛擬人偶名稱。 只允許字母、數字、連字號和底線。 針對每個模型使用唯一的名稱。

    重要事項

    虛擬人偶模型名稱在相同的語音或 AI 服務資源內必須是唯一的。

  6. 選取 [訓練] 以開始訓練模型。

訓練持續時間會根據您要訓練的資料量而有所不同。 訓練自訂虛擬人偶通常需要 20-40 個計算時數。 請查看定價資訊,以了解訓練的收費方式。

將自訂虛擬人偶模型複製到另一個專案 (選擇性)

自訂虛擬人偶訓練目前僅適用於某些區域。 在支援的區域中訓練虛擬人偶模型之後,您可以視需要將其複製到另一個區域中適用於語音的 AI 服務資源。 如需詳細資訊,請參閱區域資料表中的註腳。

附註

您只能將虛擬人偶模型的語音同步複製到支持虛擬人偶功能語音同步的區域,這與支援個人語音的區域相同。

若要將自訂虛擬人偶模型複製到另一個專案:

  1. 在 [訓練模型] 索引標籤上,選取您想要複製的虛擬人偶模型,然後選取 [複製到專案]
  2. 針對語音選取訂用帳戶、區域、AI 服務資源,以及您要在其中複製模型的專案。 您必須在目標區域中擁有語音和專案的 AI 服務資源,否則必須先建立它們。
  3. 選取 [提交] 以複製模型。

複製模型之後,您會在 Azure AI Foundry 入口網站中看到通知。

瀏覽至您複製模型以部署模型複本的專案。

步驟 5:部署和使用您的虛擬人偶模型

成功建立並訓練虛擬人偶模型之後,您會將其部署至您的端點。

若要部署您的虛擬人偶:

  1. 登入 Azure AI Foundry 入口網站

  2. 從左窗格中選取 [ 微調 ],然後選取 [AI 服務微調]。

  3. 選取您啟動的自訂虛擬人偶微調工作 (依模型名稱),如上一節所述

  4. 選取 [部署模型>部署模型]。

  5. 選取您想要部署的模型。

  6. 選取 [部署] 以開始部署。

    重要事項

    部署模型時,不論您與該端點的互動為何,您都需要針對端點的持續可用時間支付費用。 請查看定價資訊,以了解模型部署的收費方式。 當模型未使用以減少支出並節省資源時,您可以刪除部署。

部署自定義虛擬人偶之後,即可在 Azure AI Foundry 入口網站或透過 API 使用:

移除部署

若要移除您的部署,請遵循下列步驟:

  1. 登入 Azure AI Foundry 入口網站
  2. 從左窗格中選取 [ 微調 ],然後選取 [AI 服務微調]。
  3. 選取您啟動的自訂虛擬人偶微調工作 (依模型名稱),如上一節所述
  4. 選取 [部署模型] 頁面上的部署。 如果狀態為「成功」,則會主動裝載模型。
  5. 您可以選取 [刪除部署] 按鈕,並確認刪除以移除裝載。

秘訣

移除部署之後,您就不再支付其裝載費用。 刪除部署不會造成模型的任何刪除。 如果您想要再次使用模型,請建立新的部署。

開始使用自訂文字轉換語音虛擬人偶是一個直接的程序。 您演員只需要一些視訊剪輯。 如果您想要為同一個演員訓練相同自訂語音,您可以個別執行此動作。

附註

自訂虛擬人偶存取受限於資格和使用準則。 要求輸入表單的存取權。

先決條件

您需要其中一個 支援自定義虛擬人偶訓練的區域中的 Azure AI Foundry 資源。 自定義虛擬人偶僅支持標準 (S0) AI Foundry 或語音資源。

您需要配音員閱讀同意聲明以認可其影像和聲音使用的視訊錄製。 設定虛擬人偶配音員時,您會上傳此影片。 如需詳細資訊,請參閱新增虛擬人偶配音員同意

您需要虛擬人偶配音員的影片錄製作為訓練資料。 當您準備訓練資料時,您會上傳這些影片。 如需詳細資訊,請參閱新增訓練資料

步驟 1:建立自訂虛擬人偶專案

若要建立自訂虛擬人偶專案,請遵循下列步驟:

  1. 登入 Speech Studio,然後選取您的訂用帳戶和語音資源。

  2. 選取 [自訂虛擬人偶 (預覽)]

    用來選取其他圖格之間自訂虛擬人偶的圖格螢幕擷取畫面。

  3. 選取 [+建立專案]

  4. 依照精靈提供的指示建立您的專案。

    秘訣

    請勿在一個專案中混合不同虛擬人偶的資料。 一律為新的虛擬人偶建立新專案。

  5. 依名稱選取新專案。 然後您會在左側面板中看到這些功能表項目:[設定虛擬人偶配音員]、[準備訓練資料]、[將模型訓練] 和 [部署模型]

    新空白自訂虛擬人偶專案的螢幕擷取畫面。

虛擬人偶配音員是個人或目標演員,其說話影片會錄製並用來建立神經虛擬人偶模型。 您必須根據虛擬人偶配音員的所有相關法律法規取得足夠的同意,才能使用其影片建立自訂文字轉換語音虛擬人偶。

您必須提供影片檔案,其中包含來自虛擬人偶人才的錄製語句,並確認其影片和語音的使用。 Microsoft 會確認錄製中的內容符合 Microsoft 所提供的預先定義指令碼。 Microsoft 會比較錄製影片語句檔案中虛擬人偶配音員的臉部與訓練資料集中的隨機影片,以確保影片錄製中的虛擬人偶配音員和語句影片檔案中的虛擬人偶配音員來自同一個人。

  • 如果您想要在虛擬人偶訓練期間建立虛擬人偶的語音同步處理,則會在自訂虛擬人偶旁邊建立與您虛擬人偶類似的自訂語音。 語音會與指定的虛擬人偶專屬搭配使用。 您的同意聲明必須同時包含自定義虛擬人偶和虛擬人偶的語音同步處理。
  • 如果您未建立虛擬人偶的語音同步處理,則只會訓練自定義虛擬人偶,且您的同意語句必須反映此範圍。

您可以透過 Azure-Samples/cognitive-services-speech-sdk GitHub 存放庫,找到多種語言的口頭同意聲明。 口頭語句的語言必須與您的錄製相同。 另請參閱語音配音員的公開揭示

如需錄製同意影片的詳細資訊,請參閱如何錄製影片範例

若要新增虛擬人偶配音員設定檔並在專案中上傳其同意聲明,請遵循下列步驟:

  1. 登入 Speech Studio

  2. 選取 [自訂虛擬人偶]>[您的專案名稱]>[設定虛擬人偶配音員]>[上傳同意影片]

  3. 在 [上傳同意影片] 頁面上,依照指示上傳您事先錄製的虛擬人偶配音員同意影片。

    • 選取要建置的虛擬人偶類型。 建置聽起來像是您虛擬人偶配音員與虛擬人偶模型的虛擬人偶語音同步,或建置不需要虛擬人偶語音同步處理的虛擬人偶。 建立虛擬人偶語音同步的選項僅適用於東南亞、西歐和美國西部 2 區域。
    • 選取虛擬人偶配音員所錄製口頭同意聲明的說話語言。
    • 以與錄製的語句相同的語言輸入虛擬人偶配音員姓名和您的公司名稱。
      • 虛擬人偶配音員姓名必須是錄製同意聲明之人員的姓名。
      • 公司名稱必須符合錄製聲明中所述的公司名稱。
    • 您可以選擇從本機檔案,或使用 Azure Blob 從共用儲存體上傳您的資料。

    您選取要上傳配音員同意影片之對話方塊的螢幕擷取畫面。

  4. 選取 [上傳]

在虛擬人偶配音員同意上傳成功之後,您可以繼續訓練您的自訂虛擬人偶模型。

步驟 3:新增訓練資料

語音服務會使用您的訓練資料來建立經過調整的唯一虛擬人偶,以符合錄製中人員的外觀。 訓練虛擬人偶模型之後,您可以開始合成虛擬人偶影片,或使用它進行應用程式中的即時聊天。

您上傳的所有資料都必須符合您所選擇資料類型的需求。 為了確保語音服務能正確處理您的資料,請務必在上傳之前正確格式化資料。 若要確認您的資料格式正確,請參閱資料需求

上傳您的資料

當您準備好上傳資料時,請移至 [準備訓練資料] 索引標籤以新增您的資料。

若要上傳訓練資料,請遵循下列步驟:

  1. 登入 Speech Studio

  2. 選取[自訂虛擬人偶]> 您的專案名稱 [準備訓練資料]>>[上傳資料]

    訓練資料準備頁面的螢幕擷取畫面,其中包含上傳訓練資料的按鈕。

  3. 在 [上傳資料] 精靈中,選擇資料類型,然後選取 [下一步]。 如需資料類型的詳細資訊 (包括自然說話無訊息手勢狀態 0 說話),請參閱要錄製哪些影片剪輯

  4. 從您的電腦選取本機檔案,或輸入儲存資料所在的 Azure Blob 儲存體 URL。

  5. 選取 [下一步]

  6. 檢閱上傳詳細資料,然後選取 [提交]

當您選取 [提交] 時,會自動驗證資料檔案。 資料驗證包含影片檔案的一系列檢查,以驗證其檔案格式、大小和總量。 若發生任何錯誤,請加以修正並再次提交。

上傳資料之後,您可以檢查資料概觀,其指出您是否提供足夠的資料來開始訓練。 螢幕擷取畫面顯示已新增足夠的資料範例可訓練虛擬人偶,而不需要其他手勢。

已新增足夠的資料來訓練虛擬人偶而不需要其他手勢的螢幕擷取畫面。

步驟 4:訓練虛擬人偶模型

重要事項

專案中的所有訓練資料都包含在訓練中。 模型品質高度相依於您提供的資料,且您對視訊品質負責。 請務必根據如何錄製影片範例指南來錄製訓練影片。

若要在 Speech Studio 中建立自訂虛擬人偶,請依照下列步驟執行下列其中一種方法:

  1. 登入 Speech Studio

  2. 選取 [自訂虛擬人偶]>[您的專案名稱]>[訓練模型]>[訓練模型]

  3. 輸入「名稱」以協助您識別模型。 請謹慎選擇名稱。 模型名稱會用作 SDK 和 SSML 輸入在合成要求中提出的虛擬人偶名稱。 只允許字母、數字、連字號和底線。 針對每個模型使用唯一的名稱。

    重要事項

    虛擬人偶模型名稱在相同的語音或 AI 服務資源內必須是唯一的。

  4. 選取 [訓練] 以開始訓練模型。

訓練持續時間會根據您要訓練的資料量而有所不同。 訓練自訂虛擬人偶通常需要 20-40 個計算時數。 請查看定價資訊,以了解訓練的收費方式。

將自訂虛擬人偶模型複製到另一個專案 (選擇性)

自訂虛擬人偶訓練目前僅適用於某些區域。 在支援的區域中訓練虛擬人偶模型之後,您可以視需要將其複製到另一個區域中適用於語音的 AI 服務資源。 如需詳細資訊,請參閱區域資料表中的註腳。

附註

您只能將虛擬人偶模型的語音同步複製到支持虛擬人偶功能語音同步的區域,這與支援個人語音的區域相同。

若要將自訂虛擬人偶模型複製到另一個專案:

  1. 在 [訓練模型] 索引標籤上,選取您想要複製的虛擬人偶模型,然後選取 [複製到專案]
  2. 針對語音選取訂用帳戶、區域、AI 服務資源,以及您要在其中複製模型的專案。 您必須在目標區域中擁有語音和專案的 AI 服務資源,否則必須先建立它們。
  3. 選取 [提交] 以複製模型。

複製模型之後,您會在 Speech Studio 中看到通知。

瀏覽至您複製模型以部署模型複本的專案。

步驟 5:部署和使用您的虛擬人偶模型

成功建立並訓練虛擬人偶模型之後,您會將其部署至您的端點。

若要部署您的虛擬人偶:

  1. 登入 Speech Studio
  2. 選取 [自訂虛擬人偶]>[您的專案名稱]>[部署模型]
  3. 選取 [部署模型],然後選取您要部署的模型。
  4. 選取 [部署] 以開始部署。

    重要事項

    部署模型時,不論您與該端點的互動為何,您都需要針對端點的持續可用時間支付費用。 請查看定價資訊,以了解模型部署的收費方式。 當模型未使用以減少支出並節省資源時,您可以刪除部署。

自訂虛擬人偶經部署後,即可在 Speech Studio 中或透過 API 加以使用:

  • 虛擬人偶會在 Speech Studio 上顯示於文字轉換語音虛擬人偶的虛擬人偶清單中。
  • 虛擬人偶會在透過 Speech Studio 顯示於即時聊天虛擬人偶的虛擬人偶清單中。
  • 您可以藉由指定虛擬人偶模型名稱,從 SDK 和 SSML 輸入呼叫虛擬人偶。 如需詳細資訊,請參閱虛擬人偶屬性

移除部署

若要移除您的部署,請遵循下列步驟:

  1. 登入 Speech Studio
  2. 瀏覽至 [自訂虛擬人偶]>[您的專案名稱]>[部署模型]
  3. 選取 [部署模型] 頁面上的部署。 如果狀態為「成功」,則會主動裝載模型。
  4. 您可以選取 [刪除部署] 按鈕,並確認刪除以移除裝載。

秘訣

移除部署之後,您就不再支付其裝載費用。 刪除部署不會造成模型的任何刪除。 如果您想要再次使用模型,請建立新的部署。

後續步驟