使用語音轉換文字轉譯管線來分析錄製的交談

Azure AI 語音
Azure AI 語言
Azure AI 服務
Azure Synapse Analytics
Azure Logic Apps

已錄製客戶通話的語音辨識和分析可為企業提供有關目前趨勢、產品缺點和成功的寶貴資訊。

本文所述的範例解決方案概述可重複的管線,用於轉譯和分析交談數據。

架構

架構包含兩個管線:將音訊轉換成文字的轉譯管線,以及擴充和視覺效果管線。

轉譯管線

此圖說明如何使用 Azure AI 服務擷取語音並將其轉換成文字。

下載此架構的 Visio 檔案

資料流程

  1. 音訊檔案會透過任何支援的方法上傳至 Azure 儲存體 帳戶。 您可以使用UI型工具,例如 Azure 儲存體 總管或使用記憶體 SDK 或 API
  2. 上傳至 Azure 儲存體 會觸發 Azure 邏輯應用程式。 邏輯應用程式會存取 Azure 金鑰保存庫 中的任何必要認證,並要求語音服務的批次轉譯 API。
  3. 邏輯應用程式會將音訊檔案呼叫提交至語音服務,包括說話者聽寫的選擇性設定。
  4. 語音服務會完成批次轉譯,並將轉譯結果載入至 儲存體 帳戶。

擴充和視覺效果管線

說明擴充和視覺效果管線的圖表。

下載此架構的 Visio 檔案

資料流程

  1. Azure Synapse Analytics 管線會執行以擷取和處理轉譯的音訊文字。
  2. 管線會透過 API 呼叫傳送已處理的文字給語言服務。 此服務會執行各種自然語言處理 (NLP) 擴充,例如情感和意見採礦、摘要,以及自定義和預先建置的具名實體辨識。
  3. 已處理的數據會儲存在 Azure Synapse Analytics SQL 集區中,其可提供給 Power BI 等視覺效果工具。

元件

  • Azure Blob 儲存體。 雲端原生工作負載、封存、數據湖、高效能運算和機器學習服務可大幅調整且安全的物件記憶體。 在此解決方案中,它會儲存音訊檔案和轉譯結果,並做為下游分析的數據湖。
  • Azure Logic Apps。 建置在容器化運行時間上的整合平臺即服務 (iPaaS)。 在此解決方案中,它會整合記憶體和語音 AI 服務。
  • AI 語音服務。 AI 型 API,提供語音轉換文字、文字到語音轉換、語音翻譯和說話者辨識等語音功能。 此解決方案會使用其批次轉譯功能。
  • AI 語言。 AI 型受控服務,可提供自然語言功能,例如情感分析、實體擷取和自動化問題解答。
  • Azure Synapse Analytics。 提供數據整合、企業數據倉儲和巨量數據分析的一套服務。 在此解決方案中,它會轉換和擴充轉譯數據,並將數據提供至下游視覺效果工具。
  • Power BI。 數據模型化和可視化分析工具。 在此解決方案中,它會將已轉譯的音訊深入解析呈現給使用者和決策者。

替代項目

以下是此解決方案架構的一些替代方法:

  • 請考慮將 Blob 儲存體 帳戶設定為使用階層命名空間。 此設定提供訪問控制清單 (ACL) 型安全性控制,並可改善某些巨量數據工作負載的效能。
  • 您可以視工作負載的大小和規模而定,使用 Azure Functions 作為程式代碼優先整合工具,而不是 Logic Apps 或 Azure Synapse 管線。

案例詳細資料

客戶服務中心是許多行業許多企業成功不可或缺的一部分。 此解決方案會使用來自 Azure AI 服務的語音 API,進行錄製客戶通話的音訊轉譯和聽寫。 Azure Synapse Analytics 可用來處理和執行 NLP 工作,例如情感分析和透過 API 呼叫 AI 語言自定義具名實體辨識。

您可以使用這裡所述的服務和管線來處理轉譯的文字,以辨識和移除敏感性資訊、執行情感分析等等。 您可以調整服務和管線,以容納任何記錄的數據量。

潛在使用案例

此解決方案可為許多產業的組織提供價值,包括電信、金融服務和政府。 它適用於記錄交談的任何組織。 特別是,客戶面向或內部客服中心或支援台可以受益於此解決方案衍生的見解。

考量

這些考慮會實作 Azure Well-Architected Framework 的支柱,這是一組指導原則,可用來改善工作負載的品質。 如需詳細資訊,請參閱 Microsoft Azure Well-Architected Framework (部分機器翻譯)。

安全性

安全性可提供保證,以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊,請參閱安全性要素的概觀

  • 語音 API 的要求可以包含 Azure 儲存體 中目的地容器的共用存取簽章 (SAS) URI。 SAS URI 可讓語音服務將轉譯檔案直接輸出至容器位置。 如果您的組織不允許使用 SAS URI 進行記憶體,您必須實作函式,定期輪詢語音 API 中已完成的資產。
  • 帳戶或 API 金鑰等認證應該以秘密的形式儲存在 Azure 金鑰保存庫 中。 使用受控識別設定邏輯應用程式和 Azure Synapse 管線來存取金鑰保存庫,以避免將秘密儲存在應用程式設定或程式代碼中。
  • 儲存在 Blob 中的音訊檔案可能包含敏感數據。 如果有多個用戶端使用解決方案,您必須限制對這些檔案的存取。 在記憶體帳戶上使用階層命名空間,並強制執行資料夾和檔案層級許可權,只限制對所需 Microsoft Entra 實例的存取。

成本最佳化

成本最佳化是關於考慮如何減少不必要的費用,並提升營運效率。 如需詳細資訊,請參閱成本最佳化要素的概觀

此架構中所述的所有 Azure 服務都提供隨用隨付計費的選項,因此解決方案成本會以線性方式調整。

Azure Synapse 提供無伺服器 SQL 集區的選項,因此數據倉儲工作負載的計算可以隨選啟動。 如果您未使用 Azure Synapse 來服務其他下游使用案例,請考慮使用無伺服器來降低成本。

如需更多成本優化策略,請參閱 成本優化要素 概觀。

如需此處建議之服務的定價,請參閱 Azure 定價計算機中的此估計值。

效能效益

效能效率可讓您的工作負載進行調整,以有效率的方式符合使用者對其放置的需求。 如需詳細資訊,請參閱效能效率要件概觀

批次語音 API 是專為大量設計,但其他 Azure AI 服務 API 可能會有每個訂用帳戶層級的要求限制。 請考慮將這些 API 容器化,以避免節流大型磁碟區處理。 容器可讓您彈性地部署、雲端或內部部署。 您也可以使用容器來減輕新版本推出的副作用。 如需詳細資訊,請參閱 Azure AI 服務中的容器支援。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主要作者:

其他參與者:

若要查看非公開的 LinkedIn 設定檔,請登入 LinkedIn。

下一步