你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

人工智能概述

AI 技术适用于各种通信体验。 本文总结了 Azure 通信服务中 AI 和 AI 相关功能的可用性。 AI 功能可分为三类:

  • 访问器:这些 API 可用于访问 Azure 通信服务数据,以便你集成自己的独立转换和机器人。
  • 转换器:这些 API 提供内置转换功能,可使用机器学习模型或语言模型转换通信数据。
  • 机器人:这些 API 实现直接与用户通信的机器人。 通常,它们将结构化编程与语言模型相结合。

典型的通信场景汇集了这些功能:

  • 将音频语音内容转换为文本听录内容。
  • 转换视频源以模糊用户的背景。
  • 运行响应人类对话的聊天或语音机器人。
  • 将文本聊天和会议听录的语料库转换为摘要。 这种体验可能涉及一个生成式 AI 界面,用户在该界面中询问:“请总结我和用户 Joe 之间的所有对话”。

消息传送:短信、聊天、电子邮件、WhatsApp

Azure 通信服务中的异步消息传送功能采用相同的模式来集成此处列出的 AI。

功能 访问器 转换器 聊天机器人 说明
REST API 和 SDK 消息传送服务以 REST API 和面向服务器的 SDK 为中心。 你可以使用这些 SDK 将内容导出到外部数据存储,并附加一个语言模型来总结对话。 或者,可以使用 SDK 集成可直接与人类用户互动的机器人。
WhatsApp 消息分析 适用于 WhatsApp 的 Azure 通信服务消息传送 API 提供与 Azure OpenAI 的内置集成,以便分析和注释消息。 此集成可以检测用户的语言、识别其意图并提取关键短语。
Azure 机器人服务:聊天频道集成 Azure 通信服务聊天系统直接与 Azure 机器人服务集成。 此集成简化了创建与人类用户互动的聊天机器人的工作。

语音、视频和电话

下表总结了将 AI 集成到语音和视频系统的模式。

功能 访问器 转换器 聊天机器人 说明
通话自动化 REST API 和 SDK 通话自动化 API 包括访问器和转换器,以及用于播放音频文件和识别用户响应的 REST API。 recognize API 集成了 Azure 机器人服务,可将用户的音频内容转换为文本,以方便服务进行处理。 这些 API 的最常见应用场景是实现语音机器人,有时也称为互动语音响应 (IVR)。
Microsoft Copilot Studio Copilot Studio 直接与 Azure 通信服务中的电话服务集成。 此集成专为语音机器人和 IVR 而设计。
Azure 门户中的 Copilot 可以使用 Azure 门户中的 Copilot 提问有关 Azure 通信服务的问题。 目前,Copilot 仅使用 Azure 技术文档中的信息来回答问题。 它最适合用于提问有关错误代码和 API 行为的问题。
客户端原始音频和视频 通话客户端 SDK 提供用于访问和修改原始音频和视频源的 API。 一个示例应用场景是获取视频源、检测人类说话者及其背景并自定义该背景。
客户端背景效果 通话客户端 SDK 提供用于模糊或替换用户背景的 API。
客户端字幕 通话客户端 SDK 提供用于实现实时隐藏式字幕的 API。 这些 API 会在内部集成 Azure 认知服务,以实时将通话中的音频内容转换为文本。
客户端噪音增强和效果 通话客户端 SDK 集成了 DeepVQE 机器学习模型,可通过回声消减和背景噪音抑制来提高音频质量。 此转换通过使用客户端 SDK 打开和关闭。