你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure AI 内容安全常见问题解答

提示

如果这份常见问题解答无法解答你的问题,请在 StackOverflow 上的认知服务 API 社区中提问,或者在 UserVoice 上联系帮助和支持人员

常规信息

如何开始使用内容安全? 第一步是什么?

有关如何开始将文本和图像提交到 Azure AI 内容安全以及查看模型响应和结果的参考,请访问 Azure AI Foundry 门户页面。 可以使用边栏导航到 Guardrails + 控件页。

Azure AI 内容安全可以分类/审查哪些类型的媒体内容?

我们的内容危害分类模型目前支持审查文本、图像和多模态内容(包含文本的图像 + OCR)。 受保护材料、提示防护和依据检测模型仅适用于文本内容。

Azure AI 内容安全服务的模型如何定价?

答:我们通常按使用量收费。 例如,图像 API 根据提交的图像数量定价。 文本 API 按提交到服务的文本记录数计费。 但是,每个模型都有自己的相应费率。 有关定价层级的更多信息,请参阅 Azure 定价页面

为什么应该从 Azure 内容审查器迁移到 Azure AI 内容安全?

Azure 内容审查器自 2024 年 3 月起弃用。 Microsoft 建议 Azure 内容审查器用户迁移到 Azure AI 内容安全,原因如下:

  • Azure AI 内容安全使用先进的 AI 模型更准确、更精细地检测文本和图像中的有害内容。
  • Azure AI 内容安全支持多语言内容审核(请参阅语言支持)。
  • Azure AI 内容安全通过监视用户生成的内容和 AI 生成的内容,实现负责任 AI 做法。

Azure 内容审查器与 Azure AI 内容安全之间有何区别?

两种服务的主要区别如下:

  • Azure 内容审查器为每个内容标志使用二元分类(如猥亵或成人),而 Azure AI 内容安全则搭配使用不同类别(性、暴力、仇恨和自我伤害)和多个严重性级别。
  • Azure AI 内容安全支持多语言内容审核(请参阅语言支持),而 Azure 内容审查器的 AI 分类器仅支持英语。
  • Azure 内容审查器具有内置术语列表和自定义术语列表功能,Azure AI 内容安全没有内置术语列表,而是依赖于高级语言和视觉模型来检测有害内容。 它还提供用于自定义的自定义术语列表功能。
  • Azure AI 内容安全有一个交互式工作室,用于探索和测试服务功能,而 Azure 内容审查器则没有。

Azure AI 内容安全是否会移除内容或禁止用户使用平台?

否。 Azure AI 内容安全 API 将根据模型输出返回分类元数据。 我们的结果会通过返回的严重性级别(例如在文本 API 中)或二进制结果(例如在提示防护 API 中)告诉用户输入内容中是否存在各种类别(性、暴力、仇恨、自我伤害)的材料。

作为用户,你可以根据自己的策略和实践,使用这些结果来获知适当的强制操作,例如自动标记或移除某些内容。

如果我在免费层使用 Azure AI 内容安全服务超出了事务限制,会发生什么情况?

如果达到免费层上的事务限制,则服务的使用将受到限制。

我应该同步还是异步将内容提交到内容安全 API?

内容安全 API 针对实时(同步)审查需求进行了优化。 我们的模型结果直接在 API 回复消息中返回。

每个 API 的当前 RPS(每秒请求数)限制是多少? 如果想要增加 RPS,应采取哪些步骤?

有关每个 API 的当前 RPS 限制,请参阅概述。 若要请求增加 RPS,请向我们发送电子邮件,说明理由和估计的流量预测。

你建议在审查时使用多大的严重性级别阈值?

要决定是否在 0、2、4 或 6 严重性级别进行筛选,我们强烈建议你查阅危害类别中列出的每个严重性级别的描述性示例。 通常,评级为 0 严重性级别的文本可能引用了敏感主题,但可能是正常内容。 是在 2 级还是 4 级进行审查将取决于你的社区指南和对有争议主题的敏感度。

总的来说,这取决于你的数据集以及你自己的策略和风险容忍度。 对于新项目,我们建议从 4 级开始。 然后,可以根据模型性能调整严重性级别。

我们还可以对你的数据进行评估,以推荐阈值,而且你可以使用我们的 Content Safety Studio 批量评估来获取有关最佳实践的更多信息。

如何保留数据以及提供哪些客户控制?

在检测过程中,模型不会存储任何输入文本或图像(客户提供的阻止列表除外),并且不会使用用户输入来训练、重新训练或改进 Azure AI 内容安全模型。

若要详细了解 Microsoft 的隐私和安全承诺,请访问 Azure AI 内容安全的数据、隐私和安全性

Azure AI 内容安全服务处理的客户数据是否会传输到该服务或所选区域之外?

否。 Microsoft 在我们的 Azure 基础结构中托管 Azure AI 内容安全模型。 发送到 Azure AI 内容安全服务的所有客户数据都将在处理期间保留在该服务中,之后也会保留在所选区域中,而不会传输到其他区域。

内容安全是否支持批处理?

内容安全 API 不支持批处理。 目前,内容安全 API 可在处理时实现高并发性:默认速率限制达到了较为宽松的每分钟 1000 次,具体取决于模型。 虽然这足以满足大多数用户的需求,但我们很乐意为处理或希望处理更高数量请求的用户提高速率限制。

是否可以通过单个 API 调用访问多个模型?

我们开发了一个 API,可将多个分类合并到单个 API 终结点,使用户能够通过单个任务访问这两个模型输出,但此 API 处于预览阶段。 向我们发送电子邮件以申请访问权限。

不满意的情况

如何报告误报和漏报,或者提供其他反馈?

在我们的标准 DSAT 流程中,用户需要创建工单来向我们提交案例,因为电子邮件不会启动会审流程。 用户可以通过 Azure 门户提交案例,客户支持工程师可以协助他们创建 ICM 工单。

创建支持请求以向我们提交工单:

  • 对于“问题类型”,选择“技术” 。
  • 对于“订阅”,请选择自己的订阅。
  • 对于“服务”,请选择“所有服务”,然后选择“内容安全”
  • 对于“摘要”,请添加对问题的说明。

如何快速缓解误报和漏报?

模型需要时间来进行迭代和重新训练。 如果你通过 Azure 门户创建支持工单,客户支持工程师将帮助你跟踪状态并向你通报进度情况。 但是,产品团队鼓励你使用我们推荐的工具(如阻止列表)更快地自行缓解问题。 请参阅缓解 Azure AI 内容安全中的错误结果

文本审查 API

是否可以增加文本审查的字符上限?

否。 目前,文本审查任务的字符数提交上限为 10k。 但是,你可以将较长的文本内容拆分为多个片段(例如,基于标点符号或间距),并将每个片段作为相关任务提交给内容安全 API。

自定义类别

是否可以在定义自己的自定义类别中检测有害内容?

是的,可以使用 Azure AI 内容安全自定义类别(标准)API 创建类别、上传示例并训练服务以检测类似的内容。 自定义类别可用于文本和图像审查。

如何处理自定义类别的训练以确保数据安全?

自定义类别的训练过程从将数据上传到专用 Blob 存储容器开始。 然后,向 Blob 授予对 Azure AI 内容安全资源的访问权限。 训练开始后,数据将在严格控制之下进行暂时存储,并在 48 小时后自动删除。

经过训练的模型存储在哪里,配备了哪些安全措施?

经过训练的模型将受到保护,从而使组织和所选区域对其保持独占性。这可以确保它们不会与其他组织共享,从而保持机密性和数据完整性。 模型存储在具有多层加密的 Microsoft 存储中, 并采用客户管理的密钥 (CMK) 来增强安全性。

对于自定义类别的访问控制和授权,特别是如果目标是向不同部门或最终用户提供自定义类别,应采取哪些措施?

为了提升安全性和对访问的控制,尤其是考虑到对 API 密钥使用的担忧,你可以采用多层方法,例如禁用基于密钥的访问的本地身份验证:禁用依赖于 API 密钥的本地身份验证方法可以防止未经授权的访问,并降低凭据泄露的风险。 这可确保用户和应用程序通过更安全的托管标识解决方案(如 Microsoft Entra ID)进行身份验证。

你还可以探索更精细的访问控制以支持部门性或特定于用户的配置,从而允许组织内不同组的自定义权限和安全访问。 这将确保每个部门或用户组都可以安全地管理和访问其自定义类别,而不会损害整体安全性。

我遇到了每个服务部署最多只能有三个自定义类别的限制。 是否有任何计划或选项可以增加该配额?

是的,用户可以请求增加特定服务部署的自定义类别配额。 向我们发送电子邮件来说明所需的配额量,我们的团队将审查你的请求,并尽可能满足你的需求。