你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
本指南介绍如何处理 Azure AI 内容安全模型中的误报和漏报。
当系统错误地将非有害内容标记为有害时，会发生误报;当有害内容未标记为有害时，会发生误报。 请解决这些实例，以确保内容审核过程的完整性和可靠性，包括负责任的生成式 AI 部署。
先决条件
- Azure 订阅 - 免费创建订阅
- 拥有 Azure 订阅后，请在 Azure 门户中创建 Content Safety 资源 ，以获取密钥和终结点。 输入资源的唯一名称，选择订阅，并选择资源组、支持的区域（请参阅上市区域）和支持的定价层。 然后选择“创建”。
检查和验证
进行初步评估，以确认你确实有误报或漏报。 这可能涉及：
- 检查所标记内容的上下文。
- 将标记的内容与内容风险类别和严重性定义进行比较：
- 如果在 Azure OpenAI 中使用 Guardrails 和控件，请参阅 Azure OpenAI 内容筛选文档。
- 如果你使用 Azure AI 内容安全独立 API，请参阅危害类别文档或 Prompt Shields 文档，具体取决于所使用的 API。
自定义严重性设置
如果你的评估确认你发现了误报或漏报，可以尝试自定义严重性设置来缓解该问题。 这些设置取决于所使用的平台。
如果直接使用 Azure AI 内容安全独立 API，请通过根据 API 输出为危害类别设置不同级别的严重性阈值来进行试验。 或者，如果你更喜欢无代码方法，则可以在 Content Safety Studio 或 Azure AI Foundry 的内容安全页中试用这些设置。 可在此处找到说明。
除了调整漏报的严重性级别外，你还可以使用阻止列表。 有关使用阻止列表进行文本审查的详细信息，请参阅使用阻止列表进行文本审查。
基于自己的 RAI 策略创建自定义类别
有时，你可能需要创建一个自定义类别，以确保筛选符合你的特定负责任 AI 策略，因为预构建的类别或内容筛选可能还不够。
请参阅自定义类别文档以使用 Azure AI 内容安全 API 构建你自己的类别。
记录问题并将反馈发送到 Azure
如果在尝试了上述所有步骤后，Azure AI 内容安全仍然无法解决误报或漏报，则可能存在需要进一步关注的策略定义或模型问题。
通过向内容安全支持团队提供以下信息，记录误报和/或漏报的详细信息：
- 对所标记内容的描述。
- 发布内容的上下文。
- Azure AI 内容安全给出的标记原因（如果为误报）。
- 关于内容为何是误报或漏报的解释。
- 已通过调整严重性设置或使用自定义类别尝试的任何调整。
- 所标记内容和系统响应的屏幕截图或日志。
本文档提供了将问题上报到相应团队进行解决的帮助信息。