通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

在 Azure OpenAI Studio 中使用风险和安全监视（预览版）

  • 项目

当你使用带有内容筛选器的 Azure OpenAI 模型部署时，可能需要检查筛选活动的结果。 可以使用这些信息进一步调整筛选器配置，以满足特定业务需求和负责任 AI 原则。

Azure OpenAI Studio 为使用内容筛选器配置的每个部署提供风险和安全监视仪表板。

访问风险和安全监视信息

若要访问风险和安全监视信息，需要在某个受支持的 Azure 区域中部署 Azure OpenAI 资源：美国东部、瑞士北部、法国中部、瑞典中部、加拿大东部。 还需要一个使用内容筛选器配置的模型部署。

转到 Azure OpenAI Studio 并使用与 Azure OpenAI 资源关联的凭据登录。 选择左侧的“部署”选项卡，然后从列表中选择你的模型部署。 在部署的页面上，选择顶部的“风险和安全性”选项卡。

内容检测

“内容检测”窗格会显示有关内容筛选器活动的信息。 将按照内容筛选文档中的说明应用内容筛选器配置。

报表说明

内容筛选数据按以下方式显示：

  • 阻止的请求总数和阻止率：此视图显示在不同时间筛选的内容数量和比率的全局视图。 这可以帮助你了解用户发出的有害请求的趋势及查看任何意外活动。
  • 按类别阻止的请求：此视图按每个类别显示阻止的内容数量。 这是所选时间范围内有害请求的整体统计信息。 目前它支持仇恨、性、自残和暴力等危害类别。
  • 按类别显示的不同时间阻止率：此视图显示不同时间每个类别的阻止率。 目前它支持仇恨、性、自残和暴力等危害类别。
  • 按类别显示的严重性分布：此视图显示在整个选定时间范围内针对每个危害类别检测到的严重性级别。 这并不局限于被阻止的内容，还包括内容筛选器标记的所有内容。
  • 按类别显示的不同时间严重性比率分布：此视图显示在不同时间针对每个危害类别检测到的严重性级别比率。 选择选项卡可在支持的类别之间切换。

风险和安全监视页中内容检测窗格的屏幕截图。

调整内容筛选器配置，以进一步符合业务需求和负责任 AI 原则。

潜在滥用用户检测

“潜在滥用用户检测”窗格利用用户级别的滥用报告来显示有关其行为导致内容被阻止的用户的信息。 目标是帮助你了解有害内容的来源，以便可以采取应对措施来确保以负责任的方式使用模型。

若要使用潜在滥用用户检测，则需要：

  • 应用于部署的内容筛选器配置。
  • 必须在聊天完成请求中发送用户 ID 信息（例如，请参阅“完成 API”的用户参数）。

    注意

    使用 GUID 字符串识别单个用户。 不要在“用户”字段中包含敏感个人信息。

  • 将 Azure 数据资源管理器数据库设置用于存储用户分析结果（下面的说明）。

设置 Azure 数据资源管理器数据库

为了保护用户信息的数据隐私并管理数据的权限，我们支持客户选择自带存储，以便以合规且完全可控的方式获取详细的潜在滥用用户检测见解（包括按类别统计的有害请求的用户 GUID 和数据）。 若要启用该功能，请执行下列步骤：

  1. 在 Azure OpenAI Studio 中，导航到想要设置用户滥用分析的模型部署，然后选择“添加数据存储”。
  2. 填写所需的信息，然后选择“保存”。 建议创建新的数据库来存储分析结果。
  3. 连接数据存储后，请执行以下步骤，授予将分析结果写入已连接数据库的权限：
    1. 在 Azure 门户中转到 Azure OpenAI 资源的页面，然后选择“标识”选项卡。
    2. 将系统分配的标识状态改为“打开”，并复制生成的 ID。
    3. 转到 Azure 门户中的 Azure 数据资源管理器资源，选择“数据库”，然后选择为存储用户分析结果而创建的特定数据库。
    4. 选择“权限”，并将“管理员”角色添加到数据库。
    5. 粘贴在前面的步骤中生成的 Azure OpenAI 标识，然后选择搜索的标识。 现在，Azure OpenAI 资源的标识已有权读取/写入存储帐户。
  4. 向需要查看分析结果的用户授予访问 Azure 数据资源管理器数据库的权限：
    1. 转到已连接的 Azure 数据资源管理器资源，选择“访问控制”，并为需要访问结果的用户添加 Azure 数据资源管理器群集的“读取者”角色。
    2. 选择“数据库”并选择连接到的特定数据库，该数据库用于存储用户级滥用分析结果。 选择“权限”并为需要访问结果的用户添加该数据库的“读取者”角色。

报表说明

潜在滥用用户检测依赖于客户通过 Azure OpenAI API 调用发送的用户信息以及请求内容。 将显示以下见解：

  • 潜在滥用用户总数：此视图显示在不同时间检测到的潜在滥用用户的数量。 这些用户是指检测到了其滥用模式，并且可能会导致高风险的用户。
  • 潜在滥用用户列表：此视图是检测到的潜在滥用用户的详细列表。 它提供每个用户的以下信息：
    • UserGUID：这是客户通过 Azure OpenAI API 中的“user”字段发送的。
    • 滥用分数：这是模型分析每个用户的请求和行为后生成的数字。 分数规范化为 0-1。 高分数表示滥用风险较高。
    • 滥用分数趋势：滥用分数在所选时间范围内的变化。
    • 评估日期：分析结果的日期。
    • 滥用请求比例/计数
    • 按类别划分的滥用比例/计数

“风险与安全”监视页中“潜在滥用用户检测”窗格的屏幕截图。

将此数据与扩充的信号相结合，验证检测到的用户是否真正滥用。 如果是，则采取响应性操作，例如限制或暂停用户，以确保用户负责任地使用应用程序。

后续步骤

接下来，在 Azure OpenAI Studio 中创建或编辑内容筛选器配置。