识别潜在危害

  • 5 分钟

负责任生成式 AI 过程的第一个阶段是识别可能影响计划解决方案的潜在危害。 此阶段包含四个步骤，如下所示：

Diagram showing steps to identify, prioritize, test, and share potential harms.

  1. 识别潜在危害
  2. 确定已识别危害的优先级
  3. 测试并验证优先的危害
  4. 记录并共享已验证的危害

1：识别潜在危害

与生成式 AI 解决方案相关的潜在危害取决于多种因素，包括用于生成输出的特定服务和模型，以及用于自定义输出的任何微调或基础数据。 生成式 AI 解决方案中的一些常见潜在危害类型包括：

  • 生成具有攻击性、贬义性或歧视性的内容。
  • 生成包含不准确事实的内容。
  • 生成鼓励或支持非法或不道德行为或做法的内容。

若要完全了解解决方案中服务和模型的已知限制和行为，请参阅可用文档。 例如，Azure OpenAI 服务包括透明度说明，可用于了解与服务及其包含的模型相关的特定注意事项。 此外，各模型开发人员可能会提供相应的文档，例如 GPT-4 模型的 OpenAI 系统卡。

请考虑查看 Microsoft 负责任 AI 影响评估指南中的指南，并使用关联的负责任 AI 影响评估模板来记录潜在的危害。

2：确定危害的优先级

对于已确定的每个潜在危害，请评估其发生的可能性以及由此产生的影响程度（如果存在）。 然后，使用此信息优先处理最可能且影响最大的危害。 此优先级排序将使你能够专注于查找和缓解解决方案中最有害的风险。

优先级排序必须考虑到解决方案的预期用途以及滥用的可能性，并且可能是主观的。 例如，假设你正在开发一个智能厨房助手，为厨师和业余厨师提供食谱帮助。 潜在的危害可能包括：

  • 该解决方案提供的烹饪时间不准确，导致食物未煮熟，可能导致生病。
  • 当提示时，该解决方案提供了一种致命毒药的配方，这种毒药可以用日常成分制成。

虽然这两种结果都不理想，但你可能会认为，该解决方案支持制造致命毒药的潜力比制造未煮熟食物的潜力具有更大的影响。 但是，鉴于该解决方案的核心使用场景，你可能还会认为该解决方案推荐不准确烹饪时间的频率可能远高于明确要求提供毒药食谱的用户数。 最终优先级确定是开发团队讨论的主题，这可能涉及咨询策略或法律专家，以便充分确定优先级。

3：测试和验证是否存在危害

有了优先级列表后，可以测试解决方案以验证危害是否发生，如果发生，在什么条件下发生。 测试还可能揭示存在以前无法识别的危害，你可以将这些危害添加到列表中。

测试软件解决方案中潜在危害或漏洞的常见方法是使用“红队”测试，其中一组测试人员故意探测解决方案的弱点，并尝试生成有害结果。 前面讨论的智能厨房助手解决方案的示例测试可能包括请求有毒食谱或快速食谱，其中包含应彻底煮熟的成分。 应记录和查看红队的成功情况，以帮助确定使用该解决方案时生成有害输出的现实可能性。

注意

红队判研是一种策略，通常用于查找可能危及软件解决方案完整性的安全漏洞或其他弱点。 通过扩展此方法以从生成式 AI 中查找有害内容，可以实施负责任的 AI 过程，该流程基于并补充了现有的网络安全做法。

若要详细了解生成式 AI 解决方案的红队判研，请参阅 Azure OpenAI 服务文档中的红队判研大型语言模型 (LLM) 简介。

4：记录和共享危害的详细信息

收集证据以支持解决方案中存在潜在危害时，请记录详细信息并与利益干系人共享。 然后，应维护按优先级排列的危害列表，并在确定新的危害时添加到该列表。