本文介绍如何使用特定于保护 AI 应用的功能以及它们与之交互的数据。
- 在用户提示和 AI 生成的数据中保护敏感数据
- 防御新出现的威胁，如提示注入
这是系列中的第三篇文章。 如果尚未完成“ 准备 AI 安全性 ”和 “发现 AI 应用和数据”中的任务，请从以下文章开始，使用本文中规定的功能来准备环境。
将此文章与此资源一起使用：
- 适用于 AI 的云采用框架 （CAF） - 保护 AI 的过程
Microsoft提供了用于保护 AI 应用和数据的广泛功能。 本文讨论这两个类别-数据保护和威胁防护。
以下两个表描述了此图，并逐步讲解了实现这些功能的步骤。
表 1 - 数据保护功能
| 步骤 | 任务 | 范围 |
|---|---|---|
| 1 | 应用 SharePoint 过度共享控制，以快速将敏感网站和数据排除在 AI 应用的范围之外。 | Microsoft 365 环境中的站点和文件。 |
| 2 | 使用适用于 AI 的数据安全状况管理（DSPM）了解过度共享的位置，并找出敏感度标签和 DLP 策略的策略覆盖范围差距。 | 使用第三方大型语言模块 (LLM)（包括 支持的 AI 站点）的 Copilot、代理和其他 AI 应用。 通过 Purview SDK 在其他云提供商中使用的 AI 应用。 |
| 3 | 继续在敏感度标签和数据丢失防护（DLP）策略上取得进展。 | Microsoft 365 环境中的站点、文件和设备。 与 Defender for Cloud 应用集成时的 SaaS 应用程序。 通过 Purview SDK 在 Azure 和其他云提供商中使用 AI 应用。 |
| 4 | 在内部风险管理（IRM）中，应用 Risky AI 模板来识别 AI 应用中的风险行为。 | 生成式人工智能网站 Microsoft 365 Copilot、Microsoft Copilot、Copilot Studio、Azure AI 服务。 通过 Purview SDK 在其他云提供商中使用的 AI 应用。 |
| 5 | 配置 Insider Risk Management 的自适应保护，以根据用户的风险提高对数据的保护 | Microsoft 365 环境中的站点、文件和设备。 |
表 2 - 威胁防护功能
| 步骤 | 任务 | 范围 |
|---|---|---|
| 1 | 使用 Defender for Cloud Apps 在使用新的 AI 应用时发出警报，计算 AI 应用的风险分数，以及允许或阻止环境中的这些应用。 Defender for Cloud Apps 为 Microsoft 365 Copilot 提供额外的保护。 | SaaS AI 应用 |
| 2 | Defender for Cloud (云服务防御者) 在环境中发现已部署的 AI 工作负载，并使用 Microsoft Defender for Cloud 获取安全见解 |
基于 Azure AI 定制 AI 应用程序 |
保护 AI 数据
这些功能可帮助你有效地了解和缓解与数据过度共享、敏感数据使用和用户风险行为相关的最高风险。 这些功能的范围是针对环境中的 AI 应用和数据的保护。
步骤 1 - 应用 SharePoint 过度共享控件
SharePoint 过度共享控制包括内置于 SharePoint 中的控件（如作用域权限）和 SharePoint 高级管理中的附加功能，以加强 Microsoft Copilot 部署过程的内容治理。 SharePoint 过度共享控制功能可帮助你：
- 暂时将 Copilot 搜索限制为您指定的网站列表（受限 SharePoint 搜索）。
- 快速识别可能包含过度共享数据或敏感数据（数据访问治理报告）的网站。
- 标记网站，以便用户无法通过 Copilot 或组织范围的搜索（SharePoint 高级管理中的受限内容发现）找到它们。
- 创建非活动网站策略以自动管理和减少非活动网站（SharePoint 高级管理）。
- 将对 SharePoint 和 OneDrive 网站的访问权限限制为特定组中的用户（SharePoint 高级管理中的受限访问控制策略）。
要开始使用过度共享控制措施，请利用以下资源。
| 任务 | 推荐的资源 |
|---|---|
| 查看可与 Microsoft 365 Copilot 一起使用的过度共享控制措施的图示和说明 | Microsoft 365 Copilot 数据保护和审核体系结构 |
| 用于防止过度共享的可下载蓝图 | Microsoft 365 Copilot 过度共享蓝图 |
| 了解 SharePoint 高级管理 | Microsoft SharePoint 高级版 - SharePoint 高级管理概述 |
步骤 2- 通过 DSPM for AI 保护数据
使用 DSPM for AI 了解发生过度共享的位置，并找出敏感度标签和 DLP 策略的策略覆盖范围差距。
从本周评估报告开始是一个好的起点。
你可以深入研究单个报告，了解有关过度共享控制、标签和 DLP 策略中哪些地方存在差距的更多信息，以便你可以快速修复这些问题。
对于每个报表，DSPM for AI 提供了改进数据安全性的建议。 使用导航窗格中 的“查看所有建议 ”链接或 “建议 ”以查看租户的所有可用建议及其状态。
使用以下资源通过 DSPM for AI 保护 AI 应用和数据。
| 任务 | 推荐的资源 |
|---|---|
| 了解适用于 AI 的 DSPM | 如何使用 DSPM for AI |
| 了解先决条件以及一键式策略和默认策略的工作原理 | 适用于 AI 的 DSPM 的注意事项 |
| 对于其他云提供商中的 AI 应用，了解如何使用 Purview SDK 测试与 DSPM for AI 的集成 | 如何测试与 Purview SDK 集成的 AI 应用程序 |
步骤 3 - 继续识别敏感度标签和 DLP 策略中的差距
在 “准备 AI 安全性”中，你使用了 Microsoft Purview 数据安全状况管理工具、DSPM 和 DSPM for AI，以优先保护敏感数据。 继续重新访问这些工具，以确定策略覆盖范围中的差距，并发现需要继续投资应用敏感度标签和 DLP 策略的位置。 此外，使用 Defender for Cloud Apps 将敏感度标签和 DLP 策略扩展到 SaaS 应用。
使用以下资源在 Microsoft Purview 中取得进展。
| 任务 | 推荐的资源 |
|---|---|
| 了解信息保护的建议部署策略 | 使用 Microsoft Purview 部署信息保护解决方案 |
| 使用 Defender for Cloud Apps 将敏感度标签和 DLP 策略扩展到 SaaS 应用 | 为 SaaS 应用程序部署信息保护 |
| 定义将保护组织的数据的敏感度标签和策略 | 开始使用敏感度标签 创建和配置敏感度标签及其策略 使用敏感度标签限制对内容的访问以应用加密 |
| 为 Microsoft 365 应用和服务标记和保护数据 | 管理 Office 应用中的敏感度标签 启用 SharePoint 和 OneDrive 中文件的敏感度标签 |
| 优化 DLP 策略 | 创建和部署数据丢失防护策略 |
| 对于在 Auzre 或其他云提供商中开发的 AI 应用，了解如何使用 Purview SDK 应用敏感度标签和 DLP 策略 | 什么是 Purview SDK 使用 Microsoft Graph Purview API 如何测试与 Purview SDK 集成的 AI 应用程序 |
步骤 4 - 在内部风险管理 (IRM) 中应用风险 AI 模板
Microsoft Purview 内部风险管理 (IRM) 包括可应用于您的环境的预定义策略模板，其中包括风险性 AI 使用。 IRM 模板是预定义的策略条件，用于定义策略使用的风险指示器和风险评分模型的类型。
风险 AI 使用策略可以对组织中各个 AI 工具的提示和响应帮助检测并启用风险评分。 IRM 可帮助你调查并采取措施处理与 AI 相关的风险活动。
使用以下资源开始使用 Insider Risk Management 并应用 Risky AI 使用策略模板。
| 任务 | 推荐的资源 |
|---|---|
| 开始使用内部风险管理并了解对组织有利的最佳方案 | 了解内部风险管理 |
| 应用有风险的 AI 模板 | 了解内部风险管理策略模板 |Microsoft Learn |
| 了解 AI 的关键方案并查看示例报告 | 内部风险管理有助于了解风险 AI 使用情况并进行安全调查 |
| 对于使用 Purview SDK 开发的 AI 应用，请测试 Insider Risk Management 集成 | 如何测试与 Purview SDK 集成的 AI 应用程序 |
步骤 5 - 为内部风险管理配置自适应保护
在 Microsoft Purview 内部风险管理中，自适应保护会动态地向用户分配风险级别，然后对具有中等或更高风险的用户应用您创建的策略。 策略可以实施增加的数据丢失防护作、保留已删除的内容或强制实施更高的条件访问要求。
使用以下资源开始使用自适应保护。
| 任务 | 推荐的资源 |
|---|---|
| 开始使用内部风险管理并了解对组织有利的最佳方案 | 了解内部风险管理 |
| 了解 AI 的关键方案并查看示例报告 | 内部风险管理有助于了解风险 AI 使用情况并进行安全调查 |
| 应用有风险的 AI 模板 | 了解内部风险管理策略模板 |
| 调查内部风险活动并采取行动 | 调查内部风险管理活动 对内部风险管理案例采取行动 |
充分利用 AI 的威胁防护
Defender for Cloud Apps 和 Defender for Cloud 包括让你了解新的 AI 应用使用情况和应用适当控件的功能。
步骤 1 - 使用 Defender for Cloud Apps 对 AI 应用进行会审和保护使用
本系列中的上一篇文章“ 发现 AI 应用”和数据，重点介绍如何使用 Defender for Cloud Apps 发现环境中的 AI 应用。 本文鼓励组织使用 Defender for Cloud Apps，通过评估这些应用对环境构成的风险，允许使用或阻止这些应用，以及对应用施加会话控制，以保持对新的 AI 应用使用的了解。
首先，创建一个策略，以在组织中使用新的 Generate AI 应用时自动触发警报。
接下来，评估新发现应用的风险分数。 还可以自定义风险评分。 例如，高度管控的组织可能想要更改风险评分的特定属性的权重。 还可以替代风险分数。
决定是否批准或阻止每个应用。 组织可能会出于各种原因选择阻止使用应用。 一些人担心，敏感数据将不知不觉地与应用程序共享，稍后向组织外部的受众公开。 这可能导致组织阻止使用所有非托管 AI 应用。 虽然其他组织需要确保正在使用的所有应用都符合不同的标准，例如 SOC2 或 HIPAA。
最后，对于你批准的应用，决定是否要应用会话策略以提高控制和可见性。 会话策略允许将参数应用于组织使用云应用的方式。 例如，可以配置仅允许托管设备访问 AI 应用的会话策略。 一个更简单的示例是配置策略以监视来自非托管设备的流量，以便在应用更严格的策略之前分析此流量的风险。
在此图中：
- 从组织中的用户和设备访问批准的云应用是通过Defender for Cloud Apps路由的，其中会话策略可应用于特定应用。
- 尚未批准或明确未批准的云应用不会受到影响。
Defender for Cloud Apps 还提供针对 Microsoft 365 Copilot 的专用检测。 安全团队可以检测用户与 Copilot 的可疑交互，并做出响应并缓解威胁。 例如，当用户通过 Copilot 从有风险的 IP 地址访问敏感数据时，Defender for Cloud Apps 会触发警报来标记此可疑活动，其中包含重要详细信息，包括 MITRE 攻击技术、IP 地址和安全团队可用于进一步调查此警报的其他字段。
将以下资源用作后续步骤。
| 任务 | 推荐的资源 |
|---|---|
| 查看此 Defender for Cloud Apps 部署流程中的步骤 5-8 | 发现和管理云应用 |
| 查看有关管理应用的此视频教程 | 使用 Defender for Cloud Apps 发现哪些生成式AI应用在您的环境中被使用 - YouTube |
| 创建应用发现策略 | 创建云发现策略 |
| 评估新发现应用的风险分数 | 云应用目录和风险分数 |
| 批准或禁止新应用 | 管理发现的应用 |
| 将会话策略应用于 AI 应用，以增强控制和可见性 | 创建会话策略 |
| 了解如何对 Microsoft 365 Copilot 使用威胁防护 | Microsoft Copilot for Microsoft 365 的新威胁检测 |
步骤 2 - 在 Defender for Cloud 中应用 AI 保护
本系列文章《发现 AI 应用和数据》中的前一篇文章侧重于发现环境中运行的生成 AI 工作负载和模型。 本文重点介绍在生成和使用自定义 AI 应用时，在整个应用程序生命周期内保护 GenAI 应用程序。
组织正在选择开发新的 GenAI 应用程序并将 AI 嵌入到现有应用程序中，以提高业务效率和工作效率。 攻击者越来越多地希望利用应用程序来改变 AI 模型的设计目的，并受到新的攻击，例如提示注入、钱包攻击、模型盗窃和数据中毒，同时越来越容易受到已知风险（如数据泄露和拒绝服务）的影响。 安全团队需要做好准备，并确保他们对 AI 应用程序和检测具有适当的安全控制措施，以应对新的威胁环境。
Microsoft Defender for Cloud 可帮助组织从代码到云保护其混合和多云环境。 Defender for Cloud 包括安全态势和威胁防护功能，使组织能够在整个应用程序生命周期内保护其企业生成的 GenAI 应用程序：
- 持续发现自代码至云端的 GenAI 应用组件和 AI 工件。
- 使用内置建议探索并修正 GenAI 应用程序的风险，以加强安全态势。
- 使用攻击路径分析识别和修正 GenAI 应用程序中的有毒组合。
- 利用由 Azure AI 内容安全提示屏蔽、Microsoft 威胁情报信号和上下文活动监视提供支持的 GenAI 应用程序进行检测。
- 通过与 Microsoft Defender 的内置集成，在 GenAI 应用中搜寻和调查攻击。
从 Defender 云安全状况管理（CSPM）中的 AI 安全状况管理功能开始。 Defender CSPM 可以自动且持续地发现已部署的 AI 工作负载，并且无需代理，即可细粒度地查看 Azure OpenAI 服务、Azure 机器学习和 Amazon Bedrock 等 AI 服务中使用的 AI 模型、SDK 和技术的状态和配置。
CSPM 持续发现带有上下文的安全问题，并提供基于风险的安全建议，旨在优先解决 AI 工作负载中的关键差距。 相关安全建议也显示在 Azure 门户中的 Azure OpenAI 资源本身中，为开发人员或工作负荷所有者提供直接访问建议并帮助更快地修正建议。
攻击路径分析功能可以识别 AI 工作负载中复杂的风险，包括数据安全场景，即基础数据或微调数据因横向移动而暴露在互联网中，并易受数据中毒的影响。
接下来，在运行时使用威胁防护确保 AI 工作负载的安全。 Defender for Cloud 包括 AI 工作负载的威胁防护。 AI 威胁防护使用原生集成的 Azure OpenAI 服务、Azure AI 内容安全提示防护和 Microsoft 威胁智能来提供具有上下文和可执行的安全警报。 AI 工作负载的威胁防护允许安全团队在运行时监视其 Azure OpenAI 提供支持的应用程序，以监视与直接和直接提示注入攻击、敏感数据泄漏和数据中毒以及钱包滥用或拒绝服务攻击相关的恶意活动。
使用以下资源执行后续步骤。
| 任务 | 推荐的资源 |
|---|---|
| 查看此博客中所描述的最重要的情景 | 使用 Microsoft Defender for Cloud 保护生成 AI 应用程序 |
| 使用 CSPM 深入了解环境中的 AI 风险 | 使用 Defender CSPM 保护资源 查看数据和 AI 安全仪表板（预览版） |
| 启用对 AI 工作负载的威胁防护（预览版） | 为 AI 工作负载启用威胁防护（预览版） AI 工作负载警报（预览版） |
保护 AI 的下一步
保护组织中的 AI 应用和数据后，下一步是治理 AI 应用以满足法规合规性要求：
- 根据法规来评估和增强合规性态势。
- 实现控制来控制 AI 应用和数据的使用。
请参阅本系列中的下一篇文章： 如何治理 AI 以符合性？