在 Microsoft Purview 中连接到Azure Data Lake Storage
本文内容
支持的功能
先决条件
注册
扫描
数据共享
策略
后续步骤
显示另外 3 个
本文概述了在 Microsoft Purview 中注册和管理Azure Data Lake Storage (ADLS Gen2) 数据源的过程,包括对 ADLS Gen2 源进行身份验证和交互的说明。
展开表
元数据提取
完整扫描
增量扫描
作用域扫描
分类
标记
访问策略
世系沿袭
数据共享
实时视图
是
是
是
是
是
是
是 (预览版)
有限*
是
是
*
如果将数据集用作 数据工厂 或 Synapse 管道 中的源/接收器,则支持沿袭。
扫描Azure Data Lake Storage Gen2源时,Microsoft Purview 支持提取技术元数据,包括:
存储帐户
Data Lake Storage Gen2服务
文件系统 (容器)
Folders
文件
资源集
设置扫描时,可以选择扫描整个 ADLS Gen2 或选择性文件夹。
在此处 了解支持的文件格式。
通过本部分,可以在 Purview 中注册用于扫描和数据共享的 ADLS Gen2 数据源。
在设置数据源扫描之前,请务必在 Microsoft Purview 中注册数据源。
通过以下方式转到 Microsoft Purview 治理门户:
导航到 数据映射 --> 源
使用“ 集合 ”菜单创建 “集合” 层次结构,并根据需要向各个子集合分配权限
导航到“ 源 ”菜单下的相应集合,然后选择“ 注册 ”图标以注册新的 ADLS Gen2 数据源
选择Azure Data Lake Storage Gen2 数据源,然后选择“继续 ”
为数据源提供合适的名称 ,选择相关的 Azure 订阅 、现有的 Data Lake Store 帐户名称和 集合 ,然后选择“应用 ”。 在有机会仔细阅读本文档之前 ,将“数据策略强制实施 ”开关保留在禁用 位置上。
ADLS Gen2 存储帐户将显示在所选集合下
Azure 网络可能允许 Azure 资源之间的通信,但如果已在 Azure 中设置了防火墙、专用终结点或虚拟网络,则需要遵循以下配置之一。
展开表
网络约束
集成运行时类型
可用凭据类型
无专用终结点或防火墙
Azure IR
托管标识 (建议的) 、服务主体或帐户密钥
已启用防火墙,但没有专用终结点
Azure IR
托管标识
已启用专用终结点
*自承载 IR
服务主体、帐户密钥
可以使用两种类型的托管标识:
系统分配的托管标识 (建议) - 创建 Microsoft Purview 帐户后,系统分配的托管标识 (SAMI) 会在Microsoft Entra租户中自动创建。 根据资源类型,Microsoft Purview 系统分配的托管标识需要特定的 RBAC 角色分配 (SAMI) 来执行扫描。
用户分配的托管标识 (预览) - 与系统托管标识类似,用户分配的托管标识 (UAMI) 是一种凭据资源,可用于允许 Microsoft Purview 针对Microsoft Entra ID进行身份验证。 有关详细信息,请参阅 我们的用户分配托管标识指南 。
请务必向 Microsoft Purview 帐户或用户分配的托管标识 (UAMI 授予扫描 ADLS Gen2 数据源的权限) 。 可以添加Microsoft Purview 帐户的系统分配托管标识 (该标识与订阅、资源组或资源级别的 Microsoft Purview 帐户) 或 UAMI 同名,具体取决于所需的级别扫描权限。
备注
需要是订阅的所有者才能在 Azure 资源上添加托管标识。
从Azure 门户 查找订阅、资源组或资源 (,例如,要允许目录扫描的Azure Data Lake Storage Gen2存储帐户) 。
在左侧导航栏中选择“访问控制 (IAM) ”,然后选择“+ 添加” ->“添加角色分配 ”
将“角色 ”设置为“存储 Blob 数据读取者 ”,并在“选择 输入”框下输入Microsoft Purview 帐户名称 或用户分配的托管标识 。 然后,选择“ 保存 ”,将此角色分配分配给 Microsoft Purview 帐户。
备注
如果为存储帐户启用了防火墙,则必须在设置扫描时使用 托管标识 身份验证方法。
在 Azure 门户 中转到 ADLS Gen2 存储帐户
导航到 “安全性 + 网络 > 网络”
在“允许从中访问 ”下选择“所选网络 ”
在 “例外” 部分中,选择“ 允许受信任的Microsoft服务访问此存储帐户 ”,然后单击“ 保存”
选择的身份验证方法是 “帐户密钥” 时,需要获取访问密钥并将其存储在密钥保管库中:
导航到 ADLS Gen2 存储帐户
选择 “安全性 + 网络 > 访问密钥”
复制 密钥 并单独保存,以便执行后续步骤
导航到密钥保管库
选择 “设置 > 机密 ”,然后选择“ + 生成/导入
输入“名称” 和“值 ”作为存储帐户中的密钥
选择“ 创建” 以完成
如果密钥保管库尚未连接到 Microsoft Purview,则需要 创建新的密钥保管库连接
最后,使用密钥 创建新凭据 以设置扫描
如果需要创建新的服务主体 ,则需要在Microsoft Entra租户中注册应用程序,并提供对数据源中的服务主体的访问权限。 Microsoft Entra应用程序管理员可以执行此操作。
复制已创建的服务主体 概述 中存在的应用程序 (客户端) ID
授予服务主体对 ADLS Gen2 帐户的访问权限
请务必向服务主体授予扫描 ADLS Gen2 数据源的权限。 可以根据所需的级别扫描权限,在订阅、资源组或资源级别添加对服务主体的访问权限。
备注
需要是订阅的所有者才能在 Azure 资源上添加服务主体。
从Azure 门户 查找订阅、资源组或资源 (,例如,要允许目录扫描的Azure Data Lake Storage Gen2存储帐户) 。
在左侧导航栏中选择“访问控制 (IAM) ”,然后选择“+ 添加” ->“添加角色分配 ”
将“角色 ”设置为“存储 Blob 数据读取者 ”,并在“选择 输入”框下输入服务主体 。 然后,选择“ 保存 ”,将此角色分配分配给 Microsoft Purview 帐户。
打开 Microsoft Purview 帐户 ,然后选择 “打开Microsoft Purview 治理门户
导航到 数据映射 -->源 以查看集合层次结构
选择之前注册的 ADLS Gen2 数据源 下的“新建扫描 ”图标
如果源可公开访问,请选择 Azure 集成运行时;使用 托管虚拟网络时选择托管虚拟网络集成运行时 ;如果源位于专用虚拟网络中,则选择自承载集成运行时。 有关要使用的集成运行时的详细信息,请参阅 选择正确的集成运行时配置一文。
提供扫描 的名称 ,在“ 凭据 ”下选择系统分配或用户分配的托管标识,为扫描选择适当的集合,然后选择“ 测试连接 ”。 成功连接后,选择“ 继续 ”。
提供扫描 名称 ,根据配置选择 Azure IR 或 Self-Hosted IR,为扫描选择适当的集合,然后在凭据下选择“ + 新建 ”。
选择“ 帐户密钥 ”作为身份验证方法,然后选择相应的 Key Vault 连接 ,并提供用于存储帐户密钥的机密的名称。 然后选择“创建 ”
选择“ 测试连接 ”。 成功连接后,选择“继续 ”
提供扫描名称 ,根据配置选择 Azure IR 或 Self-Hosted IR,为扫描选择适当的集合,然后在“凭据 ”下选择“+ 新建 ”
选择相应的 Key Vault 连接 以及创建服务主体 时使用的机密名称 。
服务主体 ID 是前面复制的应用程序 (客户端) ID 。
选择“ 测试连接 ”。 成功连接后,选择“继续 ”
可以通过在列表中选择相应的项目,将扫描范围限定为特定的文件夹和子文件夹。
然后选择扫描规则集。 可以在系统默认规则集和现有自定义规则集之间进行选择,也可以内联创建新的规则集。
如果创建新的 扫描规则集 ,请选择要包含在扫描规则中的 文件类型 。
可以选择要包含在扫描 规则中的分类 规则
选择扫描触发器。 可以设置计划或运行扫描一次。
查看扫描并选择“ 保存并运行 ”。
查看现有扫描:
转到 Microsoft Purview 门户。 在左窗格中,选择“ 数据映射 ”。
选择数据源。 可以在“最近扫描”下查看该数据源上的现有 扫描 列表,也可以在“扫描”选项卡上查看所有 扫描 。
选择要查看的结果的扫描。 窗格显示之前的所有扫描运行,以及每个扫描运行的状态和指标。
选择运行 ID 以检查扫描运行详细信息 。
若要编辑、取消或删除扫描,请执行以下操作:
转到 Microsoft Purview 门户。 在左窗格中,选择“ 数据映射 ”。
选择数据源。 可以在“最近扫描”下查看该数据源上的现有 扫描 列表,也可以在“扫描”选项卡上查看所有 扫描 。
选择要管理的扫描。 然后,可以:
通过选择“编辑扫描 ”来编辑扫描 。
选择“取消扫描运行”, 取消正在进行的扫描 。
通过选择“删除扫描” 来删除扫描 。
Microsoft Purview 数据共享 (预览) 允许就地共享从 ADLS Gen2 到 ADLS Gen2 的数据。 本部分提供有关就地共享和接收数据的 ADLS Gen2 特定要求的详细信息。 有关如何使用 数据共享 的分步指南,请参阅如何共享数据和 如何接收 共享。
就地数据共享支持以下存储帐户:
区域:加拿大中部、加拿大东部、英国南部、英国西部、澳大利亚东部、日本东部、韩国南部和南非北部
冗余选项:LRS、GRS、RA-GRS
层:热层、冷层
仅对预览版使用没有生产工作负荷的存储帐户。
备注
源和目标存储帐户必须彼此位于同一区域。 它们不需要与 Microsoft Purview 帐户位于同一区域。
若要向共享添加或更新存储帐户资产,需要以下权限之一:
Microsoft.Authorization/roleAssignments/write - 此权限在 所有者 角色中可用。
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/modifyPermissions/ - 此权限在 Blob 存储数据所有者 角色中可用。
若要映射收到的共享中的存储帐户资产,需要以下权限之一:
Microsoft.Storage/storageAccounts/write - 此权限在 “参与者” 和“ 所有者” 角色中可用。
Microsoft.Storage/storageAccounts/blobServices/containers/write - 此权限在“参与者”、“ 所有者 ”、“存储 Blob 数据参与者” 和“存储 Blob 数据所有者” 角色中可用。
对源存储帐户中共享文件夹中的共享文件或数据的汇报将准实时提供给目标存储帐户中的收件人。 删除共享文件夹中的子文件夹或文件时,它们将消失给收件人。 若要删除共享文件夹、文件或父文件夹或容器,需要首先从源存储帐户撤销对所有共享的访问权限。
目标存储帐户使收件人能够近乎实时地以只读的方式访问共享数据。 可以将 Synapse Workspace 和 Databricks 等分析工具连接到共享数据以执行分析。 访问共享数据的费用将计入目标存储帐户。
源存储帐户最多可支持 20 个目标,目标存储帐户最多可支持 100 个源。 如果需要提高限制,请联系支持人员。
Microsoft Purview 中,此数据资源支持以下类型的策略:
数据所有者策略 - 一组策略语句,用于授予用户和组对数据源的访问权限。
自助服务访问策略 - 允许用户请求访问注册到 Microsoft Purview 的数据源的策略。
保护策略 - 拒绝所有用户访问使用敏感度标签标记的数据,但策略指定的用户除外。
支持所有 Microsoft Purview 区域 。
支持以下区域中的存储帐户,无需进行其他配置。 但是,不支持区域冗余存储 (ZRS) 帐户。
澳大利亚中部
澳大利亚东部
澳大利亚东南部
巴西南部
加拿大中部
加拿大东部
印度中部
美国中部
东亚
美国东部 2
美国东部
法国中部
德国中西部
日本东部
日本西部
韩国中部
美国中北部
北欧
挪威东部
波兰中部
卡塔尔中部
美国中南部
南非北部
东南亚
印度南部
瑞典中部
瑞士北部
美国中西部
西欧
美国西部
美国西部 2
美国西部 3
阿联酋北部
英国南部
英国西部
设置 功能标志 AllowPurviewPolicyEnforcement 后,支持公有云中其他区域中的存储帐户,如下一部分所述。 如果在设置 功能标志 AllowPurviewPolicyEnforcement 后创建,则支持新创建的 ZRS 存储帐户。
如果需要,可以 按照本指南 操作创建新的存储帐户。
仅在某些区域需要此步骤, (请参阅上一部分) 。 若要启用 Microsoft Purview 来管理一个或多个 Azure 存储帐户的策略,请在要在其中部署 Azure 存储帐户的订阅中执行以下 PowerShell 命令。 这些 PowerShell 命令将使 Microsoft Purview 能够管理该订阅中所有 Azure 存储帐户的策略。
如果要在本地执行这些命令,请确保以管理员身份运行 PowerShell。
或者,可以在 Azure 门户 中使用 Azure Cloud Shell:https://shell.azure.com 。
# Install the Az module
Install-Module -Name Az -Scope CurrentUser -Repository PSGallery -Force
# Login into the subscription
Connect-AzAccount -Subscription <SubscriptionID>
# Register the feature
Register-AzProviderFeature -FeatureName AllowPurviewPolicyEnforcement -ProviderNamespace Microsoft.Storage
如果最后一个命令的输出将 RegistrationState 显示为 Registered ,则你的订阅将启用访问策略。
如果输出为 Registering ,请等待至少 10 分钟,然后重试该命令。
除非 RegistrationState 显示为 Registered ,否则请勿继续 。
在 Microsoft Purview 中注册数据源
在 Microsoft Purview 中为数据资源创建策略之前,必须在 Purview Studio Microsoft 注册该数据资源。 本指南稍后会介绍与注册数据资源相关的说明。
备注
Microsoft Purview 策略依赖于数据资源 ARM 路径。 如果数据资源移动到新的资源组或订阅,则需要取消注册,然后在 Microsoft Purview 中再次注册。
注册资源后,但在 Microsoft Purview 中为该资源创建策略之前,必须配置权限。 需要一组权限才能启用 数据策略强制实施 。 这适用于数据源、资源组或订阅。 若要启用 数据策略强制实施 ,必须 对 资源具有特定的标识和访问管理 (IAM) 特权,以及特定的Microsoft Purview 权限:
必须在资源的 Azure 资源管理器 路径上使用以下 IAM 角色组合之一 ,或者 (的任何父角色组合之一,即使用 IAM 权限继承) :
IAM 所有者
IAM 参与者和 IAM 用户访问管理员
若要配置 Azure 基于角色的访问控制 (RBAC) 权限,请按照 本指南操作 。 以下屏幕截图显示了如何访问数据资源Azure 门户中的“访问控制 ”部分以添加角色分配。
备注
数据资源的 IAM 所有者 角色可以从父资源组、订阅或订阅管理组继承。 检查哪些Microsoft Entra用户、组和服务主体持有或正在继承资源的 IAM 所有者 角色。
如果启用了) 继承,则还需要具有集合或父集合的 Microsoft Purview 数据源管理员 角色 (。 有关详细信息,请参阅 管理 Microsoft Purview 角色分配的指南 。
以下屏幕截图显示了如何在根集合级别分配 数据源管理员 角色。
若要创建、更新或删除策略,需要在根集合级别 获取 Microsoft Purview 中的策略作者 角色:
策略作者 角色可以创建、更新和删除 DevOps 和数据所有者策略。
策略作者 角色可以删除自助服务访问策略。
有关管理 Microsoft Purview 角色分配的详细信息,请参阅在Microsoft Purview 数据映射中创建和管理集合 。
此外,若要在创建或更新策略的主题时轻松搜索Microsoft Entra用户或组,可以在Microsoft Entra ID中获取目录读取者 权限,从而大大受益。 这是 Azure 租户中的用户的常见权限。 如果没有目录读取者权限,策略作者必须键入数据策略主题中包含的所有主体的完整用户名或电子邮件。
如果将 Microsoft Purview 策略作者 和 数据源管理员 角色分配给组织中的不同人员,则数据所有者策略允许进行检查和平衡。 在数据所有者策略生效之前, (数据源管理员 ) 的第二个人必须对其进行查看并通过发布来显式批准该策略。 这不适用于 DevOps 或自助访问策略,因为创建或更新这些策略时,这些策略会自动发布。
若要发布数据所有者策略,需要在根集合级别 获取 Microsoft Purview 中的数据源管理员 角色。
有关管理 Microsoft Purview 角色分配的详细信息,请参阅在Microsoft Purview 数据映射中创建和管理集合 。
备注
若要发布数据所有者策略,必须在根集合级别配置数据源管理员角色。
将访问预配责任委托给 Microsoft Purview 中的角色
为资源启用 数据策略强制实施 后,在根集合级别具有 策略作者 角色的任何Microsoft Purview 用户都可以从 Microsoft Purview 预配对该数据源的访问权限。
备注
任何Microsoft Purview 根 集合管理员可以 将新用户分配到根 策略作者 角色。 任何 集合管理员可以 将新用户分配到集合下的 数据源管理员 角色。 最小化并仔细审查拥有 Microsoft Purview 集合管理员 、 数据源管理员 或 策略作者 角色的用户。
如果删除具有已发布策略的 Microsoft Purview 帐户,这些策略将在依赖于特定数据源的一段时间内停止强制实施。 此更改可能会影响安全性和数据访问可用性。 IAM 中的“参与者”和“所有者”角色可以删除Microsoft Purview 帐户。 可以通过转到 Microsoft Purview 帐户的“访问控制 (IAM) ”部分并选择“角色分配 ”来检查这些权限。 还可以使用锁来防止通过资源管理器锁删除 Microsoft Purview 帐户。
在 Microsoft Purview 中注册数据源以实施数据策略
必须先将 Azure 存储资源注册到 Microsoft Purview,然后才能创建访问策略。
若要注册资源,请遵循本指南的 先决条件 和 注册 部分:
注册数据源后,需要启用数据策略强制实施。 在数据源上创建策略之前,这是一个先决条件。 数据策略强制实施可能会影响数据的安全性,因为它委托给管理对数据源访问权限的某些 Microsoft Purview 角色。
在本指南:如何启用数据策略强制实施中浏览与数据 策略强制 相关的安全做法
数据源将 “数据策略强制” 选项设置为 “已启用” 后,如下所示:
若要为Azure Data Lake Storage Gen2创建访问策略,请按照以下指南操作:
若要创建涵盖资源组或 Azure 订阅内所有数据源的策略,可参阅 此部分 。
保护访问控制策略 (保护策略) 使组织能够跨数据源自动保护敏感数据。 Microsoft Purview 已扫描数据资产并标识敏感数据元素,并且此新功能允许使用Microsoft Purview 信息保护的敏感度标签自动限制对该数据的访问。
按照以下文档创建保护策略:如何创建Microsoft Purview 信息保护策略。
按照以下指南详细了解Microsoft Purview 和数据。