Microsoft Purview 数据映射是 Microsoft Purview 中数据发现和数据治理的基础。 它捕获有关分析、软件即服务 (SaaS) 以及跨混合、本地和多云环境的操作系统中的数据的元数据。 内置扫描和分类功能使数据图保持最新状态。
此概述可帮助 Microsoft Purview 管理员规划容量并监视数据映射使用情况和成本。 每个 Microsoft Purview 帐户都有一个数据映射,该映射从一个容量单位开始,可以根据请求负载和存储的元数据量进行缩放。
容量和自动缩放
数据图有两个容量组件:元数据存储和操作吞吐量。 CU) (容量单位表示这两个组件。 默认情况下,Microsoft Purview 帐户从一个容量单位开始,并根据使用情况进行缩放,最多可达 10 个容量单位。 每个容量单元包括每秒 25 个操作的吞吐量和 10 GB 的元数据存储。
数据映射包括以下功能:
- 具有自动缩放的弹性数据映射:从一个容量单元开始,根据负载自动缩放最多 10 个容量单元。
- 增强的扫描和摄取:跟踪和控制扫描和摄取如何填充数据资产、分类和世系。 此功能会影响定价。
操作吞吐量
操作度量 Microsoft Purview 数据映射的吞吐量。 它们包括对存储在数据映射中的元数据执行创建、读取、写入、更新和删除操作。 示例包括:
- 在数据映射中创建资产。
- 添加与资产的关系,例如所有者、管理员、父级或世系。
- 编辑资产以添加业务元数据,例如说明或术语表术语。
- 运行关键字 (keyword) 搜索,将结果返回到搜索结果页。
元数据存储
存储包括技术、业务、操作和语义元数据。
技术元数据包括通过 Microsoft Purview 扫描发现的架构、数据类型和列。 业务元数据包括自动元数据,例如从 Microsoft Power BI 数据集提升的元数据或 SQL 表中的说明,以及手动添加的说明和术语表术语。 语义元数据包括到数据源或分类的集合映射。 操作元数据包括数据工厂复制和数据流活动、运行状态和运行时间。
示例方案
Claudia 是 Contoso 的 Microsoft Azure 管理员,她想要从 Azure 门户创建 Microsoft Purview 帐户。 她不知道平台的未来状态所需的数据映射大小。 但是,她知道 Data Map 计费使用容量单位,并受到存储和操作吞吐量的影响。 她想从最小的数据映射开始,以保持低成本,并根据消耗量弹性增长。
Claudia 可以创建一个 Microsoft Purview 帐户,其默认数据映射大小为一个容量单位,该帐户可以自动纵向扩展和缩减。 自动扩展还允许容量针对特定时间段内的间歇性或计划内数据突发进行调整。 然后,Claudia 配置网络设置并完成帐户创建。
在 Azure 门户的 Microsoft Purview 帐户的“指标”页上,Claudia 可以查看数据映射存储和操作吞吐量消耗。 她还可以在存储或操作吞吐量达到指定限制时创建警报。
数据映射计费
经典 Microsoft Purview 帐户计费
您为一个容量单位付费,其中包括每秒 25 个操作和 10 GB 的元数据存储。 额外计费基于每个额外容量单位的消耗量,按小时计算。 数据映射操作以每秒 25 个操作的增量扩展,元数据存储以 10 GB 的增量扩展。 Data Map 可以在弹性窗口内自动扩展和缩减。 只能增加经典 Microsoft Purview 帐户的弹性窗口。 若要请求增加,请 查看当前限制并创建支持请求。
数据映射容量单位对操作吞吐量和存储有上限。 如果存储超过当前容量单位,则即使不使用操作吞吐量,也要为下一个容量单位付费。 下表显示了数据映射容量单位范围。 如果 Data Map 容量单位超过 10 个容量单位,请联系支持人员。
| 数据映射容量单位 | 每秒操作数吞吐量 | 存储容量(以 GB 为单位) |
|---|---|---|
| 1 | 25 | 10 |
| 2 | 50 | 20 |
| 3 | 75 | 30 |
| 4 | 100 | 40 |
| 5 | 125 | 50 |
| 6 | 150 | 60 |
| 7 | 175 | 70 |
| 8 | 200 | 80 |
| 9 | 225 | 90 |
| 10 | 250 | 100 |
计费示例
- 该小时的操作吞吐量小于或等于每秒 25 个操作,存储大小为 1 GB。 为一个容量单位付费。
- 该小时的操作吞吐量小于或等于 25 个操作/秒,存储大小为 15 GB。 你为两个容量单位付费。
- 一小时的操作吞吐量为每秒 50 个操作,存储大小为 15 GB。 你为两个容量单位付费。
- 一小时的操作吞吐量为每秒 50 个操作,存储大小为 25 GB。 你为三个容量单位付费。
- 一小时的操作吞吐量为每秒 250 次操作,存储大小为 15 GB。 你为 10 个容量单位付费。
详细计费示例
数据图计费示例显示,在从中午 12 点到下午 6 点的六个小时窗口内,元数据存储和每秒可变操作数不断增长。 虚线显示每秒操作数,实线显示元数据存储:
每个数据映射容量单元支持每秒 25 个操作和 10 GB 的元数据存储。 数据图按小时计费。 计费过程会考虑一小时内所需的最大数据映射容量单位,最少一个容量单位。 有时,您可能需要在一小时内每秒执行更多操作,而更多操作会增加该小时内所需的容量单元数量。 其他时候,每秒操作数使用量可能较低,但可能仍需要大量的元数据存储。 元数据存储决定了您在一小时内需要多少个容量单元。
该表显示了此计费示例的每秒最大操作数和每小时使用的元数据存储:
根据在此期间的每秒操作数和元数据存储消耗量,数据图在 1 + 3 + 4 + 5 + 6 + 3) (6 小时内按 22 个容量单位小时计费:
重要
Data Map 可以在弹性窗口内自动扩展和缩减。 若要增加弹性窗口,请 查看当前限制并创建支持请求。
操作吞吐量限制
默认吞吐量限制为 10 个容量单位。 如果使用大型 Microsoft Purview 环境并且需要更高的吞吐量,则可以通过 创建配额请求来请求更大的弹性窗口。 选择 “数据映射容量单位 ”作为配额类型。 包括有关您的环境和所需的额外容量的相关信息。 只能增加经典 Microsoft Purview 帐户的弹性窗口。
重要
元数据存储没有默认限制。 当您向 Data Map 添加更多元数据时,它会弹性增加。
当您增加操作吞吐量限制时,您还会增加最小容量单位数。 例如,如果将吞吐量限制增加到 20,则至少需要为两个容量单位付费。 下表显示了可能的吞吐量选项。 您在配额请求中输入的数字是账户上的最小容量单位数。
| 最小容量单位 | 操作吞吐量限制 |
|---|---|
| 1 | 10 (默认) |
| 2 | 20 |
| 3 | 30 |
| 4 | 40 |
| 5 | 50 |
| 6 | 60 |
| 7 | 70 |
| 8 | 80 |
| 9 | 90 |
| 10 | 100 |
优化容量单位和操作吞吐量
使用这些最佳实践来优化容量单位和操作吞吐量使用:
- 在初始完整扫描后使用增量扫描。 增量扫描仅处理自上次扫描以来更改的对象,并且通常提供最大的减少。
- 限制扫描范围,并在可用的情况下使用 高级模式 包括或排除特定路径,而不是扫描整个源。
- 错开扫描计划。 避免同时运行多个扫描;按顺序运行它们,并在使用高峰期之外运行它们。
- 减少扫描频率。 例如,如果治理新鲜度要求允许,请将每小时扫描更改为每日扫描。
- 如果不需要,则禁用世系提取。
- 使用单独的、非重叠的扫描。
- 定期从 Microsoft Purview 存储清理历史世系。
- 从 Microsoft Purview 存储中手动删除不重要或过时的数据。
监控和指标
监控 数据映射容量单位 和 数据映射存储大小 指标,以了解数据资产的大小和账单。
在 Azure 门户中,转到“Microsoft Purview 帐户”,然后选择 Microsoft Purview 帐户。
在 “概览 ”页面上,滚动到 “监控 ”部分,查看不同时间段的数据 映射容量单位 和 数据映射存储大小 指标。
如需更多设置,请转到监控指标,>查看数据映射容量单位和数据映射存储大小。
选择 “数据映射容量单位 ” 以查看过去 24 小时的容量单位使用情况。 将鼠标悬停在折线图上可查看特定时间消耗的数据映射容量单位。
在页面顶部,选择“ 本地时间:过去 24 小时” (“自动 - 1 小时) ”以更改图形中显示的时间范围。
选择图形类型以自定义可视化效果。
选择 “新建图表 ”以添加 “数据映射存储大小” 图表。