使用 Delphix Compliance Services 在数据工厂中进行数据模糊处理

以下操作指南概述了如何在 Microsoft Fabric 的数据工厂中使用 Delphix 合规服务 (DCS) 在处理前屏蔽敏感数据。

DCS 是一种高度可缩放的掩码 API 服务,可自动屏蔽个人身份信息(PII),从而取代手动过程来传送合规数据。 其现成且可配置的算法将敏感数据值替换为虚构但现实的算法,因此团队可以降低风险,同时确保最终用户可以轻松使用正确的数据。

掩码数据保持多云环境下的引用完整性,质量如同生产环境,并且保持完全的功能性,从而支持准确的分析或测试。 请注意,在使用之前需要创建 DCS 帐户,你可以注册 免费试用版

什么是挑战?

云中充满了个人身份信息(PII),助长了隐私和安全风险。 生产应用中的 PII 需要流向下游系统进行分析,使组织面临风险或创建数据孤岛。 Power Query 和 DCS 会自动执行数据合规性和安全性,以解除阻止数据移动。

打破数据孤岛很困难:

  • 为了符合统一格式,必须对数据进行处理。 ETL 管道必须适应每个记录系统,并且必须进行缩放以支持新式企业的海量数据集。
  • 当数据从记录系统中移出时,必须遵守有关敏感信息的规定。 客户内容和其他敏感元素必须遮盖,而不会影响数据集的业务价值。

DCS 和数据工厂如何解决自动化合规数据的问题?

安全数据的移动对所有组织都是一个挑战。 Delphix 使实现一致的数据符合性变得简单,而数据工厂支持无缝连接和移动数据。 Delphix 和数据工厂共同使按需、合规的数据易于交付。

使用数据工厂数据流,可以创建自动化以下步骤的工作流:

  • 从所需源读取数据。
  • 将敏感字段映射到适当的掩码算法(并作为中央配置表进行管理)。
  • 调用 DCS 掩码 API,以将敏感数据元素替换为类似但虚构的值。
  • 将合规数据加载到所需的目标。

如何入门

转到 Delphix 免费预览页 ,请求免费试用版 DCS。 然后,Delphix 团队会联系你进行访问,并提供本文中所述的示例设置方案中使用的模板。

在 Power Query 中,通过 从 Power Query 模板中选择“导入”来上传提供的模板,然后选择要导入的 Power Query 模板文件。 此选择将加载一组查询。

Power Query 当前视图的屏幕截图,其中突出显示了“从 Power Query 模板导入”。

导入包含要屏蔽的敏感数据的数据源。

Power Query 中“选择数据源”对话框的屏幕截图。

映射表用于配置要屏蔽的字段以及要使用的 Delphix 掩码算法。 在 “查询设置” 窗格中,右键单击齿轮图标。 输入敏感数据所在“原始列”的列名。 在“算法”中输入相应的 Delphix 算法。 有关可用算法的详细信息,请参阅 Delphix 文档

可以自定义 Delphix 的现用掩码算法,或者根据需要定义新算法。 所有 Delphix 掩码算法都会将敏感数据替换为虚构但现实的值,并在数据集中一致地这样做。

“创建表”对话框的屏幕截图,其中显示了“原始”列中的敏感数据和“算法”列中的替换掩码算法。

此映射表可以是要屏蔽的任何表的全局配置。 如果您希望在给定表中保留某些列不被屏蔽,“列名称” 参数可用作筛选器。 将 原始列 列表(从映射表)复制并粘贴到 “列名称 ”参数中,并删除要保留未屏蔽的任何列名称。

包含屏蔽列名称列表的“管理参数”对话框的屏幕截图。

现在,你已准备好屏蔽数据。 选择 Delphix fx 并输入如下图所示的参数(字段 OriginalTable 为包含敏感数据的数据源)。

从 Delphix fx 查询调用的 Enter 参数对话框的屏幕截图。

完成此更改后,选择 “调用 ”以运行数据流。 此选择会自动调用 DCS 掩码 API 服务,以在传递到所选目标之前屏蔽数据。

你的数据现已可供最终用户安全地使用。 数据被一致地掩盖,确保引用在各个数据集中保持不变。 例如,无论数据源或目标如何,乔治·史密斯都成为爱德华·罗宾逊,确保它对于集成分析方案仍然有价值。