数据图中的自定义分类

重要

以前Azure Purview) (Microsoft Purview 统一目录和经典 Microsoft Purview 数据治理功能即将停用。 Microsoft 正在 Microsoft Fabric 中整合其数据治理功能。 无法再创建新帐户,现有功能将保持维护模式直至 2027 年 11 月 12 日。 有关停用时间表、过渡指南和建议的后续步骤,请参阅 Microsoft Purview 数据治理停用公告。

本文介绍如何在 Microsoft Purview 数据映射中创建自定义分类,以定义数据资产中组织独有的数据类型。 它还介绍了自定义分类规则的创建,以便您可以在整个数据资产中查找指定的数据。

重要

要创建自定义分类,需要对域或集合具有数据管理者或数据源管理员权限。 任何集合级别的权限都已足够。

默认系统分类

数据映射提供了大量默认系统分类,这些分类表示数据资产中可能具有的典型个人数据类型。 请参阅 “数据映射”中的可用系统分类列表。

选择分类

如果任何默认分类不满足你的需求,你还可以创建自定义分类。

注意

  • 我们的 数据抽样规则 适用于系统和自定义分类。
  • 自定义分类仅适用于结构化数据源(如 SQL 和 CosmosDB),以及结构化文件类型(如 CSV、JSON 和 Parquet)。 自定义分类不适用于 DOC、PDF 和 XLSX 等非结构化数据文件类型。

创建自定义分类的步骤

若要创建自定义分类,请执行以下步骤:

  1. 需要对任何集合具有数据管理者或数据源管理员权限才能创建自定义分类。

  2. 在 Microsoft Purview 门户中,打开 数据映射 解决方案。

  3. 选择 “注释管理” ,选择 “分类”。

  4. 选择 + 新建。

    新分类

此时将打开“ 添加新分类 ”窗格,可在其中为分类提供名称和说明。 最好使用名称间距约定,例如 your company name.classification name。

Microsoft 系统分类在保留 MICROSOFT. 命名空间下分组。 MICROSOFT 就是一个例子 。政府。US.SOCIAL_SECURITY_NUMBER。

分类名称必须以字母开头,后跟一系列字母、数字和句点 (.) 或下划线字符。 键入时,UX 会自动生成一个友好名称。 将此友好名称应用于目录中的资产时,用户会看到此友好名称。

为了使名称保持简短,系统将基于以下逻辑创建友好名称:

  • 命名空间中除最后两段外的所有段都将被剪裁。

  • 调整大小写,使每个单词的首字母大写。

  • 所有下划线 (_) 都替换为空格。

例如,如果将分类 contoso.hr.employee_ID命名,则友好名称将作为 Hr.Employee ID 存储在系统中。

Contoso.hr.employee_id

选择“ 确定”,然后将新分类添加到 自定义 分类列表中。

自定义分类

在列表中选择分类将打开分类详细信息页面。 在这里,您可以找到有关分类的所有详细信息。

这些详细信息包括实例数、正式名称、关联的分类规则 (如果有) )以及所有者姓名。

选择分类

自定义分类规则

数据映射提供了一组默认分类规则,扫描程序使用这些规则来自动检测某些数据类型。 您还可以添加自己的自定义分类规则,以检测您可能有兴趣在数据资产中查找的其他类型的数据。 尝试在数据资产中查找数据时,此功能可能非常强大。

注意

自定义分类规则仅在英语中受支持。

例如,假设一家名为 Contoso 的公司具有在整个公司中标准化的员工 ID,其中“Employee”一词后跟用于创建 EMPLOYEE{GUID} 的 GUID。 例如,员工 ID 的一个实例类似于 EMPLOYEE9c55c474-9996-420c-a285-0d0fc23f1f55。

Contoso 可以通过创建自定义分类规则来配置扫描系统以查找这些 ID 的实例。 它们可以提供与数据模式匹配的正则表达式,在本例中为 \^Employee\[A-Za-z0-9\]{8}-\[A-Za-z0-9\]{4}-\[A-Za-z0-9\]{4}-\[A-Za-z0-9\]{4}-\[A-Za-z0-9\]{12}\$。 (可选)如果数据通常位于它们知道其名称的列(例如 Employee_ID 或 EmployeeID)中,则可以添加列模式正则表达式以使扫描更加准确。 示例正则表达式为 Employee_ID|EmployeeID。

然后,扫描系统可以使用此规则检查列中的实际数据和列名称,以尝试标识找到员工 ID 模式的每个实例。

创建自定义分类规则的步骤

按照上一节中的说明创建自定义分类。 您将在分类规则配置中添加此自定义分类,以便系统在列中找到匹配项时应用此自定义分类。

  1. 在 Microsoft Purview 门户中,打开 数据映射 解决方案。

  2. 在 “注释管理”(Annotation management) 下,选择 “分类规则”(Classifications rules) 部分。

  3. 选择 新建。

    添加新的分类规则

  4. 新 建分类规则 对话框随即打开。 填写字段并决定是创建 正则表达式规则 还是字 典规则。

    字段 说明
    名称 必填。 最大长度为 100 个字符。
    说明 可选。 最大长度为 256 个字符。
    分类名称 必填。 从下拉列表中选择分类名称,以告知扫描程序在找到匹配项时应用该分类。
    状态 必填。 选项为启用或禁用。 默认值为 Enabled。

    新建分类规则

创建正则表达式规则

重要

自定义分类中的正则表达式不区分大小写。

  1. 如果创建正则表达式规则,你将看到以下屏幕。 可以选择上传一个文件,用于 为规则生成建议的正则表达式模式 。 仅支持英语语言规则。

    新建正则表达式规则

  2. 如果决定生成建议的正则表达式模式,请在上传文件后选择其中一个建议的模式,然后选择“ 添加到模式” 以使用建议的数据和列模式。 您可以调整建议的模式,也可以在不上传文件的情况下键入自己的模式。

    生成建议的正则表达式

    字段 说明
    数据模式 可选。 表示存储在数据字段中的数据的正则表达式。 限制很大。 在前面的示例中,数据模式测试员工 ID,字面意思是 Employee{GUID}单词 .
    列模式 可选。 表示要匹配的列名称的正则表达式。 限制很大。
  3. 在 “数据模式 ”下,您可以使用 最小匹配阈值 来设置列中不同数据值匹配的最小百分比,扫描仪必须找到该列才能应用分类。 建议的值为 60%。 如果指定多个数据模式,则禁用此设置,并且该值固定为 60%。

    注意

    最小匹配阈值必须至少为 1%。

  4. 现在可以验证并 创建 规则。

  5. 在完成创建过程之前测试分类规则,以验证它是否将标记应用于您的资产。 规则中的分类将应用于上传的示例数据,就像在扫描中一样。 这意味着所有系统分类和自定义分类都将与文件中的数据匹配。

    输入文件可能包括带分隔符的文件 (CSV、PSV、SSV、TSV) 、JSON 或 XML 内容。 将根据输入文件的文件扩展名分析内容。 带分隔符的数据可能具有与上述任何类型匹配的文件扩展名。 例如,TSV 数据可以存在于名为 MySampleData.csv 的文件中。 带分隔符的内容也必须至少包含三列。

    创建前测试规则

    上载测试文件后查看应用的分类

创建字典规则

  1. 如果创建字典规则,您将看到以下屏幕。 上传一个文件,其中包含要在单个列中创建的分类的所有可能值。 仅支持英语语言规则。

    创建字典规则

  2. 生成字典后,您可以调整最小匹配阈值并提交规则。

    使用复选标记创建字典规则 Dictionary-Generated。

编辑或删除自定义分类

要更新或编辑自定义分类,请执行以下步骤:

  1. 在 Microsoft Purview 门户中,打开 数据映射 解决方案。

  2. 在 “注释管理” 下,选择“ 分类”。

  3. 选择“ 自定义 ”选项卡。

  4. 选择要编辑的分类,然后选择“ 编辑” 按钮。

    自定义分类页面的屏幕截图,显示了选择的分类,并突出显示了“编辑”按钮。

  5. 现在可以编辑此自定义分类的说明。 完成后,选择“ 确定” 按钮以保存更改。

若要删除自定义分类,请执行以下操作:

  1. 打开 “数据”映射,然后选择 “分类”后,选择“ 自定义 ”选项卡。
  2. 选择要删除的分类或要删除的多个分类,然后选择“ 删除” 按钮。 自定义分类页面的屏幕截图,显示了选择的分类,并突出显示了“删除”按钮。

您还可以从分类本身内编辑或删除分类。 只需选择您的分类,然后选择顶部菜单中的“ 编辑 ”或“ 删除 ”按钮。

自定义分类资产页面的屏幕截图,其中页面顶部突出显示了编辑和删除按钮。

启用或禁用分类规则

  1. 在 Microsoft Purview 帐户中,选择 “数据映射”,然后选择 “分类规则”。

  2. 选择“ 自定义 ”选项卡。

  3. 您可以通过查看表中的“状态”列来检查分类规则的当前状态。

  4. 选择要启用或禁用的分类规则或多个分类规则。

  5. 选择顶部菜单中的“ 启用 ”或 “禁用 ”按钮。

    自定义分类规则页面的屏幕截图,显示了选择的分类规则,并突出显示了启用和禁用按钮。

还可以在编辑规则时更新规则的状态。

编辑或删除分类规则

若要更新或编辑自定义分类规则,请执行以下步骤:

  1. 在 Microsoft Purview 帐户中,选择 “数据映射”,然后选择 “分类规则”。

  2. 选择“ 自定义 ”选项卡。

  3. 选择要编辑的分类规则,然后选择“ 编辑 ”按钮。

    自定义分类规则页面的屏幕截图,显示了选择的分类规则,并突出显示了编辑按钮。

  4. 现在可以编辑状态、说明和关联的分类规则。

  5. 选择“ 继续 ”按钮。

  6. 您可以上传一个新文件,供正则表达式或字典规则匹配,并更新匹配阈值和列模式匹配。

  7. 选择 应用 以保存更改。 需要使用新规则重新运行扫描,以在资产中应用更改。

若要删除自定义分类,请执行以下操作:

  1. 打开 “数据映射”后,然后选择“分类 规则”,选择“ 自定义 ”选项卡。

  2. 选择要删除的分类规则,然后选择“ 删除 ”按钮。

    自定义分类规则页面的屏幕截图,显示了选择的分类规则并突出显示了“删除”按钮。

后续步骤

现在,您已创建分类规则,可以将其添加到扫描规则集中,以便您的扫描在扫描时使用该规则。 有关详细信息,请参阅 创建扫描规则集。