重要
以前Azure Purview) (Microsoft Purview 统一目录和经典 Microsoft Purview 数据治理功能即将停用。 Microsoft 正在 Microsoft Fabric 中整合其数据治理功能。 无法再创建新帐户，现有功能将保持维护模式直至 2027 年 11 月 12 日。 有关停用时间表、过渡指南和建议的后续步骤，请参阅 Microsoft Purview 数据治理停用公告。
本文列出了 Microsoft Purview 数据映射中支持的数据源、文件类型和扫描概念。
按类型列出的数据源
下表显示了在 Microsoft Purview 数据映射中具有技术元数据的所有数据源，以及其他受支持的功能。 在 数据源 列中选择数据源名称，以获取将该源连接到数据映射的说明。
Azure
除非每个数据源页面上另有说明，否则 Azure 资源仅在与 Microsoft Purview 帐户相同的租户中可用。
| 数据源 | 可以自动应用分类 | 可以将敏感度标签应用于数据映射资产 | 可以应用策略 | 数据世系 | 实时取景可访问 |
|---|---|---|---|---|---|
| 选择连接和扫描说明的链接。 | 对于扫描说明，选择 “是 ”。 了解 在扫描过程中如何应用分类。 | 了解 (预览版) 的敏感度标记 。 | 选择 “是 ”以查看支持的策略;例如，数据所有者、自助服务访问或保护。 | 选择 “是 ”了解详细信息。 | 了解 实时取景。 |
| 多个源 | 是 | 源相关 | 是 | 否 | 有限 |
| Azure Blob 存储 | 是 | 是 | 是， (预览) | 有限* | 是 |
| Azure Cosmos DB for SQL API | 是 | 是 | 否 | 否* | 否 |
| Azure 数据资源管理器 | 是 | 是 | 否 | 否* | 否 |
| Azure 数据工厂 | 否 | 否 | 否 | 是 | 否 |
| Azure Data Lake Storage Gen2 | 是 | 是 | 是， (预览) | 有限* | 是 |
| Azure Data Share | 否 | 否 | 否 | 是 | 否 |
| Azure Database for MySQL | 是 | 是 | 否 | 否* | 否 |
| Azure Database for PostgreSQL | 是 | 是 | 否 | 否* | 否 |
| Azure Databricks Hive 元存储 | 是** | 否 | 否 | 是 | 否 |
| Azure Databricks Unity 目录 | 是*** | 否 | 否 | 是 | 否 |
| Azure 专用 SQL 池（以前称为 SQL DW） | 是 | 否 | 否 | 否* | 否 |
| Azure 文件 | 是 | 是 | 否 | 有限* | 否 |
| Azure 机器学习 | 否 | 否 | 否 | 是 | 否 |
| Azure SQL 数据库 | 是 | 是 | 是^ | 是 (预览) | 是 |
| Azure SQL 托管实例 | 是 | 是 | 是 | 否* | 否 |
| Azure Synapse Analytics (Workspace) | 是 | 是 | 否 | 是 - Synapse 管道 | 否 |
* 除了数据源中资产的世系外，如果将数据集用作 数据工厂 或 Synapse 管道中的源/接收器，也支持世系。
** 仅对 Azure Databricks 数据源中的 Unity 目录的分类支持。
Azure Databricks Unity 目录源不支持自定义分类。
^ Azure SQL 数据库不支持保护策略。
Database
| 数据源 | 可以自动应用分类 | 可以将敏感度标签应用于数据映射资产 | 可以应用策略 | 数据世系 | 实时取景可访问 |
|---|---|---|---|---|---|
| 选择连接和扫描说明的链接。 | 对于扫描说明，选择 “是 ”。 了解 在扫描过程中如何应用分类。 | 了解 (预览版) 的敏感度标记 。 | 选择 “是 ”以查看支持的策略;例如，数据所有者、自助服务访问或保护。 | 选择 “是 ”了解详细信息。 | 了解 实时取景。 |
| Amazon RDS | 是 | 否 | 否 | 否 | 否 |
| Amazon Redshift | 否 | 否 | 否 | 否 | 否 |
| Cassandra | 否 | 否 | 否 | 是 | 否 |
| Db2 | 否 | 否 | 否 | 是 | 否 |
| Google BigQuery | 否 | 否 | 否 | 是 | 否 |
| Hive 元存储数据库 | 否 | 否 | 否 | 是* | 否 |
| Mongodb | 否 | 否 | 否 | 否 | 否 |
| MySQL | 否 | 否 | 否 | 是 | 否 |
| Oracle | 是 | 否 | 否 | 是* | 否 |
| PostgreSQL | 否 | 否 | 否 | 是 | 否 |
| SAP Business Warehouse | 否 | 否 | 否 | 否 | 否 |
| SAP HANA | 否 | 否 | 否 | 否 | 否 |
| Snowflake | 是 | 是 | 否 | 是* | 否 |
| SQL Server | 是 | 是 | 否 | 否* | 否 |
| Azure-Arc 上的 SQL Server | 是 | 否 | 是 | 否* | 否 |
| Teradata | 是 | 否 | 否 | 是* | 否 |
* 除了数据源中资产的世系外，如果将数据集用作 数据工厂 或 Synapse 管道中的源/接收器，也支持世系。
文件
| 数据源 | 可以自动应用分类 | 可以将敏感度标签应用于数据映射资产 | 可以应用策略 | 数据世系 | 实时取景可访问 |
|---|---|---|---|---|---|
| 选择连接和扫描说明的链接。 | 对于扫描说明，选择 “是 ”。 了解 在扫描过程中如何应用分类。 | 了解 (预览版) 的敏感度标记 。 | 选择 “是 ”以查看支持的策略;例如，数据所有者、自助服务访问或保护。 | 选择 “是 ”了解详细信息。 | 了解 实时取景。 |
| Amazon S3 | 是 | 否 | 否 | 有限* | 否 |
| HDFS (Hadoop 分布式文件系统) | 是 | 否 | 否 | 否 | 否 |
* 除了数据源中资产的世系外，如果将数据集用作 数据工厂 或 Synapse 管道中的源/接收器，也支持世系。
服务和应用
| 数据源 | 可以自动应用分类 | 可以将敏感度标签应用于数据映射资产 | 可以应用策略 | 数据世系 | 实时取景可访问 |
|---|---|---|---|---|---|
| 选择连接和扫描说明的链接。 | 对于扫描说明，选择 “是 ”。 了解 在扫描过程中如何应用分类。 | 了解 (预览版) 的敏感度标记 。 | 选择 “是 ”以查看支持的策略;例如，数据所有者、自助服务访问或保护。 | 选择 “是 ”了解详细信息。 | 了解 实时取景。 |
| Airflow | 否 | 否 | 否 | 是 | 否 |
| Dataverse | 是 | 是 | 否 | 否 | 否 |
| Erwin | 否 | 否 | 否 | 是 | 否 |
| Fabric | 否 | 否 | 否 | 是 | 是 |
| Looker | 否 | 否 | 否 | 是 | 否 |
| Power BI | 否 | 否 | 否 | 是 | 是** |
| Qlik Sense | 否 | 否 | 否 | 否 | 否 |
| Salesforce | 否 | 否 | 否 | 否 | 否 |
| SAP ECC | 否 | 否 | 否 | 是* | 否 |
| SAP S/4HANA | 否 | 否 | 否 | 是* | 否 |
| 画面 | 否 | 否 | 否 | 否 | 否 |
* 除了数据源中资产的世系外，如果将数据集用作 数据工厂 或 Synapse 管道中的源/接收器，也支持世系。
** Fabric 租户中的 Power BI 项可使用实时视图。
注意
目前，Microsoft Purview 数据映射无法扫描名称中包含 /、 \或 # 的资产。 若要设置扫描范围并避免扫描资产名称中包含这些字符的资产，请使用注册和扫描 Azure SQL 数据库中的示例。
重要
如果计划使用自承载集成运行时，扫描某些数据源需要在自承载集成运行时计算机上进行额外设置。 例如，JDK、Microsoft Visual C++ Redistributable 或特定驱动程序。 有关您的源， 请参阅每个源文章以获取先决条件详细信息。 任何要求都列在 先决条件 部分中。
数据映射扫描程序区域
以下列表显示了运行数据映射扫描程序 (数据中心) 区域的Azure数据源。 如果 Azure 数据源位于此列表之外的区域，则扫描程序将在 Microsoft Purview 实例所在的区域中运行。
- 澳大利亚东部
- 澳大利亚东南部
- 巴西南部
- 加拿大中部
- 加拿大东部
- 印度中部
- 中国北部 3
- 东亚
- 美国东部
- 美国东部 2
- 法国中部
- 德国中西部
- 日本东部
- 韩国中部
- 美国中北部
- 北欧
- 卡塔尔中部
- 南非北部
- 美国中南部
- 东南亚
- 瑞士北部
- 阿拉伯联合酋长国北部
- 英国南部
- USGov 弗吉尼亚州
- 美国中西部
- 西欧
- 美国西部
- 美国西部 2
- 美国西部 3
扫描支持的文件类型
以下部分列出的文件类型支持扫描、架构提取和分类（如果适用）。 此外，Data Map 支持 自定义文件扩展名和自定义解析器。
扩展支持的结构化文件格式包括扫描、架构提取以及资产和列级别分类：
- AVRO
- CSV
- GZIP
- JSON
- ORC
- PARQUET*
- PSV
- SSV
- TSV
- TXT
- XML
*对于未压缩的 PARQUET 文件，支持所有 Parquet 格式。 对于压缩的 PARQUET 文件，仅支持 snappy parquet 格式。
扩展支持的文档文件格式包括扫描和资产级别分类：
- DOC
- DOCM
- DOCX
- DOT
- ODP
- ODS
- ODT
- POT
- 缴费灵
- PPSX
- PPT
- PPTM
- PPTX
- XLC
- XLS
- XLSB
- XLSM
- XLSX
- XLT
注意
已知限制：
- Microsoft Purview 数据映射扫描程序仅支持对上一节中列出的结构化文件类型进行架构提取。
- 对于 AVRO、ORC 和 PARQUET 文件类型，扫描程序不支持对包含复杂数据类型的文件进行架构提取， (例如 MAP、LIST、STRUCT) 。
- 对于未压缩的 PARQUET 文件，支持所有 Parquet 格式。 对于压缩的 PARQUET 文件，仅支持快速的 Parquet 格式用于架构提取和分类。
- 对于 GZIP 文件类型，GZIP 必须映射到其中的单个 CSV 文件。 GZIP 文件受系统和自定义分类规则的约束。 扫描程序当前不支持扫描映射到其中多个文件的 GZIP 文件，也不支持扫描 CSV 以外的任何文件类型。
- 对于 Parquet 文件，如果你使用的是自承载集成运行时，则需要在 IR 计算机上安装 64 位 JRE 11 (Java 运行时环境) 或 OpenJDK 。 请参阅 Java 运行时安装指南。
- 不支持 Delta 格式。 如果直接从存储数据源（如 Microsoft Azure Data Lake Storage Gen2）扫描增量格式，则增量格式的 Parquet 文件集将作为资源集进行分析和处理，如了解资源集中所述。 用于分区的列不能识别为资源集架构的一部分。
- 不支持的 Parquet 编码：Microsoft Purview 不支持对在 Microsoft Fabric 湖屋中使用运行长度编码 (RLE) 的 Parquet 文件进行架构提取。 包含 RLE 编码列的表可能无法提取架构元数据，包括表、列和数据类型。 该过程仍会发现 L1) (资产级元数据。 若要启用完全架构提取，请使用受支持的编码格式（如字典或纯文本编码）重新创建受影响的表。
对于带分隔符的文件类型 (CSV、PSV、SSV、TSV TXT) ：
- 不能确定只有一列的带分隔符的文件是 CSV 文件，并且没有架构。
- 不支持数据类型检测。 所有列的数据类型均列为“字符串”。
- 唯一支持的分隔符是逗号 ('，') ，分号 (';') ，竖线 ('|') ，然后按 Tab ('\t') 。
- 如果使用自定义分隔符，则无法将具有小于三行的分隔符的文件确定为 CSV 文件。 例如，带 ~ 分隔符且小于三行的文件不能确定为 CSV 文件。
- 如果字段包含双引号，则双引号只能出现在字段的开头和结尾，并且必须匹配。 出现在字段中间或出现在开头和结尾但不匹配的双引号被视为错误数据，不会从文件中分析任何架构。 列数与标题行不同的行将被判定为错误行。 错误行数除以采样的行数必须小于 0.1。
架构提取
对于在扫描期间支持架构提取的数据源，列数不会直接截断资产架构。
嵌套数据
只有 JSON 内容支持嵌套数据。 对于 所有系统支持的文件类型，如果列中包含嵌套的 JSON 内容，则扫描程序会分析嵌套的 JSON 数据，并将其显示在资产的架构选项卡中。
SQL 不支持嵌套数据或嵌套架构分析。 包含嵌套数据的列将按原样报告和分类，并且不会分析子数据。
用于分类的采样数据
在“数据映射”术语中，
- L1 扫描：提取基本信息和元数据，如文件名、大小和完全限定名称。
- L2 扫描：提取结构化文件类型和数据库表的架构。
- L3 扫描：提取架构（如果适用），并使采样文件遵循系统和自定义分类规则。
了解有关 自定义扫描级别的详细信息。
对于所有结构化文件格式，Microsoft Purview 数据映射扫描程序按以下方式示例文件：
- 对于结构化文件类型，它对每列中的前 128 行或前 1 MB 进行采样，以较低者为准。
- 对于文档文件格式，它会对每个文件的前 20 MB 进行采样。
- 如果文档文件大于 20 MB，扫描程序不会执行深度扫描， (受到分类) 的约束。 在这种情况下，Microsoft Purview 仅捕获基本元数据，如文件名和完全限定的名称。
- 对于 SQL) (表格数据源 ，它会对前 128 行进行采样。
- 对于 Azure Cosmos DB for NoSQL，为架构最多收集容器中前 10 个文档中的 300 个不同属性。 对于每个属性，扫描程序会从最多 128 个文档或前 1 MB 中采样值。
- 对于非结构化数据格式（如 DOCX 文件），无需满足八个不同值的条件。 存在单个相关关键字 (keyword) 就足以进行分类。
资源集文件采样
如果文件夹或分区文件组与系统资源集策略或客户定义的资源集策略匹配，则 Data Map 会将其检测为 资源集。 如果扫描程序检测到资源集，它会对其中包含的每个文件夹进行采样。 有关资源集的详细信息，请参阅 Microsoft Purview 数据映射中的资源集。
按文件类型对资源集进行文件采样：
- 带分隔符的文件 (CSV、PSV、SSV、TSV ) ：扫描程序会在被视为资源集的文件夹或分区文件组中的 L3 扫描) (100 个文件中采样 1 个文件。
- Data Lake 文件类型 (Parquet、Avro、Orc) ： 扫描程序在被视为资源集的文件夹或分区文件组中 (L3 扫描) 中采样 1/18,446,744,073,709,551,615 (长的最大) 文件中的 1 个。
- 其他结构化文件类型 (JSON、XML TXT) ：扫描程序会在 L3 扫描 (L3 扫描) 中采样 100 个文件中的 1 个文件，这些文件视为资源集的文件夹或分区文件组中。
- SQL 对象和 Azure Cosmos DB 实体：扫描程序 L3 扫描每个文件。
- 文档文件类型：扫描程序 L3 扫描每个文件。 资源集模式不适用于这些文件类型。