用OneLake捷径和镜像统一数据

OneLake 为你提供了一个跨云、域和账户的数据视图。 在 OneLake 中统一数据,并不需要将所有这些数据都存储在同一个位置。 数据可以留在源头,也可以复制到 OneLake,由 Fabric 工作负载通过共享命名空间访问。

捷径和镜像是 OneLake 的互补功能,用于创建统一视图,无需构建和运营数据流动流水线。 快捷方式会将所选数据添加到 OneLake 命名空间。 镜像添加外部数据库或目录,并决定其数据是否可以原地访问或必须复制。 本文将解释每种能力的工作原理以及何时使用它们。 关于在 Fabric 中导入、转换或移动数据的更广泛方法,请参见“将数据导入 Microsoft Fabric”或“选择数据移动策略”。

快捷键和镜像概览

快捷方式和镜像在不同粒度层级工作,并支持不同的源格式。

能力 它的作用是什么 源格式 典型方案
快捷方式 在 OneLake 或外部存储中添加对选定表、文件夹或文件的引用。 数据始终停留在其源头。 仅限开放格式 将单个表、文件夹或架构引入湖仓中,或者在跨工作区或租户之间启用数据网格模式。
镜像 在 Fabric 中添加外部数据库或目录。 根据数据源的不同,镜像可以就地访问数据,或将数据持续复制到 OneLake 中。 开放与专有格式 引入完整的外部数据库或目录,比如Snowflake、Azure Databricks或Azure SQL 数据库。

如果你的源数据以专有格式存储,镜像是你唯一的选择。

何时使用快捷方式

当你想在统一的OneLake视图中包含特定数据而不复制时,使用快捷方式。 当你需要选择快捷方式时:

  • 在工作区或租户之间共享单一表、文件夹或文件。
  • 将多个湖泊或云账户的数据合并到一个统一视图中。
  • 构建数据网格模式,每个域名拥有其数据,其他域名通过 OneLake 发现数据。
  • 将数据以开放格式提供,如 Delta 或 Iceberg,可从 Azure Data Lake Storage、Amazon S3、Google Cloud Storage 或 Dataverse 获取。

快捷键可以在表格、文件夹或文件层面工作。 您可以决定哪些数据提供,以及它们在 OneLake 中的位置。 有关详细信息,请参阅 OneLake 快捷方式

在统一数据的同时转换数据

捷径转换将捷径后面的数据转换为可查询的Delta表,保持与源同步,无需构建ETL流水线。 使用它们,让你的数据为分析做好准备:

  • 文件转换将结构化文件,如 CSV、Parquet、JSON 或 Excel,转换为 Delta 表。 更多信息请参见快捷方式变换(文件)。
  • 人工智能驱动的转换 技术对文件进行语言处理 .txt ,用于内容摘要、检测情感、翻译语言、编辑个人身份信息(PII)或提取具名实体。 更多信息请参见捷径变换(AI驱动)。

何时使用镜像

当你希望将外部数据库或目录及其背后的数据作为一个整体纳入 Fabric 时,请使用镜像。 在以下情况下,镜像是合适的选择:

  • 无需设计单独的引入流程,即可在 Fabric 中提供整个外部数据库或目录。
  • 在OneLake中保留一份可用于分析的运行数据库副本(如Azure SQL 数据库、PostgreSQL或Cosmos DB),并保持与源代码同步。
  • 将外部湖仓或数据仓库(例如 Databricks Unity Catalog 或 Snowflake)接入 Fabric,以便你能够将其与 Fabric 中的数据一同查询。

镜像总是将目录元数据(如数据库、模式和表格)添加到 Fabric 中。 Fabric 如何访问数据取决于来源,正如下一节所述。

镜像如何使数据在OneLake中可用

镜像通过两种底层机制将外部数据纳入统一的OneLake视图。 正确的组合取决于数据源如何存储其数据。

  • 复制。 镜像会将源中的数据复制到 OneLake 中,并以可供分析的 Delta 格式存储。 镜像在源数据以专有格式存储时使用复制。
  • 快捷方式。 通过 OneLake 快捷方式原位镜像引用数据。 当源以 OneLake 可直接读取的开放格式存储数据时,镜像会使用快捷方式。

不同来源对这些机制的使用方式不同,如下表所示。

源模式 示例 镜像的作用
数据库镜像(复制) Azure Cosmos DB、Azure Database for PostgreSQL、Azure Database for MySQL(预览版)、Azure SQL 数据库、SQL Server、Oracle、SAP 镜像会复制目录元数据,并持续将数据以 Delta 表的形式复制到 OneLake 中。
元数据镜像(快捷方式) Azure Databricks, Snowflake, Dremio (preview) 镜像会将目录的元数据添加到 Fabric 中,并使用快捷方式访问保留在原位置的底层数据。

在每种情况下,镜像都会将目录元数据添加到 Fabric 中。 是否复制数据取决于来源。

将快捷键和镜像功能结合使用

快捷方式和镜像并不互斥。 你可以在很多场景下一起使用它们。 例如,使用镜像一次性将源系统添加到 Fabric,然后创建快捷方式使该系统中选定的数据在工作区、域或租户间可用。 如果镜像将源数据复制到 OneLake,对该数据的快捷方式不会创建另一个副本或增加存储成本。

结合这两种功能的常见模式包括:

  • 一次镜像,处处可用。 中央工作区镜像外部数据库或目录,如 Azure SQL 数据库 或 Snowflake 账户。 同一租户中的其他工作区会为镜像表创建快捷方式,而不是再次镜像同一个源。 一个镜像项表示源数据,每个消费者读取的都是相同的最新数据。
  • 域镜像与网格消耗。 域团队会将自己的源系统镜像到他们的域工作空间中。 位于使用方工作区中的下游湖仓和仓库使用快捷方式,仅访问镜像数据库中其所需的表。 每个域都拥有自己与源系统的连接,而消费者则与源系统保持解耦。
  • 一个湖边别墅,多个数据点。 单个 Lakehouse 可以包含指向镜像表的快捷方式,以及指向 Azure Data Lake Storage、Amazon S3 或其他 OneLake 位置中的开放格式数据的快捷方式。 报表和笔记本将 Lakehouse 作为统一存储进行查询,无论底层数据是保留在源位置还是复制到 OneLake 中。
  • 跨租户或跨云访问。 一个租户将源镜像到其自己的 OneLake 中。 合作租户创建了镜像数据的快捷方式,而不是直接获得源系统的访问权限。 源系统的凭证永远不会离开生产租户。

结合时需要注意的几点:

  • 镜像表的快捷方式继承镜像项的安全模型。 镜像数据库、模式或表的权限会传递给任何通过快捷方式阅读的人。 有关详细信息,请参阅 OneLake 快捷方式安全性
  • 镜像表的快捷方式为只读。 要更改数据,先更改源系统,让镜像传播更新。
  • 如果镜像源被暂停、删除或出现复制错误,指向它的每个快捷方式都会显示相同的状态。 相应地规划所有权和对镜像物品的监控。

何时改用数据移动

快捷方式和镜像通过使数据可通过 OneLake 访问来统一数据,而快捷方式转换可将这些数据转换为适用于分析的 Delta 表。 它们并不能替代 Fabric 的全套数据引入和移动工具。 在需要以下任一项时,请选择流水线、数据流、复制作业或事件流:

  • 应用复杂或多源的转换逻辑(例如,连接源代码、应用业务规则或重塑模式),这些逻辑超越了快捷方式转换的功能。
  • 按照自己的节奏安排、编排或触发动作。
  • 将数据迁移到OneLake以外的目的地。
  • 将事件流式传输到Fabric以实现实时处理。

这些场景需要 Fabric 的数据移动和集成工具,而不是仅靠 OneLake 的统一能力。