OneLake 为你提供了一个跨云、域和账户的数据视图。 在 OneLake 中统一数据,并不需要将所有这些数据都存储在同一个位置。 数据可以留在源头,也可以复制到 OneLake,由 Fabric 工作负载通过共享命名空间访问。
捷径和镜像是 OneLake 的互补功能,用于创建统一视图,无需构建和运营数据流动流水线。 快捷方式会将所选数据添加到 OneLake 命名空间。 镜像添加外部数据库或目录,并决定其数据是否可以原地访问或必须复制。 本文将解释每种能力的工作原理以及何时使用它们。 关于在 Fabric 中导入、转换或移动数据的更广泛方法,请参见“将数据导入 Microsoft Fabric”或“选择数据移动策略”。
快捷键和镜像概览
快捷方式和镜像在不同粒度层级工作,并支持不同的源格式。
| 能力 | 它的作用是什么 | 源格式 | 典型方案 |
|---|---|---|---|
| 快捷方式 | 在 OneLake 或外部存储中添加对选定表、文件夹或文件的引用。 数据始终停留在其源头。 | 仅限开放格式 | 将单个表、文件夹或架构引入湖仓中,或者在跨工作区或租户之间启用数据网格模式。 |
| 镜像 | 在 Fabric 中添加外部数据库或目录。 根据数据源的不同,镜像可以就地访问数据,或将数据持续复制到 OneLake 中。 | 开放与专有格式 | 引入完整的外部数据库或目录,比如Snowflake、Azure Databricks或Azure SQL 数据库。 |
如果你的源数据以专有格式存储,镜像是你唯一的选择。
何时使用快捷方式
当你想在统一的OneLake视图中包含特定数据而不复制时,使用快捷方式。 当你需要选择快捷方式时:
- 在工作区或租户之间共享单一表、文件夹或文件。
- 将多个湖泊或云账户的数据合并到一个统一视图中。
- 构建数据网格模式,每个域名拥有其数据,其他域名通过 OneLake 发现数据。
- 将数据以开放格式提供,如 Delta 或 Iceberg,可从 Azure Data Lake Storage、Amazon S3、Google Cloud Storage 或 Dataverse 获取。
快捷键可以在表格、文件夹或文件层面工作。 您可以决定哪些数据提供,以及它们在 OneLake 中的位置。 有关详细信息,请参阅 OneLake 快捷方式。
在统一数据的同时转换数据
捷径转换将捷径后面的数据转换为可查询的Delta表,保持与源同步,无需构建ETL流水线。 使用它们,让你的数据为分析做好准备:
- 文件转换将结构化文件,如 CSV、Parquet、JSON 或 Excel,转换为 Delta 表。 更多信息请参见快捷方式变换(文件)。
-
人工智能驱动的转换 技术对文件进行语言处理
.txt,用于内容摘要、检测情感、翻译语言、编辑个人身份信息(PII)或提取具名实体。 更多信息请参见捷径变换(AI驱动)。
何时使用镜像
当你希望将外部数据库或目录及其背后的数据作为一个整体纳入 Fabric 时,请使用镜像。 在以下情况下,镜像是合适的选择:
- 无需设计单独的引入流程,即可在 Fabric 中提供整个外部数据库或目录。
- 在OneLake中保留一份可用于分析的运行数据库副本(如Azure SQL 数据库、PostgreSQL或Cosmos DB),并保持与源代码同步。
- 将外部湖仓或数据仓库(例如 Databricks Unity Catalog 或 Snowflake)接入 Fabric,以便你能够将其与 Fabric 中的数据一同查询。
镜像总是将目录元数据(如数据库、模式和表格)添加到 Fabric 中。 Fabric 如何访问数据取决于来源,正如下一节所述。
镜像如何使数据在OneLake中可用
镜像通过两种底层机制将外部数据纳入统一的OneLake视图。 正确的组合取决于数据源如何存储其数据。
- 复制。 镜像会将源中的数据复制到 OneLake 中,并以可供分析的 Delta 格式存储。 镜像在源数据以专有格式存储时使用复制。
- 快捷方式。 通过 OneLake 快捷方式原位镜像引用数据。 当源以 OneLake 可直接读取的开放格式存储数据时,镜像会使用快捷方式。
不同来源对这些机制的使用方式不同,如下表所示。
| 源模式 | 示例 | 镜像的作用 |
|---|---|---|
| 数据库镜像(复制) | Azure Cosmos DB、Azure Database for PostgreSQL、Azure Database for MySQL(预览版)、Azure SQL 数据库、SQL Server、Oracle、SAP | 镜像会复制目录元数据,并持续将数据以 Delta 表的形式复制到 OneLake 中。 |
| 元数据镜像(快捷方式) | Azure Databricks, Snowflake, Dremio (preview) | 镜像会将目录的元数据添加到 Fabric 中,并使用快捷方式访问保留在原位置的底层数据。 |
在每种情况下,镜像都会将目录元数据添加到 Fabric 中。 是否复制数据取决于来源。
将快捷键和镜像功能结合使用
快捷方式和镜像并不互斥。 你可以在很多场景下一起使用它们。 例如,使用镜像一次性将源系统添加到 Fabric,然后创建快捷方式使该系统中选定的数据在工作区、域或租户间可用。 如果镜像将源数据复制到 OneLake,对该数据的快捷方式不会创建另一个副本或增加存储成本。
结合这两种功能的常见模式包括:
- 一次镜像,处处可用。 中央工作区镜像外部数据库或目录,如 Azure SQL 数据库 或 Snowflake 账户。 同一租户中的其他工作区会为镜像表创建快捷方式,而不是再次镜像同一个源。 一个镜像项表示源数据,每个消费者读取的都是相同的最新数据。
- 域镜像与网格消耗。 域团队会将自己的源系统镜像到他们的域工作空间中。 位于使用方工作区中的下游湖仓和仓库使用快捷方式,仅访问镜像数据库中其所需的表。 每个域都拥有自己与源系统的连接,而消费者则与源系统保持解耦。
- 一个湖边别墅,多个数据点。 单个 Lakehouse 可以包含指向镜像表的快捷方式,以及指向 Azure Data Lake Storage、Amazon S3 或其他 OneLake 位置中的开放格式数据的快捷方式。 报表和笔记本将 Lakehouse 作为统一存储进行查询,无论底层数据是保留在源位置还是复制到 OneLake 中。
- 跨租户或跨云访问。 一个租户将源镜像到其自己的 OneLake 中。 合作租户创建了镜像数据的快捷方式,而不是直接获得源系统的访问权限。 源系统的凭证永远不会离开生产租户。
结合时需要注意的几点:
- 镜像表的快捷方式继承镜像项的安全模型。 镜像数据库、模式或表的权限会传递给任何通过快捷方式阅读的人。 有关详细信息,请参阅 OneLake 快捷方式安全性。
- 镜像表的快捷方式为只读。 要更改数据,先更改源系统,让镜像传播更新。
- 如果镜像源被暂停、删除或出现复制错误,指向它的每个快捷方式都会显示相同的状态。 相应地规划所有权和对镜像物品的监控。
何时改用数据移动
快捷方式和镜像通过使数据可通过 OneLake 访问来统一数据,而快捷方式转换可将这些数据转换为适用于分析的 Delta 表。 它们并不能替代 Fabric 的全套数据引入和移动工具。 在需要以下任一项时,请选择流水线、数据流、复制作业或事件流:
- 应用复杂或多源的转换逻辑(例如,连接源代码、应用业务规则或重塑模式),这些逻辑超越了快捷方式转换的功能。
- 按照自己的节奏安排、编排或触发动作。
- 将数据迁移到OneLake以外的目的地。
- 将事件流式传输到Fabric以实现实时处理。
这些场景需要 Fabric 的数据移动和集成工具,而不是仅靠 OneLake 的统一能力。
- 关于将数据导入Fabric的各种端到端视图,请参见“将数据导入Microsoft Fabric”。
- 关于管道、复制作业、镜像和事件流的直接比较,请参见 《选择数据移动策略 决策指南》。