Microsoft Fabric 中 OneLake 的新增功能和计划

重要

发布计划描述了可能或可能尚未发布的功能。 交付时间线和投影功能可能会更改或未交付。 有关详细信息,请参阅Microsoft策略

OneLake 是面向整个组织的统一逻辑数据湖。 与 OneDrive 一样,OneLake 也是每个 Microsoft Fabric 租户自动随附的,并且旨在成为所有分析数据的统一位置。 

OneLake 中的任何数据都适用于现成的治理,例如数据世系、数据保护、认证、目录集成等,最终由租户管理员控制。在租户中,工作区使组织的不同部分能够独立工作,同时仍为同一数据湖做出贡献。

OneLake 在每个级别都打开。 OneLake 支持与现有 ADLS Gen2 应用程序兼容的相同 ADLS Gen2 API 和 SDK,并且可以支持任何类型的文件、结构化或非结构化文件。

OneLake 旨在提供单个数据副本中可能的最大价值。 使用 OneLake 快捷方式,可以通过创建对存储在其他文件位置(如其他 OneLake 位置或 ADLS 或 S3)中的数据的引用,从而跨域、云和帐户统一数据,而无需移动或重复数据。 还可以跨多个分析引擎使用相同的数据,因为 Fabric 引擎以开放 parquet 格式存储所有表格数据。不再需要复制数据,只需将其用于另一个引擎。

若要了解详细信息,请参阅文档

投资领域

功能 预计发布时间线
Iceberg 数据的 OneLake 表快捷方式 Q3 2024
OneLake 数据访问角色正式发布 2024 年第 4 季度
OneLake 安全模型 2025 年第 1 季度
本地数据的 OneLake 快捷方式 发货(2024 年第 2 季度)
Google 云存储快捷方式 发货(2024 年第 1 季度)
快捷方式 API 发货(2024 年第 1 季度)
Amazon S3 快捷方式的智能缓存 发货(2023 年第 4 季度)

Iceberg 数据的 OneLake 表快捷方式

估计发布时间线:2024 年第 3 季度

发布类型:公共预览版

使用 Microsoft OneLake,你将能够在其他位置创建 Iceberg 数据的表快捷方式,并且此数据将自动以 Delta Lake 格式显示。

OneLake 会自动生成虚拟化的 Delta Lake 元数据,并通过 OneLake 快捷方式提供它。 这意味着,可以将 Iceberg 数据用于处理 Delta Lake 格式数据的所有 Fabric 工作负载。

OneLake 数据访问角色正式发布

估计发布时间线:2024 年第 4 季度

发布类型:正式发布

OneLake 数据访问角色基于 OneLake 安全模型的现有功能构建,以提高可在 Fabric 数据项中应用安全性的粒度。 此功能添加了可继承的 RBAC(基于角色的访问控制)模型,该模型简化了 OneLake 中数据的用户和权限管理。 可以定义安全角色,这些角色授予对 OneLake 中特定文件夹的读取访问权限,并将其分配给用户或组。 访问权限决定了用户通过湖屋 UX、笔记本或 OneLake API 访问数据湖视图时看到的文件夹。

OneLake 安全模型

估计发布时间线:2025 年第 1 季度

发布类型:公共预览版

跨多个分析引擎和数据副本管理数据安全性具有挑战性。 OneLake 和 Fabric 通过允许跨多个分析引擎使用单个数据复制来简化此操作,而无需任何数据移动或重复。 将“一个副本”概念进一步提升,OneLake 还通过更精细的模型增强了安全性,允许表和文件夹访问,以及行级和列级安全性。 这些安全定义与数据一起存在,并跨快捷方式传输,无论使用数据在哪里。 无论使用哪个分析引擎来访问数据,OneLake 中定义的安全性都是通用的。

发货功能(s)

本地数据的 OneLake 快捷方式

发货(2024 年第 2 季度)

发布类型:公共预览版

Microsoft OneLake 快捷方式正在扩展,以包含本地数据源和网络受限数据源。 借助此功能,可以在 OneLake 中统一本地数据和云数据。

在创建 AWS S3、Google 云存储或 S3 兼容存储桶的快捷方式期间,可以选择选择本地数据网关(OPDG)建立连接。

Google 云存储快捷方式

发货(2024 年第 1 季度)

发布类型:公共预览版

OneLake 将扩展 Google Cloud Storage 的快捷方式支持,从而允许数据虚拟化,而无需移动或复制数据。 这样就可以将 Google Cloud Storage 数据与 ADLS gen2、OneLake、Dataverse 和 Amazon S3 等Microsoft 服务集成。 数据将像在 OneLake 中一样显示和工作,并提供一个可以跨越云的简单数据湖。

快捷方式 API

发货(2024 年第 1 季度)

发布类型:公共预览版

用于自动创建和管理快捷方案的公共 REST API。

Amazon S3 快捷方式的智能缓存

发货(2023 年第 4 季度)

发布类型:公共预览版

Amazon S3 快捷方式的智能缓存可降低出口成本,并通过使数据更接近计算引擎来提高性能。 智能缓存将从 S3 传出一次数据,并在 OneLake 中本地缓存一段时间。 这样,就无需从 S3 重复检索数据。 缓存的数据可以跨多个用户、分析引擎和优化单个出口值的方案重复使用。