迁移到 Microsoft Fabric 中的数据工厂
Microsoft Fabric 中的数据工厂将 Power Query 和 Azure 数据工厂汇集到现代受信任数据集成体验中,可支持数据和业务专业人员为其组织提取、加载和转换数据。 此外,借助强大的数据业务流程功能,可以构建从简单到复杂的数据工作流,以协调数据集成需求所需的步骤。
Microsoft Fabric 中数据工厂的关键概念
获取数据和转换 - Dataflow Gen2 是 Power BI 中数据流的发展。 Dataflow Gen2 已经过重新架构,可使用 Fabric 计算引擎进行数据处理和转换。 通过此方式,可以按任何规模引入和转换数据。
数据业务流程 - 使用 Azure 数据工厂 (ADF) 用户已经熟悉的数据管道,Microsoft Fabric 可实现 ADF 中提供的相同业务流程功能。 作为 Fabric 正式版本的一部分,数据管道支持 ADF 中提供的大多数活动。
请参阅此活动列表,这些活动是 Fabric 中数据管道的一部分。
企业就绪的数据移动 - 无论是小型数据移动还是 PB 级数据移动,借助数据工厂提供的无服务器智能数据移动平台,都能够可靠地在各种数据源和数据目标之间移动数据。 借助对超过 170 个连接器的支持,使用 Microsoft Fabric 中的数据工厂,可以在多云、本地数据源和虚拟网络 (VNet) 内部之间移动数据。 通过智能吞吐量优化,数据移动平台能够自动检测数据移动所需的计算大小。
从 Azure 数据工厂 (ADF) 迁移
为了支持客户从 Azure 数据工厂 (ADF) 升级到 Microsoft Fabric,我们支持以下功能:
数据管道活动 - 我们在 Fabric 中支持已在 ADF 中使用的大多数活动。 此外,我们还为添加了新的通知活动,例如 Teams 和 Outlook 活动。 请参阅此活动列表,这些活动是 Fabric 数据工厂提供的。
Azure 数据工厂中的 OneLake/Lakehouse 连接器 - 对于许多 ADF 客户,现在可以与 Microsoft Fabric 集成,并将数据引入 Fabric OneLake。
Azure 数据工厂将数据流映射到 Fabric - 我们为考虑在 Fabric 中生成新数据转换的 ADF 客户提供了此面向 ADF 客户的指南。
此外,对于考虑将 ADF 映射数据流迁移到 Fabric 的客户,可以应用 Fabric 客户顾问团队 (Fabric CAT) 的示例代码,以将映射数据流转换为 Spark 代码。 有关详细信息,请参阅将数据流映射到 Microsoft Fabric。
作为 Microsoft Fabric 路线图中数据工厂的一部分,我们正致力于在 2024 自然年第二季度实现以下项目的预览版:
- 在 Fabric 中装载 ADF - 此功能将会支持客户在 Microsoft Fabric 中装载其现有的 ADF。 所有 ADF 管道将按原样工作,并继续在 Azure 上运行,同时支持你探索 Fabric 并制定更全面的升级计划。
- 从 ADF 管道升级到 Fabric - 我们正在与客户和社区合作,以了解如何最好地支持将数据管道从 ADF 升级到 Fabric。 在此过程中,我们将提供升级体验,以支持你使用装载和升级数据管道在 Fabric 中测试现有数据管道。
将 Power BI Dataflow Gen1 迁移到 Fabric 中的 Dataflow Gen2
与 Power BI 中的数据流 (Gen1) 相比,Fabric 中的 Dataflow Gen2 提拱了许多优势和新增功能:
- 大规模获取数据(“快速复制”)
- 大规模数据转换(使用 Fabric Lakehouse SQL 引擎)
- 更多输出目标:Azure SQL DB、Lakehouse、仓库、SharePoint、KQL 数据库等
- 增强的刷新历史记录和监视体验
- 增强的创作和发布体验。
我们鼓励客户开始试用 Dataflow Gen2,以重新创建现有的 Dataflow Gen1 方案,或尝试新的方案。 有关 Dataflow Gen2 的早期反馈将帮助我们推动产品功能的改进和成熟。
客户可以通过以下几个选项来将 Gen1 数据流重新创建为 Dataflow Gen2:
- 导出数据流 Gen1 查询并将其导入 Dataflow Gen2:现在,可以在 Dataflows 和 Dataflow Gen2 创作体验中导出查询,并将其保存到 PQT 文件,然后再将其导入 Dataflow Gen2。 有关详细信息,请参阅《使用导出模板功能》。
- 在 Power Query 中复制和粘贴:如果在 Power BI 或 Power Apps 中拥有数据流,则可以复制查询并将其粘贴到 Dataflow Gen2 项目的编辑体验中。 此功能使你能够将数据流迁移到 Gen2,而无需重写查询。 有关详细信息,请参阅《复制粘贴现有数据流 (Gen1) 查询》。
另请参阅以下文章,以了解进一步注意事项:《Dataflow Gen1 和 Gen2 之间的差异》