小窍门
在 Microsoft Fabric 的
数据流是基于云的自助式数据准备技术。 数据流使客户能够将数据引入、转换和加载到Microsoft Dataverse环境、Power BI工作区或组织的Azure Data Lake Storage帐户中。 数据流是使用 Power Query 创建的,这是一种统一的数据连接和准备体验,已经在许多 Microsoft 产品中提供,包括 Excel 和 Power BI。 客户可以触发数据流以按需运行或按计划自动运行;数据始终保持最新状态。
可以在多个Microsoft产品中创建数据流
数据流被应用在许多微软产品中,创建或运行它们不需要专门针对数据流的许可证。 数据流在 Power Apps、Power BI 和 Dynamics 365 Customer Insights 中提供。 创建和运行数据流的功能与这些产品的许可证捆绑在一起。 数据流功能大多数在其所在的所有产品中都是通用的,但某些特定于产品的功能可能会存在于不同产品所创建的数据流中。
数据流如何运行?
上图显示了如何定义数据流的总体视图。 数据流从不同的数据源获取数据(已经支持超过 80 个数据源)。 然后,根据配置了Power Query创作环境的转换,数据流通过数据流引擎来转换数据。 最后,数据将加载到输出目标,可以是Microsoft Power Platform环境、Power BI工作区或组织的Azure Data Lake Storage帐户。
数据流在云中运行
数据流是基于云的。 创建和保存数据流时,其定义将存储在云中。 数据流也在云中运行。 但是,如果数据源在本地,则可以使用本地数据网关将数据提取到云中。 触发数据流运行时,数据转换和计算在云中发生,目标始终在云中。
数据流使用功能强大的转换引擎
Power Query是在数据流中使用的数据转换引擎。 此引擎足以支持许多高级转换。 它还使用一个名为“Power Query编辑器”的简单、功能强大、图形用户界面。 可以将数据流与此编辑器配合使用,以更快、更轻松地开发数据集成解决方案。
&
数据流与Microsoft Power Platform和Dynamics 365集成
由于数据流将生成的表存储在基于云的存储中,因此其他服务可以与数据流生成的数据进行交互。
例如,Power BI、Power Apps、Power Automate、Power Virtual Agents 和 Dynamics 365 应用程序可以通过连接到 Dataverse、Power Platform 数据流连接器或直接通过湖来获取数据流生成的数据,具体取决于在数据流创建时配置的目标。
数据流的优点
以下列表重点介绍了使用数据流的一些优势:
数据流将数据转换层与Power BI解决方案中的建模和可视化层分离。
数据转换代码可以驻留在中心位置(数据流)中,而不是分散在多个项目之间。
数据流创建者只需要Power Query技能。 在具有多个创建者的环境中,数据流创建者可以是构建整个 BI 解决方案或操作应用程序的团队的一部分。
数据流与产品无关。 它不是Power BI的一部分;你可以在其他工具和服务中获取其数据。
数据流利用Power Query,这是一个功能强大的图形化自助数据转换工具。
数据流完全在云中运行。 无需额外的基础结构。
您有多种方式可以开始使用数据流,包括使用 Power Apps、Power BI 和 Customer Insights 的许可证。
尽管数据流能够进行高级转换,但它们专为自助服务方案设计,无需 IT 或开发人员背景。
数据流的用例场景
可以将数据流用于多种用途。 以下方案提供了数据流的一些常见用例示例。
从旧系统迁移数据
在此方案中,组织决定将Power 应用用于新的用户界面交互体验,而不是遗留本地系统。 Power Apps、Power Automate和AI Builder都使用 Dataverse 作为主数据存储系统。 现有本地系统中的当前数据可以使用数据流迁移到 Dataverse,然后这些产品可以使用这些数据。
使用数据流生成数据仓库
可以将数据流用作其他提取、转换、加载(ETL)工具的替代来生成数据仓库。 在此方案中,公司的数据工程师决定使用数据流生成其星型架构设计的数据仓库,包括Data Lake Storage中的事实数据表和维度表。 然后,Power BI通过从数据流中获取数据来生成报表和仪表板。
使用数据流生成维度模型
可以使用数据流作为其他 ETL 工具的替代来生成维度模型。 例如,公司的数据工程师决定使用数据流构建星型架构设计维度模型,包括Azure Data Lake Storage Gen2中的事实数据表和维度表。 然后,Power BI通过从数据流中获取数据来生成报表和仪表板。
在多个 Power BI 解决方案中整合数据准备流程,并重用语义模型
如果多个Power BI解决方案使用相同的转换版本的表,则创建表的过程将多次重复。 这会增加源系统上的负载,消耗更多资源,并创建具有多个故障点的重复数据。 相反,可以创建单个数据流来计算所有解决方案的数据。 然后,Power BI可以在所有解决方案中重复使用转换的结果。 数据流(如果以这种方式使用)可以是可靠的Power BI实现体系结构的一部分,该体系结构可避免Power Query代码重复,并降低数据集成层的维护成本。
相关内容
在 Microsoft Power Platform - 在 Power BI 中创建和使用数据流