活动概述

本文帮助你了解 Microsoft Fabric 中的活动并使用它们为数据移动和数据处理方案构造端到端数据驱动工作流。

概述

Microsoft Fabric 工作区可以有一个或多个管道。 “管道”是共同执行一项任务的活动的逻辑分组。 例如,管道可以包含一组活动,这些活动引入和清除日志数据,然后启动映射数据流以分析日志数据。 可以通过管道将活动作为一个集来管理,而非单独管理每个活动。 可以部署和计划管道,而不需单独对活动进行操作。

管道中的活动定义对数据执行的操作。 例如,可使用复制活动将数据从 SQL Server 复制到 Azure Blob 存储。 然后,使用数据流活动或笔记本活动来处理数据并将数据从 Blob 存储转换为 Azure Synapse Analytics 池,在此池的基础上构建商业智能报告解决方案。

Microsoft Fabric 有三种类型的活动:数据移动活动、数据转换活动和控制活动。

数据移动活动

Microsoft Fabric 中的复制活动可以将数据从源数据存储复制到接收器数据存储。 Fabric 支持连接器概述一文中列出的数据存储。 来自任何源的数据都可以写入到任何接收器。

有关详细信息,请参阅如何使用复制活动复制数据

数据转换活动

Microsoft Fabric 支持以下转换活动,这些活动既可以单独添加,也可以与其他活动关联在一起添加。

有关详细信息,请参阅数据转换活动一文。

数据转换活动 计算环境
复制数据 Microsoft Fabric 的计算管理器
数据流 Gen2 Microsoft Fabric 的计算管理器
删除数据 Microsoft Fabric 的计算管理器
Fabric 笔记本 由 Microsoft Fabric 管理的 Apache Spark 群集
Fabric Spark 作业定义(即将推出) 由 Microsoft Fabric 管理的 Apache Spark 群集
存储过程 Azure SQL、Azure Synapse Analytics 或 SQL Server
SQL 脚本 Azure SQL、Azure Synapse Analytics 或 SQL Server

控制流活动

支持以下控制流活动:

控制活动 说明
追加变量 向现有数组变量中添加值。
Azure Batch 活动 运行 Azure Batch 脚本。
Azure Databricks 活动 运行 Azure Databricks 作业(Notebook、Jar、Python)。
Azure 机器学习活动 运行 Azure 机器学习作业。
停用活动 停用另一个活动。
失败 造成管道执行失败,并显示自定义错误消息和错误代码。
Filter 将筛选器表达式应用于输入数组。
ForEach ForEach 活动在管道中定义重复的控制流。 此活动用于循环访问集合,并在循环中执行指定的活动。 此活动的循环实现类似于采用编程语言的 Foreach 循环结构。
Functions 活动 执行 Azure Function。
获取元数据 GetMetadata 活动可用于检索数据工厂或 Synapse 管道中的任何数据的元数据。
If 条件 If Condition 可用于基于计算结果为 true 或 false 的条件进行分支。 If Condition 活动可提供 if 语句在编程语言中提供相同的功能。 当条件计算结果为 true 时,它会计算一组活动,当条件计算结果为 false 时,它会计算另一组活动。
调用管道 执行管道活动允许数据工厂或 Synapse 管道调用另一个管道。
KQL 活动 针对 Kusto 实例执行 KQL 脚本。
Lookup 活动 查找活动可用于从任何外部源读取或查找记录/表名称/值。 此输出可进一步由后续活动引用。
设置变量 设置现有变量的值。
Switch 活动 实现一个 switch 表达式,该表达式允许针对表达式的每个可能结果执行多个后续活动。
Teams 活动 在 Teams 频道或群组聊天中发布消息。
Until 活动 实现类似于采用编程语言的 Do-Until 循环结构的 Do-Until 循环。 它在循环中将执行一组活动,直到与活动相关联的条件的计算结果为 true。 可以为 Until 活动指定超时值。
Wait 活动 在管道中使用 Wait 活动时,管道将等待指定的时间,然后继续执行后续活动。
Web 活动 Web 活动可用于从管道调用自定义的 REST 终结点。
Webhook 活动 使用 Webhook 活动,调用终结点并传递回调 URL。 管道运行在继续下一个活动之前,等待调用回调。

使用 Microsoft Fabric UI 将活动添加到管道

使用以下步骤在 Microsoft Fabric 管道中添加和配置活动:

  1. 在工作区中创建新管道。
  2. 在管道的“活动”选项卡上,浏览显示的活动,如有必要,请向右滚动以查看所有活动。 选择一个活动以将其添加到管道编辑器。
  3. 添加活动并在管道编辑器画布中选择该活动时,其“常规”设置将显示在画布下方的属性窗格中。
  4. 每个活动还包含属性窗格中的其他选项卡上特定于其配置的自定义属性。

屏幕截图显示了管道编辑器,其中“活动”选项卡、工具栏、复制活动及其属性的“常规”选项卡均突出显示。

常规设置

将新活动添加到管道并选择它时,你将在屏幕底部的区域中看到其属性窗格。 这些属性窗格包括“常规”、“设置”,有时还包括其他窗格。

屏幕截图显示活动的“常规”设置选项卡。

常规设置将始终包括每个活动的“名称”和“说明”字段。 某些活动还包括以下内容:

设置 说明
超时 活动可以运行的最长时间。 默认值为 12 小时,允许的最长时间为 7 天。 超时格式为 D.HH:MM:SS。
重试 最大重试尝试次数。
(高级属性)重试间隔(秒) 每次重试之间的秒数。
(高级属性)安全输出 选中时,日志记录中不会捕获活动的输出。
(高级属性)安全输入 每次重试之间的秒数。

注意

每个管道的默认活动数软上限为 80,其中包括容器的内部活动。