引入、筛选和转换实时事件,并将它们发送到 Microsoft Fabric 湖屋

本教程显示如何使用 Microsoft Fabric 事件流功能引入、筛选和转换实时事件,并以 Delta Lake 格式将它们从 Azure 事件中心发送到湖屋。 你还将了解如何生成 Power BI 报表,在事件数据中直观呈现业务见解。

本教程介绍如何执行下列操作:

  • 在 Microsoft Fabric 中创建事件流和湖屋项
  • 将 Azure 事件中心源添加到事件流
  • 创建事件中心云连接
  • 将湖屋目标添加到事件流
  • 使用事件处理器定义实时事件处理逻辑
  • 验证湖屋中的数据
  • 使用湖屋中引入的事件数据生成 Power BI 报表

先决条件

在开始之前,你必须具有:

  • 访问具有参与者或更高级别权限的高级工作区的权限,事件流和湖屋项位于此工作区中。
  • 具有事件数据和适当权限的 Azure 事件中心,可用于访问策略密钥。 事件中心必须可供公开访问,并且不能位于防火墙后面或在虚拟网络中受到保护。 若要创建事件中心,请参阅快速入门:使用 Azure 门户创建事件中心

创建湖屋和事件流

可通过“工作区”页或“创建中心”页创建事件流和湖屋。 按照以下步骤创建湖屋,然后再次创建事件流:

  1. 将 Fabric 体验更改为“实时智能”,然后选择“湖屋”或“事件流”,以在工作区或创建中心创建这些项。 (为获得最佳结果,请先创建湖屋项,然后创建事件流项。)

    • 在“工作区”屏幕中,选择“新建”,然后选择“湖屋”或“事件流”:

      该屏幕截图显示了在工作区的“新建”菜单中选择事件流和湖屋的位置。

    • 在“创建中心”中,选择“湖屋”或“事件流”:

      该屏幕截图显示了在创建中心选择事件流磁贴的位置。

      该屏幕截图显示了在创建中心选择湖屋磁贴的位置。

  2. 为新的事件流或湖屋输入名称,然后选择“创建”。 对于本文中的示例,我们对事件流使用 citypwr-es,对湖屋使用 citypwrdata。

    该屏幕截图显示了在“新建事件流”对话框上输入名称的位置。

成功创建新的事件流和湖屋后,工作区中将显示这些项:

  • citypwr-es:事件流项

  • citypwrdata:湖屋项、语义模型(默认)项和 SQL 终结点项。

    显示要添加工作区的四个项的列表的屏幕截图。

将 Azure 事件中心源添加到事件流

创建湖屋和事件流后,请按照以下步骤,将 Azure 事件中心添加为事件流源。

  1. 在功能区上选择“新建源”或在主编辑器画布中选择“+”,然后选择“Azure 事件中心”。

  2. 输入新源的源名称,然后选择与 Azure 事件中心新建连接

    该屏幕截图显示了在 Azure 事件中心源配置屏幕上创建新连接的位置。

  3. 在“新建连接”页上,填写 Azure 事件中心的信息。

    显示事件中心源中的云连接的屏幕截图。

    • 事件中心命名空间:输入 Azure 事件中心命名空间的名称。

    • 事件中心:在 Azure 门户中输入 Azure 事件中心的名称。

    • 连接名称:输入云连接的名称。

    • 共享访问密钥名称共享访问密钥:转到 Azure 事件中心,并在“共享访问策略”下创建具有 ManageListen 权限的策略。 然后,使用策略名和主密钥作为共享访问密钥名称和共享访问密钥。

      该屏幕截图显示了选择 Azure 事件中心并为其输入身份验证信心的位置。

  4. 选择从 Azure 事件中心读取事件数据的使用者组,然后选择“添加”。

  5. 选择要从 Azure 事件中心获取的传入实时事件的数据格式

  6. 成功创建事件中心源后,画布中会显示新的源节点。 在画布中选择事件中心节点,然后在底部窗格中选择“数据预览”选项卡来查看事件中心内的数据。

    显示事件中心源预览的屏幕截图。

  7. 在画布中选择事件流节点,然后在底部窗格中选择“数据预览”选项卡来查看事件流内的数据。

    显示数据流节点中的“数据预览”选项卡的屏幕截图。

  8. 若要查找数据见解详细信息,请选择事件中心源节点和事件流节点的“数据见解”选项卡。

将湖屋目标添加到事件流

事件流引入事件中心事件后,你可以添加湖屋目标,从事件流接收事件。 按照以下步骤添加湖屋目标。

  1. 在功能区上选择“新建目标”或在主编辑器画布中选择“+”,然后选择“湖屋”。

  2. 输入事件流目标的名称,填写有关湖屋的信息。

    显示湖屋目标配置屏幕的屏幕截图。

    1. 湖屋:从指定的工作区中选择现有的湖屋项。 我们在示例中选择了新创建的湖屋 citypwrdata。
    2. Delta 表:选择现有 delta 表或创建一个新表来接收数据。 对于此示例,我们选择了新的 delta 表 citypwrtbl。
    3. 输入数据格式:选择数据的格式。
  3. 如果不希望在将事件引入湖屋时处理事件,请选择“添加”,完成湖屋目标的配置。 如果要处理事件,请跳到下一部分

  4. 湖屋目标节点显示在画布上,其中有一个转圈圈的状态指示器。 系统需要几分钟时间才能将状态更改为“正在引入”。

    该屏幕截图显示了查找两个湖屋目标状态指示器的位置。

  5. 目标状态更改为“正在引入”后,选择底部窗格中的“数据预览”选项卡,检查确认事件数据已正确引入湖屋。

    显示湖屋目标预览选项卡的屏幕截图。

使用事件处理器定义实时事件处理逻辑

在本部分中,在上一部分中开始添加湖屋目标的过程后,你将使用事件处理程序编辑器定义事件处理逻辑。 在我们的示例中,我们不希望将传感器 ID 数据存储在湖屋中,因此我们使用事件处理程序删除列。

  1. 在已完成的湖屋目标屏幕中(不选择“添加”),选择”打开事件处理程序”。 这会打开“事件处理编辑器”屏幕。

    显示事件处理编辑器屏幕的屏幕截图。

  2. 若要添加事件处理逻辑,请在功能区中选择“操作”菜单,然后选择“管理字段”。

    该屏幕截图显示了在“操作”菜单中选择“管理字段”的位置。

  3. 将鼠标悬停在连接线上,然后选择“+”按钮。 连接线上会显示一个下拉菜单,可以在它们之间插入管理字段运算符。

    该屏幕截图显示了选择和删除事件流和湖屋之间的运算符连接的位置。

  4. 选择“管理字段”运算符节点。 在“管理字段”配置面板上,选择“添加所有字段”。 然后将鼠标悬停在传感器列上,依次选择“...”和“删除”来移除该列。

    显示“管理字段”运算符配置的屏幕截图。

  5. 配置“管理字段”运算符后,单击“刷新静态预览”来预览此运算符生成的数据。

    显示“管理字段”运算符的已刷新数据预览的屏幕截图。

  6. 选择“完成”来保存事件处理逻辑,并返回到湖屋目标配置屏幕。

  7. 选择“添加”,完成湖屋目标的配置。

  8. 湖屋目标节点显示在画布上,其中有一个转圈圈的状态指示器。 系统需要几分钟时间才能将状态更改为“正在引入”。

    显示湖屋目标状态指示器的屏幕截图。

  9. 目标状态更改为“正在引入”后,选择底部窗格中的“数据预览”选项卡,检查确认事件数据已正确引入湖屋。

    显示湖屋目标预览的屏幕截图。

验证湖屋中的数据

若要验证新湖屋中的事件数据,请从工作区中打开 citypwrdata 湖屋,然后选择 citypwrtbl 表来查看其数据。

显示湖屋数据表示例的屏幕截图。

使用引入的事件数据生成 Power BI 报表

  1. 转到工作区并选择 citypwrdata 语义模型,系统会在创建新的 citypwrdata 湖屋时自动添加该模型。

  2. 在功能区的“创建报表”菜单中,选择“自动创建”或“从头开始”。

    该屏幕截图显示了在“创建报表”菜单中进行选择的位置。

  3. 选择温度、湿度、风速和三个区域的功耗来调整报表,以便可监视这些数据。

    显示自动生成的报表的屏幕截图。

  4. 如果想要自动刷新数据,请在自动生成的报表中选择“编辑”按钮。 然后,导航到“可视化效果”下的“设置页面格式”,选择“页面刷新”来设置刷新间隔。

    注意

    • 管理员间隔可控制最小刷新间隔。
    • 将事件数据写入湖屋的当前间隔为两分钟。

    显示如何启用自动刷新的屏幕截图。

  5. 报表调整完毕后,选择“保存”按钮并输入名称以保存报表。

    显示最终已编辑的报表的屏幕截图。

在本教程中,你学习了如何引入、筛选和转换实时事件,并以 Delta Lake 格式将其从 Azure 事件中心发送到湖屋。 你还了解了如何使用湖屋生成 Power BI 报表,从而直观显示事件数据中的业务见解。 如果你有兴趣了解可与 Fabric 事件流功能结合使用的更多高级功能,你可能会发现以下资源非常有用。