监控 Fabric Data Factory 中的管道运行情况

本文介绍如何监视管道运行。 无论你是需要检查情况如何进行还是对特定内容进行故障排除,都可以跟踪进度、提前发现问题,并让工作流保持平稳运行。 监视有助于提前捕获问题,并让工作流保持正常。

监视管道运行

  1. 若要监视管道运行,请将鼠标悬停在工作区中的管道上。 “更多选项”按钮显示在管道名称右侧。

    显示在哪儿找到更多管道选项的屏幕截图。

  2. 选择“更多选项以显示选项列表。 然后选择“查看运行历史记录”。 此操作会在屏幕右侧打开一个浮出控件,其中包含所有最近的运行和运行状态。

    屏幕截图显示了选择“查看运行历史记录”的位置。

    显示最近运行列表的屏幕截图。

  3. 在上一张截图中选择 转到监视器,以查看更多详细信息并筛选结果。 使用筛选器根据多个条件查找特定流水线任务。

    “筛选器”选项的屏幕截图。

  4. 选择一个管道运行以查看详细信息。 可以查看管道的外观,并查看更多属性,例如运行 ID 或错误(如果管道运行失败)。

    最近运行详细信息的屏幕截图。

  5. 如果管道中有超过 2,000 个活动运行记录,请选择“加载更多”以在同一监视页面查看更多结果。

    活动运行的屏幕截图,其中突出显示了“加载更多”文本框。

    已加载所有活动运行详细信息的屏幕截图。

  6. 使用 “筛选器” 按活动状态进行筛选,或 “列”选项 可更改监视视图中显示哪些列。

    活动运行筛选器选项的屏幕截图。

    列选项的屏幕截图。

    还可以使用“按关键字筛选”框搜索活动名称、活动类型或活动运行 ID。

    关键字筛选器框的屏幕截图。

    关键字筛选结果的屏幕截图。

  7. 若要导出监视数据,请选择“ 导出到 CSV”。

    “导出到 csv”选项的屏幕截图。

  8. 若要查找有关管道运行输入和输出的详细信息,请选择活动运行下相关行右侧的输入或输出链接。

  9. 选择“更新管道”以在此屏幕上更改管道。 此操作会将你带回到管道画布。

  10. 选择 “重新运行 ”以重新运行管道。 选择重新运行整个管道,或仅从失败的活动开始重新运行。

    显示重新运行失败活动的屏幕截图。

  11. 若要查看性能详细信息,请从 “活动运行”列表中选择一个活动。 此时会打开性能详细信息窗格。

    “复制数据详细信息”屏幕的屏幕截图。

    “持续时间明细 ”和“ 高级”下查找更多详细信息。

    复制数据运行的其他详细信息的屏幕截图。

甘特图视图

甘特图视图提供了一种清晰、直观的方式来跟踪管道运行随时间推移。 每次运行都显示为条形图,按管道名称分组,条形图的长度显示运行所花费的时间。 使用此视图可发现模式、比较持续时间,并一目了然地识别延迟、重叠或异常。

显示在哪里切换视图的屏幕截图。

条形的长度表示流水线运行的持续时间。 可以选择条形来查看更多详细信息。

显示不同条形长度的甘特视图屏幕截图。

甘特视图管道运行详细信息的屏幕截图。

流水线工作区监控

工作区监控为工作区中的所有项目(包括管道)提供日志级别的可见性。

  1. 若要启用工作区监视,请转到Fabric工作区中的工作区设置,然后选择“监视”。

  2. 添加监视事件库并打开 日志工作区活动。 Fabric 在工作区中的 eventhouse 内创建 Kusto 查询语言 (KQL) 数据库,用于存储日志。

    如何切换工作区监视的屏幕截图。

  3. 转到Fabric创建的 KQL 数据库。 可以通过监视设置中的 “监视数据库 ”链接或直接在工作区中找到它。

    工作区监视生成的项目的屏幕截图。

  4. 在 KQL 数据库中,ItemJobEventLogs 表记录工作区中发生的管道级别事件(也称为 L1 监控)。 日志包括管道名称、运行状态、时间戳和系统诊断。

    管道工作区监视表的屏幕截图。

在监视事件库中使用 KQL 查询进行分析:

  • 成功和失败趋势
  • 性能指标
  • 故障排除的错误详细信息

监视容量利用率

Fabric容量管理员可以使用Microsoft Fabric容量指标应用来查看容量资源。 此应用显示在已启用容量的工作区中,管道、数据流和其他项目消耗了多少 CPU 利用率、处理时间和内存。 使用它来确定重载原因、高峰需求时间和资源密集型项目。