监视 Apache Spark 运行系列

Apache Spark 运行系列自动将以下内容分类为相应的运行系列:

  • 重复的管道活动中的 Spark 应用程序或手动笔记本运行。
  • 从同一笔记本或 Spark 作业定义到各个运行系列的 Spark 作业运行。

运行系列功能直观地表示每个 Spark 应用程序实例的持续时间趋势,以及 Spark 应用程序的相应数据输入和输出趋势线。 它还自动扫描运行系列,并检测是否存在任何异常的 Spark 应用程序运行。 使用此功能可以查看特定 Spark 应用程序的详细信息。

访问监视器运行系列功能

可以从监视中心的历史视图访问监视器运行系列功能:

  1. 打开 Microsoft Fabric 门户并转到“监视中心”菜单。

  2. 打开 Spark 作业定义或笔记本,展开其“更多选项”下拉列表,然后选择“历史运行”。

  3. 选择要查看的作业并展开“更多选项”,然后选择“监视运行系列”。

    该屏幕截图显示了历史视图中的访问运行序列。

可以从笔记本或 Spark 作业定义的“最近运行”面板访问监视器运行系列功能:

  1. 打开 Microsoft Fabric 主页,选择要在其中查看作业的工作区。

  2. 选择“Spark 作业定义”或“笔记本项上下文”菜单后,会显示最近的运行选项。

  3. 选择“最近运行”。

  4. 选择应用程序并展开其“更多选项”下拉列表,然后选择“监视运行系列”。

    该屏幕截图显示了最近运行的访问运行系列。

可以从 Spark 应用程序的“监视详细信息”页访问监视器运行系列功能:

  1. 转到 Apache Spark 应用程序监视详细信息页。

  2. 选择“监视运行序列”选项。

    该屏幕截图显示了 Spark 应用程序监视详细信息页中的访问运行系列。

查看 Spark 应用程序性能

Spark 运行图中,可以查看此运行系列的持续时间趋势。 每个垂直条代表笔记本 Spark 作业定义活动运行的一个实例,其高度指示运行持续时间。 可以单击每个运行实例以查看更详细的信息并放大或缩小特定时间窗口。

该屏幕截图显示了 Spark 正在运行的图形。

  • 持续时间
  • 持续时间(异常)
  • 读取字节数
  • 写入字节数

选择彩色图标即可选中或取消选中所有草稿中的相应内容。

该屏幕截图显示了要选择或取消选择的颜色图标。

选择图形中运行的笔记本/spark 作业定义活动的实例时,图形底部会详细介绍实例的持续时间分布执行程序执行分布Spark 配置

该屏幕截图显示了已选择 run.png。

如果条标记为红色,则检测到该运行实例存在异常。 可以在“异常”面板中查看该实例的以下信息:总持续时间预计持续时间潜在原因

该屏幕截图显示了异常 panel.png。