监视 Apache Spark 运行系列
Apache Spark 运行系列自动将以下内容分类为相应的运行系列:
- 重复的管道活动中的 Apache Spark 应用程序或手动笔记本运行。
- 从同一笔记本或 Apache Spark 作业定义到各个运行系列的 Apache Spark 作业运行。
运行系列功能直观地表示每个 Spark 应用程序实例的持续时间趋势,以及 Spark 应用程序的相应数据输入和输出趋势线。 它还自动扫描运行系列,并检测是否存在任何异常的 Spark 应用程序运行。 使用此功能可以查看特定 Spark 应用程序的详细信息。
访问监视器运行系列功能
可以从监视中心的历史视图访问监视器运行系列功能:
打开 Microsoft Fabric 门户并转到“监视中心”菜单。
打开 Spark 作业定义或笔记本,展开其“更多选项”下拉列表,然后选择“历史运行”。
选择要查看的作业并展开“更多选项”,然后选择“监视运行系列”。
可以从笔记本或 Spark 作业定义的“最近运行”面板访问监视器运行系列功能:
打开 Microsoft Fabric 主页,选择要在其中查看作业的工作区。
选择“Spark 作业定义”或“笔记本项上下文”菜单后,会显示最近的运行选项。
选择“最近运行”。
选择应用程序并展开其“更多选项”下拉列表,然后选择“监视运行系列”。
可以从 Spark 应用程序的“监视详细信息”页访问监视器运行系列功能:
查看 Spark 应用程序性能
在 Spark 运行图中,可以查看此运行系列的持续时间趋势。 每个垂直条代表笔记本/Spark 作业定义活动运行的一个实例,其高度指示运行持续时间。 可以单击每个运行实例以查看更详细的信息并放大或缩小特定时间窗口。
- 持续时间
- 持续时间(异常)
- 读取字节数
- 写入字节数
选择彩色图标即可选中或取消选中所有草稿中的相应内容。
选择图形中笔记本/Spark 作业定义活动运行的实例时,图形底部会详细介绍实例的持续时间分布、执行程序执行分布和 Spark 配置。
焦点模式可以展开视觉对象以查看更多详细信息。 你可能有一个有点拥挤的视觉对象,并想要将其放大。 此功能完美使用了焦点模式。
如果条标记为红色,则检测到该运行实例存在异常。 可以在“异常”面板中查看该实例的以下信息:总持续时间、预计持续时间和潜在原因。