监视 Apache Spark 作业定义

使用 Spark 作业定义项的内联监视,可以跟踪以下内容:

  • 监视正在运行的 Spark 作业定义的进度和状态。
  • 查看先前 Spark 作业定义运行的状态和持续时间。

可以从工作区中的“最近运行”上下文菜单,或通过浏览监视中心的 Spark 作业定义活动来获取此信息。

Spark 作业定义内联监视

Spark 作业定义内联监视功能允许你实时查看 Spark 作业定义提交和运行状态。 你还可以查看 Spark 作业定义过去的运行和配置,并导航到“Spark 应用程序详细信息”页以查看更多详细信息。

Screenshot showing the spark job definition inline monitoring.

工作区中的 Spark 作业定义项视图

可以使用工作区主页上的“最近运行”上下文菜单访问与特定 Spark 作业定义项关联的作业运行。

Screenshot showing the spark job definition item view in workspace.

Spark 作业定义在监视中心运行

若要查看与 Spark 作业定义相关的所有 Spark 应用程序,请转到监视中心。 对“项类型”列进行排序或筛选,以查看与 Spark 作业定义关联的所有运行活动。

Screenshot showing the spark job definition runs in Monitoring hub.

查看 Apache Spark 应用程序的详细信息后,下一步是在笔记本单元格下方查看 Spark 作业进度。 可以参考