计划和运行 Apache Spark 作业定义

了解如何运行 Microsoft Fabric Apache Spark 作业定义,以及如何查找作业定义状态和详细信息。

先决条件

开始之前,必须:

如何运行 Spark 作业定义

可以通过两种方式运行 Spark 作业定义:

  • 在作业列表的 Spark 作业定义项中选择“运行”,手动运行 Spark 作业定义

    Screenshot showing where to select Run.

  • 通过在“设置”选项卡上设置日程安排计划来安排 Spark 作业定义。选择工具栏上的“设置”,然后选择“日程安排”

    Screenshot showing where to select Schedule on the Settings tab.

重要

若要运行,Spark 作业定义必须具有主定义文件和默认湖屋上下文。

提示

对于手动运行,当前登录用户的帐户用于提交作业。 对于由日程安排触发的运行,创建日程安排计划的用户的帐户用于提交作业。

提交运行后的三到五秒钟,“运行”选项卡下会显示一个新行。该行显示有关新运行的详细信息。 “状态”列显示作业的准实时状态,“运行类型”列显示作业是手动作业还是计划作业

Screenshot of Runs list details.

有关如何监视作业的详细信息,请参阅监视 Apache Spark 作业定义

如何取消正在运行的作业

提交作业后,可以通过在作业列表的 Spark 作业定义项中选择“取消活动运行”按钮来取消作业

Screenshot showing where to select Cancel active run.

Spark 作业定义快照

Spark 作业定义存储其最新状态。 如果要查看历史运行的快照,请在作业列表的 Spark 作业定义项中选择“查看快照”。 快照将显示提交作业时作业定义的状态,包括主定义文件、引用文件、命令行参数、引用的湖屋和 Spark 属性。

Screenshot showing where to select View Snapshot.

在快照中,可以执行三项操作:

  • 另存为 Spark 作业定义:将快照另存为新的 Spark 作业定义。
  • 打开 Spark 作业定义:打开当前 Spark 作业定义。
  • 还原:使用快照还原作业定义。 作业定义将还原到提交作业时的状态。

Screenshot of the snapshot menu options.