SynapseSparkJobDefinitionActivity interface

包:

@azure/arm-datafactory

执行 spark 作业活动。

扩展

ExecutionActivity

属性

arguments	SynapseSparkJobDefinitionActivity 的用户指定参数。
className	主定义文件中的完全限定标识符或主类，这将替代你提供的 spark 作业定义的“className”。 类型：字符串（或带有 resultType 字符串的表达式）。
conf	Spark 配置属性，这将替代你提供的 spark 作业定义的“conf”。
configurationType	spark 配置的类型。
driverSize	要用于在作业的指定 Spark 池中分配的驱动程序的核心和内存数，该池将用于替代你提供的 Spark 作业定义的“driverCores”和“driverMemory”。 类型：字符串（或带有 resultType 字符串的表达式）。
executorSize	要用于在作业的指定 Spark 池中分配的执行程序的核心和内存数，该池将用于替代你提供的 Spark 作业定义的“executorCores”和“executorMemory”。 类型：字符串（或带有 resultType 字符串的表达式）。
file	用于作业的主文件，它将替代你提供的 spark 作业定义的“文件”。 类型：字符串（或带有 resultType 字符串的表达式）。
files	（已弃用。请使用 pythonCodeReference 和 filesV2） 主定义文件中用于引用的其他文件，这将替代你提供的 spark 作业定义的“文件”。
filesV2	用于在主定义文件中引用的其他文件，这将替代你提供的 spark 作业定义的“jars”和“files”。
numExecutors	要为此作业启动的执行程序数，这将替代你提供的 spark 作业定义的“numExecutors”。 类型：整数（或包含 resultType 整数的表达式）。
pythonCodeReference	用于在主定义文件中引用的其他 python 代码文件，这将替代你提供的 spark 作业定义的“pyFiles”。
scanFolder	从主定义文件的根文件夹扫描子文件夹，这些文件将添加为引用文件。 将扫描名为“jars”、“pyFiles”、“files”或“archives”的文件夹，文件夹名称区分大小写。 类型：布尔值（或带有 resultType 布尔值的表达式）。
sparkConfig	Spark 配置属性。
sparkJob	Synapse spark 作业参考。
targetBigDataPool	用于执行 spark 批处理作业的大数据池的名称，该作业将替代你提供的 spark 作业定义的“targetBigDataPool”。
targetSparkConfiguration	spark 作业的 Spark 配置。
type	多态鉴别器，它指定此对象可以的不同类型的

继承属性

dependsOn	活动取决于条件。
description	活动说明。
linkedServiceName	链接服务引用。
name	活动名称。
onInactiveMarkAs	当状态设置为“非活动”时活动的状态结果。 这是一个可选属性，如果未在活动处于非活动状态时提供，则默认情况下状态将成功。
policy	活动策略。
state	活动状态。 这是一个可选属性，如果未提供，则状态默认为“活动”。
userProperties	活动用户属性。

属性详细信息

arguments

SynapseSparkJobDefinitionActivity 的用户指定参数。

arguments?: any[]

属性值

any[]

className

主定义文件中的完全限定标识符或主类，这将替代你提供的 spark 作业定义的“className”。 类型：字符串（或带有 resultType 字符串的表达式）。

className?: any

属性值

any

conf

Spark 配置属性，这将替代你提供的 spark 作业定义的“conf”。

conf?: any

属性值

any

configurationType

spark 配置的类型。

configurationType?: string

属性值

string

driverSize

要用于在作业的指定 Spark 池中分配的驱动程序的核心和内存数，该池将用于替代你提供的 Spark 作业定义的“driverCores”和“driverMemory”。 类型：字符串（或带有 resultType 字符串的表达式）。

driverSize?: any

属性值

any

executorSize

要用于在作业的指定 Spark 池中分配的执行程序的核心和内存数，该池将用于替代你提供的 Spark 作业定义的“executorCores”和“executorMemory”。 类型：字符串（或带有 resultType 字符串的表达式）。

executorSize?: any

属性值

any

file

用于作业的主文件，它将替代你提供的 spark 作业定义的“文件”。 类型：字符串（或带有 resultType 字符串的表达式）。

file?: any

属性值

any

files

（已弃用。请使用 pythonCodeReference 和 filesV2） 主定义文件中用于引用的其他文件，这将替代你提供的 spark 作业定义的“文件”。

files?: any[]

属性值

any[]

filesV2

用于在主定义文件中引用的其他文件，这将替代你提供的 spark 作业定义的“jars”和“files”。

filesV2?: any[]

属性值

any[]

numExecutors

要为此作业启动的执行程序数，这将替代你提供的 spark 作业定义的“numExecutors”。 类型：整数（或包含 resultType 整数的表达式）。

numExecutors?: any

属性值

any

pythonCodeReference

用于在主定义文件中引用的其他 python 代码文件，这将替代你提供的 spark 作业定义的“pyFiles”。

pythonCodeReference?: any[]

属性值

any[]

scanFolder

从主定义文件的根文件夹扫描子文件夹，这些文件将添加为引用文件。 将扫描名为“jars”、“pyFiles”、“files”或“archives”的文件夹，文件夹名称区分大小写。 类型：布尔值（或带有 resultType 布尔值的表达式）。

scanFolder?: any

属性值

any

sparkConfig

Spark 配置属性。

sparkConfig?: {[propertyName: string]: any}

属性值

{[propertyName: string]: any}

sparkJob

Synapse spark 作业参考。

sparkJob: SynapseSparkJobReference

属性值

SynapseSparkJobReference

targetBigDataPool

用于执行 spark 批处理作业的大数据池的名称，该作业将替代你提供的 spark 作业定义的“targetBigDataPool”。

targetBigDataPool?: BigDataPoolParametrizationReference

属性值

BigDataPoolParametrizationReference

targetSparkConfiguration

spark 作业的 Spark 配置。

targetSparkConfiguration?: SparkConfigurationParametrizationReference

属性值

SparkConfigurationParametrizationReference

type

多态鉴别器，它指定此对象可以的不同类型的

type: "SparkJob"

属性值

"SparkJob"

继承属性详细信息

dependsOn

活动取决于条件。

dependsOn?: ActivityDependency[]

属性值

ActivityDependency[]

继承自 ExecutionActivity.dependsOn 的

description

活动说明。

description?: string

属性值

string

继承自 ExecutionActivity.description

linkedServiceName

链接服务引用。

linkedServiceName?: LinkedServiceReference

属性值

LinkedServiceReference

继承自 ExecutionActivity.linkedServiceName 的

name

活动名称。

name: string

属性值

string

继承自 ExecutionActivity.name 的

onInactiveMarkAs

当状态设置为“非活动”时活动的状态结果。 这是一个可选属性，如果未在活动处于非活动状态时提供，则默认情况下状态将成功。

onInactiveMarkAs?: string

属性值

string

继承自 ExecutionActivity.onInactiveMarkAs 的

policy

活动策略。

policy?: ActivityPolicy

属性值

ActivityPolicy

继承自 ExecutionActivity.policy 的

state

活动状态。 这是一个可选属性，如果未提供，则状态默认为“活动”。

state?: string

属性值

string

继承自 ExecutionActivity.state

userProperties

活动用户属性。

userProperties?: UserProperty[]

属性值

UserProperty[]

继承自ExecutionActivity.userProperties