Поделиться через


SparkJobProperties interface

Свойства задания Spark.

Свойства

archives

Архивы, используемые в этом задании.

args

Аргументы командной строки для приложения.

className

Основной класс для приложения Java/Scala.

conf

Свойства конфигурации Spark.

driverCores

Число ядер, используемых для драйвера.

driverMemory

Объем памяти, используемой для процесса драйвера.

executorCores

Количество ядер, используемых для каждого исполнителя.

executorMemory

Объем памяти для каждого процесса исполнителя.

file

Файл, содержащий приложение для выполнения.

files

файлы, используемые в этом задании.

jars

Jars для использования в этом задании.

name

Имя задания.

numExecutors

Количество исполнителей, которые нужно запустить для этого задания.

Сведения о свойстве

archives

Архивы, используемые в этом задании.

archives?: string[]

Значение свойства

string[]

args

Аргументы командной строки для приложения.

args?: string[]

Значение свойства

string[]

className

Основной класс для приложения Java/Scala.

className?: string

Значение свойства

string

conf

Свойства конфигурации Spark.

conf?: any

Значение свойства

any

driverCores

Число ядер, используемых для драйвера.

driverCores: number

Значение свойства

number

driverMemory

Объем памяти, используемой для процесса драйвера.

driverMemory: string

Значение свойства

string

executorCores

Количество ядер, используемых для каждого исполнителя.

executorCores: number

Значение свойства

number

executorMemory

Объем памяти для каждого процесса исполнителя.

executorMemory: string

Значение свойства

string

file

Файл, содержащий приложение для выполнения.

file: string

Значение свойства

string

files

файлы, используемые в этом задании.

files?: string[]

Значение свойства

string[]

jars

Jars для использования в этом задании.

jars?: string[]

Значение свойства

string[]

name

Имя задания.

name?: string

Значение свойства

string

numExecutors

Количество исполнителей, которые нужно запустить для этого задания.

numExecutors: number

Значение свойства

number