Поделиться через


Spark Класс

Базовый класс для узла Spark, используемый для использования версии компонента Spark.

Не следует создавать экземпляр этого класса напрямую. Вместо этого его следует создать из функции построителя spark.

] :p выходные данные: сопоставление имен выходных данных с источниками выходных данных, используемыми в задании. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: Аргументы для задания. :type args: str :p aram compute: вычислительный ресурс, на котором выполняется задание. :type compute: str :p aram resources: конфигурация вычислительного ресурса для задания. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p записьaram: точка входа в файл или класс. :type entry: Dict[str, str] :p aram py_files: список файлов .zip, .egg или PY для размещения в PYTHONPATH для приложений Python. :type py_files: List[str] :p aram JARS: список . JAR-файлы для включения в пути к классам драйвера и исполнителя. :type jars: List[str] :p aram files: список файлов, которые необходимо поместить в рабочий каталог каждого исполнителя. :type files: List[str] :p aram archives: список архивов, извлекаемых в рабочий каталог каждого исполнителя. :type archives: List[str]

Наследование
azure.ai.ml.entities._builders.base_node.BaseNode
Spark
azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin
Spark

Конструктор

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Параметры

component
Union[str, SparkComponent]
Обязательно

Идентификатор или экземпляр компонента Или задания Spark, которые будут выполняться на этом шаге.

identity
Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]
Обязательно

Удостоверение, которое будет использоваться заданием Spark при выполнении на вычислительных ресурсах.

driver_cores
int
Обязательно

Количество ядер, используемых для процесса драйвера, только в режиме кластера.

driver_memory
str
Обязательно

Объем памяти, используемой для процесса драйвера, отформатированный в виде строк с суффиксом единицы размера ("k", "m", "g" или "t") (например, "512m", "2g").

executor_cores
int
Обязательно

Число ядер, используемых для каждого исполнителя.

executor_memory
str
Обязательно

Объем памяти для каждого процесса исполнителя, отформатированный в виде строк с суффиксом единицы размера ("k", "m", "g" или "t") (например, "512m", "2g").

executor_instances
int
Обязательно

Начальное число исполнителей.

dynamic_allocation_enabled
bool
Обязательно

Следует ли использовать динамическое выделение ресурсов, которое масштабирует количество исполнителей, зарегистрированных в этом приложении, в зависимости от рабочей нагрузки.

dynamic_allocation_min_executors
int
Обязательно

Нижняя граница числа исполнителей, если включено динамическое выделение.

dynamic_allocation_max_executors
int
Обязательно

Верхняя граница количества исполнителей, если включено динамическое выделение.

conf
Dict[str, str]
Обязательно

Словарь с предварительно определенным ключом и значениями конфигураций Spark.

inputs
Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]
Обязательно

Сопоставление входных имен с источниками входных данных, используемыми в задании.

Методы

clear
copy
dump

Создает дампы содержимого задания в файл в формате YAML.

fromkeys

Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.

get

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

items
keys
pop

Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.

popitem

Удалите и верните пару (ключ, значение) в виде двух кортежей.

Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.

setdefault

Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре.

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

update

Если E присутствует и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]

values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Создает дампы содержимого задания в файл в формате YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Параметры

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Обязательно

Локальный путь или файловый поток для записи содержимого YAML. Если dest — это путь к файлу, будет создан новый файл. Если dest является открытым файлом, файл будет записан напрямую.

kwargs
dict

Дополнительные аргументы для передачи в сериализатор YAML.

Исключения

Возникает, если dest — это путь к файлу, а файл уже существует.

Возникает, если dest является открытым файлом и файл не поддерживает запись.

fromkeys

Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.

fromkeys(value=None, /)

Параметры

type
Обязательно
iterable
Обязательно
value
значение по умолчанию: None

get

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

get(key, default=None, /)

Параметры

key
Обязательно
default
значение по умолчанию: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Удалите и верните пару (ключ, значение) в виде двух кортежей.

Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.

popitem()

setdefault

Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре.

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

setdefault(key, default=None, /)

Параметры

key
Обязательно
default
значение по умолчанию: None

update

Если E присутствует и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Атрибуты

base_path

Базовый путь к ресурсу.

Возвращаемое значение

Базовый путь к ресурсу.

Возвращаемый тип

str

code

Локальный или удаленный путь, указывающий на исходный код.

Возвращаемый тип

Union[str, <xref:PathLike>]

component

Идентификатор или экземпляр компонента Или задания Spark, которые будут выполняться на этом шаге.

Возвращаемый тип

creation_context

Контекст создания ресурса.

Возвращаемое значение

Метаданные создания для ресурса.

Возвращаемый тип

entry

id

Идентификатор ресурса.

Возвращаемое значение

Глобальный идентификатор ресурса, идентификатор Resource Manager Azure (ARM).

Возвращаемый тип

identity

Удостоверение, которое будет использоваться заданием Spark при выполнении на вычислительных ресурсах.

Возвращаемый тип

inputs

Получение входных данных для объекта .

Возвращаемое значение

Словарь, содержащий входные данные для объекта .

Возвращаемый тип

log_files

Выходные файлы задания.

Возвращаемое значение

Словарь имен и URL-адресов журналов.

Возвращаемый тип

name

Получение имени узла.

Возвращаемое значение

Имя узла.

Возвращаемый тип

str

outputs

Получение выходных данных объекта .

Возвращаемое значение

Словарь, содержащий выходные данные для объекта .

Возвращаемый тип

resources

Конфигурация вычислительного ресурса для задания.

Возвращаемый тип

status

Состояние задания.

Обычно возвращаются значения Running (Выполняется), Completed (Завершено) и Failed (Сбой). Все возможные значения:

  • NotStarted — это временное состояние, в которое клиентские объекты Run находятся перед отправкой в облако.

  • Starting — началась обработка запуска в облаке. На этом этапе вызывающий объект имеет идентификатор запуска.

  • Подготовка — вычислительные ресурсы по запросу создаются для заданной отправки задания.

  • Подготовка — среда выполнения подготавливается и находится в одном из двух этапов:

    • Сборка образа Docker

    • настройка среды conda.

  • В очереди— задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди.

    ожидая готовности всех запрошенных узлов.

  • Выполнение — задание запущено для целевого объекта вычислений.

  • Завершение — выполнение пользовательского кода завершено, и выполнение выполняется на этапах постобработки.

  • CancelRequested — для задания запрошена отмена.

  • Завершено — выполнение успешно завершено. Сюда входит выполнение пользовательского кода и выполнение.

    пользовательского кода и запуска.

  • Failed — сбой запуска. Подробное описание причины как правило предоставляет свойство Error.

  • Canceled — применяется после запроса отмены и указывает, что выполнение теперь успешно отменено.

  • NotResponding — для запусков с включенными пульсами недавно не отправлялся пульс.

Возвращаемое значение

Состояние задания.

Возвращаемый тип

studio_url

Конечная точка Студии машинного обучения Azure.

Возвращаемое значение

URL-адрес страницы сведений о задании.

Возвращаемый тип

type

Тип задания.

Возвращаемое значение

Тип задания.

Возвращаемый тип

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)