Parallel Класс

Базовый класс для параллельного узла, используемый для параллельного использования версии компонента.

Не следует создавать экземпляр этого класса напрямую. Вместо этого следует создать из построителя функцию parallel.

Наследование

azure.ai.ml.entities._builders.base_node.BaseNode

Parallel

azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin

Parallel

Конструктор

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Параметры

component

<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>

Обязательно

Идентификатор или экземпляр параллельного компонента или задания, запускаемого для шага

name

str

Обязательно

Имя параллеля

description

str

Обязательно

Описание запятой

tags

dict[str, str]

Обязательно

Словарь тегов. Теги можно добавлять, удалять и обновлять

properties

dict[str, str]

Обязательно

Словарь свойств задания

display_name

str

Обязательно

Отображаемое имя задания

retry_settings

BatchRetrySettings

Обязательно

Повторная попытка параллельного выполнения задания завершилась сбоем

logging_level

str

Обязательно

Строка имени уровня ведения журнала

max_concurrency_per_instance

int

Обязательно

Максимальный параллелизм, который имеет каждый вычислительный экземпляр

error_threshold

int

Обязательно

Количество сбоев обработки элементов следует игнорировать

mini_batch_error_threshold

int

Обязательно

Количество сбоев мини-пакетной обработки следует игнорировать.

task

ParallelTask

Обязательно

Параллельная задача

mini_batch_size

str

Обязательно

Для входных данных FileDataset значением этого поля является число файлов, которые может обработать пользовательский скрипт в одном вызове метода run(). Для входных данных TabularDataset значение этого поля представляет приблизительный размер данных, которые может обработать пользовательский скрипт в одном вызове метода run(). Примеры значений: 1024, 1024 КБ, 10 МБ и 1 ГБ. (Необязательно. Значение по умолчанию — 10 файлов для FileDataset и 1 МБ для TabularDataset.) Это значение можно задать с помощью PipelineParameter

partition_keys

List

Обязательно

Ключи, используемые для секционирования набора данных на мини-пакеты. Если этот параметр указан, данные с одним и тем же ключом будут секционированы в один мини-пакет. Если указаны и partition_keys, и mini_batch_size, ключи секций вступают в силу. Входные данные должны быть секционированными наборами данных, а partition_keys должен представлять собой подмножество ключей каждого входного набора.

input_data

str

Обязательно

Входные данные

inputs

dict

Обязательно

Входные данные компонента или задания

outputs

dict

Обязательно

Выходные данные компонента или задания

Методы

clear
copy
dump	Создает дампы содержимого задания в файл в формате YAML.
fromkeys	Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.
get	Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.
items
keys
pop	Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.
popitem	Удалите и верните пару (ключ, значение) в виде двух кортежей. Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.
set_resources	Задайте ресурсы для параллельного задания.
setdefault	Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре. Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.
update	Если присутствует E и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Создает дампы содержимого задания в файл в формате YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Параметры

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Обязательно

Локальный путь или файловый поток для записи содержимого YAML. Если dest — это путь к файлу, будет создан новый файл. Если dest является открытым файлом, файл будет записан напрямую.

kwargs

dict

Дополнительные аргументы для передачи в сериализатор YAML.

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

fromkeys

Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.

fromkeys(value=None, /)

Параметры

type

Обязательно

iterable

Обязательно

value

значение по умолчанию: None

get

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

get(key, default=None, /)

Параметры

key

Обязательно

default

значение по умолчанию: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Удалите и верните пару (ключ, значение) в виде двух кортежей.

Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.

popitem()

set_resources

Задайте ресурсы для параллельного задания.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Параметры

instance_type

str или list[str]

Тип экземпляра или список типов экземпляров, используемых в качестве поддерживаемых целевым объектом вычислений.

instance_count

int

Количество экземпляров или узлов, используемых целевым объектом вычислений.

properties

dict

Словарь свойств для ресурсов.

docker_args

str

Дополнительные аргументы для передачи команде запуска Docker.

shm_size

str

Размер блока общей памяти контейнера Docker.

setdefault

Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре.

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

setdefault(key, default=None, /)

Параметры

key

Обязательно

default

значение по умолчанию: None

update

Если присутствует E и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Атрибуты

base_path

Базовый путь к ресурсу.

Возвращаемое значение

Базовый путь к ресурсу.

Возвращаемый тип

str

component

Получение компонента параллельного задания.

Возвращаемое значение

Компонент параллельного задания.

Возвращаемый тип

str,

ParallelComponent

creation_context

Контекст создания ресурса.

Возвращаемое значение

Метаданные создания для ресурса.

Возвращаемый тип

Optional[SystemData]

id

Идентификатор ресурса.

Возвращаемое значение

Глобальный идентификатор ресурса, идентификатор Resource Manager Azure (ARM).

Возвращаемый тип

Optional[str]

inputs

Получение входных данных для объекта .

Возвращаемое значение

Словарь, содержащий входные данные для объекта .

Возвращаемый тип

Dict[str, Union[Input, str, bool, int, float]]

log_files

Выходные файлы задания.

Возвращаемое значение

Словарь имен и URL-адресов журналов.

Возвращаемый тип

Optional[Dict[str, str]]

name

Получение имени узла.

Возвращаемое значение

Имя узла.

Возвращаемый тип

str

outputs

Получение выходных данных объекта .

Возвращаемое значение

Словарь, содержащий выходные данные для объекта .

Возвращаемый тип

Dict[str, Union[str, Output]]

resources

Получите конфигурацию ресурса для параллельного задания.

Возвращаемое значение

Конфигурация ресурса для параллельного задания.

Возвращаемый тип

JobResourceConfiguration

retry_settings

Получите параметры повтора для параллельного задания.

Возвращаемое значение

Параметры повтора для параллельного задания.

Возвращаемый тип

RetrySettings

status

Состояние задания.

Обычно возвращаются значения Running (Выполняется), Completed (Завершено) и Failed (Сбой). Все возможные значения:

• NotStarted — это временное состояние, в которое клиентские объекты Run находятся перед отправкой в облако.

• Starting — началась обработка запуска в облаке. На этом этапе вызывающий объект имеет идентификатор запуска.

• Подготовка — вычислительные ресурсы по запросу создаются для заданной отправки задания.

• Подготовка — среда выполнения подготавливается и находится в одном из двух этапов:

  • Сборка образа Docker

  • настройка среды conda.

• В очереди— задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди.

  ожидая готовности всех запрошенных узлов.

• Выполнение — задание запущено для целевого объекта вычислений.

• Завершение — выполнение пользовательского кода завершено, и выполнение выполняется на этапах постобработки.

• CancelRequested — для задания запрошена отмена.

• Завершено — выполнение успешно завершено. Сюда входит выполнение пользовательского кода и выполнение.

  пользовательского кода и запуска.

• Failed — сбой запуска. Подробное описание причины как правило предоставляет свойство Error.

• Canceled — применяется после запроса отмены и указывает, что выполнение теперь успешно отменено.

• NotResponding — для запусков с включенными пульсами недавно не отправлялся пульс.

Возвращаемое значение

Состояние задания.

Возвращаемый тип

Optional[str]

studio_url

Конечная точка Студии машинного обучения Azure.

Возвращаемое значение

URL-адрес страницы сведений о задании.

Возвращаемый тип

Optional[str]

task

Получение параллельной задачи.

Возвращаемое значение

Параллельная задача.

Возвращаемый тип

ParallelTask

type

Тип задания.

Возвращаемое значение

Тип задания.

Возвращаемый тип

Optional[str]