Поделиться через

Parallel Класс

  • Ссылка

Базовый класс для параллельного узла, используемый для параллельного использования версии компонента.

Не следует создавать экземпляр этого класса напрямую. Вместо этого следует создать из построителя функцию parallel.

Наследование
azure.ai.ml.entities._builders.base_node.BaseNode
Parallel
azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin
Parallel

Конструктор

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Параметры

component
<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>
Обязательно

Идентификатор или экземпляр параллельного компонента или задания, запускаемого для шага

name
str
Обязательно

Имя параллеля

description
str
Обязательно

Описание запятой

tags
dict[str, str]
Обязательно

Словарь тегов. Теги можно добавлять, удалять и обновлять

properties
dict[str, str]
Обязательно

Словарь свойств задания

display_name
str
Обязательно

Отображаемое имя задания

retry_settings
BatchRetrySettings
Обязательно

Повторная попытка параллельного выполнения задания завершилась сбоем

logging_level
str
Обязательно

Строка имени уровня ведения журнала

max_concurrency_per_instance
int
Обязательно

Максимальный параллелизм, который имеет каждый вычислительный экземпляр

error_threshold
int
Обязательно

Количество сбоев обработки элементов следует игнорировать

mini_batch_error_threshold
int
Обязательно

Количество сбоев мини-пакетной обработки следует игнорировать.

task
ParallelTask
Обязательно

Параллельная задача

mini_batch_size
str
Обязательно

Для входных данных FileDataset значением этого поля является число файлов, которые может обработать пользовательский скрипт в одном вызове метода run(). Для входных данных TabularDataset значение этого поля представляет приблизительный размер данных, которые может обработать пользовательский скрипт в одном вызове метода run(). Примеры значений: 1024, 1024 КБ, 10 МБ и 1 ГБ. (Необязательно. Значение по умолчанию — 10 файлов для FileDataset и 1 МБ для TabularDataset.) Это значение можно задать с помощью PipelineParameter

partition_keys
List
Обязательно

Ключи, используемые для секционирования набора данных на мини-пакеты. Если этот параметр указан, данные с одним и тем же ключом будут секционированы в один мини-пакет. Если указаны и partition_keys, и mini_batch_size, ключи секций вступают в силу. Входные данные должны быть секционированными наборами данных, а partition_keys должен представлять собой подмножество ключей каждого входного набора.

input_data
str
Обязательно

Входные данные

inputs
dict
Обязательно

Входные данные компонента или задания

outputs
dict
Обязательно

Выходные данные компонента или задания

Методы

clear
copy
dump

Создает дампы содержимого задания в файл в формате YAML.
fromkeys

Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.
get

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.
items
keys
pop

Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.
popitem

Удалите и верните пару (ключ, значение) в виде двух кортежей.

Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.
set_resources

Задайте ресурсы для параллельного задания.
setdefault

Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре.

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.
update

Если присутствует E и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]
values

clear 

clear() -> None.  Remove all items from D.

copy 

copy() -> a shallow copy of D

dump

Создает дампы содержимого задания в файл в формате YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Параметры

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Обязательно

Локальный путь или файловый поток для записи содержимого YAML. Если dest — это путь к файлу, будет создан новый файл. Если dest является открытым файлом, файл будет записан напрямую.

kwargs
dict

Дополнительные аргументы для передачи в сериализатор YAML.

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

fromkeys

Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.

fromkeys(value=None, /)

Параметры

type
Обязательно
iterable
Обязательно
value
значение по умолчанию: None

get

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

get(key, default=None, /)

Параметры

key
Обязательно
default
значение по умолчанию: None

items 

items() -> a set-like object providing a view on D's items

keys 

keys() -> a set-like object providing a view on D's keys

pop

Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Удалите и верните пару (ключ, значение) в виде двух кортежей.

Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.

popitem()

set_resources

Задайте ресурсы для параллельного задания.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Параметры

instance_type
str или list[str]

Тип экземпляра или список типов экземпляров, используемых в качестве поддерживаемых целевым объектом вычислений.

instance_count
int

Количество экземпляров или узлов, используемых целевым объектом вычислений.

properties
dict

Словарь свойств для ресурсов.

docker_args
str

Дополнительные аргументы для передачи команде запуска Docker.

shm_size
str

Размер блока общей памяти контейнера Docker.

setdefault

Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре.

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

setdefault(key, default=None, /)

Параметры

key
Обязательно
default
значение по умолчанию: None

update

Если присутствует E и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values 

values() -> an object providing a view on D's values

Атрибуты

base_path

Базовый путь к ресурсу.

Возвращаемое значение

Базовый путь к ресурсу.

Возвращаемый тип

str

component

Получение компонента параллельного задания.

Возвращаемое значение

Компонент параллельного задания.

Возвращаемый тип

str,
ParallelComponent

creation_context

Контекст создания ресурса.

Возвращаемое значение

Метаданные создания для ресурса.

Возвращаемый тип

Optional[SystemData]

id

Идентификатор ресурса.

Возвращаемое значение

Глобальный идентификатор ресурса, идентификатор Resource Manager Azure (ARM).

Возвращаемый тип

Optional[str]

inputs

Получение входных данных для объекта .

Возвращаемое значение

Словарь, содержащий входные данные для объекта .

Возвращаемый тип

Dict[str, Union[Input, str, bool, int, float]]

log_files

Выходные файлы задания.

Возвращаемое значение

Словарь имен и URL-адресов журналов.

Возвращаемый тип

Optional[Dict[str, str]]

name

Получение имени узла.

Возвращаемое значение

Имя узла.

Возвращаемый тип

str

outputs

Получение выходных данных объекта .

Возвращаемое значение

Словарь, содержащий выходные данные для объекта .

Возвращаемый тип

Dict[str, Union[str, Output]]

resources

Получите конфигурацию ресурса для параллельного задания.

Возвращаемое значение

Конфигурация ресурса для параллельного задания.

Возвращаемый тип

JobResourceConfiguration

retry_settings

Получите параметры повтора для параллельного задания.

Возвращаемое значение

Параметры повтора для параллельного задания.

Возвращаемый тип

RetrySettings

status

Состояние задания.

Обычно возвращаются значения Running (Выполняется), Completed (Завершено) и Failed (Сбой). Все возможные значения:

  • NotStarted — это временное состояние, в которое клиентские объекты Run находятся перед отправкой в облако.

  • Starting — началась обработка запуска в облаке. На этом этапе вызывающий объект имеет идентификатор запуска.

  • Подготовка — вычислительные ресурсы по запросу создаются для заданной отправки задания.

  • Подготовка — среда выполнения подготавливается и находится в одном из двух этапов:

    • Сборка образа Docker

    • настройка среды conda.

  • В очереди— задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди.

    ожидая готовности всех запрошенных узлов.

  • Выполнение — задание запущено для целевого объекта вычислений.

  • Завершение — выполнение пользовательского кода завершено, и выполнение выполняется на этапах постобработки.

  • CancelRequested — для задания запрошена отмена.

  • Завершено — выполнение успешно завершено. Сюда входит выполнение пользовательского кода и выполнение.

    пользовательского кода и запуска.

  • Failed — сбой запуска. Подробное описание причины как правило предоставляет свойство Error.

  • Canceled — применяется после запроса отмены и указывает, что выполнение теперь успешно отменено.

  • NotResponding — для запусков с включенными пульсами недавно не отправлялся пульс.

Возвращаемое значение

Состояние задания.

Возвращаемый тип

Optional[str]

studio_url

Конечная точка Студии машинного обучения Azure.

Возвращаемое значение

URL-адрес страницы сведений о задании.

Возвращаемый тип

Optional[str]

task

Получение параллельной задачи.

Возвращаемое значение

Параллельная задача.

Возвращаемый тип

ParallelTask

type

Тип задания.

Возвращаемое значение

Тип задания.

Возвращаемый тип

Optional[str]