你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Parallel 类

并行节点的基类，用于并行组件版本消耗。

不应直接实例化此类。 相反，应从生成器函数：parallel 创建 。

继承

azure.ai.ml.entities._builders.base_node.BaseNode

Parallel

azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin

Parallel

构造函数

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

参数

component

<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>

必需

要为步骤运行的并行组件/作业的 ID 或实例

name

str

必需

并行的名称

description

str

必需

逗号的说明

tags

dict[str, str]

必需

标记字典。 可以添加、删除和更新标记

properties

dict[str, str]

必需

作业属性字典

display_name

str

必需

作业的显示名称

retry_settings

BatchRetrySettings

必需

并行作业运行失败重试

logging_level

str

必需

日志记录级别名称的字符串

max_concurrency_per_instance

int

必需

每个计算实例具有的最大并行度

error_threshold

int

必需

应忽略项处理失败次数

mini_batch_error_threshold

int

必需

应忽略小型批处理失败次数

task

ParallelTask

必需

并行任务

mini_batch_size

str

必需

对于 FileDataset 输入，此字段是用户脚本在一次 run() 调用中可以处理的文件数。 对于 TabularDataset 输入，此字段是用户脚本可以在一次 run() 调用中处理的数据的近似大小。 示例值为 1024、1024KB、10MB 和1GB。 (可选，对于 FileDataset，默认值为 10 个文件，对于 TabularDataset 为 1MB。) 可以通过 PipelineParameter 设置此值

partition_keys

List

必需

用于将数据集分区为小型批处理的键。 如果指定此参数，则具有相同键的数据将分区到相同的小型批处理中。 如果同时指定partition_keys和mini_batch_size，分区键将生效。 输入 (s) 必须是 () 的分区数据集，并且 partition_keys 必须是每个输入数据集的键的子集才能运行。

input_data

str

必需

输入数据

inputs

dict

必需

组件/作业的输入

outputs

dict

必需

组件/作业的输出

方法

clear
copy
dump	将作业内容转储到 YAML 格式的文件中。
fromkeys	使用可迭代键创建新字典，并将值设置为 value。
get	如果键在字典中，则返回键的值，否则返回默认值。
items
keys
pop	如果未找到密钥，则返回默认值（如果给定）;否则，引发 KeyError。
popitem	删除并返回 (键，值) 对作为 2 元组。 对按 LIFO (先入先出) 顺序返回。 如果 dict 为空，则引发 KeyError。
set_resources	设置并行作业的资源。
setdefault	如果键不在字典中，则插入值为默认值的键。 如果 key 在字典中，则返回 key 的值，否则返回默认值。
update	如果 E 存在并且具有 .keys () 方法，则对于 E 中的 k： D[k] = E[k] 如果 E 存在且缺少 .keys () 方法，则 为 k，在 E 中为 v：D[k] = v 在任一情况下，这后跟：f 中的 k： D[k] = F[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

将作业内容转储到 YAML 格式的文件中。

dump(dest: str | PathLike | IO, **kwargs) -> None

参数

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

必需

要向其写入 YAML 内容的本地路径或文件流。 如果 dest 是文件路径，则将创建新文件。 如果 dest 是一个打开的文件，则该文件将直接写入。

kwargs

dict

要传递给 YAML 序列化程序的其他参数。

例外

FileExistsError

如果 dest 是文件路径且文件已存在，则引发。

IOError

如果 dest 是打开的文件且文件不可写，则引发。

fromkeys

使用可迭代键创建新字典，并将值设置为 value。

fromkeys(value=None, /)

参数

type

必需

iterable

必需

value

默认值: None

get

如果键在字典中，则返回键的值，否则返回默认值。

get(key, default=None, /)

参数

key

必需

default

默认值: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

如果未找到密钥，则返回默认值（如果给定）;否则，引发 KeyError。

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

删除并返回 (键，值) 对作为 2 元组。

对按 LIFO (先入先出) 顺序返回。 如果 dict 为空，则引发 KeyError。

popitem()

set_resources

设置并行作业的资源。

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

参数

instance_type

str 或 list[str]

计算目标支持的实例类型或实例类型的列表。

instance_count

int

计算目标使用的实例或节点数。

properties

dict

资源的属性字典。

docker_args

str

要传递给 Docker run 命令的额外参数。

shm_size

str

Docker 容器的共享内存块的大小。

setdefault

如果键不在字典中，则插入值为默认值的键。

如果 key 在字典中，则返回 key 的值，否则返回默认值。

setdefault(key, default=None, /)

参数

key

必需

default

默认值: None

update

如果 E 存在并且具有 .keys () 方法，则对于 E 中的 k： D[k] = E[k] 如果 E 存在且缺少 .keys () 方法，则 为 k，在 E 中为 v：D[k] = v 在任一情况下，这后跟：f 中的 k： D[k] = F[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

属性

base_path

资源的基路径。

返回

资源的基路径。

返回类型

str

component

获取并行作业的组件。

返回

并行作业的组件。

返回类型

str,

ParallelComponent

creation_context

资源的创建上下文。

返回

资源的创建元数据。

返回类型

Optional[SystemData]

id

资源 ID。

返回

资源的全局 ID、Azure 资源管理器 (ARM) ID。

返回类型

Optional[str]

inputs

获取 对象的输入。

返回

包含 对象的输入的字典。

返回类型

Dict[str, Union[Input, str, bool, int, float]]

log_files

作业输出文件。

返回

日志名称和 URL 的字典。

返回类型

Optional[Dict[str, str]]

name

获取节点的名称。

返回

节点的名称。

返回类型

str

outputs

获取 对象的输出。

返回

包含 对象的输出的字典。

返回类型

Dict[str, Union[str, Output]]

resources

获取并行作业的资源配置。

返回

并行作业的资源配置。

返回类型

JobResourceConfiguration

retry_settings

获取并行作业的重试设置。

返回

并行作业的重试设置。

返回类型

RetrySettings

status

作业的状态。

返回的常见值包括“正在运行”、“已完成”和“失败”。 所有可能的值为：

• NotStarted - 这是客户端 Run 对象在云提交之前处于的临时状态。

• 正在启动 - 运行已开始在云中处理。 调用方此时具有运行 ID。

• 预配 - 正在为给定作业提交创建按需计算。

• 准备 - 运行环境正在准备中，处于以下两个阶段之一：

  • Docker 映像生成

  • Conda 环境设置

• 已排队 - 作业在计算目标上排队。 例如，在 BatchAI 中，作业处于排队状态

  等待所有请求的节点准备就绪时。

• 正在运行 - 作业已开始在计算目标上运行。

• 完成 - 用户代码执行已完成，运行处于后处理阶段。

• 已请求取消 - 已请求取消作业。

• 已完成 - 运行已成功完成。 这包括用户代码执行和运行

  后期处理阶段。

• 失败 - 运行失败。 通常，运行上的 Error 属性会提供有关原因的详细信息。

• 已取消 - 遵循取消请求并指示运行现已成功取消。

• 未响应 - 对于启用了检测信号的运行，最近未发送任何检测信号。

返回

作业的状态。

返回类型

Optional[str]

studio_url

Azure ML Studio 终结点。

返回

作业详细信息页的 URL。

返回类型

Optional[str]

task

获取并行任务。

返回

并行任务。

返回类型

ParallelTask

type

作业的类型。

返回

作业的类型。

返回类型

Optional[str]