Parallel Classe

Classe base para nó paralelo, usada para consumo de versão de componente paralelo.

Você não deve instanciar essa classe diretamente. Em vez disso, você deve criar com base na função de construtor: parallel.

Herança

azure.ai.ml.entities._builders.base_node.BaseNode

Parallel

azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin

Parallel

Construtor

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Parâmetros

component

<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>

Obrigatório

Id ou instância do componente/trabalho paralelo a ser executado para a etapa

name

str

Obrigatório

Nome do paralelo

description

str

Obrigatório

Descrição da vírgula

tags

dict[str, str]

Obrigatório

Dicionário de marcas. As marcas podem ser adicionadas, removidas e atualizadas

properties

dict[str, str]

Obrigatório

O dicionário de propriedades do trabalho

display_name

str

Obrigatório

Nome de exibição do trabalho

retry_settings

BatchRetrySettings

Obrigatório

Tentativa de execução de trabalho paralela com falha

logging_level

str

Obrigatório

Uma cadeia de caracteres do nome do nível de registro em log

max_concurrency_per_instance

int

Obrigatório

O paralelismo máximo que cada instância de computação tem

error_threshold

int

Obrigatório

O número de falhas de processamento de item deve ser ignorado

mini_batch_error_threshold

int

Obrigatório

O número de falhas de processamento em mini lote deve ser ignorado

task

ParallelTask

Obrigatório

A tarefa paralela

mini_batch_size

str

Obrigatório

Para entrada FileDataset, esse campo é o número de arquivos que um script do usuário pode processar em uma chamada run(). Para entrada TabularDataset, esse campo é o tamanho aproximado dos dados que o script do usuário pode processar em uma chamada run(). Os valores de exemplo são 1024, 1024 KB, 10 MB e 1 GB. (opcional, o valor padrão é 10 arquivos para FileDataset e 1MB para TabularDataset.) Esse valor pode ser definido por meio de PipelineParameter

partition_keys

List

Obrigatório

As chaves usadas para particionar o conjuntos de dados em minilotes. Se especificado, os dados com a mesma chave serão particionados no mesmo minilote. Se partition_keys e mini_batch_size forem especificados, as chaves de partição entrarão em vigor. As entradas devem ser conjuntos de dados particionados e o partition_keys deve ser um subconjunto das chaves de cada conjunto de dados de entrada para que isso funcione.

input_data

str

Obrigatório

Os dados de entrada

inputs

dict

Obrigatório

Entradas do componente/trabalho

outputs

dict

Obrigatório

Saídas do componente/trabalho

Métodos

clear
copy
dump	Despeja o conteúdo do trabalho em um arquivo no formato YAML.
fromkeys	Crie um novo dicionário com chaves de iteráveis e valores definidos como valor.
get	Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.
items
keys
pop	Se a chave não for encontrada, retorne o padrão se for fornecida; caso contrário, gere um KeyError.
popitem	Remova e retorne um par (chave, valor) como uma tupla de 2. Os pares são retornados na ordem LIFO (última entrada, primeira saída). Aciona KeyError se o ditado estiver vazio.
set_resources	Defina os recursos para o trabalho paralelo.
setdefault	Insira a chave com um valor padrão se a chave não estiver no dicionário. Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.
update	Se E estiver presente e tiver um método .keys(), o fará: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), o fará: para k, v em E: D[k] = v Em ambos os casos, isso é seguido por: para k em F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Despeja o conteúdo do trabalho em um arquivo no formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parâmetros

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Obrigatório

O caminho local ou fluxo de arquivos para o qual gravar o conteúdo YAML. Se dest for um caminho de arquivo, um novo arquivo será criado. Se dest for um arquivo aberto, o arquivo será gravado diretamente.

kwargs

dict

Argumentos adicionais a serem passados para o serializador YAML.

Exceções

FileExistsError

Gerado se dest for um caminho de arquivo e o arquivo já existir.

IOError

Gerado se dest for um arquivo aberto e o arquivo não for gravável.

fromkeys

Crie um novo dicionário com chaves de iteráveis e valores definidos como valor.

fromkeys(value=None, /)

Parâmetros

type

Obrigatório

iterable

Obrigatório

value

valor padrão: None

get

Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.

get(key, default=None, /)

Parâmetros

key

Obrigatório

default

valor padrão: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Se a chave não for encontrada, retorne o padrão se for fornecida; caso contrário, gere um KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Remova e retorne um par (chave, valor) como uma tupla de 2.

Os pares são retornados na ordem LIFO (última entrada, primeira saída). Aciona KeyError se o ditado estiver vazio.

popitem()

set_resources

Defina os recursos para o trabalho paralelo.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Parâmetros

instance_type

str ou list[str]

O tipo de instância ou uma lista de tipos de instância usados como suporte pelo destino de computação.

instance_count

int

O número de instâncias ou nós usados pelo destino de computação.

properties

dict

O dicionário de propriedades para os recursos.

docker_args

str

Argumentos adicionais a serem passados para o comando docker run.

shm_size

str

Tamanho do bloco de memória compartilhada do contêiner do Docker.

setdefault

Insira a chave com um valor padrão se a chave não estiver no dicionário.

Retorne o valor da chave se a chave estiver no dicionário, caso contrário, padrão.

setdefault(key, default=None, /)

Parâmetros

key

Obrigatório

default

valor padrão: None

update

Se E estiver presente e tiver um método .keys(), o fará: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), o fará: para k, v em E: D[k] = v Em ambos os casos, isso é seguido por: para k em F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atributos

base_path

O caminho base do recurso.

Retornos

O caminho base do recurso.

Tipo de retorno

str

component

Obtenha o componente do trabalho paralelo.

Retornos

O componente do trabalho paralelo.

Tipo de retorno

str,

ParallelComponent

creation_context

O contexto de criação do recurso.

Retornos

Os metadados de criação do recurso.

Tipo de retorno

Optional[SystemData]

id

A ID do recurso.

Retornos

A ID global do recurso, uma ID do ARM (Resource Manager do Azure).

Tipo de retorno

Optional[str]

inputs

Obtenha as entradas do objeto .

Retornos

Um dicionário que contém as entradas do objeto .

Tipo de retorno

Dict[str, Union[Input, str, bool, int, float]]

log_files

Arquivos de saída do trabalho.

Retornos

O dicionário de nomes de log e URLs.

Tipo de retorno

Optional[Dict[str, str]]

name

Obtenha o nome do nó.

Retornos

O nome do nó.

Tipo de retorno

str

outputs

Obtenha as saídas do objeto .

Retornos

Um dicionário que contém as saídas do objeto .

Tipo de retorno

Dict[str, Union[str, Output]]

resources

Obtenha a configuração de recursos para o trabalho paralelo.

Retornos

A configuração de recursos para o trabalho paralelo.

Tipo de retorno

JobResourceConfiguration

retry_settings

Obtenha as configurações de repetição para o trabalho paralelo.

Retornos

As configurações de repetição para o trabalho paralelo.

Tipo de retorno

RetrySettings

status

O status do trabalho.

Os valores comuns retornados incluem "Running", "Completed" e "Failed". Todos os valores possíveis são:

• NotStarted - Esse é um estado temporário em que os objetos Run do lado do cliente estão antes do envio na nuvem.

• Starting – A Execução começou a ser processada na nuvem. O chamador tem uma ID de execução neste ponto.

• Provisionamento – a computação sob demanda está sendo criada para um determinado envio de trabalho.

• Preparação – o ambiente de execução está sendo preparado e está em um dos dois estágios:

  • Build de imagem do Docker

  • conda environment setup

• Enfileirado – o trabalho está na fila no destino de computação. Por exemplo, no BatchAI, o trabalho está em um estado enfileirado

  enquanto aguarda que todos os nós solicitados estejam prontos.

• Em execução – o trabalho começou a ser executado no destino de computação.

• Finalização – a execução do código do usuário foi concluída e a execução está em estágios pós-processamento.

• CancelRequested – O cancelamento foi solicitado para o trabalho.

• Concluído – a execução foi concluída com êxito. Isso inclui a execução e a execução do código do usuário

  estágios de pós-processamento.

• Failed – A execução falhou. Normalmente, a propriedade de Erro em uma execução fornecerá detalhes sobre o motivo.

• Canceled – Segue uma solicitação de cancelamento e indica que a execução foi cancelada com êxito.

• NotResponding – Para execuções que têm Pulsações habilitadas, nenhuma pulsação foi enviada recentemente.

Retornos

Status do trabalho.

Tipo de retorno

Optional[str]

studio_url

Ponto de extremidade do estúdio do Azure ML.

Retornos

A URL para a página de detalhes do trabalho.

Tipo de retorno

Optional[str]

task

Obtenha a tarefa paralela.

Retornos

A tarefa paralela.

Tipo de retorno

ParallelTask

type

O tipo do trabalho.

Retornos

O tipo do trabalho.

Tipo de retorno

Optional[str]