Parallel Clase

Clase base para el nodo paralelo, que se usa para el consumo de versiones de componentes paralelos.

No debe crear instancias de esta clase directamente. En su lugar, debe crear desde la función del generador: en paralelo.

Herencia

azure.ai.ml.entities._builders.base_node.BaseNode

Parallel

azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin

Parallel

Constructor

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Parámetros

component

<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>

Requerido

Identificador o instancia del componente o trabajo paralelo que se va a ejecutar para el paso

name

str

Requerido

Nombre del paralelo

description

str

Requerido

Descripción de la coma

tags

dict[str, str]

Requerido

Diccionario de etiquetas. Las etiquetas se pueden agregar, quitar y actualizar

properties

dict[str, str]

Requerido

Diccionario de propiedades de trabajo

display_name

str

Requerido

Nombre para mostrar del trabajo

retry_settings

BatchRetrySettings

Requerido

Error al reintentar la ejecución del trabajo en paralelo

logging_level

str

Requerido

Cadena del nombre del nivel de registro

max_concurrency_per_instance

int

Requerido

El paralelismo máximo que tiene cada instancia de proceso

error_threshold

int

Requerido

Se debe omitir el número de errores de procesamiento de elementos.

mini_batch_error_threshold

int

Requerido

Se debe omitir el número de errores de procesamiento por lotes mínimos.

task

ParallelTask

Requerido

Tarea paralela

mini_batch_size

str

Requerido

Para la entrada FileDataset, este campo es el número de archivos que un script de usuario puede procesar en una llamada a run(). Para la entrada TabularDataset, este campo es el tamaño aproximado de los datos que el script de usuario puede procesar en una llamada a run(). Los valores de ejemplo son 1024, 1024 KB, 10 MB y 1 GB. (Opcional, el valor predeterminado es 10 archivos para FileDataset y 1MB para TabularDataset). Este valor se puede establecer a través de PipelineParameter.

partition_keys

List

Requerido

Claves usadas para particionar el conjunto de datos en minilotes. Si se especifica, los datos con la misma clave se dividirán en el mismo minilote. Si se especifican partition_keys y mini_batch_size, las claves de partición surtirán efecto. Las entradas deben ser conjuntos de datos con particiones y partition_keys debe ser un subconjunto de las claves de cada conjunto de datos de entrada para que funcione.

input_data

str

Requerido

Datos de entrada

inputs

dict

Requerido

Entradas del componente o trabajo

outputs

dict

Requerido

Salidas del componente o trabajo

Métodos

clear
copy
dump	Volca el contenido del trabajo en un archivo en formato YAML.
fromkeys	Cree un nuevo diccionario con claves de valores iterables y establecidos en value.
get	Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.
items
keys
pop	Si no se encuentra la clave, devuelva el valor predeterminado si se indica; de lo contrario, genere un valor KeyError.
popitem	Quite y devuelva un par (clave, valor) como una tupla de 2. Los pares se devuelven en el orden LIFO (último en entrar, primero en salir). Genera KeyError si el dict está vacío.
set_resources	Establezca los recursos para el trabajo paralelo.
setdefault	Inserte la clave con un valor predeterminado si la clave no está en el diccionario. Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.
update	Si E está presente y tiene un método .keys(), entonces hace lo siguiente: para k en E: D[k] = E[k] Si E está presente y carece de un método .keys(), entonces lo hace: para k, v en E: D[k] = v En cualquier caso, esto va seguido de: para k en F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Volca el contenido del trabajo en un archivo en formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parámetros

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Requerido

Ruta de acceso local o secuencia de archivos en la que se va a escribir el contenido de YAML. Si dest es una ruta de acceso de archivo, se creará un nuevo archivo. Si dest es un archivo abierto, el archivo se escribirá directamente.

kwargs

dict

Argumentos adicionales para pasar al serializador YAML.

Excepciones

FileExistsError

Se genera si dest es una ruta de acceso de archivo y el archivo ya existe.

IOError

Se genera si dest es un archivo abierto y el archivo no se puede escribir.

fromkeys

Cree un nuevo diccionario con claves de valores iterables y establecidos en value.

fromkeys(value=None, /)

Parámetros

type

Requerido

iterable

Requerido

value

valor predeterminado: None

get

Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.

get(key, default=None, /)

Parámetros

key

Requerido

default

valor predeterminado: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Si no se encuentra la clave, devuelva el valor predeterminado si se indica; de lo contrario, genere un valor KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Quite y devuelva un par (clave, valor) como una tupla de 2.

Los pares se devuelven en el orden LIFO (último en entrar, primero en salir). Genera KeyError si el dict está vacío.

popitem()

set_resources

Establezca los recursos para el trabajo paralelo.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Parámetros

instance_type

str o list[str]

El tipo de instancia o una lista de tipos de instancia usados como compatibles con el destino de proceso.

instance_count

int

Número de instancias o nodos usados por el destino de proceso.

properties

dict

Diccionario de propiedades de los recursos.

docker_args

str

Argumentos adicionales para pasar al comando de ejecución de Docker.

shm_size

str

Tamaño del bloque de memoria compartida del contenedor de Docker.

setdefault

Inserte la clave con un valor predeterminado si la clave no está en el diccionario.

Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.

setdefault(key, default=None, /)

Parámetros

key

Requerido

default

valor predeterminado: None

update

Si E está presente y tiene un método .keys(), entonces hace lo siguiente: para k en E: D[k] = E[k] Si E está presente y carece de un método .keys(), entonces lo hace: para k, v en E: D[k] = v En cualquier caso, esto va seguido de: para k en F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atributos

base_path

Ruta de acceso base del recurso.

Devoluciones

Ruta de acceso base del recurso.

Tipo de valor devuelto

str

component

Obtenga el componente del trabajo paralelo.

Devoluciones

Componente del trabajo paralelo.

Tipo de valor devuelto

str,

ParallelComponent

creation_context

Contexto de creación del recurso.

Devoluciones

Metadatos de creación del recurso.

Tipo de valor devuelto

Optional[SystemData]

id

El identificador del recurso.

Devoluciones

Identificador global del recurso, un identificador de Azure Resource Manager (ARM).

Tipo de valor devuelto

Optional[str]

inputs

Obtiene las entradas del objeto .

Devoluciones

Diccionario que contiene las entradas del objeto .

Tipo de valor devuelto

Dict[str, Union[Input, str, bool, int, float]]

log_files

Archivos de salida del trabajo.

Devoluciones

Diccionario de nombres de registro y direcciones URL.

Tipo de valor devuelto

Optional[Dict[str, str]]

name

Obtenga el nombre del nodo.

Devoluciones

El nombre del nodo.

Tipo de valor devuelto

str

outputs

Obtiene las salidas del objeto .

Devoluciones

Diccionario que contiene las salidas del objeto .

Tipo de valor devuelto

Dict[str, Union[str, Output]]

resources

Obtenga la configuración de recursos para el trabajo paralelo.

Devoluciones

Configuración de recursos para el trabajo paralelo.

Tipo de valor devuelto

JobResourceConfiguration

retry_settings

Obtenga la configuración de reintento para el trabajo paralelo.

Devoluciones

La configuración de reintento para el trabajo paralelo.

Tipo de valor devuelto

RetrySettings

status

El estado del trabajo.

Los valores comunes devueltos incluyen "Running", "Completed" y "Failed". Todos los valores posibles son:

• NotStarted: se trata de un estado temporal en el que se encuentran los objetos Run del lado cliente antes del envío en la nube.

• Starting: la ejecución ha empezado a procesarse en la nube. El autor de la llamada tiene un identificador de ejecución en este momento.

• Aprovisionamiento: se crea un proceso a petición para un envío de trabajo determinado.

• Preparación: el entorno de ejecución se está preparando y se encuentra en una de estas dos fases:

  • Compilación de imágenes de Docker

  • configuración del entorno Conda

• En cola: el trabajo se pone en cola en el destino de proceso. Por ejemplo, en BatchAI, el trabajo está en un estado en cola.

  mientras espera a que todos los nodos solicitados estén listos.

• En ejecución: el trabajo se ha iniciado para ejecutarse en el destino de proceso.

• Finalización: la ejecución del código de usuario se ha completado y la ejecución está en fases posteriores al procesamiento.

• CancelRequested: se ha solicitado la cancelación del trabajo.

• Completado: la ejecución se ha completado correctamente. Esto incluye tanto la ejecución del código de usuario como la ejecución

  posteriores al procesamiento de la ejecución.

• Failed: error en la ejecución. Normalmente, la propiedad Error de una ejecución proporcionará detalles sobre por qué se produjo el error.

• Canceled: sigue a una solicitud de cancelación e indica que la ejecución se ha cancelado correctamente.

• NotResponding: en el caso de las ejecuciones que tienen los latidos habilitados, no se ha enviado recientemente ningún latido.

Devoluciones

Estado del trabajo.

Tipo de valor devuelto

Optional[str]

studio_url

Punto de conexión de Azure ML Studio.

Devoluciones

Dirección URL de la página de detalles del trabajo.

Tipo de valor devuelto

Optional[str]

task

Obtenga la tarea paralela.

Devoluciones

Tarea paralela.

Tipo de valor devuelto

ParallelTask

type

Tipo del trabajo.

Devoluciones

Tipo del trabajo.

Tipo de valor devuelto

Optional[str]