Parallel Classe

Classe di base per il nodo parallelo, usata per l'utilizzo della versione dei componenti paralleli.

Non è consigliabile creare direttamente un'istanza di questa classe. È invece necessario creare dalla funzione builder: parallel.

Ereditarietà

azure.ai.ml.entities._builders.base_node.BaseNode

Parallel

azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin

Parallel

Costruttore

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Parametri

component

<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>

Necessario

ID o istanza del componente/processo parallelo da eseguire per il passaggio

name

str

Necessario

Nome del parallelo

description

str

Necessario

Descrizione della virgola

tags

dict[str, str]

Necessario

Dizionario tag. I tag possono essere aggiunti, rimossi e aggiornati

properties

dict[str, str]

Necessario

Dizionario delle proprietà del processo

display_name

str

Necessario

Nome visualizzato del processo

retry_settings

BatchRetrySettings

Necessario

Tentativi di ripetizione del processo paralleli non riusciti

logging_level

str

Necessario

Stringa del nome del livello di registrazione

max_concurrency_per_instance

int

Necessario

Max parallellism che ogni istanza di calcolo ha

error_threshold

int

Necessario

Il numero di errori di elaborazione degli elementi deve essere ignorato

mini_batch_error_threshold

int

Necessario

Il numero di mini errori di elaborazione batch deve essere ignorato

task

ParallelTask

Necessario

Attività parallela

mini_batch_size

str

Necessario

Per l'input di FileDataset, questo campo è il numero di file che uno script utente può elaborare in una chiamata run(). Per l'input tabularDataset, questo campo è la dimensione approssimativa dei dati che lo script utente può elaborare in una chiamata run(). I valori di esempio sono 1024, 1024 KB, 10 MB e 1 GB. Facoltativo, il valore predefinito è 10 file per FileDataset e 1MB per TabularDataset. Questo valore può essere impostato tramite PipelineParameter

partition_keys

List

Necessario

Chiavi usate per partizionare il set di dati in mini-batch. Se specificato, i dati con la stessa chiave verranno partizionati nello stesso mini-batch. Se vengono specificati sia partition_keys che mini_batch_size, le chiavi di partizione avranno effetto. Gli input devono essere set di dati partizionati e il partition_keys deve essere un subset delle chiavi di ogni set di dati di input per il funzionamento.

input_data

str

Necessario

Dati di input

inputs

dict

Necessario

Input del componente/processo

outputs

dict

Necessario

Output del componente/processo

Metodi

clear
copy
dump	Esegue il dump del contenuto del processo in un file in formato YAML.
fromkeys	Creare un nuovo dizionario con chiavi da iterabili e valori impostati su valore.
get	Restituisce il valore per la chiave se la chiave è nel dizionario, in caso contrario, impostazione predefinita.
items
keys
pop	Se la chiave non viene trovata, restituire il valore predefinito se specificato; in caso contrario, generare un keyError.
popitem	Rimuovere e restituire una coppia (chiave, valore) come tupla a 2. Le coppie vengono restituite nell'ordine LIFO (last-in, first-out). Genera KeyError se la dict è vuota.
set_resources	Impostare le risorse per il processo parallelo.
setdefault	Inserire la chiave con un valore predefinito se la chiave non è presente nel dizionario. Restituisce il valore per la chiave se la chiave è nel dizionario. In caso contrario, impostazione predefinita.
update	Se E è presente e ha un metodo .keys(), lo fa: per k in E: D[k] = E[k] Se E è presente e manca un metodo .keys(), esegue: per k, v in E: D[k] = v In entrambi i casi, questo è seguito da: per k in F: D[k] = F[k] = F[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Esegue il dump del contenuto del processo in un file in formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parametri

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Necessario

Percorso locale o flusso di file in cui scrivere il contenuto YAML. Se il massimo è un percorso di file, verrà creato un nuovo file. Se il massimo è un file aperto, il file verrà scritto direttamente.

kwargs

dict

Argomenti aggiuntivi da passare al serializzatore YAML.

Eccezioni

FileExistsError

Generato se il numero massimo è un percorso di file e il file esiste già.

IOError

Generato se il massimo è un file aperto e il file non è scrivibile.

fromkeys

Creare un nuovo dizionario con chiavi da iterabili e valori impostati su valore.

fromkeys(value=None, /)

Parametri

type

Necessario

iterable

Necessario

value

valore predefinito: None

get

Restituisce il valore per la chiave se la chiave è nel dizionario, in caso contrario, impostazione predefinita.

get(key, default=None, /)

Parametri

key

Necessario

default

valore predefinito: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Se la chiave non viene trovata, restituire il valore predefinito se specificato; in caso contrario, generare un keyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Rimuovere e restituire una coppia (chiave, valore) come tupla a 2.

Le coppie vengono restituite nell'ordine LIFO (last-in, first-out). Genera KeyError se la dict è vuota.

popitem()

set_resources

Impostare le risorse per il processo parallelo.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Parametri

instance_type

str oppure list[str]

Tipo di istanza o elenco di tipi di istanza usati come supportato dalla destinazione di calcolo.

instance_count

int

Numero di istanze o nodi usati dalla destinazione di calcolo.

properties

dict

Dizionario delle proprietà per le risorse.

docker_args

str

Argomenti aggiuntivi da passare al comando Di esecuzione Docker.

shm_size

str

Dimensioni del blocco di memoria condiviso del contenitore Docker.

setdefault

Inserire la chiave con un valore predefinito se la chiave non è presente nel dizionario.

Restituisce il valore per la chiave se la chiave è nel dizionario. In caso contrario, impostazione predefinita.

setdefault(key, default=None, /)

Parametri

key

Necessario

default

valore predefinito: None

update

Se E è presente e ha un metodo .keys(), lo fa: per k in E: D[k] = E[k] Se E è presente e manca un metodo .keys(), esegue: per k, v in E: D[k] = v In entrambi i casi, questo è seguito da: per k in F: D[k] = F[k] = F[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Attributi

base_path

Percorso di base della risorsa.

Restituisce

Percorso di base della risorsa.

Tipo restituito

str

component

Ottenere il componente del processo parallelo.

Restituisce

Componente del processo parallelo.

Tipo restituito

str,

ParallelComponent

creation_context

Contesto di creazione della risorsa.

Restituisce

Metadati di creazione per la risorsa.

Tipo restituito

Optional[SystemData]

id

L'ID della risorsa.

Restituisce

ID globale della risorsa, ID di Azure Resource Manager (ARM).

Tipo restituito

Optional[str]

inputs

Ottenere gli input per l'oggetto.

Restituisce

Dizionario contenente gli input per l'oggetto.

Tipo restituito

Dict[str, Union[Input, str, bool, int, float]]

log_files

File di output del processo.

Restituisce

Dizionario di nomi e URL di log.

Tipo restituito

Optional[Dict[str, str]]

name

Ottenere il nome del nodo.

Restituisce

Il nome del nodo.

Tipo restituito

str

outputs

Ottenere gli output dell'oggetto.

Restituisce

Dizionario contenente gli output per l'oggetto.

Tipo restituito

Dict[str, Union[str, Output]]

resources

Ottenere la configurazione della risorsa per il processo parallelo.

Restituisce

Configurazione delle risorse per il processo parallelo.

Tipo restituito

JobResourceConfiguration

retry_settings

Ottenere le impostazioni di ripetizione dei tentativi per il processo parallelo.

Restituisce

Impostazioni di ripetizione dei tentativi per il processo parallelo.

Tipo restituito

RetrySettings

status

Stato del processo.

I valori comuni restituiti includono "Running", "Completed" e "Failed". Tutti i valori possibili sono:

• NotStarted: questo è uno stato temporaneo in cui gli oggetti Run lato client si trovano prima dell'invio nel cloud.

• Avvio: l'esecuzione è stata avviata nell'elaborazione nel cloud. Il chiamante ha un ID di esecuzione a questo punto.

• Provisioning: l'elaborazione su richiesta viene creata per un invio di processo specificato.

• Preparazione: l'ambiente di esecuzione è in fase di preparazione ed è in una delle due fasi seguenti:

  • Compilazione di immagini Docker

  • configurazione dell'ambiente conda

• Accodato: il processo viene accodato nella destinazione di calcolo. Ad esempio, in BatchAI il processo si trova in uno stato in coda

  in attesa che tutti i nodi richiesti siano pronti.

• Esecuzione: il processo è stato avviato per l'esecuzione nella destinazione di calcolo.

• Finalizzazione: l'esecuzione del codice utente è stata completata e l'esecuzione è in fasi di post-elaborazione.

• CancelRequested: l'annullamento è stato richiesto per il processo.

• Completato: l'esecuzione è stata completata correttamente. Ciò include sia l'esecuzione del codice utente che l'esecuzione

  fasi di post-elaborazione.

• Impossibile: l'esecuzione non è riuscita. In genere la proprietà Error in un'esecuzione fornisce informazioni dettagliate sul motivo.

• Annullata: segue una richiesta di annullamento e indica che l'esecuzione è stata annullata correttamente.

• NotResponding: per le esecuzioni abilitate per Heartbeat, non è stato inviato di recente alcun heartbeat.

Restituisce

Stato del processo.

Tipo restituito

Optional[str]

studio_url

Endpoint di Azure ML Studio.

Restituisce

URL della pagina dei dettagli del processo.

Tipo restituito

Optional[str]

task

Ottenere l'attività parallela.

Restituisce

Attività parallela.

Tipo restituito

ParallelTask

type

Tipo del processo.

Restituisce

Tipo del processo.

Tipo restituito

Optional[str]