Parallel Klasse
Basisklasse für parallelen Knoten, die für die Verwendung der parallelen Komponentenversion verwendet wird.
Sie sollten diese Klasse nicht direkt instanziieren. Stattdessen sollten Sie die Funktion "parallel" erstellen.
- Vererbung
-
azure.ai.ml.entities._builders.base_node.BaseNodeParallelazure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixinParallel
Konstruktor
Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)Parameter
- component
- <xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>
ID oder instance der parallelen Komponente/des Auftrags, die für den Schritt ausgeführt werden soll
Tagwörterbuch. Tags können hinzugefügt, entfernt und aktualisiert werden.
- max_concurrency_per_instance
- int
Die maximale Parallelität, die jede Compute-instance aufweist
- error_threshold
- int
Die Anzahl der Fehler bei der Elementverarbeitung sollten ignoriert werden.
- mini_batch_error_threshold
- int
Die Anzahl von Minibatchverarbeitungsfehlern sollte ignoriert werden.
- mini_batch_size
- str
Bei der FileDataset-Eingabe ist dieses Feld die Anzahl der Dateien, die ein Benutzerskript in einem run()-Aufruf verarbeiten kann. Bei einer TabularDataset-Eingabe ist dieses Feld die ungefähre Größe der Daten, die ein Benutzerskript in einem run()-Aufruf verarbeiten kann. Beispielwerte sind 1.024, 1.024 KB, 10 MB und 1 GB. (optional, der Standardwert ist 10 Dateien für FileDataset und 1 MB für TabularDataset.) Dieser Wert kann über PipelineParameter festgelegt werden.
- partition_keys
- List
Die Schlüssel, die zum Partitionieren von Datasets in Minibatches verwendet werden. Bei einer Angabe werden die Daten mit demselben Schlüssel in den gleichen Minibatch partitioniert. Wenn sowohl partition_keys als auch mini_batch_size angegeben werden, werden die Partitionsschlüssel wirksam. Damit dies funktioniert, müssen die Eingaben partitionierte Datasets sein, und die partition_keys müssen eine Teilmenge der Schlüssel jedes Eingabedatasets sein.
Methoden
| clear | |
| copy | |
| dump |
Gibt den Auftragsinhalt in eine Datei im YAML-Format ab. |
| fromkeys |
Erstellen Sie ein neues Wörterbuch mit Schlüsseln aus Iterable und Werten, die auf Wert festgelegt sind. |
| get |
Geben Sie den Wert für schlüssel zurück, wenn sich der Schlüssel im Wörterbuch befindet, andernfalls standardmäßig. |
| items | |
| keys | |
| pop |
Wenn der Schlüssel nicht gefunden wird, geben Sie den Standardwert zurück, falls angegeben. lösen Sie andernfalls einen KeyError aus. |
| popitem |
Entfernen Sie ein Paar (Schlüssel, Wert) und geben Sie es als 2-Tupel zurück. Paare werden in LIFO-Reihenfolge (last-in, first-out) zurückgegeben. Löst KeyError aus, wenn das Dict leer ist. |
| set_resources |
Legen Sie die Ressourcen für den parallelen Auftrag fest. |
| setdefault |
Fügen Sie einen Schlüssel mit dem Standardwert ein, wenn der Schlüssel nicht im Wörterbuch enthalten ist. Geben Sie den Wert für schlüssel zurück, wenn sich der Schlüssel im Wörterbuch befindet, andernfalls standardmäßig. |
| update |
Wenn E vorhanden ist und über eine .keys()-Methode verfügt, dann: für k in E: D[k] = E[k] Wenn E vorhanden ist und keine .keys()-Methode vorhanden ist, dann folgendes: für k, v in E: D[k] = v In beiden Fällen folgt folgendes: für k in F: D[k] = F[k] = F[k] |
| values |
clear
clear() -> None. Remove all items from D.copy
copy() -> a shallow copy of Ddump
Gibt den Auftragsinhalt in eine Datei im YAML-Format ab.
dump(dest: str | PathLike | IO, **kwargs) -> NoneParameter
Der lokale Pfad oder Dateistream, in den der YAML-Inhalt geschrieben werden soll. Wenn dest ein Dateipfad ist, wird eine neue Datei erstellt. Wenn dest eine geöffnete Datei ist, wird die Datei direkt in geschrieben.
- kwargs
- dict
Zusätzliche Argumente, die an den YAML-Serialisierer übergeben werden sollen.
Ausnahmen
Wird ausgelöst, wenn dest ein Dateipfad ist und die Datei bereits vorhanden ist.
Wird ausgelöst, wenn dest eine geöffnete Datei ist und die Datei nicht beschreibbar ist.
fromkeys
Erstellen Sie ein neues Wörterbuch mit Schlüsseln aus Iterable und Werten, die auf Wert festgelegt sind.
fromkeys(value=None, /)Parameter
- type
- iterable
- value
get
Geben Sie den Wert für schlüssel zurück, wenn sich der Schlüssel im Wörterbuch befindet, andernfalls standardmäßig.
get(key, default=None, /)Parameter
- key
- default
items
items() -> a set-like object providing a view on D's itemskeys
keys() -> a set-like object providing a view on D's keyspop
Wenn der Schlüssel nicht gefunden wird, geben Sie den Standardwert zurück, falls angegeben. lösen Sie andernfalls einen KeyError aus.
pop(k, [d]) -> v, remove specified key and return the corresponding value.popitem
Entfernen Sie ein Paar (Schlüssel, Wert) und geben Sie es als 2-Tupel zurück.
Paare werden in LIFO-Reihenfolge (last-in, first-out) zurückgegeben. Löst KeyError aus, wenn das Dict leer ist.
popitem()set_resources
Legen Sie die Ressourcen für den parallelen Auftrag fest.
set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)Parameter
Der instance Typ oder eine Liste von instance Typen, die vom Computeziel unterstützt werden.
- instance_count
- int
Die Anzahl der Instanzen oder Knoten, die vom Computeziel verwendet werden.
- properties
- dict
Das Eigenschaftenwörterbuch für die Ressourcen.
- docker_args
- str
Zusätzliche Argumente, die an den run-Befehl von Docker übergeben werden sollen.
- shm_size
- str
Größe des freigegebenen Speicherblocks des Docker-Containers.
setdefault
Fügen Sie einen Schlüssel mit dem Standardwert ein, wenn der Schlüssel nicht im Wörterbuch enthalten ist.
Geben Sie den Wert für schlüssel zurück, wenn sich der Schlüssel im Wörterbuch befindet, andernfalls standardmäßig.
setdefault(key, default=None, /)Parameter
- key
- default
update
Wenn E vorhanden ist und über eine .keys()-Methode verfügt, dann: für k in E: D[k] = E[k] Wenn E vorhanden ist und keine .keys()-Methode vorhanden ist, dann folgendes: für k, v in E: D[k] = v In beiden Fällen folgt folgendes: für k in F: D[k] = F[k] = F[k]
update([E], **F) -> None. Update D from dict/iterable E and F.values
values() -> an object providing a view on D's valuesAttribute
base_path
component
Rufen Sie die Komponente des parallelen Auftrags ab.
Gibt zurück
Die Komponente des parallelen Auftrags.
Rückgabetyp
creation_context
Der Erstellungskontext der Ressource.
Gibt zurück
Die Erstellungsmetadaten für die Ressource.
Rückgabetyp
id
Die Ressourcen-ID.
Gibt zurück
Die globale ID der Ressource, eine Arm-ID (Azure Resource Manager).
Rückgabetyp
inputs
Rufen Sie die Eingaben für das -Objekt ab.
Gibt zurück
Ein Wörterbuch, das die Eingaben für das Objekt enthält.
Rückgabetyp
log_files
Auftragsausgabedateien.
Gibt zurück
Das Wörterbuch der Protokollnamen und URLs.
Rückgabetyp
name
outputs
Rufen Sie die Ausgaben des -Objekts ab.
Gibt zurück
Ein Wörterbuch, das die Ausgaben für das -Objekt enthält.
Rückgabetyp
resources
Rufen Sie die Ressourcenkonfiguration für den parallelen Auftrag ab.
Gibt zurück
Die Ressourcenkonfiguration für den parallelen Auftrag.
Rückgabetyp
retry_settings
Rufen Sie die Wiederholungseinstellungen für den parallelen Auftrag ab.
Gibt zurück
Die Wiederholungseinstellungen für den parallelen Auftrag.
Rückgabetyp
status
Der Status des Auftrags.
Zu den häufig zurückgegebenen Werten zählen „Running“ (Wird ausgeführt), „Completed“ (Abgeschlossen) und „Failed“ (Fehlgeschlagen). Alle möglichen Werte sind:
NotStarted: Dies ist ein temporärer Zustand, in dem sich clientseitige Run-Objekte vor der Cloudübermittlung befinden.
Starting: Die Verarbeitung der Ausführung in der Cloud hat begonnen. Die aufrufende Funktion besitzt zu diesem Zeitpunkt eine Ausführungs-ID.
Bereitstellung: Bedarfsgesteuerte Computeerstellung wird für eine bestimmte Auftragsübermittlung erstellt.
Vorbereitung: Die Ausführungsumgebung wird vorbereitet und befindet sich in einer von zwei Phasen:
Docker-Imagebuild
Einrichten der Conda-Umgebung
Warteschlangen: Der Auftrag wird auf dem Computeziel in die Warteschlange gestellt. In BatchAI befindet sich der Auftrag beispielsweise in einer Warteschlange.
während darauf gewartet wird, dass alle angeforderten Knoten bereit sind.
Ausführen: Der Auftrag wurde auf dem Computeziel ausgeführt.
Abschluss: Die Ausführung des Benutzercodes wurde abgeschlossen, und die Ausführung befindet sich in Nachverarbeitungsphasen.
CancelRequested: Für den Auftrag wurde ein Abbruch angefordert.
Abgeschlossen: Die Ausführung wurde erfolgreich abgeschlossen. Dies umfasst sowohl die Ausführung von Benutzercode als auch die Ausführung.
Nachbearbeitungsphasen der Ausführung ein.
Failed: Die Ausführung ist fehlgeschlagen. In der Regel liefert die Eigenschaft „Error“ einer Ausführung Details zur Ursache.
Canceled: Folgt einer Abbruchanforderung und gibt an, dass die Ausführung jetzt erfolgreich abgebrochen wurde.
„NotResponding“ (Reagiert nicht): Für eine Ausführung, für die Heartbeats aktiviert ist, wurde vor Kurzem kein Heartbeat gesendet.
Gibt zurück
Status des Auftrags.
Rückgabetyp
studio_url
task
type
Azure SDK for Python
Feedback
Bald verfügbar: Im Laufe des Jahres 2024 werden wir GitHub-Issues stufenweise als Feedbackmechanismus für Inhalte abbauen und durch ein neues Feedbacksystem ersetzen. Weitere Informationen finden Sie unter https://aka.ms/ContentUserFeedback.
Feedback senden und anzeigen für