Parallel Klasa

Klasa bazowa dla węzła równoległego używana do użycia wersji składników równoległych.

Nie należy bezpośrednio utworzyć wystąpienia tej klasy. Zamiast tego należy utworzyć na podstawie funkcji konstruktora: równoległej.

Dziedziczenie

azure.ai.ml.entities._builders.base_node.BaseNode

Parallel

azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin

Parallel

Konstruktor

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Parametry

component

<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>

Wymagane

Identyfikator lub wystąpienie składnika/zadania równoległego do uruchomienia dla kroku

name

str

Wymagane

Nazwa równoległego

description

str

Wymagane

Opis przecinka

tags

dict[str, str]

Wymagane

Słownik tagów. Tagi można dodawać, usuwać i aktualizować

properties

dict[str, str]

Wymagane

Słownik właściwości zadania

display_name

str

Wymagane

Nazwa wyświetlana zadania

retry_settings

BatchRetrySettings

Wymagane

Ponowienie próby uruchomienia zadania równoległego nie powiodło się

logging_level

str

Wymagane

Ciąg nazwy poziomu rejestrowania

max_concurrency_per_instance

int

Wymagane

Maksymalna równoległość, jaką ma każde wystąpienie obliczeniowe

error_threshold

int

Wymagane

Liczba niepowodzeń przetwarzania elementów powinna być ignorowana

mini_batch_error_threshold

int

Wymagane

Liczba błędów mini przetwarzania wsadowego powinna być ignorowana

task

ParallelTask

Wymagane

Zadanie równoległe

mini_batch_size

str

Wymagane

W przypadku danych wejściowych fileDataset to pole jest liczbą plików, które skrypt użytkownika może przetworzyć w jednym wywołaniu run(). W przypadku danych wejściowych TabularDataset to przybliżony rozmiar danych, które skrypt użytkownika może przetworzyć w jednym wywołaniu run(). Przykładowe wartości to 1024, 1024 KB, 10 MB i 1 GB. (opcjonalnie wartość domyślna to 10 plików dla elementu FileDataset i 1 MB dla elementu TabularDataset). Tę wartość można ustawić za pomocą parametru PipelineParameter

partition_keys

List

Wymagane

Klucze używane do partycjonowania zestawu danych w minisadach. Jeśli zostanie określony, dane z tym samym kluczem zostaną podzielone na tę samą minisadę. Jeśli zostaną określone zarówno partition_keys, jak i mini_batch_size, klucze partycji zostaną zastosowane. Dane wejściowe muszą być partycjonowane, a partition_keys musi być podzbiorem kluczy każdego wejściowego zestawu danych, aby to działało.

input_data

str

Wymagane

Dane wejściowe

inputs

dict

Wymagane

Dane wejściowe składnika/zadania

outputs

dict

Wymagane

Dane wyjściowe składnika/zadania

Metody

clear
copy
dump	Zrzuty zawartości zadania do pliku w formacie YAML.
fromkeys	Utwórz nowy słownik z kluczami z iterowalnych i wartości ustawionych na wartość.
get	Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.
items
keys
pop	Jeśli klucz nie zostanie znaleziony, zwróć wartość domyślną, jeśli zostanie podana; w przeciwnym razie zgłoś błąd KeyError.
popitem	Usuń i zwróć parę (klucz, wartość) jako krotkę 2-krotkową. Pary są zwracane w kolejności LIFO (last-in, first-out). Zgłasza błąd KeyError, jeśli dykt jest pusty.
set_resources	Ustaw zasoby dla zadania równoległego.
setdefault	Wstaw klucz z wartością domyślną, jeśli klucz nie znajduje się w słowniku. Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.
update	Jeśli E jest obecny i ma metodę .keys(), wykonuje następujące czynności: dla k in E: D[k] = E[k] Jeśli E jest obecny i brakuje metody .keys(), to robi: dla k, v in E: D[k] = v w obu przypadkach, jest to następujące: dla k w F: D[k] = F[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Zrzuty zawartości zadania do pliku w formacie YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parametry

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Wymagane

Ścieżka lokalna lub strumień plików do zapisu zawartości YAML. Jeśli dest jest ścieżką pliku, zostanie utworzony nowy plik. Jeśli plik jest otwarty, plik zostanie zapisany bezpośrednio.

kwargs

dict

Dodatkowe argumenty do przekazania do serializatora YAML.

Wyjątki

FileExistsError

Zgłaszane, jeśli dest jest ścieżką pliku i plik już istnieje.

IOError

Zgłaszane, jeśli dest jest otwartym plikiem, a plik nie jest zapisywalny.

fromkeys

Utwórz nowy słownik z kluczami z iterowalnych i wartości ustawionych na wartość.

fromkeys(value=None, /)

Parametry

type

Wymagane

iterable

Wymagane

value

wartość domyślna: None

get

Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.

get(key, default=None, /)

Parametry

key

Wymagane

default

wartość domyślna: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Jeśli klucz nie zostanie znaleziony, zwróć wartość domyślną, jeśli zostanie podana; w przeciwnym razie zgłoś błąd KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Usuń i zwróć parę (klucz, wartość) jako krotkę 2-krotkową.

Pary są zwracane w kolejności LIFO (last-in, first-out). Zgłasza błąd KeyError, jeśli dykt jest pusty.

popitem()

set_resources

Ustaw zasoby dla zadania równoległego.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Parametry

instance_type

str lub list[str]

Typ wystąpienia lub lista typów wystąpień używanych jako obsługiwane przez docelowy obiekt obliczeniowy.

instance_count

int

Liczba wystąpień lub węzłów używanych przez docelowy obiekt obliczeniowy.

properties

dict

Słownik właściwości dla zasobów.

docker_args

str

Dodatkowe argumenty do przekazania do polecenia do uruchomienia platformy Docker.

shm_size

str

Rozmiar bloku pamięci udostępnionej kontenera platformy Docker.

setdefault

Wstaw klucz z wartością domyślną, jeśli klucz nie znajduje się w słowniku.

Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.

setdefault(key, default=None, /)

Parametry

key

Wymagane

default

wartość domyślna: None

update

Jeśli E jest obecny i ma metodę .keys(), wykonuje następujące czynności: dla k in E: D[k] = E[k] Jeśli E jest obecny i brakuje metody .keys(), to robi: dla k, v in E: D[k] = v w obu przypadkach, jest to następujące: dla k w F: D[k] = F[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atrybuty

base_path

Ścieżka podstawowa zasobu.

Zwraca

Ścieżka podstawowa zasobu.

Typ zwracany

str

component

Pobierz składnik zadania równoległego.

Zwraca

Składnik zadania równoległego.

Typ zwracany

str,

ParallelComponent

creation_context

Kontekst tworzenia zasobu.

Zwraca

Metadane tworzenia zasobu.

Typ zwracany

Optional[SystemData]

id

Identyfikator zasobu.

Zwraca

Identyfikator globalny zasobu, identyfikator usługi Azure Resource Manager (ARM).

Typ zwracany

Optional[str]

inputs

Pobierz dane wejściowe dla obiektu .

Zwraca

Słownik zawierający dane wejściowe dla obiektu.

Typ zwracany

Dict[str, Union[Input, str, bool, int, float]]

log_files

Pliki wyjściowe zadania.

Zwraca

Słownik nazw dzienników i adresów URL.

Typ zwracany

Optional[Dict[str, str]]

name

Pobierz nazwę węzła.

Zwraca

Nazwa węzła.

Typ zwracany

str

outputs

Pobierz dane wyjściowe obiektu.

Zwraca

Słownik zawierający dane wyjściowe dla obiektu.

Typ zwracany

Dict[str, Union[str, Output]]

resources

Pobierz konfigurację zasobów dla zadania równoległego.

Zwraca

Konfiguracja zasobów dla zadania równoległego.

Typ zwracany

JobResourceConfiguration

retry_settings

Pobierz ustawienia ponawiania dla zadania równoległego.

Zwraca

Ustawienia ponawiania dla zadania równoległego.

Typ zwracany

RetrySettings

status

Stan zadania.

Zwracane typowe wartości to "Running", "Completed" i "Failed". Wszystkie możliwe wartości to:

• NotStarted — jest to stan tymczasowy, w przypadku którego przed przesłaniem do chmury znajdują się obiekty Uruchom po stronie klienta.

• Uruchamianie — uruchomienie zostało rozpoczęte w chmurze. Obiekt wywołujący ma w tym momencie identyfikator uruchomienia.

• Aprowizacja — obliczenia na żądanie są tworzone dla danego przesłania zadania.

• Przygotowywanie — środowisko uruchomieniowe jest przygotowywane i znajduje się w jednym z dwóch etapów:

  • Kompilacja obrazu platformy Docker

  • Konfiguracja środowiska conda

• W kolejce — zadanie jest kolejkowane w docelowym obiekcie obliczeniowym. Na przykład w usłudze BatchAI zadanie jest w stanie w kolejce

  podczas oczekiwania na gotowość wszystkich żądanych węzłów.

• Uruchomione — zadanie zostało uruchomione na docelowym obiekcie obliczeniowym.

• Finalizowanie — wykonywanie kodu użytkownika zostało ukończone, a przebieg znajduje się na etapach przetwarzania końcowego.

• CancelRequested — zażądano anulowania zadania.

• Ukończono — przebieg został ukończony pomyślnie. Obejmuje to zarówno wykonywanie kodu użytkownika, jak i uruchamianie

  etapy przetwarzania końcowego.

• Niepowodzenie — przebieg zakończył się niepowodzeniem. Zazwyczaj właściwość Error w przebiegu zawiera szczegółowe informacje o przyczynie.

• Anulowano — następuje żądanie anulowania i wskazuje, że przebieg został pomyślnie anulowany.

• NotResponding — w przypadku przebiegów z włączonymi pulsami nie wysłano ostatnio pulsu.

Zwraca

Stan zadania.

Typ zwracany

Optional[str]

studio_url

Punkt końcowy programu Azure ML Studio.

Zwraca

Adres URL strony szczegółów zadania.

Typ zwracany

Optional[str]

task

Pobierz zadanie równoległe.

Zwraca

Zadanie równoległe.

Typ zwracany

ParallelTask

type

Typ zadania.

Zwraca

Typ zadania.

Typ zwracany

Optional[str]