Spark Klasa

Klasa bazowa dla węzła spark używana do użycia wersji składnika platformy Spark.

Nie należy bezpośrednio utworzyć wystąpienia tej klasy. Zamiast tego należy go utworzyć na podstawie funkcji konstruktora: spark.

] :p aram dane wyjściowe: mapowanie nazw wyjściowych na wyjściowe źródła danych używane w zadaniu. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: argumenty zadania. :type args: str :p aram compute: zasób obliczeniowy uruchamiany przez zadanie. :type compute: str :p aram resources: konfiguracja zasobów obliczeniowych dla zadania. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: plik lub punkt wejścia klasy. :type entry: Dict[str, str] :p aram py_files: lista plików .zip, egg lub py do umieszczenia w aplikacjach PYTHONPATH dla języka Python. :type py_files: List[str] :p aram jars: lista . Pliki JAR do uwzględnienia w ścieżkach klas sterownika i funkcji wykonawczej. :type jars: List[str] :p aram files: lista plików do umieszczenia w katalogu roboczym każdego wykonawcy. :type files: List[str] :p aram archives: lista archiwów do wyodrębnienia do katalogu roboczego każdego wykonawcy. :type archives: List[str]

Dziedziczenie

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Konstruktor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parametry

component

Union[str, SparkComponent]

Wymagane

Identyfikator lub wystąpienie składnika lub zadania platformy Spark, które ma zostać uruchomione w kroku.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Wymagane

Tożsamość, która będzie używana przez zadanie platformy Spark podczas uruchamiania na obliczeniach.

driver_cores

int

Wymagane

Liczba rdzeni do użycia w procesie sterownika tylko w trybie klastra.

driver_memory

str

Wymagane

Ilość pamięci do użycia w procesie sterownika, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").

executor_cores

int

Wymagane

Liczba rdzeni do użycia w każdej funkcji wykonawczej.

executor_memory

str

Wymagane

Ilość pamięci do użycia na proces funkcji wykonawczej, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").

executor_instances

int

Wymagane

Początkowa liczba funkcji wykonawczych.

dynamic_allocation_enabled

bool

Wymagane

Określa, czy używać dynamicznej alokacji zasobów, która skaluje liczbę funkcji wykonawczych zarejestrowanych w tej aplikacji w górę i w dół na podstawie obciążenia.

dynamic_allocation_min_executors

int

Wymagane

Dolna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.

dynamic_allocation_max_executors

int

Wymagane

Górna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.

conf

Dict[str, str]

Wymagane

Słownik ze wstępnie zdefiniowanymi kluczami i wartościami konfiguracji platformy Spark.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Wymagane

Mapowanie nazw wejściowych na wejściowe źródła danych używane w zadaniu.

Metody

clear
copy
dump	Zrzuty zawartości zadania do pliku w formacie YAML.
fromkeys	Utwórz nowy słownik z kluczami z iterowalnych i wartości ustawionych na wartość.
get	Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.
items
keys
pop	Jeśli klucz nie zostanie znaleziony, zwróć wartość domyślną, jeśli zostanie podana; w przeciwnym razie zgłoś błąd KeyError.
popitem	Usuń i zwróć parę (klucz, wartość) jako krotkę 2-krotkową. Pary są zwracane w kolejności LIFO (last-in, first-out). Zgłasza błąd KeyError, jeśli dykt jest pusty.
setdefault	Wstaw klucz z wartością domyślną, jeśli klucz nie znajduje się w słowniku. Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.
update	Jeśli E jest obecna i ma metodę .keys(), to robi: dla k in E: D[k] = E[k] Jeśli E jest obecny i brakuje metody .keys(), to robi: dla k, v in E: D[k] = v W obu przypadkach następuje: dla k w F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Zrzuty zawartości zadania do pliku w formacie YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parametry

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Wymagane

Ścieżka lokalna lub strumień plików do zapisu zawartości YAML. Jeśli dest jest ścieżką pliku, zostanie utworzony nowy plik. Jeśli plik jest otwarty, plik zostanie zapisany bezpośrednio.

kwargs

dict

Dodatkowe argumenty do przekazania do serializatora YAML.

Wyjątki

FileExistsError

Zgłaszane, jeśli dest jest ścieżką pliku i plik już istnieje.

IOError

Zgłaszane, jeśli dest jest otwartym plikiem, a plik nie jest zapisywalny.

fromkeys

Utwórz nowy słownik z kluczami z iterowalnych i wartości ustawionych na wartość.

fromkeys(value=None, /)

Parametry

type

Wymagane

iterable

Wymagane

value

wartość domyślna: None

get

Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.

get(key, default=None, /)

Parametry

key

Wymagane

default

wartość domyślna: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Jeśli klucz nie zostanie znaleziony, zwróć wartość domyślną, jeśli zostanie podana; w przeciwnym razie zgłoś błąd KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Usuń i zwróć parę (klucz, wartość) jako krotkę 2-krotkową.

Pary są zwracane w kolejności LIFO (last-in, first-out). Zgłasza błąd KeyError, jeśli dykt jest pusty.

popitem()

setdefault

Wstaw klucz z wartością domyślną, jeśli klucz nie znajduje się w słowniku.

Zwróć wartość klucza, jeśli klucz znajduje się w słowniku, a w przeciwnym razie wartość domyślna.

setdefault(key, default=None, /)

Parametry

key

Wymagane

default

wartość domyślna: None

update

Jeśli E jest obecna i ma metodę .keys(), to robi: dla k in E: D[k] = E[k] Jeśli E jest obecny i brakuje metody .keys(), to robi: dla k, v in E: D[k] = v W obu przypadkach następuje: dla k w F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atrybuty

base_path

Ścieżka podstawowa zasobu.

Zwraca

Ścieżka podstawowa zasobu.

Typ zwracany

str

code

Ścieżka lokalna lub zdalna wskazująca kod źródłowy.

Typ zwracany

Union[str, <xref:PathLike>]

component

Identyfikator lub wystąpienie składnika lub zadania platformy Spark, które ma zostać uruchomione w kroku.

Typ zwracany

SparkComponent

creation_context

Kontekst tworzenia zasobu.

Zwraca

Metadane tworzenia zasobu.

Typ zwracany

Optional[SystemData]

entry

id

Identyfikator zasobu.

Zwraca

Identyfikator globalny zasobu, identyfikator usługi Azure Resource Manager (ARM).

Typ zwracany

Optional[str]

identity

Tożsamość, która będzie używana przez zadanie platformy Spark podczas uruchamiania na obliczeniach.

Typ zwracany

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Pobierz dane wejściowe dla obiektu .

Zwraca

Słownik zawierający dane wejściowe dla obiektu.

Typ zwracany

Dict[str, Union[Input, str, bool, int, float]]

log_files

Pliki wyjściowe zadania.

Zwraca

Słownik nazw dzienników i adresów URL.

Typ zwracany

Optional[Dict[str, str]]

name

Pobierz nazwę węzła.

Zwraca

Nazwa węzła.

Typ zwracany

str

outputs

Pobierz dane wyjściowe obiektu.

Zwraca

Słownik zawierający dane wyjściowe dla obiektu.

Typ zwracany

Dict[str, Union[str, Output]]

resources

Konfiguracja zasobów obliczeniowych dla zadania.

Typ zwracany

SparkResourceConfiguration

status

Stan zadania.

Zwracane typowe wartości to "Running", "Completed" i "Failed". Wszystkie możliwe wartości to:

• NotStarted — jest to stan tymczasowy, w przypadku którego przed przesłaniem do chmury znajdują się obiekty Uruchom po stronie klienta.

• Uruchamianie — uruchomienie zostało rozpoczęte w chmurze. Obiekt wywołujący ma w tym momencie identyfikator uruchomienia.

• Aprowizacja — obliczenia na żądanie są tworzone dla danego przesłania zadania.

• Przygotowywanie — środowisko uruchomieniowe jest przygotowywane i znajduje się w jednym z dwóch etapów:

  • Kompilacja obrazu platformy Docker

  • Konfiguracja środowiska conda

• W kolejce — zadanie jest kolejkowane w docelowym obiekcie obliczeniowym. Na przykład w usłudze BatchAI zadanie jest w stanie w kolejce

  podczas oczekiwania na gotowość wszystkich żądanych węzłów.

• Uruchomione — zadanie zostało uruchomione na docelowym obiekcie obliczeniowym.

• Finalizowanie — wykonywanie kodu użytkownika zostało ukończone, a przebieg znajduje się na etapach przetwarzania końcowego.

• CancelRequested — zażądano anulowania zadania.

• Ukończono — przebieg został ukończony pomyślnie. Obejmuje to zarówno wykonywanie kodu użytkownika, jak i uruchamianie

  etapy przetwarzania końcowego.

• Niepowodzenie — przebieg zakończył się niepowodzeniem. Zazwyczaj właściwość Error w przebiegu zawiera szczegółowe informacje o przyczynie.

• Anulowano — następuje żądanie anulowania i wskazuje, że przebieg został pomyślnie anulowany.

• NotResponding — w przypadku przebiegów z włączonymi pulsami nie wysłano ostatnio pulsu.

Zwraca

Stan zadania.

Typ zwracany

Optional[str]

studio_url

Punkt końcowy programu Azure ML Studio.

Zwraca

Adres URL strony szczegółów zadania.

Typ zwracany

Optional[str]

type

Typ zadania.

Zwraca

Typ zadania.

Typ zwracany

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)