Udostępnij za pośrednictwem

SparkComponent Klasa

  • Odwołanie

Wersja składnika platformy Spark używana do definiowania składnika lub zadania platformy Spark.

Dziedziczenie
azure.ai.ml.entities._component.component.Component
SparkComponent
azure.ai.ml.entities._job.parameterized_spark.ParameterizedSpark
SparkComponent
azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin
SparkComponent
azure.ai.ml.entities._component.code.ComponentCodeMixin
SparkComponent

Konstruktor

SparkComponent(*, code: PathLike | str | None = '.', entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, driver_cores: int | str | None = None, driver_memory: str | None = None, executor_cores: int | str | None = None, executor_memory: str | None = None, executor_instances: int | str | None = None, dynamic_allocation_enabled: bool | str | None = None, dynamic_allocation_min_executors: int | str | None = None, dynamic_allocation_max_executors: int | str | None = None, conf: Dict[str, str] | None = None, environment: Environment | str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, **kwargs: Any)

Parametry Tylko słowo kluczowe

Nazwa Opis
code

Kod źródłowy do uruchomienia zadania. Może to być ścieżka lokalna lub "http:", "https:" lub "azureml:" adres URL wskazujący lokalizację zdalną. Wartość domyślna to ".", wskazując bieżący katalog.

wartość domyślna: .
entry
Optional[Union[dict[str, str], SparkJobEntry]]

Plik lub punkt wejścia klasy.
py_files
Optional[List[str]]

Lista plików .zip, egg lub py do umieszczenia w aplikacji PYTHONPATH dla języka Python. Wartość domyślna to None (Brak).
jars
Optional[List[str]]

Lista . Pliki JAR do uwzględnienia w ścieżkach klas sterownika i funkcji wykonawczej. Wartość domyślna to None (Brak).
files
Optional[List[str]]

Lista plików do umieszczenia w katalogu roboczym każdego wykonawcy. Wartość domyślna to None (Brak).
archives
Optional[List[str]]

Lista archiwów do wyodrębnienia do katalogu roboczego każdego wykonawcy. Wartość domyślna to None (Brak).
driver_cores
Optional[int]

Liczba rdzeni do użycia w procesie sterownika tylko w trybie klastra.
driver_memory
Optional[str]

Ilość pamięci do użycia w procesie sterownika, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").
executor_cores
Optional[int]

Liczba rdzeni do użycia w każdej funkcji wykonawczej.
executor_memory
Optional[str]

Ilość pamięci do użycia na proces funkcji wykonawczej, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").
executor_instances
Optional[int]

Początkowa liczba funkcji wykonawczych.
dynamic_allocation_enabled
Optional[bool]

Określa, czy używać dynamicznej alokacji zasobów, która skaluje liczbę funkcji wykonawczych zarejestrowanych w tej aplikacji w górę i w dół na podstawie obciążenia. Wartość domyślna to False.
dynamic_allocation_min_executors
Optional[int]

Dolna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.
dynamic_allocation_max_executors
Optional[int]

Górna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.
conf
Optional[dict[str, str]]

Słownik ze wstępnie zdefiniowanymi kluczami i wartościami konfiguracji platformy Spark. Wartość domyślna to None (Brak).
environment
Optional[Union[str, Environment]]

Środowisko usługi Azure ML do uruchomienia zadania.
inputs
Optional[dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]]]

Mapowanie nazw wejściowych na wejściowe źródła danych używane w zadaniu. Wartość domyślna to None (Brak).
outputs
Optional[dict[str, Union[str, Output]]]

Mapowanie nazw danych wyjściowych na wyjściowe źródła danych używane w zadaniu. Wartość domyślna to None (Brak).
args
Optional[str]

Argumenty zadania. Wartość domyślna to None (Brak).

Przykłady

Tworzenie aplikacji SparkComponent.


   from azure.ai.ml.entities import SparkComponent

   component = SparkComponent(
       name="add_greeting_column_spark_component",
       display_name="Aml Spark add greeting column test module",
       description="Aml Spark add greeting column test module",
       version="1",
       inputs={
           "file_input": {"type": "uri_file", "mode": "direct"},
       },
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       code="./src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       args="--file_input ${{inputs.file_input}}",
       base_path="./sdk/ml/azure-ai-ml/tests/test_configs/dsl_pipeline/spark_job_in_pipeline",
   )

Metody

dump

Zrzuć zawartość składnika do pliku w formacie yaml.

dump

Zrzuć zawartość składnika do pliku w formacie yaml.

dump(dest: str | PathLike | IO, **kwargs: Any) -> None

Parametry

Nazwa Opis
dest
Wymagane
Union[<xref:PathLike>, str, IO[AnyStr]]

Miejsce docelowe odbierania zawartości tego składnika. Musi być ścieżką do pliku lokalnego lub już otwartym strumieniem plików. Jeśli dest jest ścieżką pliku, zostanie utworzony nowy plik i zostanie zgłoszony wyjątek, jeśli plik istnieje. Jeśli dest jest otwartym plikiem, plik zostanie zapisany bezpośrednio, a wyjątek zostanie zgłoszony, jeśli plik nie będzie zapisywalny.

Atrybuty

base_path

Ścieżka podstawowa zasobu.

Zwraca

Typ Opis
str

Ścieżka podstawowa zasobu.

creation_context

Kontekst tworzenia zasobu.

Zwraca

Typ Opis
Optional[SystemData]

Metadane tworzenia zasobu.

display_name

Nazwa wyświetlana składnika.

Zwraca

Typ Opis
str

Nazwa wyświetlana składnika.

entry

environment

Środowisko usługi Azure ML do uruchamiania składnika lub zadania platformy Spark.

Zwraca

Typ Opis
Optional[Union[str, Environment]]

Środowisko usługi Azure ML do uruchamiania składnika lub zadania platformy Spark.

id

Identyfikator zasobu.

Zwraca

Typ Opis
Optional[str]

Identyfikator globalny zasobu, identyfikator usługi Azure Resource Manager (ARM).

inputs

Dane wejściowe składnika.

Zwraca

Typ Opis
dict

Dane wejściowe składnika.

is_deterministic

Czy składnik jest deterministyczny.

Zwraca

Typ Opis
bool

Czy składnik jest deterministyczny

outputs

Dane wyjściowe składnika.

Zwraca

Typ Opis
dict

Dane wyjściowe składnika.

type

Typ składnika, wartość domyślna to "command".

Zwraca

Typ Opis
str

Typ składnika.

version

Wersja składnika.

Zwraca

Typ Opis
str

Wersja składnika.

CODE_ID_RE_PATTERN 

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)