Aracılığıyla paylaş

SparkComponent Sınıf

  • Başvuru

Spark Bileşeni veya İşi tanımlamak için kullanılan Spark bileşeni sürümü.

Devralma
azure.ai.ml.entities._component.component.Component
SparkComponent
azure.ai.ml.entities._job.parameterized_spark.ParameterizedSpark
SparkComponent
azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin
SparkComponent
azure.ai.ml.entities._component.code.ComponentCodeMixin
SparkComponent

Oluşturucu

SparkComponent(*, code: PathLike | str | None = '.', entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, driver_cores: int | str | None = None, driver_memory: str | None = None, executor_cores: int | str | None = None, executor_memory: str | None = None, executor_instances: int | str | None = None, dynamic_allocation_enabled: bool | str | None = None, dynamic_allocation_min_executors: int | str | None = None, dynamic_allocation_max_executors: int | str | None = None, conf: Dict[str, str] | None = None, environment: Environment | str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, **kwargs: Any)

Yalnızca Anahtar Sözcük Parametreleri

Name Description
code

İşi çalıştırmak için kaynak kod. Uzak bir konuma işaret eden yerel bir yol veya "http:", "https:" veya "azureml:" url'si olabilir. Varsayılan olarak ".", geçerli dizini belirtir.

varsayılan değer: .
entry
Optional[Union[dict[str, str], SparkJobEntry]]

Dosya veya sınıf giriş noktası.
py_files
Optional[List[str]]

Python uygulamaları için PYTHONPATH'e yerleştirecek .zip, .egg veya .py dosyalarının listesi. Varsayılan değer Yok'tur.
jars
Optional[List[str]]

listesi. Sürücü ve yürütücü sınıf yollarına eklenecek JAR dosyaları. Varsayılan değer Yok'tur.
files
Optional[List[str]]

Her yürütücüsünün çalışma dizinine yerleştirilecek dosyaların listesi. Varsayılan değer Yok'tur.
archives
Optional[List[str]]

Her yürütücüsünün çalışma dizinine ayıklanacak arşivlerin listesi. Varsayılan değer Yok'tur.
driver_cores
Optional[int]

Yalnızca küme modunda, sürücü işlemi için kullanılacak çekirdek sayısı.
driver_memory
Optional[str]

Boyut birimi soneki ("k", "m", "g" veya "t") (örneğin, "512m", "2g") olan dizeler olarak biçimlendirilmiş sürücü işlemi için kullanılacak bellek miktarı.
executor_cores
Optional[int]

Her yürütücüde kullanılacak çekirdek sayısı.
executor_memory
Optional[str]

Yürütücü işlemi başına kullanılacak bellek miktarı; boyut birimi soneki ("k", "m", "g" veya "t") (örneğin, "512m", "2g") olan dizeler olarak biçimlendirilir.
executor_instances
Optional[int]

Yürütücülerin ilk sayısı.
dynamic_allocation_enabled
Optional[bool]

Bu uygulamaya kayıtlı yürütücü sayısını iş yüküne göre artırıp azaltan dinamik kaynak ayırmanın kullanılıp kullanılmaydığı. Varsayılan değer False'tur.
dynamic_allocation_min_executors
Optional[int]

Dinamik ayırma etkinleştirildiyse yürütücü sayısı için alt sınır.
dynamic_allocation_max_executors
Optional[int]

Dinamik ayırma etkinleştirildiyse yürütücü sayısı için üst sınır.
conf
Optional[dict[str, str]]

Önceden tanımlanmış Spark yapılandırma anahtarı ve değerlerine sahip bir sözlük. Varsayılan değer Yok'tur.
environment
Optional[Union[str, Environment]]

İşin çalıştırılacak Azure ML ortamı.
inputs
Optional[dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]]]

Giriş adlarının işte kullanılan giriş veri kaynaklarına eşlemesi. Varsayılan değer Yok'tur.
outputs
Optional[dict[str, Union[str, Output]]]

Çıktı adlarının işte kullanılan çıkış veri kaynaklarıyla eşlenim. Varsayılan değer Yok'tur.
args
Optional[str]

İşin bağımsız değişkenleri. Varsayılan değer Yok'tur.

Örnekler

SparkComponent oluşturuluyor.


   from azure.ai.ml.entities import SparkComponent

   component = SparkComponent(
       name="add_greeting_column_spark_component",
       display_name="Aml Spark add greeting column test module",
       description="Aml Spark add greeting column test module",
       version="1",
       inputs={
           "file_input": {"type": "uri_file", "mode": "direct"},
       },
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       code="./src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       args="--file_input ${{inputs.file_input}}",
       base_path="./sdk/ml/azure-ai-ml/tests/test_configs/dsl_pipeline/spark_job_in_pipeline",
   )

Yöntemler

dump

Bileşen içeriğini yaml biçiminde bir dosyaya dökümünü alın.

dump

Bileşen içeriğini yaml biçiminde bir dosyaya dökümünü alın.

dump(dest: str | PathLike | IO, **kwargs: Any) -> None

Parametreler

Name Description
dest
Gerekli
Union[<xref:PathLike>, str, IO[AnyStr]]

Bu bileşenin içeriğini alacak hedef. Yerel dosyanın yolu veya zaten açık olan bir dosya akışı olmalıdır. Dest bir dosya yoluysa, yeni bir dosya oluşturulur ve dosya varsa bir özel durum oluşturulur. Dest açık bir dosyaysa, dosya doğrudan öğesine yazılır ve dosya yazılabilir değilse bir özel durum oluşturulur.

Öznitelikler

base_path

Kaynağın temel yolu.

Döndürülenler

Tür Description
str

Kaynağın temel yolu.

creation_context

Kaynağın oluşturma bağlamı.

Döndürülenler

Tür Description
Optional[SystemData]

Kaynağın oluşturma meta verileri.

display_name

Bileşenin görünen adı.

Döndürülenler

Tür Description
str

Bileşenin görünen adı.

entry

environment

Spark bileşeninin veya işinin çalıştırılacak Azure ML ortamı.

Döndürülenler

Tür Description
Optional[Union[str, Environment]]

Spark bileşeninin veya işinin çalıştırılacak Azure ML ortamı.

id

Kaynak kimliği.

Döndürülenler

Tür Description
Optional[str]

Kaynağın genel kimliği, azure Resource Manager (ARM) kimliği.

inputs

Bileşenin girişleri.

Döndürülenler

Tür Description
dict

Bileşenin girişleri.

is_deterministic

Bileşenin belirleyici olup olmadığı.

Döndürülenler

Tür Description
bool

Bileşenin belirleyici olup olmadığı

outputs

Bileşenin çıkışları.

Döndürülenler

Tür Description
dict

Bileşenin çıkışları.

type

Bileşenin türü, varsayılan olarak 'command'.

Döndürülenler

Tür Description
str

Bileşenin türü.

version

Bileşenin sürümü.

Döndürülenler

Tür Description
str

Bileşenin sürümü.

CODE_ID_RE_PATTERN 

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)