SparkResourceConfiguration 類別
Spark 元件或作業的計算資源組態。
- 繼承
-
azure.ai.ml.entities._mixins.RestTranslatableMixinSparkResourceConfigurationazure.ai.ml.entities._mixins.DictMixinSparkResourceConfiguration
建構函式
SparkResourceConfiguration(*, instance_type: str | None = None, runtime_version: str | None = None)
僅限關鍵字的參數
名稱 | Description |
---|---|
instance_type
|
計算目標要使用的 VM 類型。 |
runtime_version
|
Spark 執行時間版本。 |
範例
使用 SparkResourceConfiguration 設定 SparkJob。
from azure.ai.ml import Input, Output
from azure.ai.ml.entities._credentials import AmlTokenConfiguration, SparkJob, SparkResourceConfiguration
spark_job = SparkJob(
code="./tests/test_configs/spark_job/basic_spark_job/src",
entry={"file": "./main.py"},
jars=["simple-1.1.1.jar"],
identity=AmlTokenConfiguration(),
driver_cores=1,
driver_memory="2g",
executor_cores=2,
executor_memory="2g",
executor_instances=2,
dynamic_allocation_enabled=True,
dynamic_allocation_min_executors=1,
dynamic_allocation_max_executors=3,
name="builder-spark-job",
experiment_name="builder-spark-experiment-name",
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
inputs={
"input1": Input(
type="uri_file", path="azureml://datastores/workspaceblobstore/paths/python/data.csv", mode="direct"
)
},
outputs={
"output1": Output(
type="uri_file",
path="azureml://datastores/workspaceblobstore/spark_titanic_output/titanic.parquet",
mode="direct",
)
},
resources=SparkResourceConfiguration(instance_type="Standard_E8S_V3", runtime_version="3.2.0"),
)
方法
get | |
has_key | |
items | |
keys | |
update | |
values |
get
get(key: Any, default: Any | None = None) -> Any
參數
名稱 | Description |
---|---|
key
必要
|
|
default
|
預設值: None
|
has_key
has_key(k: Any) -> bool
參數
名稱 | Description |
---|---|
k
必要
|
|
items
items() -> list
keys
keys() -> list
update
update(*args: Any, **kwargs: Any) -> None
values
values() -> list
屬性
instance_type_list
instance_type_list = ['standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3']
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應