SparkResourceConfiguration Класс
Конфигурация вычислительных ресурсов для компонента или задания Spark.
- Наследование
-
azure.ai.ml.entities._mixins.RestTranslatableMixinSparkResourceConfigurationazure.ai.ml.entities._mixins.DictMixinSparkResourceConfiguration
Конструктор
SparkResourceConfiguration(*, instance_type: str | None = None, runtime_version: str | None = None)
Параметры Keyword-Only
Имя | Описание |
---|---|
instance_type
|
Тип виртуальной машины, используемой целевым объектом вычислений. |
runtime_version
|
Версия среды выполнения Spark. |
Примеры
Настройка SparkJob с помощью SparkResourceConfiguration.
from azure.ai.ml import Input, Output
from azure.ai.ml.entities._credentials import AmlTokenConfiguration, SparkJob, SparkResourceConfiguration
spark_job = SparkJob(
code="./tests/test_configs/spark_job/basic_spark_job/src",
entry={"file": "./main.py"},
jars=["simple-1.1.1.jar"],
identity=AmlTokenConfiguration(),
driver_cores=1,
driver_memory="2g",
executor_cores=2,
executor_memory="2g",
executor_instances=2,
dynamic_allocation_enabled=True,
dynamic_allocation_min_executors=1,
dynamic_allocation_max_executors=3,
name="builder-spark-job",
experiment_name="builder-spark-experiment-name",
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
inputs={
"input1": Input(
type="uri_file", path="azureml://datastores/workspaceblobstore/paths/python/data.csv", mode="direct"
)
},
outputs={
"output1": Output(
type="uri_file",
path="azureml://datastores/workspaceblobstore/spark_titanic_output/titanic.parquet",
mode="direct",
)
},
resources=SparkResourceConfiguration(instance_type="Standard_E8S_V3", runtime_version="3.2.0"),
)
Методы
get | |
has_key | |
items | |
keys | |
update | |
values |
get
get(key: Any, default: Any | None = None) -> Any
Параметры
Имя | Описание |
---|---|
key
Обязательно
|
|
default
|
значение по умолчанию: None
|
has_key
has_key(k: Any) -> bool
Параметры
Имя | Описание |
---|---|
k
Обязательно
|
|
items
items() -> list
keys
keys() -> list
update
update(*args: Any, **kwargs: Any) -> None
values
values() -> list
Атрибуты
instance_type_list
instance_type_list = ['standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3']
Совместная работа с нами на GitHub
Источник этого содержимого можно найти на GitHub, где также можно создавать и просматривать проблемы и запросы на вытягивание. Дополнительные сведения см. в нашем руководстве для участников.
Azure SDK for Python
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по