SparkResourceConfiguration الفصل
حساب تكوين المورد لمكون Spark أو الوظيفة.
- توريث
-
azure.ai.ml.entities._mixins.RestTranslatableMixinSparkResourceConfigurationazure.ai.ml.entities._mixins.DictMixinSparkResourceConfiguration
الدالمنشئ
SparkResourceConfiguration(*, instance_type: str | None = None, runtime_version: str | None = None)
معلمات الكلمة الأساسية فقط
الاسم | الوصف |
---|---|
instance_type
|
نوع الجهاز الظاهري الذي سيتم استخدامه بواسطة هدف الحساب. |
runtime_version
|
إصدار وقت تشغيل Spark. |
أمثلة
تكوين SparkJob باستخدام SparkResourceConfiguration.
from azure.ai.ml import Input, Output
from azure.ai.ml.entities._credentials import AmlTokenConfiguration, SparkJob, SparkResourceConfiguration
spark_job = SparkJob(
code="./tests/test_configs/spark_job/basic_spark_job/src",
entry={"file": "./main.py"},
jars=["simple-1.1.1.jar"],
identity=AmlTokenConfiguration(),
driver_cores=1,
driver_memory="2g",
executor_cores=2,
executor_memory="2g",
executor_instances=2,
dynamic_allocation_enabled=True,
dynamic_allocation_min_executors=1,
dynamic_allocation_max_executors=3,
name="builder-spark-job",
experiment_name="builder-spark-experiment-name",
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
inputs={
"input1": Input(
type="uri_file", path="azureml://datastores/workspaceblobstore/paths/python/data.csv", mode="direct"
)
},
outputs={
"output1": Output(
type="uri_file",
path="azureml://datastores/workspaceblobstore/spark_titanic_output/titanic.parquet",
mode="direct",
)
},
resources=SparkResourceConfiguration(instance_type="Standard_E8S_V3", runtime_version="3.2.0"),
)
الأساليب
get | |
has_key | |
items | |
keys | |
update | |
values |
get
get(key: Any, default: Any | None = None) -> Any
المعلمات
الاسم | الوصف |
---|---|
key
مطلوب
|
|
default
|
القيمة الافتراضية: None
|
has_key
has_key(k: Any) -> bool
المعلمات
الاسم | الوصف |
---|---|
k
مطلوب
|
|
items
items() -> list
keys
keys() -> list
update
update(*args: Any, **kwargs: Any) -> None
values
values() -> list
السمات
instance_type_list
instance_type_list = ['standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3']
التعاون معنا على GitHub
يمكن العثور على مصدر هذا المحتوى على GitHub حيث يمكنك أيضاً إضافة مشاكل وطلبات سحب ومراجعتها. للحصول على معلومات إضافية، اطلع على دليل المساهم لدينا.
Azure SDK for Python
الملاحظات
https://aka.ms/ContentUserFeedback.
قريبًا: خلال عام 2024، سنتخلص تدريجيًا من GitHub Issues بوصفها آلية إرسال ملاحظات للمحتوى ونستبدلها بنظام ملاحظات جديد. لمزيد من المعلومات، راجعإرسال الملاحظات وعرضها المتعلقة بـ