Spark الفصل

الفئة الأساسية لعقدة spark، المستخدمة لاستهلاك إصدار مكون spark.

يجب عدم إنشاء مثيل لهذه الفئة مباشرة. بدلا من ذلك، يجب عليك إنشاؤه من دالة المنشئ: spark.

] :p أرام المخرجات: تعيين أسماء الإخراج لمصادر بيانات الإخراج المستخدمة في الوظيفة. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: الوسيطات للوظيفة. :اكتب args: str :p aram compute: مورد الحساب الذي تعمل عليه المهمة. :اكتب الحساب: str :p aram resources: تكوين مورد الحساب للوظيفة. :اكتب الموارد: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p أرام الإدخال: نقطة إدخال الملف أو الفئة. إدخال :اكتب: Dict[str, str] :p aram py_files: قائمة .zip أو ملفات .egg أو .py لوضعها على PYTHONPATH لتطبيقات Python. :اكتب py_files: List[str] :p aram jars: قائمة . ملفات JAR لتضمينها على مسارات فئة برنامج التشغيل والمنفذ. :اكتب jars: List[str] :p aram files: قائمة الملفات التي سيتم وضعها في دليل العمل لكل منفذ. :اكتب الملفات: List[str] :p aram archives: قائمة الأرشيفات التي سيتم استخراجها في دليل العمل لكل منفذ. :type archives: List[str]

توريث

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

الدالمنشئ

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

المعلمات

component

Union[str, SparkComponent]

مطلوب

معرف أو مثيل مكون Spark أو الوظيفة التي سيتم تشغيلها أثناء الخطوة.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

مطلوب

الهوية التي ستستخدمها مهمة Spark أثناء التشغيل على الحساب.

driver_cores

int

مطلوب

عدد الذاكرات الأساسية التي يجب استخدامها لعملية برنامج التشغيل، فقط في وضع نظام المجموعة.

driver_memory

str

مطلوب

مقدار الذاكرة التي يجب استخدامها لعملية برنامج التشغيل، منسقة كسلاسل ذات لاحقة وحدة حجم ("k"، "m"، "g" أو "t") (على سبيل المثال، "512m"، "2g").

executor_cores

int

مطلوب

عدد الذاكرات الأساسية التي يجب استخدامها على كل منفذ.

executor_memory

str

مطلوب

مقدار الذاكرة التي يجب استخدامها لكل عملية منفذ، منسقة كسلاسل ذات لاحقة وحدة حجم ("k"، "m"، "g" أو "t") (على سبيل المثال، "512m"، "2g").

executor_instances

int

مطلوب

العدد الأولي للمنفذين.

dynamic_allocation_enabled

bool

مطلوب

ما إذا كنت تريد استخدام تخصيص الموارد الديناميكية، والذي يحجم عدد المنفذين المسجلين في هذا التطبيق لأعلى ولأسفل استنادا إلى حمل العمل.

dynamic_allocation_min_executors

int

مطلوب

الحد الأدنى لعدد المنفذين إذا تم تمكين التخصيص الديناميكي.

dynamic_allocation_max_executors

int

مطلوب

الحد الأعلى لعدد المنفذين إذا تم تمكين التخصيص الديناميكي.

conf

Dict[str, str]

مطلوب

قاموس مع مفتاح وقيم تكوينات Spark المعرفة مسبقا.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

مطلوب

تعيين أسماء الإدخال لإدخال مصادر البيانات المستخدمة في الوظيفة.

الأساليب

clear
copy
dump	تفريغ محتوى المهمة في ملف بتنسيق YAML.
fromkeys	أنشئ قاموسا جديدا بمفاتيح من قابلة للتكدير وقيم معينة إلى قيمة.
get	إرجاع قيمة المفتاح إذا كان المفتاح في القاموس، وإلا افتراضيا.
items
keys
pop	إذا لم يتم العثور على المفتاح، فسترجع الإعداد الافتراضي إذا تم تعيينه؛ وإلا، قم برفع KeyError.
popitem	قم بإزالة وإرجاع زوج (مفتاح، قيمة) كمجموعتين. يتم إرجاع الأزواج بترتيب LIFO (آخر مرة، خروج أول). رفع KeyError إذا كانت الإملاء فارغة.
setdefault	إدراج مفتاح بقيمة افتراضية إذا لم يكن المفتاح في القاموس. إرجاع قيمة المفتاح إذا كان المفتاح في القاموس، وإلا افتراضيا.
update	إذا كان E موجودا ويحتوي على أسلوب .keys()، فسيفعل: ل k في E: D[k] = E[k] إذا كان E موجودا ويفتقر إلى أسلوب .keys()، فإن يفعل: ل k، v في E: D[k] = v في كلتا الحالتين، يتبع ذلك: ل k في F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

تفريغ محتوى المهمة في ملف بتنسيق YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

المعلمات

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

مطلوب

المسار المحلي أو دفق الملف لكتابة محتوى YAML إليه. إذا كان dest مسار ملف، فسيتم إنشاء ملف جديد. إذا كان dest ملفا مفتوحا، فستتم كتابة الملف مباشرة.

kwargs

dict

وسيطات إضافية لتمريرها إلى مسلسل YAML.

استثناءات

FileExistsError

يرفع إذا كان dest هو مسار ملف والملف موجود بالفعل.

IOError

يرفع إذا كان dest ملفا مفتوحا وكان الملف غير قابل للكتابة.

fromkeys

أنشئ قاموسا جديدا بمفاتيح من قابلة للتكدير وقيم معينة إلى قيمة.

fromkeys(value=None, /)

المعلمات

type

مطلوب

iterable

مطلوب

value

القيمة الافتراضية: None

get

إرجاع قيمة المفتاح إذا كان المفتاح في القاموس، وإلا افتراضيا.

get(key, default=None, /)

المعلمات

key

مطلوب

default

القيمة الافتراضية: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

إذا لم يتم العثور على المفتاح، فسترجع الإعداد الافتراضي إذا تم تعيينه؛ وإلا، قم برفع KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

قم بإزالة وإرجاع زوج (مفتاح، قيمة) كمجموعتين.

يتم إرجاع الأزواج بترتيب LIFO (آخر مرة، خروج أول). رفع KeyError إذا كانت الإملاء فارغة.

popitem()

setdefault

إدراج مفتاح بقيمة افتراضية إذا لم يكن المفتاح في القاموس.

إرجاع قيمة المفتاح إذا كان المفتاح في القاموس، وإلا افتراضيا.

setdefault(key, default=None, /)

المعلمات

key

مطلوب

default

القيمة الافتراضية: None

update

إذا كان E موجودا ويحتوي على أسلوب .keys()، فسيفعل: ل k في E: D[k] = E[k] إذا كان E موجودا ويفتقر إلى أسلوب .keys()، فإن يفعل: ل k، v في E: D[k] = v في كلتا الحالتين، يتبع ذلك: ل k في F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

السمات

base_path

المسار الأساسي للمورد.

المرتجعات

المسار الأساسي للمورد.

نوع الإرجاع

str

code

المسار المحلي أو البعيد الذي يشير إلى التعليمات البرمجية المصدر.

نوع الإرجاع

Union[str, <xref:PathLike>]

component

معرف أو مثيل مكون Spark أو الوظيفة التي سيتم تشغيلها أثناء الخطوة.

نوع الإرجاع

SparkComponent

creation_context

سياق إنشاء المورد.

المرتجعات

بيانات تعريف الإنشاء للمورد.

نوع الإرجاع

Optional[SystemData]

entry

id

معرف المورد.

المرتجعات

المعرف العمومي للمورد، معرف Azure Resource Manager (ARM).

نوع الإرجاع

Optional[str]

identity

الهوية التي ستستخدمها مهمة Spark أثناء التشغيل على الحساب.

نوع الإرجاع

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

احصل على مدخلات العنصر.

المرتجعات

قاموس يحتوي على مدخلات العنصر.

نوع الإرجاع

Dict[str, Union[Input, str, bool, int, float]]

log_files

ملفات إخراج الوظيفة.

المرتجعات

قاموس أسماء السجلات وعناوين URL.

نوع الإرجاع

Optional[Dict[str, str]]

name

احصل على اسم العقدة.

المرتجعات

اسم العقدة.

نوع الإرجاع

str

outputs

الحصول على مخرجات الكائن.

المرتجعات

قاموس يحتوي على مخرجات العنصر.

نوع الإرجاع

Dict[str, Union[str, Output]]

resources

تكوين مورد الحساب للوظيفة.

نوع الإرجاع

SparkResourceConfiguration

status

حالة الوظيفة.

تتضمن القيم الشائعة التي تم إرجاعها "قيد التشغيل" و"مكتمل" و"فشل". جميع القيم المحتملة هي:

• NotStarted - هذه حالة مؤقتة تكون فيها كائنات التشغيل من جانب العميل قبل إرسال السحابة.

• البدء - بدأ التشغيل في المعالجة في السحابة. لدى المتصل معرف تشغيل في هذه المرحلة.

• التوفير - يتم إنشاء حساب عند الطلب لتقديم وظيفة معينة.

• التحضير - يتم إعداد بيئة التشغيل وهي في إحدى مرحلتين:

  • بناء صورة Docker

  • إعداد بيئة conda

• في قائمة الانتظار - يتم وضع المهمة في قائمة الانتظار على هدف الحساب. على سبيل المثال، في BatchAI، تكون المهمة في حالة قائمة الانتظار

  أثناء انتظار أن تكون جميع العقد المطلوبة جاهزة.

• قيد التشغيل - بدأت المهمة في التشغيل على هدف الحساب.

• إنهاء - اكتمل تنفيذ التعليمات البرمجية للمستخدم، والتشغيل في مراحل ما بعد المعالجة.

• CancelRequested - تم طلب الإلغاء للوظيفة.

• مكتمل - اكتمل التشغيل بنجاح. يتضمن ذلك كلا من تنفيذ التعليمات البرمجية للمستخدم وتشغيله

  مراحل ما بعد المعالجة.

• فشل - فشل التشغيل. عادة ما توفر الخاصية Error أثناء التشغيل تفاصيل حول السبب.

• تم الإلغاء - يتبع طلب إلغاء ويشير إلى أن التشغيل قد تم إلغاؤه بنجاح الآن.

• NotResponding - بالنسبة إلى عمليات التشغيل التي تم تمكين Heartbeats فيها، لم يتم إرسال رسالة كشف أخطاء الاتصال مؤخرا.

المرتجعات

حالة الوظيفة.

نوع الإرجاع

Optional[str]

studio_url

نقطة نهاية استوديو التعلم الآلي من Microsoft Azure.

المرتجعات

عنوان URL لصفحة تفاصيل الوظيفة.

نوع الإرجاع

Optional[str]

type

نوع الوظيفة.

المرتجعات

نوع الوظيفة.

نوع الإرجاع

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)