إدارة المجموعات

توضح هذه المقالة كيفية إدارة مجموعات Azure Databricks، بما في ذلك العرض والتحرير والبدء والإنهاء والحذف والتحكم في الوصول ومراقبة الأداء والسجلات.

عرض أنظمة المجموعات

لعرض المجموعات في مساحة العمل، انقر فوق حساب في الشريط الجانبي.

على الجانب الأيمن يوجد عمودان يشيران إلى ما إذا تم تثبيت نظام المجموعة وحالة نظام المجموعة. مرر مؤشر الماوس فوق الحالة للحصول على مزيد من المعلومات.

تثبيت نظام مجموعة

بعد 30 يوما من إنهاء نظام المجموعة، يتم حذفه نهائيا. للاحتفاظ بتكوين نظام مجموعة لجميع الأغراض بعد إنهاء نظام مجموعة لأكثر من 30 يوما، يمكن للمسؤول تثبيت نظام المجموعة. يمكن تثبيت ما يصل إلى 100 مجموعة.

يمكن مسؤول تثبيت نظام مجموعة من قائمة نظام المجموعة أو صفحة تفاصيل نظام المجموعة بالنقر فوق أيقونة الدبوس.

يمكنك أيضا استدعاء نقطة نهاية Clusters API لتثبيت نظام مجموعة برمجيا.

عرض تكوين نظام المجموعة كملف JSON

في بعض الأحيان قد يكون من المفيد عرض تكوين نظام المجموعة الخاص بك على أنه JSON. هذا مفيد بشكل خاص عندما تريد إنشاء مجموعات مماثلة باستخدام واجهة برمجة تطبيقات المجموعات. عند عرض مجموعة موجودة، انتقل إلى علامة التبويب Configuration ، وانقر فوق JSON في أعلى يمين علامة التبويب، وانسخ JSON، والصقه في استدعاء API. طريقة عرض JSON للقراءة فقط.

تحرير نظام مجموعة

يمكنك تحرير تكوين نظام مجموعة من واجهة مستخدم تفاصيل نظام المجموعة. يمكنك أيضا استدعاء نقطة نهاية Clusters API لتحرير نظام المجموعة برمجيا.

إشعار

• تظل دفاتر الملاحظات والمهام المرفقة بالمجموعة مرفقة بعد التحرير.
• تظل المكتبات المثبتة على نظام المجموعة مثبتة بعد التحرير.
• إذا قمت بتحرير أي سمة لنظام مجموعة قيد التشغيل (باستثناء حجم نظام المجموعة والأذونات)، يجب إعادة تشغيله. يمكن أن يؤدي هذا إلى تعطيل المستخدمين الذين يستخدمون نظام المجموعة حاليا.
• يمكنك فقط تحرير المجموعات قيد التشغيل أو التي تم إنهاؤها. ومع ذلك، يمكنك تحديث أذونات المجموعات غير الموجودة في تلك الحالات، في صفحة تفاصيل نظام المجموعة.

استنساخ نظام مجموعة

لاستنساخ مجموعة موجودة، حدد Clone من قائمة kebab الخاصة بالمجموعة (المعروفة أيضا باسم القائمة ذات النقاط الثلاث).

بعد تحديد clone، تفتح واجهة مستخدم إنشاء نظام المجموعة مملوءة مسبقا بتكوين نظام المجموعة. السمات التالية غير مضمنة في النسخة:

• أذونات نظام المجموعة
• المكتبات المثبتة
• دفاتر الملاحظات المرفقة

التحكم في الوصول إلى المجموعات

يسمح التحكم في الوصول إلى نظام المجموعة داخل صفحة إعدادات المسؤول لمسؤولي مساحة العمل بمنح حق الوصول الدقيق إلى نظام المجموعة للمستخدمين الآخرين. هناك نوعان من التحكم في الوصول إلى نظام المجموعة:

• إذن إنشاء نظام المجموعة: يمكن لمسؤولي مساحة العمل اختيار المستخدمين المسموح لهم بإنشاء مجموعات.
• الأذونات على مستوى نظام المجموعة: يمكن للمستخدم الذي لديه إذن إدارة نظام المجموعة تكوين ما إذا كان يمكن للمستخدمين الآخرين إرفاق نظام المجموعة هذا وإعادة تشغيله وتغيير حجمه وإدارته.

لتحرير أذونات نظام مجموعة، حدد Edit Permissions من قائمة kebab الخاصة بالمجموعة.

لمزيد من التفاصيل حول التحكم في الوصول إلى نظام المجموعة والأذونات على مستوى نظام المجموعة، راجع التحكم في الوصول إلى نظام المجموعة.

إنهاء نظام مجموعة

لحفظ موارد نظام المجموعة، يمكنك إنهاء نظام مجموعة. يتم تخزين تكوين نظام المجموعة الذي تم إنهاؤه بحيث يمكن إعادة استخدامه (أو، في حالة المهام، بدء التشغيل التلقائي) في وقت لاحق. يمكنك إنهاء نظام مجموعة يدويا أو تكوين نظام المجموعة للإنهاء تلقائيا بعد فترة محددة من عدم النشاط. عندما يتجاوز عدد المجموعات المنتهية 150، يتم حذف أقدم المجموعات.

ما لم يتم تثبيت نظام مجموعة أو إعادة تشغيله، يتم حذفه تلقائيا ودائما بعد 30 يوما من الإنهاء.

تظهر المجموعات المنتهية في قائمة نظام المجموعة مع دائرة رمادية على يسار اسم نظام المجموعة.

إشعار

عند تشغيل مهمة على مجموعة مهام جديدة (وهو ما يوصى به عادة)، يتم إنهاء نظام المجموعة ولا يتوفر لإعادة التشغيل عند اكتمال المهمة. من ناحية أخرى، إذا قمت بجدولة مهمة للتشغيل على مجموعة موجودة لجميع الأغراض تم إنهاؤها، فسيتم بدء تشغيل المجموعة تلقائيا.

هام

إذا كنت تستخدم مساحة عمل تجريبية Premium، يتم إنهاء جميع المجموعات قيد التشغيل:

• عند ترقية مساحة عمل إلى Premium كامل.
• إذا لم تتم ترقية مساحة العمل وتنتهي صلاحية الإصدار التجريبي.

الإنهاء اليدوي

يمكنك إنهاء نظام مجموعة يدويا من قائمة نظام المجموعة (بالنقر فوق المربع على صف نظام المجموعة) أو صفحة تفاصيل نظام المجموعة (بالنقر فوق إنهاء).

الإنهاء التلقائي

يمكنك أيضا تعيين الإنهاء التلقائي لنظام مجموعة. أثناء إنشاء نظام المجموعة، يمكنك تحديد فترة عدم النشاط بالدقائق التي تريد بعدها إنهاء المجموعة.

إذا كان الفرق بين الوقت الحالي والأمر الأخير الذي يتم تشغيله على نظام المجموعة أكثر من فترة عدم النشاط المحددة، يقوم Azure Databricks تلقائيا بإنهاء نظام المجموعة هذا.

يعتبر نظام المجموعة غير نشط عند انتهاء تنفيذ جميع الأوامر الموجودة على نظام المجموعة، بما في ذلك مهام Spark، وDebad Streaming، واستدعاءات JDBC.

التحذير

• لا تقوم المجموعات بالإبلاغ عن النشاط الناتج عن استخدام D عمليات الدفق. وهذا يعني أنه قد يتم إنهاء نظام مجموعة الإنهاء التلقائي أثناء تشغيل D عمليات الدفق. قم بإيقاف تشغيل الإنهاء التلقائي للمجموعات التي تقوم بتشغيل D عمليات الدفق أو ضع في اعتبارك استخدام Structured Streaming.
• تراقب ميزة الإنهاء التلقائي وظائف Spark فقط، وليس العمليات المحلية المعرفة من قبل المستخدم. لذلك، إذا اكتملت جميع مهام Spark، فقد يتم إنهاء نظام مجموعة، حتى إذا كانت العمليات المحلية قيد التشغيل.
• تستمر المجموعات الخاملة في تجميع رسوم DBU ومثيل السحابة أثناء فترة عدم النشاط قبل الإنهاء.

تكوين الإنهاء التلقائي

يمكنك تكوين الإنهاء التلقائي في واجهة مستخدم إنشاء نظام المجموعة. تأكد من تحديد المربع، وأدخل عدد الدقائق في إعداد إنهاء بعد ___ دقائق عدم النشاط .

يمكنك إلغاء الاشتراك في الإنهاء التلقائي عن طريق إلغاء تحديد خانة الاختيار الإنهاء التلقائي أو عن طريق تحديد فترة عدم النشاط ل 0.

إشعار

يتم دعم الإنهاء التلقائي على أفضل نحو في أحدث إصدارات Spark. تحتوي إصدارات Spark القديمة على قيود معروفة يمكن أن تؤدي إلى الإبلاغ غير الدقيق عن نشاط نظام المجموعة. على سبيل المثال، يمكن للمجموعات التي تقوم بتشغيل أوامر JDBC أو R أو الدفق الإبلاغ عن وقت نشاط قديم يؤدي إلى إنهاء نظام المجموعة قبل الأوان. يرجى الترقية إلى أحدث إصدار Spark للاستفادة من إصلاحات الأخطاء وتحسينات الإنهاء التلقائي.

إنهاء غير متوقع

في بعض الأحيان يتم إنهاء نظام المجموعة بشكل غير متوقع، وليس نتيجة إنهاء يدوي أو إنهاء تلقائي مكون.

للحصول على قائمة بأسباب الإنهاء وخطوات المعالجة ، راجع قاعدة المعارف.

حذف نظام مجموعة

يؤدي حذف نظام مجموعة إلى إنهاء المجموعة وإزالة التكوين الخاص بها. لحذف نظام مجموعة، حدد حذف من قائمة نظام المجموعة .

التحذير

لا يمكنك التراجع عن هذا الإجراء.

لحذف مجموعة مثبتة، يجب أولا إلغاء تثبيتها من قبل مسؤول.

يمكنك أيضا استدعاء نقطة نهاية Clusters API لحذف نظام مجموعة برمجيا.

إعادة تشغيل نظام مجموعة

يمكنك إعادة تشغيل نظام مجموعة تم إنهاؤه مسبقا من قائمة نظام المجموعة أو صفحة تفاصيل نظام المجموعة أو دفتر ملاحظات. يمكنك أيضا استدعاء نقطة نهاية Clusters API لبدء نظام مجموعة برمجيا.

يعرف Azure Databricks نظام مجموعة باستخدام معرف نظام المجموعة الفريد الخاص به. عند بدء تشغيل مجموعة منتهية، يعيد Databricks إنشاء نظام المجموعة بنفس المعرف، ويثبت تلقائيا جميع المكتبات، ويعيد إرفاق دفاتر الملاحظات.

إشعار

إذا كنت تستخدم مساحة عمل تجريبية وانتهت صلاحية الإصدار التجريبي، فلن تتمكن من بدء تشغيل نظام مجموعة.

إعادة تشغيل نظام مجموعة لتحديثه بأحدث الصور

عند إعادة تشغيل نظام مجموعة، فإنه يحصل على أحدث الصور لحاويات موارد الحوسبة ومضيفي الجهاز الظاهري. من المهم جدولة عمليات إعادة التشغيل المنتظمة للمجموعات طويلة الأمد مثل تلك المستخدمة لمعالجة البيانات المتدفقة.

تقع على عاتقك مسؤولية إعادة تشغيل جميع موارد الحوسبة بانتظام للحفاظ على تحديث الصورة بأحدث إصدار من الصورة.

هام

إذا قمت بتمكين ملف تعريف أمان التوافق لحسابك أو مساحة العمل الخاصة بك، تتم إعادة تشغيل المجموعات طويلة الأمد تلقائيا بعد 25 يوما. توصي Databricks بأن يقوم مسؤولو مساحة العمل بإعادة تشغيل المجموعات يدويا أثناء نافذة الصيانة المجدولة. وهذا يقلل من مخاطر إعادة التشغيل التلقائي لتعطيل مهمة مجدولة.

مثال دفتر الملاحظات: البحث عن مجموعات طويلة الأمد

إذا كنت مسؤول مساحة عمل، يمكنك تشغيل برنامج نصي يحدد المدة التي تم فيها تشغيل كل مجموعة من مجموعاتك، وبشكل اختياري، أعد تشغيلها إذا كانت أقدم من عدد محدد من الأيام. يوفر Azure Databricks هذا البرنامج النصي كدفتر ملاحظات.

تحدد الأسطر الأولى من البرنامج النصي معلمات التكوين:

• min_age_output: الحد الأقصى لعدد الأيام التي يمكن تشغيل نظام المجموعة فيها. القيمة الافتراضية هي 1.
• perform_restart: إذا True، يقوم البرنامج النصي بإعادة تشغيل المجموعات ذات العمر الأكبر من عدد الأيام المحددة بواسطة min_age_output. الافتراضي هو False، الذي يحدد المجموعات طويلة الأمد ولكن لا يعيد تشغيلها.
• secret_configuration: استبدل REPLACE_WITH_SCOPE و REPLACE_WITH_KEY بالنطاق السري واسم المفتاح. لمزيد من التفاصيل حول إعداد البيانات السرية، راجع دفتر الملاحظات.

التحذير

إذا قمت بتعيين perform_restart إلى True، يقوم البرنامج النصي تلقائيا بإعادة تشغيل المجموعات المؤهلة، مما قد يؤدي إلى فشل المهام النشطة وإعادة تعيين دفاتر الملاحظات المفتوحة. لتقليل مخاطر تعطيل المهام المهمة لمساحة العمل الخاصة بك، خطط لنافذة صيانة مجدولة وتأكد من إخطار مستخدمي مساحة العمل.

تحديد دفتر ملاحظات المجموعات التي تعمل لفترة طويلة وإعادة تشغيلها اختياريا

الحصول على دفتر الملاحظات

التشغيل التلقائي لنظام المجموعة للوظائف واستعلامات JDBC/ODBC

عند جدولة مهمة معينة إلى نظام مجموعة منتهية للتشغيل، أو الاتصال بمجموعة منتهية من واجهة JDBC/ODBC، تتم إعادة تشغيل نظام المجموعة تلقائيا. راجع إنشاء مهمة واتصال JDBC.

يسمح لك التشغيل التلقائي لنظام المجموعة بتكوين المجموعات للإنهاء التلقائي دون الحاجة إلى تدخل يدوي لإعادة تشغيل المجموعات للمهام المجدولة. علاوة على ذلك، يمكنك جدولة تهيئة نظام المجموعة عن طريق جدولة مهمة لتشغيلها على مجموعة منتهية.

قبل إعادة تشغيل نظام المجموعة تلقائيا، يتم التحقق من أذونات التحكم في الوصول إلى نظام المجموعة والمهمة.

إشعار

إذا تم إنشاء نظام المجموعة الخاص بك في الإصدار 2.70 من النظام الأساسي Azure Databricks أو إصدار سابق، فلا يوجد تشغيل تلقائي: ستفشل المهام المجدولة للتشغيل على المجموعات المنتهية.

عرض معلومات نظام المجموعة في واجهة مستخدم Apache Spark

يمكنك عرض معلومات مفصلة حول وظائف Spark عن طريق تحديد علامة التبويب Spark UI في صفحة تفاصيل نظام المجموعة.

إذا قمت بإعادة تشغيل نظام مجموعة منتهية، تعرض واجهة مستخدم Spark معلومات لنظام المجموعة الذي تمت إعادة تشغيله، وليس المعلومات التاريخية لنظام المجموعة المنهي.

عرض سجلات نظام المجموعة

يوفر Azure Databricks ثلاثة أنواع من تسجيل النشاط المتعلق بالمجموعة:

• سجلات أحداث نظام المجموعة، التي تلتقط أحداث دورة حياة نظام المجموعة مثل الإنشاء والإنهاء وتحرير التكوين.
• سجل برنامج تشغيل وعامل Apache Spark، والذي يمكنك استخدامه لتصحيح الأخطاء.
• سجلات البرنامج النصي init للمجموعة، والتي تعتبر قيمة لتصحيح أخطاء البرامج النصية init.

يناقش هذا القسم سجلات أحداث نظام المجموعة وسجلات برنامج التشغيل والعامل. للحصول على تفاصيل حول سجلات init-script، راجع تسجيل البرنامج النصي Init.

سجلات أحداث نظام المجموعة

يعرض سجل أحداث نظام المجموعة أحداث دورة حياة نظام المجموعة المهمة التي يتم تشغيلها يدويا بواسطة إجراءات المستخدم أو تلقائيا بواسطة Azure Databricks. تؤثر هذه الأحداث على تشغيل نظام مجموعة ككل والوظائف التي تعمل في نظام المجموعة.

للحصول على أنواع الأحداث المدعومة ، راجع بنية بيانات واجهة برمجة تطبيقات أنظمة المجموعات.

يتم تخزين الأحداث لمدة 60 يوما، وهي قابلة للمقارنة مع أوقات استبقاء البيانات الأخرى في Azure Databricks.

عرض سجل أحداث نظام المجموعة

لعرض سجل أحداث نظام المجموعة، حدد علامة التبويب سجل الأحداث في صفحات تفاصيل نظام المجموعة.

لمزيد من المعلومات حول حدث ما، انقر فوق صفه في السجل، ثم انقر فوق علامة التبويب JSON للحصول على التفاصيل.

برنامج تشغيل نظام المجموعة وسجلات العامل

تنتقل عبارات الطباعة والسجلات المباشرة من دفاتر الملاحظات والوظائف والمكتبات إلى سجلات برنامج تشغيل Spark. يمكنك الوصول إلى ملفات السجل هذه من علامة التبويب سجلات برنامج التشغيل في صفحة تفاصيل نظام المجموعة. انقر فوق اسم ملف سجل لتنزيله.

تحتوي هذه السجلات على ثلاثة مخرجات:

• الإخراج القياسي
• خطأ قياسي
• سجلات Log4j

لعرض سجلات عامل Spark، استخدم علامة التبويب Spark UI . يمكنك أيضا تكوين موقع تسليم سجل للمجموعة. يتم تسليم كل من سجلات العامل والكتلة إلى الموقع الذي تحدده.

مراقبة الأداء

لمساعدتك في مراقبة أداء مجموعات Azure Databricks، يوفر Azure Databricks الوصول إلى المقاييس من صفحة تفاصيل نظام المجموعة. بالنسبة إلى Databricks Runtime 12.2 والإصدارات أدناه، يوفر Azure Databricks الوصول إلى مقاييس Ganglia . بالنسبة إلى Databricks Runtime 13.0 والإصدارات الأحدث، يتم توفير مقاييس نظام المجموعة بواسطة Azure Databricks.

بالإضافة إلى ذلك، يمكنك تكوين مجموعة Azure Databricks لإرسال المقاييس إلى مساحة عمل Log Analytics في Azure Monitor، وهو النظام الأساسي للمراقبة ل Azure.

يمكنك أيضا تثبيت عوامل Datadog على عقد نظام المجموعة لإرسال مقاييس Datadog إلى حساب Datadog الخاص بك.

مقاييس نظام المجموعة

مقاييس المجموعات هي أداة المراقبة الافتراضية ل Databricks Runtime 13.0 وما فوق. للوصول إلى واجهة مستخدم مقاييس نظام المجموعة، انتقل إلى علامة التبويب Metrics في صفحة تفاصيل نظام المجموعة.

يمكنك عرض المقاييس التاريخية عن طريق تحديد نطاق زمني باستخدام عامل تصفية منتقي التاريخ. تؤخذ القياسات كل دقيقة. يمكنك أيضا الحصول على أحدث المقاييس بالنقر فوق الزر تحديث . لمزيد من المعلومات، راجع عرض مقاييس نظام المجموعة المباشرة والتاريخية.

مقاييس Ganglia

إشعار

لا تتوفر مقاييس Ganglia إلا ل Databricks Runtime 12.2 والإصدارات أدناه.

للوصول إلى واجهة مستخدم Ganglia، انتقل إلى علامة التبويب Metrics في صفحة تفاصيل نظام المجموعة. تتوفر مقاييس وحدة المعالجة المركزية في واجهة مستخدم Ganglia لجميع أوقات تشغيل Databricks. تتوفر مقاييس وحدة معالجة الرسومات للمجموعات التي تدعم وحدة معالجة الرسومات.

لعرض المقاييس المباشرة، انقر فوق ارتباط واجهة مستخدم Ganglia.

لعرض المقاييس التاريخية، انقر فوق ملف لقطة. تحتوي اللقطة على مقاييس مجمعة للساعة السابقة للوقت المحدد.

إشعار

(جانغليا) غير مدعومة بحاويات "Docker". إذا كنت تستخدم حاوية Docker مع مجموعتك، فلن تتوفر مقاييس Ganglia.

تكوين مجموعة مقاييس Ganglia

بشكل افتراضي، يجمع Azure Databricks مقاييس Ganglia كل 15 دقيقة. لتكوين فترة المجموعة، قم بتعيين DATABRICKS_GANGLIA_SNAPSHOT_PERIOD_MINUTES متغير البيئة باستخدام برنامج نصي init أو في spark_env_vars الحقل في Create new cluster API.

Azure Monitor

يمكنك تكوين مجموعة Azure Databricks لإرسال المقاييس إلى مساحة عمل Log Analytics في Azure Monitor، وهو النظام الأساسي للمراقبة ل Azure. للحصول على إرشادات كاملة، راجع مراقبة Azure Databricks.

إشعار

إذا قمت بنشر مساحة عمل Azure Databricks في الشبكة الظاهرية الخاصة بك وقمت بتكوين مجموعات أمان الشبكة (NSG) لرفض جميع حركة المرور الصادرة غير المطلوبة من قبل Azure Databricks، فيجب عليك تكوين قاعدة صادرة إضافية لعلامة خدمة "AzureMonitor".

مثال دفتر الملاحظات: مقاييس Datadog

يمكنك تثبيت عوامل Datadog على عقد نظام المجموعة لإرسال مقاييس Datadog إلى حساب Datadog الخاص بك. يوضح دفتر الملاحظات التالي كيفية تثبيت عامل Datadog على نظام مجموعة باستخدام برنامج نصي init ذي نطاق نظام مجموعة.

لتثبيت عامل Datadog على جميع المجموعات، قم بإدارة البرنامج النصي init في نطاق نظام المجموعة باستخدام نهج نظام المجموعة.

تثبيت دفتر ملاحظات البرنامج النصي init لعامل Datadog

الحصول على دفتر الملاحظات

إيقاف تشغيل المثيلات الموضعية

نظرا لأن المثيلات الموضعية يمكن أن تقلل من التكاليف، فإن إنشاء مجموعات باستخدام المثيلات الموضعية بدلا من المثيلات عند الطلب هو طريقة شائعة لتشغيل المهام. ومع ذلك، يمكن استباق المثيلات الموضعية بواسطة آليات جدولة موفر السحابة. يمكن أن يسبب استباق المثيلات الموضعية مشكلات في الوظائف قيد التشغيل، بما في ذلك:

• فشل إحضار التبديل العشوائي
• تبديل فقدان البيانات عشوائيا
• فقدان بيانات RDD
• حالات فشل الوظائف

يمكنك تمكين إيقاف التشغيل للمساعدة في معالجة هذه المشكلات. يستفيد إيقاف التشغيل من الإعلام الذي يرسله موفر السحابة عادة قبل إيقاف تشغيل مثيل موضعي. عندما يتلقى مثيل موضعي يحتوي على منفذ إشعار الاستباق، ستحاول عملية إيقاف التشغيل ترحيل بيانات التبديل العشوائي وبيانات البيانات الموزعة المرنة إلى المنفذين الأصحاء. عادة ما تكون المدة قبل الاستباق النهائي من 30 ثانية إلى دقيقتين، اعتمادا على موفر السحابة.

توصي Databricks بتمكين ترحيل البيانات عند تمكين إيقاف التشغيل أيضا. بشكل عام، تقل إمكانية حدوث أخطاء مع ترحيل المزيد من البيانات، بما في ذلك فشل جلب التبديل العشوائي وفقدان البيانات عشوائيا وفقدان بيانات مجموعة البيانات الموزعة المرنة. يمكن أن يؤدي ترحيل البيانات أيضا إلى إعادة حساب أقل وتكاليف محفوظة.

إشعار

إيقاف التشغيل هو أفضل جهد ولا يضمن أنه يمكن ترحيل جميع البيانات قبل الاستباق النهائي. لا يمكن أن يضمن إيقاف التشغيل عدم فشل الجلب العشوائي عند تشغيل المهام التي تقوم بجلب بيانات التبديل العشوائي من المنفذ.

مع تمكين إيقاف التشغيل، لا تتم إضافة حالات فشل المهام الناتجة عن استباق المثيل الموضعي إلى العدد الإجمالي للمحاولات الفاشلة. لا يتم حساب حالات فشل المهمة الناتجة عن الاستباق على أنها محاولات فاشلة لأن سبب الفشل خارجي للمهمة ولن يؤدي إلى فشل الوظيفة.

تمكين إيقاف التشغيل

لتمكين إيقاف التشغيل على نظام مجموعة، أدخل الخصائص التالية في علامة التبويب Spark ضمن خيارات متقدمة في واجهة مستخدم تكوين نظام المجموعة. للحصول على معلومات حول هذه الخصائص، راجع تكوين Spark.

• لتمكين إيقاف تشغيل التطبيقات، أدخل هذه الخاصية في حقل تكوين Spark:

  spark.decommission.enabled true
  

• لتمكين ترحيل البيانات العشوائي أثناء إيقاف التشغيل، أدخل هذه الخاصية في حقل تكوين Spark:

  spark.storage.decommission.enabled true
  spark.storage.decommission.shuffleBlocks.enabled true
  

• لتمكين ترحيل بيانات ذاكرة التخزين المؤقت ل RDD أثناء إيقاف التشغيل، أدخل هذه الخاصية في حقل تكوين Spark:

  spark.storage.decommission.enabled true
  spark.storage.decommission.rddBlocks.enabled true
  

  إشعار

  عند تعيين النسخ المتماثل RDD StorageLevel إلى أكثر من 1، لا توصي Databricks بتمكين ترحيل بيانات RDD نظرا لأن النسخ المتماثلة تضمن عدم فقدان مجموعات البيانات الموزعة المرنة للبيانات.

• لتمكين إيقاف تشغيل العمال، أدخل هذه الخاصية في حقل متغيرات البيئة:

  SPARK_WORKER_OPTS="-Dspark.decommission.enabled=true"
  

عرض حالة إيقاف التشغيل وسبب الخسارة في واجهة المستخدم

للوصول إلى حالة إيقاف تشغيل العامل من واجهة المستخدم، انتقل إلى علامة التبويب Spark Cluster UI - Master .

عند انتهاء إيقاف التشغيل، يمكنك عرض سبب فقدان المنفذ في علامة التبويب Spark UI > Executors في صفحة تفاصيل نظام المجموعة.