إدارة الحوسبة

توضح هذه المقالة كيفية إدارة حساب Azure Databricks، بما في ذلك العرض والتحرير والبدء والإنهاء والحذف والتحكم في الوصول ومراقبة الأداء والسجلات. يمكنك أيضا استخدام Clusters API لإدارة الحساب برمجيا.

عرض الحساب

لعرض الحساب، انقر فوق أيقونة الحسابحساب في الشريط الجانبي لمساحة العمل.

على الجانب الأيسر يوجد عمودان يشيران إلى ما إذا تم تثبيت الحساب وحالة الحساب. مرر مؤشر الماوس فوق الحالة للحصول على مزيد من المعلومات.

عرض تكوين الحساب كملف JSON

في بعض الأحيان قد يكون من المفيد عرض تكوين الحساب الخاص بك على أنه JSON. هذا مفيد بشكل خاص عندما تريد إنشاء حساب مشابه باستخدام واجهة برمجة تطبيقات المجموعات. عند عرض حساب موجود، انتقل إلى علامة التبويب Configuration ، وانقر فوق JSON في الجزء العلوي الأيسر من علامة التبويب، وانسخ JSON، والصقه في استدعاء API. طريقة عرض JSON للقراءة فقط.

تثبيت حساب

بعد 30 يوما من إنهاء الحساب، يتم حذفه نهائيا. للاحتفاظ بتكوين حساب لجميع الأغراض بعد إنهاء الحساب لأكثر من 30 يوما، يمكن للمسؤول تثبيت الحساب. يمكن تثبيت ما يصل إلى 100 مورد حساب.

يمكن مسؤول تثبيت حساب من قائمة الحوسبة أو صفحة تفاصيل الحساب بالنقر فوق أيقونة الدبوس.

تحرير حساب

يمكنك تحرير تكوين الحساب من واجهة مستخدم تفاصيل الحساب.

إشعار

  • تظل دفاتر الملاحظات والمهام المرفقة بالحوسبة مرفقة بعد التحرير.
  • تظل المكتبات المثبتة على الحساب مثبتة بعد التحرير.
  • إذا قمت بتحرير أي سمة لحساب قيد التشغيل (باستثناء حجم الحساب والأذونات)، يجب إعادة تشغيله. يمكن أن يؤدي هذا إلى تعطيل المستخدمين الذين يستخدمون الحساب حاليا.
  • يمكنك فقط تحرير حساب قيد التشغيل أو تم إنهاؤه. ومع ذلك، يمكنك تحديث أذونات الحوسبة وليس في تلك الحالات في صفحة تفاصيل الحساب.

استنساخ حساب

لاستنساخ حساب موجود، حدد Clone من قائمة kebab للحساب قائمة كباب (المعروفة أيضا باسم القائمة ذات النقاط الثلاث).

بعد تحديد clone، تفتح واجهة مستخدم إنشاء الحساب مملوءة مسبقا بتكوين الحساب. السمات التالية غير مضمنة في النسخة:

  • أذونات الحساب
  • المكتبات المثبتة
  • دفاتر الملاحظات المرفقة

أذونات الحساب

هناك أربعة مستويات أذونات للحساب: لا توجد أذونات، ويمكن إرفاقها، و CAN RESTART، و CAN MANAGE. يسرد الجدول قدرات كل إذن.

هام

يمكن للمستخدمين الذين لديهم أذونات CAN ATTACH TO عرض مفاتيح حساب الخدمة في ملف log4j. توخي الحذر عند منح مستوى الأذونات هذا.

القدرة لا توجد أذونات يمكن إرفاق ب يمكن إعادة التشغيل يمكن إدارة
إرفاق دفتر ملاحظات بالحوسبة × x ×
عرض واجهة مستخدم Spark × x ×
عرض مقاييس الحساب × x ×
عرض سجلات برامج التشغيل x (راجع الملاحظة)
إنهاء الحساب × ×
بدء الحساب وإعادة تشغيله × ×
تحرير الحساب ×
إرفاق مكتبة بالحوسبة ×
تغيير حجم الحساب ×
تعديل الأذونات ×

يمتلك مسؤولو مساحة العمل إذن CAN MANAGE على جميع الحوسبة في مساحة العمل الخاصة بهم. يكون لدى المستخدمين تلقائيا إذن CAN MANAGE على الحساب الذي يقومون بإنشائه.

إشعار

لا يتم تنقيح الأسرار من سجل stdout برنامج تشغيل Spark وتدفقاته stderr . لحماية البيانات الحساسة، بشكل افتراضي، لا يمكن عرض سجلات برنامج تشغيل Spark إلا من قبل المستخدمين الذين لديهم إذن CAN MANAGE في الوظيفة ووضع وصول مستخدم واحد ومجموعات وضع الوصول المشترك. للسماح للمستخدمين الذين لديهم الإذن CAN ATTACH TO أو CAN RESTART بعرض السجلات على هذه المجموعات، قم بتعيين خاصية تكوين Spark التالية في تكوين نظام المجموعة: spark.databricks.acl.needAdminPermissionToViewLogs false.

في أنظمة مجموعات وضع الوصول المشترك للعزل، يمكن عرض سجلات برنامج تشغيل Spark من قبل المستخدمين الذين لديهم إذن CAN ATTACH TO أو CAN MANAGE. لتحديد من يمكنه قراءة السجلات للمستخدمين الذين لديهم إذن CAN MANAGE فقط، قم بتعيين spark.databricks.acl.needAdminPermissionToViewLogs إلى true.

راجع تكوين Spark لمعرفة كيفية إضافة خصائص Spark إلى تكوين نظام المجموعة.

تكوين أذونات الحساب

يصف هذا القسم كيفية إدارة الأذونات باستخدام واجهة مستخدم مساحة العمل. يمكنك أيضا استخدام واجهة برمجة تطبيقات الأذونات أو موفر Databricks Terraform.

يجب أن يكون لديك إذن CAN MANAGE على حساب لتكوين أذونات الحساب.

  1. في الشريط الجانبي، انقر فوق حساب.
  2. في صف الحساب، انقر فوق قائمة القطع الناقص العمودي kebab على اليمين، وحدد Edit permissions.
  3. في إذن الإعدادات، انقر فوق القائمة المنسدلة تحديد المستخدم أو المجموعة أو كيان الخدمة... وحدد مستخدما أو مجموعة أو كيان خدمة.
  4. حدد إذنا من القائمة المنسدلة للإذن.
  5. انقر فوق إضافة وانقر فوق حفظ.

إنهاء حساب

لحفظ موارد الحوسبة، يمكنك إنهاء حساب. يتم تخزين تكوين الحساب الذي تم إنهاؤه بحيث يمكن إعادة استخدامه (أو، في حالة المهام، بدء التشغيل التلقائي) في وقت لاحق. يمكنك إنهاء حساب يدويا أو تكوين الحساب للإنهاء تلقائيا بعد فترة محددة من عدم النشاط. عندما يتجاوز عدد الحوسبة المنتهية 150، يتم حذف أقدم حساب.

ما لم يتم تثبيت الحساب أو إعادة تشغيله، يتم حذفه تلقائيا ودائما بعد 30 يوما من الإنهاء.

تظهر الحوسبة المنتهية في قائمة الحوسبة مع دائرة رمادية على يسار اسم الحساب.

إشعار

عند تشغيل مهمة على حساب وظيفة جديد (وهو ما يوصى به عادة)، يتم إنهاء الحساب ولا يكون متوفرا لإعادة التشغيل عند اكتمال المهمة. من ناحية أخرى، إذا قمت بجدولة مهمة لتشغيلها على حساب موجود لجميع الأغراض تم إنهاؤه، فسيتم بدء تشغيل هذا الحساب تلقائيا.

هام

إذا كنت تستخدم مساحة عمل تجريبية Premium، يتم إنهاء جميع الحوسبة قيد التشغيل:

  • عند ترقية مساحة عمل إلى Premium كامل.
  • إذا لم تتم ترقية مساحة العمل وتنتهي صلاحية الإصدار التجريبي.

الإنهاء اليدوي

يمكنك إنهاء حساب يدويا من قائمة الحوسبة (بالنقر فوق المربع على صف الحساب) أو صفحة تفاصيل الحساب (بالنقر فوق إنهاء).

الإنهاء التلقائي

يمكنك أيضا تعيين الإنهاء التلقائي للحساب. أثناء إنشاء الحساب، يمكنك تحديد فترة عدم النشاط بالدقائق التي تريد بعدها إنهاء الحساب.

إذا كان الفرق بين الوقت الحالي والأمر الأخير الذي يتم تشغيله على الحساب أكثر من فترة عدم النشاط المحددة، يقوم Azure Databricks تلقائيا بإنهاء هذا الحساب.

تعتبر الحوسبة غير نشطة عند انتهاء تنفيذ جميع الأوامر على الحساب، بما في ذلك مهام Spark، والتدفق المنظم، ومكالمات JDBC.

تحذير

  • لا تقوم الحوسبة بالإبلاغ عن النشاط الناتج عن استخدام D عمليات الدفق. وهذا يعني أنه قد يتم إنهاء حساب الإنهاء التلقائي أثناء تشغيله D عمليات الدفق. قم بإيقاف تشغيل الإنهاء التلقائي للحوسبة التي تشغل D عمليات الدفق أو ضع في اعتبارك استخدام Structured Streaming.
  • يستمر الحساب الخامل في تجميع رسوم DBU ومثيل السحابة أثناء فترة عدم النشاط قبل الإنهاء.

تكوين الإنهاء التلقائي

يمكنك تكوين الإنهاء التلقائي في واجهة مستخدم الحوسبة الجديدة. تأكد من تحديد المربع، وأدخل عدد الدقائق في إعداد إنهاء بعد ___ دقائق عدم النشاط .

يمكنك إلغاء الاشتراك في الإنهاء التلقائي عن طريق إلغاء تحديد خانة الاختيار الإنهاء التلقائي أو عن طريق تحديد فترة عدم النشاط ل 0.

إشعار

يتم دعم الإنهاء التلقائي على أفضل نحو في أحدث إصدارات Spark. تحتوي إصدارات Spark القديمة على قيود معروفة يمكن أن تؤدي إلى الإبلاغ غير الدقيق عن نشاط الحساب. على سبيل المثال، يمكن لحساب تشغيل أوامر JDBC أو R أو الدفق الإبلاغ عن وقت نشاط قديم يؤدي إلى إنهاء الحساب المبكر. يرجى الترقية إلى أحدث إصدار Spark للاستفادة من إصلاحات الأخطاء وتحسينات الإنهاء التلقائي.

إنهاء غير متوقع

في بعض الأحيان يتم إنهاء الحساب بشكل غير متوقع، وليس نتيجة إنهاء يدوي أو إنهاء تلقائي مكون.

للحصول على قائمة بأسباب الإنهاء وخطوات المعالجة ، راجع قاعدة المعارف.

حذف حساب

يؤدي حذف حساب إلى إنهاء الحساب وإزالة التكوين الخاص به. لحذف حساب، حدد حذف من قائمة الحسابقائمة كباب.

تحذير

لا يمكنك التراجع عن هذا الإجراء.

لحذف حساب مثبت، يجب أولا إلغاء تثبيته من قبل مسؤول.

يمكنك أيضا استدعاء نقطة نهاية Clusters API لحذف حساب برمجيا.

إعادة تشغيل حساب

يمكنك إعادة تشغيل حساب تم إنهاؤه مسبقا من قائمة الحوسبة أو صفحة تفاصيل الحساب أو دفتر ملاحظات. يمكنك أيضا استدعاء نقطة نهاية Clusters API لبدء حساب برمجيا.

يحدد Azure Databricks حسابا باستخدام معرف نظام المجموعة الفريد الخاص به. عند بدء تشغيل حساب تم إنهاؤه، يعيد Databricks إنشاء الحساب بنفس المعرف، ويثبت تلقائيا جميع المكتبات، ويعيد إرفاق دفاتر الملاحظات.

إشعار

إذا كنت تستخدم مساحة عمل تجريبية وانتهت صلاحية الإصدار التجريبي، فلن تتمكن من بدء حساب.

إعادة تشغيل حساب لتحديثه بأحدث الصور

عند إعادة تشغيل حساب، فإنه يحصل على أحدث الصور لحاويات موارد الحوسبة ومضيفي الجهاز الظاهري. من المهم جدولة عمليات إعادة التشغيل المنتظمة للحساب طويل الأمد مثل تلك المستخدمة لمعالجة البيانات المتدفقة.

تقع على عاتقك مسؤولية إعادة تشغيل جميع موارد الحوسبة بانتظام للحفاظ على تحديث الصورة بأحدث إصدار من الصورة.

هام

إذا قمت بتمكين ملف تعريف أمان التوافق لحسابك أو مساحة العمل الخاصة بك، تتم إعادة تشغيل الحساب طويل الأمد تلقائيا حسب الحاجة أثناء نافذة الصيانة المجدولة. وهذا يقلل من مخاطر إعادة التشغيل التلقائي لتعطيل مهمة مجدولة. يمكنك أيضا فرض إعادة التشغيل أثناء نافذة الصيانة. راجع التحديث التلقائي لنظام المجموعة.

مثال دفتر الملاحظات: البحث عن الحوسبة طويلة الأمد

إذا كنت مسؤول مساحة عمل، يمكنك تشغيل برنامج نصي يحدد المدة التي تم فيها تشغيل كل حساب، واختياريا، أعد تشغيلها إذا كانت أقدم من عدد محدد من الأيام. يوفر Azure Databricks هذا البرنامج النصي كدفتر ملاحظات.

تحدد الأسطر الأولى من البرنامج النصي معلمات التكوين:

  • min_age_output: الحد الأقصى لعدد الأيام التي يمكن تشغيل الحساب فيها. القيمة الافتراضية هي 1.
  • perform_restart: إذا True، يعيد البرنامج النصي تشغيل أي حساب مع عمر أكبر من عدد الأيام المحدد بواسطة min_age_output. الافتراضي هو False، الذي يحدد الحوسبة طويلة الأمد ولكن لا يعيد تشغيلها.
  • secret_configuration: استبدل REPLACE_WITH_SCOPE و REPLACE_WITH_KEY بالنطاق السري واسم المفتاح. لمزيد من التفاصيل حول إعداد البيانات السرية، راجع دفتر الملاحظات.

تحذير

إذا قمت بتعيين perform_restart إلى True، يعيد البرنامج النصي تلقائيا تشغيل الحوسبة المؤهلة، مما قد يؤدي إلى فشل المهام النشطة وإعادة تعيين دفاتر الملاحظات المفتوحة. لتقليل مخاطر تعطيل المهام المهمة لمساحة العمل الخاصة بك، خطط لنافذة صيانة مجدولة وتأكد من إخطار مستخدمي مساحة العمل.

تحديد الحوسبة طويلة الأمد وإعادة تشغيلها اختياريا

الحصول على دفتر الملاحظات

حساب التشغيل التلقائي للوظائف واستعلامات JDBC/ODBC

عند جدولة مهمة معينة إلى حساب منتهية للتشغيل، أو عند الاتصال بحساب منته من واجهة JDBC/ODBC، تتم إعادة تشغيل الحساب تلقائيا. راجع إنشاء مهمة واتصال JDBC.

يسمح لك البدء التلقائي للحساب بتكوين الحساب للإنهاء التلقائي دون الحاجة إلى تدخل يدوي لإعادة تشغيل الحساب للمهام المجدولة. علاوة على ذلك، يمكنك جدولة تهيئة الحساب عن طريق جدولة مهمة لتشغيلها على حساب تم إنهاؤه.

قبل إعادة تشغيل الحساب تلقائيا، يتم التحقق من أذونات التحكم في الوصول إلى الوظيفة والحوسبة.

إشعار

إذا تم إنشاء الحساب الخاص بك في إصدار النظام الأساسي Azure Databricks 2.70 أو إصدار سابق، فلا يوجد تشغيل تلقائي: ستفشل المهام المجدولة للتشغيل على الحوسبة المنتهية.

عرض معلومات الحساب في واجهة مستخدم Apache Spark

يمكنك عرض معلومات مفصلة حول مهام Spark عن طريق تحديد علامة التبويب Spark UI في صفحة تفاصيل الحساب.

إذا قمت بإعادة تشغيل حساب منته، تعرض واجهة مستخدم Spark معلومات للحساب الذي تمت إعادة تشغيله، وليس المعلومات التاريخية للحساب المنهي.

عرض سجلات الحوسبة

يوفر Azure Databricks ثلاثة أنواع من تسجيل النشاط المتعلق بالحوسبة:

  • حساب سجلات الأحداث، التي تلتقط أحداث دورة حياة الحساب مثل الإنشاء والإنهاء وتحرير التكوين.
  • سجل برنامج تشغيل وعامل Apache Spark، والذي يمكنك استخدامه لتصحيح الأخطاء.
  • حساب سجلات init-script، والتي تعتبر قيمة لتصحيح أخطاء البرامج النصية للتصحيح.

يناقش هذا القسم سجلات أحداث الحساب وسجلات برنامج التشغيل والعامل. للحصول على تفاصيل حول سجلات init-script، راجع تسجيل البرنامج النصي Init.

حساب سجلات الأحداث

يعرض سجل أحداث الحساب أحداث دورة حياة الحساب المهمة التي يتم تشغيلها يدويا بواسطة إجراءات المستخدم أو تلقائيا بواسطة Azure Databricks. تؤثر هذه الأحداث على تشغيل حساب ككل والوظائف التي تعمل في الحساب.

للحصول على أنواع الأحداث المدعومة ، راجع بنية بيانات واجهة برمجة تطبيقات أنظمة المجموعات.

يتم تخزين الأحداث لمدة 60 يوما، وهي قابلة للمقارنة مع أوقات استبقاء البيانات الأخرى في Azure Databricks.

عرض سجل أحداث الحساب

لعرض سجل أحداث الحساب، حدد علامة التبويب سجل الأحداث في صفحات تفاصيل الحساب.

لمزيد من المعلومات حول حدث ما، انقر فوق صفه في السجل، ثم انقر فوق علامة التبويب JSON للحصول على التفاصيل.

حساب سجلات برنامج التشغيل والعامل

تنتقل عبارات الطباعة والسجلات المباشرة من دفاتر الملاحظات والوظائف والمكتبات إلى سجلات برنامج تشغيل Spark. يمكنك الوصول إلى ملفات السجل هذه من علامة التبويب سجلات برنامج التشغيل في صفحة تفاصيل الحساب. انقر فوق اسم ملف سجل لتنزيله.

تحتوي هذه السجلات على ثلاثة مخرجات:

  • الإخراج القياسي
  • خطأ قياسي
  • سجلات Log4j

لعرض سجلات عامل Spark، استخدم علامة التبويب Spark UI . يمكنك أيضا تكوين موقع تسليم سجل للحساب. يتم تسليم كل من سجلات العامل والحوسبة إلى الموقع الذي تحدده.

مراقبة الأداء

لمساعدتك في مراقبة أداء حساب Azure Databricks، يوفر Azure Databricks الوصول إلى المقاييس من صفحة تفاصيل الحساب. بالنسبة إلى Databricks Runtime 12.2 والإصدارات أدناه، يوفر Azure Databricks الوصول إلى مقاييس Ganglia . بالنسبة إلى Databricks Runtime 13.0 وما فوق، يتم توفير مقاييس الحوسبة بواسطة Azure Databricks.

بالإضافة إلى ذلك، يمكنك تكوين حساب Azure Databricks لإرسال المقاييس إلى مساحة عمل Log Analytics في Azure Monitor، وهو النظام الأساسي للمراقبة ل Azure.

يمكنك أيضا تثبيت عوامل Datadog على عقد الحوسبة لإرسال مقاييس Datadog إلى حساب Datadog الخاص بك.

مقاييس الحساب

مقاييس الحوسبة هي أداة المراقبة الافتراضية ل Databricks Runtime 13.0 وما فوق. للوصول إلى واجهة مستخدم مقاييس الحساب، انتقل إلى علامة التبويب Metrics في صفحة تفاصيل الحساب.

يمكنك عرض المقاييس التاريخية عن طريق تحديد نطاق زمني باستخدام عامل تصفية منتقي التاريخ. تؤخذ القياسات كل دقيقة. يمكنك أيضا الحصول على أحدث المقاييس بالنقر فوق الزر تحديث . لمزيد من المعلومات، راجع عرض مقاييس الحساب.

مقاييس Ganglia

إشعار

لا تتوفر مقاييس Ganglia إلا ل Databricks Runtime 12.2 والإصدارات أدناه.

للوصول إلى واجهة مستخدم Ganglia، انتقل إلى علامة التبويب Metrics في صفحة تفاصيل الحساب. تتوفر مقاييس وحدة المعالجة المركزية في واجهة مستخدم Ganglia لجميع أوقات تشغيل Databricks. تتوفر مقاييس وحدة معالجة الرسومات للحوسبة الممكنة بواسطة وحدة معالجة الرسومات.

لعرض المقاييس المباشرة، انقر فوق ارتباط واجهة مستخدم Ganglia.

لعرض المقاييس التاريخية، انقر فوق ملف لقطة. تحتوي اللقطة على مقاييس مجمعة للساعة السابقة للوقت المحدد.

إشعار

(جانغليا) غير مدعومة بحاويات "Docker". إذا كنت تستخدم حاوية Docker مع الحساب الخاص بك، فلن تتوفر مقاييس Ganglia.

تكوين مجموعة مقاييس Ganglia

بشكل افتراضي، يجمع Azure Databricks مقاييس Ganglia كل 15 دقيقة. لتكوين فترة المجموعة، قم بتعيين DATABRICKS_GANGLIA_SNAPSHOT_PERIOD_MINUTES متغير البيئة باستخدام برنامج نصي init أو في spark_env_vars الحقل في Create cluster API.

Azure Monitor

يمكنك تكوين حساب Azure Databricks لإرسال المقاييس إلى مساحة عمل Log Analytics في Azure Monitor، وهو النظام الأساسي للمراقبة ل Azure. للحصول على إرشادات كاملة، راجع مراقبة Azure Databricks.

إشعار

إذا قمت بنشر مساحة عمل Azure Databricks في الشبكة الظاهرية الخاصة بك وقمت بتكوين مجموعات أمان الشبكة (NSG) لرفض جميع حركة المرور الصادرة غير المطلوبة من قبل Azure Databricks، فيجب عليك تكوين قاعدة صادرة إضافية لعلامة خدمة "AzureMonitor".

مثال دفتر الملاحظات: مقاييس Datadog

مقاييس Datadog

يمكنك تثبيت عوامل Datadog على عقد الحوسبة لإرسال مقاييس Datadog إلى حساب Datadog الخاص بك. يوضح دفتر الملاحظات التالي كيفية تثبيت عامل Datadog على حساب باستخدام برنامج نصي في مجال الحوسبة.

لتثبيت عامل Datadog على جميع الحوسبة، قم بإدارة البرنامج النصي للتثبيت في نطاق الحوسبة باستخدام نهج حساب.

تثبيت دفتر ملاحظات البرنامج النصي init لعامل Datadog

الحصول على دفتر الملاحظات

إيقاف تشغيل المثيلات الموضعية

نظرا لأن المثيلات الموضعية يمكن أن تقلل من التكاليف، فإن إنشاء الحوسبة باستخدام المثيلات الموضعية بدلا من المثيلات عند الطلب هو طريقة شائعة لتشغيل المهام. ومع ذلك، يمكن استباق المثيلات الموضعية بواسطة آليات جدولة موفر السحابة. يمكن أن يسبب استباق المثيلات الموضعية مشكلات في الوظائف قيد التشغيل، بما في ذلك:

  • فشل إحضار التبديل العشوائي
  • تبديل فقدان البيانات عشوائيا
  • فقدان بيانات RDD
  • حالات فشل الوظائف

يمكنك تمكين إيقاف التشغيل للمساعدة في معالجة هذه المشكلات. يستفيد إيقاف التشغيل من الإعلام الذي يرسله موفر السحابة عادة قبل إيقاف تشغيل مثيل موضعي. عندما يتلقى مثيل موضعي يحتوي على منفذ إشعار الاستباق، ستحاول عملية إيقاف التشغيل ترحيل بيانات التبديل العشوائي وبيانات البيانات الموزعة المرنة إلى المنفذين الأصحاء. عادة ما تكون المدة قبل الاستباق النهائي من 30 ثانية إلى دقيقتين، اعتمادا على موفر السحابة.

توصي Databricks بتمكين ترحيل البيانات عند تمكين إيقاف التشغيل أيضا. بشكل عام، تقل إمكانية حدوث أخطاء مع ترحيل المزيد من البيانات، بما في ذلك فشل جلب التبديل العشوائي وفقدان البيانات عشوائيا وفقدان بيانات مجموعة البيانات الموزعة المرنة. يمكن أن يؤدي ترحيل البيانات أيضا إلى إعادة حساب أقل وتكاليف محفوظة.

إشعار

إيقاف التشغيل هو أفضل جهد ولا يضمن أنه يمكن ترحيل جميع البيانات قبل الاستباق النهائي. لا يمكن أن يضمن إيقاف التشغيل عدم فشل الجلب العشوائي عند تشغيل المهام التي تقوم بجلب بيانات التبديل العشوائي من المنفذ.

مع تمكين إيقاف التشغيل، لا تتم إضافة حالات فشل المهام الناتجة عن استباق المثيل الموضعي إلى العدد الإجمالي للمحاولات الفاشلة. لا يتم حساب حالات فشل المهمة الناتجة عن الاستباق على أنها محاولات فاشلة لأن سبب الفشل خارجي للمهمة ولن يؤدي إلى فشل الوظيفة.

تمكين إيقاف التشغيل

لتمكين إيقاف التشغيل على حساب، أدخل الخصائص التالية في علامة التبويب Spark ضمن خيارات متقدمة في واجهة مستخدم تكوين الحساب. للحصول على معلومات حول هذه الخصائص، راجع تكوين Spark.

  • لتمكين إيقاف تشغيل التطبيقات، أدخل هذه الخاصية في حقل تكوين Spark:

    spark.decommission.enabled true
    
  • لتمكين ترحيل البيانات العشوائي أثناء إيقاف التشغيل، أدخل هذه الخاصية في حقل تكوين Spark:

    spark.storage.decommission.enabled true
    spark.storage.decommission.shuffleBlocks.enabled true
    
  • لتمكين ترحيل بيانات ذاكرة التخزين المؤقت ل RDD أثناء إيقاف التشغيل، أدخل هذه الخاصية في حقل تكوين Spark:

    spark.storage.decommission.enabled true
    spark.storage.decommission.rddBlocks.enabled true
    

    إشعار

    عند تعيين النسخ المتماثل RDD StorageLevel إلى أكثر من 1، لا توصي Databricks بتمكين ترحيل بيانات RDD نظرا لأن النسخ المتماثلة تضمن عدم فقدان مجموعات البيانات الموزعة المرنة للبيانات.

  • لتمكين إيقاف تشغيل العمال، أدخل هذه الخاصية في حقل متغيرات البيئة:

    SPARK_WORKER_OPTS="-Dspark.decommission.enabled=true"
    

عرض حالة إيقاف التشغيل وسبب الخسارة في واجهة المستخدم

للوصول إلى حالة إيقاف تشغيل العامل من واجهة المستخدم، انتقل إلى علامة التبويب Spark compute UI - Master .

عند انتهاء إيقاف التشغيل، يمكنك عرض سبب فقدان المنفذ في علامة التبويب Spark UI > Executors في صفحة تفاصيل الحساب.