مرجع تكوين التجمع

توضح هذه المقالة الإعدادات المتوفرة عند إنشاء تجمع باستخدام واجهة المستخدم. لمعرفة كيفية استخدام Databricks CLI لإنشاء تجمع، راجع أوامر Databricks CLI. لمعرفة كيفية استخدام واجهة برمجة تطبيقات REST لإنشاء تجمع، راجع واجهة برمجة تطبيقات تجمعات المثيلات.

إشعار

إذا كان حمل العمل يدعم الحوسبة بلا خادم، فإن Databricks توصي باستخدام الحوسبة بلا خادم بدلا من التجمعات للاستفادة من الحوسبة القابلة للتطوير دائما. راجع الاتصال بالحوسبة بلا خادم.

حجم التجمع

عند إنشاء تجمع، للتحكم في حجمه، يمكنك تعيين ثلاث معلمات: الحد الأدنى لمثيلات الخمول، والحد الأقصى للسعة، والإنهاء التلقائي لمثيل الخمول.

الحد الأدنى لمثيلات الخمول

الحد الأدنى لعدد المثيلات التي يحافظ فيها التجمع على الخمول. لا يتم إنهاء هذه المثيلات، بغض النظر عن إعدادات الإنهاء التلقائي. إذا كانت المجموعة تستهلك مثيلات الخامة من التجمع، فإن Azure Databricks توفر مثيلات إضافية للحفاظ على الحد الأدنى.

الحد الأقصى للسعة

الحد الأقصى لعدد المثيلات التي يمكن للتجمع توفيرها. إذا تم تعيينها، فإن هذه القيمة تقيد جميع المثيلات (الخاملة + المستخدمة). إذا طلبت مجموعة تستخدم التجمع مثيلات أكثر من هذا الرقم أثناء التحجيم التلقائي، يفشل الطلب مع حدوث خطأ INSTANCE_POOL_MAX_CAPACITY_FAILURE .

هذا التكوين اختياري. توصي Azure Databricks بتعيين قيمة فقط في الحالات التالية:

• لديك حصة نسبية لمثيل يجب أن تبقى ضمنها.
• تريد حماية مجموعة عمل واحدة من التأثير على مجموعة أخرى من العمل. على سبيل المثال، افترض أن الحصة النسبية للمثيل الخاص بك هي 100 ولديك فرق A وB تحتاج إلى تشغيل الوظائف. يمكنك إنشاء تجمع A بحد أقصى 50 وتجمع B بحد أقصى 50 بحيث يشترك الفريقان في الحصة النسبية البالغة 100 إلى حد ما.
• تحتاج إلى الحد الأقصى للتكلفة.

الإنهاء التلقائي لمثيل الخمول

الوقت بالدقائق فوق القيمة المعينة في الحد الأدنى لمثيلات الخمول التي يمكن أن تكون المثيلات خامدة قبل إنهائها بواسطة التجمع.

أنواع المثيلات

يتكون التجمع من كل من المثيلات الخاملة التي تبقى جاهزة للمجموعات الجديدة والمثيلات المستخدمة عن طريق تشغيل المجموعات. جميع هذه المثيلات من نفس نوع موفر المثيل، محددة عند إنشاء تجمع.

لا يمكن تحرير نوع مثيل التجمع. تستخدم المجموعات المرفقة بتجمع نفس نوع المثيل لعقد برنامج التشغيل والعامل. تناسب مجموعات مختلفة من أنواع المثيلات حالات استخدام مختلفة، مثل أحمال العمل كثيفة الذاكرة أو كثيفة الحوسبة.

يوفر Azure Databricks دائما إشعارا بالإهمال لمدة عام واحد قبل إيقاف الدعم لنوع مثيل.

إشعار

إذا كانت متطلبات الأمان الخاصة بك تتضمن عزل الحساب، فحدد مثيل Standard_F72s_V2 كنوع العامل الخاص بك. تمثل أنواع المثيلات هذه الأجهزة الظاهرية المعزولة التي تستهلك المضيف الفعلي بأكمله وتوفر المستوى اللازم من العزل المطلوب لدعم، على سبيل المثال، أحمال عمل مستوى التأثير 5 (IL5) لوزارة الدفاع الأمريكية.

إصدار وقت تشغيل Databricks المحمل مسبقا

يمكنك تسريع عمليات تشغيل نظام المجموعة عن طريق تحديد إصدار Databricks Runtime ليتم تحميله على مثيلات الخامة في التجمع. إذا حدد المستخدم وقت التشغيل هذا عند إنشاء مجموعة مدعومة من التجمع، تشغيل هذه المجموعة بسرعة أكبر من نظام المجموعة المدعومة بالتجمع الذي لا يستخدم إصدار وقت تشغيل Databricks محمل مسبقا.

يؤدي تعيين هذا الخيار إلى None إلى إبطاء تشغيل نظام المجموعة، لأنه يتسبب في تنزيل إصدار Databricks Runtime عند الطلب إلى المثيلات الخاملة في التجمع. عندما يصدر نظام المجموعة المثيلات في التجمع، يظل إصدار Databricks Runtime مخزنا مؤقتا على تلك المثيلات. قد تستفيد عملية إنشاء نظام المجموعة التالية التي تستخدم نفس إصدار وقت تشغيل Databricks من سلوك التخزين المؤقت هذا، ولكنها غير مضمونة.

صورة Docker محملة مسبقا

يتم دعم صور Docker مع التجمعات إذا كنت تستخدم واجهة برمجة تطبيقات تجمعات المثيلات لإنشاء التجمع.

علامات التجمع

تسمح لك علامات التجمع بمراقبة تكلفة موارد السحابة المستخدمة من قبل مجموعات مختلفة في مؤسستك بسهولة. يمكنك تحديد العلامات كأزواج قيم المفاتيح عند إنشاء تجمع، ويطبق Azure Databricks هذه العلامات على موارد السحابة مثل الأجهزة الظاهرية ووحدات تخزين القرص، بالإضافة إلى تقارير استخدام DBU.

للراحة، يطبق Azure Databricks ثلاث علامات افتراضية على كل تجمع: Vendorو DatabricksInstancePoolIdو DatabricksInstancePoolCreatorId. يمكنك أيضا إضافة علامات مخصصة عند إنشاء تجمع. يمكنك إضافة ما يصل إلى 41 علامة مخصصة.

علامات مخصصة

لإضافة علامات إضافية إلى التجمع، انتقل إلى علامة التبويب علامات التبويب في أسفل صفحة إنشاء تجمع . انقر فوق الزر + إضافة، ثم أدخل زوج قيمة المفتاح.

ترث المجموعات المدعومة بالتجمع العلامات الافتراضية والمخصصة من تكوين التجمع. للحصول على معلومات مفصلة حول كيفية عمل علامات التجمع وعلامات نظام المجموعة معا، راجع مراقبة الاستخدام باستخدام العلامات.

التحجيم التلقائي للتخزين المحلي

قد يكون من الصعب في كثير من الأحيان تقدير مقدار مساحة القرص التي ستستغرقها مهمة معينة. لحفظك من الاضطرار إلى تقدير عدد الجيجابايت من القرص المدار لإرفاقه بتجمعك في وقت الإنشاء، تمكن Azure Databricks تلقائيا التخزين المحلي للتحجيم التلقائي على جميع تجمعات Azure Databricks.

مع التخزين المحلي للتحجيم التلقائي، يراقب Azure Databricks مقدار مساحة القرص الحرة المتوفرة على مثيلات التجمع الخاص بك. إذا كان المثيل يعمل بشكل منخفض جدا على القرص، يتم إرفاق قرص مدار جديد تلقائيا قبل نفاد مساحة القرص. يتم إرفاق الأقراص بحد أقصى 5 تيرابايت من إجمالي مساحة القرص لكل جهاز ظاهري (بما في ذلك التخزين المحلي الأولي للجهاز الظاهري).

يتم فصل الأقراص المدارة المرفقة بجهاز ظاهري فقط عند إرجاع الجهاز الظاهري إلى Azure. أي أنه لا يتم فصل الأقراص المدارة أبدا عن جهاز ظاهري طالما أنه جزء من تجمع.

المثيلات الموضعية

لتوفير التكلفة، يمكنك اختيار استخدام المثيلات الموضعية عن طريق التحقق من الزر التبادلي All Spot .

سيتم تشغيل المجموعات في التجمع مع مثيلات موضعية لجميع العقد وبرنامج التشغيل والعامل (على عكس برنامج التشغيل المختلط عند الطلب وعمال المثيل الموضعي للمجموعات غير المجمعة).

إذا تم إخلاء المثيلات الموضعية بسبب عدم التوفر، فلا تحل المثيلات عند الطلب محل المثيلات التي تم إخلاؤها.