تحسين استخدام نظام المجموعة لخطوط أنابيب Delta Live Tables باستخدام التحجيم التلقائي المحسن

  • مقالة

يحسن التحجيم التلقائي المحسن Databricks استخدام نظام المجموعة من خلال تخصيص موارد نظام المجموعة تلقائيا استنادا إلى حجم حمل العمل، مع الحد الأدنى من التأثير على زمن انتقال معالجة البيانات للبنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك.

يحسن التحجيم التلقائي المحسن على وظيفة التحجيم التلقائي لنظام مجموعة Azure Databricks بالميزات التالية:

  • ينفذ التحجيم التلقائي المحسن تحسين أحمال العمل المتدفقة، ويضيف تحسينات لتحسين أداء أحمال عمل الدفعات. يحسن التحجيم التلقائي المحسن التكاليف عن طريق إضافة الأجهزة أو إزالتها مع تغير حمل العمل.
  • يقوم التحجيم التلقائي المحسن بإيقاف تشغيل العقد غير المستخدمة بشكل استباقي مع ضمان عدم وجود مهام فاشلة أثناء إيقاف التشغيل. تقوم ميزة التحجيم التلقائي لنظام المجموعة الموجودة بتقليل العقد فقط إذا كانت العقدة خاملة.

التحجيم التلقائي المحسن هو وضع التحجيم التلقائي الافتراضي عند إنشاء مسار جديد في واجهة مستخدم Delta Live Tables. يمكنك تمكين التحجيم التلقائي المحسن للبنية الأساسية لبرنامج ربط العمليات التجارية الموجودة عن طريق تحرير إعدادات البنية الأساسية لبرنامج ربط العمليات التجارية في واجهة المستخدم. يمكنك أيضا تمكين التحجيم التلقائي المحسن عند إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية أو تحريرها باستخدام واجهة برمجة تطبيقات Delta Live Tables.

تمكين التحجيم التلقائي المحسن

إشعار

نظرا لأن موارد الحوسبة محسنة تلقائيا للبنية الأساسية لبرنامج ربط العمليات التجارية بلا خادم، لا تتوفر إعدادات Databricks Enhanced Autoscaling عند تحديد Serverless (Public Preview) للبنية الأساسية لبرنامج ربط العمليات التجارية.

للتعرف على تمكين مسارات DLT بلا خادم، اتصل بفريق حساب Azure Databricks.

لاستخدام التحجيم التلقائي المحسن، قم بأحد الإجراءات التالية:

  • قم بتعيين وضع نظام المجموعة إلى التحجيم التلقائي المحسن عند إنشاء مسار أو تحرير مسار في واجهة مستخدم Delta Live Tables.
  • autoscale أضف الإعداد إلى تكوين مجموعة البنية الأساسية لبرنامج ربط العمليات التجارية وضبط mode الحقل على ENHANCED. راجع تكوين إعدادات الحساب.

استخدم الإرشادات التالية عند تكوين التحجيم التلقائي المحسن لمسارات الإنتاج:

  • Min workers اترك الإعداد في الإعداد الافتراضي.
  • Max workers تعيين الإعداد إلى قيمة استنادا إلى أولوية الموازنة والمسار.

يقوم المثال التالي بتكوين مجموعة تحجيم تلقائي محسن مع 5 عمال كحد أدنى و10 عمال كحد أقصى. max_workers يجب أن يكون أكبر من أو يساوي min_workers.

إشعار

  • يتوفر التحجيم التلقائي المحسن للمجموعات updates فقط. يتم استخدام ميزة التحجيم التلقائي الموجودة للمجموعات maintenance .
  • يحتوي التكوين على autoscale وضعين: 
{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

تتم إعادة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية تلقائيا بعد تغيير تكوين التحجيم التلقائي إذا تم تكوين البنية الأساسية لبرنامج ربط العمليات التجارية للتنفيذ المستمر. بعد إعادة التشغيل، توقع فترة قصيرة من زمن الانتقال المتزايد. بعد هذه الفترة القصيرة من زمن الانتقال المتزايد، يجب تحديث حجم نظام المجموعة استنادا إلى التكوين الخاص بك autoscale ، وإرجاع زمن انتقال المسار إلى خصائص زمن الانتقال السابقة.

مراقبة البنية الأساسية لبرنامج ربط العمليات التجارية المحسنة الممكنة للتحجيم التلقائي

يمكنك استخدام سجل الأحداث في واجهة مستخدم Delta Live Tables لمراقبة مقاييس التحجيم التلقائي المحسنة. أحداث التحجيم التلقائي المحسنة لها autoscale نوع الحدث. فيما يلي أمثلة على الأحداث:

الحدث رسالة
بدأ طلب تغيير حجم نظام المجموعة Scaling [up or down] to <y> executors from current cluster size of <x>
نجح طلب تغيير حجم نظام المجموعة Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
نجح طلب تغيير حجم نظام المجموعة جزئيا Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
فشل طلب تغيير حجم نظام المجموعة Achieved cluster size <x> for cluster <cluster-id> with status FAILED

يمكنك أيضا عرض أحداث التحجيم التلقائي المحسنة عن طريق الاستعلام مباشرة عن سجل الأحداث: