تكوين الحوسبة للوظائف
تحتوي هذه المقالة على توصيات وموارد لتكوين الحوسبة لوظائف Databricks.
هام
تتضمن القيود المفروضة على الحوسبة بلا خادم للوظائف ما يلي:
- لا يوجد دعم للجدولة المستمرة .
- لا يوجد دعم لمشغلات الفاصل الزمني الافتراضية أو المستندة إلى الوقت في Structured Streaming.
لمزيد من القيود، راجع قيود الحوسبة بلا خادم.
يمكن أن يكون لكل مهمة مهمة واحدة أو أكثر. يمكنك تعريف موارد الحوسبة لكل مهمة. يمكن للمهام المتعددة المعرفة لنفس المهمة استخدام نفس مورد الحساب.
يشير الجدول التالي إلى أنواع الحوسبة الموصى بها والمدعمة لكل نوع مهمة.
ملاحظة
يحتوي الحساب بلا خادم للوظائف على قيود ولا يدعم جميع أحمال العمل. راجع قيود الحوسبة بلا خادم.
مهمة | الحوسبة الموصى بها | الحوسبة المدعومة |
---|---|---|
دفاتر الملاحظات | مهام بلا خادم | وظائف بلا خادم، وظائف كلاسيكية، جميع الأغراض الكلاسيكية |
البرنامج النصي Python | مهام بلا خادم | وظائف بلا خادم، وظائف كلاسيكية، جميع الأغراض الكلاسيكية |
عجلة Python | مهام بلا خادم | وظائف بلا خادم، وظائف كلاسيكية، جميع الأغراض الكلاسيكية |
SQL | مستودع SQL بلا خادم | مستودع SQL بلا خادم، مستودع SQL pro |
خط أنابيب Delta Live Tables | البنية الأساسية لبرنامج ربط العمليات التجارية بلا خادم | البنية الأساسية لبرنامج ربط العمليات التجارية بلا خادم، البنية الأساسية لبرنامج ربط العمليات التجارية الكلاسيكية |
dbt | مستودع SQL بلا خادم | مستودع SQL بلا خادم، مستودع SQL pro |
أوامر dbt CLI | مهام بلا خادم | وظائف بلا خادم، وظائف كلاسيكية، جميع الأغراض الكلاسيكية |
JAR | الوظائف الكلاسيكية | وظائف كلاسيكية، كلاسيكية لجميع الأغراض |
إرسال Spark | الوظائف الكلاسيكية | الوظائف الكلاسيكية |
يرتبط تسعير الوظائف بالحوسبة المستخدمة لتشغيل المهام. لمزيد من التفاصيل، راجع تسعير Databricks.
يتم تكوين حساب الوظائف الكلاسيكية مباشرة من واجهة مستخدم وظائف Databricks، وهذه التكوينات هي جزء من تعريف الوظيفة. تخزن جميع أنواع الحوسبة الأخرى المتوفرة تكويناتها مع أصول مساحة العمل الأخرى. يحتوي الجدول التالي على مزيد من التفاصيل:
نوع الحساب | التفاصيل |
---|---|
حساب الوظائف الكلاسيكية | يمكنك تكوين الحوسبة للوظائف الكلاسيكية باستخدام نفس واجهة المستخدم والإعدادات المتوفرة للحساب لجميع الأغراض. راجع مرجع تكوين الحساب. |
حساب بلا خادم للوظائف | الحساب بلا خادم للوظائف هو الافتراضي لجميع المهام التي تدعمه. تدير Databricks إعدادات الحوسبة للحوسبة بلا خادم. راجع تشغيل وظيفة Azure Databricks باستخدام حساب بلا خادم لسير العمل. يجب أن يقوم مسؤول مساحة العمل nn A بتمكين الحوسبة بلا خادم لكي يكون هذا الخيار مرئيا. راجع تمكين الحوسبة بلا خادم. |
مستودعات SQL | يتم تكوين مستودعات SQL بلا خادم والمحترفين من قبل مسؤولي مساحة العمل أو المستخدمين الذين لديهم امتيازات إنشاء نظام مجموعة غير مقيدة. يمكنك تكوين المهام للتشغيل مقابل مستودعات SQL الموجودة. راجع الاتصال بمستودع SQL. |
حساب خط أنابيب Delta Live Tables | يمكنك تكوين إعدادات الحوسبة لخطوط أنابيب Delta Live Tables أثناء تكوين البنية الأساسية لبرنامج ربط العمليات التجارية. راجع تكوين الحوسبة لمسار Delta Live Tables. تدير nn Azure Databricks موارد الحوسبة لخطوط أنابيب Delta Live Tables بلا خادم. راجع تكوين مسار Delta Live Tables بلا خادم. |
الحوسبة لجميع الأغراض | يمكنك تكوين المهام اختياريا باستخدام الحوسبة الكلاسيكية لجميع الأغراض. لا توصي Databricks بهذا التكوين لوظائف الإنتاج. راجع مرجع تكوين الحساب وهل يجب استخدام الحوسبة لجميع الأغراض للوظائف؟. |
تكوين المهام لاستخدام نفس موارد حساب الوظائف لتحسين استخدام الموارد مع المهام التي تنسق مهام متعددة. يمكن أن تقلل مشاركة الحوسبة عبر المهام من زمن الانتقال المرتبط بأوقات بدء التشغيل.
يمكنك استخدام مورد حساب وظيفة واحدة لتشغيل جميع المهام التي تعد جزءا من الوظيفة أو موارد مهمة متعددة محسنة لأحمال عمل معينة. تتوفر أي حوسبة مهمة تم تكوينها كجزء من وظيفة لجميع المهام الأخرى في الوظيفة.
يسلط الجدول التالي الضوء على الاختلافات بين حساب الوظيفة المكون لمهمة واحدة واحوسبة الوظيفة المشتركة بين المهام:
مهمة واحدة | تمت المشاركة عبر المهام | |
---|---|---|
البدء | عند بدء تشغيل المهمة. | عند بدء تشغيل المهمة الأولى المكونة لاستخدام مورد الحساب. |
أنهى | بعد تشغيل المهمة. | بعد المهمة النهائية المكونة لاستخدام تشغيل مورد الحوسبة. |
الحساب الخامل | غير قابل للتطبيق. | يظل الحساب قيد التشغيل و الخامل أثناء تشغيل المهام التي لا تستخدم مورد الحوسبة. |
يتم تحديد نطاق مجموعة المهام المشتركة لتشغيل مهمة واحدة ولا يمكن استخدامها من قبل وظائف أخرى أو عمليات تشغيل لنفس الوظيفة.
لا يمكن الإعلان عن المكتبات في تكوين مجموعة مهام مشتركة. يجب إضافة مكتبات تابعة في إعدادات المهام.
يسرد قسم الحوسبة في لوحة Job details جميع الحوسبة المكونة للمهام في الوظيفة الحالية.
يتم تمييز المهام التي تم تكوينها لاستخدام مورد حساب في الرسم البياني للمهمة عند المرور فوق مواصفات الحساب.
استخدم الزر Swap لتغيير الحساب لكافة المهام المقترنة بمورد حساب.
تحتوي موارد حساب الوظائف الكلاسيكية على خيار تكوين . تمنحك موارد الحوسبة الأخرى خيارات لعرض تفاصيل تكوين الحساب وتعديلها.
يركز هذا القسم على التوصيات العامة حول الميزات والتكوينات التي يمكن أن تفيد بعض مهام سير العمل. تختلف التوصيات المحددة لتكوين حجم وأنواع موارد الحوسبة استنادا إلى حمل العمل.
توصي Databricks بتمكين Photon Acceleration، باستخدام إصدارات وقت تشغيل Databricks الأخيرة، واستخدام الحوسبة المكونة ل Unity Catalog.
يدير الحساب بلا خادم للوظائف جميع البنية الأساسية، مما يلغي الاعتبارات التالية. راجع تشغيل وظيفة Azure Databricks باستخدام حساب بلا خادم لسير العمل.
ملاحظة
تحتوي مهام سير عمل الدفق المنظم على توصيات محددة. راجع اعتبارات الإنتاج للبث المنظم.
توصي Databricks باستخدام وضع الوصول المشترك للوظائف. راجع أوضاع الوصول.
ملاحظة
لا يدعم وضع الوصول المشترك بعض أحمال العمل والميزات. توصي Databricks بوضع وصول مستخدم واحد لأحمال العمل هذه. راجع قيود وضع الوصول إلى الحساب لكتالوج Unity.
توصي Databricks بأن يقوم مسؤولو مساحة العمل بتعريف نهج نظام المجموعة للوظائف وفرض هذه النهج لجميع المستخدمين الذين يقومون بتكوين الوظائف.
تسمح نهج نظام المجموعة لمسؤولي مساحة العمل بتعيين عناصر التحكم في التكلفة والحد من خيارات تكوين المستخدمين. للحصول على تفاصيل حول تكوين نهج نظام المجموعة، راجع إنشاء نهج الحوسبة وإدارتها.
يوفر Azure Databricks سياسة افتراضية تم تكوينها للوظائف. يمكن للمسؤولين إتاحة هذا النهج لمستخدمي مساحة العمل الآخرين. راجع حساب الوظيفة.
تكوين التحجيم التلقائي بحيث يمكن للمهام طويلة الأمد إضافة العقد العاملة وإزالتها ديناميكيا أثناء تشغيل المهمة. راجع تمكين التحجيم التلقائي.
تسمح لك تجمعات الحوسبة بحجز موارد الحوسبة من موفر السحابة الخاص بك. تعد التجمعات مفيدة لتقليل وقت بدء مجموعة الوظائف الجديدة وضمان توفر موارد الحساب. راجع مرجع تكوين التجمع.
تكوين المثيلات الموضعية لأحمال العمل التي لها متطلبات زمن انتقال متساهل لتحسين التكاليف. راجع المثيلات الموضعية.
هناك العديد من الأسباب التي توصي بها Databricks ضد استخدام الحوسبة لجميع الأغراض للوظائف، بما في ذلك ما يلي:
- فواتير Azure Databricks للحساب لجميع الأغراض بمعدل مختلف عن حساب الوظائف.
- تنتهي حوسبة الوظائف تلقائيا بعد اكتمال تشغيل الوظيفة. تدعم الحوسبة لجميع الأغراض الإنهاء التلقائي، والذي يرتبط بالتقاعس بدلا من نهاية تشغيل الوظيفة.
- غالبا ما تتم مشاركة الحوسبة لجميع الأغراض عبر فرق المستخدمين. غالبا ما أدت الوظائف المجدولة مقابل الحوسبة لجميع الأغراض إلى زيادة زمن الانتقال بسبب المنافسة على موارد الحوسبة.
- العديد من التوصيات لتحسين تكوين حساب الوظائف غير مناسبة لنوع الاستعلامات المخصصة وأحمال العمل التفاعلية التي يتم تشغيلها على الحوسبة لجميع الأغراض.
فيما يلي حالات الاستخدام التي قد تختار فيها استخدام الحوسبة لجميع الأغراض للوظائف:
- تقوم بتطوير وظائف جديدة أو اختبارها بشكل متكرر. يمكن أن تجعل أوقات بدء التشغيل لحساب الوظائف التطوير التكراري مملة. تسمح لك الحوسبة لجميع الأغراض بتطبيق التغييرات وتشغيل وظيفتك بسرعة.
- لديك وظائف قصيرة الأجل يجب تشغيلها بشكل متكرر أو على جدول زمني محدد. لا يوجد وقت بدء تشغيل مقترن بالحوسبة متعددة الأغراض قيد التشغيل حاليا. ضع في اعتبارك التكاليف المرتبطة بوقت الخمول إذا كنت تستخدم هذا النمط.
الحساب بلا خادم للوظائف هو البديل الموصى به لمعظم أنواع المهام التي قد تفكر في تشغيلها مقابل الحوسبة لجميع الأغراض.