إنشاء مسارات مدارة بالكامل باستخدام Delta Live Tables مع حساب بلا خادم
إشعار
للحصول على معلومات حول الأهلية وتمكين البنية الأساسية لبرنامج ربط العمليات التجارية DLT بلا خادم، راجع تمكين الحوسبة بلا خادم.
إذا كنت بحاجة إلى استخدام اتصال Azure Private Link مع مسارات DLT بلا خادم، فاتصل بممثل Databricks.
تشرح هذه المقالة كيفية استخدام Delta Live Tables مع الحوسبة بلا خادم لتشغيل تحديثات البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك باستخدام الحوسبة المدارة بالكامل، وتفاصيل ميزات الحوسبة بلا خادم التي تحسن أداء البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك.
استخدم مسارات DLT بلا خادم لتشغيل خطوط أنابيب Delta Live Tables دون تكوين البنية الأساسية ونشرها. مع خطوط أنابيب DLT بلا خادم، يمكنك التركيز على تنفيذ استيعاب البيانات وتحويلها، وتدير Azure Databricks موارد الحوسبة بكفاءة، بما في ذلك تحسين الحوسبة وتوسيع نطاقها لأحمال العمل الخاصة بك. تتضمن مسارات DLT بلا خادم الإمكانات التالية:
- الحوسبة المحسنة تلقائيا التي تعمل فقط عند الحاجة.
- موارد الحوسبة الموثوقة والمدارة بالكامل.
- تحديثات مجموعة بيانات أكثر كفاءة مع تحديث تزايدي لطرق العرض المجسدة.
- بدء تشغيل أسرع لموارد الحوسبة التي تقوم بتشغيل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية.
تحتوي مسارات DLT بلا خادم أيضا على الميزات التالية لتحسين أداء معالجة المسارات، ودعم الاستخدام الأكثر كفاءة لموارد الحوسبة، والمساعدة في خفض تكلفة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك:
- أنابيب الدفق: لتحسين الاستخدام والإنتاجية وزمن الانتقال لأحمال عمل البيانات المتدفقة مثل استيعاب البيانات، يتم ربط البنية الأساسية لبرنامج ربط العمليات التجارية بالbatches. بمعنى آخر، بدلا من تشغيل القوالب الصغيرة بشكل تسلسلي مثل Spark Structured Streaming القياسي، تعمل مسارات DLT بلا خادم على تشغيل القوالب الصغيرة في وقت واحد، مما يؤدي إلى استخدام أفضل لمورد الحوسبة. يتم تمكين توجيه تدفق الدفق بشكل افتراضي في مسارات DLT بلا خادم.
- التحجيم التلقائي العمودي: تضيف مسارات DLT بلا خادم إلى التحجيم التلقائي الأفقي الذي توفره Databricks Enhanced Autoscaling عن طريق تخصيص أنواع المثيلات الأكثر كفاءة من حيث التكلفة التي يمكنها تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables دون فشل بسبب أخطاء نفاد الذاكرة. راجع ما هو التحجيم التلقائي العمودي؟
نظرا لأن إذن إنشاء نظام المجموعة غير مطلوب، يمكن لجميع مستخدمي مساحة العمل استخدام مسارات DLT بلا خادم لتشغيل مهام سير العمل الخاصة بهم.
المتطلبات
لاستخدام مسارات DLT بلا خادم، يجب تمكين كتالوج Unity لمساحة العمل الخاصة بك.
يجب أن تكون مساحة العمل الخاصة بك في منطقة بلا خادم ممكنة.
تشغيل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام مسارات DLT بلا خادم
هام
نظرا لأن موارد الحوسبة تتم إدارتها بالكامل لمسارات DLT بدون خادم، فإن إعدادات الحوسبة غير متوفرة في واجهة مستخدم Delta Live Tables للبنية الأساسية لبرنامج ربط العمليات التجارية بدون خادم. عند تمكين بلا خادم، تتم إزالة أي إعدادات حساب قمت بتكوينها للبنية الأساسية لبرنامج ربط العمليات التجارية. إذا قمت بتبديل البنية الأساسية لبرنامج ربط العمليات التجارية مرة أخرى إلى تحديثات بدون خادم، يجب إعادة إضافة إعدادات الحوسبة هذه إلى تكوين البنية الأساسية لبرنامج ربط العمليات التجارية. لا يمكنك أيضا إضافة إعدادات الحساب يدويا في كائن clusters في تكوين JSON للبنية الأساسية لبرنامج ربط العمليات التجارية.
لتشغيل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية الذي يستخدم مسارات DLT بلا خادم، حدد خانة الاختيار Serverless عند إنشاء مسار أو تحريره.
كيف يتم تحديث طرق العرض المجسدة في مسارات DLT بلا خادم؟
عندما يكون ذلك ممكنا، يتم تحديث نتائج الاستعلام بشكل متزايد لطرق العرض المجسدة في مسار بلا خادم. عند إجراء تحديث تزايدي، تكون النتائج مكافئة لإعادة الحساب الكامل. إذا تعذر تحديث طريقة العرض المجسدة بشكل متزايد، فإن عملية التحديث تستخدم تحديثا كاملا بدلا من ذلك. راجع عمليات التحديث لطرق العرض المجسدة.
ما هو التحجيم التلقائي العمودي؟
يخصص التحجيم التلقائي العمودي للبنية الأساسية لبرنامج ربط العمليات التجارية بدون خادم تلقائيا أنواع المثيلات المتوفرة الأكثر فعالية من حيث التكلفة لتشغيل تحديثات البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables دون فشل بسبب أخطاء نفاد الذاكرة. يتوسع التحجيم التلقائي العمودي عندما تكون أنواع المثيلات الأكبر مطلوبة لتشغيل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية، كما يتم تقليصه عندما يحدد أنه يمكن تشغيل التحديث بأنواع مثيلات أصغر. يحدد التحجيم التلقائي العمودي ما إذا كان يجب توسيع نطاق عقد برنامج التشغيل أو العقد العاملة أو كل من عقد برنامج التشغيل والعامل لأعلى أو لأسفل.
يتم استخدام التحجيم التلقائي العمودي لجميع مسارات DLT بلا خادم، بما في ذلك المسارات المستخدمة من قبل طرق العرض المجسدة ل Databricks SQL وجداول الدفق.
يعمل التحجيم التلقائي العمودي عن طريق الكشف عن تحديثات البنية الأساسية لبرنامج ربط العمليات التجارية التي فشلت بسبب أخطاء نفاد الذاكرة. عند اكتشاف حالات الفشل هذه، يخصص التحجيم التلقائي العمودي أنواع مثيلات أكبر استنادا إلى البيانات خارج الذاكرة التي تم جمعها من التحديث الفاشل. في وضع الإنتاج، يتم بدء تحديث جديد يستخدم موارد الحوسبة الجديدة تلقائيا. في وضع التطوير، يتم استخدام موارد الحوسبة الجديدة عند بدء تحديث جديد يدويا.
إذا اكتشف التحجيم التلقائي العمودي أن ذاكرة المثيلات المخصصة غير مستغلة بشكل مستمر، فإنه سيتم تقليل أنواع المثيلات لاستخدامها في تحديث المسار التالي.