تشغيل تحديث على مسار Delta Live Tables

توضح هذه المقالة ما هو تحديث البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables وكيفية تشغيل أحدها.

بعد إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية والاستعداد لتشغيله، يمكنك بدء تحديث. يقوم تحديث البنية الأساسية لبرنامج ربط العمليات التجارية بتنفيذ ما يلي:

• يبدأ نظام مجموعة بالتكوين الصحيح.
• يكتشف جميع الجداول وطرق العرض المعرفة، ويتحقق من أي أخطاء تحليل مثل أسماء الأعمدة غير الصالحة والتبعيات المفقودة وأخطاء بناء الجملة.
• إنشاء الجداول وطرق العرض أو تحديثها بأحدث البيانات المتوفرة.

يمكنك التحقق من وجود مشاكل في التعليمات البرمجية المصدر للبنية الأساسية لبرنامج ربط العمليات التجارية دون انتظار إنشاء الجداول أو تحديثها باستخدام تحديث التحقق من الصحة. تكون الميزة Validate مفيدة عند تطوير البنية الأساسية لبرنامج ربط العمليات التجارية أو اختبارها من خلال السماح لك بالعثور بسرعة على الأخطاء وإصلاحها في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك، مثل أسماء الجداول أو الأعمدة غير الصحيحة.

لمعرفة كيفية إنشاء مسار، راجع البرنامج التعليمي: تشغيل خط أنابيب Delta Live Tables الأول.

بدء تحديث البنية الأساسية لبرنامج ربط العمليات التجارية

يوفر Azure Databricks العديد من الخيارات لبدء تحديثات البنية الأساسية لبرنامج ربط العمليات التجارية، بما في ذلك ما يلي:

• في واجهة مستخدم Delta Live Tables، لديك الخيارات التالية:
  • انقر فوق الزر الموجود في صفحة تفاصيل البنية الأساسية لبرنامج ربط العمليات التجارية.
  • من قائمة المسارات، انقر في العمود إجراءات.
• لبدء تحديث في دفتر ملاحظات، انقر فوق Delta Live Tables > Start في شريط أدوات دفتر الملاحظات. راجع فتح مسار Delta Live Tables أو تشغيله من دفتر ملاحظات.
• يمكنك تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية برمجيا باستخدام واجهة برمجة التطبيقات أو CLI. راجع دليل واجهة برمجة تطبيقات Delta Live Tables.
• يمكنك جدولة المسار كوظيفة باستخدام واجهة مستخدم Delta Live Tables أو واجهة مستخدم الوظائف. راجع جدولة مسار.

كيفية تحديث Delta Live Tables للجداول وطرق العرض

تعتمد الجداول وطرق العرض المحدثة وكيفية تحديث هذه الجداول على نوع التحديث:

• تحديث الكل: يتم تحديث جميع الجداول لتعكس الحالة الحالية لمصادر بيانات الإدخال الخاصة بها. بالنسبة لجداول الدفق، يتم إلحاق صفوف جديدة بالجدول.
• تحديث كامل الكل: يتم تحديث جميع الجداول لتعكس الحالة الحالية لمصادر بيانات الإدخال الخاصة بها. بالنسبة لجداول الدفق، تحاول Delta Live Tables مسح جميع البيانات من كل جدول ثم تحميل جميع البيانات من مصدر البث.
• تحديث التحديد: سلوك refresh selection مطابق ل refresh all، ولكنه يسمح لك بتحديث الجداول المحددة فقط. يتم تحديث الجداول المحددة لتعكس الحالة الحالية لمصادر بيانات الإدخال الخاصة بها. بالنسبة لجداول الدفق، يتم إلحاق صفوف جديدة بالجدول.
• تحديد التحديث الكامل: سلوك full refresh selection مطابق ل full refresh all، ولكنه يسمح لك بإجراء تحديث كامل للجداول المحددة فقط. يتم تحديث الجداول المحددة لتعكس الحالة الحالية لمصادر بيانات الإدخال الخاصة بها. بالنسبة لجداول الدفق، تحاول Delta Live Tables مسح جميع البيانات من كل جدول ثم تحميل جميع البيانات من مصدر البث.

بالنسبة لطرق العرض المجسدة الموجودة، يكون للتحديث نفس سلوك SQL REFRESH في طريقة عرض مجسدة. بالنسبة إلى طرق العرض المجسدة الجديدة، يكون السلوك هو نفسه عملية SQL CREATE .

بدء تحديث البنية الأساسية لبرنامج ربط العمليات التجارية للجداول المحددة

قد تحتاج إلى إعادة معالجة البيانات للجداول المحددة فقط في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك. على سبيل المثال، أثناء التطوير، يمكنك تغيير جدول واحد فقط وتريد تقليل وقت الاختبار، أو فشل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية وتريد تحديث الجداول الفاشلة فقط.

إشعار

يمكنك استخدام التحديث الانتقائي مع المسارات التي تم تشغيلها فقط.

لبدء تحديث يقوم بتحديث الجداول المحددة فقط، في صفحة تفاصيل المسار:

1. انقر فوق تحديد جداول للتحديث. يظهر مربع الحوار تحديد جداول للتحديث.

   إذا لم يظهر الزر تحديد الجداول للتحديث ، فتأكد من أن صفحة تفاصيل المسار تعرض التحديث الأخير، وأن التحديث قد اكتمل. إذا لم يتم عرض DAG لآخر تحديث، على سبيل المثال، بسبب فشل التحديث، فلن يتم عرض الزر تحديد جداول للتحديث .

2. لتحديد الجداول المراد تحديثها، انقر فوق كل جدول. يتم تمييز الجداول المحددة وتسمتها. لإزالة جدول من التحديث، انقر فوق الجدول مرة أخرى.

3. انقر فوق تحديث التحديد.

   إشعار

   يعرض الزر تحديث التحديد عدد الجداول المحددة بين أقواس.

لإعادة معالجة البيانات التي تم استيعابها بالفعل للجداول المحددة، انقر فوق بجانب الزر تحديث التحديد وانقر فوق تحديد تحديث كامل.

بدء تحديث البنية الأساسية لبرنامج ربط العمليات التجارية للجداول الفاشلة

إذا فشل تحديث البنية الأساسية لبرنامج ربط العمليات التجارية بسبب أخطاء في جدول واحد أو أكثر في الرسم البياني للبنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك بدء تحديث الجداول الفاشلة فقط وأي تبعيات انتقال البيانات من الخادم.

إشعار

لا يتم تحديث الجداول المستبعدة، حتى إذا كانت تعتمد على جدول فاشل.

لتحديث الجداول الفاشلة، في صفحة تفاصيل المسار، انقر فوق تحديث الجداول الفاشلة.

لتحديث الجداول الفاشلة المحددة فقط:

1. انقر إلى جانب الزر تحديث الجداول الفاشلة وانقر فوق تحديد جداول للتحديث. يظهر مربع الحوار تحديد جداول للتحديث.

2. لتحديد الجداول المراد تحديثها، انقر فوق كل جدول. يتم تمييز الجداول المحددة وتسمتها. لإزالة جدول من التحديث، انقر فوق الجدول مرة أخرى.

3. انقر فوق تحديث التحديد.

   إشعار

   يعرض الزر تحديث التحديد عدد الجداول المحددة بين أقواس.

لإعادة معالجة البيانات التي تم استيعابها بالفعل للجداول المحددة، انقر فوق بجانب الزر تحديث التحديد وانقر فوق تحديد تحديث كامل.

التحقق من وجود أخطاء في البنية الأساسية لبرنامج ربط العمليات التجارية دون انتظار تحديث الجداول

هام

توجد ميزة تحديث Delta Live Tables Validate في المعاينة العامة.

للتحقق مما إذا كانت التعليمات البرمجية المصدر للبنية الأساسية لبرنامج ربط العمليات التجارية صالحة دون تشغيل تحديث كامل، استخدم Validate. Validate يعمل التحديث على حل تعريفات مجموعات البيانات والتدفقات المعرفة في البنية الأساسية لبرنامج ربط العمليات التجارية ولكنه لا يتحقق أو ينشر أي مجموعات بيانات. يتم الإبلاغ عن الأخطاء التي تم العثور عليها أثناء التحقق من الصحة، مثل أسماء أعمدة أو جداول غير صحيحة، في واجهة المستخدم.

لتشغيل Validate تحديث، في صفحة تفاصيل البنية الأساسية لبرنامج ربط العمليات التجارية، انقر فوق بجوار البدء وانقر فوق التحقق من الصحة.

Validate بعد اكتمال التحديث، يعرض سجل الأحداث الأحداث المتعلقة بالتحديث فقطValidate، ولا يتم عرض أي مقاييس في DAG. إذا تم العثور على أخطاء، تتوفر التفاصيل في سجل الأحداث.

يمكنك مشاهدة نتائج التحديث الأخير Validate فقط. Validate إذا كان التحديث آخر تحديث يتم تشغيله، يمكنك مشاهدة النتائج عن طريق تحديده في محفوظات التحديثات. إذا تم تشغيل تحديث آخر بعد Validate التحديث، فلن تكون النتائج متوفرة في واجهة المستخدم.

تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية المستمر مقابل الذي تم تشغيله

إذا كان المسار يستخدم وضع التنفيذ الذي تم تشغيله، يتوقف النظام عن المعالجة بعد تحديث جميع الجداول أو الجداول المحددة في المسار مرة واحدة بنجاح، مما يضمن تحديث كل جدول يشكل جزءا من التحديث استنادا إلى البيانات المتوفرة عند بدء التحديث.

إذا كانت البنية الأساسية لبرنامج ربط العمليات التجارية تستخدم التنفيذ المستمر ، فإن Delta Live Tables تعالج بيانات جديدة عند وصولها إلى مصادر البيانات للحفاظ على الجداول في جميع أنحاء البنية الأساسية لبرنامج ربط العمليات التجارية جديدة.

وضع التنفيذ مستقل عن نوع الجدول الذي يتم حسابه. يمكن تحديث كل من طرق العرض المجسدة وجداول الدفق في أي من وضعي التنفيذ. لتجنب المعالجة غير الضرورية في وضع التنفيذ المستمر، تراقب المسارات تلقائيا جداول Delta التابعة وتنفذ تحديثا فقط عند تغيير محتويات تلك الجداول التابعة.

جدول يقارن أوضاع تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية للبيانات

يسلط الجدول التالي الضوء على الاختلافات بين أوضاع التنفيذ هذه:

	مشغّلة	مستمر
متى يتوقف التحديث؟	تلقائيا بمجرد الانتهاء.	يعمل بشكل مستمر حتى يتم إيقافه يدويا.
ما هي البيانات التي تتم معالجتها؟	البيانات المتوفرة عند بدء التحديث.	جميع البيانات عند وصولها إلى المصادر المكونة.
ما هي متطلبات حداثة البيانات التي يعد هذا الأفضل لها؟	يتم تشغيل تحديثات البيانات كل 10 دقائق أو كل ساعة أو يوميا.	تحديثات البيانات المطلوبة بين كل 10 ثوان وبضع دقائق.

يمكن أن تقلل المسارات التي تم تشغيلها من استهلاك الموارد والمصروفات نظرا لأن نظام المجموعة يعمل لفترة طويلة بما يكفي لتنفيذ المسار. ومع ذلك، لن تتم معالجة البيانات الجديدة حتى يتم تشغيل المسار. تتطلب المسارات المستمرة نظام مجموعة قيد التشغيل دائما، وهو أكثر تكلفة ولكنه يقلل من زمن انتقال المعالجة.

يمكنك تكوين وضع التنفيذ باستخدام خيار وضع البنية الأساسية لبرنامج ربط العمليات التجارية في الإعدادات.

كيفية اختيار حدود البنية الأساسية لبرنامج ربط العمليات التجارية

يمكن لمسار Delta Live Tables معالجة التحديثات إلى جدول واحد، أو العديد من الجداول ذات العلاقة التابعة، أو العديد من الجداول بدون علاقات، أو تدفقات مستقلة متعددة من الجداول ذات العلاقات التابعة. يحتوي هذا القسم على اعتبارات للمساعدة في تحديد كيفية تقسيم المسارات.

تحتوي خطوط أنابيب Delta Live Tables الأكبر حجما على عدد من الفوائد. ويؤدي ذلك إلى تضمين ما يلي:

• استخدام موارد نظام المجموعة بكفاءة أكبر.
• تقليل عدد المسارات في مساحة العمل الخاصة بك.
• تقليل تعقيد تنسيق سير العمل.

تتضمن بعض التوصيات الشائعة حول كيفية تقسيم مسارات المعالجة ما يلي:

• تقسيم الوظائف على حدود الفريق. على سبيل المثال، قد يحتفظ فريق البيانات الخاص بك بالبنية الأساسية لبرنامج ربط العمليات التجارية لتحويل البيانات بينما يحتفظ محللو البيانات بالبنية الأساسية لبرنامج ربط العمليات التجارية التي تحلل البيانات المحولة.
• تقسيم الوظائف على حدود خاصة بالتطبيق لتقليل الاقتران وتسهيل إعادة استخدام الوظائف الشائعة.

أوضاع التطوير والإنتاج

يمكنك تحسين تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية عن طريق التبديل بين أوضاع التطوير والإنتاج. استخدم الأزرار الموجودة في واجهة مستخدم البنية الأساسية لبرنامج ربط العمليات التجارية للتبديل بين هذين الوضعين. بشكل افتراضي، يتم تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية في وضع التطوير.

عند تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية في وضع التطوير، يقوم نظام Delta Live Tables بتنفيذ ما يلي:

• إعادة استخدام نظام مجموعة لتجنب الحمل الزائد لإعادة التشغيل. بشكل افتراضي، تعمل المجموعات لمدة ساعتين عند تمكين وضع التطوير. يمكنك تغيير ذلك باستخدام pipelines.clusterShutdown.delay الإعداد في تكوين إعدادات الحساب.
• يعطل عمليات إعادة محاولة التدفق حتى تتمكن من الكشف عن الأخطاء وإصلاحها على الفور.

في وضع الإنتاج، يقوم نظام Delta Live Tables بتنفيذ ما يلي:

• إعادة تشغيل نظام المجموعة لأخطاء محددة قابلة للاسترداد، بما في ذلك تسرب الذاكرة وبيانات الاعتماد التي لا معنى لها.
• يعيد محاولة التنفيذ في حالة حدوث أخطاء معينة، على سبيل المثال، فشل في بدء نظام مجموعة.

إشعار

يتحكم التبديل بين أوضاع التطوير والإنتاج فقط في سلوك تنفيذ نظام المجموعة والمسار. يجب تكوين مواقع التخزين والمخططات المستهدفة في الكتالوج لجداول النشر كجزء من إعدادات البنية الأساسية لبرنامج ربط العمليات التجارية ولا تتأثر عند التبديل بين الأوضاع.

جدولة مسار

يمكنك بدء تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية يدويا أو تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية وفقا لجدول زمني مع مهمة Azure Databricks. يمكنك إنشاء مهمة وجدولتها بمهمة مسار واحدة مباشرة في واجهة مستخدم Delta Live Tables أو إضافة مهمة مسار إلى سير عمل متعدد المهام في واجهة مستخدم الوظائف.

لإنشاء مهمة أحادية وجدول زمني للوظيفة في واجهة مستخدم Delta Live Tables:

1. انقر فوق جدولة > إضافة جدول زمني. يتم تحديث الزر Schedule لإظهار عدد الجداول الموجودة إذا تم تضمين المسار في وظيفة مجدولة واحدة أو أكثر، على سبيل المثال، Schedule (5).
2. أدخل اسما للوظيفة في حقل اسم المهمة.
3. تعيين الجدول إلى مجدول.
4. حدد الفترة ووقت البدء والمنطقة الزمنية.
5. تكوين عنوان بريد إلكتروني واحد أو أكثر لتلقي تنبيهات حول بدء المسار أو نجاحه أو فشله.
6. انقر فوق Create.