المراقبة وإمكانية المراقبة لوظائف Databricks

توضح هذه المقالة الميزات المتوفرة في واجهة مستخدم Azure Databricks لعرض المهام التي يمكنك الوصول إليها، وعرض محفوظات عمليات التشغيل لوظيفة، وعرض تفاصيل تشغيل الوظيفة. لتكوين الإعلامات للوظائف، راجع إضافة إعلامات البريد الإلكتروني والنظام لأحداث الوظيفة.

للتعرف على استخدام Databricks CLI لعرض المهام وتشغيل المهام، قم بتشغيل أوامر databricks jobs list -hCLI و databricks jobs get -hو.databricks jobs run-now -h للتعرف على استخدام واجهة برمجة تطبيقات الوظائف، راجع واجهة برمجة تطبيقات الوظائف.

إذا كان لديك حق الوصول إلى system.lakeflow المخطط، يمكنك أيضا عرض سجلات عمليات تشغيل المهام والمهام والاستعلام منها عبر حسابك. راجع مرجع جدول نظام الوظائف.

عرض المهام

لعرض قائمة المهام التي يمكنك الوصول إليها، انقر فوق مهام سير العمل في الشريط الجانبي. تسرد علامة التبويب المهام في واجهة مستخدم مهام سير العمل معلومات حول جميع الوظائف المتوفرة، مثل منشئ الوظيفة ومشغل الوظيفة، إن وجدت، ونتيجة التشغيل الأخير.

لتغيير الأعمدة المعروضة في قائمة المهام، انقر فوق الأعمدة وحددها أو قم بإلغاء تحديدها.

يمكنك تصفية المهام في قائمة الوظائف:

• استخدام الكلمات الأساسية. إذا تم تمكين ميزة حد المهام المتزايدة لمساحة العمل هذه، يتم دعم البحث حسب الكلمات الأساسية فقط لحقول الاسم ومعرف الوظيفة وعلامة الوظيفة.
• تحديد الوظائف التي تملكها فقط.
• تحديد جميع الوظائف التي لديك أذونات للوصول إليها.
• استخدام العلامات. للبحث عن علامة تم إنشاؤها باستخدام مفتاح فقط، اكتب المفتاح في مربع البحث. للبحث عن علامة تم إنشاؤها باستخدام مفتاح وقيمة، يمكنك البحث حسب المفتاح أو القيمة أو كل من المفتاح والقيمة. على سبيل المثال، بالنسبة لعلامة بالمفتاح department والقيمة finance، يمكنك البحث عن department وظائف مطابقة أو finance العثور عليها. للبحث حسب المفتاح والقيمة، أدخل المفتاح والقيمة مفصولين بنقطي؛ على سبيل المثال، department:finance.

يمكنك أيضا النقر فوق أي رأس عمود لفرز قائمة المهام (إما تنازليا أو تصاعديا) حسب هذا العمود. عند تمكين ميزة حد المهام المتزايدة، يمكنك الفرز فقط حسب Nameأو Job IDأو .Created by يتم الفرز الافتراضي بترتيب Name تصاعدي.

انقر للوصول إلى إجراءات الوظيفة، على سبيل المثال، حذف المهمة.

يتم تشغيل طريقة العرض لوظيفة

يمكنك عرض قائمة بالتشغيل الحالي والتشغيل المكتمل مؤخرا لجميع المهام التي يمكنك الوصول إليها، بما في ذلك عمليات التشغيل التي بدأتها أدوات التزامن الخارجية مثل Apache Airflow أو Azure Data Factory. لعرض قائمة الوظائف الأخيرة التي تم تشغيلها:

1. انقر فوق مهام سير العمل في الشريط الجانبي.
2. في العمود الاسم ، انقر فوق اسم مهمة. تظهر علامة التبويب Runs مع طرق عرض المصفوفة والقائمة للشهور النشطة والمكتملة.

تعرض طريقة عرض المصفوفة محفوظات عمليات التشغيل للوظيفة، بما في ذلك كل مهمة مهمة.

يعرض صف المدة الإجمالية للتشغيل من المصفوفة المدة الإجمالية للتشغيل وحالة التشغيل. لعرض تفاصيل التشغيل، بما في ذلك وقت البدء والمدة والحالة، مرر مؤشر الماوس فوق الشريط في صف المدة الإجمالية للتشغيل.

تمثل كل خلية في صف المهام مهمة والحالة المقابلة للمهمة. لعرض تفاصيل كل مهمة، بما في ذلك وقت البدء والمدة والكتلة والحالة، مرر الماوس فوق الخلية لتلك المهمة.

يتم ترميز شريطي تشغيل المهمة وتشغيل المهام بالألوان للإشارة إلى حالة التشغيل. عمليات التشغيل الناجحة باللون الأخضر، والجولات غير الناجحة باللون الأحمر، والجولات التي تم تخطيها وردية اللون. يشير ارتفاع أشرطة تشغيل المهمة الفردية وتشغيل المهام بصريا إلى مدة التشغيل.

إذا قمت بتكوين وقت إكمال متوقع، تعرض طريقة عرض المصفوفة تحذيرا عندما تتجاوز مدة التشغيل الوقت الذي تم تكوينه.

بشكل افتراضي، يتم عرض طريقة عرض قائمة التشغيل:

• وقت البدء للتشغيل.
• معرف التشغيل.
• سواء تم تشغيل التشغيل بواسطة جدول مهام أو طلب واجهة برمجة تطبيقات، أو تم بدء تشغيله يدويا.
• الوقت المنقضي لوظيفة قيد التشغيل حاليا أو إجمالي وقت التشغيل للتشغيل المكتمل. يتم عرض تحذير إذا تجاوزت المدة وقت الإكمال المتوقع الذي تم تكوينه.
• ارتباطات إلى سجلات Spark.
• حالة التشغيل، إما Queuedأو Pendingأو Runningأو Skippedأو Succeededأو Failedأو أو Terminatingأو Terminatedأو Internal Errorأو Timed OutCanceledCanceling.Waiting for Retry
• انقر للوصول إلى الإجراءات الخاصة بالسياق للتشغيل، على سبيل المثال، إيقاف تشغيل نشط أو حذف تشغيل مكتمل.

لتغيير الأعمدة المعروضة في طريقة عرض قائمة التشغيل، انقر فوق الأعمدة وحددها أو قم بإلغاء تحديدها.

لعرض تفاصيل تشغيل مهمة، انقر فوق الارتباط الخاص بالتشغيل في عمود وقت البدء في طريقة عرض قائمة التشغيل. لعرض تفاصيل أحدث تشغيل ناجح لهذه المهمة، انقر فوق الانتقال إلى آخر تشغيل ناجح.

يحتفظ Azure Databricks بمحفوظات تشغيل وظيفتك لمدة تصل إلى 60 يوما. إذا كنت بحاجة إلى الاحتفاظ بتشغيل المهام، توصي Databricks بتصدير النتائج قبل انتهاء صلاحيتها. لمزيد من المعلومات، راجع تصدير نتائج تشغيل المهمة.

عرض تفاصيل تشغيل المهمة

تحتوي صفحة تفاصيل تشغيل الوظيفة على مخرجات الوظيفة وارتباطات إلى السجلات، بما في ذلك معلومات حول نجاح أو فشل كل مهمة في تشغيل المهمة. يمكنك الوصول إلى تفاصيل تشغيل الوظيفة من علامة التبويب Runs للوظيفة. لعرض تفاصيل تشغيل المهمة من علامة التبويب تشغيل، انقر فوق ارتباط التشغيل في عمود وقت البدء في طريقة عرض قائمة التشغيل. للعودة إلى علامة التبويب تشغيل للمهمة، انقر فوق قيمة معرف الوظيفة.

إذا كانت المهمة تحتوي على مهام متعددة، فانقر فوق مهمة لعرض تفاصيل تشغيل المهمة، بما في ذلك:

• المجموعة التي شغلت المهمة
  • واجهة مستخدم Spark للمهمة
  • سجلات المهمة
  • مقاييس المهمة

انقر فوق قيمة معرف الوظيفة للعودة إلى علامة التبويب تشغيل للوظيفة.

كيف يحدد Azure Databricks حالة تشغيل الوظيفة؟

يحدد Azure Databricks ما إذا كان تشغيل الوظيفة ناجحا بناء على نتيجة المهام الطرفية للوظيفة. المهمة الطرفية هي مهمة لا تحتوي على تبعيات انتقال البيانات من الخادم. يمكن أن يكون لتشغيل الوظيفة إحدى النتائج الثلاث:

• تم النجاح: كل المهام كانت ناجحة.
• نجحت مع حالات الفشل: فشلت بعض المهام، ولكن كافة المهام الطرفية كانت ناجحة.
• فشل: فشلت مهمة طرفية واحدة أو أكثر.

عرض محفوظات تشغيل المهمة

لعرض محفوظات تشغيل مهمة، بما في ذلك عمليات التشغيل الناجحة وغير الناجحة:

1. انقر فوق مهمة في صفحة Job run details . تظهر صفحة تفاصيل تشغيل المهمة.
2. حدد المهمة التي يتم تشغيلها في القائمة المنسدلة لمحفوظات التشغيل.

عرض محفوظات تشغيل المهمة لمهمة For each

الوصول إلى محفوظات For each تشغيل مهمة هو نفس مهمة وظائف Azure Databricks القياسية. يمكنك النقر فوق عقدة For each المهمة في صفحة Job run details أو الخلية المقابلة في طريقة عرض المصفوفة. ومع ذلك، على عكس المهمة القياسية، يتم تقديم تفاصيل التشغيل لمهمة For each كجدول تكرارات المهمة المتداخلة.

لعرض التكرارات الفاشلة فقط، انقر فوق التكرارات الفاشلة فقط.

لعرض إخراج تكرار، انقر فوق قيم وقت البدء أو وقت الانتهاء للتكرار.

عرض عمليات تشغيل المهام الأخيرة

يمكنك عرض قائمة بالتشغيل الحالي والتشغيل المكتمل مؤخرا لجميع المهام في مساحة عمل يمكنك الوصول إليها، بما في ذلك عمليات التشغيل التي بدأتها أدوات التزامن الخارجية مثل Apache Airflow أو Azure Data Factory. لعرض قائمة الوظائف الأخيرة التي تم تشغيلها:

1. انقر فوق مهام سير العمل في الشريط الجانبي.
2. انقر فوق علامة التبويب Job runs لعرض قائمة Job runs.

يعرض الرسم البياني عدد عمليات التشغيل المنتهية عدد عمليات تشغيل المهمة المكتملة في آخر 48 ساعة. بشكل افتراضي، يعرض الرسم البياني تشغيل المهمة الفاشلة والمتخطىة والناجحة. يمكنك أيضا تصفية الرسم البياني لإظهار حالات تشغيل معينة أو تقييد الرسم البياني إلى نطاق زمني محدد. تتضمن علامة التبويب Job runs أيضا جدول مهام يتم تشغيله من آخر 67 يوما. بشكل افتراضي، يتضمن الجدول تفاصيل حول فشل المهمة وتخطيها وتشغيلها بنجاح.

إشعار

يتم عرض الرسم البياني لعدد عمليات التشغيل النهائية فقط عند النقر فوق مملوك من قبلي.

يمكنك تصفية عدد عمليات التشغيل النهائية حسب حالة التشغيل:

• لتحديث الرسم البياني لإظهار المهام قيد التشغيل حاليا أو قيد الانتظار للتشغيل، انقر فوق عمليات التشغيل النشطة.
• لتحديث الرسم البياني لإظهار عمليات التشغيل المكتملة فقط، بما في ذلك عمليات التشغيل الفاشلة والناجحة والمتخطىة، انقر فوق عمليات التشغيل المكتملة.
• لتحديث الرسم البياني لإظهار عمليات التشغيل التي اكتملت بنجاح خلال آخر 48 ساعة، انقر فوق عمليات التشغيل الناجحة.
• لتحديث الرسم البياني لإظهار عمليات التشغيل التي تم تخطيها فقط، انقر فوق عمليات التشغيل التي تم تخطيها. يتم تخطي عمليات التشغيل لأنك تجاوزت الحد الأقصى لعدد عمليات التشغيل المتزامنة في مساحة العمل الخاصة بك أو تجاوزت المهمة الحد الأقصى لعدد عمليات التشغيل المتزامنة المحددة بواسطة تكوين الوظيفة.
• لتحديث الرسم البياني لإظهار عمليات التشغيل المكتملة فقط في حالة خطأ، انقر فوق عمليات التشغيل الفاشلة.

عند النقر فوق أي من أزرار عامل التصفية، يتم أيضا تحديث قائمة التشغيل في جدول التشغيل لإظهار عمليات تشغيل المهام التي تطابق الحالة المحددة فقط.

للحد من النطاق الزمني المعروض في الرسم البياني لعدد عمليات التشغيل النهائية، انقر فوق المؤشر واسحبه في الرسم البياني لتحديد النطاق الزمني. يتم تشغيل الرسم البياني وتحديث جدول التشغيل لعرضه من النطاق الزمني المحدد فقط.

بشكل افتراضي، تعرض قائمة عمليات التشغيل في جدول التشغيل:

• وقت البدء للتشغيل.
• اسم المهمة المقترنة بالتشغيل.
• اسم المستخدم الذي تعمل عليه الوظيفة.
• سواء تم تشغيل التشغيل بواسطة جدول مهام أو طلب واجهة برمجة تطبيقات، أو تم بدء تشغيله يدويا.
• الوقت المنقضي لوظيفة قيد التشغيل حاليا أو إجمالي وقت التشغيل للتشغيل المكتمل. يتم عرض تحذير إذا تجاوزت المدة وقت الإكمال المتوقع الذي تم تكوينه.
• حالة التشغيل، إما Queuedأو Pendingأو Runningأو Skippedأو Succeededأو Failedأو أو Terminatingأو Terminatedأو Internal Errorأو Timed OutCanceledCanceling.Waiting for Retry
• أي معلمات للتشغيل.
• انقر للوصول إلى الإجراءات الخاصة بالسياق للتشغيل، على سبيل المثال، إيقاف تشغيل نشط أو حذف تشغيل مكتمل.

لتغيير الأعمدة المعروضة في قائمة التشغيل، انقر فوق الأعمدة وحددها أو قم بإلغاء تحديدها.

يعرض الجدول أعلى 5 أنواع من الأخطاء قائمة بأنواع الأخطاء الأكثر تكرارا من النطاق الزمني المحدد، مما يسمح لك برؤية الأسباب الأكثر شيوعا لمشكلات المهمة بسرعة في مساحة العمل.

لعرض تفاصيل تشغيل المهمة، انقر فوق الارتباط في عمود وقت البدء للتشغيل. لعرض تفاصيل المهمة، انقر فوق اسم الوظيفة في عمود الوظيفة .

عرض معلومات دورة حياة الوظيفة

إذا تم تمكين كتالوج Unity في مساحة العمل الخاصة بك، يمكنك عرض معلومات دورة حياة البيانات لأي جداول كتالوج Unity في سير العمل الخاص بك. إذا كانت معلومات دورة حياة البيانات متوفرة لسير العمل الخاص بك، فسترى ارتباطا يحتوي على عدد من الجداول الأولية والمصبية في لوحة تفاصيل المهمة لوظيفتك، أو لوحة تفاصيل تشغيل الوظيفة لتشغيل مهمة، أو لوحة تفاصيل تشغيل المهمة لتشغيل مهمة. انقر فوق الارتباط لإظهار قائمة الجداول. انقر فوق جدول للاطلاع على معلومات مفصلة في مستكشف الكتالوج.

عرض وتشغيل مهمة تم إنشاؤها باستخدام مجموعة أصول Databricks

يمكنك استخدام واجهة مستخدم وظائف Azure Databricks لعرض الوظائف التي تم نشرها بواسطة مجموعة أصول Databricks وتشغيلها. بشكل افتراضي، تكون هذه المهام للقراءة فقط في واجهة مستخدم الوظائف. لتحرير مهمة تم نشرها بواسطة مجموعة، قم بتغيير ملف تكوين المجموعة وإعادة توزيع المهمة. يضمن تطبيق التغييرات على تكوين المجموعة فقط أن ملفات مصدر الحزمة تسجل دائما تكوين الوظيفة الحالي.

ومع ذلك، إذا كان يجب إجراء تغييرات فورية على وظيفة، يمكنك قطع اتصال المهمة من تكوين المجموعة لتمكين تحرير إعدادات المهمة في واجهة المستخدم. لقطع اتصال المهمة، انقر فوق قطع الاتصال بالمصدر. في مربع الحوار قطع الاتصال بالمصدر ، انقر فوق قطع الاتصال للتأكيد.

لا يتم تطبيق أي تغييرات تجريها على المهمة في واجهة المستخدم على تكوين المجموعة. لتطبيق التغييرات التي تجريها في واجهة المستخدم على المجموعة، يجب تحديث تكوين المجموعة يدويا. لإعادة توصيل المهمة إلى تكوين المجموعة، أعد توزيع المهمة باستخدام المجموعة.

تصدير نتائج تشغيل المهمة

يمكنك تصدير نتائج تشغيل دفتر الملاحظات وسجلات تشغيل الوظيفة لجميع أنواع الوظائف.

تصدير نتائج تشغيل دفتر الملاحظات

يمكنك الاستمرار في تشغيل المهام عن طريق تصدير نتائجها. لتشغيل مهمة دفتر الملاحظات، يمكنك تصدير دفتر ملاحظات معروض يمكن استيراده لاحقا إلى مساحة عمل Azure Databricks.

لتصدير دفتر الملاحظات، قم بتشغيل النتائج لوظيفة بمهمة واحدة:

1. في صفحة تفاصيل المهمة، انقر فوق الارتباط عرض التفاصيل للتشغيل في العمود تشغيل في جدول عمليات التشغيل المكتملة (خلال 60 يوما الماضية).
2. انقر فوق تصدير إلى HTML.

لتصدير دفتر الملاحظات، قم بتشغيل النتائج لوظيفة ذات مهام متعددة:

1. في صفحة تفاصيل المهمة، انقر فوق الارتباط عرض التفاصيل للتشغيل في العمود تشغيل في جدول عمليات التشغيل المكتملة (خلال 60 يوما الماضية).
2. انقر فوق مهمة دفتر الملاحظات للتصدير.
3. انقر فوق تصدير إلى HTML.

تصدير سجلات تشغيل المهمة

يمكنك أيضا تصدير السجلات لتشغيل وظيفتك. يمكنك إعداد وظيفتك لتسليم السجلات تلقائيا إلى DBFS من خلال واجهة برمجة تطبيقات الوظيفة. new_cluster.cluster_log_conf راجع الكائن في نص الطلب الذي تم تمريره إلى إنشاء عملية مهمة جديدة (POST /jobs/create) في واجهة برمجة تطبيقات الوظائف.