مشاركة عبر

سجلات التشخيص والمقاييس ل Workflow Orchestration Manager

  • مقالة

إشعار

يتم تشغيل إدارة تنسيق سير العمل بواسطة Apache Airflow.

ترشدك هذه المقالة خلال الخطوات إلى:

  • تمكين سجلات التشخيص والمقاييس ل Workflow Orchestration Manager في Azure Data Factory.
  • عرض السجلات والمقاييس.
  • تشغيل استعلام.
  • مراقبة المقاييس وتعيين نظام التنبيه في فشل الرسم البياني المتتابع الموجه (DAG).

المتطلبات الأساسية

تحتاج إلى شتراك Azure. إذا لم تكن مشتركًا في Azure، فيمكنك إنشاء حساب مجاني على Azure قبل البدء.

تمكين سجلات التشخيص والمقاييس ل Workflow Orchestration Manager

  1. افتح مورد Data Factory وحدد Diagnostic settings في الجزء الموجود في أقصى اليسار. ثم حدد Add diagnostic setting.

    لقطة شاشة توضح مكان وجود علامة التبويب سجلات التشخيص في Data Factory.

  2. املأ اسم إعدادات التشخيص. حدد الفئات التالية لسجلات تدفق الهواء:

    • سجلات تنفيذ مهمة تدفق الهواء
    • سجلات عامل تدفق الهواء
    • سجلات معالجة تدفق الهواء DAG
    • سجلات مجدول تدفق الهواء
    • سجلات ويب تدفق الهواء
    • إذا قمت بتحديد "AllMetrics"، تتوفر لك مقاييس مختلفة لـ Data Factory للمراقبة أو زيادة التنبيهات. تتضمن هذه المقاييس مقاييس نشاط Data Factory ووقت تشغيل تكامل Workflow Orchestration Manager، مثل AirflowIntegrationRuntimeCpuUsage و AirflowIntegrationRuntimeMemory.

    لقطة شاشة توضح السجلات التي يجب تحديدها لبيئة Airflow.

  3. ضمن Destination details، حدد خانة الاختيار Send to Log Analytics workspace.

    لقطة شاشة توضح تحديد مساحة عمل Log Analytics كوجهة لسجلات التشخيص.

  4. حدد حفظ.

عرض السجلات

  1. بعد إضافة إعدادات التشخيص، يمكنك العثور عليها مدرجة في قسم إعداد التشخيص. للوصول إلى السجلات وعرضها، حدد مساحة عمل Log Analytics التي قمت بتكوينها.

    لقطة شاشة توضح تحديد عنوان URL لمساحة عمل Log Analytics.

  2. ضمن القسم تكبير تجربة Log Analytics، حدد View logs.

    لقطة شاشة تعرض تحديد عرض السجلات.

  3. يتم توجيهك إلى مساحة عمل Log Analytics حيث يمكنك أن ترى أنه تم استيراد الجداول التي حددتها إلى مساحة العمل تلقائيا.

    لقطة شاشة تعرض مساحة عمل Log Analytics.

ارتباطات مفيدة أخرى للمخطط:

كتابة استعلام

  1. لنبدأ بأبسط استعلام يقوم بإرجاع جميع السجلات في ADFAirflowTaskLogs. يمكنك النقر نقرا مزدوجا فوق اسم الجدول لإضافته إلى نافذة استعلام. يمكنك أيضا إدخال اسم الجدول مباشرة في النافذة.

    لقطة شاشة تعرض استعلام Kusto لاسترداد جميع السجلات.

  2. لتضييق نطاق نتائج البحث، مثل تصفيتها استنادا إلى معرف مهمة معين، يمكنك استخدام الاستعلام التالي:

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

وبالمثل، يمكنك إنشاء استعلامات مخصصة وفقا لاحتياجاتك باستخدام أي جداول متوفرة في LogManagement.

لمزيد من المعلومات، راجع:

قياسات المراقبة

يوفر Data Factory مقاييس شاملة لأوقت تشغيل تكامل Airflow، ما يسمح لك بمراقبة أداء وقت تشغيل تكامل Airflow بشكل فعال وإنشاء آليات التنبيه حسب الحاجة.

  1. افتح مورد Data Factory.

  2. في الجزء الموجود في أقصى اليسار، ضمن قسم Monitoring ، حدد Metrics.

    لقطة شاشة توضح مكان وجود علامة التبويب Metrics في Data Factory.

  3. حدد مقياس مساحة>اسم مقياس النطاق>الذي تريد مراقبته.

    لقطة شاشة تعرض المقاييس التي يجب تحديدها.

  4. راجع المخطط متعدد الأسطر الذي يتصور النسبة المئوية لوحدة المعالجة المركزية لوقت تشغيل التكامل وحجم حقيبة Dag لوقت تشغيل التكامل.

    لقطة شاشة تعرض مخططا متعدد الأسطر للمقاييس.

  5. يمكنك إعداد قاعدة تنبيه يتم تشغيلها عندما تفي مقاييسك بشروط محددة. لمزيد من المعلومات، راجع نظرة عامة على تنبيهات Azure Monitor.

  6. حدد حفظ في لوحة المعلومات بعد انتهاء المخطط أو إذا اختفى المخطط.

    لقطة شاشة تعرض حفظ في لوحة المعلومات.

مقاييس تدفق الهواء

لمشاهدة المقاييس المتوفرة ل Workflow Orchestration Manager، اعرض مقاييس تدفق الهواء المدرجة في جدول المقاييس المدعومة .