سجلات التشخيص والمقاييس ل Workflow Orchestration Manager
إشعار
يتم تشغيل إدارة تنسيق سير العمل بواسطة Apache Airflow.
ترشدك هذه المقالة خلال الخطوات إلى:
- تمكين سجلات التشخيص والمقاييس ل Workflow Orchestration Manager في Azure Data Factory.
- عرض السجلات والمقاييس.
- تشغيل استعلام.
- مراقبة المقاييس وتعيين نظام التنبيه في فشل الرسم البياني المتتابع الموجه (DAG).
المتطلبات الأساسية
تحتاج إلى شتراك Azure. إذا لم تكن مشتركًا في Azure، فيمكنك إنشاء حساب مجاني على Azure قبل البدء.
تمكين سجلات التشخيص والمقاييس ل Workflow Orchestration Manager
افتح مورد Data Factory وحدد Diagnostic settings في الجزء الموجود في أقصى اليسار. ثم حدد Add diagnostic setting.
املأ اسم إعدادات التشخيص. حدد الفئات التالية لسجلات تدفق الهواء:
- سجلات تنفيذ مهمة تدفق الهواء
- سجلات عامل تدفق الهواء
- سجلات معالجة تدفق الهواء DAG
- سجلات مجدول تدفق الهواء
- سجلات ويب تدفق الهواء
- إذا قمت بتحديد "AllMetrics"، تتوفر لك مقاييس مختلفة لـ Data Factory للمراقبة أو زيادة التنبيهات. تتضمن هذه المقاييس مقاييس نشاط Data Factory ووقت تشغيل تكامل Workflow Orchestration Manager، مثل
AirflowIntegrationRuntimeCpuUsage
وAirflowIntegrationRuntimeMemory
.
ضمن Destination details، حدد خانة الاختيار Send to Log Analytics workspace.
حدد حفظ.
عرض السجلات
بعد إضافة إعدادات التشخيص، يمكنك العثور عليها مدرجة في قسم إعداد التشخيص. للوصول إلى السجلات وعرضها، حدد مساحة عمل Log Analytics التي قمت بتكوينها.
ضمن القسم تكبير تجربة Log Analytics، حدد View logs.
يتم توجيهك إلى مساحة عمل Log Analytics حيث يمكنك أن ترى أنه تم استيراد الجداول التي حددتها إلى مساحة العمل تلقائيا.
ارتباطات مفيدة أخرى للمخطط:
- مرجع سجلات Azure Monitor - ADFAirflowSchedulerLogs | Microsoft Learn
- مرجع سجلات Azure Monitor - ADFAirflowTaskLogs | Microsoft Learn
- مرجع سجلات Azure Monitor - ADFAirflowWebLogs | Microsoft Learn
- مرجع سجلات Azure Monitor - ADFAirflowWorkerLogs | Microsoft Learn
- مرجع Azure Monitor Logs - AirflowDagProcessingLogs | Microsoft Learn
كتابة استعلام
لنبدأ بأبسط استعلام يقوم بإرجاع جميع السجلات في
ADFAirflowTaskLogs
. يمكنك النقر نقرا مزدوجا فوق اسم الجدول لإضافته إلى نافذة استعلام. يمكنك أيضا إدخال اسم الجدول مباشرة في النافذة.لتضييق نطاق نتائج البحث، مثل تصفيتها استنادا إلى معرف مهمة معين، يمكنك استخدام الاستعلام التالي:
ADFAirflowTaskLogs | where DagId == "<your_dag_id>" and TaskId == "<your_task_id>"
وبالمثل، يمكنك إنشاء استعلامات مخصصة وفقا لاحتياجاتك باستخدام أي جداول متوفرة في LogManagement
.
لمزيد من المعلومات، راجع:
- برنامج تعليمي ل "Log Analytics"
- نظرة عامة على لغة استعلام Kusto (KQL) - Azure Data Explorer | Microsoft Learn
قياسات المراقبة
يوفر Data Factory مقاييس شاملة لأوقت تشغيل تكامل Airflow، ما يسمح لك بمراقبة أداء وقت تشغيل تكامل Airflow بشكل فعال وإنشاء آليات التنبيه حسب الحاجة.
افتح مورد Data Factory.
في الجزء الموجود في أقصى اليسار، ضمن قسم Monitoring ، حدد Metrics.
حدد مقياس مساحة>اسم مقياس النطاق>الذي تريد مراقبته.
راجع المخطط متعدد الأسطر الذي يتصور النسبة المئوية لوحدة المعالجة المركزية لوقت تشغيل التكامل وحجم حقيبة Dag لوقت تشغيل التكامل.
يمكنك إعداد قاعدة تنبيه يتم تشغيلها عندما تفي مقاييسك بشروط محددة. لمزيد من المعلومات، راجع نظرة عامة على تنبيهات Azure Monitor.
حدد حفظ في لوحة المعلومات بعد انتهاء المخطط أو إذا اختفى المخطط.
مقاييس تدفق الهواء
لمشاهدة المقاييس المتوفرة ل Workflow Orchestration Manager، اعرض مقاييس تدفق الهواء المدرجة في جدول المقاييس المدعومة .