كيف يعمل Azure Workflow Orchestration Manager؟

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

إشعار

يتم تشغيل إدارة تنسيق سير العمل بواسطة Apache Airflow.

إشعار

يعتمد مدير تنسيق سير العمل ل Azure Data Factory على تطبيق مصدر مفتوح Apache Airflow. يمكن العثور على وثائق والمزيد من البرامج التعليمية ل Airflow على وثائق Apache Airflow أو صفحات المجتمع.

يستخدم Workflow Orchestration Manager في Azure Data Factory الرسوم البيانية الموجهة المستندة إلى Python (DAGs) لتشغيل مهام سير عمل التزامن. لاستخدام هذه الميزة، تحتاج إلى توفير DAGs والمكونات الإضافية في Azure Blob Storage أو عبر مستودع GitHub. يمكنك تشغيل واجهة مستخدم Airflow من ADF باستخدام واجهة سطر الأوامر (CLI) أو مجموعة أدوات تطوير البرامج (SDK) لإدارة DAGs الخاصة بك.

إنشاء بيئة إدارة تنسيق سير العمل

راجع: إنشاء بيئة إدارة تنسيق سير العمل

استيراد DAGs

يوفر Workflow Orchestration Manager طريقتين متميزتين لتحميل DAGs من ملفات مصدر python في بيئة Airflow. هذه الطرق هي:

  • تمكين Git Sync: تسمح لك هذه الخدمة بمزامنة مستودع GitHub الخاص بك مع Workflow Orchestration Manager، ما يتيح لك استيراد DAGs مباشرة من مستودع GitHub الخاص بك. راجع: مزامنة مستودع GitHub في Workflow Orchestration Manager

  • Azure Blob Storage: يمكنك تحميل DAGs والمكونات الإضافية وما إلى ذلك إلى مجلد معين داخل حساب تخزين كائن ثنائي كبير الحجم مرتبط ب Azure Data Factory. بعد ذلك، يمكنك استيراد مسار ملف المجلد في إدارة تنسيق سير العمل. راجع: استيراد DAGs باستخدام Azure Blob Storage

إزالة DAGs من بيئة تدفق الهواء

الرجوع إلى: حذف DAGs في إدارة تنسيق سير العمل

مراقبة عمليات تشغيل DAG

لمراقبة Airflow DAGs، سجل الدخول إلى واجهة مستخدم Airflow باستخدام اسم المستخدم وكلمة المرور الذي تم إنشاؤه مسبقا.

  1. حدد بيئة Airflow التي تم إنشاؤها.

    لقطة شاشة تعرض بيئة تدفق الهواء التي تم إنشاؤها.

  2. سجل الدخول باستخدام اسم المستخدم-كلمة المرور المتوفرة أثناء إنشاء وقت تشغيل تكامل Airflow. (يمكنك إعادة تعيين اسم المستخدم أو كلمة المرور عن طريق تحرير وقت تشغيل تكامل Airflow إذا لزم الأمر)

    لقطة شاشة تعرض تسجيل الدخول باستخدام اسم المستخدم وكلمة المرور المتوفرة أثناء إنشاء وقت تشغيل تكامل Airflow.

استكشاف مشكلات استيراد DAG وإصلاحها

  • المشكلة: يستغرق استيراد DAG أكثر من 5 دقائق التخفيف: تقليل حجم DAGs المستوردة مع استيراد واحد. إحدى الطرق لتحقيق ذلك هي إنشاء مجلدات DAG متعددة مع مجموعات DAGs أقل عبر حاويات متعددة.

  • المشكلة: لا تظهر مجموعات DAGs المستوردة عند تسجيل الدخول إلى واجهة مستخدم Airflow. التخفيف من المخاطر: سجل الدخول إلى واجهة مستخدم Airflow وتحقق مما إذا كانت هناك أي أخطاء تحليل DAG. قد يحدث هذا إذا كانت ملفات DAG تحتوي على أي تعليمات برمجية غير متوافقة. ستجد أرقام الأسطر الدقيقة والملفات، التي تواجه المشكلة من خلال واجهة مستخدم Airflow.

    تظهر لقطة الشاشة مشكلات استيراد dag.