مشاركة عبر

مراقبة Azure Data Factory

  • مقالة

توضح هذه المقالة ما يلي:

  • أنواع بيانات المراقبة التي يمكنك جمعها لهذه الخدمة.
  • طرق لتحليل تلك البيانات.

إشعار

إذا كنت على دراية بهذه الخدمة و/أو Azure Monitor وتريد فقط معرفة كيفية تحليل بيانات المراقبة، فشاهد قسم Analyze بالقرب من نهاية هذه المقالة.

عندما يكون لديك تطبيقات وعمليات أعمال مهمة تعتمد على موارد Azure، تحتاج إلى مراقبة النظام والحصول على تنبيهات له. تجمع خدمة Azure Monitor المقاييس والسجلات وتجمعها من كل مكون من مكونات النظام. يوفر لك Azure Monitor طريقة عرض التوفر والأداء والمرونة، ويعلمك بالمشكلات. يمكنك استخدام مدخل Microsoft Azure أو PowerShell أو Azure CLI أو REST API أو مكتبات العميل لإعداد بيانات المراقبة وعرضها.

أساليب المراقبة

هناك عدة طرق لمراقبة Azure Data Factory.

Azure Data Factory Studio

يمكنك مراقبة جميع مسارات Data Factory التي تعمل أصلا في Azure Data Factory Studio. لفتح تجربة المراقبة، حدد Launch Studio من صفحة Data Factory في مدخل Microsoft Azure، وفي Azure Data Factory Studio، حدد Monitor من القائمة اليسرى.

لمزيد من المعلومات حول المراقبة في Azure Data Factory Studio، راجع المقالات التالية:

مدخل Azure

يمكنك أيضا مراقبة Azure Data Factory مباشرة من مدخل Microsoft Azure. تظهر العديد من الرسوم البيانية للقياسات في صفحة نظرة عامة على مدخل Microsoft Azure لمصنع البيانات الخاص بك. في قائمة الشريط الجانبي الأيسر، يمكنك الوصول إلى سجل نشاط Azure، أو تحديد التنبيهات أو المقاييس أو إعدادات التشخيص أو السجلات من قسم المراقبة.

المراقبة برمجياً

يمكنك مراقبة مسارات Data Factory برمجيا باستخدام .NET أو PowerShell أو Python أو REST API. لمزيد من المعلومات، راجع المقالات التالية:

أنواع الموارد

يستخدم Azure مفهوم أنواع الموارد والمعرفات لتحديد كل شيء في الاشتراك. ينظم Azure Monitor بالمثل بيانات المراقبة الأساسية في مقاييس وسجلات استنادا إلى أنواع الموارد، وتسمى أيضا مساحات الأسماء. تتوفر مقاييس وسجلات مختلفة أنواع موارد مختلفة. قد تكون خدمتك مقترنة بأكثر من نوع مورد واحد.

أنواع الموارد هي أيضا جزء من معرفات الموارد لكل مورد يعمل في Azure. على سبيل المثال، نوع مورد واحد لجهاز ظاهري هو Microsoft.Compute/virtualMachines. للحصول على قائمة بالخدمات وأنواع الموارد المقترنة بها، راجع موفري الموارد.

لمزيد من المعلومات حول أنواع الموارد ل Azure Data Factory، راجع مرجع بيانات مراقبة Data Factory.

تخزين البيانات.

بالنسبة إلى Azure Monitor:

  • يتم تخزين بيانات المقاييس في قاعدة بيانات مقاييس Azure Monitor.
  • يتم تخزين بيانات السجل في مخزن سجلات Azure Monitor. Log Analytics هي أداة في مدخل Microsoft Azure يمكنها الاستعلام عن هذا المتجر.
  • سجل نشاط Azure هو مخزن منفصل بواجهة خاصة به في مدخل Microsoft Azure.

يمكنك اختياريا توجيه بيانات سجل المقاييس والنشاط إلى مخزن سجلات Azure Monitor. يمكنك بعد ذلك استخدام Log Analytics للاستعلام عن البيانات وربطها ببيانات السجل الأخرى.

يمكن للعديد من الخدمات استخدام إعدادات التشخيص لإرسال بيانات القياس والسجل إلى مواقع التخزين الأخرى خارج Azure Monitor. تتضمن الأمثلة تخزين Azure وأنظمة الشركاء المستضافة وأنظمة الشركاء غير Azure باستخدام مراكز الأحداث.

للحصول على معلومات مفصلة حول كيفية تخزين Azure Monitor للبيانات، راجع النظام الأساسي لبيانات Azure Monitor.

تخزين بيانات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية ل Data Factory

يخزن Data Factory بيانات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية لمدة 45 يوما فقط. استخدم Azure Monitor لتوجيه سجلات التشخيص إذا كنت تريد الاحتفاظ بالبيانات لفترة أطول.

توجيه البيانات إلى Log Analytics إذا كنت تريد تحليلها باستخدام استعلامات معقدة أو إنشاء تنبيهات مخصصة أو المراقبة عبر مصانع البيانات. يمكنك توجيه البيانات من مصانع بيانات متعددة إلى مساحة عمل Log Analytics واحدة.

يمكنك استخدام حساب تخزين أو مساحة اسم مركز أحداث غير موجودة في اشتراك المورد الذي يصدر سجلات. يجب أن يكون لدى المستخدم الذي يقوم بتكوين الإعداد تحكم مناسب في الوصول استنادًا إلى أدوار Azure (Azure RBAC) إلى كلا الاشتراكين.

مقاييس النظام الأساسي ل Azure Monitor

يوفر Azure Monitor مقاييس النظام الأساسي لمعظم الخدمات. هذه المقاييس هي:

  • معرف بشكل فردي لكل مساحة اسم.
  • مخزن في قاعدة بيانات مقاييس السلسلة الزمنية ل Azure Monitor.
  • خفيف الوزن وقادر على دعم التنبيه في الوقت الفعلي تقريبا.
  • يستخدم لتعقب أداء مورد بمرور الوقت.

المجموعة: يجمع Azure Monitor مقاييس النظام الأساسي تلقائيا. لا يلزم التكوين.

التوجيه: يمكنك أيضا توجيه مقاييس النظام الأساسي عادة إلى Azure Monitor Logs / Log Analytics حتى تتمكن من الاستعلام عنها باستخدام بيانات السجل الأخرى. لمزيد من المعلومات، راجع إعداد تشخيص المقاييس. لمعرفة كيفية تكوين إعدادات التشخيص لخدمة ما، راجع إنشاء إعدادات التشخيص في Azure Monitor.

للحصول على قائمة بجميع المقاييس، من الممكن جمعها لجميع الموارد في Azure Monitor، راجع المقاييس المدعومة في Azure Monitor.

للحصول على قائمة بالمقاييس المتوفرة ل Data Factory، راجع مرجع بيانات مراقبة Data Factory.

سجلات موارد Azure Monitor

توفر سجلات الموارد نظرة ثاقبة على العمليات التي تم إجراؤها بواسطة مورد Azure. يتم إنشاء السجلات تلقائيا، ولكن يجب توجيهها إلى سجلات Azure Monitor لحفظها أو الاستعلام عنها. يتم تنظيم السجلات في فئات. قد تحتوي مساحة الاسم المحددة على فئات سجل موارد متعددة.

المجموعة: لا يتم تجميع سجلات الموارد وتخزينها حتى تقوم بإنشاء إعداد تشخيص وتوجيه السجلات إلى موقع واحد أو أكثر. عند إنشاء إعداد تشخيص، فإنك تحدد فئات السجلات المراد تجميعها. هناك طرق متعددة لإنشاء إعدادات التشخيص وصيانتها، بما في ذلك مدخل Microsoft Azure برمجيا، وعلى الرغم من نهج Azure.

التوجيه: الافتراضي المقترح هو توجيه سجلات الموارد إلى سجلات Azure Monitor حتى تتمكن من الاستعلام عنها باستخدام بيانات السجل الأخرى. تتوفر أيضا مواقع أخرى مثل Azure Storage وAzure Event Hubs وبعض شركاء مراقبة Microsoft. لمزيد من المعلومات، راجع سجلات موارد Azure ووجهات سجل الموارد.

للحصول على معلومات مفصلة حول جمع سجلات الموارد وتخزينها وتوجيهها، راجع إعدادات التشخيص في Azure Monitor.

للحصول على قائمة بجميع فئات سجل الموارد المتوفرة في Azure Monitor، راجع سجلات الموارد المدعومة في Azure Monitor.

تحتوي جميع سجلات الموارد في Azure Monitor على نفس حقول العنوان، متبوعة بالحقول الخاصة بالخدمة. المخطط الشائع مُوضح في مخطط سجل الموارد في Azure Monitor.

  • للحصول على فئات سجل موارد Data Factory المتوفرة وجداول Log Analytics المقترنة بها ومخططات السجلات، راجع مرجع بيانات مراقبة Data Factory.

  • لتكوين إعدادات التشخيص ومساحة عمل Log Analytics لمراقبة Data Factory، راجع تكوين إعدادات التشخيص ومساحة العمل.

سجل الأنشطة Azure

يحتوي سجل النشاط على أحداث على مستوى الاشتراك تتعقب العمليات لكل مورد Azure كما هو ظاهر من خارج هذا المورد؛ على سبيل المثال، إنشاء مورد جديد أو بدء تشغيل جهاز ظاهري.

المجموعة: يتم إنشاء أحداث سجل النشاط تلقائيا وتجميعها في مخزن منفصل للعرض في مدخل Microsoft Azure.

التوجيه: يمكنك إرسال بيانات سجل النشاط إلى سجلات Azure Monitor حتى تتمكن من تحليلها جنبا إلى جنب مع بيانات السجل الأخرى. تتوفر أيضا مواقع أخرى مثل Azure Storage وAzure Event Hubs وبعض شركاء مراقبة Microsoft. لمزيد من المعلومات حول كيفية توجيه سجل النشاط، راجع نظرة عامة على سجل نشاط Azure.

مراقبة أوقات تشغيل التكامل

وقت تشغيل التكامل هو البنية الأساسية للحوسبة التي يستخدمها Data Factory لتوفير قدرات تكامل البيانات عبر بيئات الشبكة المختلفة. يوفر Data Factory عدة أنواع من أوقات تشغيل التكامل:

  • وقت تشغيل التكامل في Azure
  • وقت تشغيل التكامل المستضاف ذاتيًا
  • وقت تشغيل تكامل خدمات تكامل Azure-SQL Server (SSIS)
  • وقت تشغيل تكامل Apache Airflow

يجمع Azure Monitor المقاييس وسجلات التشخيص لجميع أنواع أوقات تشغيل التكامل. للحصول على إرشادات مفصلة حول مراقبة أوقات تشغيل التكامل، راجع المقالات التالية:

تحليل بيانات المراقبة

هناك العديد من الأدوات لتحليل بيانات المراقبة.

أدوات Azure Monitor

يدعم Azure Monitor الأدوات الأساسية التالية:

  • مستكشف المقاييس، أداة في مدخل Microsoft Azure تسمح لك بعرض وتحليل المقاييس لموارد Azure. لمزيد من المعلومات، راجع تحليل المقاييس باستخدام مستكشف مقاييس Azure Monitor.

  • Log Analytics، أداة في مدخل Microsoft Azure تسمح لك بالاستعلام عن بيانات السجل وتحليلها باستخدام لغة استعلام Kusto (KQL). لمزيد من المعلومات، راجع البدء في استعلامات السجل في Azure Monitor.

  • سجل النشاط، الذي يحتوي على واجهة مستخدم في مدخل Microsoft Azure للعرض وعمليات البحث الأساسية. لإجراء تحليل أكثر تعمقا، يجب عليك توجيه البيانات إلى سجلات Azure Monitor وتشغيل استعلامات أكثر تعقيدا في Log Analytics.

تتضمن الأدوات التي تسمح بتصور أكثر تعقيدا ما يلي:

  • لوحات المعلومات التي تتيح لك دمج أنواع مختلفة من البيانات في جزء واحد في مدخل Microsoft Azure.
  • المصنفات والتقارير القابلة للتخصيص التي يمكنك إنشاؤها في مدخل Microsoft Azure. يمكن أن تتضمن المصنفات النص والمقاييس واستعلامات السجل.
  • Grafana، أداة منصة مفتوحة تتفوق في لوحات المعلومات التشغيلية. يمكنك استخدام Grafana لإنشاء لوحات معلومات تتضمن بيانات من مصادر متعددة غير Azure Monitor.
  • Power BI، خدمة تحليلات الأعمال التي توفر مرئيات تفاعلية عبر مصادر بيانات مختلفة. يمكنك تكوين Power BI لاستيراد بيانات السجل تلقائيًا من Azure Monitor للاستفادة من هذه المرئيات.

أدوات تصدير Azure Monitor

يمكنك الحصول على البيانات من Azure Monitor في أدوات أخرى باستخدام الطرق التالية:

  • المقاييس: استخدم واجهة برمجة تطبيقات REST للمقاييس لاستخراج بيانات القياس من قاعدة بيانات مقاييس Azure Monitor. تدعم واجهة برمجة التطبيقات تعبيرات التصفية لتحسين البيانات التي تم استردادها. لمزيد من المعلومات، راجع مرجع Azure Monitor REST API.

  • السجلات: استخدم واجهة برمجة تطبيقات REST أو مكتبات العميل المقترنة.

  • خيار آخر هو تصدير بيانات مساحة العمل.

لبدء استخدام واجهة برمجة تطبيقات REST ل Azure Monitor، راجع معاينة واجهة برمجة تطبيقات REST لمراقبة Azure.

للحصول على إرشادات مفصلة حول تكوين سجلات التشخيص باستخدام واجهة برمجة تطبيقات REST، راجع إعداد سجلات التشخيص عبر Azure Monitor REST API.

استعلامات Kusto

يمكنك تحليل بيانات المراقبة في مخزن Azure Monitor Logs / Log Analytics باستخدام لغة استعلام Kusto (KQL).

هام

عند تحديد Logs من قائمة الخدمة في المدخل، يفتح Log Analytics مع تعيين نطاق الاستعلام إلى الخدمة الحالية. يعني هذا النطاق أن استعلامات السجل ستتضمن بيانات من هذا النوع من الموارد فقط. إذا كنت ترغب في تشغيل استعلام يتضمن بيانات من خدمات Azure الأخرى، فحدد Logs من قائمة Azure Monitor . راجع نطاق الاستعلام عن السجل والزمن في Azure Monitor Log Analytics للحصول على التفاصيل.

للحصول على قائمة بالاستعلامات الشائعة لأي خدمة، راجع واجهة استعلامات Log Analytics.

على سبيل المثال الاستعلامات، حدد Logs ضمن Monitoring في التنقل الأيمن لصفحة Data Factory في مدخل Microsoft Azure، ثم حدد علامة التبويب Queries. فيما يلي بعض الأمثلة على الاستعلامات:

توفر PipelineRuns: يعطي توفر عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.

ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count())  by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart

يقوم النشاط بتشغيل أهم 5 حالات فشل: إرجاع أهم خمسة أنشطة فشلت مع أخطاء النظام.

ADFActivityRun 
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName  in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart

حالة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية: إرجاع أحدث حالة من عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.

ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId

التنبيهات

تقوم تنبيهات Azure Monitor بإعلامك بشكل استباقي عند العثور على شروط محددة في بيانات المراقبة الخاصة بك. تسمح لك التنبيهات بتحديد المشكلات ومعالجتها في النظام قبل أن يلاحظها عملاؤك. لمزيد من المعلومات، راجع تنبيهات Azure Monitor.

هناك العديد من مصادر التنبيهات الشائعة لموارد Azure. للحصول على أمثلة للتنبيهات الشائعة لموارد Azure، راجع نموذج استعلامات تنبيه السجل. يوفر موقع Azure Monitor Baseline Alerts (AMBA) طريقة شبه آلية لتنفيذ تنبيهات قياس النظام الأساسي الهامة ولوحات المعلومات والإرشادات. ينطبق الموقع على مجموعة فرعية موسعة باستمرار من خدمات Azure، بما في ذلك جميع الخدمات التي تعد جزءا من منطقة هبوط Azure (ALZ).

يوحد مخطط التنبيه الشائع استهلاك إعلامات تنبيه Azure Monitor. لمزيد من المعلومات، راجع مخطط التنبيه الشائع.

أنواع التنبيهات

يمكنك التنبيه على أي مقياس أو مصدر بيانات سجل في النظام الأساسي للبيانات Azure Monitor. هناك العديد من أنواع التنبيهات المختلفة اعتمادا على الخدمات التي تراقبها وبيانات المراقبة التي تجمعها. أنواع مختلفة من التنبيهات لها فوائد وعيوب مختلفة. لمزيد من المعلومات، راجع اختيار نوع تنبيه المراقبة الصحيح.

تصف القائمة التالية أنواع تنبيهات Azure Monitor التي يمكنك إنشاؤها:

  • تقيم التنبيهات القياسية مقاييس الموارد على فترات منتظمة. يمكن أن تكون المقاييس مقاييس النظام الأساسي أو المقاييس المخصصة أو السجلات من Azure Monitor المحولة إلى مقاييس أو مقاييس Application Insights. يمكن أن تطبق التنبيهات القياسية أيضا شروطا متعددة وحدا ديناميكيا.
  • تسمح تنبيهات السجل للمستخدمين باستخدام استعلام Log Analytics لتقييم سجلات الموارد بتردد محدد مسبقا.
  • يتم تشغيل تنبيهات سجل النشاط عند حدوث حدث سجل نشاط جديد يطابق الشروط المحددة. تنبيهات صحة الموارد وتنبيهات حالة الخدمة هي تنبيهات سجل النشاط التي تبلغ عن الخدمة وصحة الموارد.

تدعم بعض خدمات Azure أيضا تنبيهات الكشف الذكية أو تنبيهات Prometheus أو قواعد التنبيه الموصى بها.

بالنسبة لبعض الخدمات، يمكنك المراقبة على نطاق واسع عن طريق تطبيق نفس قاعدة التنبيه القياسي على موارد متعددة من نفس النوع موجودة في نفس منطقة Azure. يتم إرسال إعلامات فردية لكل مورد مراقب. للحصول على خدمات Azure المدعومة والسحب، راجع مراقبة موارد متعددة باستخدام قاعدة تنبيه واحدة.

قواعد تنبيه Data Factory

لإنشاء التنبيهات وإدارتها، حدد Alerts ضمن Monitoring في التنقل الأيمن لصفحة Data Factory في مدخل Microsoft Azure.

يسرد الجدول التالي قواعد التنبيه الشائعة لمصنع البيانات. هذه مجرد قائمة موصى بها. يمكنك تعيين تنبيهات لأي مقياس أو إدخال سجل أو إدخال سجل نشاط مدرج في مرجع بيانات مراقبة Data Factory.

نوع التنبيه شرط ‏‏الوصف
Metric قياسات عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية الفاشلة كلما كان إجمالي مقاييس تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية الفاشلة أكبر من 0
Metric إجمالي عدد العناصر كلما كان الحد الأقصى لعدد الكيانات أكبر من 1700000
Metric عدد الحد الأقصى للعناصر المسموح بها كلما كان الحد الأقصى لحجم المصنع الإجمالي (وحدة GB) أكبر من 6

توفر الإعلامات تنبيها استباقيا أثناء تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية أو بعده.

توصيات Advisor

بالنسبة لبعض الخدمات، إذا حدثت ظروف حرجة أو تغييرات وشيكة أثناء عمليات الموارد، يتم عرض تنبيه على صفحة نظرة عامة على الخدمة في المدخل. يمكنك العثور على مزيد من المعلومات والإصلاحات الموصى بها للتنبيه في توصيات Advisor ضمن المراقبة في القائمة اليمنى. أثناء العمليات العادية، لا يتم عرض توصيات المستشار.

لمزيد من المعلومات حول Azure Advisor، راجع نظرة عامة على Azure Advisor.

المحتوى ذو الصلة

  • راجع مرجع بيانات مراقبة Data Factory للحصول على مرجع للمقاييس والسجلات والقيم الهامة الأخرى التي تم إنشاؤها ل Data Factory.
  • راجع مراقبة موارد Azure باستخدام Azure Monitor للحصول على تفاصيل عامة حول مراقبة موارد Azure.