مشاركة عبر

مراقبة Azure Stream Analytics

  • مقالة

توضح هذه المقالة ما يلي:

  • أنواع بيانات المراقبة التي يمكنك جمعها لهذه الخدمة.
  • طرق لتحليل تلك البيانات.

إشعار

إذا كنت على دراية بهذه الخدمة و/أو Azure Monitor وتريد فقط معرفة كيفية تحليل بيانات المراقبة، فشاهد قسم Analyze بالقرب من نهاية هذه المقالة.

عندما يكون لديك تطبيقات وعمليات أعمال مهمة تعتمد على موارد Azure، تحتاج إلى مراقبة النظام والحصول على تنبيهات له. تجمع خدمة Azure Monitor المقاييس والسجلات وتجمعها من كل مكون من مكونات النظام. يوفر لك Azure Monitor طريقة عرض التوفر والأداء والمرونة، ويعلمك بالمشكلات. يمكنك استخدام مدخل Microsoft Azure أو PowerShell أو Azure CLI أو REST API أو مكتبات العميل لإعداد بيانات المراقبة وعرضها.

للحصول على إرشادات حول كيفية مراقبة موارد Azure Stream Analytics وإدارتها باستخدام Azure PowerShell cmdlets والبرمجة النصية ل PowerShell، راجع مراقبة مهام Stream Analytics وإدارتها باستخدام Azure PowerShell cmdlets.

أنواع الموارد

يستخدم Azure مفهوم أنواع الموارد والمعرفات لتحديد كل شيء في الاشتراك. أنواع الموارد هي أيضا جزء من معرفات الموارد لكل مورد يعمل في Azure. على سبيل المثال، نوع مورد واحد لجهاز ظاهري هو Microsoft.Compute/virtualMachines. للحصول على قائمة بالخدمات وأنواع الموارد المقترنة بها، راجع موفري الموارد.

ينظم Azure Monitor بالمثل بيانات المراقبة الأساسية في مقاييس وسجلات استنادا إلى أنواع الموارد، وتسمى أيضا مساحات الأسماء. تتوفر مقاييس وسجلات مختلفة أنواع موارد مختلفة. قد تكون خدمتك مقترنة بأكثر من نوع مورد واحد.

لمزيد من المعلومات حول أنواع الموارد ل Azure Stream Analytics، راجع مرجع بيانات مراقبة Azure Stream Analytics.

تخزين البيانات.

بالنسبة إلى Azure Monitor:

  • يتم تخزين بيانات المقاييس في قاعدة بيانات مقاييس Azure Monitor.
  • يتم تخزين بيانات السجل في مخزن سجلات Azure Monitor. Log Analytics هي أداة في مدخل Microsoft Azure يمكنها الاستعلام عن هذا المتجر.
  • سجل نشاط Azure هو مخزن منفصل بواجهة خاصة به في مدخل Microsoft Azure.

يمكنك اختياريا توجيه بيانات سجل المقاييس والنشاط إلى مخزن سجلات Azure Monitor. يمكنك بعد ذلك استخدام Log Analytics للاستعلام عن البيانات وربطها ببيانات السجل الأخرى.

يمكن للعديد من الخدمات استخدام إعدادات التشخيص لإرسال بيانات القياس والسجل إلى مواقع التخزين الأخرى خارج Azure Monitor. تتضمن الأمثلة تخزين Azure وأنظمة الشركاء المستضافة وأنظمة الشركاء غير Azure باستخدام مراكز الأحداث.

للحصول على معلومات مفصلة حول كيفية تخزين Azure Monitor للبيانات، راجع النظام الأساسي لبيانات Azure Monitor.

مقاييس النظام الأساسي ل Azure Monitor

يوفر Azure Monitor مقاييس النظام الأساسي لمعظم الخدمات. هذه المقاييس هي:

  • معرف بشكل فردي لكل مساحة اسم.
  • مخزن في قاعدة بيانات مقاييس السلسلة الزمنية ل Azure Monitor.
  • خفيف الوزن وقادر على دعم التنبيه في الوقت الفعلي تقريبا.
  • يستخدم لتعقب أداء مورد بمرور الوقت.

المجموعة: يجمع Azure Monitor مقاييس النظام الأساسي تلقائيا. لا يلزم التكوين.

التوجيه: يمكنك أيضا توجيه بعض مقاييس النظام الأساسي إلى Azure Monitor Logs / Log Analytics حتى تتمكن من الاستعلام عنها باستخدام بيانات السجل الأخرى. تحقق من إعداد تصدير DS لكل مقياس لمعرفة ما إذا كان يمكنك استخدام إعداد تشخيص لتوجيه المقياس إلى سجلات Azure Monitor / Log Analytics.

للحصول على قائمة بجميع المقاييس، من الممكن جمعها لجميع الموارد في Azure Monitor، راجع المقاييس المدعومة في Azure Monitor.

مقاييس Azure Stream Analytics

للحصول على وصف لكيفية مراقبة المقاييس في مدخل Microsoft Azure، راجع مراقبة وظيفة Stream Analytics باستخدام مدخل Microsoft Azure.

إشعار

وظائف Azure Stream Analytics التي يتم إنشاؤها عبر واجهات برمجة تطبيقات REST أو Azure SDK أو PowerShell لا يتم تمكين المراقبة بشكل افتراضي. لتمكين المراقبة، اتبع الخطوات الواردة في إنشاء مراقبة وظيفة Stream Analytics برمجيا. ثم تظهر بيانات المراقبة في منطقة المقاييس في صفحة مدخل Microsoft Azure لمهمة Stream Analytics.

يسرد الجدول التالي الشروط والإجراءات التصحيحية لبعض مقاييس Azure Stream Analytics المراقبة بشكل شائع.

Metric الشرط تجميع الوقت الحد الإجراءات التصحيحية
استخدام SU (الذاكرة) % أكبر من المتوسط 80 تزيد عوامل متعددة من استخدام وحدات SUs. يمكنك تغيير الحجم باستخدام موازنة الاستعلام أو زيادة عدد وحدات الدفق. لمزيد من المعلومات، راجع الاستفادة من موازنة الاستعلام في Azure Stream Analytics.
استخدام % للمعالج أكبر من المتوسط 90 وهذا يعني على الأرجح أن بعض العمليات (مثل الوظائف المعرفة من قبل المستخدم أو التجميعات المعرفة من قبل المستخدم أو إلغاء تسلسل الإدخال المعقد) تتطلب الكثير من دورات وحدة المعالجة المركزية. يمكنك عادة التغلب على هذه المشكلة عن طريق زيادة عدد وحدات التدفق للوظيفة.
أخطاء وقت التشغيل أكبر من الإجمالي 0 افحص النشاط أو سجلات الموارد وقم بإجراء التغييرات المناسبة على المدخلات أو الاستعلام أو المخرجات.
تأخير العلامة المائية أكبر من المتوسط عندما يكون متوسط قيمة هذا المقياس خلال آخر 15 دقيقة أكبر من تفاوت الوصول المتأخر (بالثواني). إن لم تقم بتعديل التسامح مع الوصول المتأخر، يتم تعيين الإعداد الافتراضي على 5 ثوان. حاول زيادة عدد وحدات SU أو موازاة الاستعلام الخاص بك. لمزيد من المعلومات، راجع فهم وحدات التدفق وضبطها. لمزيد من المعلومات حول موازاة الاستعلام، راجع الاستفادة من موازاة الاستعلام في Azure Stream Analytics.
أخطاء إلغاء تسلسل الإدخال أكبر من الإجمالي 0 افحص النشاط أو سجلات الموارد وقم بإجراء التغييرات المناسبة على المدخلات. لمزيد من المعلومات حول سجلات الموارد، راجع استكشاف أخطاء Azure Stream Analytics وإصلاحها باستخدام سجلات الموارد

للحصول على قائمة ووصف لجميع المقاييس المتوفرة ل Azure Stream Analytics، راجع مرجع بيانات مراقبة Azure Stream Analytics.

سجلات موارد Azure Monitor

توفر سجلات الموارد نظرة ثاقبة على العمليات التي تم إجراؤها بواسطة مورد Azure. يتم إنشاء السجلات تلقائيا، ولكن يجب توجيهها إلى سجلات Azure Monitor لحفظها أو الاستعلام عنها. يتم تنظيم السجلات في فئات. قد تحتوي مساحة الاسم المحددة على فئات سجل موارد متعددة.

المجموعة: لا يتم تجميع سجلات الموارد وتخزينها حتى تقوم بإنشاء إعداد تشخيص وتوجيه السجلات إلى موقع واحد أو أكثر. عند إنشاء إعداد تشخيص، فإنك تحدد فئات السجلات المراد تجميعها. هناك طرق متعددة لإنشاء إعدادات التشخيص وصيانتها، بما في ذلك مدخل Microsoft Azure برمجيا، وعلى الرغم من نهج Azure.

التوجيه: الافتراضي المقترح هو توجيه سجلات الموارد إلى سجلات Azure Monitor حتى تتمكن من الاستعلام عنها باستخدام بيانات السجل الأخرى. تتوفر أيضا مواقع أخرى مثل Azure Storage وAzure Event Hubs وبعض شركاء مراقبة Microsoft. لمزيد من المعلومات، راجع سجلات موارد Azure ووجهات سجل الموارد.

للحصول على معلومات مفصلة حول جمع سجلات الموارد وتخزينها وتوجيهها، راجع إعدادات التشخيص في Azure Monitor.

للحصول على قائمة بجميع فئات سجل الموارد المتوفرة في Azure Monitor، راجع سجلات الموارد المدعومة في Azure Monitor.

تحتوي جميع سجلات الموارد في Azure Monitor على نفس حقول العنوان، متبوعة بالحقول الخاصة بالخدمة. المخطط الشائع مُوضح في مخطط سجل الموارد في Azure Monitor.

سجلات Azure Stream Analytics

يلتقط Azure Stream Analytics فئتين من سجلات الموارد:

  • التأليف: يلتقط أحداث السجل المتعلقة بعمليات تأليف الوظيفة، مثل إنشاء الوظيفة وإضافة وحذف المدخلات والمخرجات وإضافة الاستعلام وتحديثه وبدء المهمة أو إيقافها.

  • التنفيذ: يلتقط الأحداث التي تحدث أثناء تنفيذ المهمة.

    • أخطاء الاتصال
    • أخطاء معالجة البيانات، بما في ذلك:
      • الأحداث التي لا تتوافق مع تعريف الاستعلام (أنواع الحقول والقيم غير المتطابقة والحقول المفقودة وما إلى ذلك)
      • أخطاء تقييم التعبير
    • أحداث وأخطاء أخرى

بالنسبة لفئات سجل الموارد المتوفرة وجداول Log Analytics المقترنة بها ومخططات السجل ل Azure Stream Analytics، راجع مرجع بيانات مراقبة Azure Stream Analytics.

للحصول على معاينة مفصلة حول كيفية استكشاف أخطاء فشل مهمة Azure Stream Analytics وإصلاحها باستخدام سجلات الموارد، راجع استكشاف أخطاء Azure Stream Analytics وإصلاحها باستخدام سجلات الموارد.

سجل الأنشطة Azure

يحتوي سجل النشاط على أحداث على مستوى الاشتراك تتعقب العمليات لكل مورد Azure كما هو ظاهر من خارج هذا المورد؛ على سبيل المثال، إنشاء مورد جديد أو بدء تشغيل جهاز ظاهري.

المجموعة: يتم إنشاء أحداث سجل النشاط تلقائيا وتجميعها في مخزن منفصل للعرض في مدخل Microsoft Azure.

التوجيه: يمكنك إرسال بيانات سجل النشاط إلى سجلات Azure Monitor حتى تتمكن من تحليلها جنبا إلى جنب مع بيانات السجل الأخرى. تتوفر أيضا مواقع أخرى مثل Azure Storage وAzure Event Hubs وبعض شركاء مراقبة Microsoft. لمزيد من المعلومات حول كيفية توجيه سجل النشاط، راجع نظرة عامة على سجل نشاط Azure.

للحصول على إرشادات تفصيلية حول كيفية استكشاف أخطاء فشل مهمة Azure Stream Analytics وإصلاحها باستخدام سجل النشاط، راجع تصحيح الأخطاء باستخدام سجلات النشاط.

تحليل بيانات المراقبة

هناك العديد من الأدوات لتحليل بيانات المراقبة.

أدوات Azure Monitor

يدعم Azure Monitor الأدوات الأساسية التالية:

  • مستكشف المقاييس، أداة في مدخل Microsoft Azure تسمح لك بعرض وتحليل المقاييس لموارد Azure. لمزيد من المعلومات، راجع تحليل المقاييس باستخدام مستكشف مقاييس Azure Monitor.

  • Log Analytics، أداة في مدخل Microsoft Azure تسمح لك بالاستعلام عن بيانات السجل وتحليلها باستخدام لغة استعلام Kusto (KQL). لمزيد من المعلومات، راجع البدء في استعلامات السجل في Azure Monitor.

  • سجل النشاط، الذي يحتوي على واجهة مستخدم في مدخل Microsoft Azure للعرض وعمليات البحث الأساسية. لإجراء تحليل أكثر تعمقا، يجب عليك توجيه البيانات إلى سجلات Azure Monitor وتشغيل استعلامات أكثر تعقيدا في Log Analytics.

تتضمن الأدوات التي تسمح بتصور أكثر تعقيدا ما يلي:

  • لوحات المعلومات التي تتيح لك دمج أنواع مختلفة من البيانات في جزء واحد في مدخل Microsoft Azure.
  • المصنفات والتقارير القابلة للتخصيص التي يمكنك إنشاؤها في مدخل Microsoft Azure. يمكن أن تتضمن المصنفات النص والمقاييس واستعلامات السجل.
  • Grafana، أداة منصة مفتوحة تتفوق في لوحات المعلومات التشغيلية. يمكنك استخدام Grafana لإنشاء لوحات معلومات تتضمن بيانات من مصادر متعددة غير Azure Monitor.
  • Power BI، خدمة تحليلات الأعمال التي توفر مرئيات تفاعلية عبر مصادر بيانات مختلفة. يمكنك تكوين Power BI لاستيراد بيانات السجل تلقائيًا من Azure Monitor للاستفادة من هذه المرئيات.

أدوات تصدير Azure Monitor

يمكنك الحصول على البيانات من Azure Monitor في أدوات أخرى باستخدام الطرق التالية:

  • المقاييس: استخدم واجهة برمجة تطبيقات REST للمقاييس لاستخراج بيانات القياس من قاعدة بيانات مقاييس Azure Monitor. تدعم واجهة برمجة التطبيقات تعبيرات التصفية لتحسين البيانات التي تم استردادها. لمزيد من المعلومات، راجع مرجع Azure Monitor REST API.

  • السجلات: استخدم واجهة برمجة تطبيقات REST أو مكتبات العميل المقترنة.

  • خيار آخر هو تصدير بيانات مساحة العمل.

لبدء استخدام واجهة برمجة تطبيقات REST ل Azure Monitor، راجع معاينة واجهة برمجة تطبيقات REST لمراقبة Azure.

استعلامات Kusto

يمكنك تحليل بيانات المراقبة في مخزن Azure Monitor Logs / Log Analytics باستخدام لغة استعلام Kusto (KQL).

هام

عند تحديد Logs من قائمة الخدمة في المدخل، يفتح Log Analytics مع تعيين نطاق الاستعلام إلى الخدمة الحالية. يعني هذا النطاق أن استعلامات السجل ستتضمن بيانات من هذا النوع من الموارد فقط. إذا كنت ترغب في تشغيل استعلام يتضمن بيانات من خدمات Azure الأخرى، فحدد Logs من قائمة Azure Monitor . راجع نطاق الاستعلام عن السجل والزمن في Azure Monitor Log Analytics للحصول على التفاصيل.

للحصول على قائمة بالاستعلامات الشائعة لأي خدمة، راجع واجهة استعلامات Log Analytics.

نماذج الاستعلامات

فيما يلي نماذج الاستعلامات التي يمكنك استخدامها للمساعدة في مراقبة موارد Azure Stream Analytics:

  • سرد كافة أخطاء بيانات الإدخال. يعرض الاستعلام التالي جميع الأخطاء التي حدثت أثناء معالجة البيانات من المدخلات.

    AzureDiagnostics 
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).Type == "DataError" 
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • الأحداث التي وصلت متأخرة. يظهر الاستعلام التالي أخطاء بسبب الأحداث التي يكون فيها الفرق بين وقت التطبيق ووقت الوصول أكبر من نهج الوصول المتأخر.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and  parse_json(properties_s).DataErrorType == "LateInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • الأحداث التي وصلت مبكرا. يعرض الاستعلام التالي أخطاء بسبب الأحداث حيث يكون الفرق بين وقت التطبيق ووقت الوصول أكبر من 5 دقائق.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "EarlyInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • الأحداث التي وصلت خارج النظام. يظهر الاستعلام التالي أخطاء بسبب الأحداث التي تصل خارج الترتيب وفقا لنهج خارج الترتيب.

    // To create an alert for this query, click '+ New alert rule'
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "OutOfOrderEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • كافة أخطاء بيانات الإخراج. يعرض الاستعلام التالي جميع الأخطاء التي حدثت أثناء كتابة نتائج الاستعلام إلى المخرجات في وظيفتك.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType in ("OutputDataConversionError.RequiredColumnMissing", "OutputDataConversionError.ColumnNameInvalid", "OutputDataConversionError.TypeConversionError", "OutputDataConversionError.RecordExceededSizeLimit", "OutputDataConversionError.DuplicateKey")
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • يعرض الاستعلام التالي ملخص العمليات الفاشلة في الأيام السبعة الماضية.

    AzureDiagnostics
| where TimeGenerated > ago(7d) //last 7 days
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and status_s == "Failed" 
| summarize Count=count(), sampleEvent=any(properties_s) by JobName=Resource

التنبيهات

تقوم تنبيهات Azure Monitor بإعلامك بشكل استباقي عند العثور على شروط محددة في بيانات المراقبة الخاصة بك. تسمح لك التنبيهات بتحديد المشكلات ومعالجتها في النظام قبل أن يلاحظها عملاؤك. لمزيد من المعلومات، راجع تنبيهات Azure Monitor.

هناك العديد من مصادر التنبيهات الشائعة لموارد Azure. للحصول على أمثلة للتنبيهات الشائعة لموارد Azure، راجع نموذج استعلامات تنبيه السجل. يوفر موقع Azure Monitor Baseline Alerts (AMBA) طريقة شبه آلية لتنفيذ تنبيهات قياس النظام الأساسي الهامة ولوحات المعلومات والإرشادات. ينطبق الموقع على مجموعة فرعية موسعة باستمرار من خدمات Azure، بما في ذلك جميع الخدمات التي تعد جزءا من منطقة هبوط Azure (ALZ).

يوحد مخطط التنبيه الشائع استهلاك إعلامات تنبيه Azure Monitor. لمزيد من المعلومات، راجع مخطط التنبيه الشائع.

أنواع التنبيهات

يمكنك التنبيه على أي مقياس أو مصدر بيانات سجل في النظام الأساسي للبيانات Azure Monitor. هناك العديد من أنواع التنبيهات المختلفة اعتمادا على الخدمات التي تراقبها وبيانات المراقبة التي تجمعها. أنواع مختلفة من التنبيهات لها فوائد وعيوب مختلفة. لمزيد من المعلومات، راجع اختيار نوع تنبيه المراقبة الصحيح.

تصف القائمة التالية أنواع تنبيهات Azure Monitor التي يمكنك إنشاؤها:

  • تقيم التنبيهات القياسية مقاييس الموارد على فترات منتظمة. يمكن أن تكون المقاييس مقاييس النظام الأساسي أو المقاييس المخصصة أو السجلات من Azure Monitor المحولة إلى مقاييس أو مقاييس Application Insights. يمكن أن تطبق التنبيهات القياسية أيضا شروطا متعددة وحدا ديناميكيا.
  • تسمح تنبيهات السجل للمستخدمين باستخدام استعلام Log Analytics لتقييم سجلات الموارد بتردد محدد مسبقا.
  • يتم تشغيل تنبيهات سجل النشاط عند حدوث حدث سجل نشاط جديد يطابق الشروط المحددة. تنبيهات صحة الموارد وتنبيهات حالة الخدمة هي تنبيهات سجل النشاط التي تبلغ عن الخدمة وصحة الموارد.

تدعم بعض خدمات Azure أيضا تنبيهات الكشف الذكية أو تنبيهات Prometheus أو قواعد التنبيه الموصى بها.

بالنسبة لبعض الخدمات، يمكنك المراقبة على نطاق واسع عن طريق تطبيق نفس قاعدة التنبيه القياسي على موارد متعددة من نفس النوع موجودة في نفس منطقة Azure. يتم إرسال إعلامات فردية لكل مورد مراقب. للحصول على خدمات Azure المدعومة والسحب، راجع مراقبة موارد متعددة باستخدام قاعدة تنبيه واحدة.

قواعد تنبيه Azure Stream Analytics

يسرد الجدول التالي بعض قواعد التنبيه المقترحة ل Azure Stream Analytics. هذه التنبيهات هي مجرد أمثلة. يمكنك تعيين تنبيهات لأي مقياس أو إدخال سجل أو إدخال سجل نشاط مدرج في مرجع بيانات مراقبة Azure Stream Analytics.

نوع التنبيه شرط ‏‏الوصف
قياسات النظام الأساسي استخدام الذاكرة لوحدة البث (SU) كلما كان متوسط SU (الذاكرة) ٪ استخدام أكبر من 80٪
سجل النشاط العمليات الفاشلة كلما كان سجل النشاط يحتوي على حدث مع Category='Administrative', Signal name='All Administrative operations', Status='Failed'

للحصول على إرشادات مفصلة حول كيفية إعداد تنبيه ل Azure Stream Analytics، راجع إعداد التنبيهات لوظائف Azure Stream Analytics.

توصيات Advisor

بالنسبة لبعض الخدمات، إذا حدثت ظروف حرجة أو تغييرات وشيكة أثناء عمليات الموارد، يتم عرض تنبيه على صفحة نظرة عامة على الخدمة في المدخل. يمكنك العثور على مزيد من المعلومات والإصلاحات الموصى بها للتنبيه في توصيات Advisor ضمن المراقبة في القائمة اليمنى. أثناء العمليات العادية، لا يتم عرض توصيات المستشار.

لمزيد من المعلومات حول Azure Advisor، راجع نظرة عامة على Azure Advisor.

المحتوى ذو الصلة