مشاركة عبر

بنية قاعدة تجميع البيانات في Azure Monitor

  • مقالة

قواعد جمع البيانات (DCRs) هي مجموعات من الإرشادات التي تحدد كيفية جمع ومعالجة بيانات تتبع الاستخدام المرسلة إلى Azure Monitor. سيتم إنشاء بعض DCRs وإدارتها بواسطة Azure Monitor. توضح هذه المقالة بنية JSON ل DCRs لإنشائها وتحريرها في تلك الحالات التي تحتاج فيها إلى العمل معها مباشرة.

خصائص

يصف الجدول التالي الخصائص في المستوى الأعلى من DCR.

الخاصية ‏‏الوصف
description وصف اختياري لقاعدة جمع البيانات التي يحددها المستخدم.
dataCollectionEndpointId معرف المورد لنقطة نهاية جمع البيانات (DCE) المستخدمة من قبل DCR إذا قمت بتوفير واحد عند إنشاء DCR. هذه الخاصية غير موجودة في DCRs التي لا تستخدم DCE.
endpoints1 يحتوي على logsIngestion عنوان URL و metricsIngestion لنقاط النهاية ل DCR. يتم إنشاء هذا القسم وخصائصه تلقائيا عند إنشاء DCR فقط إذا كانت السمة kind في DCR هي Direct.
immutableId معرف فريد لقاعدة جمع البيانات. يتم إنشاء هذه الخاصية وقيمتها تلقائيا عند إنشاء DCR.
kind تحديد سيناريو جمع البيانات الذي يتم استخدام DCR له. يتم وصف هذه المعلمة أدناه.

1لم يتم إنشاء هذه الخاصية ل DCRs التي تم إنشاؤها قبل 31 مارس 2024. تتطلب DCRs التي تم إنشاؤها قبل هذا التاريخ نقطة نهاية تجميع البيانات (DCE) والخاصية dataCollectionEndpointId التي سيتم تحديدها. إذا كنت ترغب في استخدام DCEs المضمنة هذه، فيجب عليك إنشاء DCR جديد.

النوع

kind تحدد الخاصية في DCR نوع المجموعة التي يتم استخدام DCR لها. كل نوع من DCR له بنية وخصائص مختلفة.

يسرد الجدول التالي الأنواع المختلفة من DCRs وتفاصيلها.

النوع ‏‏الوصف
Direct الاستيعاب المباشر باستخدام واجهة برمجة تطبيقات استيعاب السجلات. يتم إنشاء نقاط النهاية ل DCR فقط إذا تم استخدام هذه القيمة النوعية.
AgentDirectToStore إرسال البيانات المجمعة إلى Azure Storage ومراكز الأحداث.
AgentSettings تكوين معلمات عامل Azure Monitor.
Linux جمع الأحداث وبيانات الأداء من أجهزة Linux.
PlatformTelemetry تصدير مقاييس النظام الأساسي.
Windows جمع الأحداث وبيانات الأداء من أجهزة Windows.
WorkspaceTransforms تحويل مساحة العمل DCR. لا يتضمن DCR هذا دفق إدخال.

نظرة عامة على تدفق بيانات DCR

يظهر التدفق الأساسي ل DCR في الرسم التخطيطي التالي. يتم وصف كل مكون من المكونات في الأقسام التالية.

رسم تخطيطي يوضح العلاقة بين المقاطع المختلفة ل DCR.

تدفقات الإدخال

يحدد قسم دفق الإدخال في DCR البيانات الواردة التي يتم جمعها. هناك نوعان من الدفق الوارد، اعتمادا على سيناريو جمع البيانات المعين. تستخدم معظم سيناريوهات جمع البيانات أحد تدفقات الإدخال، بينما قد يستخدم بعضها كليهما.

إشعار

لا تحتوي DCRs لتحويل مساحة العمل على دفق إدخال.

دفق الإدخال ‏‏الوصف
dataSources نوع البيانات المعروف. غالبا ما تكون هذه بيانات تتم معالجتها بواسطة عامل Azure Monitor ويتم تسليمها إلى Azure Monitor باستخدام نوع بيانات معروف.
streamDeclarations البيانات المخصصة التي تحتاج إلى تعريف في DCR.

تستخدم streamDeclaration البيانات المرسلة من واجهة برمجة تطبيقات استيعاب السجلات مع مخطط البيانات الواردة. وذلك لأن واجهة برمجة التطبيقات ترسل بيانات مخصصة يمكن أن تحتوي على أي مخطط.

سجلات النص من AMA هي مثال على جمع البيانات التي تتطلب كل من dataSources و streamDeclarations. يتضمن مصدر البيانات التكوين

مصادر البيانات

مصادر البيانات هي مصادر فريدة من نوعها لمراقبة البيانات التي لكل منها تنسيقها وطريقتها الخاصة لكشف بياناتها. يحتوي كل نوع مصدر بيانات على مجموعة فريدة من المعلمات التي يجب تكوينها لكل مصدر بيانات. عادة ما تكون البيانات التي يتم إرجاعها بواسطة مصدر البيانات نوعا معروفا، لذلك لا يحتاج المخطط إلى تعريف في DCR.

على سبيل المثال، الأحداث وبيانات الأداء التي تم جمعها من جهاز ظاهري باستخدام عامل Azure Monitor (AMA)، تستخدم مصادر البيانات مثل windowsEventLogs و performanceCounters. يمكنك تحديد معايير للأحداث وعدادات الأداء التي تريد جمعها، ولكنك لا تحتاج إلى تحديد بنية البيانات نفسها لأن هذا مخطط معروف للبيانات الواردة المحتملة.

معلمات شائعة:

تشترك جميع أنواع مصادر البيانات في المعلمات الشائعة التالية.

المعلمة ‏‏الوصف‬
name اسم لتعريف مصدر البيانات في DCR.
streams قائمة بالتدفقات التي سيجمعها مصدر البيانات. إذا كان هذا نوع بيانات قياسيا مثل حدث Windows، فسيكون الدفق في النموذج Microsoft-<TableName>. إذا كان نوعا مخصصا، فسيكون في النموذج Custom-<TableName>

أنواع مصادر البيانات الصالحة

أنواع مصادر البيانات المتوفرة حاليا مدرجة في الجدول التالي.

نوع مصدر البيانات ‏‏الوصف عمليات النقل المستمر المعلمات
eventHub بيانات من Azure Event Hubs. مخصص1 consumerGroup - مجموعة المستهلكين من مركز الأحداث لجمع منها.
iisLogs سجلات IIS من أجهزة Windows Microsoft-W3CIISLog logDirectories - الدليل حيث يتم تخزين سجلات IIS على العميل.
logFiles نص أو سجل json على جهاز ظاهري مخصص1 filePatterns - نمط المجلد والملفات لملفات السجل التي سيتم جمعها من العميل.
format - json أو نص
performanceCounters عدادات الأداء لكل من الأجهزة الظاهرية التي تعمل بنظامي التشغيل Windows وLinux Microsoft-Perf
Microsoft-InsightsMetrics		 samplingFrequencyInSeconds - تكرار ضرورة أخذ عينات من بيانات الأداء.
counterSpecifiers - العناصر والعدادات التي يجب جمعها.
prometheusForwarder بيانات Prometheus التي تم جمعها من مجموعة Kubernetes. Microsoft-PrometheusMetrics streams - التدفقات التي يجب جمعها
labelIncludeFilter - قائمة عوامل تصفية تضمين التسمية كأزواج قيمة الاسم. يتم حاليا دعم "microsoft_metrics_include_label" فقط.
syslog أحداث Syslog على أجهزة Linux الظاهرية Microsoft-Syslog facilityNames - مرافق للتحصيل
logLevels - مستويات السجل لتجميعها
windowsEventLogs سجل أحداث Windows على الأجهزة الظاهرية Microsoft-Event xPathQueries - XPaths التي تحدد معايير الأحداث التي يجب جمعها.
extension مصدر البيانات المستند إلى الملحق المستخدم من قبل عامل Azure Monitor. يختلف حسب الملحق extensionName - اسم الملحق
extensionSettings - قيم لكل إعداد يتطلبه الملحق

1 تستخدم مصادر البيانات هذه كلا من مصدر البيانات وإعلان الدفق نظرا لأن مخطط البيانات التي تجمعها يمكن أن يختلف. يجب أن يكون الدفق المستخدم في مصدر البيانات هو الدفق المخصص المحدد في إعلان الدفق.

إعلانات الدفق

تعريف الأنواع المختلفة من البيانات المرسلة إلى مساحة عمل Log Analytics. كل دفق هو كائن يمثل مفتاحه اسم الدفق، والذي يجب أن يبدأ ب Custom-. يحتوي الدفق على قائمة كاملة بخصائص المستوى الأعلى المضمنة في بيانات JSON التي سيتم إرسالها. لا يحتاج شكل البيانات التي ترسلها إلى نقطة النهاية إلى مطابقة شكل الجدول الوجهة. بدلا من ذلك، يجب أن يتطابق إخراج التحويل الذي يتم تطبيقه فوق بيانات الإدخال مع شكل الوجهة.

أنواع البيانات

أنواع البيانات المحتملة التي يمكن تعيينها إلى الخصائص هي:

  • string
  • int
  • long
  • real
  • boolean
  • dynamic
  • datetime.

الوجهات

destinations يتضمن القسم إدخالا لكل وجهة سيتم إرسال البيانات إليها. تتم مطابقة هذه الوجهات مع تدفقات الإدخال في dataFlows القسم .

معلمات شائعة:

المعلمات ‏‏الوصف
name اسم لتعريف الوجهة في dataSources القسم .

وجهات صالحة

يتم سرد الوجهات المتوفرة حاليا في الجدول التالي.

الوجهة ‏‏الوصف تتمثل المعلمات المطلوبة في الآتي
logAnalytics مساحة عمل Log Analytics workspaceResourceId - معرف المورد لمساحة العمل.
workspaceID - معرف مساحة العمل

يحدد هذا مساحة العمل فقط، وليس الجدول الذي سيتم إرسال البيانات إليه. إذا كانت وجهة معروفة، فلا يلزم تحديد أي جدول. بالنسبة للجداول المخصصة، يتم تحديد الجدول في مصدر البيانات.
azureMonitorMetrics قياسات Azure Monitor لا يلزم تكوين نظرا لوجود مخزن مقاييس واحد فقط للاشتراك.
storageTablesDirect موقع تخزين جداول ‏‏Azure storageAccountResourceId - معرف المورد لحساب التخزين
tableName - اسم الجدول
storageBlobsDirect تخزين Azure Blob storageAccountResourceId - معرف المورد لحساب التخزين
containerName - اسم حاوية الكائن الثنائي كبير الحجم
eventHubsDirect مراكز الأحداث eventHubsDirect - معرف المورد لمركز الحدث.

هام

يمكن أن يرسل دفق واحد فقط إلى مساحة عمل Log Analytics واحدة في DCR. يمكنك الحصول على إدخالات متعددة dataFlow لدفق واحد إذا كانت تستخدم جداول مختلفة في نفس مساحة العمل. إذا كنت بحاجة إلى إرسال البيانات إلى مساحات عمل Log Analytics متعددة من دفق واحد، قم بإنشاء DCR منفصل لكل مساحة عمل.

تدفقات البيانات

تتطابق تدفقات البيانات مع تدفقات الإدخال مع الوجهات. قد يحدد كل مصدر بيانات تحويلا اختياريا، وفي بعض الحالات سيحدد جدولا محددا في مساحة عمل Log Analytics.

خصائص تدفق البيانات

قسم ‏‏الوصف
streams دفق واحد أو أكثر معرف في قسم تدفقات الإدخال. يمكنك تضمين تدفقات متعددة في تدفق بيانات واحد إذا كنت تريد إرسال مصادر بيانات متعددة إلى نفس الوجهة. استخدم دفقا واحدا فقط إذا كان تدفق البيانات يتضمن تحويلا. يمكن أيضا استخدام دفق واحد بواسطة تدفقات بيانات متعددة عندما تريد إرسال مصدر بيانات معين إلى جداول متعددة في نفس مساحة عمل Log Analytics.
destinations وجهة واحدة أو أكثر من destinations القسم أعلاه. يسمح بوجهات متعددة لسيناريوهات التوجيه المتعدد.
transformKql التحويل الاختياري المطبق على الدفق الوارد. يجب أن يفهم التحويل مخطط البيانات الواردة وبيانات الإخراج في مخطط الجدول الهدف. إذا كنت تستخدم تحويلا، يجب أن يستخدم تدفق البيانات دفق واحد فقط.
outputStream يصف الجدول في مساحة العمل المحددة ضمن الخاصية destination التي سيتم إرسال البيانات إليها. تحتوي قيمة outputStream على التنسيق Microsoft-[tableName] عند استيعاب البيانات في جدول قياسي، أو Custom-[tableName] عند استيعاب البيانات في جدول مخصص. يسمح بوجهة واحدة فقط لكل تدفق.

لا يتم استخدام هذه الخاصية لمصادر البيانات المعروفة من Azure Monitor مثل الأحداث وبيانات الأداء حيث يتم إرسالها إلى جداول معرفة مسبقا.

الخطوات التالية

نظرة عامة على قواعد جمع البيانات وأساليب إنشائها