تحويلات جمع البيانات في Azure Monitor
باستخدام التحويلات في Azure Monitor، يمكنك تصفية البيانات الواردة أو تعديلها قبل إرسالها إلى مساحة عمل Log Analytics. توفر هذه المقالة وصفا أساسيا للتحويلات وكيفية تنفيذها. يوفر ارتباطات إلى محتوى آخر لإنشاء تحويل.
يتم تنفيذ التحويلات في Azure Monitor في البنية الأساسية لاستيعاب البيانات بعد أن يقوم مصدر البيانات بتسليم البيانات وقبل إرسالها إلى الوجهة. قد يقوم مصدر البيانات بإجراء التصفية الخاصة به قبل إرسال البيانات ولكن بعد ذلك يعتمد على التحويل لمزيد من المعالجة قبل إرساله إلى الوجهة.
يتم تعريف التحويلات في قاعدة تجميع البيانات (DCR) واستخدام عبارة Kusto Query Language (KQL) التي يتم تطبيقها بشكل فردي على كل إدخال في البيانات الواردة. يجب أن يتعرف على تنسيق البيانات الواردة وأن ينشئ إخراجًا في البنية المتوقعة من قبل الوجهة.
يوضح الرسم التخطيطي التالي عملية التحويل للبيانات الواردة ويعرض نموذج استعلام قد يتم استخدامه. راجع بنية التحويل في Azure Monitor للحصول على تفاصيل حول إنشاء استعلامات التحويل.
لماذا تستخدم التحويلات
يصف الجدول التالي الأهداف المختلفة التي يمكنك تحقيقها باستخدام التحويلات.
| الفئة | التفاصيل |
|---|---|
| إزالة البيانات الحساسة | قد يكون لديك مصدر بيانات يرسل معلومات لا تريد تخزينها لأسباب تتعلق بالخصوصية أو التوافق. تصفية معلومات حساسة. تصفية صفوف كاملة أو أعمدة معينة تحتوي على معلومات حساسة. التعتيم على المعلومات الحساسة. استبدل معلومات مثل الأرقام الموجودة في عنوان IP أو رقم الهاتف بحرف شائع. إرسال إلى جدول بديل. إرسال سجلات حساسة إلى جدول بديل بتكوين مختلف للتحكم في الوصول استنادا إلى الدور. |
| إثراء البيانات بمعلومات أكثر أو محسوبة | استخدم تحويلاً لإضافة معلومات إلى البيانات التي توفر سياق العمل أو تبسط الاستعلام عن البيانات لاحقًا. أضف عمودا يحتوي على مزيد من المعلومات. على سبيل المثال، يمكنك إضافة عمود يحدد ما إذا كان عنوان IP في عمود آخر داخليًا أم خارجيًا. إضافة معلومات خاصة بالأعمال. على سبيل المثال، يمكنك إضافة عمود يشير إلى قسم شركة بناءً على معلومات الموقع في أعمدة أخرى. |
| تقليل تكاليف البيانات | نظرا إلى أنك تتحمل تكلفة الاستيعاب لأي بيانات يتم إرسالها إلى مساحة عمل Log Analytics، فأنت تريد تصفية أي بيانات لا تحتاجها لتقليل التكاليف. إزالة الصفوف بأكملها. على سبيل المثال، قد يكون لديك إعداد تشخيص لتجميع سجلات الموارد من مورد معين ولكن لا يتطلب جميع إدخالات السجل التي يقوم بإنشائها. إنشاء تحويل يقوم بتصفية السجلات التي تطابق معايير معينة. إزالة عمود من كل صف. على سبيل المثال، قد تتضمن بياناتك أعمدة تحتوي على بيانات زائدة عن الحاجة أو ذات قيمة دنيا. إنشاء تحويل يقوم بتصفية الأعمدة غير المطلوبة. توزيع البيانات المهمة من عمود. قد يكون لديك جدول يحتوي على بيانات قيمة مدفونة في عمود معين. استخدم تحويلًا لتوزيع البيانات القيمة إلى عمود جديد وإزالة الأصلي. إرسال صفوف معينة إلى السجلات الأساسية. أرسل صفوفا في بياناتك تتطلب قدرات استعلام أساسية إلى جداول السجلات الأساسية لتكلفة استيعاب أقل. |
| تنسيق البيانات للوجهة | قد يكون لديك مصدر بيانات يرسل البيانات بتنسيق لا يتطابق مع بنية الجدول الوجهة. استخدم تحويلا لإضافة البيانات إلى المخطط المطلوب. |
الجداول المدعومة
راجع الجداول التي تدعم التحويلات في سجلات Azure Monitor للحصول على قائمة بالجداول التي يمكن استخدامها مع التحويلات. يمكنك أيضا استخدام مرجع بيانات Azure Monitor الذي يسرد السمات لكل جدول، بما في ذلك ما إذا كان يدعم التحويلات. بالإضافة إلى هذه الجداول، يتم أيضا دعم أي جداول مخصصة (لاحقة _CL).
- أي جدول Azure مدرج في الجداول التي تدعم التحويلات في سجلات Azure Monitor. يمكنك أيضا استخدام مرجع بيانات Azure Monitor الذي يسرد السمات لكل جدول، بما في ذلك ما إذا كان يدعم التحويلات.
- أي جدول مخصص تم إنشاؤه لعامل Azure Monitor. (لا يمكن لجدول MMA المخصص استخدام التحويلات)
إنشاء تحويل
هناك أساليب متعددة لإنشاء تحويلات بناءً على أسلوب جمع البيانات. يسرد الجدول التالي إرشادات حول أساليب مختلفة لإنشاء التحويلات.
| تجميع البيانات | المرجع |
|---|---|
| واجهة برمجة تطبيقات استيعاب السجلات | إرسال البيانات إلى سجلات Azure Monitor باستخدام واجهة برمجة تطبيقات REST (مدخل Microsoft Azure) إرسال البيانات إلى سجلات Azure Monitor باستخدام REST API (قوالب Azure Resource Manager) |
| جهاز ظاهري مع عامل Azure Monitor | إضافة تحويل إلى Azure Monitor Log |
| مجموعة Kubernetes مع نتائج تحليلات الحاوية | تحويلات البيانات في نتائج تحليلات الحاوية |
| مراكز أحداث Azure | البرنامج التعليمي: استيعاب الأحداث من Azure Event Hubs في سجلات Azure Monitor (معاينة عامة) |
تكلفة التحويلات
في حين أن التحويلات نفسها لا تتحمل تكاليف مباشرة، يمكن أن تؤدي السيناريوهات التالية إلى رسوم إضافية:
- إذا زاد التحويل من حجم البيانات الواردة، مثل إضافة عمود محسوب، تحصيل معدل الاستيعاب القياسي للبيانات الإضافية.
- إذا قلل التحويل من البيانات التي تم استيعابها بأكثر من 50٪، تحصيل رسوم منك مقابل كمية البيانات التي تمت تصفيتها أعلى من 50٪.
لحساب رسوم معالجة البيانات الناتجة عن التحويلات، استخدم الصيغة التالية:
[تمت تصفية GB بواسطة التحويلات] - ([بيانات GB التي تم استيعابها بواسطة البنية الأساسية لبرنامج ربط العمليات التجارية] / 2). يعرض الجدول التالي أمثلة.
| البيانات التي يتم استيعابها بواسطة البنية الأساسية لبرنامج ربط العمليات التجارية | البيانات التي تم إسقاطها عن طريق التحويل | البيانات التي تم استيعابها بواسطة مساحة عمل Log Analytics | رسوم معالجة البيانات | رسوم الاستيعاب |
|---|---|---|---|---|
| 20 غيغابايت | 12 غيغابايت | 8 غيغابايت | 2 غيغابايت 1 | 8 غيغابايت |
| 20 غيغابايت | 8 غيغابايت | 12 غيغابايت | 0 غيغابايت | 12 غيغابايت |
1 تستثني هذه الرسوم رسوم البيانات التي يتم تناولها بواسطة مساحة عمل Log Analytics.
لتجنب هذه الرسوم، يجب تصفية البيانات التي تم استيعابها باستخدام أساليب بديلة قبل تطبيق التحويلات. من خلال القيام بذلك، يمكنك تقليل كمية البيانات التي تتم معالجتها بواسطة التحويلات، وبالتالي، تقليل أي تكاليف إضافية.
راجع تسعير Azure Monitor للتكاليف الحالية لاستيعاب بيانات السجل والاحتفاظ بها في Azure Monitor.
هام
إذا تم تمكين Azure Sentinel لمساحة عمل Log Analytics، فلا توجد رسوم استيعاب تصفية بغض النظر عن مقدار البيانات التي تقوم عوامل تصفية التحويل بها.