جمع السجلات النصية باستخدام عامل Log Analytics في Azure Monitor
يسمح لك مصدر بيانات سجلات مخصصة لعامل "تحليلات السجل" في Azure Monitor بتجميع الأحداث من الملفات النصية على كل من نوافذ أجهزة الكمبيوتر وLinux. تسجيل العديد من تطبيقات المعلومات إلى ملفات نصية بدلًا من خدمات تسجيل قياسية مثل نوافذ سجل الأحداث أو Syslog. بعد جمع البيانات، يمكنك إما تحليلها إلى حقول فردية في استعلاماتك أو استخراجها أثناء التجميع إلى حقول فردية.
هام
توضح هذه المقالة كيفية جمع سجل نصي باستخدام عامل Log Analytics. إذا كنت تستخدم عامل Azure Monitor، فشاهد تجميع سجلات النص باستخدام عامل Azure Monitor.
هام
تم إهمال عامل Log Analytics القديم اعتبارا من 31 أغسطس 2024. لن توفر Microsoft بعد الآن أي دعم لعامل Log Analytics. إذا كنت تستخدم عامل Log Analytics لاستيعاب البيانات إلى Azure Monitor، فرحل الآن إلى عامل Azure Monitor.
يتعين أن تتطابق ملفات السجل التي سيتم تجميعها مع المعايير التالية:
يجب أن يكون السجل إدخالًا واحدًا لكل خط أو استخدام طابع زمني مطابق أحد النماذج التالية في بداية كل إدخال:
YYYY-MM-DD HH:MM:SS
M/D/YYYY HH:MM:SS AM/PM
M/D/YYYY HH:MM:SS AM/PM
yyMMdd HH:mm:ss
ddMMyy HH:mm:ss
MMM d hh:mm:ss
dd/MMM/yyyy:HH:mm:ss zzz
yyyy-MM-ddTHH:mm:ssKيجب ألا يسمح ملف السجل بالتسجيل الدائري. هذا السلوك هو استدارة السجل حيث يتم الكتابة فوق الملف بإدخالات جديدة أو إعادة تسمية الملف وإعادة استخدام نفس اسم الملف للتسجيل المستمر.
يتعين أن يستخدم ملف السجل ترميز ASCII أو UTF-8. لا يتم دعم التنسيقات الأخرى مثل UTF-16.
بالنسبة إلى Linux، لا يتم دعم تحويل المنطقة الزمنية للطوابع الزمنية في السجلات.
وكأفضل ممارسة، يجب أن يتضمن ملف السجل التاريخ والوقت اللذين تم إنشاؤهما فيه لمنع الكتابة فوق السجل أو إعادة التسمية.
ملاحظة
إذا كانت هناك إدخالات مكررة في ملف السجل، سوف يقوم Azure Monitor بتجميعها. ستكون نتائج الاستعلام التي تم إنشاؤها غير متناسقة. ستعرض نتائج التصفية أحداثًا أكثر من عدد النتائج. يجب التحقق من صحة السجل لتحديد ما إذا كان التطبيق الذي أنشأه يسبب هذا السلوك. عالج المشكلة، إن أمكن، قبل إنشاء تعريف مجموعة السجل المخصص.
تدعم مساحة عمل سجل التحليلات الحدود التالية:
- يمكن إنشاء 500 سجل مخصص فقط.
- الاعتماد الكلي للجدول يصل إلى 500 عمود فقط.
- يعد الحد الأقصى لعدد الأحرف لاسم العمود هو 500.
هام
يتطلب تجميع سجل مجموعة التطبيق كتابة ملف السجل مسح محتوى السجل إلى القرص بشكل دوري. ويرجع ذلك إلى أن مجموعة السجل المخصصة تعتمد على إخطارات تغيير نظام الملفات لملف السجل الذي يتم تعقبه.
استخدم الإجراء التالي لتعريف جدول سجل مخصص. قم بالتمرير إلى نهاية هذه المقالة للحصول على معاينة عينة من إضافة سجل مخصص.
يشغل "معالج سجل مخصص" في مدخل Microsoft Azure ويسمح لك بتعريف سجل مخصص جديد لتجميع.
في مدخل Microsoft Azure، حدد مساحات> عمل Log Analytics جداول مساحة >العمل الخاصة بك.
حدد إنشاء ثم سجل مخصص جديد (مستند إلى MMA) .
بشكل افتراضي، يتم دفع جميع تغييرات التكوين تلقائيًا إلى جميع العوامل. بالنسبة لعوامل Linux، يتم إرسال ملف تكوين إلى جامع البيانات Fluentd.
للبدء، قم بتحميل عينة من السجل المخصص. سيقوم المعالج بتوزيع وعرض الإدخالات في هذا الملف للتحقق من صحتها. سيتم استخدام Azure Monitor محدد الذي تحدده لتعريف كل سجل.
الخط الجديد هو المحدد الافتراضي ويستخدم لملفات السجل التي تحتوي على إدخال واحد لكل خط. إذا بدأ الخط بتاريخ ووقت في أحد النماذج المتوفرة، فيمكنك تحديد محدد Timestamp الذي يدعم الإدخالات التي تمتد لأكثر من خط واحد.
إذا تم استخدام محدد طابع زمني، فسيتم تعبئة خاصية TimeGenerated لكل سجل مخزن في Azure Monitor بالتاريخ والوقت المحددين لذلك الإدخال في ملف السجل. إذا تم استخدام محدد خط جديد، فسيتم تعبئة TimeGenerated بالتاريخ والوقت اللذين قام فيهما Azure Monitor بتجميع الإدخال.
حدد Browse واستعرض عينة الملف. قد يسمى هذا الزر اختر ملفًا في بعض المستعرضات.
حدد التالي.
يقوم معالج السجل المخصص بتحميل الملف ويسرد السجلات التي يحددها.
غيّر المحدِّد المستخدم لتعريف سجل جديد. حدد المحدد الذي يعرّف بشكل أفضل السجلات في ملف السجل الخاص بك.
حدد التالي.
يتعين أن يتم تعريف مسار واحد أو أكثر على العامل حيث يمكن تحديد موقع السجل المخصص. باستطاعتك توفير مسار واسم محددين لملف السجل، أو يمكنك تحديد مسار باستخدام حرف بدل للاسم. تدعم هذه الخطوة التطبيقات التي تنشئ ملفًا جديدًا كل يوم أو عندما يصل ملف واحد إلى حجم معين. يمكنك توفير أيضًا مسارات متعددة لملف سجل واحد.
على سبيل المثال، قد يقوم أحد التطبيقات بإنشاء ملف سجل كل يوم مع التاريخ المضمن في الاسم كما هو الحال في السجل log20100316.txt. يكون النمط لمثل هذا السجل هو log*.txt والذي يمكن تطبيقه على أي ملف سجل يتبع مخطط تسمية التطبيق.
يقوم الجدول التالي بتوفير أمثلة من أنماط صالحة لتحديد ملفات سجل مختلفة.
الوصف | المسار |
---|---|
جميع الملفات في C:\Logs بامتداد .txt على عامل Windows | C:\Logs\*.txt |
جميع الملفات في C:\Logs باسم يبدأ بالسجل وامتداد .txt على عامل Windows | C:\Logs\log*.txt |
جميع الملفات في /var/log/audit مع تمديد .txt على عامل Linux | /var/log/audit/*.txt |
جميع الملفات في /var/log/audit مع اسم بدءًا من السجل وملحق .txt ملحق اسم الملف على عامل Linux | /var/log/audit/log*.txt |
- حدد Windows أو Linux لتحديد تنسيق المسار الذي تضيفه.
- أدخل المسار وحدد الزر +.
- كرر العملية لأي مسارات أخرى.
سيتم استخدام الاسم الذي تحدده لنوع السجل كما هو موضح. وفي النهاية ستجد دائمًا مع _CL لتمييزه كسجل مخصص.
- أدخل اسمًا للسجل. تتوفر اللاحقة _CL تلقائيًّا.
- وتستطيع أيضًا إضافة وصف اختياري.
- حدد Next لحفظ تعريف السجل المخصص.
قد يستغرق ظهور البيانات الأولية من سجل مخصص جديد في Azure Monitor ما يصل إلى ساعة. سيبدأ Azure Monitor في تجميع الإدخالات من السجلات الموجودة في المسار الذي حددته من النقطة التي حددت فيها السجل المخصص. لن يحتفظ بالإدخالات التي قمت بتحميلها أثناء إنشاء السجل المخصص. سيجمع الإدخالات الموجودة بالفعل في ملفات السجل التي يحددها.
بعد أن يبدأ Azure Monitor في التجميع من السجل المخصص، ستكون سجلاته متاحة مع استعلام السجل. قم باستخدام الاسم الذي أعطيته السجل المخصص كنوع في الاستعلام الخاص بك.
ملاحظة
إذا كانت خاصية RawData مفقودة من الاستعلام، فقد تحتاج إلى إغلاق المستعرض وإعادة فتحه.
سيتم تخزين إدخال السجل بأكمله في خاصية واحدة تسمى مسودة بيانات. ستحتاج على الأرجح إلى فصل أجزاء المعلومات المختلفة في كل إدخال إلى خصائص فردية لكل سجل. للحصول على خيارات حول تحليل RawData في خصائص متعددة، راجع توزيع بيانات النص في Azure Monitor.
راجع حذف جدول.
يجمع Azure Monitor إدخالات جديدة من كل سجل مخصص كل 5 دقائق تقريبًا. يسجل العامل مكانه في كل ملف سجل يجمعه منه. إذا انتقل العامل إلى وضع عدم الاتصال لفترة من الوقت، فإن Azure Monitor يجمع الإدخالات من النقطة التي توقفت عندها آخر مرة، حتى لو تم إنشاء هذه الإدخالات أثناء عدم اتصال العامل.
تتم كتابة محتويات إدخال السجل بأكمله إلى خاصية واحدة تسمى مسودة بيانات. لمعرفة طرق تحليل كل إدخال سجل تم استيراده إلى خصائص متعددة، راجع تحليل بيانات النص في Azure Monitor.
لسجلات السجل المخصصة لها نوع مع اسم السجل الذي توفره والخصائص في الجدول التالي.
الخاصية | الوصف |
---|---|
TimeGenerated | التاريخ والوقت الذي تم تجميع السجل بواسطة مراقب Azure Monitor. إذا كان السجل يستخدم محددًا يستند إلى الوقت، فهذا هو الوقت الذي يتم جمعه من الإدخال. |
نظام المصدر | نوع العامل الذي جمع منه السجل. OpsManager – عامل Windows، إما اتصال مباشر أو مدير عمليات مركز النظام Linux – جميع عملاء Linux |
مسودة بيانات | الرسالة النصية الكاملة لإدخال الذي تم جمعه. ستحتاج على الأرجح إلى تحليل هذه البيانات في خصائص فردية. |
ManagementGroupName | اسم مجموعة الإدارة لعملاء System Center Operations Manager. بالنسبة للعوامل الأخري، هذا الاسم هو AOI- <معرف مساحة العمل>. |
يستعرض المقطع التالي من خلال مثال إنشاء سجل مخصص. يحتوي سجل العينة الذي يتم تجميعه على إدخال واحد على كل خط بدءًا من التاريخ والوقت ثم حقول محددة بفاصلة للتعليمات البرمجية والحالة والرسالة. يتم عرض عدة إدخالات عينة.
2019-08-27 01:34:36 207,Success,Client 05a26a97-272a-4bc9-8f64-269d154b0e39 connected
2019-08-27 01:33:33 208,Warning,Client ec53d95c-1c88-41ae-8174-92104212de5d disconnected
2019-08-27 01:35:44 209,Success,Transaction 10d65890-b003-48f8-9cfc-9c74b51189c8 succeeded
2019-08-27 01:38:22 302,Error,Application could not connect to database
2019-08-27 01:31:34 303,Error,Application lost connection to database
نحن نوفر واحدة من ملفات السجل ويمكن أن نرى الأحداث التي سيتم جمعها. في هذه الحالة الخط الجديد هو محدد بشكل كافٍ. إذا كان إدخال واحد في السجل يمكن أن يمتد على عدة خطوط، فسيلزم استخدام محدد الطابع الزمني.
سوف يتم تحديد موقع ملفات السجل في C:\MyApp\Logs. سوف يتم إنشاء ملف جديد كل يوم باسم يتضمن التاريخ في نمط appYYYYMMDD.log. نمط كاف لهذا السجل سيكون C:\MyApp\Logs\*.log.
نستخدم اسم MyApp_CL والنوع في الوصف.
نحن نستخدم استعلامًا بسيطًا من MyApp_CL لإرجاع جميع السجلات من السجل الذي تم جمعه.
بينما تكون السجلات المخصصة مفيدة إذا كانت بياناتك تناسب المعايير المدرجة، فهناك حالات تحتاج فيها إلى إستراتيجية أخرى:
- لا تتلاءم البيانات مع البنية المطلوبة، مثل وجود الطابع الزمني بنموذج مختلف.
- لا يلتزم ملف السجل بمتطلبات مثل الترميز للملفات أو البنية للمجلد غير المعتمدة.
- تحتاج البيانات المعالجة المسبقة أو التصفية قبل التجميع.
في الحالات التي لا يمكن فيها جمع بياناتك مع سجلات مخصصة، ضع في اعتبارك متابعة الإستراتيجيات البديلة:
- استخدم برنامجًا نصيًّا مخصصًا أو أسلوبًا آخر لكتابة البيانات إلى أحداث النوافذ أو Syslog التي يتم تجميعها بواسطة Azure Monitor.
- يتم إرسال البيانات مباشرة إلى Azure Monitor باستخدام واجهة برمجة تطبيقات مجمع بيانات http.
- راجع توزيع بيانات الرسالة النصية في Azure Monitor لاستيراد أساليب تحليل كل إدخال سجل مستورد في خصائص متعددة.
- تعرف على استعلامات السجل لتحليل البيانات التي تم تجميعها من مصادر البيانات والحلول.