مشاركة عبر

الكشف عن المشكلات المحتملة والتخفيف من حدتها باستخدام AIOps والتعلم الآلي في Azure Monitor

  • مقالة

يوفر الذكاء الاصطناعي لعمليات تكنولوجيا المعلومات (AIOps) طرقا قوية لتحسين جودة الخدمة وموثوقيتها باستخدام التعلم الآلي لمعالجة البيانات التي تجمعها من التطبيقات والخدمات وموارد تكنولوجيا المعلومات والعمل عليها تلقائيا في Azure Monitor.

توفر قدرات AIOps المضمنة في Azure Monitor رؤى وتساعدك على استكشاف المشكلات وإصلاحها وأتمتة المهام المستندة إلى البيانات، مثل التنبؤ باستخدام السعة والتحجيم التلقائي، وتحديد مشكلات أداء التطبيق وتحليلها، والكشف عن السلوكيات الشاذة في الأجهزة الظاهرية والحاويات والموارد الأخرى. تعزز هذه الميزات مراقبة تكنولوجيا المعلومات وعملياتها، دون الحاجة إلى معرفة التعلم الآلي والمزيد من الاستثمار.

يوفر Azure Monitor أيضا أدوات تتيح لك إنشاء مسار التعلم الآلي الخاص بك لتقديم قدرات جديدة للتحليل والاستجابة والعمل على البيانات في سجلات Azure Monitor.

توضح هذه المقالة قدرات AIOps المضمنة في Azure Monitor وتشرح كيف يمكنك إنشاء نماذج التعلم الآلي المخصصة وتشغيلها وإنشاء مسار تعلم آلي تلقائي على البيانات في سجلات Azure Monitor.

Azure Monitor AIOps المدمج وقدرات التعلم الآلي

سيناريو المراقبة القدرة ‏‏الوصف
مراقبة السجل Log Analytics Workspace Insights يوفر طريقة عرض موحدة لمساحات عمل Log Analytics ويستخدم التعلم الآلي للكشف عن حالات الشذوذ في الاستيعاب.
تحليل السلسلة الزمنية للغة الاستعلام Kusto (KQL) ووظائف التعلم الآلي أدوات سهلة الاستخدام لإنشاء بيانات السلاسل الزمنية، والكشف عن الحالات الشاذة، والتنبؤ، وإجراء تحليل السبب الجذري مباشرة في سجلات Azure Monitor دون الحاجة إلى معرفة متعمقة بعلوم البيانات ولغات البرمجة.
Microsoft Copilot في Azure يساعدك على استخدام Log Analytics لتحليل البيانات واستكشاف المشكلات وإصلاحها. ينشئ مثال استعلامات KQL استنادا إلى المطالبات، مثل "هل هناك أي أخطاء في سجلات الحاوية؟".
مراقبة أداء التطبيق طريقة العرض الذكية لخريطة التطبيق الخرائط التبعيات بين الخدمات ويساعدك على اكتشاف اختناقات الأداء أو نقاط اتصال الفشل عبر جميع مكونات التطبيق الموزع.
الكشف الذكي يحلل بيانات تتبع الاستخدام التي يرسلها تطبيقك إلى Application Insights، وتنبيهات حول مشكلات الأداء والشذوذ في الفشل، ويحدد الأسباب الجذرية المحتملة لمشكلات أداء التطبيق.
التنبيهات القياسية الحدود الديناميكية للتنبيه القياسي تعلم أنماط المقاييس، وتعيين حدود التنبيه تلقائيا استنادا إلى البيانات التاريخية، وتحديد الحالات الشاذة التي قد تشير إلى مشكلات الخدمة.
مجموعات توسيع الجهاز الافتراضي التحجيم التلقائي التنبؤي التنبؤ بمتطلبات وحدة المعالجة المركزية الإجمالية لمجموعة مقياس الجهاز الظاهري، استنادا إلى أنماط استخدام وحدة المعالجة المركزية التاريخية، ويتم توسيع نطاقها تلقائيا لتلبية هذه الاحتياجات.

التعلم الآلي في سجلات Azure Monitor

استخدم تحليل السلاسل الزمنية المضمنة في لغة الاستعلام Kusto ووظائف التعلم الآلي والمشغلين والمكونات الإضافية للحصول على رؤى حول صحة الخدمة والاستخدام والسعة والاتجاهات الأخرى، وإنشاء التنبؤات واكتشاف الحالات الشاذة في سجلات Azure Monitor.

للحصول على مرونة أكبر وتوسيع قدرتك على تحليل البيانات والعمل عليها، يمكنك أيضا تنفيذ مسار التعلم الآلي الخاص بك على البيانات في سجلات Azure Monitor.

يقارن هذا الجدول بين مزايا وقيود استخدام قدرات التعلم الآلي المضمنة في KQL وإنشاء مسار التعلم الآلي الخاص بك، وارتباطات إلى البرامج التعليمية التي توضح كيفية تنفيذ كل منها:

قدرات التعلم الآلي KQL المضمنة إنشاء مسار التعلم الآلي الخاص بك
السيناريو ✅ الكشف عن الحالات الشاذة، والسبب الجذري، وتحليل السلاسل الزمنية
✅ الكشف عن الحالات الشاذة، والسبب الجذري، وتحليل السلاسل الزمنية
✅التحليل المتقدم وسيناريوهات AIOPs
مزايا 🔹تساعدك على البدء بسرعة كبيرة.
🔹لا يلزم معرفة علم البيانات ومهارات البرمجة.
🔹 الأداء الأمثل وتوفير التكاليف.		 🔹يدعم مقاييس أكبر.
🔹تمكين سيناريوهات متقدمة وأكثر تعقيدا.
🔹المرونة في اختيار المكتبات والنماذج والمعلمات.
حدود الخدمة ووحدات تخزين البيانات حدود استعلام سجل Azure أو Query API اعتمادا على ما إذا كنت تعمل في المدخل أو تستخدم واجهة برمجة التطبيقات، على سبيل المثال، من دفتر ملاحظات. 🔹الاستعلام عن حدود استعلام سجل واجهة برمجة التطبيقات إذا قمت بالاستعلام عن البيانات في سجلات Azure Monitor كجزء من مسار التعلم الآلي. وإلا، لا توجد حدود لخدمة Azure.
🔹يمكن أن يدعم وحدات تخزين البيانات الأكبر.
التكامل لا شيء مطلوب. تشغيل باستخدام Log Analytics في مدخل Microsoft Azure أو من Jupyter Notebook متكامل. يتطلب التكامل مع أداة، مثل Jupyter Notebook. عادة ما تتكامل أيضا مع خدمات Azure الأخرى، مثل Azure Synapse Analytics.
الاداء الأداء الأمثل، باستخدام نظام Azure Data Explorer الأساسي، يعمل على نطاقات عالية بطريقة موزعة. يقدم قدرا صغيرا من زمن الانتقال عند الاستعلام عن البيانات أو تصديرها، اعتمادا على كيفية تنفيذ مسار التعلم الآلي.
نوع النموذج نموذج الانحدار الخطي والنماذج الأخرى التي تدعمها وظائف السلسلة الزمنية KQL مع مجموعة من المعلمات القابلة للتكوين. نموذج التعلم الآلي القابل للتخصيص بالكامل أو طريقة الكشف عن الشذوذ.
التكلفة لا توجد تكلفة إضافية. اعتمادا على كيفية تنفيذ مسار التعلم الآلي الخاص بك، قد تتحمل رسوما لتصدير البيانات، واستيعاب البيانات المسجلة في سجلات Azure Monitor، واستخدام خدمات Azure الأخرى.
تعليمي الكشف عن الحالات الشاذة وتحليلها باستخدام قدرات التعلم الآلي من KQL في Azure Monitor تحليل البيانات في سجلات Azure Monitor باستخدام دفتر ملاحظات

إنشاء مسار التعلم الآلي الخاص بك على البيانات في سجلات Azure Monitor

أنشئ مسار التعلم الآلي الخاص بك على البيانات في سجلات Azure Monitor لتقديم قدرات AIOps جديدة ودعم السيناريوهات المتقدمة، مثل:

  • البحث عن الهجمات الأمنية بنماذج أكثر تطورا من تلك التي من قبل KQL.
  • الكشف عن مشكلات الأداء واستكشاف الأخطاء وإصلاحها في تطبيق ويب.
  • إنشاء تدفقات متعددة الخطوات، وتشغيل التعليمات البرمجية في كل خطوة استنادا إلى نتائج الخطوة السابقة.
  • أتمتة تحليل بيانات سجل Azure Monitor وتوفير رؤى حول مجالات متعددة، بما في ذلك صحة البنية الأساسية وسلوك العملاء.
  • ربط البيانات في سجلات Azure Monitor بالبيانات من مصادر أخرى.

هناك نهجان لجعل البيانات في سجلات Azure Monitor متاحة لمسار التعلم الآلي الخاص بك:

  • بيانات الاستعلام في سجلات - Azure Monitor دمج دفتر ملاحظات مع سجلات Azure Monitor أو تشغيل برنامج نصي أو تطبيق على بيانات السجل باستخدام مكتبات مثل مكتبة عميل استعلام Azure Monitor أو MSTICPY لاسترداد البيانات من سجلات Azure Monitor في نموذج جدولي؛ على سبيل المثال، في إطار بيانات Pandas. يتم استرداد البيانات التي تستعلمها إلى كائن في الذاكرة على الخادم الخاص بك، دون تصدير البيانات من مساحة عمل Log Analytics.

    إشعار

    قد تحتاج إلى تحويل تنسيقات البيانات كجزء من البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك. على سبيل المثال، لاستخدام المكتبات المبنية فوق Apache Spark، مثل SynapseML، قد تحتاج إلى تحويل Pandas إلى PySpark DataFrame.

  • تصدير البيانات من سجلات - Azure Monitor تصدير البيانات من مساحة عمل Log Analytics، عادة إلى حساب تخزين كائن ثنائي كبير الحجم، وتنفيذ مسار التعلم الآلي باستخدام مكتبة التعلم الآلي.

يقارن هذا الجدول بين مزايا وقيود نهج استرداد البيانات لمسار التعلم الآلي الخاص بك:

الاستعلام عن البيانات في سجلات Azure Monitor تصدير البيانات
مزايا 🔹يحصل لك البدء بسرعة.
🔹يتطلب فقط مهارات علوم البيانات الأساسية والبرمجة.
🔹الحد الأدنى من زمن الانتقال وتوفير التكاليف.		 🔹يدعم مقاييس أكبر.
🔹لا توجد قيود على الاستعلام.
هل تم تصدير البيانات؟ لا ‏‏نعم‬
حدود الخدمة حدود استعلام سجل واجهة برمجة التطبيقات للاستعلام وتقييد استعلام المستخدم. يمكنك التغلب على حدود واجهة برمجة تطبيقات الاستعلام إلى، بدرجة معينة، عن طريق تقسيم الاستعلامات الأكبر إلى مجموعات. لا شيء من Azure Monitor.
وحدات تخزين البيانات تحليل عدة GBs من البيانات، أو بضعة ملايين من السجلات في الساعة. يدعم كميات كبيرة من البيانات.
مكتبة التعلم الآلي بالنسبة لمجموعات البيانات الصغيرة إلى المتوسطة الحجم، يمكنك عادة استخدام مكتبات التعلم الآلي أحادية العقدة، مثل Scikit Learn. بالنسبة لمجموعات البيانات الكبيرة، عادة ما تستخدم مكتبات التعلم الآلي للبيانات الضخمة، مثل SynapseML.
الكمون الحد الادني. يقدم كمية صغيرة من زمن الانتقال في تصدير البيانات.
التكلفة لا توجد رسوم إضافية في Azure Monitor.
تكلفة Azure Synapse Analytics أو Azure التعلم الآلي أو خدمة أخرى، إذا تم استخدامها.		 تكلفة تصدير البيانات والتخزين الخارجي.
تكلفة Azure Synapse Analytics أو Azure التعلم الآلي أو خدمة أخرى، إذا تم استخدامها.

تلميح

للاستفادة من أفضل نهجي التنفيذ، قم بإنشاء مسار مختلط. يتمثل النهج المختلط الشائع في تصدير البيانات لتدريب النموذج، والذي يتضمن كميات كبيرة من البيانات، واستخدام بيانات الاستعلام في نهج Azure Monitor Logs لاستكشاف البيانات وتسجيل بيانات جديدة لتقليل زمن الانتقال والتكاليف.

تنفيذ خطوات دورة حياة التعلم الآلي في سجلات Azure Monitor

يتضمن إعداد مسار التعلم الآلي عادة جميع الخطوات الموضحة أدناه أو بعضها.

هناك العديد من مكتبات التعلم الآلي من Azure مصدر مفتوح التي يمكنك استخدامها لتنفيذ مسار التعلم الآلي، بما في ذلك Scikit Learn وPyTorch وTensorflow وSpark MLlib وSynapseML.

يصف هذا الجدول كل خطوة ويوفر إرشادات عالية المستوى وبعض الأمثلة حول كيفية تنفيذ هذه الخطوات استنادا إلى نهج التنفيذ الموضحة في إنشاء مسار التعلم الآلي الخاص بك على البيانات في سجلات Azure Monitor:

الخطوة ‏‏الوصف الاستعلام عن البيانات في سجلات Azure Monitor تصدير البيانات
استكشاف البيانات افحص البيانات التي جمعتها وافهمها. أبسط طريقة لاستكشاف بياناتك هي استخدام Log Analytics، الذي يوفر مجموعة غنية من الأدوات لاستكشاف البيانات وتصورها في مدخل Microsoft Azure. يمكنك أيضا تحليل البيانات في سجلات Azure Monitor باستخدام دفتر ملاحظات. لتحليل السجلات خارج Azure Monitor، قم بتصدير البيانات من مساحة عمل Log Analytics وإعداد البيئة في الخدمة التي تختارها.
للحصول على مثال حول كيفية استكشاف السجلات خارج Azure Monitor، راجع تحليل البيانات المصدرة من Log Analytics باستخدام Synapse.
بناء نموذج التعلم الآلي وتدريبه تدريب النموذج هو عملية تكرارية. يقوم الباحثون أو علماء البيانات بتطوير نموذج من خلال جلب وتنظيف بيانات التدريب، وهندسة الميزات، وتجربة نماذج مختلفة، وضبط المعلمات، وتكرار هذه الدورة حتى يكون النموذج دقيقا وقويا. بالنسبة لمجموعات البيانات الصغيرة والمتوسطة الحجم، عادة ما تستخدم مكتبات التعلم الآلي أحادية العقدة، مثل Scikit Learn.
للحصول على مثال حول كيفية تدريب نموذج التعلم الآلي على البيانات في سجلات Azure Monitor باستخدام مكتبة Scikit Learn، راجع نموذج دفتر الملاحظات هذا : الكشف عن الحالات الشاذة في سجلات Azure Monitor باستخدام تقنيات التعلم الآلي.		 بالنسبة لمجموعات البيانات الكبيرة، عادة ما تستخدم مكتبات التعلم الآلي للبيانات الضخمة، مثل SynapseML.
توزيع نموذج وتسجيله التسجيل هو عملية تطبيق نموذج التعلم الآلي على بيانات جديدة للحصول على تنبؤات. يجب إجراء التسجيل عادة على نطاق واسع مع الحد الأدنى من زمن الانتقال. للاستعلام عن بيانات جديدة في سجلات Azure Monitor، استخدم مكتبة عميل استعلام Azure Monitor.
للحصول على مثال حول كيفية تسجيل البيانات باستخدام أدوات مصدر مفتوح، راجع نموذج دفتر الملاحظات هذا: الكشف عن الحالات الشاذة في سجلات Azure Monitor باستخدام تقنيات التعلم الآلي.
تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك في الجدول الزمني أتمتة البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك لإعادة تدريب النموذج الخاص بك بانتظام على البيانات الحالية. جدولة مسار التعلم الآلي باستخدام Azure Synapse Analytics أو Azure التعلم الآلي. راجع الأمثلة في عمود Query data في Azure Monitor Logs .

يتيح لك استيعاب النتائج المسجلة في مساحة عمل Log Analytics استخدام البيانات للحصول على رؤى متقدمة وإنشاء تنبيهات ولوحات معلومات. للحصول على مثال حول كيفية استيعاب النتائج المسجلة باستخدام مكتبة عميل Azure Monitor Ingestion، راجع استيعاب الحالات الشاذة في جدول مخصص في مساحة عمل Log Analytics.

الخطوات التالية

تعلم المزيد عن: