مشاركة عبر

بناء أنظمة مراقبة في الوقت الحقيقي ويمكن ملاحظتها للوسائط

Azure Data Explorer
Azure Functions
خدمة الذكاء الاصطناعي Azure AI Metrics Advisor
Azure Blob Storage
Azure Event Hubs

تصف هذه البنية حلا يوفر مراقبة ومراقبة في الوقت الحقيقي للأنظمة وبيانات بيانات تتبع الاستخدام لجهاز المستخدم النهائي. وهو يركز على حالة استخدام لصناعة الإعلام.

Grafana هي علامة تجارية لشركتها المعنية. لا يتضمن استخدام هذه العلامة أي مصادقة.

بناء الأنظمة

رسم تخطيطي يوضح بنية توفر مراقبة ومراقبة في الوقت الحقيقي للأنظمة وبيانات بيانات تتبع الاستخدام لجهاز المستخدم النهائي.

قم بتنزيل ملف Visio لهذه البنية.

تدفق البيانات

في النظام الذي يمكن ملاحظته الموضح في الرسم التخطيطي، يتم دفق بيانات تتبع الاستخدام الأولية إلى Azure Blob Storage عبر HTTP والموصلات. تتم معالجة بيانات تتبع الاستخدام الأولية وتحويلها وتطبيعها وحفظها في Azure Data Explorer للتحليل. تقرأ أنظمة مثل Grafana وAzure Metrics Advisor البيانات من Data Explorer وتوفر رؤى للمستخدمين النهائيين.

وبشكل أكثر تحديدا، هذه هي عناصر النظام في الرسم التخطيطي:

  1. تقرير عن حالة النظام. تحدث الأجهزة عبر الفحوصات أو العوامل المثبتة في الأنظمة لمراقبة البيانات. هؤلاء العملاء يأتون في أشكال مختلفة. على سبيل المثال، في منصة دفق الفيديو عند الطلب، قد تستخدم الشركة dash.js المعايير المفتوحة لجمع مقاييس جودة التجربة من العملاء.
  2. الابتلاع. يمكن أن يأتي هذا القياس عن بعد الخام مباشرة من العملاء النهائيين عبر مكالمات HTTP. بدلا من ذلك، يمكنك تحميله عبر أنظمة الجهات الخارجية إلى التخزين المستمر ومستودعات البيانات مثل Blob Storage. يدعم Blog Storage القدرة على استدعاء دالة Azure عند تحميل ملف جديد. يمكنك استخدام آلية المشغل هذه لنقل بيانات تتبع الاستخدام الأولية إلى مستودعات البيانات المنظمة.
  3. التحول والمثابرة. قد تحتاج إلى نظام تحويل لتطبيع بياناتك. يحول تطبيق Azure Functions البيانات حسب الحاجة ثم يكتبها إلى Data Explorer. يعد Data Explorer مثاليا لتحليلات البيانات الضخمة لأنه مصمم لأداء عال ومعدل نقل على مجموعات البيانات الكبيرة.
  4. المراقبة. يدعم Azure Managed Grafana التكامل مع Data Explorer. يمكنك استخدام ميزات السحب والإفلات في Grafana لإنشاء لوحات المعلومات والمخططات بسرعة. يعد Grafana مناسبا لمراقبة الوسائط لأنه يوفر تحديثا لدقائق فرعية من تجانبات لوحة المعلومات ويمكن استخدامه أيضا للتنبيه.
  5. الكشف عن الخارج عن المألوف. توفر لوحة معلومات Grafana الدعم للمراقبة اليدوية في NOC. ومع ذلك، مع مجموعة بيانات كبيرة وقاعدة مستخدم منتشرة عبر المناطق الجغرافية واستخدام أجهزة مختلفة، يصبح التحديد اليدوي للمشكلات عبر المخططات وقواعد التنبيه التي تحتوي على حدود تعليمات برمجية مضمنة غير فعالة. يمكنك استخدام الذكاء الاصطناعي لمعالجة هذه المشكلة. تستخدم خدمات مثل Metrics Advisor خوارزميات التعلم الآلي لفهم الحالات الشاذة واكتشافها تلقائيا استنادا إلى بيانات السلاسل الزمنية. بالإضافة إلى ذلك، يحتوي النظام الأساسي لبيانات Kusto على وظائف الكشف عن الشذوذ المضمنة التي تمثل الاتجاهات الموسمية والأساسية في البيانات.

المكونات

  • Data Explorer هي خدمة تحليلات بيانات مدارة لتحليل كميات كبيرة من البيانات في الوقت الفعلي. مستكشف البيانات هو أداة رائعة للتعامل مع مجموعات البيانات الكبيرة التي تتطلب سرعة عالية ومعدل نقل استرداد البيانات. تستخدم هذه البنية Data Explorer لتخزين مجموعات البيانات والاستعلام عنها للتحليل.
  • يتم استخدام Blob Storage للاحتفاظ بالقياس عن بعد الخام. يمكن أن يأتي هذا القياس عن بعد من تطبيقاتك وخدماتك أو من موردين تابعين لجهة خارجية. يمكن التعامل مع البيانات على أنها عابرة إذا لم تكن بحاجة إلى إجراء مزيد من التحليل لاحقا. يتم استيعاب البيانات من Blob Storage في مجموعات Data Explorer.
  • Azure Event Grid هو نظام تسليم الأحداث. يتم استخدامه للاستماع إلى الأحداث التي يتم نشرها بواسطة Blob Storage. تسمح أحداث Azure Storage للتطبيقات بالتفاعل مع أحداث مثل إنشاء الكائنات الثنائية كبيرة الحجم وحذفها. تشترك دالة Azure في الأحداث التي يتم نشرها بواسطة Event Grid.
  • Azure Event Hubs هي خدمة استيعاب بيانات في الوقت الحقيقي يمكنك استخدامها لاستيعاب ملايين الأحداث في الثانية من أي مصدر. تمثل مراكز الأحداث الباب الأمامي، الذي يسمى غالبا استيعاب الحدث، لمسار الحدث. استيعاب الحدث هو مكون أو خدمة تقع بين ناشري الأحداث ومستهلكي الأحداث. ويفصل إنتاج دفق حدث عن استهلاك الأحداث.
  • Azure Functions هو حل بلا خادم يستخدم لتحليل وتحويل البيانات التي تم تناولها عبر نقاط نهاية HTTP وblob والكتابة إلى مجموعة Data Explorer.
  • يتصل Azure Managed Grafana بسهولة بمستكشف البيانات. في هذه البنية، يقوم بإنشاء مخططات ولوحات معلومات تصور بيانات تتبع الاستخدام. يوفر Azure Managed Grafana تكاملا عميقا مع معرف Microsoft Entra بحيث يمكنك تنفيذ الوصول المستند إلى الدور إلى لوحات المعلومات وطرق العرض.
  • Metrics Advisor هو جزء من Azure Applied الذكاء الاصطناعي Services. ويستخدم الذكاء الاصطناعي لإجراء مراقبة البيانات واكتشاف الحالات الشاذة في بيانات السلاسل الزمنية. يقوم Metrics Advisor بأتمتة عملية تطبيق النماذج على البيانات ويوفر مجموعة من واجهات برمجة التطبيقات ومساحة عمل مستندة إلى الويب لاستيعاب البيانات واكتشاف الحالات الشاذة والتشخيص. يمكنك استخدامه حتى إذا لم تكن لديك معرفة بالتعلم الآلي.

البدائل

يوفر Azure Data Factory وAzure Synapse Analytics أدوات ومساحات عمل لإنشاء مهام سير عمل ETL والقدرة على تعقب المهام وإعادة المحاولة من واجهة رسومية. لاحظ أن Data Factory وAzure Synapse لديهما حد أدنى من التأخير يبلغ حوالي 5 دقائق من وقت الاستيعاب إلى الاستمرار. قد يكون هذا التأخير مقبولا في نظام المراقبة الخاص بك. إذا كان الأمر كذلك، نوصيك بمراعاة هذه البدائل.

تفاصيل السيناريو

غالبا ما تنشر المؤسسات تقنيات متنوعة وواسعة النطاق لحل مشاكل الأعمال. تنشئ هذه الأنظمة وأجهزة المستخدم النهائي مجموعات كبيرة من بيانات تتبع الاستخدام.

تستند هذه البنية إلى حالة استخدام لصناعة الوسائط. يتطلب دفق الوسائط للتشغيل المباشر والفيديو عند الطلب تحديد مشاكل التطبيق والاستجابة لها في الوقت الفعلي تقريبا. لدعم هذا السيناريو في الوقت الحقيقي، تحتاج المؤسسات إلى جمع مجموعة بيانات تتبع الاستخدام الضخمة، والتي تتطلب بنية قابلة للتطوير. بعد جمع البيانات، هناك حاجة إلى أنواع أخرى من التحليل، مثل الكشف عن الذكاء الاصطناعي والشذوذ، لتحديد المشكلات بكفاءة عبر مجموعة بيانات كبيرة جدا.

عند نشر تقنيات واسعة النطاق، يقوم النظام وأجهزة المستخدم النهائي التي تتفاعل معها بإنشاء مجموعات هائلة من بيانات تتبع الاستخدام. في السيناريوهات التقليدية، يتم تحليل هذه البيانات عبر نظام مستودع بيانات لإنشاء رؤى يمكن استخدامها لدعم قرارات الإدارة. قد يعمل هذا الأسلوب في بعض السيناريوهات، ولكنه غير مستجيب بما يكفي لحالات استخدام الوسائط المتدفقة. لحل هذه المشكلة، يلزم الحصول على رؤى في الوقت الحقيقي لبيانات تتبع الاستخدام التي تم إنشاؤها من خوادم المراقبة والشبكات وأجهزة المستخدم النهائي التي تتفاعل معها. أنظمة المراقبة التي تلتقط الأعطال والأخطاء شائعة، ولكن من الصعب التقاطها في الوقت الفعلي تقريبا. هذا هو محور هذه البنية.

في إعداد البث المباشر أو الفيديو عند الطلب، يتم إنشاء بيانات تتبع الاستخدام من الأنظمة والعملاء غير المتجانسين (الجوال وسطح المكتب والتلفزيون). يتضمن الحل أخذ البيانات الأولية وربط السياق بنقاط البيانات، على سبيل المثال، أبعاد مثل الجغرافيا ونظام تشغيل المستخدم النهائي ومعرف المحتوى وموفر CDN. يتم جمع بيانات تتبع الاستخدام الأولية وتحويلها وحفظها في Data Explorer للتحليل. يمكنك بعد ذلك استخدام الذكاء الاصطناعي لجعل البيانات منطقية وأتمتة العمليات اليدوية للمراقبة والتنبيه. يمكنك استخدام أنظمة مثل Grafana و Metrics Advisor لقراءة البيانات من Data Explorer لإظهار لوحات المعلومات التفاعلية وتشغيل التنبيهات.

الاعتبارات

تطبق هذه الاعتبارات ركائز إطار عمل Azure Well-Architected Framework، وهي مجموعة من المبادئ التوجيهية التي يمكنك استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.

الموثوقيه

تضمن الموثوقية أن التطبيق الخاص بك يمكن أن يفي بالالتزامات التي تتعهد بها لعملائك. لمزيد من المعلومات، يرجى مراجعة نظرة عامة على ركيزة الموثوقية.

تحتاج التطبيقات المهمة للأعمال إلى الاستمرار في التشغيل حتى أثناء الأحداث التخريبية مثل منطقة Azure أو انقطاع شبكة تسليم المحتوى. هناك إستراتيجيتان أساسيتان واستراتيجية مختلطة واحدة لبناء التكرار في النظام الخاص بك:

  • نشط/نشط. يتم تشغيل التعليمات البرمجية والوظائف المكررة. يمكن لأي من النظامين تولي الأمر أثناء الفشل.
  • نشط/في وضع الاستعداد. عقدة واحدة فقط نشطة/أساسية. الآخر جاهز للاستيلاء عليه في حالة تعطل العقدة الأساسية.
  • مختلط. توجد بعض المكونات/الخدمات في التكوين النشط/النشط، وبعضها نشط/في وضع الاستعداد.

ضع في اعتبارك أنه لا تحتوي جميع خدمات Azure على تكرار مضمن. على سبيل المثال، تقوم Azure Functions بتشغيل تطبيق وظائف فقط في منطقة معينة. يصف التعافي من الكوارث الجغرافية في Azure Functions الاستراتيجيات المختلفة التي يمكنك تنفيذها، اعتمادا على كيفية تشغيل وظائفك (HTTP مقابل pub/sub).

يمكن تشغيل تطبيق وظيفة الاستيعاب والتحويل في الوضع النشط/النشط. يمكنك تشغيل Data Explorer في كل من التكوينات النشطة/النشطة والنشطة/الاحتياطية.

يدعم Azure Managed Grafana تكرار منطقة التوفر. تتمثل إحدى الاستراتيجيات لإنشاء التكرار عبر المناطق في إعداد Grafana في كل منطقة يتم فيها نشر نظام مجموعة Data Explorer.

تحسين التكلفة

يتعلق تحسين التكلفة بخفض النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.

تعتمد تكلفة هذه البنية على عدد أحداث بيانات تتبع الاستخدام، وتخزين بيانات تتبع الاستخدام الأولية في Blob Storage وData Explorer، وتكلفة كل ساعة ل Azure Managed Grafana، وتكلفة ثابتة لعدد مخططات السلاسل الزمنية في Metrics Advisor.

يمكنك استخدام حاسبة تسعير Azure لتقدير التكاليف بالساعة أو الشهرية.

كفاءة الأداء

كفاءة الأداء هي قدرة حمل عملك على تغيير الحجم لتلبية المطالب التي يضعها المستخدمون عليها بطريقة فعالة. لمزيد من المعلومات، يرجى مراجعةأنماط كفاءة الأداء.

اعتمادا على حجم الطلبات الواردة وتكرارها، قد يكون تطبيق الوظائف ازدحاما، لسببين رئيسيين:

  • التشغيل العادي. البدء البارد هو نتيجة لعمليات التنفيذ بلا خادم. يشير إلى وقت الجدولة والإعداد المطلوب لتشغيل بيئة قبل بدء تشغيل الوظيفة أولا. على الأكثر، الوقت المطلوب هو بضع ثوان.
  • تكرار الطلبات. لنفترض أن لديك 1000 طلب HTTP ولكن فقط خادم مترابط واحد للتعامل معها. لن تتمكن من خدمة جميع طلبات HTTP البالغ عددها 1000 طلب في وقت واحد. لخدمة هذه الطلبات في الوقت المناسب، تحتاج إلى نشر المزيد من الخوادم. أي أنك تحتاج إلى التوسع أفقيا.

نوصي باستخدام وحدات SKU المتميزة أو المخصصة من أجل:

  • القضاء على البداية الباردة.
  • معالجة متطلبات الطلبات المتزامنة عن طريق توسيع عدد الأجهزة الظاهرية الخدمة لأعلى أو لأسفل.

لمزيد من المعلومات، راجع تحديد SKU لمجموعة Azure Data Explorer.

نشر هذا السيناريو

للحصول على معلومات حول نشر هذا السيناريو، راجع المراقبة في الوقت الحقيقي وإمكانية المراقبة للوسائط على GitHub. يتضمن نموذج التعليمات البرمجية هذا البنية الأساسية كتعليمة برمجية (IaC) الضرورية لتطوير bootstrap ووظائف Azure لاستيعاب البيانات وتحويلها من نقاط نهاية HTTP وblob.

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكتاب الرئيسيون:

مساهمون آخرون:

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية