تحرير

تدفق البيانات باستخدام موقع AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

أفكار الحل

هذه المقالة هي فكرة حل. إذا كنت ترغب في توسيع المحتوى بمزيد من المعلومات، مثل حالات الاستخدام المحتملة أو الخدمات البديلة أو اعتبارات التنفيذ أو إرشادات التسعير، فقم بإعلامنا من خلال تقديم ملاحظات GitHub.

تقدم هذه المقالة حلا لاستخدام خدمة Azure Kubernetes (AKS) لمعالجة وتحليل حجم كبير من البيانات المتدفقة من الأجهزة بسرعة.

Apache® وApache Kafka وApache Spark هي إما علامات تجارية مسجلة أو علامات تجارية لمؤسسة برامج Apache في الولايات المتحدة و/أو بلدان أخرى. لا توجد موافقة ضمنية من Apache Software Foundation باستخدام هذه العلامات.

بناء الأنظمة

رسم تخطيطي للبنية يوضح كيفية استيعاب البيانات المتدفقة من الأجهزة ومعالجتها وتحليلها.

قم بتنزيل ملف Visio لهذه البنية.

تدفق البيانات

  1. تقوم أجهزة الاستشعار بإنشاء البيانات وبثها إلى Azure API Management.
  2. تقوم مجموعة AKS بتشغيل الخدمات المصغرة التي يتم نشرها كحاويات خلف شبكة خدمة. يتم إنشاء الحاويات باستخدام عملية DevOps ويتم تخزينها في Azure Container Registry.
  3. تخزن خدمة استيعاب البيانات في Azure Cosmos DB.
  4. بشكل غير متزامن، تتلقى خدمة التحليل البيانات وتبثها إلى Apache Kafka وAzure HDInsight.
  5. يستخدم علماء البيانات نماذج التعلم الآلي والنظام الأساسي Splunk لتحليل البيانات.
  6. تعالج خدمة المعالجة البيانات وتخزن النتيجة في قاعدة بيانات Azure ل PostgreSQL. تقوم الخدمة أيضا بتخزين البيانات في ذاكرة التخزين المؤقت Azure ل Redis.
  7. يقوم تطبيق الويب الذي يتم تشغيله في Azure App Service بإنشاء مرئيات للنتائج.

المكونات

يستخدم الحل التقنيات الرئيسية التالية:

تفاصيل السيناريو

هذا الحل مناسب تماما لسيناريو يتضمن ملايين نقاط البيانات، حيث تتضمن مصادر البيانات أجهزة إنترنت الأشياء (IoT) وأجهزة الاستشعار والمركبات. في مثل هذه الحالة، تعد معالجة الحجم الكبير من البيانات أحد التحديات. يعد تحليل البيانات بسرعة مهمة أخرى تطلبية، حيث تسعى المؤسسات إلى الحصول على نظرة ثاقبة على السيناريوهات المعقدة.

تشكل الخدمات المصغرة المعبأة في حاويات في AKS جزءا رئيسيا من الحل. هذه الخدمات المكتفية ذاتيا استيعاب ومعالجة دفق البيانات في الوقت الحقيقي. كما أنها تتوسع حسب الحاجة. تتيح إمكانية نقل الحاويات تشغيل الخدمات في بيئات مختلفة ومعالجة البيانات من مصادر متعددة. لتطوير ونشر الخدمات المصغرة، يتم استخدام DevOps والتكامل المستمر/ التسليم المستمر (CI/CD). وتقصر هذه النهج دورة التنمية.

لتخزين البيانات التي تم استيعابها، يستخدم الحل Azure Cosmos DB. تقوم قاعدة البيانات هذه بتحجيم معدل النقل والتخزين بشكل مرن، ما يجعلها خيارا جيدا لكميات كبيرة من البيانات.

يستخدم الحل أيضا Kafka. يعالج هذا النظام الأساسي لتدفق زمن الانتقال المنخفض موجزات البيانات في الوقت الحقيقي بسرعات عالية للغاية.

مكون حل رئيسي آخر هو HDInsight، وهي خدمة تحليلات سحابية مدارة مفتوحة المصدر. يبسط HDInsight تشغيل أطر عمل البيانات الضخمة بحجم وسرعة كبيرين أثناء استخدام Apache Spark في Azure. يساعد Splunk في عملية تحليل البيانات. ينشئ هذا النظام الأساسي مرئيات من البيانات في الوقت الحقيقي ويوفر المعلومات المهنية.

حالات الاستخدام المحتملة

يستفيد هذا الحل من المجالات التالية:

  • سلامة المركبات، خاصة في صناعة السيارات
  • خدمة العملاء في تجارة التجزئة والصناعات الأخرى
  • الحلول السحابية للرعاية الصحية
  • حلول التكنولوجيا المالية في صناعة التمويل

الخطوات التالية

وثائق المنتج:

وحدات تدريب Microsoft: