مشاركة عبر

مراكز أحداث Azure: نظام أساسي لتدفق البيانات في الوقت الحقيقي مع دعم Apache Kafka الأصلي

  • مقالة

Azure Event Hubs هي خدمة تدفق بيانات أصلية في السحابة يمكنها دفق ملايين الأحداث في الثانية، مع زمن انتقال منخفض، من أي مصدر إلى أي وجهة. مراكز الأحداث متوافقة مع Apache Kafka. يمكنك من تشغيل أحمال عمل Kafka الحالية دون أي تغييرات في التعليمات البرمجية.

يمكن للشركات استخدام مراكز الأحداث لاستيعاب البيانات المتدفقة وتخزينها. باستخدام البيانات المتدفقة، يمكن للشركات الحصول على رؤى قيمة، ودفع التحليلات في الوقت الحقيقي، والاستجابة للأحداث عند حدوثها. يمكنهم استخدام هذه البيانات لتحسين كفاءتهم الشاملة وتجربة العملاء.

رسم تخطيطي يوضح كيفية ملاءمة Azure Event Hubs في نظام أساسي لتدفق الأحداث.

مراكز الأحداث هي طبقة استيعاب الحدث المفضلة لأي حل تدفق حدث تقوم ببناءه أعلى Azure. وهو يتكامل مع خدمات البيانات والتحليلات داخل Azure وخارجها لإنشاء مسار تدفق بيانات كامل لخدمة حالات الاستخدام التالية:

الإمكانات الأساسية

تعرف على الإمكانات الرئيسية لمراكز أحداث Azure في الأقسام التالية.

Apache Kafka على Azure Event Hubs

Event Hubs هو محرك تدفق أحداث متعدد البروتوكولات يدعم في الأصل بروتوكول قائمة انتظار الرسائل المتقدمة (AMQP) وApache Kafka وبروتوكولات HTTPS. لأنه يدعم Apache Kafka، يمكنك إحضار أحمال عمل Kafka إلى مراكز الأحداث دون إجراء أي تغييرات في التعليمات البرمجية. لا تحتاج إلى إعداد مجموعات Kafka الخاصة بك أو تكوينها أو إدارتها أو استخدام عرض Kafka كخدمة غير أصلي في Azure.

تم بناء مراكز الأحداث كمحرك وسيط أصلي للسحابة. لهذا السبب، يمكنك تشغيل أحمال عمل Kafka بأداء أفضل وكفاءة تكلفة أفضل وبدون نفقات تشغيلية.

لمزيد من المعلومات، راجع مراكز أحداث Azure ل Apache Kafka.

سجل المخطط في مراكز الأحداث

يوفر Azure Schema Registry في مراكز الأحداث مستودعا مركزيا لإدارة مخططات تطبيقات دفق الأحداث. يأتي سجل المخطط مجانيا مع كل مساحة اسم لمراكز الأحداث. وهو يتكامل مع تطبيقات Kafka أو التطبيقات المستندة إلى Event Hubs SDK.

رسم تخطيطي يوضح تكامل سجل المخطط ومراكز الأحداث.

يضمن سجل المخطط توافق البيانات واتساقها عبر منتجي الأحداث والمستهلكين. فهو يتيح تطور المخطط والتحقق من الصحة والحوكمة ويعزز تبادل البيانات الفعال وإمكانية التشغيل التفاعلي.

يتكامل سجل المخطط مع تطبيقات Kafka الموجودة لديك ويدعم تنسيقات مخطط متعددة، بما في ذلك مخططات Avro وJSON.

لمزيد من المعلومات، راجع سجل مخطط Azure في مراكز الأحداث.

معالجة الأحداث المتدفقة في الوقت الحقيقي باستخدام Stream Analytics

تتكامل مراكز الأحداث مع Azure Stream Analytics لتمكين معالجة الدفق في الوقت الحقيقي. باستخدام محرر بدون تعليمات برمجية مضمن، يمكنك تطوير وظيفة Stream Analytics باستخدام وظيفة السحب والإفلات، دون كتابة أي تعليمة برمجية.

لقطة شاشة تعرض صفحة بيانات العملية مع لوحة تمكين نتائج التحليلات في الوقت الحقيقي من الأحداث.

بدلا من ذلك، يمكن للمطورين استخدام لغة استعلام Stream Analytics المستندة إلى SQL لإجراء معالجة دفق في الوقت الحقيقي والاستفادة من مجموعة واسعة من الوظائف لتحليل بيانات الدفق.

لمزيد من المعلومات، راجع المقالات في قسم تكامل Azure Stream Analytics في جدول المحتويات.

استكشاف تدفق البيانات باستخدام Azure Data Explorer

Azure Data Explorer هو نظام أساسي مدار بالكامل لتحليلات البيانات الضخمة التي تقدم أداء عاليا وتسمح بتحليل كميات كبيرة من البيانات في الوقت الفعلي تقريبا. من خلال دمج مراكز الأحداث مع Azure Data Explorer، يمكنك إجراء تحليلات في الوقت الفعلي تقريبا واستكشاف البيانات المتدفقة.

رسم تخطيطي يوضح استعلام Azure Data Explorer وإخراجه.

لمزيد من المعلومات، راجع استيعاب البيانات من مركز أحداث إلى Azure Data Explorer.

وظائف Azure وSDKs والنظام البنائي Kafka

باستخدام مراكز الأحداث، يمكنك استيعاب الدفق وتخزينه وتخزينه ومعالجته في الوقت الفعلي للحصول على رؤى قابلة للتنفيذ. تستخدم مراكز الأحداث نموذج مستهلك مقسم. فهو يمكن تطبيقات متعددة من معالجة الدفق بشكل متزامن ويسمح لك بالتحكم في سرعة المعالجة. تتكامل مراكز الأحداث أيضا مع Azure Functions للبنى بلا خادم.

يتوفر نظام بيئي واسع النطاق لبروتوكول AMQP 1.0 القياسي في الصناعة. تتوفر حزم SDK بلغات مثل .NET وJava وPython وJavaScript، بحيث يمكنك البدء في معالجة تدفقاتك من مراكز الأحداث. توفر جميع لغات العملاء المدعومة تكاملاً منخفض المستوى.

يسمح لك النظام البيئي أيضا بالتكامل مع Azure Functions وAzure Spring Apps وKafka Connectors وغيرها من الأنظمة الأساسية وتقنيات تحليل البيانات، مثل Apache Spark وApache Flink.

دفق الأحداث المرن والموفر من حيث التكلفة

يمكنك تجربة تدفق أحداث مرن وفعال من حيث التكلفة من خلال المستويات القياسية أو المتميزة أو المخصصة لمراكز الأحداث. تلبي هذه الخيارات احتياجات تدفق البيانات التي تتراوح بين بضعة ميغابايت/ثانية إلى عدة غيغابايت/ثانية. يمكنك اختيار المطابقة المناسبة لمتطلباتك.

قابلة للتطوير

باستخدام مراكز الأحداث، يمكنك البدء بتدفقات البيانات بالميغابايت وتنمو إلى غيغابايت أو تيرابايت. ميزة التضخيم التلقائي هي أحد الخيارات المتاحة لتوسيع نطاق عدد وحدات الإنتاجية أو وحدات المعالجة لتلبية احتياجات الاستخدام الخاصة بك.

يدعم دفق الرسائل الكبيرة

في معظم سيناريوهات الدفق، تتميز البيانات بأنها خفيفة الوزن، وعادة ما تكون أقل من 1 ميغابايت، ومعدل نقل مرتفع. هناك أيضا مثيلات لا يمكن فيها تقسيم الرسائل إلى مقاطع أصغر. يمكن لمراكز الأحداث استيعاب أحداث تصل إلى 20 ميغابايت مع مجموعات مخصصة قابلة للتطوير ذاتية الخدمة دون أي رسوم إضافية. تسمح هذه الإمكانية لمراكز الأحداث بمعالجة مجموعة واسعة من أحجام الرسائل لضمان عمليات الأعمال دون انقطاع. لمزيد من المعلومات، راجع إرسال واستقبال الرسائل الكبيرة باستخدام مراكز الأحداث.

التقاط البيانات المتدفقة للاحتفاظ طويل الأجل وتحليلات الدفعات

التقط بياناتك في الوقت الفعلي تقريبا في Azure Blob Storage أو Azure Data Lake Storage للاحتفاظ بها على المدى الطويل أو معالجة الدفعات الصغيرة. يمكنك تحقيق هذا السلوك على نفس الدفق الذي تستخدمه لاشتقاق التحليلات في الوقت الحقيقي. إعداد التقاط بيانات الحدث سريع.

رسم تخطيطي يوضح التقاط بيانات مراكز الأحداث في Azure Storage أو Azure Data Lake Storage باستخدام الهوية المدارة.

طريقة العمل

توفر مراكز الأحداث نظاما أساسيا موحدا لتدفق الأحداث مع مخزن مؤقت للاحتفاظ بالوقت، ويفصل منتجي الأحداث عن مستهلكي الأحداث. يمكن لتطبيقات المنتج والمستهلك تنفيذ استيعاب البيانات على نطاق واسع من خلال بروتوكولات متعددة.

يوضح الرسم التخطيطي التالي المكونات الرئيسية لبنية مراكز الأحداث.

رسم تخطيطي يوضح المكونات الرئيسية لمراكز الأحداث.

تتضمن المكونات الوظيفية الرئيسية لمراكز الأحداث ما يلي:

  • تطبيقات المنتج: يمكن لهذه التطبيقات استيعاب البيانات إلى مركز أحداث باستخدام Event Hubs SDKs أو أي عميل منتج Kafka.
  • مساحة الاسم: حاوية الإدارة لواحد أو أكثر من مراكز الأحداث أو مواضيع Kafka. تتم معالجة مهام الإدارة مثل تخصيص سعة البث وتكوين أمان الشبكة وتمكين التعافي من الكوارث الجغرافية على مستوى مساحة الاسم.
  • موضوع مراكز الأحداث/Kafka: في مراكز الأحداث، يمكنك تنظيم الأحداث في مركز أحداث أو موضوع Kafka. إنه سجل موزع للإلحاق فقط، والذي يمكن أن يتكون من قسم واحد أو أكثر.
  • الأقسام: يتم استخدامها لتوسيع نطاق مركز الأحداث. انهم مثل الممرات في الطريق السريع. إذا كنت بحاجة إلى المزيد من معدل نقل البث، يمكنك إضافة المزيد من الأقسام.
  • تطبيقات المستهلك: يمكن أن تستهلك هذه التطبيقات البيانات عن طريق البحث من خلال سجل الأحداث والحفاظ على إزاحة المستهلك. يمكن أن يكون المستهلكون عملاء Kafka للمستهلكين أو عملاء Event Hubs SDK.
  • مجموعة المستهلكين: تقرأ هذه المجموعة المنطقية من مثيلات المستهلكين البيانات من مركز أحداث أو موضوع Kafka. فهو يمكن العديد من المستهلكين من قراءة نفس بيانات الدفق في مركز الأحداث بشكل مستقل بالسرعة الخاصة بهم ومع إزاحاتهم الخاصة.

المحتوى ذو الصلة

للبدء في استخدام مراكز الأحداث، راجع قوالب التشغيل السريع التالية.

دفق البيانات باستخدام Event Hubs SDK (AMQP)

يمكنك استخدام أي من العينات التالية لدفق البيانات إلى مراكز الأحداث باستخدام SDKs.

دفق البيانات باستخدام Apache Kafka

يمكنك استخدام العينات التالية لدفق البيانات من تطبيقات Kafka إلى مراكز الأحداث.

التحقق من صحة المخطط باستخدام سجل المخطط

يمكنك استخدام Event Hubs Schema Registry لإجراء التحقق من صحة المخطط لتطبيقات تدفق الأحداث.