مراكز أحداث Azure - نظام أساسي لتدفق البيانات في الوقت الحقيقي مع دعم Apache Kafka الأصلي
Azure Event Hubs هي خدمة تدفق بيانات أصلية سحابية يمكنها دفق ملايين الأحداث في الثانية، مع زمن انتقال منخفض، من أي مصدر إلى أي وجهة. تتوافق مراكز الأحداث مع Apache Kafka، وتمكنك من تشغيل أحمال عمل Kafka الحالية دون أي تغييرات في التعليمات البرمجية.
باستخدام مراكز الأحداث لاستيعاب البيانات المتدفقة وتخزينها، يمكن للشركات الاستفادة من قوة دفق البيانات للحصول على رؤى قيمة، ودفع التحليلات في الوقت الحقيقي، والاستجابة للأحداث عند حدوثها، ما يعزز الكفاءة الشاملة وتجربة العملاء.
Azure Event Hubs هي طبقة استيعاب الحدث المفضلة لأي حل تدفق حدث تقوم ببناءه أعلى Azure. يتكامل بسلاسة مع خدمات البيانات والتحليلات داخل Azure وخارجها لإنشاء تدفق البيانات الكامل لخدمة حالات الاستخدام التالية.
- تحليلات في الوقت الحقيقي باستخدام Azure Stream Analytics لإنشاء رؤى في الوقت الحقيقي من تدفق البيانات.
- تحليل البيانات المتدفقة واستكشافها باستخدام Azure Data Explorer.
- إنشاء التطبيقات أو الوظائف أو الخدمات المصغرة السحابية الأصلية الخاصة بك التي تعمل على دفق البيانات من مراكز الأحداث.
- دفق الأحداث مع التحقق من صحة المخطط باستخدام سجل مخطط مضمن لضمان جودة البيانات المتدفقة وتوافقها.
الإمكانات الأساسية
Apache Kafka على Azure Event Hubs
Azure Event Hubs هو محرك دفق أحداث متعدد البروتوكولات يدعم أصلا بروتوكولات AMQP وApache Kafka وHTTPs. نظرا لأنه يدعم Apache Kafka، فإنك تجلب أحمال عمل Kafka إلى Azure Event Hubs دون إجراء أي تغيير في التعليمات البرمجية. لا تحتاج إلى إعداد وتكوين وإدارة مجموعات Kafka الخاصة بك أو استخدام عرض Kafka كخدمة غير أصلي ل Azure.
تم إنشاء مراكز الأحداث من الألف إلى الياء كمحرك وسيط أصلي للسحابة. ومن ثم، يمكنك تشغيل أحمال عمل Kafka بأداء أفضل وكفاءة تكلفة أفضل وبدون نفقات تشغيلية.
لمزيد من المعلومات، راجع مراكز أحداث Azure ل Apache Kafka.
سجل المخطط في Azure Event Hubs
يوفر Azure Schema Registry في مراكز الأحداث مستودعا مركزيا لإدارة مخططات تطبيقات دفق الأحداث. يأتي Azure Schema Registry مجانيا مع كل مساحة اسم لمراكز الأحداث، ويدمج بسلاسة مع تطبيقات Kafka أو التطبيقات المستندة إلى Event Hubs SDK.
يضمن توافق البيانات واتساقها عبر منتجي الأحداث والمستهلكين. يتيح سجل المخطط تطور المخطط السلس والتحقق من الصحة والحوكمة، وتعزيز تبادل البيانات الفعال وقابلية التشغيل التفاعلي.
يتكامل سجل المخطط بسلاسة مع تطبيقات Kafka الحالية الخاصة بك ويدعم تنسيقات مخطط متعددة بما في ذلك مخططات Avro وJSON.
لمزيد من المعلومات، راجع سجل مخطط Azure في مراكز الأحداث.
معالجة الأحداث المتدفقة في الوقت الحقيقي باستخدام Azure Stream Analytics
تتكامل مراكز الأحداث بسلاسة مع Azure Stream Analytics لتمكين معالجة الدفق في الوقت الحقيقي. باستخدام محرر بدون تعليمات برمجية مضمن، يمكنك تطوير وظيفة Stream Analytics دون عناء باستخدام وظيفة السحب والإفلات، دون كتابة أي تعليمة برمجية.
بدلا من ذلك، يمكن للمطورين استخدام لغة استعلام Stream Analytics المستندة إلى SQL لإجراء معالجة دفق في الوقت الحقيقي والاستفادة من مجموعة واسعة من الوظائف لتحليل بيانات الدفق.
لمزيد من المعلومات، راجع المقالات في قسم تكامل Azure Stream Analytics في جدول المحتويات.
استكشاف تدفق البيانات باستخدام Azure Data Explorer
Azure Data Explorer هو نظام أساسي مدار بالكامل لتحليلات البيانات الضخمة التي تقدم أداء عاليا وتسمح بتحليل كميات كبيرة من البيانات في الوقت الفعلي تقريبا. من خلال دمج مراكز الأحداث مع Azure Data Explorer، يمكنك بسهولة إجراء تحليلات في الوقت الفعلي تقريبا واستكشاف البيانات المتدفقة.
لمزيد من المعلومات، راجع استيعاب البيانات من مركز أحداث إلى Azure Data Explorer والمقالات في نفس القسم.
نظام بيئي غني – وظائف Azure وSDKs والنظام البنائي Kafka
استيعاب المخزن المؤقت وتخزين ومعالجة التدفق الخاص بك في الوقت الحقيقي للحصول على رؤى قابلة للتنفيذ. تستخدم Event Hubs نموذج مستهلك مقسم، مما يتيح تطبيقات متعددة لمعالجة التدفق في وقت واحد ويتيح لك التحكم في سرعة المعالجة. تتكامل Azure Event Hubs أيضا مع Azure Functions للبنى بلا خادم.
مع توفر نظام بيئي واسع النطاق لبروتوكول AMQP 1.0 القياسي في الصناعة وحزم SDK المتوفرة بلغات مختلفة: .NET وJava وPython وJavaScript، يمكنك بسهولة البدء في معالجة تدفقاتك من مراكز الأحداث. توفر جميع لغات العملاء المدعومة تكاملاً منخفض المستوى.
يوفر لك النظام البيئي أيضا تكاملا سلسا Azure Functions وAzure Spring Apps وKafka الاتصال ors وغيرها من الأنظمة الأساسية وتقنيات تحليل البيانات مثل Apache Spark وApache Flink.
دفق الأحداث المرن والموفر من حيث التكلفة
يمكنك تجربة دفق أحداث مرن وفعال من حيث التكلفة من خلال مجموعة متنوعة من المستويات لمراكز الأحداث - بما في ذلك المستوى القياسي والمتميزة والمخصصة. تلبي هذه الخيارات احتياجات تدفق البيانات التي تتراوح بين بضعة ميغابايت/ثانية إلى عدة غيغابايت/ثانية، مما يسمح لك باختيار التطابق المثالي لمتطلباتك.
قابلة للتطوير
باستخدام Event Hubs، يمكنك البدء بتدفقات البيانات بالميغابايت، ثم تزداد لتصل إلى غيغابايت أو تيرابايت. ميزة التضخيم التلقائي هي واحدة من العديد من الخيارات المتاحة لتوسيع نطاق عدد وحدات الإنتاجية أو وحدات المعالجة لتلبية احتياجات الاستخدام الخاصة بك.
التقاط البيانات المتدفقة للاحتفاظ على المدى الطويل وتحليلات الدفعات
سجل بياناتك في الوقت الفعلي تقريباً في Azure Blob storage أوAzure Data Lake Storage للاحتفاظ بها لفترة طويلة أو معالجة الدفعات الصغيرة. يمكنك تحقيق هذا السلوك على نفس التدفق الذي تستخدمه في اشتقاق التحليلات في الوقت الحقيقي. إعداد التقاط بيانات الحدث سريع.
كيفية عمله
توفر مراكز الأحداث نظاما أساسيا موحدا لتدفق الأحداث مع مخزن مؤقت للاحتفاظ بالوقت، ويفصل منتجي الأحداث عن مستهلكي الأحداث. يمكن للمنتجين وتطبيقات المستهلكين تنفيذ استيعاب البيانات على نطاق واسع من خلال بروتوكولات متعددة.
يوضح الشكل التالي المكونات الرئيسية لبنية مراكز الأحداث:
تتضمن المكونات الوظيفية الرئيسية لمراكز الأحداث ما يلي:
- يمكن لتطبيقات المنتج استيعاب البيانات إلى مركز أحداث باستخدام Event Hubs SDKs أو أي عميل منتج Kafka.
- مساحة الاسم هي حاوية الإدارة لواحد أو أكثر من مراكز الأحداث أو مواضيع Kafka. تتم معالجة مهام الإدارة مثل تخصيص سعة البث وتكوين أمان الشبكة وتمكين التعافي من الكوارث الجغرافية وما إلى ذلك على مستوى مساحة الاسم.
- موضوع Event Hub/Kafka: في Event Hubs، يمكنك تنظيم الأحداث في مركز أحداث أو موضوع Kafka. إنه سجل ملحق موزع فقط، والذي يمكن أن يتكون من قسم واحد أو أكثر.
- يتم استخدام الأقسام لتوسيع نطاق مركز الأحداث. إنها مثل الممرات في الطريق السريع. إذا كنت بحاجة إلى المزيد من معدل النقل المتدفق، فأنت بحاجة إلى إضافة المزيد من الأقسام.
- تستهلك تطبيقات المستهلك البيانات عن طريق البحث من خلال سجل الأحداث والحفاظ على إزاحة المستهلك. يمكن أن يكون المستهلكون عملاء Kafka للمستهلكين أو عملاء Event Hubs SDK.
- مجموعة المستهلكين هي مجموعة منطقية من مثيلات المستهلكين التي تقرأ البيانات من موضوع مركز الأحداث/Kafka. فهو يمكن العديد من المستهلكين من قراءة نفس بيانات الدفق في مركز الأحداث بشكل مستقل بالسرعة الخاصة بهم ومع إزاحاتهم الخاصة.
الخطوات التالية
للبدء في استخدام مراكز الأحداث، راجع أدلة البدء السريع التالية.
دفق البيانات باستخدام Event Hubs SDK (AMQP)
يمكنك استخدام أي من العينات التالية لدفق البيانات إلى مراكز الأحداث باستخدام SDKs.
- .NET Core
- Java
- الربيع
- Python
- جافا سكريبت
- الذهاب
- C (إرسال فقط)
- Apache Storm (استقبال فقط)
دفق البيانات باستخدام Apache Kafka
يمكنك استخدام العينات التالية لدفق البيانات من تطبيقات Kafka إلى مراكز الأحداث.
التحقق من صحة المخطط باستخدام سجل المخطط
يمكنك استخدام Event Hubs Schema Registry لإجراء التحقق من صحة المخطط لتطبيقات تدفق الأحداث.