استكشاف العناصر المشتركة لبنية معالجة الدفق
تلميح
راجع علامة التبويب النص والصور لمزيد من التفاصيل!
هناك العديد من التقنيات التي يمكنك استخدامها لتنفيذ حل معالجة دفق، ولكن في حين قد تختلف تفاصيل التنفيذ المحددة، هناك عناصر شائعة لمعظم بنى الدفق.
بنية عامة لمعالجة الدفق
في أبسط صورها، تبدو البنية المتطورة لمعالجة الدفق كما يلي:
ينشئ الحدث بعض البيانات. قد تكون هذه إشارة يتم بثها بواسطة جهاز استشعار أو رسالة وسائط اجتماعية يتم نشرها أو إدخال ملف سجل تتم كتابته أو أي حدث آخر ينتج عنه بعض البيانات الرقمية.
يتم التقاط البيانات التي تم إنشاؤها في مصدر دفق للمعالجة. في حالات بسيطة، قد يكون المصدر مجلدًا في مخزن بيانات سحابي أو جدولاً في قاعدة بيانات. في حلول البث الأكثر قوة، قد يكون المصدر طابورا يغلف المنطق لضمان معالجة بيانات الأحداث بالترتيب وأن كل حدث يتم معالجته مرة واحدة فقط.
تتم معالجة بيانات الحدث، غالبا عن طريق استعلام دائم يعمل على بيانات الحدث لاختيار بيانات لأنواع محددة من الأحداث، أو قيم بيانات المشاريع، أو تجميع قيم البيانات عبر فترات زمنية (أو نوافذ) - على سبيل المثال، عن طريق عد عدد انبعاثات المستشعرات في الدقيقة.
تتم كتابة نتائج عملية معالجة الدفق إلى إخراج (أو متلقٍ) والتي قد تكون ملفًا أو جدول قاعدة بيانات أو لوحة معلومات مرئية في الوقت الحقيقي أو قائمة انتظار أخرى للمعالجة الإضافية بواسطة استعلام لاحق في المصب.
خدمات التحليلات في الوقت الحقيقي
تدعم Microsoft تقنيات متعددة يمكنك استخدامها لتنفيذ تحليلات في الوقت الحقيقي لتدفق البيانات، بما في ذلك:
Microsoft Fabric Real-Time Intelligence: مجموعة أدوات كاملة ومتكاملة للبيانات اللحظية مدمجة في Microsoft Fabric. تشمل هذه التقنية Eventstreams (لاستيعاب وتوجيه وتحويل بيانات التدفق)، Eventhouse (قاعدة بيانات محسنة لبيانات السلاسل الزمنية والأحداث، يتم الاستعلام عنها باستخدام KQL — لغة Kusto Query Language، وهي لغة استعلام مصممة لتحليل السجلات والقياس السريع)، ولوحاتReal-Time (لعرض البيانات المباشر)، والمنشط (لتفعيل الإجراءات الآلية عند تلبية بيانات التدفق شروط محددة). مساعدة الذكاء الاصطناعي في Fabric Real-Time Intelligence تساعدك على توليد استفسارات KQL من أسئلة اللغة الطبيعية.
Spark Structured Streaming: مكتبة مفتوحة المصدر تتيح لك تطوير حلول بث معقدة على خدمات Apache Spark، بما في ذلك Azure Databricks و Microsoft Fabric.
Azure Stream Analytics: حل منصة كخدمة (PaaS) يمكنك استخدامه لتعريف وظائف البث التي تستقبل البيانات من مصدر تدفق، وتطبق استعلام perpetual، وتكتب النتائج إلى مخرجات. إنه خيار قوي لسيناريوهات البث المستقلة أو الهجينة خارج Fabric.
مصادر معالجة الدفق
تستخدم الخدمات التالية عادة لاستيعاب البيانات لمعالجة الدفق على Azure:
مراكز أحداث Azure: خدمة استيعاب البيانات التي يمكنك استخدامها لإدارة قوائم انتظار بيانات الحدث، لضمان معالجة كل حدث بالترتيب، مرة واحدة بالضبط.
Azure IoT Hub: خدمة استيعاب بيانات مشابهة ل مراكز أحداث Azure، ولكنها محسنة لإدارة بيانات الأحداث من أجهزة إنترنت الأشياء (IoT).
Azure Data Lake Store Gen 2: خدمة تخزين قابلة للتطوير بدرجة كبيرة غالبا ما تستخدم في سيناريوهات معالجة الدفعات، ولكن يمكن استخدامها أيضا كمصدر للبيانات المتدفقة.
Apache Kafka: حل استيعاب البيانات مفتوح المصدر شائع الاستخدام مع Apache Spark.
متلقيو معالجة الدفق
غالبًا ما يتم إرسال الإخراج من معالجة الدفق إلى الخدمات التالية:
مراكز الأحداث من Azure: تُستخدم لوضع البيانات المعالجة في قائمة انتظار لمزيد من المعالجة النهائية.
تخزين Azure Data Lake Store Gen 2 أو Microsoft OneLake أو Azure blob: يستخدم لاستمرار النتائج المعالجة كملف.
قاعدة بيانات Azure SQL أو Azure Databricks أو Microsoft Fabric: يستخدم لاستمرار النتائج المعالجة في جدول للاستعلام والتحليل.
Microsoft Power BI: تستخدم لإنشاء مرئيات البيانات في الوقت الحقيقي في التقارير ولوحات المعلومات.