مشاركة عبر

إثراء البيانات واستيعابها لمركز الأحداث باستخدام Stream Analytics بدون محرر تعليمات برمجية

  • مقالة

توضح هذه المقالة كيف يمكنك استخدام دون محرر التعليمات البرمجية لإنشاء وظيفة Stream Analytics بسهولة. يقرأ باستمرار من مراكز الأحداث الخاصة بك، ويثري البيانات الواردة مع البيانات المرجعية SQL، ثم يكتب النتائج باستمرار إلى مركز الأحداث.

المتطلبات الأساسية

  • يجب أن تكون موارد البيانات المرجعية ل Azure Event Hubs وSQL متاحة للجمهور ولا تكون خلف جدار حماية أو مؤمنة في شبكة Azure الظاهرية
  • يجب إجراء تسلسل للبيانات الموجودة في مراكز الأحداث بتنسيق JSON أو CSV أو Avro.

تطوير وظيفة Stream Analytics لإثراء بيانات مركز الأحداث

  1. في مدخل Azure، حدد موقع مثيل مراكز أحداث Azure وحدده.

  2. حدد الميزات>بيانات العملية ثم حدد البدء على بطاقة إثراء البيانات واستيعابها إلى مركز الأحداث.

    لقطة شاشة تعرض عامل التصفية والاستيعاب في بطاقة ADLS Gen2 التي تحدد

  3. أدخل اسماً لمهمة Stream Analytics، ثم حدد إنشاء.

    لقطة شاشة توضح مكان إدخال اسم الوظيفة.

  4. حدد نوع إنشاء التسلسل لبياناتك في نافذة مراكز الأحداث وطريقة المصادقة التي ستستخدمها المهمة للاتصال بمراكز الأحداث. وبعد ذلك حدد Connect.
    لقطة شاشة تعرض تكوين اتصال مراكز الأحداث.

  5. عندما يتم إنشاء الاتصال بنجاح ويكون لديك تدفق بيانات يتدفق إلى مثيل مراكز الأحداث، فسترى على الفور شيئين:

    • الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو تحديد رمز النقاط الثلاث بجوار الحقل لإزالته أو إعادة تسميته أو تغيير نوعه.
      لقطة شاشة تعرض قائمة حقول مراكز الأحداث حيث يمكنك إزالة نوع الحقل أو إعادة تسميته أو تغييره.
    • عينة مباشرة من البيانات الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي. يتم تحديثه تلقائياً بشكل دوري. يمكنك تحديد إيقاف معاينة البث مؤقتاً لمشاهدة طريقة عرض ثابتة لنموذج بيانات الإدخال.
      لقطة شاشة تعرض بيانات نموذجية ضمن معاينة البيانات.

  6. حدد مربع إدخال SQL المرجعي للاتصال بقاعدة بيانات SQL المرجعية.
    لقطة شاشة تعرض تكوين اتصال بيانات مرجع sql.

  7. حدد لوحة الانضمام. في لوحة التكوين اليمنى، اختر حقلا من كل إدخال للانضمام إلى البيانات الواردة من الإدخالين.

    لقطة شاشة تعرض تكوين عامل تشغيل الانضمام.

  8. حدد الإطار المتجانب Manage . في لوحة تكوين إدارة الحقول ، اختر الحقول التي تريد إخراجها إلى مركز الأحداث. إذا كنت تريد إضافة كافة الحقول، فحدد إضافة كافة الحقول.

    لقطة شاشة تعرض تكوين عامل تشغيل الحقل المدار.

  9. حدد تجانب Event Hub . في لوحة تكوين Event Hub، قم بتعبئة المعلمات المطلوبة والاتصال، على غرار تكوين مركز حدث الإدخال.

  10. اختياريا، حدد Get static preview/Refresh static preview لمشاهدة معاينة البيانات التي سيتم استيعابها في مركز الأحداث.
    لقطة شاشة تعرض خيار الحصول على معاينة ثابتة/تحديث المعاينة الثابتة.

  11. حدد Save ثم حدد بدء وظيفة Stream Analytics.
    لقطة شاشة تعرض خيارات الحفظ والبدء.

  12. لبدء الوظيفة، حدد:

    • عدد وحدات البث (SUs) التي تعمل بها الوظيفة. تمثل وحدات دفق البيانات مقدار الحوسبة والذاكرة المخصصة للمهمة. نوصي بأن تبدأ بثلاثة ثم تضبط حسب الحاجة.
    • معالجة أخطاء بيانات الإخراج - يسمح لك بتحديد السلوك الذي تريده عند فشل إخراج الوظيفة إلى وجهتك بسبب أخطاء البيانات. بشكلٍ افتراضي، تعيد مهمتك المحاولة حتى تنجح عملية الكتابة. يمكنك أيضاً اختيار إسقاط أحداث الإخراج هذه.
      لقطة شاشة تعرض خيارات مهمة بدء Stream Analytics حيث يمكنك تغيير وقت الإخراج، وتعيين عدد وحدات الدفق، وتحديد خيارات معالجة أخطاء بيانات الإخراج.

  13. بعد تحديد البدء، تبدأ المهمة في العمل في غضون دقيقتين، وسيتم فتح المقاييس في قسم علامة التبويب أدناه.

    لقطة شاشة تعرض بيانات مقاييس الوظيفة بعد بدء تشغيلها.

    يمكنك أيضا رؤية المهمة ضمن قسم بيانات العملية في علامة التبويب وظائف Stream Analytics. حدد فتح المقاييس لمراقبتها أو إيقافها وإعادة تشغيلها، حسب الحاجة.

    لقطة شاشة لعلامة تبويب وظائف Stream Analytics حيث يمكنك عرض حالة المهام قيد التشغيل.

اعتبارات عند استخدام ميزة النسخ المتماثل الجغرافي لمراكز الأحداث

أطلقت مراكز الأحداث مؤخرا ميزة النسخ المتماثل الجغرافي في المعاينة العامة. تختلف هذه الميزة عن ميزة التعافي من الكوارث الجغرافية في Azure Event Hubs.

عندما يكون نوع تجاوز الفشل إجباريا وتناسق النسخ المتماثل غير متزامن، لا تضمن وظيفة Stream Analytics الإخراج مرة واحدة بالضبط إلى إخراج مراكز أحداث Azure.

قد تلاحظ Azure Stream Analytics، كمنتج مع مركز أحداث ناتج، تأخير العلامة المائية على المهمة أثناء مدة تجاوز الفشل وأثناء التقييد بواسطة مراكز الأحداث في حالة وصول تأخر النسخ المتماثل بين الأساسي والثانوي إلى الحد الأقصى للتأخر المكون.

قد تلاحظ Azure Stream Analytics، كمستهلك مع مراكز الأحداث كإدخل، تأخير العلامة المائية في المهمة أثناء مدة تجاوز الفشل وقد تتخطى البيانات أو تجد بيانات مكررة بعد اكتمال تجاوز الفشل.

نظرا لهذه المحاذير، نوصي بإعادة تشغيل وظيفة Stream Analytics مع وقت البدء المناسب مباشرة بعد اكتمال تجاوز فشل مراكز الأحداث. أيضا، نظرا لأن ميزة النسخ المتماثل الجغرافي لمراكز الأحداث في المعاينة العامة، لا نوصي باستخدام هذا النمط لمهام Stream Analytics للإنتاج في هذه المرحلة. سيتحسن سلوك Stream Analytics الحالي قبل أن تتوفر ميزة النسخ المتماثل الجغرافي لمراكز الأحداث بشكل عام ويمكن استخدامها في مهام إنتاج Stream Analytics.

الخطوات التالية

تعرف على المزيد حول Azure Stream Analytics وكيفية مراقبة المهمة التي أنشأتها.