مشاركة عبر

تصفية واستيعاب Azure Data Explorer باستخدام Stream Analytics بدون محرر تعليمات برمجية

  • مقالة

توضح هذه المقالة كيف يمكنك استخدام دون محرر التعليمات البرمجية لإنشاء وظيفة Stream Analytics بسهولة. يقرأ باستمرار من مراكز الأحداث الخاصة بك، ويصفي البيانات الواردة، ثم يكتب النتائج باستمرار إلى Azure Data Explorer.

المتطلبات الأساسية

  • يجب أن تكون موارد Azure Event Hubs وAzure Data Explorer متاحة للجمهور ولا تكون خلف جدار حماية أو مؤمنة في شبكة Azure الظاهرية
  • يجب إجراء تسلسل للبيانات الموجودة في مراكز الأحداث بتنسيق JSON أو CSV أو Avro.

تطوير مهمة Stream Analytics لتصفية البيانات واستيعابها في الوقت الحقيقي

  1. في مدخل Microsoft Azure، حدد موقع مثيل Azure Event Hubs وحدده.

  2. حدد Features>Process Data ثم حدد Start على بطاقة Filter and store data to Azure Data Explorer.

    لقطة شاشة تعرض بطاقة Filter and ingest to Azure Data Lake Storage Gen2 حيث تحدد Start.

  3. أدخل اسماً لمهمة Stream Analytics، ثم حدد إنشاء.

    لقطة شاشة توضح مكان إدخال اسم الوظيفة.

  4. حدد نوع إنشاء التسلسل لبياناتك في نافذة مراكز الأحداث وطريقة المصادقة التي ستستخدمها المهمة للاتصال بمراكز الأحداث. وبعد ذلك حدد Connect.
    لقطة شاشة تعرض تكوين اتصال مراكز الأحداث.

  5. عندما يتم إنشاء الاتصال بنجاح ويكون لديك تدفق بيانات يتدفق إلى مثيل مراكز الأحداث، فسترى على الفور شيئين:

    • الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو تحديد رمز النقاط الثلاث بجوار الحقل لإزالته أو إعادة تسميته أو تغيير نوعه.
      لقطة شاشة تعرض قائمة حقول مراكز الأحداث حيث يمكنك إزالة نوع الحقل أو إعادة تسميته أو تغييره.
    • عينة مباشرة من البيانات الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي. يتم تحديثه تلقائياً بشكل دوري. يمكنك تحديد إيقاف معاينة البث مؤقتاً لمشاهدة طريقة عرض ثابتة لنموذج بيانات الإدخال.
      لقطة شاشة تعرض بيانات نموذجية ضمن معاينة البيانات.

  6. حدد الإطار المتجانب Filter لتجميع البيانات. في منطقة التصفية، حدد حقلاً لتصفية البيانات الواردة بشرط.

    لقطة شاشة تعرض تكوين عامل تشغيل عامل التصفية.

  7. حدد الإطار المتجانب Manage . في لوحة تكوين إدارة الحقول ، اختر الحقول التي تريد إخراجها إلى مركز الأحداث. إذا كنت تريد إضافة كافة الحقول، فحدد إضافة كافة الحقول.

    لقطة شاشة تعرض تكوين عامل تشغيل الحقل المدار.

  8. حدد لوحة Azure Data Explorer . في لوحة التكوين، قم بتعبئة المعلمات المطلوبة والاتصال.

    إشعار

    يجب أن يكون الجدول موجودا في قاعدة البيانات المحددة ويجب أن يتطابق مخطط الجدول تماما مع عدد الحقول وأنواعها التي تنشئها معاينة البيانات.

    لقطة شاشة تعرض تكوين إخراج Kusto.

  9. اختياريا، حدد Get static preview/Refresh static preview لمشاهدة معاينة البيانات التي سيتم استيعابها في مركز الأحداث.
    لقطة شاشة تعرض خيار الحصول على معاينة ثابتة/تحديث المعاينة الثابتة.

  10. حدد Save ثم حدد بدء وظيفة Stream Analytics.
    لقطة شاشة تعرض خيارات الحفظ والبدء.

  11. لبدء الوظيفة، حدد:

    • عدد وحدات البث (SUs) التي تعمل بها الوظيفة. تمثل وحدات دفق البيانات مقدار الحوسبة والذاكرة المخصصة للمهمة. نوصي بأن تبدأ بثلاثة ثم تضبط حسب الحاجة.
    • معالجة أخطاء بيانات الإخراج - يسمح لك بتحديد السلوك الذي تريده عند فشل إخراج الوظيفة إلى وجهتك بسبب أخطاء البيانات. بشكلٍ افتراضي، تعيد مهمتك المحاولة حتى تنجح عملية الكتابة. يمكنك أيضاً اختيار إسقاط أحداث الإخراج هذه.
      لقطة شاشة تعرض خيارات مهمة بدء Stream Analytics حيث يمكنك تغيير وقت الإخراج، وتعيين عدد وحدات الدفق، وتحديد خيارات معالجة أخطاء بيانات الإخراج.

  12. بعد تحديد البدء، تبدأ المهمة في العمل في غضون دقيقتين، وسيتم فتح المقاييس في قسم علامة التبويب أدناه.

    لقطة شاشة تعرض بيانات مقاييس الوظيفة بعد بدء تشغيلها.

    يمكنك أيضا رؤية المهمة ضمن قسم بيانات العملية في علامة التبويب وظائف Stream Analytics. حدد فتح المقاييس لمراقبتها أو إيقافها وإعادة تشغيلها، حسب الحاجة.

    لقطة شاشة لعلامة تبويب وظائف Stream Analytics حيث يمكنك عرض حالة المهام قيد التشغيل.

اعتبارات عند استخدام ميزة النسخ المتماثل الجغرافي لمراكز الأحداث

أطلقت مراكز الأحداث مؤخرا ميزة النسخ المتماثل الجغرافي في المعاينة العامة. تختلف هذه الميزة عن ميزة التعافي من الكوارث الجغرافية في Azure Event Hubs.

عندما يكون نوع تجاوز الفشل إجباريا وتناسق النسخ المتماثل غير متزامن، لا تضمن وظيفة Stream Analytics الإخراج مرة واحدة بالضبط إلى إخراج مراكز أحداث Azure.

قد تلاحظ Azure Stream Analytics، كمنتج مع مركز أحداث ناتج، تأخير العلامة المائية على المهمة أثناء مدة تجاوز الفشل وأثناء التقييد بواسطة مراكز الأحداث في حالة وصول تأخر النسخ المتماثل بين الأساسي والثانوي إلى الحد الأقصى للتأخر المكون.

قد تلاحظ Azure Stream Analytics، كمستهلك مع مراكز الأحداث كإدخل، تأخير العلامة المائية في المهمة أثناء مدة تجاوز الفشل وقد تتخطى البيانات أو تجد بيانات مكررة بعد اكتمال تجاوز الفشل.

نظرا لهذه المحاذير، نوصي بإعادة تشغيل وظيفة Stream Analytics مع وقت البدء المناسب مباشرة بعد اكتمال تجاوز فشل مراكز الأحداث. أيضا، نظرا لأن ميزة النسخ المتماثل الجغرافي لمراكز الأحداث في المعاينة العامة، لا نوصي باستخدام هذا النمط لمهام Stream Analytics للإنتاج في هذه المرحلة. سيتحسن سلوك Stream Analytics الحالي قبل أن تتوفر ميزة النسخ المتماثل الجغرافي لمراكز الأحداث بشكل عام ويمكن استخدامها في مهام إنتاج Stream Analytics.

الخطوات التالية

تعرف على المزيد حول Azure Stream Analytics وكيفية مراقبة المهمة التي أنشأتها.