مشاركة عبر

تصفية Azure Synapse SQL واستيعابه باستخدام Stream Analytics دون محرر تعليمات برمجية

  • مقالة

توضح هذه المقالة كيف يمكنك استخدام دون محرر التعليمات البرمجية لإنشاء وظيفة Stream Analytics بسهولة. يقرأ باستمرار من مراكز الأحداث الخاصة بك، ويصفي البيانات الواردة، ثم يكتب النتائج باستمرار في جدول Synapse SQL.

المتطلبات الأساسية

  • يجب أن تكون موارد مراكز أحداث Azure متاحة للجمهور ولا يمكن أن تكون خلف جدار حماية أو مؤمنة في شبكة Azure الظاهرية.
  • يجب إجراء تسلسل للبيانات الموجودة في مراكز الأحداث بتنسيق JSON أو CSV أو Avro.

تطوير وظيفة Stream Analytics لتصفية البيانات واستيعابها

استخدم الخطوات التالية لتطوير وظيفة Stream Analytics لتصفية البيانات في الوقت الحقيقي واستيعابها في جدول SQL Synapse.

  1. في مدخل Microsoft Azure، حدد موقع مثيل مراكز الأحداث من Azure وحدده.

  2. حدد FeaturesProcess>Data، وحدد Start على بطاقة Filter and ingest to Synapse SQL.
    لقطة شاشة تعرض بطاقات بدء بيانات

  3. أدخل اسماً لتحديد وظيفتك في Stream Analytics، ثم حدد Create.
    لقطة شاشة تعرض نافذة وظيفة New Stream Analytics حيث تقوم بإدخال اسم الوظيفة.

  4. حدد نوع إنشاء التسلسل لبياناتك في نافذة مراكز الأحداث وطريقة المصادقة التي ستستخدمها المهمة للاتصال بمراكز الأحداث. وبعد ذلك حدد Connect.
    لقطة شاشة تعرض تكوين اتصال مراكز الأحداث.

  5. عندما يتم إنشاء الاتصال بنجاح ويكون لديك تدفق بيانات يتدفق إلى مثيل مراكز الأحداث، فسترى على الفور شيئين:

    • الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو تحديد رمز النقاط الثلاث بجوار الحقل لإزالته أو إعادة تسميته أو تغيير نوعه.
      لقطة شاشة تعرض قائمة حقول مراكز الأحداث حيث يمكنك إزالة نوع الحقل أو إعادة تسميته أو تغييره.
    • عينة مباشرة من البيانات الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي. يتم تحديثه تلقائياً بشكل دوري. يمكنك تحديد إيقاف معاينة البث مؤقتاً لمشاهدة طريقة عرض ثابتة لنموذج بيانات الإدخال.
      لقطة شاشة تعرض بيانات نموذجية ضمن معاينة البيانات.

  6. في منطقة التصفية، حدد حقلاً لتصفية البيانات الواردة بشرط.
    لقطة شاشة تعرض منطقة التصفية حيث يمكنك تصفية البيانات الواردة بشرط.

  7. حدد جدول synapse SQL لإرسال البيانات التي تمت تصفيتها:

    1. حدد Subscription وDatabase (dedicated SQL pool name) وAuthentication method من القائمة المنسدلة.
    2. أدخل اسم الجدول حيث سيتم استيعاب البيانات المصفاة. حدد اتصال.
      لقطة شاشة تعرض تفاصيل اتصال جدول Synapse SQL.

    إشعار

    يجب أن يتطابق مخطط الجدول تماماً مع عدد الحقول وأنواعها التي تنشئها معاينة البيانات.

  8. اختيارياً، حدد Get static preview/Refresh static preview لمشاهدة معاينة البيانات التي سيتم استيعابها في جدول Synapse SQL المحدد.
    لقطة شاشة تعرض خيار الحصول على معاينة ثابتة/تحديث المعاينة الثابتة.

  9. حدد Save ثم حدد بدء وظيفة Stream Analytics.
    لقطة شاشة تعرض خيارات الحفظ والبدء.

  10. لبدء الوظيفة، حدد:

    • عدد وحدات البث (SUs) التي تعمل بها الوظيفة. تمثل وحدات دفق البيانات مقدار الحوسبة والذاكرة المخصصة للمهمة. نوصي بأن تبدأ بثلاثة ثم تضبط حسب الحاجة.
    • معالجة أخطاء بيانات الإخراج - يسمح لك بتحديد السلوك الذي تريده عند فشل إخراج الوظيفة إلى وجهتك بسبب أخطاء البيانات. بشكلٍ افتراضي، تعيد مهمتك المحاولة حتى تنجح عملية الكتابة. يمكنك أيضاً اختيار إسقاط أحداث الإخراج هذه.
      لقطة شاشة تعرض خيارات مهمة بدء Stream Analytics حيث يمكنك تغيير وقت الإخراج، وتعيين عدد وحدات الدفق، وتحديد خيارات معالجة أخطاء بيانات الإخراج.

  11. بعد تحديد البدء، تبدأ المهمة في العمل في غضون دقيقتين وسيتم فتح المقاييس في قسم علامة التبويب أدناه.

    يمكنك أيضا رؤية المهمة ضمن قسم بيانات العملية في علامة التبويب وظائف Stream Analytics. حدد فتح المقاييس لمراقبتها أو إيقافها وإعادة تشغيلها، حسب الحاجة.

    لقطة شاشة لعلامة تبويب وظائف Stream Analytics حيث يمكنك عرض حالة المهام قيد التشغيل.

اعتبارات عند استخدام ميزة النسخ المتماثل الجغرافي لمراكز الأحداث

أطلقت مراكز الأحداث مؤخرا ميزة النسخ المتماثل الجغرافي في المعاينة العامة. تختلف هذه الميزة عن ميزة التعافي من الكوارث الجغرافية في Azure Event Hubs.

عندما يكون نوع تجاوز الفشل إجباريا وتناسق النسخ المتماثل غير متزامن، لا تضمن وظيفة Stream Analytics الإخراج مرة واحدة بالضبط إلى إخراج مراكز أحداث Azure.

قد تلاحظ Azure Stream Analytics، كمنتج مع مركز أحداث ناتج، تأخير العلامة المائية على المهمة أثناء مدة تجاوز الفشل وأثناء التقييد بواسطة مراكز الأحداث في حالة وصول تأخر النسخ المتماثل بين الأساسي والثانوي إلى الحد الأقصى للتأخر المكون.

قد تلاحظ Azure Stream Analytics، كمستهلك مع مراكز الأحداث كإدخل، تأخير العلامة المائية في المهمة أثناء مدة تجاوز الفشل وقد تتخطى البيانات أو تجد بيانات مكررة بعد اكتمال تجاوز الفشل.

نظرا لهذه المحاذير، نوصي بإعادة تشغيل وظيفة Stream Analytics مع وقت البدء المناسب مباشرة بعد اكتمال تجاوز فشل مراكز الأحداث. أيضا، نظرا لأن ميزة النسخ المتماثل الجغرافي لمراكز الأحداث في المعاينة العامة، لا نوصي باستخدام هذا النمط لمهام Stream Analytics للإنتاج في هذه المرحلة. سيتحسن سلوك Stream Analytics الحالي قبل أن تتوفر ميزة النسخ المتماثل الجغرافي لمراكز الأحداث بشكل عام ويمكن استخدامها في مهام إنتاج Stream Analytics.

الخطوات التالية

تعرف على المزيد حول Azure Stream Analytics وكيفية مراقبة المهمة التي أنشأتها.