مشاركة عبر

استخدام محرر Azure Stream Analytics بدون تعليمات برمجية لتحويل البيانات وتخزينها في قاعدة بيانات Azure SQL

  • مقالة

توضح هذه المقالة كيف يمكنك استخدام أي محرر تعليمات برمجية لإنشاء مهمة Stream Analytics بسهولة، والتي تقرأ البيانات باستمرار من مثيل مراكز الأحداث (مركز الأحداث)، وتحول البيانات، ثم تكتب النتائج إلى قاعدة بيانات Azure SQL.

المتطلبات الأساسية

يجب أن تكون موارد Azure Event Hubs وAzure SQL Database متاحة للجمهور ولا تكون خلف جدار حماية أو مؤمنة في شبكة Azure الظاهرية. يجب إجراء تسلسل للبيانات الموجودة في مراكز الأحداث بتنسيق JSON أو CSV أو Avro.

إذا كنت تريد تجربة الخطوات الواردة في هذه المقالة، فاتبع هذه الخطوات.

  • إنشاء مركز أحداث إذا لم يكن لديك مركز بالفعل. إنشاء بيانات في مركز الأحداث. في صفحة Event Hubs Instance ، حدد Generate data (preview) في القائمة اليسرى، وحدد Stock data for Dataset، ثم حدد Send لإرسال بعض البيانات النموذجية إلى مركز الأحداث. هذه الخطوة مطلوبة إذا كنت تريد اختبار الخطوات في هذه المقالة.

    لقطة شاشة تعرض صفحة إنشاء بيانات (معاينة) لمثيل مراكز الأحداث.

  • إنشاء قاعدة بيانات Azure SQL. فيما يلي بعض النقاط المهمة التي يجب ملاحظتها أثناء إنشاء قاعدة البيانات.

    1. في صفحة Basics ، حدد Create new for Server. ثم، في صفحة إنشاء خادم قاعدة بيانات SQL، حدد استخدام مصادقة SQL، وحدد معرف المستخدم المسؤول وكلمة المرور.

    2. في صفحة Networking ، اتبع الخطوات التالية:

      1. تمكين نقطة النهاية العامة.
      2. حدد نعم للسماح لخدمات وموارد Azure بالوصول إلى هذا الخادم.
      3. حدد نعم لإضافة عنوان IP للعميل الحالي.

    3. في صفحة إعدادات إضافية، حدد بلا لاستخدام البيانات الموجودة.

    4. في المقالة، تخط الخطوات في قسمي الاستعلام عن قاعدة البيانات وتنظيف الموارد .

    5. إذا كنت تريد اختبار الخطوات، قم بإنشاء جدول في قاعدة بيانات SQL باستخدام محرر الاستعلام (معاينة).

      create table stocks (
    symbol varchar(4),
    price decimal
)

استخدام محرر بدون تعليمات برمجية لإنشاء وظيفة Stream Analytics

في هذا القسم، يمكنك إنشاء وظيفة Azure Stream Analytics باستخدام محرر بدون تعليمات برمجية. تحول الوظيفة تدفق البيانات من مثيل مراكز الأحداث (مركز الأحداث) وتخزن بيانات النتائج في قاعدة بيانات Azure SQL.

  1. في مدخل Microsoft Azure، انتقل إلى صفحة Event Hubs Instance لمركز الحدث الخاص بك.

  2. حدد الميزات>معالجة البيانات في القائمة اليسرى ثم حدد البدء على بطاقة تحويل البيانات وتخزينها إلى بطاقة قاعدة بيانات SQL.

    لقطة شاشة تعرض عامل التصفية والاستيعاب في بطاقة ADLS Gen2 التي تحدد

  3. أدخل اسماً لمهمة Stream Analytics، ثم حدد إنشاء. ترى الرسم التخطيطي لمهمة Stream Analytics مع نافذة مراكز الأحداث إلى اليمين.

    لقطة شاشة توضح مكان إدخال اسم الوظيفة.

  4. في نافذة Event hub، راجع إعدادات وضع التسلسل والمصادقة، وحدد Connect.

    لقطة شاشة تعرض تكوين اتصال مراكز الأحداث.

  5. عند تأسيس الاتصال بنجاح ولديك بيانات في مثيل مراكز الأحداث، سترى أمرين:

    • الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو تحديد رمز النقاط الثلاث بجوار الحقل لإزالته أو إعادة تسميته أو تغيير نوعه.

      لقطة شاشة تعرض قائمة حقول مراكز الأحداث حيث يمكنك إزالة نوع الحقل أو إعادة تسميته أو تغييره.

    • عينة مباشرة من البيانات الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي. يتم تحديثه تلقائياً بشكل دوري. يمكنك تحديد إيقاف معاينة البث مؤقتاً لمشاهدة طريقة عرض ثابتة لنموذج بيانات الإدخال.

      لقطة شاشة تعرض بيانات نموذجية ضمن معاينة البيانات.

  6. حدد الإطار المتجانب تجميع حسب لتجميع البيانات. في لوحة التجميع حسب التكوين، يمكنك تحديد الحقل الذي تريد تجميعه حسب مع النافذة الزمنية.

    في المثال التالي، يتم استخدام متوسط السعر والرمز.

    لقطة شاشة تعرض المجموعة حسب تكوين عامل التشغيل.

  7. يمكنك التحقق من صحة نتائج الخطوة في قسم معاينة البيانات.

    لقطة شاشة تعرض معاينة البيانات للمجموعة حسب عامل التشغيل.

  8. حدد الإطار المتجانب إدارة الحقول . في لوحة تكوين إدارة الحقول ، اختر الحقول التي تريد إخراجها عن طريق تحديد إضافة حقل ->مخطط مستورد -> حقل.

    إذا كنت تريد إضافة كافة الحقول، فحدد إضافة كافة الحقول. أثناء إضافة حقل، يمكنك تحديد اسم مختلف للإخراج. على سبيل المثال، AVG_Value إلى Value. بعد حفظ التحديدات، سترى البيانات في جزء معاينة البيانات.

    في المثال التالي، يتم تحديد رمز AVG_Value. يتم تعيين الرمز إلى رمز، ويتم تعيين AVG_Value إلى السعر.

    لقطة شاشة تعرض تكوين عامل تشغيل الحقل المدار.

  9. حدد لوحة SQL . في لوحة تكوين قاعدة بيانات SQL، قم بتعبئة المعلمات المطلوبة والاتصال. حدد تحميل جدول موجود لاختيار الجدول تلقائيا. في المثال التالي، [dbo].[stocks] يتم اختيار . ثم حدد Connect.

    إشعار

    يجب أن يتطابق مخطط الجدول الذي تختار كتابته تماما مع عدد الحقول وأنواعها التي تنشئها معاينة البيانات.

    لقطة شاشة تعرض تكوين إخراج قاعدة بيانات sql.

  10. في جزء معاينة البيانات، سترى معاينة البيانات التي تم تناولها في قاعدة بيانات SQL.

    لقطة شاشة تعرض خيار الحصول على معاينة ثابتة/تحديث المعاينة الثابتة.

  11. حدد Save ثم حدد بدء وظيفة Stream Analytics.

    لقطة شاشة تعرض خيارات الحفظ والبدء.

  12. لبدء الوظيفة، حدد:

    • عدد وحدات البث (SUs) التي تعمل بها الوظيفة. تمثل وحدات دفق البيانات مقدار الحوسبة والذاكرة المخصصة للمهمة. نوصي بأن تبدأ بثلاثة ثم تضبط حسب الحاجة.

    • معالجة أخطاء بيانات الإخراج - يسمح لك بتحديد السلوك الذي تريده عند فشل إخراج الوظيفة إلى وجهتك بسبب أخطاء البيانات. بشكلٍ افتراضي، تعيد مهمتك المحاولة حتى تنجح عملية الكتابة. يمكنك أيضاً اختيار إسقاط أحداث الإخراج هذه.

      لقطة شاشة تعرض خيارات مهمة بدء Stream Analytics حيث يمكنك تغيير وقت الإخراج، وتعيين عدد وحدات الدفق، وتحديد خيارات معالجة أخطاء بيانات الإخراج.

  13. بعد تحديد "Start"، تبدأ المهمة في العمل في غضون دقيقتين. ترى لوحة المقاييس في الجزء السفلي مفتوحة. يستغرق تحديث هذه اللوحة بعض الوقت. حدد تحديث في الزاوية العلوية اليسرى من اللوحة لتحديث المخطط. انتقل إلى الخطوة التالية في علامة تبويب أو نافذة منفصلة من مستعرض الويب.

    لقطة شاشة تعرض مقاييس الوظيفة بعد بدء تشغيلها.

    يمكنك أيضا رؤية المهمة ضمن قسم بيانات العملية في علامة التبويب وظائف Stream Analytics. حدد فتح المقاييس لمراقبتها أو إيقافها وإعادة تشغيلها، حسب الحاجة.

    لقطة شاشة لعلامة تبويب وظائف Stream Analytics حيث يمكنك عرض حالة المهام قيد التشغيل.

  14. انتقل إلى مركز الأحداث في المدخل في نافذة مستعرض منفصلة أو علامة تبويب، وأرسل عينة من بيانات المخزون مرة أخرى (كما فعلت في المتطلبات الأساسية). في صفحة Event Hubs Instance ، حدد Generate data (preview) في القائمة اليسرى، وحدد Stock data for Dataset، ثم حدد Send لإرسال بعض البيانات النموذجية إلى مركز الأحداث. يستغرق الأمر بضع دقائق لرؤية لوحة Metrics محدثة.

  15. يجب أن تشاهد السجلات المدرجة في قاعدة بيانات Azure SQL.

    لقطة شاشة تعرض محتويات جدول الأسهم في قاعدة البيانات.

اعتبارات عند استخدام ميزة النسخ المتماثل الجغرافي لمراكز الأحداث

أطلقت مراكز الأحداث مؤخرا ميزة النسخ المتماثل الجغرافي في المعاينة العامة. تختلف هذه الميزة عن ميزة التعافي من الكوارث الجغرافية في Azure Event Hubs.

عندما يكون نوع تجاوز الفشل إجباريا وتناسق النسخ المتماثل غير متزامن، لا تضمن وظيفة Stream Analytics الإخراج مرة واحدة بالضبط إلى إخراج مراكز أحداث Azure.

قد تلاحظ Azure Stream Analytics، كمنتج مع مركز أحداث ناتج، تأخير العلامة المائية على المهمة أثناء مدة تجاوز الفشل وأثناء التقييد بواسطة مراكز الأحداث في حالة وصول تأخر النسخ المتماثل بين الأساسي والثانوي إلى الحد الأقصى للتأخر المكون.

قد تلاحظ Azure Stream Analytics، كمستهلك مع مراكز الأحداث كإدخل، تأخير العلامة المائية في المهمة أثناء مدة تجاوز الفشل وقد تتخطى البيانات أو تجد بيانات مكررة بعد اكتمال تجاوز الفشل.

نظرا لهذه المحاذير، نوصي بإعادة تشغيل وظيفة Stream Analytics مع وقت البدء المناسب مباشرة بعد اكتمال تجاوز فشل مراكز الأحداث. أيضا، نظرا لأن ميزة النسخ المتماثل الجغرافي لمراكز الأحداث في المعاينة العامة، لا نوصي باستخدام هذا النمط لمهام Stream Analytics للإنتاج في هذه المرحلة. سيتحسن سلوك Stream Analytics الحالي قبل أن تتوفر ميزة النسخ المتماثل الجغرافي لمراكز الأحداث بشكل عام ويمكن استخدامها في مهام إنتاج Stream Analytics.

الخطوات التالية

تعرف على المزيد حول Azure Stream Analytics وكيفية مراقبة المهمة التي أنشأتها.