Share via

التقاط البيانات من مراكز الأحداث بتنسيق Parquet

  • مقالة

تشرح هذه المقالة كيفية استخدام محرر التعليمات البرمجية الذي لا يلتقط البيانات المتدفقة تلقائيا في مراكز الأحداث في حساب Azure Data Lake Storage Gen2 بتنسيق Parquet.

المتطلبات الأساسية

  • مساحة اسم Azure Event Hubs مع مركز أحداث وحساب Azure Data Lake Storage Gen2 مع حاوية لتخزين البيانات التي تم التقاطها. يجب أن تكون هذه الموارد متاحة للجمهور ولا يمكن أن تكون خلف جدار حماية أو مؤمنة في شبكة Azure الظاهرية.

    إذا لم يكن لديك مركز أحداث، فقم بإنشاء واحد باتباع الإرشادات من التشغيل السريع: إنشاء مركز أحداث.

    إذا لم يكن لديك حساب Data Lake Storage Gen2، فقم بإنشاء حساب باتباع الإرشادات من إنشاء حساب تخزين

  • يجب إجراء تسلسل للبيانات الموجودة في مراكز الأحداث بتنسيق JSON أو CSV أو Avro. لأغراض الاختبار، حدد Generate data (preview) في القائمة اليسرى، وحدد Stocks data for dataset، ثم حدد Send.

    لقطة شاشة تعرض صفحة إنشاء بيانات لإنشاء بيانات أسهم نموذجية.

تكوين وظيفة لالتقاط البيانات

استخدم الخطوات التالية لتكوين وظيفة Stream Analytics لالتقاط البيانات في Azure Data Lake Storage Gen2.

  1. في مدخل Microsoft Azure، توجه إلى مركز الأحداث.

  2. في القائمة اليسرى، حدد معالجة البيانات ضمن الميزات. ثم حدد البدء على بطاقة التقاط البيانات إلى ADLS Gen2 بتنسيق Parquet .

    لقطة شاشة تعرض بطاقات بدء بيانات

  3. أدخل اسما لمهمة Stream Analytics، ثم حدد Create.

    لقطة شاشة تعرض نافذة وظيفة New Stream Analytics حيث تقوم بإدخال اسم الوظيفة.

  4. حدد نوع التسلسل لبياناتك في مراكز الأحداث وطريقة المصادقة التي تستخدمها الوظيفة للاتصال بمراكز الأحداث. وبعد ذلك حدد Connect.

    لقطة شاشة تعرض تكوين اتصال مراكز الأحداث.

  5. عند إنشاء الاتصال بنجاح، سترى:

    • الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو يمكنك تحديد رمز النقاط الثلاث المجاور للحقل لإزالة اسمه اختيارياً أو إعادة تسميته أو تغييره.

    • عينة مباشرة من البيانات الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي. يتم تحديثه بشكلٍ دوري. يمكنك تحديد إيقاف معاينة البث مؤقتاً لمشاهدة طريقة عرض ثابتة لنموذج الإدخال.

      لقطة شاشة تعرض بيانات نموذجية ضمن معاينة البيانات.

  6. حدد تجانب Azure Data Lake Storage Gen2 لتحرير التكوين.

  7. في صفحة تكوين Azure Data Lake Storage Gen2، اتبع هذه الخطوات:

    1. حدد الاشتراك واسم حساب التخزين والحاوية من القائمة المنسدلة.

    2. بمجرد تحديد الاشتراك، يجب تعبئة أسلوب المصادقة ومفتاح حساب التخزين تلقائياً.

    3. حدد Parquet لتنسيق التسلسل .

      لقطة شاشة تعرض صفحة تكوين Data Lake Storage Gen2.

    4. بالنسبة إلى الكائنات الثنائية كبيرة الحجم المتدفقة، من المتوقع أن يكون نمط مسار الدليل قيمة ديناميكية. من المطلوب أن يكون التاريخ جزءاً من مسار الملف للكائن الثنائي كبير الحجم - المشار إليه باسم {date}. للتعرف على أنماط المسار المخصصة، راجع تقسيم إخراج كائن ثنائي كبير الحجم المخصص في Azure Stream Analytics.

      تظهر لقطة الشاشة الأولى نافذة Blob حيث تقوم بتحرير تكوين اتصال blob.

    5. اختر اتصال

  8. عند إنشاء الاتصال، سترى الحقول الموجودة في بيانات الإخراج.

  9. حدد Save من شريط الأوامر لحفظ التكوين الخاص بك.

    لقطة شاشة تعرض الزر

  10. حدد Start من شريط الأوامر لبدء تدفق الدفق لالتقاط البيانات. ثم في نافذة وظيفة Start Stream Analytics:

    1. اختر وقت بدء الإخراج.

    2. حدد خطة التسعير.

    3. حدد عدد وحدات الدفق (SU) التي تعمل بها الوظيفة. تمثل SU موارد الحوسبة المخصصة لتنفيذ وظيفة Stream Analytics. لمزيدٍ من المعلومات، راجع وحدات الدفق في Azure Stream Analytics.

      لقطة شاشة تعرض نافذة وظيفة Start Stream Analytics حيث تقوم بتعيين وقت بدء الإخراج ووحدات البث ومعالجة الأخطاء.

  11. يجب أن تشاهد وظيفة Stream Analytic في علامة تبويب وظيفة Stream Analytics في صفحة بيانات العملية لمركز الأحداث الخاص بك.

    لقطة شاشة تعرض وظيفة Stream Analytics في صفحة بيانات العملية.

تحقق من الإخراج

  1. في صفحة Event Hubs instance لمركز الأحداث، حدد Generate data، وحدد Stocks data for dataset، ثم حدد Send لإرسال بعض عينات البيانات إلى مركز الأحداث.

  2. تحقق من إنشاء ملفات Parquet في حاوية Azure Data Lake Storage.

    لقطة شاشة تعرض ملفات باركيه التي تم إنشاؤها في حاوية ADLS.

  3. حدد معالجة البيانات في القائمة اليسرى. قم بالتبديل إلى علامة التبويب وظائف Stream Analytics . حدد Open metrics لمراقبته.

    لقطة شاشة تعرض رابط Open Metrics المحدد.

    فيما يلي مثال على لقطة شاشة للمقاييس التي تعرض أحداث الإدخال والإخراج.

    لقطة شاشة تعرض مقاييس وظيفة Stream Analytics.

الخطوات التالية

الآن أنت تعرف كيفية استخدام Stream Analytics دون محرر تعليمات برمجية لإنشاء وظيفة تلتقط بيانات مراكز الأحداث من Azure إلى Data Lake Storage Gen2 بتنسيق Parquet. بعد ذلك، يمكنك معرفة المزيد حول Azure Stream Analytics وكيفية مراقبة الوظيفة التي قمت بإنشائها.