تصفية واستيعاب Azure Data Explorer باستخدام Stream Analytics بدون محرر تعليمات برمجية
توضح هذه المقالة كيف يمكنك استخدام دون محرر التعليمات البرمجية لإنشاء وظيفة Stream Analytics بسهولة. يقرأ باستمرار من مراكز الأحداث الخاصة بك، ويصفي البيانات الواردة، ثم يكتب النتائج باستمرار إلى Azure Data Explorer.
المتطلبات الأساسية
- يجب أن تكون موارد Azure Event Hubs وAzure Data Explorer متاحة للجمهور ولا تكون خلف جدار حماية أو مؤمنة في شبكة Azure الظاهرية
- يجب إجراء تسلسل للبيانات الموجودة في مراكز الأحداث بتنسيق JSON أو CSV أو Avro.
تطوير مهمة Stream Analytics لتصفية البيانات واستيعابها في الوقت الحقيقي
في مدخل Microsoft Azure، حدد موقع مثيل Azure Event Hubs وحدده.
حدد Features>Process Data ثم حدد Start على بطاقة Filter and store data to Azure Data Explorer.
أدخل اسماً لمهمة Stream Analytics، ثم حدد إنشاء.
حدد نوع إنشاء التسلسل لبياناتك في نافذة مراكز الأحداث وطريقة المصادقة التي ستستخدمها المهمة للاتصال بمراكز الأحداث. وبعد ذلك حدد Connect.
عندما يتم إنشاء الاتصال بنجاح ويكون لديك تدفق بيانات يتدفق إلى مثيل مراكز الأحداث، فسترى على الفور شيئين:
- الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو تحديد رمز النقاط الثلاث بجوار الحقل لإزالته أو إعادة تسميته أو تغيير نوعه.
- عينة مباشرة من البيانات الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي. يتم تحديثه تلقائياً بشكل دوري. يمكنك تحديد إيقاف معاينة البث مؤقتاً لمشاهدة طريقة عرض ثابتة لنموذج بيانات الإدخال.
- الحقول الموجودة في بيانات الإدخال. يمكنك اختيار إضافة حقل أو تحديد رمز النقاط الثلاث بجوار الحقل لإزالته أو إعادة تسميته أو تغيير نوعه.
حدد الإطار المتجانب Filter لتجميع البيانات. في منطقة التصفية، حدد حقلاً لتصفية البيانات الواردة بشرط.
حدد الإطار المتجانب Manage . في لوحة تكوين إدارة الحقول ، اختر الحقول التي تريد إخراجها إلى مركز الأحداث. إذا كنت تريد إضافة كافة الحقول، فحدد إضافة كافة الحقول.
حدد لوحة Azure Data Explorer . في لوحة التكوين، قم بتعبئة المعلمات المطلوبة والاتصال.
إشعار
يجب أن يكون الجدول موجودا في قاعدة البيانات المحددة ويجب أن يتطابق مخطط الجدول تماما مع عدد الحقول وأنواعها التي تنشئها معاينة البيانات.
اختياريا، حدد Get static preview/Refresh static preview لمشاهدة معاينة البيانات التي سيتم استيعابها في مركز الأحداث.
لبدء الوظيفة، حدد:
- عدد وحدات البث (SUs) التي تعمل بها الوظيفة. تمثل وحدات دفق البيانات مقدار الحوسبة والذاكرة المخصصة للمهمة. نوصي بأن تبدأ بثلاثة ثم تضبط حسب الحاجة.
- معالجة أخطاء بيانات الإخراج - يسمح لك بتحديد السلوك الذي تريده عند فشل إخراج الوظيفة إلى وجهتك بسبب أخطاء البيانات. بشكلٍ افتراضي، تعيد مهمتك المحاولة حتى تنجح عملية الكتابة. يمكنك أيضاً اختيار إسقاط أحداث الإخراج هذه.
بعد تحديد البدء، تبدأ المهمة في العمل في غضون دقيقتين، وسيتم فتح المقاييس في قسم علامة التبويب أدناه.
يمكنك أيضا رؤية المهمة ضمن قسم بيانات العملية في علامة التبويب وظائف Stream Analytics. حدد فتح المقاييس لمراقبتها أو إيقافها وإعادة تشغيلها، حسب الحاجة.
اعتبارات عند استخدام ميزة النسخ المتماثل الجغرافي لمراكز الأحداث
أطلقت مراكز الأحداث مؤخرا ميزة النسخ المتماثل الجغرافي في المعاينة العامة. تختلف هذه الميزة عن ميزة التعافي من الكوارث الجغرافية في Azure Event Hubs.
عندما يكون نوع تجاوز الفشل إجباريا وتناسق النسخ المتماثل غير متزامن، لا تضمن وظيفة Stream Analytics الإخراج مرة واحدة بالضبط إلى إخراج مراكز أحداث Azure.
قد تلاحظ Azure Stream Analytics، كمنتج مع مركز أحداث ناتج، تأخير العلامة المائية على المهمة أثناء مدة تجاوز الفشل وأثناء التقييد بواسطة مراكز الأحداث في حالة وصول تأخر النسخ المتماثل بين الأساسي والثانوي إلى الحد الأقصى للتأخر المكون.
قد تلاحظ Azure Stream Analytics، كمستهلك مع مراكز الأحداث كإدخل، تأخير العلامة المائية في المهمة أثناء مدة تجاوز الفشل وقد تتخطى البيانات أو تجد بيانات مكررة بعد اكتمال تجاوز الفشل.
نظرا لهذه المحاذير، نوصي بإعادة تشغيل وظيفة Stream Analytics مع وقت البدء المناسب مباشرة بعد اكتمال تجاوز فشل مراكز الأحداث. أيضا، نظرا لأن ميزة النسخ المتماثل الجغرافي لمراكز الأحداث في المعاينة العامة، لا نوصي باستخدام هذا النمط لمهام Stream Analytics للإنتاج في هذه المرحلة. سيتحسن سلوك Stream Analytics الحالي قبل أن تتوفر ميزة النسخ المتماثل الجغرافي لمراكز الأحداث بشكل عام ويمكن استخدامها في مهام إنتاج Stream Analytics.
الخطوات التالية
تعرف على المزيد حول Azure Stream Analytics وكيفية مراقبة المهمة التي أنشأتها.