مشاركة عبر

معالجة دفق بدون تعليمات برمجية في Azure Stream Analytics

  • مقالة

يسمح لك محرر بلا تعليمات برمجية بتطوير وظيفة Stream Analytics دون عناء لمعالجة بيانات الدفق في الوقت الحقيقي، باستخدام وظيفة السحب والإفلات، دون كتابة سطر واحد من التعليمات البرمجية. توفر التجربة لوحة تسمح لك بالاتصال بمصادر الإدخال لرؤية البيانات المتدفقة بسرعة. ثم يمكنك تحويله قبل الكتابة إلى وجهاتك.

باستخدام محرر بدون تعليمات برمجية، يمكنك بسهولة:

  • تعديل مخططات الإدخال.
  • تنفيذ عمليات إعداد البيانات مثل الصلات وعوامل التصفية.
  • نهج السيناريوهات المتقدمة مثل تجميعات النوافذ الزمنية (التدوير والقفز ونوافذ الجلسة) للعمليات المجمعة.

بعد إنشاء وظائف Stream Analytics وتشغيلها، يمكنك بسهولة تشغيل أحمال عمل الإنتاج. استخدم المجموعة الصحيحة من المقاييس المضمنة لأغراض المراقبة واستكشاف الأخطاء وإصلاحها. تتم فوترة وظائف Stream Analytics وفقًا لنموذج التسعير عند تشغيلها.

المتطلبات الأساسية

قبل تطوير وظائف Stream Analytics باستخدام محرر بدون تعليمات برمجية، يجب عليك تلبية هذه المتطلبات:

  • يجب أن تكون مصادر إدخال الدفق وموارد الوجهة المستهدفة لمهمة Stream Analytics متاحة للجمهور ولا يمكن أن تكون في شبكة Azure الظاهرية.
  • يجب أن يكون لديك الأذونات المطلوبة للوصول إلى موارد الإدخال والإخراج المتدفقة.
  • يجب الاحتفاظ بأذونات لإنشاء موارد Azure Stream Analytics وتعديلها.

إشعار

محرر بدون تعليمات برمجية غير متوفر حاليا في منطقة الصين.

مهمة Azure Stream Analytics

تم بناء وظيفة Stream Analytics على ثلاثة مكونات رئيسية: دفق المدخلات والتحويلات والمخرجات. يمكنك الحصول على أكبر عدد تريده من المكونات، بما في ذلك مدخلات متعددة وفروع متوازية مع تحويلات متعددة ومخرجات متعددة. لمزيد من المعلومات، راجع وثائق Azure Stream Analytics.

إشعار

لا تتوفر الوظائف وأنواع الإخراج التالية عند استخدام محرر بدون تعليمات برمجية:

  • الوظائف المعرفة من قبل المستخدم.
  • تحرير الاستعلام في جزء استعلام Azure Stream Analytics. ومع ذلك، يمكنك عرض الاستعلام الذي تم إنشاؤه بواسطة محرر بدون تعليمات برمجية في شفرة الاستعلام.
  • إضافة الإدخال/الإخراج في شفرات الإدخال/الإخراج في Azure Stream Analytics. ومع ذلك، يمكنك عرض الإدخال/الإخراج الذي تم إنشاؤه بواسطة محرر بدون تعليمات برمجية في جزء الإدخال/الإخراج.
  • أنواع الإخراج التالية غير متوفرة: Azure Function، ADLS Gen1، PostgreSQL DB، قائمة انتظار/موضوع ناقل الخدمة، تخزين الجدول.

للوصول إلى محرر بدون تعليمات برمجية لإنشاء وظيفة تحليلات الدفق، هناك نهجان:

  1. من خلال مدخل Azure Stream Analytics (معاينة): إنشاء وظيفة Stream Analytics، ثم حدد محرر بدون تعليمات برمجية في صفحة Get started في صفحة Overview ، أو حدد No-code editor في اللوحة اليسرى.

    لقطة شاشة تعرض عدم وجود تعليمات برمجية على مواقع مدخل Azure Stream Analytics.

  2. من خلال مدخل Azure Event Hubs: افتح مثيل مراكز الأحداث. حدد بيانات العملية، ثم حدد أي قالب معرف مسبقا.

    لقطة شاشة تعرض التحديدات لإنشاء وظيفة Stream Analytics جديدة.

    يمكن أن تساعدك القوالب المعرفة مسبقا في تطوير وتشغيل وظيفة لمعالجة سيناريوهات مختلفة، بما في ذلك:

تظهر لقطة الشاشة التالية وظيفة Stream Analytics مكتملة. ويسلط الضوء على جميع الأقسام المتاحة لك أثناء التأليف.

لقطة شاشة تعرض أقسام واجهة التأليف.

  1. الشريط: على الشريط، تتبع المقاطع ترتيب عملية التحليلات الكلاسيكية: مركز أحداث كإدخال (يعرف أيضا بمصدر البيانات)، والتحويلات (عمليات النقل المستمر والتحويل والتحميل)، والمخرجات، وزر لحفظ تقدمك، وزر لبدء المهمة.
  2. طريقة عرض الرسم التخطيطي: هذا تمثيل رسومي لمهمة Stream Analytics، من الإدخال إلى العمليات إلى المخرجات.
  3. الجزء الجانبي: استنادا إلى المكون الذي حددته في طريقة عرض الرسم التخطيطي، سترى إعدادات لتعديل الإدخال أو التحويل أو الإخراج.
  4. علامات تبويب لمعاينة البيانات وأخطاء التأليف وسجلات وقت التشغيل والمقاييس: لكل تجانب، تعرض لك معاينة البيانات نتائج تلك الخطوة (مباشرة للمدخلات؛ عند الطلب على التحويلات والمخرجات). يلخص هذا القسم أيضًا أي أخطاء تأليف أو تحذيرات قد تكون لديك في وظيفتك عند تطويرها. تحديد كل خطأ أو تحذير يحدد هذا التحويل. كما يوفر مقاييس الوظيفة لك لمراقبة صحة الوظيفة قيد التشغيل.

إدخال البيانات المتدفقة

يدعم محرر بدون تعليمات برمجية دفق إدخال البيانات من ثلاثة أنواع من الموارد:

  • مراكز أحداث Azure
  • Azure IoT Hub
  • Azure Data Lake Storage Gen2

لمزيد من المعلومات حول مدخلات بيانات الدفق، راجع دفق البيانات كمدخل في Stream Analytics.

إشعار

لا يحتوي محرر التعليمات البرمجية في مدخل Azure Event Hubs إلا على Event Hub كخيار إدخال.

لقطة شاشة تعرض نوع إدخال الدفق.

Azure Event Hubs كإدخل دفق

مراكز الأحداث Azure هو نظام أساسي لتدفق البيانات الضخمة وخدمة بث الأحداث. ويمكن أن تتلقى ملايين الأحداث في الثانية ومعالجتها. يمكن تحويل البيانات المرسلة إلى مركز الأحداث وتخزينها من خلال أي موفر تحليلات في الوقت الفعلي أو محول الدفعات/التخزين.

لتكوين مركز أحداث كمدخل لمهمتك، حدد أيقونة Event Hub . تظهر لوحة في طريقة عرض الرسم التخطيطي، بما في ذلك جزء جانبي لتكوينه واتصاله.

عند الاتصال بمركز الأحداث في محرر بدون تعليمات برمجية، نوصي بإنشاء مجموعة مستهلكين جديدة (وهو الخيار الافتراضي). يساعد هذا الأسلوب على منع مركز الأحداث من الوصول إلى حد القراء المتزامنين. لفهم المزيد حول مجموعات المستهلكين وما إذا كان يجب عليك تحديد مجموعة مستهلكين موجودة أو إنشاء مجموعة جديدة، راجع مجموعات المستهلكين.

إذا كان مركز الأحداث الخاص بك في المستوى الأساسي، يمكنك استخدام مجموعة المستهلكين $Default الموجودة فقط. إذا كان مركز الأحداث الخاص بك في مستوى قياسي أو متميز، يمكنك إنشاء مجموعة مستهلكين جديدة.

لقطة شاشة تعرض تحديد مجموعة المستهلكين أثناء إعداد مركز أحداث.

عند الاتصال بمركز الأحداث، إذا حددت الهوية المدارة كوضع المصادقة، يتم منح دور مالك بيانات مراكز الأحداث إلى الهوية المدارة لوظيفة Stream Analytics. لمعرفة المزيد حول الهويات المدارة لمركز أحداث، راجع استخدام الهويات المدارة للوصول إلى مركز أحداث من مهمة Azure Stream Analytics.

تزيل الهويات المدارة قيود أساليب المصادقة المستندة إلى المستخدم. تتضمن هذه القيود الحاجة إلى إعادة المصادقة بسبب تغييرات كلمة المرور أو انتهاء صلاحية الرمز المميز للمستخدم التي تحدث كل 90 يوما.

لقطة شاشة تعرض الهوية المدارة المحددة كطريقة مصادقة.

بعد إعداد تفاصيل مركز الأحداث وتحديد اتصال، يمكنك إضافة الحقول يدويا باستخدام + إضافة حقل إذا كنت تعرف أسماء الحقول. للكشف عن الحقول وأنواع البيانات تلقائيًا استنادًا إلى عينة من الرسائل الواردة، حدد الكشف التلقائي عن الحقول. يتيح لك تحديد رمز الترس تحرير بيانات الاعتماد إذا لزم الأمر.

عندما تكتشف وظائف Stream Analytics الحقول، فإنك تراها في القائمة. يمكنك أيضا رؤية معاينة مباشرة للرسائل الواردة في جدول معاينة البيانات ضمن طريقة عرض الرسم التخطيطي.

تعديل بيانات الإدخال

يمكنك تحرير أسماء الحقول، أو إزالة الحقل، أو تغيير نوع البيانات، أو تغيير وقت الحدث (وضع علامة كوقت الحدث: عبارة TIMESTAMP BY إذا كان حقل نوع التاريخ والوقت)، عن طريق تحديد رمز النقاط الثلاث بجوار كل حقل. يمكنك أيضًا توسيع أي حقول متداخلة من الرسائل الواردة وتحديدها وتحريرها، كما هو موضح في الصورة التالية.

تلميح

ينطبق هذا على بيانات الإدخال من Azure IoT Hub وAzure Data Lake Storage Gen2 أيضا.

لقطة شاشة تعرض التحديدات لإضافة الحقول لمركز أحداث وإزالتها وتحريرها.

أنواع البيانات المتوفرة هي:

  • DateTime: حقل التاريخ والوقت بتنسيق ISO.
  • عائم: رقم عشري.
  • Int: عدد صحيح.
  • السجل: كائن متداخل مع سجلات متعددة.
  • سلسلة: نص.

Azure IoT Hub كمدخل دفق

Azure IoT Hub هي خدمة مُدارة مستضافة في السحابة تعمل كمركز رسائل مركزي للاتصال بين تطبيق IoT والأجهزة المتصلة به. يمكن استخدام بيانات جهاز IoT المرسلة إلى مركز IoT كمدخل لوظيفة Stream Analytics.

إشعار

يتوفر إدخال Azure IoT Hub في محرر بدون تعليمات برمجية على مدخل Azure Stream Analytics.

لإضافة مركز IoT كإدخال دفق لمهمتك، حدد IoT Hub ضمن Inputs من الشريط. ثم املأ المعلومات المطلوبة في اللوحة اليمنى لتوصيل مركز IoT بوظيفتك. لمعرفة المزيد حول تفاصيل كل حقل، راجع دفق البيانات من IoT Hub إلى وظيفة Stream Analytics.

لقطة شاشة تعرض تكوين مركز iot.

Azure Data Lake Storage Gen2 كإدخل دفق

Azure Data Lake Storage Gen2 (ADLS Gen2) هو حل مستودع بيانات المؤسسة المستند إلى السحابة. تم تصميمه لتخزين كميات هائلة من البيانات بأي شكل من الأشكال، ولتسهيل أحمال العمل التحليلية للبيانات الضخمة. يمكن معالجة البيانات المخزنة في ADLS Gen2 كتدفق بيانات بواسطة Stream Analytics. لمعرفة المزيد حول هذا النوع من الإدخالات، راجع دفق البيانات من ADLS Gen2 إلى وظيفة Stream Analytics

إشعار

يتوفر إدخال Azure Data Lake Storage Gen2 في محرر بدون تعليمات برمجية على مدخل Azure Stream Analytics.

لإضافة ADLS Gen2 كإدخال دفق لمهمتك، حدد ADLS Gen2 ضمن Inputs من الشريط. ثم املأ المعلومات المطلوبة في اللوحة اليمنى لتوصيل ADLS Gen2 بوظيفتك. لمعرفة المزيد حول تفاصيل كل حقل، راجع دفق البيانات من ADLS Gen2 إلى وظيفة Stream Analytics

لقطة شاشة تعرض تكوين إدخال Azure Data Lake Storage Gen2.

مدخلات البيانات المرجعية

البيانات المرجعية ثابتة أو تتغير ببطء بمرور الوقت. عادة ما يتم استخدامه لإثراء التدفقات الواردة والقيام بالبحث في وظيفتك. على سبيل المثال، قد تنضم إلى إدخال دفق البيانات للإشارة إلى البيانات، بقدر ما تقوم بإجراء صلة SQL للبحث عن قيم ثابتة. لمزيد من المعلومات حول مدخلات البيانات المرجعية، راجع استخدام البيانات المرجعية لإجراء عمليات البحث في Stream Analytics.

يدعم محرر بدون تعليمات برمجية الآن مصدري بيانات مرجعيين:

  • Azure Data Lake Storage Gen2
  • قاعدة بيانات Azure SQL

لقطة شاشة تعرض عقدة إدخال مرجع قاعدة بيانات SQL.

Azure Data Lake Storage Gen2 كبيانات مرجعية

يتم تصميم البيانات المرجعية كتسلسل من الكائنات الثنائية كبيرة الحجم بترتيب تصاعدي من مجموعة التاريخ/الوقت المحددة في اسم الكائن الثنائي كبير الحجم. يمكنك إضافة الكائنات الثنائية كبيرة الحجم إلى نهاية التسلسل فقط باستخدام تاريخ/وقت أكبر من آخر كائن ثنائي كبير الحجم تم تحديده في التسلسل. يتم تعريف الكائنات الثنائية كبيرة الحجم في تكوين الإدخال.

أولا، ضمن قسم Inputs على الشريط، حدد Reference ADLS Gen2. للاطلاع على تفاصيل حول كل حقل، راجع القسم حول Azure Blob Storage في استخدام البيانات المرجعية لإجراء عمليات البحث في Stream Analytics.

لقطة شاشة تعرض حقولا لتكوين Azure Data Lake Storage Gen2 كإدخل في محرر بدون تعليمات برمجية.

ثم قم بتحميل ملف صفيف JSON. سيتم الكشف عن الحقول الموجودة في الملف. استخدم هذه البيانات المرجعية لإجراء التحويل مع دفق بيانات الإدخال من مراكز الأحداث.

لقطة شاشة تعرض التحديدات لتحميل JSON للبيانات المرجعية.

قاعدة بيانات Azure SQL كبيانات مرجعية

يمكنك استخدام قاعدة بيانات Azure SQL كبيانات مرجعية لمهمة Stream Analytics في محرر بدون تعليمات برمجية. لمزيد من المعلومات، راجع القسم حول قاعدة بيانات SQL في استخدام البيانات المرجعية لإجراء عمليات البحث في Stream Analytics.

لتكوين قاعدة بيانات SQL كإدخال بيانات مرجعية، حدد مرجع قاعدة بيانات SQL ضمن قسم الإدخالات على الشريط. ثم املأ المعلومات لتوصيل قاعدة البيانات المرجعية وحدد الجدول بالأعمدة المطلوبة. يمكنك أيضا إحضار البيانات المرجعية من الجدول عن طريق تحرير استعلام SQL يدويا.

لقطة شاشة تعرض تكوين الإدخال المرجعي لقاعدة بيانات SQL.

التحويلات

تختلف تحويلات البيانات المتدفقة بطبيعتها عن تحويلات بيانات الدفعات. تحتوي جميع البيانات المتدفقة تقريبا على مكون زمني، مما يؤثر على أي مهام إعداد البيانات المعنية.

لإضافة تحويل بيانات دفق إلى وظيفتك، حدد رمز التحويل ضمن قسم العمليات على الشريط لهذا التحويل. سيتم إسقاط اللوحة المعنية في طريقة عرض الرسم التخطيطي. بعد تحديده، سترى الجزء الجانبي لهذا التحويل لتكوينه.

لقطة شاشة تعرض عمليات التحويل.

عامل التصفية

استخدم تحويل عامل التصفية لتصفية الأحداث استنادًا إلى قيمة حقل في الإدخال. اعتمادًا على نوع البيانات (رقم أو نص)، سيحتفظ التحويل بالقيم التي تطابق الشرط المحدد.

لقطة شاشة تعرض التحديدات لإنشاء عامل تصفية.

إشعار

داخل كل لوحة، سترى معلومات حول ما يحتاج التحويل إلى أن يكون جاهزا أيضا. على سبيل المثال، عند إضافة لوحة جديدة، سترى رسالة الإعداد المطلوبة . إذا كنت تفتقد إلى موصل عقدة، فسترى إما رسالة خطأ أو رسالة تحذير .

إدارة الحقول

يسمح لك تحويل إدارة الحقول بإضافة الحقول الواردة من إدخال أو تحويل آخر أو إزالتها أو إعادة تسميتها. تمنحك الإعدادات الموجودة في الجزء الجانبي خيار إضافة حقل جديد عن طريق تحديد إضافة حقل أو إضافة كافة الحقول في وقت واحد.

لقطة شاشة تعرض التحديدات لإدارة الحقول.

يمكنك أيضا إضافة حقل جديد باستخدام الدالات المضمنة لتجميع البيانات من المصدر. حاليا، الدالات المضمنة التي ندعمها هي بعض الدالات في دالات السلسلة، دالات التاريخ والوقت، الدالات الرياضية. لمعرفة المزيد حول تعريفات هذه الوظائف، راجع الوظائف المضمنة (Azure Stream Analytics).

لقطة شاشة تعرض الوظائف المضمنة.

تلميح

بعد تكوين لوحة، تمنحك طريقة عرض الرسم التخطيطي لمحة عن الإعدادات داخل اللوحة. على سبيل المثال، في منطقة إدارة الحقول في الصورة السابقة، يمكنك مشاهدة الحقول الثلاثة الأولى التي تتم إدارتها والأسماء الجديدة المعينة لها. يحتوي كل تجانب على معلومات ذات صلة به.

تجميعي

يمكنك استخدام التحويل التجميعي لحساب التجميع (المجموع أو الحد الأدنى أو الحد الأقصى أو المتوسط) في كل مرة يحدث فيها حدث جديد على مدى فترة زمنية. تسمح لك هذه العملية أيضًا بتصفية التجميع أو تقسيمه استنادًا إلى أبعاد أخرى في بياناتك. يمكنك الحصول على تجميع واحد أو أكثر في نفس التحويل.

لإضافة تجميع، حدد رمز التحويل. ثم قم بتوصيل إدخال، وحدد التجميع، وأضف أي أبعاد عامل تصفية أو شريحة، وحدد الفترة الزمنية التي سيتم حساب التجميع خلالها. في هذا المثال، نقوم بحساب مجموع قيمة الرسوم حسب الحالة التي تكون فيها السيارة من خلال آخر 10 ثوانٍ.

لقطة شاشة تعرض التحديدات لحساب التجميع.

لإضافة تجميع آخر إلى نفس التحويل، حدد إضافة دالة تجميع. ضع في اعتبارك أن عامل التصفية أو الشريحة سيتم تطبيقها على جميع التجميعات في التحويل.

انضمام

استخدم تحويل الانضمام لدمج الأحداث من إدخالين استنادًا إلى أزواج الحقول التي تحددها. إذا لم تحدد زوج حقل، فستستند الصلة إلى الوقت بشكل افتراضي. الافتراضي هو ما يجعل هذا التحويل مختلفًا عن الدفعة واحدة.

كما هو الحال مع الصلات العادية، لديك خيارات لمنطق الصلة:

  • الصلة الداخلية: قم بتضمين السجلات فقط من كلا الجدولين حيث يتطابق الزوج. في هذا المثال، هذا هو المكان الذي تطابق فيه لوحة الترخيص كلا الإدخالين.
  • الصلة الخارجية اليسرى: قم بتضمين كافة السجلات من الجدول الأيسر (الأول) والسجلات من الثاني التي تطابق زوج الحقول فقط. إذا لم يكن هناك تطابق، ستكون الحقول من الإدخال الثاني فارغة.

لتحديد نوع الصلة، حدد رمز النوع المفضل في الجزء الجانبي.

وأخيرًا، حدد خلال الفترة التي تريد حساب الصلة فيها. في هذا المثال، تبحث الصلة في آخر 10 ثوانٍ. ضع في اعتبارك أنه كلما طالت الفترة، كان الإخراج أقل تكرارًا - والمزيد من موارد المعالجة التي ستستخدمها للتحول.

بشكل افتراضي، يتم تضمين كافة الحقول من كلا الجدولين. تساعدك البادئات اليسرى (العقدة الأولى) واليمين (العقدة الثانية) في الإخراج على تمييز المصدر.

لقطة شاشة تعرض التحديدات لإنشاء صلة.

تجميع حسب

استخدم المجموعة حسب التحويل لحساب التجميعات عبر جميع الأحداث ضمن نافذة زمنية معينة. يمكنك التجميع حسب القيم في حقل واحد أو أكثر. إنه مثل التحويل التجميعي ولكنه يوفر المزيد من الخيارات للتجميعات. كما يتضمن خيارات أكثر تعقيدا للنوافذ الزمنية. كما هو الحال مع التجميع، يمكنك إضافة أكثر من تجميع واحد لكل تحويل.

التجميعات المتوفرة في التحويل هي:

  • المتوسط
  • عدد
  • الحد الاقصي
  • الحد الادني
  • القيمة المئوية (مستمرة و منفصلة)
  • الانحراف المعياري
  • Sum
  • التباين

لتكوين التحويل:

  1. حدد تجميعك المفضلة.
  2. حدد الحقل الذي تريد التجميع عليه.
  3. حدد حقلا اختياريا مجمعا حسب إذا كنت تريد الحصول على الحساب التجميعي عبر بعد أو فئة أخرى. على سبيل المثال: الحالة.
  4. حدد الدالة الخاصة بك لنوافذ الوقت.

لإضافة تجميع آخر إلى نفس التحويل، حدد إضافة دالة تجميع. ضع في اعتبارك أن حقل التجميع حسب ووظيفة النوافذ سيتم تطبيقهما على جميع التجميعات في التحويل.

لقطة شاشة تعرض التحديدات لحساب تجميع مع خيار التجميع حسب القيم.

يظهر طابع زمني لنهاية النافذة الزمنية كجزء من إخراج التحويل للرجوع إليه. لمزيد من المعلومات حول النوافذ الزمنية التي تدعمها وظائف Stream Analytics، راجع وظائف النوافذ (Azure Stream Analytics).

اتحاد

استخدم تحويل الاتحاد لتوصيل إدخالين أو أكثر لإضافة الأحداث التي تحتوي على حقول مشتركة (بنفس الاسم ونوع البيانات) في جدول واحد. سيتم إسقاط الحقول غير المتطابقة ولن يتم تضمينها في الإخراج.

توسيع الصفيف

استخدم تحويل توسيع الصفيف لإنشاء صف جديد لكل قيمة داخل صفيف.

لقطة شاشة تعرض خيارات توسيع صفيف.

إخراجات الدفق

تدعم تجربة السحب والإفلات بدون تعليمات برمجية حاليا العديد من أحواض الإخراج لتخزين بياناتك المعالجة في الوقت الفعلي.

لقطة شاشة تعرض خيارات إخراج الدفق.

Azure Data Lake Storage Gen2

Data Lake Storage Gen2 يجعل Azure Storage الأساس لبناء مستودعات بيانات المؤسسة على Azure. تم تصميمه لخدمة بيتابايت متعددة من المعلومات مع الحفاظ على مئات الجيجابت من معدل النقل. يسمح لك بإدارة كميات هائلة من البيانات بسهولة. يوفر Azure Blob Storage حلا فعالا من حيث التكلفة وقابلا للتطوير لتخزين كميات كبيرة من البيانات غير المنظمة في السحابة.

ضمن قسم Outputs على الشريط، حدد ADLS Gen2 كإخراج لمهمة Stream Analytics. ثم حدد الحاوية حيث تريد إرسال إخراج المهمة. لمزيد من المعلومات حول إخراج Azure Data Lake Gen2 لوظيفة Stream Analytics، راجع Blob Storage وإخراج Azure Data Lake Gen2 من Azure Stream Analytics.

عند الاتصال ب Azure Data Lake Storage Gen2، إذا حددت الهوية المدارة كوضع المصادقة، منح دور Storage Blob Data Contributor للهوية المدارة لوظيفة Stream Analytics. لمعرفة المزيد حول الهويات المدارة ل Azure Data Lake Storage Gen2، راجع استخدام الهويات المدارة لمصادقة مهمة Azure Stream Analytics إلى Azure Blob Storage.

تزيل الهويات المدارة قيود أساليب المصادقة المستندة إلى المستخدم. تتضمن هذه القيود الحاجة إلى إعادة المصادقة بسبب تغييرات كلمة المرور أو انتهاء صلاحية الرمز المميز للمستخدم التي تحدث كل 90 يوما.

لقطة شاشة توضح تحديد الهوية المدارة كطريقة مصادقة ل Azure Data Lake Storage Gen2

يتم دعم التسليم مرة واحدة بالضبط (معاينة) في ADLS Gen2 دون إخراج محرر التعليمات البرمجية. يمكنك تمكينه في قسم وضع الكتابة في تكوين ADLS Gen2. لمزيد من المعلومات حول هذه الميزة، راجع التسليم مرة واحدة بالضبط (معاينة) في Azure Data Lake Gen2

لقطة شاشة تعرض التكوين مرة واحدة بالضبط في إخراج ADLS Gen2.

يتم دعم الكتابة إلى جدول Delta Lake (معاينة) في ADLS Gen2 دون إخراج محرر التعليمات البرمجية. يمكنك الوصول إلى هذا الخيار في قسم التسلسل في تكوين ADLS Gen2. لمزيد من المعلومات حول هذه الميزة، راجع الكتابة إلى جدول Delta Lake.

لقطة شاشة تعرض تكوين delta lake في إخراج ADLS Gen2.

Azure Synapse Analytics

يمكن لوظائف Azure Stream Analytics إرسال الإخراج إلى جدول تجمع SQL مخصص في Azure Synapse Analytics ويمكنه معالجة معدلات نقل تصل إلى 200 ميغابايت في الثانية. يدعم Stream Analytics التحليلات الأكثر تطلبا في الوقت الحقيقي واحتياجات معالجة بيانات المسار السريع لأحمال العمل مثل إعداد التقارير ولوحة المعلومات.

هام

يجب أن يكون جدول تجمع SQL المخصص موجودًا قبل أن تتمكن من إضافته كإخراج إلى وظيفة Stream Analytics. يجب أن يتطابق مخطط الجدول مع الحقول وأنواعها في إخراج وظيفتك.

ضمن قسم Outputs على الشريط، حدد Synapse كإخراج لمهمة Stream Analytics. ثم حدد جدول تجمع SQL حيث تريد إرسال إخراج المهمة. لمزيد من المعلومات حول إخراج Azure Synapse لوظيفة Stream Analytics، راجع إخراج Azure Synapse Analytics من Azure Stream Analytics.

Azure Cosmos DB

Azure Cosmos DB هي خدمة قاعدة بيانات موزعة عالميا توفر مقياسا مرنا لا حدود له في جميع أنحاء العالم. كما يوفر استعلامات غنية وفهرسة تلقائية عبر نماذج البيانات غير المخططة.

ضمن قسم Outputs على الشريط، حدد CosmosDB كإخراج لمهمة Stream Analytics. لمزيد من المعلومات حول إخراج Azure Cosmos DB لوظيفة Stream Analytics، راجع إخراج Azure Cosmos DB من Azure Stream Analytics.

عند الاتصال ب Azure Cosmos DB، إذا حددت الهوية المدارة كوضع المصادقة، منح دور المساهم للهوية المدارة لوظيفة Stream Analytics. لمعرفة المزيد حول الهويات المدارة ل Azure Cosmos DB، راجع استخدام الهويات المدارة للوصول إلى Azure Cosmos DB من مهمة Azure Stream Analytics (معاينة).

يتم دعم أسلوب مصادقة الهويات المدارة أيضا في إخراج Azure Cosmos DB في محرر بدون تعليمات برمجية له نفس الفائدة كما هو الحال في إخراج ADLS Gen2 أعلاه.

قاعدة بيانات Azure SQL

قاعدة بيانات Azure SQL هي نظام أساسي مدار بالكامل كمحرك قاعدة بيانات خدمة (PaaS) يمكن أن يساعدك على إنشاء طبقة تخزين بيانات عالية التوفر وعالية الأداء للتطبيقات والحلول في Azure. باستخدام محرر بدون تعليمات برمجية، يمكنك تكوين وظائف Azure Stream Analytics لكتابة البيانات المعالجة إلى جدول موجود في قاعدة بيانات SQL.

لتكوين قاعدة بيانات Azure SQL كإخراج، حدد قاعدة بيانات SQL ضمن قسم المخرجات على الشريط. ثم املأ المعلومات المطلوبة لتوصيل قاعدة بيانات SQL وحدد الجدول الذي تريد كتابة البيانات إليه.

هام

يجب أن يكون جدول قاعدة بيانات Azure SQL موجودا قبل أن تتمكن من إضافته كإخراج إلى وظيفة Stream Analytics. يجب أن يتطابق مخطط الجدول مع الحقول وأنواعها في إخراج وظيفتك.

لمزيد من المعلومات حول إخراج قاعدة بيانات Azure SQL لمهمة Stream Analytics، راجع إخراج قاعدة بيانات Azure SQL من Azure Stream Analytics.

مراكز الأحداث

مع البيانات في الوقت الحقيقي القادمة إلى ASA، لا يمكن لمحرر التعليمات البرمجية تحويل البيانات وإثراءها ثم إخراج البيانات إلى مركز أحداث آخر أيضا. يمكنك اختيار إخراج مراكز الأحداث عند تكوين وظيفة Azure Stream Analytics.

لتكوين مراكز الأحداث كإخراج، حدد Event Hub ضمن قسم Outputs على الشريط. ثم املأ المعلومات المطلوبة لتوصيل مركز الأحداث الذي تريد كتابة البيانات إليه.

لمزيد من المعلومات حول إخراج مراكز الأحداث لوظيفة Stream Analytics، راجع إخراج مراكز الأحداث من Azure Stream Analytics.

Azure Data Explorer ‏(Kusto)

Azure Data Explorer هو نظام أساسي لتحليل البيانات الضخمة مدار بالكامل وعالي الأداء يسهل تحليل كميات كبيرة من البيانات. يمكنك استخدام Azure Data Explorer كإخراج لمهمة Azure Stream Analytics باستخدام محرر بدون تعليمات برمجية أيضا.

لتكوين Azure Data Explorer كإخراج، حدد Azure Data Explorer ضمن قسم Outputs على الشريط. ثم املأ المعلومات المطلوبة لتوصيل قاعدة بيانات Azure Data Explorer وحدد الجدول الذي تريد كتابة البيانات إليه.

هام

يجب أن يكون الجدول موجودا في قاعدة البيانات المحددة ويجب أن يتطابق مخطط الجدول تماما مع الحقول وأنواعها في إخراج وظيفتك.

لمزيد من المعلومات حول إخراج Azure Data Explorer لوظيفة Stream Analytics، راجع إخراج Azure Data Explorer من Azure Stream Analytics (معاينة).

Power BI

يوفر Power BI تجربة تصور شاملة لنتيجة تحليل البيانات. مع إخراج Power BI إلى Stream Analytics، تتم كتابة بيانات الدفق المعالجة إلى مجموعة بيانات دفق Power BI، ثم يمكن استخدامها لإنشاء لوحة معلومات Power BI في الوقت الفعلي تقريبا. لمعرفة المزيد حول كيفية إنشاء لوحة المعلومات في الوقت الفعلي تقريبا، راجع إنشاء لوحة معلومات في الوقت الحقيقي باستخدام مجموعة بيانات Power BI التي تم إنتاجها من Stream Analytics بدون محرر تعليمات برمجية.

لتكوين Power BI كإخراج، حدد Power BI ضمن قسم Outputs على الشريط. ثم املأ المعلومات المطلوبة لتوصيل مساحة عمل Power BI وتوفير أسماء مجموعة بيانات الدفق والجدول الذي تريد كتابة البيانات إليه. لمعرفة المزيد حول تفاصيل كل حقل، راجع إخراج Power BI من Azure Stream Analytics.

معاينة البيانات وأخطاء التأليف وسجلات وقت التشغيل والمقاييس

توفر تجربة السحب والإفلات بدون تعليمات برمجية أدوات لمساعدتك في تأليف واستكشاف الأخطاء وإصلاحها وتقييم أداء البنية الأساسية لبرنامج ربط العمليات التجارية للتحليلات الخاصة بك لتدفق البيانات.

معاينة البيانات المباشرة للمدخلات

عند الاتصال بمصدر إدخال، على سبيل المثال: مركز الأحداث، وتحديد تجانبه في طريقة عرض الرسم التخطيطي ( علامة التبويب معاينة البيانات)، ستحصل على معاينة مباشرة للبيانات الواردة إذا كان كل ما يلي صحيحا:

  • يتم دفع البيانات.
  • تم تكوين الإدخال بشكل صحيح.
  • تمت إضافة الحقول.

كما هو موضح في لقطة الشاشة التالية، إذا كنت تريد رؤية شيء معين أو التنقل لأسفل فيه، يمكنك إيقاف المعاينة مؤقتًا (1). أو يمكنك بدء تشغيله مرة أخرى إذا انتهيت.

يمكنك أيضًا رؤية تفاصيل سجل معين، خلية في الجدول، عن طريق تحديده ثم تحديد إظهار/إخفاء التفاصيل (2). تظهر لقطة الشاشة طريقة العرض التفصيلية لكائن متداخل في سجل.

لقطة شاشة تعرض علامة التبويب معاينة البيانات، حيث يمكنك إيقاف معاينة البث مؤقتا وإظهار التفاصيل أو إخفاؤها.

معاينة ثابتة للتحويلات والمخرجات

بعد إضافة أي خطوات وإعدادها في طريقة عرض الرسم التخطيطي، يمكنك اختبار سلوكها عن طريق تحديد الحصول على معاينة ثابتة.

لقطة شاشة تعرض زر الحصول على معاينة ثابتة.

بعد القيام بذلك، تقيم وظيفة Stream Analytics جميع التحويلات والمخرجات للتأكد من تكوينها بشكل صحيح. ثم يعرض Stream Analytics النتائج في معاينة البيانات الثابتة، كما هو موضح في الصورة التالية.

لقطة شاشة تعرض علامة التبويب معاينة البيانات، حيث يمكنك تحديث المعاينة الثابتة.

يمكنك تحديث المعاينة عن طريق تحديد تحديث المعاينة الثابتة (1). عند تحديث المعاينة، تأخذ مهمة Stream Analytics بيانات جديدة من الإدخال وتقيم جميع التحويلات. ثم يرسل الإخراج مرة أخرى مع أي تحديثات قد تكون قمت بتنفيذها. يتوفر أيضًا خيار إظهار/إخفاء التفاصيل (2).

أخطاء في التأليف

إذا كان لديك أي أخطاء تأليف أو تحذيرات، فستدرجها علامة التبويب أخطاء التأليف، كما هو موضح في لقطة الشاشة التالية. تتضمن القائمة تفاصيل حول الخطأ أو التحذير ونوع البطاقة (الإدخال أو التحويل أو الإخراج) ومستوى الخطأ ووصف الخطأ أو التحذير.

لقطة شاشة تعرض قائمة بأخطاء تأليف الأمثلة.

سجلات وقت التشغيل

تظهر سجلات وقت التشغيل على مستوى التحذير أو الخطأ أو المعلومات عند تشغيل مهمة. تكون هذه السجلات مفيدة عندما تريد تحرير مخطط مهمة Stream Analytics أو تكوينه لاستكشاف الأخطاء وإصلاحها. نوصي بشدة بتشغيل سجلات التشخيص وإرسالها إلى مساحة عمل Log Analytics في الإعدادات للحصول على مزيد من الرؤى حول المهام قيد التشغيل لتصحيح الأخطاء.

لقطة شاشة تعرض تكوين سجل التشخيص في محرر بدون تعليمات برمجية.

في مثال لقطة الشاشة التالي، قام المستخدم بتكوين إخراج قاعدة بيانات SQL مع مخطط جدول لا يتطابق مع حقول إخراج الوظيفة.

لقطة شاشة تعرض علامة التبويب الخاصة بأخطاء وقت التشغيل.

المقاييس

إذا كانت المهمة قيد التشغيل، يمكنك مراقبة صحة وظيفتك في علامة التبويب Metrics. المقاييس الأربعة المعروضة بشكل افتراضي هي تأخير العلامة المائية وأحداث الإدخال وأحداث الإدخال المتراكمة وأحداث الإخراج. يمكنك استخدام هذه المقاييس لفهم ما إذا كانت الأحداث تتدفق داخل وخارج الوظيفة دون أي تراكم إدخال.

لقطة شاشة تعرض مقاييس مهمة تم إنشاؤها من محرر بدون تعليمات برمجية.

يمكنك تحديد المزيد من المقاييس من القائمة. لفهم جميع المقاييس بالتفصيل، راجع مقاييس وظيفة Azure Stream Analytics.

بدء وظيفة Stream Analytics

يمكنك حفظ المهمة في أي وقت أثناء إنشائها. بعد تكوين مدخلات الدفق والتحويلات ومخرجات الدفق للوظيفة، يمكنك بدء المهمة.

إشعار

على الرغم من أن محرر بدون تعليمات برمجية على مدخل Azure Stream Analtyics قيد المعاينة، فإن خدمة Azure Stream Analytics متاحة بشكل عام.

لقطة شاشة تعرض زري الحفظ والبدء.

يمكنك تكوين هذه الخيارات:

  • وقت بدء الإخراج: عند بدء مهمة، يمكنك تحديد وقت للوظيفة لبدء إنشاء الإخراج.
    • الآن: يجعل هذا الخيار نقطة البداية لدفق حدث الإخراج كما هو الحال عند بدء المهمة.
    • Custom: يمكنك اختيار نقطة بداية الإخراج.
    • عند الإيقاف الأخير: يتوفر هذا الخيار عند بدء المهمة مسبقا ولكن تم إيقافها يدويا أو فشل. عند اختيار هذا الخيار، سيتم استخدام آخر وقت إخراج لإعادة تشغيل المهمة، لذلك لا يتم فقدان أي بيانات.
  • وحدات الدفق: تمثل وحدات الدفق (SUs) مقدار الحوسبة والذاكرة المعينة للوظيفة أثناء تشغيلها. إذا لم تكن متأكدا من عدد وحدات SUs التي يجب اختيارها، نوصيك بالبدء بثلاثة وحدات والضبط حسب الحاجة.
  • معالجة أخطاء بيانات الإخراج: تنطبق نهج معالجة أخطاء بيانات الإخراج فقط عندما لا يتوافق حدث الإخراج الذي تنتجه مهمة Stream Analytics مع مخطط المتلقي الهدف. يمكنك تكوين النهج عن طريق اختيار إما Retry أو Drop. للحصول على مزيدٍ من المعلومات، راجع نهج خطأ إخراج Azure Stream Analytics.
  • البدء: يبدأ هذا الزر مهمة Stream Analytics.

لقطة شاشة تعرض مربع الحوار لمراجعة تكوين وظيفة Stream Analytics وبدء المهمة.

قائمة مهام Stream Analytics في مدخل Azure Event Hubs

لمشاهدة قائمة بجميع مهام Stream Analytics التي قمت بإنشائها باستخدام تجربة السحب والإفلات بدون تعليمات برمجية في مدخل Azure Event Hubs، حدد معالجة بيانات>وظائف Stream Analytics.

لقطة شاشة تعرض قائمة مهام Stream Analytics حيث تقوم بمراجعة حالة الوظيفة.

هذه هي عناصر علامة التبويب وظائف Stream Analytics:

  • عامل التصفية: يمكنك تصفية القائمة حسب اسم المهمة.
  • تحديث: حاليا، لا تقوم القائمة بتحديث نفسها تلقائيا. استخدم الزر تحديث لتحديث القائمة والاطلاع على أحدث حالة.
  • اسم الوظيفة: الاسم في هذه المنطقة هو الاسم الذي قدمته في الخطوة الأولى من إنشاء الوظيفة. لا يمكنك تحريره. حدد اسم الوظيفة لفتح المهمة في تجربة السحب والإفلات بدون تعليمات برمجية، حيث يمكنك إيقاف المهمة وتحريرها وبدء تشغيلها مرة أخرى.
  • الحالة: تعرض هذه المنطقة حالة المهمة. حدد تحديث أعلى القائمة للاطلاع على أحدث حالة.
  • وحدات الدفق: تعرض هذه المنطقة عدد وحدات الدفق التي حددتها عند بدء المهمة.
  • العلامة المائية الناتجة: توفر هذه المنطقة مؤشرا على حيوية البيانات التي أنتجتها الوظيفة. يتم بالفعل حساب جميع الأحداث قبل الطابع الزمني.
  • مراقبة الوظيفة: حدد Open metrics لمشاهدة المقاييس المتعلقة بوظيفة Stream Analytics هذه. لمزيد من المعلومات حول المقاييس التي يمكنك استخدامها لمراقبة وظيفة Stream Analytics، راجع مقاييس وظيفة Azure Stream Analytics.
  • العمليات: بدء المهمة أو إيقافها أو حذفها.

الخطوات التالية

تعرف على كيفية استخدام محرر بدون تعليمات برمجية لمعالجة السيناريوهات الشائعة باستخدام قوالب معرفة مسبقا: