مشاركة عبر


إخراج Azure Data Explorer من Azure Stream Analytics

يمكنك استخدام Azure Data Explorer كإخراج لتحليل كميات كبيرة من البيانات المتنوعة من أي مصدر بيانات، مثل مواقع الويب والتطبيقات وأجهزة إنترنت الأشياء (IoT). Azure Data Explorer هي خدمة استكشاف بيانات سريعة وقابلة لتغيير الحجم بدرجة كبيرة لبيانات السجل والقياس عن بُعد. يساعدك على التعامل مع العديد من تدفقات البيانات التي يصدرها البرنامج الحديث، حتى تتمكن من جمع البيانات وتخزينها وتحليلها. تُستخدم هذه البيانات في التشخيص والرصد والإبلاغ والتعلم الآلي وقدرات التحليلات الإضافية.

يدعم Azure Data Explorer العديد من أساليب الاستيعاب، بما في ذلك الموصلات إلى الخدمات الشائعة مثل Azure Event Hubs، والاستيعاب البرمجي من خلال SDKs مثل .NET وPython، والوصول المباشر إلى المحرك لأغراض الاستكشاف. يتكامل Azure Data Explorer مع خدمات التحليلات والنمذجة لتحليل وتصور إضافي للبيانات.

لمزيد من المعلومات حول Azure Data Explorer، راجع ما هو Azure Data Explorer؟.

لمعرفة المزيد حول كيفية إنشاء مجموعة Azure Data Explorer باستخدام مدخل Microsoft Azure، راجع التشغيل السريع: إنشاء نظام مجموعة وقاعدة بيانات Azure Data Explorer.

إشعار

يدعم Azure Data Explorer من Azure Stream Analytics الإخراج إلى Azure Synapse Data Explorer. للكتابة إلى مجموعاتك في Azure Synapse Data Explorer، حدد عنوان URL لنظام المجموعة في جزء التكوين لإخراج Azure Data Explorer في مهمة Azure Stream Analytics.

تكوين الإخراج

يسرد الجدول التالي أسماء الخصائص ووصفها لإنشاء إخراج Azure Data Explorer.

اسم الخاصية ‏‏الوصف
اسم مستعار للإخراج اسم مألوف يستخدم في الاستعلامات لتوجيه إخراج الاستعلام إلى قاعدة البيانات هذه.
الوصف اشتراك Azure الذي تريد استخدامه لنظام المجموعة.
نظام المجموعة اسم فريد يعرف نظام المجموعة الخاص بك. يتم إلحاق اسم <المجال region.kusto.windows.net> باسم نظام المجموعة الذي توفره. يمكن أن يحتوي الاسم على أحرف صغيرة وأرقام فقط. يجب أن يحتوي على 4 إلى 22 حرفا.
قاعدة بيانات اسم قاعدة البيانات حيث تقوم بإرسال الإخراج. يجب أن يكون اسم قاعدة البيانات فريدًا داخل الكتلة.
المصادقة هوية مدارة من معرف Microsoft Entra، والتي تسمح لنظام مجموعتك بالوصول بسهولة إلى موارد Microsoft Entra المحمية الأخرى، مثل Azure Key Vault. تتم إدارة الهوية بواسطة النظام الأساسي Azure ولا يتطلب منك توفير أي أسرار أو تدويرها. يتم دعم تكوين الهوية المدارة حاليا فقط لتمكين المفاتيح المدارة من قبل العملاء لنظام المجموعة الخاص بك.
جدول اسم الجدول حيث تتم كتابة الإخراج. يكون اسم الجدول حساساً لحالة الأحرف. يجب أن يتطابق مخطط هذا الجدول تمامًا مع عدد الحقول وأنواعها التي يولدها ناتج عملك.

التقسيم

يجب تمكين التقسيم ويستند إلى PARTITION BY عبارة في الاستعلام. عند تمكين خيار توريث التقسيم، يتبع تقسيم الإدخال للاستعلامات القابلة للتوازي تماماً.

متى تستخدم Azure Stream Analytics وAzure Data Explorer

تتضمن خصائص Azure Stream Analytics ما يلي:

  • محرك معالجة الدفق: تحليلات مستمرة ومتدفقة في الوقت الحقيقي
  • مستند إلى الوظيفة
  • نافذة Lookback من 1 مللي ثانية إلى 7 أيام للتحلولات الزمنية في الذاكرة ومعالجة الدفق
  • الاستيعاب من Azure Event Hubs وAzure IoT Hub مع زمن انتقال أقل من الثانية

تتضمن خصائص Azure Data Explorer ما يلي:

  • المحرك التحليلي: تحليلات تفاعلية في الوقت الحقيقي عند الطلب
  • استيعاب البيانات المتدفقة في مخزن بيانات مستمر، جنبا إلى جنب مع قدرات الاستعلام
  • استيعاب البيانات من Event Hubs وIoT Hub وAzure Blob Storage وAzure Data Lake Storage وKafka وLogstash وSpark وAzure Data Factory
  • زمن الانتقال من 10 ثوان إلى 5 دقائق لأحمال العمل عالية الإنتاجية
  • تحويل البيانات البسيط من خلال نهج تحديث أثناء الاستيعاب

يمكنك زيادة نطاق التحليلات في الوقت الحقيقي بشكل كبير باستخدام Azure Stream Analytics وAzure Data Explorer معا. فيما يلي بعض السيناريوهات:

  • يحدد Stream Analytics الحالات الشاذة في الوقت الفعلي، ويساعد Azure Data Explorer في تحديد كيفية حدوثها وسبب حدوثها من خلال الاستكشاف التفاعلي.
  • يقوم Stream Analytics بإلغاء تسلسل تدفقات البيانات الواردة لاستخدامها في Azure Data Explorer (على سبيل المثال، استيعاب تنسيق Protobuf باستخدام deserializer مخصص أو تنسيقات ثنائية مخصصة).
  • يمكن ل Stream Analytics تجميع تدفقات البيانات الواردة وتصفيتها وإثراءها وتحويلها لاستخدامها في Azure Data Explorer.

سيناريوهات وقيود أخرى

  • يجب أن يتطابق اسم الأعمدة ونوع البيانات بين استعلام Azure Stream Analytics SQL وجدول Azure Data Explorer. المقارنة حساسة لحالة الأحرف.
  • يتم تجاهل الأعمدة الموجودة في مجموعات Azure Data Explorer ولكن مفقودة في Azure Stream Analytics. تظهر الأعمدة المفقودة في Azure Stream Analytics خطأ.
  • لا يهم ترتيب الأعمدة في استعلام Azure Stream Analytics. يحدد مخطط جدول Azure Data Explorer الترتيب.
  • يحتوي Azure Data Explorer على نهج تجميع (تجميع) لاستيعاب البيانات مصمم لتحسين عملية الاستيعاب. يتم تكوين النهج إلى 5 دقائق أو 1000 عنصر أو 1 غيغابايت من البيانات بشكل افتراضي، لذلك قد تواجه زمن انتقال. لتقليل زمن الانتقال، قم بتمكين استيعاب البث على نظام المجموعة، ثم الجدول أو قاعدة البيانات باتباع الخطوات الواردة في تكوين استيعاب البث على نظام مجموعة Azure Data Explorer. للحصول على خيارات التجميع، راجع نهج IngestionBatching.

الخطوات التالية