ما هو Azure Synapse Data Explorer؟ معاينة
يوفر Azure Synapse Data Explorer للعملاء تجربة استعلام تفاعلية لإلغاء تأمين الرؤى من بيانات السجل والقياس عن بعد. لاستكمال SQL الحالية ومحركات وقت تشغيل تحليلات Apache Spark، يتم تحسين وقت تشغيل Data Explorer analytics لتحليلات السجل الفعالة باستخدام تقنية فهرسة قوية لفهرسة البيانات النصية الحرة وشبه المنظمة الموجودة عادة في بيانات القياس عن بعد تلقائيًّا.
لمعرفة المزيد، شاهد الفيديو التالي:
ما الذي يجعل Azure Synapse Data Explorer فريدًا من نوعه؟
سهولة الإدخال - يوفر مستكشف البيانات عمليات تكامل مدمجة بدون رمز / رمز منخفض، وإدخال بيانات عالية الإنتاجية، وبيانات التخزين المؤقت من مصادر في الوقت الفعلي. يمكن استيعاب البيانات من مصادر مثل Azure Event Hubs وKafka وAzure Data Lake وعوامل مصدر مفتوح مثل Fluentd/Fluent Bit ومجموعة واسعة من مصادر البيانات السحابية والأماكن المحلية.
لا توجد نمذجة بيانات معقدة - باستخدام Data Explorer، ليست هناك حاجة لإنشاء نماذج بيانات معقدة ولا حاجة إلى البرمجة النصية المعقدة لتحويل البيانات قبل استهلاكها.
لا توجد صيانة للفهرس - ليست هناك حاجة لمهام الصيانة لتحسين البيانات لأداء الاستعلام ولا حاجة لصيانة الفهرس. مع Data Explorer، تتوفر جميع البيانات الأولية على الفور، مما يسمح لك بتشغيل استعلامات عالية الأداء وعالية التزامن على تدفق البيانات والبيانات المستمرة. يمكنك استخدام هذه الاستعلامات لإنشاء لوحات معلومات وتنبيهات قريبة من الوقت الحقيقي وربط بيانات التحليلات التشغيلية ببقية النظام الأساسي لتحليلات البيانات.
إضفاء الطابع الديمقراطي على تحليلات البيانات - يعمل مستكشف البيانات على إضفاء الطابع الديمقراطي على الخدمة الذاتية وتحليلات البيانات الضخمة باستخدام لغة استعلام Kusto Query (KQL) التي توفر التعبير وقوة SQL مع بساطة Excel. تم تحسين KQL بشكل كبير لاستكشاف بيانات القياس عن بعد الخام والسلسلة الزمنية من خلال الاستفادة من تقنية فهرسة النص الأفضل في فئتها من Data Explorer للبحث الفعال عن النص الحر وبحث regex، وقدرات التحليل الشاملة للاستعلام عن التتبع \ بيانات النص والبيانات شبه المنظمة JSON بما في ذلك الصفائف والهياكل المتداخلة. توفر KQL دعمًا متقدمًا من فئة التوقيت لإنشاء سلاسل زمنية متعددة ومعالجتها وتحليلها مع دعم تنفيذ Python داخل المحرك لتسجيل النماذج.
التكنولوجيا المثبتة على نطاق بيتابايت - مستكشف البيانات هو نظام موزع مع موارد الحوسبة والتخزين التي يمكن توسيع نطاقها بشكل مستقل، ما يتيح التحليلات على الجيجابايت أو بيتابايت من البيانات.
المتكاملة - يوفر Azure Synapse Analytics إمكانية التشغيل التفاعلي عبر البيانات بين مستكشف البيانات، وApache Spark، ومحركات SQL تمكن مهندسي البيانات، وعلماء البيانات، ومحللي البيانات بسهولة وأمان، والوصول والتعاون على نفس البيانات في مستودع البيانات.
متى تستخدم Azure Synapse Data Explorer ؟
استخدم Data Explorer كمنصة بيانات لإنشاء تحليلات سجل في الوقت الفعلي وحلول تحليلات IoT إلي:
قم بدمج بيانات السجلات والأحداث وربطها عبر مصادر البيانات المحلية والسحابية ومصادر بيانات الجهات الخارجية.
سرع رحلة الذكاء الاصطناعي للعمليات الخاصة بك (التعرف على الأنماط، والكشف عن الشذوذ، والتنبؤ، وأكثر من ذلك).
استبدل حلول البحث عن السجلات المستندة إلى البنية التحتية لتوفير التكلفة وزيادة الإنتاجية.
قم بإنشاء حلول تحليلات IoT لبيانات IoT الخاصة بك.
قم ببناء حلول تحليلات SaaS لتقديم الخدمات لعملائك الداخليين والخارجيين.
هندسة تجمع Data Explorer
تنفذ تجمعات Data Explorer بنية توسيع النطاق عن طريق فصل موارد الحوسبة والتخزين. يمكنك هذا من توسيع نطاق كل مورد بشكل مستقل، وعلى سبيل المثال، تشغيل حسابات متعددة للقراءة فقط على نفس البيانات. تتكون تجمعات Data Explorer من مجموعة من موارد الحوسبة التي تشغل المحرك المسؤول عن الفهرسة التلقائية والضغط والتخزين المؤقت وتقديم الاستعلامات الموزعة. لديهم أيضا مجموعة ثانية من موارد الحوسبة التي تشغل خدمة إدارة البيانات المسؤولة عن وظائف نظام الخلفية، واستيعاب البيانات المدارة والمقيدة في قائمة الانتظار. يتم استمرار كافة البيانات على حسابات تخزين نقط مدارة باستخدام تنسيق عمودي مضغوط.
تدعم تجمعات Data Explorer نظامًا بيئيًّا غنيًّا لاستيعاب البيانات باستخدام الموصلات وSDKs وS REST APIs والقدرات الأخرى المدارة. يوفر طرقا مختلفة لاستهلاك البيانات للاستعلامات المخصصة والتقارير ولوحات المعلومات والتنبيهات وواجهات برمجة تطبيقات REST وSDKs.
هناك العديد من القدرات الفريدة التي تجعل Data Explore أفضل محرك تحليلي لتحليلات السجل والسلاسل الزمنية على Azure.
تسلط الأقسام التالية الضوء على المفاضلات الرئيسية.
تتيح فهرسة البيانات ذات النص الحر وشبه المنظمة الاستعلامات المتزامنة عالية الأداء وعالية الأداء في الوقت الفعلي تقريبا
يقوم Data Explorer بفهرسة البيانات شبه المنظمة (JSON) والبيانات غير المنظمة (نص حر) مما يجعل الاستعلامات قيد التشغيل تعمل بشكل جيد على هذا النوع من البيانات. بشكل افتراضي، تتم فهرسة كل حقل أثناء استيعاب البيانات مع خيار استخدام نهج ترميز منخفض المستوى لضبط الفهرس لحقول معينة أو تعطيله. نطاق الفهرس هو قطعة بيانات مفردة.
يعتمد تنفيذ الفهرس على نوع الحقل كما يلي:
| نوع الحقل | فهرسة التنفيذ |
|---|---|
| سلسلة | ينشئ المشغل فهرس مصطلح مقلوبًا لقيم عمود السلسلة. يتم تحليل كل قيمة سلسلة وتقسيمها إلى شروط تسوية ويتم تسجيل قائمة مرتبة من المواقف المنطقية، التي تحتوي على ترتيب السجلات لكل مصطلح. يتم تخزين قائمة المصطلحات التي تم فرزها الناتجة ومواضعها المقترنة كـ B-tree غير قابلة للتغيير. |
| عددي التاريخ والوقت TimeSpan |
ينشئ المحرك فهرسًا أماميًّا بسيطًا يستند إلى النطاق. يسجل الفهرس قيم الحد الأدنى/الحد الأقصى لكل كتلة، لمجموعة من الكتل وللأعمدة بأكملها داخل قطعة البيانات. |
| Dynamic | تعدد عملية الإدخال كافة العناصر "atomic" ضمن القيمة الحيوية مثل أسماء الخصائص والقيم وعناصر الصفيف ثم إعادة توجيهها إلى منشئ الفهرس. تحتوي الحقول الديناميكية على نفس فهرس المصطلح المقلوب كحقول السلسلة. |
تمكن قدرات الفهرسة الفعالة هذه Data Explore من إتاحة البيانات في الوقت الفعلي تقريبا للاستعلامات عالية الأداء وعالية التزامن. يعمل النظام تلقائيًّا على تحسين شظايا البيانات لزيادة تعزيز الأداء.
لغة الاستعلام Kusto
يحتوي KQL على مجتمع كبير ومتنام مع الاعتماد السريع لتحليلات سجل Azure Monitor وApplication Insights و Microsoft Sentinel و Azure Data Explore وعروض Microsoft الأخرى. تم تصميم اللغة بشكل جيد باستخدام بناء جملة سهل القراءة وتوفر انتقالًا سلسًا من الاستعلامات البسيطة أحادية الطبقة إلى معالجة البيانات المعقدة. يسمح هذا لمستكشف البيانات بتوفير دعم Intellisense غني ومجموعة غنية من بنيات اللغة والقدرات المضمنة للتجميعات والسلاسل الزمنية وتحليلات المستخدم غير المتوفرة في SQL للاستكشاف السريع لبيانات تتبع الاستخدام.