أفكار الحل
تصف هذه المقالة فكرة الحل. يمكن لمهندس السحابة الخاص بك استخدام هذه الإرشادات للمساعدة في تصور المكونات الرئيسية لتنفيذ نموذجي لهذه البنية. استخدم هذه المقالة كنقطة بداية لتصميم حل جيد التصميم يتوافق مع المتطلبات المحددة لحمل العمل الخاص بك.
توضح فكرة الحل هذه تحليلات البيانات الضخمة على كميات كبيرة من البيانات عالية السرعة من مصادر مختلفة.
Apache® وApache Kafka® إما علامات تجارية مسجلة أو علامات تجارية لمؤسسة برامج Apache في الولايات المتحدة و/أو بلدان أخرى. لا توجد موافقة ضمنية من Apache Software Foundation باستخدام هذه العلامات.
بناء الأنظمة
قم بتنزيل ملف Visio لهذه البنية.
تدفق البيانات
- يُمكن استيعاب البيانات الأولية المنظمة وشبه المنظمة وغير المنظمة (نص حر) مثل أي نوع من السجلات وأحداث الأعمال وأنشطة المستخدم في Azure Data Explorer من مصادر مختلفة.
- قم باستيعاب البيانات في Azure Data Explorer مع زمن انتقال منخفض ومعدل نقل عالٍ باستخدام موصلاتها لـ Azure Data Factory وAzure Event Hubs وAzure IoT Hub وKafka وما إلى ذلك. بدلًا من ذلك، قم باستيعاب البيانات من خلال Azure Storage (Blob أو ADLS Gen2)، الذي يستخدم Azure Event Grid ويُشغّل مسار الاستيعاب إلى Azure Data Explorer. كما يمكنك تصدير البيانات باستمرار إلى Azure Storage بتنسيق parquet مضغوط ومُقسم، والاستعلام بسلاسة عن تلك البيانات كما هو مفصل في نظرة عامة على تصدير البيانات المستمرة.
- تصدير البيانات المجمعة مسبقا من Azure Data Explorer إلى Azure Storage، ثم استيعاب البيانات في Synapse Analytics لإنشاء نماذج البيانات والتقارير.
- استخدم القدرات الأصلية لـ Azure Data Explorer لمعالجة البيانات وتجميعها وتحليلها. للحصول على رؤى بسرعة البرق، قم بإنشاء لوحات معلومات تحليلات قريبة من الوقت الحقيقي باستخدام لوحات معلومات Azure Data Explorer أو Power BI أو Grafana أو أدوات أخرى. استخدم Azure Synapse Analytics لإنشاء مستودع بيانات حديث ودمجه مع بيانات Azure Data Explorer لإنشاء تقارير BI على نماذج البيانات المنسقة والمجمعة.
- يوفر Azure Data Explorer إمكانات تحليلات متقدمة أصلية لتحليل السلاسل الزمنية والتعرف على الأنماط واكتشاف الحالات الشاذة والتنبؤ بها. كما أن Azure Data Explorer متكامل بشكل جيد مع خدمات التعلم الآلي من Azure مثل Databricks والتعلم الآلي من Azure. يسمح لك هذا التكامل بإنشاء نماذج باستخدام أدوات وخدمات أخرى، وتصدير نماذج التعلم الآلي من Microsoft Azure إلى Azure Data Explorer لتسجيل البيانات.
المكونات
- Azure Event Hubs: خدمة استيعاب البيانات المدارة بالكامل في الوقت الحقيقي والمبسطة والموثوق بها وقابلة للتطوير.
- Azure IoT Hub: خدمة مُدارة لتمكين الاتصال ثنائي الاتجاه بين أجهزة IoT وAzure.
- Kafka على HDInsight: خدمة سهلة وفعالة من حيث التكلفة على مستوى المؤسسة للتحليات مفتوحة المصدر باستخدام Apache Kafka.
- Azure Data Explorer: خدمة تحليلات بيانات سريعة مدارة بشكل كامل لتحليل الوقت الحقيقي على كميات كبيرة من تدفق البيانات من التطبيقات ومواقع الويب وأجهزة IoT وأكثر من ذلك.
- لوحات معلومات Azure Data Explorer: تصدير استعلامات Kusto التي تم استكشافها في واجهة مستخدم الويب إلى لوحات المعلومات المحسنة بصورة أصلية.
- Azure Synapse Analytics:هي خدمة تحليلات تجمع بين تخزين بيانات المؤسسة وتحليلات البيانات الضخمة.
تفاصيل السيناريو
حالات الاستخدام المحتملة
يوضح هذا الحل كيف يكمل Azure Data Explorer وAzure Synapse Analytics بعضهما البعض للتحليليات القريبة من الوقت الحقيقي وحالات استخدام تخزين البيانات الحديثة.
هذا الحل قيد الاستخدام بالفعل من قبل عملاء Microsoft. على سبيل المثال، نفذت شركة الرحلات التي تتخذ من سنغافورة مقرا لها، Grab، تحليلات في الوقت الحقيقي عبر كمية هائلة من البيانات التي تم جمعها من خدمات سيارات الأجرة وتسليم الطعام بالإضافة إلى تطبيقات شركاء التاجر. قدم الفريق من Grab الحل الخاص بهم في MS Ignite في هذا الفيديو (من 20:30 فصاعدا). باستخدام هذا النمط، قام Grab بمعالجة أكثر من تريليون حدث يوميا.
تم تحسين هذا الحل لصناعة البيع بالتجزئة.
المساهمون
تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.
الكاتب الرئيسي:
- Ornat Spodek | مدير محتوى أول
لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.
الخطوات التالية
- وثائق Azure Data Explorer
- التدريب: مقدمة إلى Azure Data Explorer
- Azure Synapse Analytics
- مراكز أحداث Azure