معايير القرار لتحديد خيار تكوين HDInsight الصحيح
هناك تكوينات مختلفة من خدمة HDInsight التي يمكن استخدامها لسيناريوهات تحليلية مختلفة. وفي الواقع، تضم خدمة HDInsight العديد من تقنيات تحليلات البرامج مفتوحة المصدر، والتي يمكن اعتبارها متجراً شاملاً لتلبية احتياجاتك التحليلية المتقدمة. ويمكن أن تلبي جميع الأنواع المختلفة لنظام المجموعة احتياجات سيناريوهات الأعمال الموضحة أدناه. ومع كل نوع نظام مجموعة، يكون لديك تحكم كامل في طريقة إدارة كل سيناريو من هذه السيناريوهات داخل HDInsight.
وتُطبِّق العديد من الشركات متطلبات مماثلة عندما يتعلق الأمر بسيناريوهات معالجة وتحليل البيانات لاشتقاق قيمة الأعمال. يمكن أن تتضمن هذه المتطلبات ما يلي:
معالجة الدفعات
يمكن استخدام HDInsight لاستخراج وتحويل وتحميل أو استخراج وتحميل وتحويل العمليات على كل من البيانات المنظمة وغير المنظمة باستخدام كل من Hadoop أو Spark وأطر عمل معالجة البيانات بما في ذلك Hive وSqoop.
تخزين البيانات
يتم ذلك في العادة من خلال قواعد البيانات الارتباطية المحلية مثل SQL Server، ومؤخرًا باستخدام Azure SQL Data Warehouse على البيانات المنظمة على نطاق بيتا بايت. يتيح HDInsight الاستعلامات التفاعلية على نطاقات تبلغ سعتها بيتابايت على البيانات المنظمة أو غير المنظمة بتنسيقات عديدة. ويمكن أن تعمل هذه الإمكانية بشكل جيد إذا قمت بإدارة عمليات البيانات ومتطلبات إعداد التقارير باستخدام HDInsight Hadoop مع Hive.
دفق البيانات
يمكن استيعاب البيانات المتدفقة من مجموعة متنوعة من المصادر باستخدام HDInsight عبر Event Hub أو IoT Hub باستخدام Spark Streaming.
الهجين
تمتلك بعض المؤسسات بالفعل بنى أساسية داخلية للبيانات الضخمة. ويمكنك توسيع الإمكانية إلى السحابة باستخدام HDInsight.
تعتمد نقطة القرار الرئيسية لتحديد خيار تكوين نظام المجموعة لخدمة HDInsight الصحيح على حمل العمل الذي سيُقدِّمه نظام مجموعة HDInsight. إذا كانت مؤسستك تعمل باستخدام أحمال عمل متعددة، فمن الشائع التبديل إلى تكوينات HDInsight مختلفة لتتناسب مع حمل العمل الذي يحتاج إلى معالجة.
| نوع حمل العمل | نوع نظام المجموعة |
|---|---|
| حركة بيانات الدفعة | Apache Hadoop |
| علم البيانات – الدفعة والتدفق | Apache Spark |
| أحمال عمل للمعاملات | HBase |
| تحليلات مخصصة/تخزين البيانات | Apache Interactive Query |
| تحليل التدفق | Apache Kafka |
هام
تتاح أنظمة مجموعات HDInsight في أنواع مختلفة، وكل منها لحمل عمل أو تقنية واحدة. لا توجد طريقة معتمدة لإنشاء نظام مجموعة يجمع بين أنواع متعددة مثل Hadoop وHBase على نظام مجموعة واحد. إذا كان الحل الخاص بك يتطلب تقنيات تنتشر عبر أنواع شبكة نظام المجموعة HDInsight المتعددة، فإنه يمكن لشبكة الاتصال الظاهرية Azure ربط أنواع شبكة نظام المجموعة المطلوبة المختلفة.