تخطيط السعة لنظام مجموعات HDInsight

قبل توزيع مجموعة HDInsight، خطط لقدرة المجموعة المقصودة من خلال تحديد الأداء والحجم المطلوبين. يساعد هذا التخطيط على تحسين قابلية الاستخدام والتكاليف. لا يمكن تغيير بعض قرارات سعة نظام المجموعة بعد التوزيع. إذا تغيرت معلمات الأداء، يمكن تفكيك نظام المجموعة وإعادة إنشائها دون فقد البيانات المخزنة.

الأسئلة الرئيسية التي يجب طرحها لتخطيط السعة هي:

• في أي منطقة جغرافية يجب أن توزع مجموعتك؟
• ما مقدار مساحة التخزين التي تحتاجها؟
• ما نوع نظام المجموعة الذي يجب توزيعه؟
• ما حجم ونوع الجهاز الظاهري (VM) الذي يجب أن تستخدمه عقد المجموعة الخاصة بك؟
• ما عدد العقد العاملة التي يجب أن تحتوي عليها مجموعتك؟

اختر منطقة Azure

تحدد منطقة Azure مكان توفير نظام المجموعة الخاص بك فعلياً. لتقليل زمن انتقال عمليات القراءة والكتابة، يجب أن تكون المجموعة بالقرب من بياناتك.

يتوفر HDInsight في العديد من مناطق Azure. للعثور على أقرب منطقة، راجع المنتجات المتوفرة حسب المنطقة.

اختيار موقع التخزين وحجمه

موقع التخزين الافتراضي

يجب أن يكون التخزين الافتراضي، إما حساب Azure Storage أو Azure Data Lake Storage، في نفس موقع نظام المجموعة الخاص بك. يتوفر Azure Storage في جميع المواقع. يتوفر Data Lake Storage في بعض المناطق- راجع توفر Data Lake Storage الحالي.

موقع البيانات الموجودة

إذا كنت تريد استخدام حساب تخزين موجود أو Data Lake Storage كمخزن افتراضي للكتلة، فيجب عليك نشر نظام المجموعة الخاص بك في نفس الموقع.

حجم وحدة التخزين

في نظام المجموعة المنشور، يمكنك إرفاق حسابات تخزين Azure أخرى أو الوصول إلى تخزين بحيرة البيانات الأخرى. يجب أن تتواجد جميع حسابات التخزين الخاصة بك في نفس موقع المجموعة الخاصة بك. يمكن أن يكون تخزين Data Lake في موقع مختلف، على الرغم من أن المسافات البعيدة قد تؤدي إلى حدوث بعض التأخير.

يحتوي Azure Storage على بعض حدود السعة، في حين أن Data Lake Storage غير محدود تقريباً. يمكن لنظام المجموعة الوصول إلى مجموعة من حسابات التخزين المختلفة. تتضمن الأمثلة النموذجية:

• عندما يُرجح أن تتجاوز كمية البيانات سعة التخزين لحاوية تخزين blob واحدة.
• متى قد يتجاوز معدل الوصول إلى حاوية البيانات الثنائية الكبيرة الحد الذي يحدث فيه الاختناق.
• عندما تريد إنشاء بيانات، فقد قمت بالفعل بالتحميل إلى حاوية البيانات الثنائية الكبيرة المتاحة للمجموعة.
• عندما تريد عزل أجزاء مختلفة من التخزين لأسباب تتعلق بالأمان، أو لتبسيط الإدارة.

للحصول على أداء أفضل، استخدم حاوية واحدة فقط لكل حساب تخزين.

اختر نوع نظام المجموعة

يحدد نوع نظام المجموعة حمل العمل الذي تم تكوين مجموعة HDInsight لتشغيله. تشمل الأنواع Apache Hadoop أو Apache Kafka أو Apache Spark. للحصول على وصف تفصيلي لأنواع المجموعات المتوفرة، راجع مقدمة إلى Azure HDInsight. يحتوي كل نوع نظام مجموعة على طوبولوجيا توزيع محددة تتضمن متطلبات حجم العقد وعددها.

اختر حجم VM ونوعه

يحتوي كل نوع مجموعة على مجموعة من أنواع العقد، ولكل نوع عقدة خيارات محددة لحجم ونوع VM.

لتحديد حجم نظام المجموعة الأمثل لتطبيقك، يمكنك قياس سعة نظام المجموعة وزيادة الحجم كما هو محدد. على سبيل المثال، يمكنك استخدام محاكاة حمل العمل أو canary query. قم بتشغيل أحمال العمل التي تمت محاكاتها على مجموعات ذات أحجام مختلفة. قم بزيادة الحجم تدريجياً حتى تصل إلى الأداء المطلوب. يمكن إدراج استعلام كاناري بشكل دوري بين استعلامات الإنتاج الأخرى لإظهار ما إذا كان لدى نظام المجموعة موارد كافية.

لمزيد من المعلومات عن كيفية اختيار عائلة الأجهزة الافتراضية المناسبة لعبء العمل لديك، راجع تحديد حجم الجهاز الظاهري المناسب لمجموعتك.

اختيار مقياس نظام المجموعة

يتم تحديد مقياس نظام المجموعة من خلال كمية عقد VM الخاصة به. بالنسبة لجميع أنواع المجموعات، توجد أنواع عقد لها مقياس معين وأنواع عقد تدعم التدرج. على سبيل المثال، قد تتطلب المجموعة ثلاث عقد Apache ZooKeeper أو عقدتين رئيسيتين. تستفيد عقد العمال التي تقوم بمعالجة البيانات بطريقة موزعة من عقد العمال الأخرى.

اعتماداً على نوع المجموعة الخاصة بك، تؤدي زيادة عدد العقد العاملة إلى إضافة سعة حسابية إضافية (مثل المزيد من النوى). ستؤدي المزيد من العقد إلى زيادة إجمالي الذاكرة المطلوبة للمجموعة بأكملها لدعم التخزين في الذاكرة للبيانات التي تتم معالجتها. كما هو الحال مع اختيار حجم ونوع VM، يتم الوصول إلى اختيار مقياس نظام المجموعة الصحيح بشكل تجريبي. استخدم محاكاة أحمال العمل أو استعلامات الكناري.

يمكنك توسيع مجموعتك لتلبية متطلبات ذروة الحمل. ثم قم بتقليصها مرة أخرى عندما لا تكون هناك حاجة إلى تلك العقد الإضافية. تسمح لك ميزة التدرج التلقائي بتوسيع نطاق مجموعتك تلقائياً بناءً على مقاييس وتوقيتات محددة مسبقاً. لمزيد من المعلومات عن قياس المجموعات يدوياً، راجع Scale HDInsight clusters.

دورة حياة نظام المجموعة

تتم محاسبتك على مدى عمر نظام المجموعة. إذا كانت هناك أوقات محددة فقط تحتاج فيها إلى مجموعتك، فأنشئ مجموعات عند الطلب باستخدام Azure Data Factory. يمكنك أيضاً إنشاء برامج PowerShell النصية التي توفر وتحذف المجموعة الخاصة بك، ثم جدولة تلك البرامج النصية باستخدام Azure Automation.

إشعار

عند حذف نظام المجموعة، يتم أيضاً حذف Apache Hive metastore الافتراضي الخاص به. لاستمرار المخزن الأساسي لعملية إعادة إنشاء نظام المجموعة التالية، استخدم مخزن بيانات التعريف خارجيا مثل قاعدة بيانات Azure أو Apache Oozie.

عزل أخطاء عمل نظام المجموعة

في بعض الأحيان يمكن أن تحدث الأخطاء بسبب التنفيذ المتوازي لمخططات متعددة وتقليل المكونات على نظام مجموعة متعددة العقد. للمساعدة في عزل المشكلة، جرب الاختبار الموزع. قم بتشغيل مهام متعددة متزامنة على نظام مجموعة عقدة عاملة واحدة. ثم قم بتوسيع هذا الأسلوب لتشغيل وظائف متعددة بشكل متزامن على نظم مجموعات تحتوي على أكثر من عقدة واحدة. لإنشاء مجموعة HDInsight أحادية العقدة في Azure، استخدم الخيار Custom(size, settings, apps) واستخدم القيمة 1 لـ عدد العقد العاملة في قسم Cluster size عند توفير كتلة جديدة في البوابة.

عرض إدارة الحصة النسبية ل HDInsight

عرض مستوى متعدد المستويات وتصنيف الحصة النسبية على مستوى عائلة الجهاز الظاهري. عرض الحصة النسبية الحالية ومقدار الحصة النسبية المتبقية لمنطقة على مستوى عائلة الجهاز الظاهري.

إشعار

تتوفر هذه الميزة حاليا على HDInsight 4.x و5.x لمنطقة شرق الولايات المتحدة EUAP. مناطق أخرى لمتابعة لاحقا.

1. عرض الحصة النسبية الحالية:

   راجع الحصة النسبية الحالية ومقدار الحصة النسبية المتبقية لمنطقة على مستوى عائلة الجهاز الظاهري.

   1. من مدخل Microsoft Azure، في شريط البحث العلوي، ابحث عن الحصص وحددها.

   2. من صفحة الحصة النسبية، حدد Azure HDInsight

      

   3. من مربع القائمة المنسدلة، حدد الاشتراك والمنطقة

      

      

2. طلب حصص جديدة لكل عائلة ومنطقة VM

   1. انقر فوق الصف الذي تريد عرض تفاصيل الحصة النسبية له.

   

الحصص النسبية

لمزيد من المعلومات عن إدارة حصص الاشتراك، راجع طلب زيادة الحصة.

الخطوات التالية

• قم بإعداد المجموعات في HDInsight باستخدام Apache Hadoop وSpark وKafka والمزيد: تعرف على كيفية إعداد أنظمة المجموعات وتكوينها في HDInsight.
• مراقبة أداء المجموعة: تعرف على السيناريوهات الرئيسية التي يجب مراقبتها لمجموعة HDInsight التي قد تؤثر على قدرة نظامك.