الموثوقية في Azure HDInsight

  • مقالة

توضح هذه المقالة دعم الموثوقية في Azure HDInsight، وتغطي مناطق التوفر والاسترداد عبر المناطق واستمرارية الأعمال. للحصول على نظرة عامة أكثر تفصيلا على الموثوقية في Azure، راجع موثوقية Azure.

دعم منطقة القابلية للوصول

مناطق توفر Azure هي ثلاث مجموعات منفصلة فعليا على الأقل من مراكز البيانات داخل كل منطقة Azure. مراكز البيانات داخل كل منطقة مجهزة ببنية أساسية مستقلة للطاقة والتبريد والشبكات. في حالة فشل المنطقة المحلية، يتم تصميم مناطق التوفر بحيث إذا تأثرت المنطقة الواحدة، فإن الخدمات الإقليمية والسعة والتوافر العالي تدعمها المنطقتين المتبقيتين.

يمكن أن تتراوح حالات الفشل من فشل البرامج والأجهزة إلى الأحداث مثل الزلازل والفيضانات والحرائق. يتم تحقيق التسامح مع الفشل مع التكرار والعزلة المنطقية لخدمات Azure. لمزيد من المعلومات التفصيلية حول مناطق التوفر في Azure، راجع المناطق ومناطق التوفر.

تم تصميم الخدمات الممكنة لمناطق توفر Azure لتوفير المستوى الصحيح من الموثوقية والمرونة. يمكن تكوينها بطريقتين. يمكن أن تكون إما زائدة عن الحاجة للمنطقة، مع النسخ المتماثل التلقائي عبر المناطق، أو منطقة، مع تثبيت المثيلات في منطقة معينة. يمكنك أيضا الجمع بين هذه الأساليب. لمزيد من المعلومات حول البنية المناطقية مقابل البنية الزائدة عن الحاجة للمنطقة، راجع التوصيات لاستخدام مناطق التوفر والمناطق.

يدعم Azure HDInsight تكوين توزيع نطاقي. يتم وضع عقد نظام مجموعة Azure HDInsight في منطقة واحدة تحددها في المنطقة المحددة. يتم عزل مجموعة HDInsight المناطقية من أي انقطاعات تحدث في مناطق أخرى. ومع ذلك، إذا كان الانقطاع يؤثر على المنطقة المحددة المختارة لمجموعة HDInsight، فلن تكون المجموعة متوفرة. يوفر نموذج النشر هذا اتصال شبكة زمن انتقال منخفض وغير مكلف داخل نظام المجموعة. يمكن أن يوفر نسخ نموذج النشر هذا في مناطق توفر متعددة مستوى أعلى من التوفر للحماية من فشل الأجهزة.

هام

بالنسبة إلى عمليات النشر التي لا يحدد فيها المستخدمون منطقة معينة، لا تكون أنواع العقد مرنة في المنطقة ويمكن أن تواجه وقت تعطل أثناء انقطاع التيار الكهربائي في أي منطقة في تلك المنطقة.

المتطلبات الأساسية

  • يتم دعم مناطق التوفر فقط للمجموعات التي تم إنشاؤها بعد 15 يونيو 2023. لا يمكن تحديث إعدادات منطقة قابلية الوصول بعد إنشاء المجموعة. لا يمكنك أيضاً تحديث نظام مجموعة منطقة حالية غير متوفرة لاستخدام مناطق التوفر.

  • يجب إنشاء المجموعات ضمن شبكة ظاهرية مخصصة.

  • تحتاج إلى إحضار SQL DB الخاص بك ل Ambari DB ومخزن metastore الخارجي، مثل Hive metastore، بحيث يمكنك تكوين DBs هذه في نفس منطقة التوفر.

  • يجب إنشاء مجموعات HDInsight الخاصة بك باستخدام خيار منطقة التوفر في إحدى المناطق التالية:

    • شرق أستراليا
    • جنوب البرازيل
    • وسط كندا
    • Central US
    • شرق الولايات المتحدة
    • East US 2
    • وسط فرنسا
    • وسط غرب ألمانيا
    • شرق اليابان
    • وسط كوريا
    • أوروبا الشمالية
    • قطر الوسطى
    • جنوب شرق آسيا
    • South Central US
    • جنوب المملكة المتحدة
    • ولاية فرجينيا الأمريكية
    • أوروبا الغربية
    • West US 2

إنشاء مجموعة HDInsight تستخدم منطقة قابلية الوصول

يمكنك استخدام قالب Azure Resource Manager (ARM) لتشغيل مجموعة HDInsight في منطقة توفر محددة.

في قسم الموارد، تحتاج إلى إضافة قسم من "المناطق" وتوفير منطقة التوفر التي تريد توزيع هذه المجموعة فيها.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],
        }
   ]

التحقق من العقد داخل منطقة توفر واحدة عبر المناطق

عندما تكون مجموعة HDInsight جاهزة، يمكنك فحص الموقع لمعرفة منطقة قابلية الوصول التي تعمل فيها.

لقطة شاشة تعرض معلومات منطقة التوفر في نظرة عامة على نظام المجموعة.

الحصول على استجابة واجهة برمجة التطبيقات:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],
        }
 ]

زيادة حجم المجموعة

يمكنك زيادة حجم مجموعة HDInsight مع مزيد من عقد العامل. سيتم وضع العقد العاملة المضافة حديثا في نفس منطقة التوفر من نظام المجموعة هذا.

ترحيل منطقة التوفر

لا تدعم مجموعات Azure HDInsight حاليا الترحيل الموضعي لمثيلات نظام المجموعة الحالية إلى دعم منطقة التوفر. ومع ذلك، يمكنك اختيار إعادة إنشاء نظام المجموعة الخاص بك، واختيار منطقة توفر مختلفة أو منطقة أثناء إنشاء نظام المجموعة. يمكن استخدام نظام مجموعة احتياطية ثانوية في منطقة مختلفة ومنطقة توفر مختلفة في سيناريوهات التعافي من الكوارث.

تجربة تعطل المنطقة

عندما تتعطل منطقة التوفر:

  • لا يمكنك ssh إلى هذه المجموعة.
  • لا يمكنك حذف هذه المجموعة أو توسيع نطاقها أو تقليصها.
  • لا يمكنك إرسال المهام أو الاطلاع على محفوظات الوظائف.
  • لا يزال بإمكانك إرسال طلب إنشاء نظام مجموعة جديد في منطقة مختلفة.

التعافي من الكوارث عبر المناطق واستمرارية الأعمال

يتعلق التعافي من الكوارث (DR) بالتعافي من الأحداث عالية التأثير، مثل الكوارث الطبيعية أو عمليات النشر الفاشلة التي تؤدي إلى وقت تعطل وفقدان البيانات. بغض النظر عن السبب، فإن أفضل علاج للكارثة هو خطة الإصلاح بعد الكارثة محددة جيدا ومختبرة وتصميم تطبيق يدعم الإصلاح بعد الكارثة بنشاط. قبل البدء في التفكير في إنشاء خطة التعافي من الكوارث، راجع التوصيات لتصميم استراتيجية التعافي من الكوارث.

عندما يتعلق الأمر بالتعافي من الكوارث، تستخدم Microsoft نموذج المسؤولية المشتركة. في نموذج المسؤولية المشتركة، تضمن Microsoft توفر البنية الأساسية الأساسية وخدمات النظام الأساسي. في الوقت نفسه، لا تقوم العديد من خدمات Azure تلقائيا بنسخ البيانات نسخا متماثلا أو الرجوع من منطقة فاشلة للنسخ المتماثل إلى منطقة أخرى ممكنة. بالنسبة إلى هذه الخدمات، أنت مسؤول عن إعداد خطة التعافي من الكوارث التي تعمل مع حمل العمل الخاص بك. توفر معظم الخدمات التي تعمل على عروض النظام الأساسي كخدمة (PaaS) في Azure ميزات وإرشادات لدعم الإصلاح بعد الكارثة ويمكنك استخدام ميزات خاصة بالخدمة لدعم الاسترداد السريع للمساعدة في تطوير خطة الإصلاح بعد الكارثة.

تعتمد مجموعات Azure HDInsight على العديد من خدمات Azure مثل التخزين وقواعد البيانات وActive Directory وخدمات مجال Active Directory والشبكات وKey Vault. يجب تصميم تطبيق تحليلات جيد التصميم، ومتوفر بدرجة عالية، ومتحمل للأخطاء، مع توفير ما يكفي من التكرار لتحمل الاضطرابات الإقليمية أو المحلية في واحدة أو أكثر من هذه الخدمات. يقدم هذا القسم نظرة عامة على أفضل الممارسات، وتوافر منطقة واحدة ومتعددة، وخيارات التحسين لتخطيط استمرارية الأعمال.

التعافي من الكوارث في المنطقة الجغرافية متعددة المناطق

يتطلب تحسين استمرارية الأعمال باستخدام التعافي من الكوارث ذات قابلية الوصول العالية عبر المنطقة تصميمات معمارية ذات تعقيد أعلى وتكلفة أعلى. تفصل الجداول التالية بعض المجالات التقنية التي قد تزيد من التكلفة الإجمالية للتملك.

تحسين التكلفة

المنطقة سبب تصعيد التكاليف استراتيجيات التحسين
تخزين البيانات تكرار البيانات/الجداول الأساسية في منطقة ثانوية نسخ البيانات المنسقة فقط
Data Egress إن عمليات نقل البيانات الصادرة عبر المنطقة لها ثمنها. مراجعة إرشادات تسعير النطاق الترددي تكرار البيانات المنسقة فقط للحد من أثر الخروج من المنطقة
حساب نظام المجموعة نظام مجموعة/مجموعات HDInsight إضافية في المنطقة الثانوية استخدم البرامج النصية التلقائية لتوزيع حساب ثانوي بعد الفشل الأساسي. استخدم التحجيم التلقائي للاحتفاظ بحجم نظام المجموعة الثانوي إلى أدنى حد. استخدام وحدات VM SKUs أرخص. قم بإنشاء أنظمة ثانوية في المناطق التي قد يتم فيها خصم وحدات VM SKUs.
المصادقة سيناريوهات متعددة الاستخدام في المنطقة الثانوية تتحمل إعدادات إضافية لخدمات مجال Microsoft Entra تجنب عمليات الإعداد متعددة المستخدمين في المنطقة الثانوية.

تحسينات التعقيدات

المنطقة سبب تصعيد التعقيد استراتيجيات التحسين
أنماط القراءة/الكتابة يتطلب أن تكون أنظمة المجموعات الأساسية والثانوية ممكن بها القراءة والكتابة تصميم نظام المجموعة الثانوي للقراءة فقط
Zero RPO & RTO تتطلب أن يكون فقدان البيانات صفرًا (RPO = 0) ووقت التعطل صفرًا (RTO = 0) تصميم RPO وRTO بطرق تحد من عدد المكونات التي تحتاج إلى تجاوز الفشل. لمزيد من المعلومات حول RTO وRPO، راجع أهداف الاسترداد.
وظائف الأعمال تتطلب وظائف الأعمال بالكامل لنظام المجموعة الأساسي في نظام المجموعة الثانوي قم بتقييم ما إذا كان يمكنك التشغيل باستخدام الحد الأدنى من المجموعات الفرعية الحرجة بلا نظام تشغيل لوظائف الأعمال في أنظمة المجموعة الثانوية.
قابلية التوصيل يتطلب اتصال جميع أنظمة المصدر وانتقال البيانات إلى الخادم من نظام المجموعة الأساسية الاتصال بنظام المجموعة الثانوية أيضًا حدد الاتصال الثانوي على مجموعة فرعية حرجة بلا نظام تشغيل.

عند إنشاء خطة التعافي من الكوارث متعددة المناطق، ضع في اعتبارك التوصيات التالية:

  • حدد الحد الأدنى من وظائف الأعمال التي تحتاجها إذا كانت هناك كارثة ولماذا. على سبيل المثال، قم بتقييم ما إذا كنت بحاجة إلى إمكانات تجاوز الفشل لطبقة تحويل البيانات (الموضحة باللون الأصفر) وطبقة خدمة البيانات (الموضحة باللون الأزرق)، أو إذا كنت تحتاج فقط إلى تجاوز الفشل لطبقة خدمة البيانات.

    تحويل البيانات وطبقات خدمة البيانات

  • تقسيم المجموعات الخاصة بك استنادًا إلى عبء العمل ودورة حياة التطوير والأقسام. يؤدي وجود المزيد من المجموعات إلى تقليل فرص حدوث فشل كبير واحد يؤثر على العديد من العمليات التجارية المختلفة.

  • جعل المناطق الثانوية للقراءة فقط. يمكن أن تؤدي مناطق تجاوز الفشل التي لها قدرات القراءة والكتابة إلى بنيات معقدة.

  • المجموعات العابرة أسهل في إدارتها عندما تكون هناك كارثة. صمم أحمال العمل الخاصة بك بطريقة يمكن من خلالها تدوير نظام المجموعات ولا يتم الاحتفاظ بأي حالة في نظام المجموعات.

  • غالبًا ما تُترك أحمال العمل غير منتهية في حالة حدوث كارثة وتحتاج إلى إعادة التشغيل في المنطقة الجديدة. صمم أحمال العمل الخاصة بك لتكون غير فعالة بطبيعتها.

  • استخدم الأتمتة أثناء عمليات توزيع نظام المجموعة وتأكد من كتابة إعدادات تكوين نظام المجموعة إلى أقصى حد ممكن لضمان التوزيع السريع والآلي بالكامل في حالة حدوث كارثة.

الكشف عن الانقطاع والإعلام والإدارة

  • استخدم أدوات المراقبة Azure على HDInsight لاكتشاف السلوك غير الطبيعي في المجموعة وتعيين إعلامات التنبيه المقابلة. يمكنك نشر حلول الإدارة الخاصة بنظام مجموعة HDInsight التي تم تكوينها مسبقًا والتي تجمع مقاييس أداء مهمة لنوع نظام مجموعة محدد. لمزيد من المعلومات، راجع مراقبة Azure على HDInsight.

  • اشترك في تنبيهات Azure الصحية ليتم إعلامك بمشكلات الخدمة أو الصيانة المخطط لها أو النصائح الصحية والأمنية للاشتراك أو الخدمة أو المنطقة. تساعدك الإشعارات الصحية التي تتضمن سبب المشكلة وETA الحازمة على تنفيذ عمليات تجاوز الفشل وإرجاع الموارد إلى الأساس بشكل أفضل. للحصول على مزيد من المعلومات، راجع وثائقAzure Service Health.

التعافي من الكوارث في المنطقة الجغرافية أحادية المنطقة

يحتوي كل مكون في نظام HDInsight الأساسي على آليات التسامح مع الخطأ في منطقة واحدة. ضع في اعتبارك أن ذلك لا يأخذ دائما حدثا كارثيا للتأثير على وظائف الأعمال. يمكن أن تؤدي حوادث الخدمة في واحدة أو أكثر من الخدمات التالية في منطقة واحدة أيضًا إلى فقدان وظائف الأعمال المتوقعة.

  • الحوسبة (الأجهزة الظاهرية): نظام مجموعة Azure HDInsight. HDInsight يوفر اتفاقية على مستوى الخدمة لقابلية الوصول بنسبة 99.9%. لتوفير قابلية وصول عالية في عملية توزيع واحدة، يكون HDInsight مصحوبًا بالعديد من الخدمات الموجودة في وضع قابلية الوصول العالية افتراضيًا. يتم توفير آليات التسامح مع الخطأ في HDInsight من قبل خدمات قابلية الوصول العالية للنظام البيئي لبرنامج مفتوح المصدر لكل من Microsoft وApache.

    تم تصميم مكونات البنية الأساسية التالية لتكون متوفرة بشكل كبير:

    • العقد الرئيسية النشطة والاستعدادية
    • عُقد البوابة المتعددة
    • ثلاث عقد حصة حارس حديقة الحيوان
    • عقد العامل الموزعة حسب مجالات الخطأ والتحديث

    تم تصميم الخدمات التالية أيضا لتكون متاحة بشكل كبير:

    • خادم Apache Ambari
    • خوادم وقت التطبيق YARN
    • سجل المهمة للخادم Hadoop MapReduce
    • Apache Livy
    • HDFS
    • YARN Resource Manager
    • HBase Master

    لمعرفة المزيد، راجع خدمات قابلية الوصول العالية المدعومة من Azure HDInsight.

  • Metastore(s): قاعدة بيانات Azure SQL. يستخدم HDInsight قاعدة بيانات Azure SQL كمتجر، والذي يوفر SLA بنسبة 99.99%. تستمر ثلاث نسخ متماثلة من البيانات داخل مركز بيانات مع النسخ المتماثل المتزامنة. إذا كان هناك فقدان لنسخة متماثلة، يتم تقديم نسخة متماثلة بديلة بسلاسة. يتم دعم النسخ المتماثل الجغرافية النشطة خارج الصندوق بأربعة مراكز بيانات كحد أقصى. عندما يكون هناك تجاوز فشل، إما يدويا أو مركز بيانات، تصبح النسخة المتماثلة الأولى في التسلسل الهرمي تلقائيا قادرة على القراءة والكتابة. لمزيد من المعلومات، راجع استمرارية أعمال قاعدة بيانات Azure SQL.

  • التخزين: تخزين Azure Data Lake Gen2 أو Blob. توصي HDInsight بـ Azure Data Lake Storage Gen2 كطبقة التخزين الأساسية. Azure Storage، بما في ذلك Azure Data Lake Storage Gen2، يوفران SLA بنسبة 99.9%. يستخدم HDInsight خدمة LRS حيث تستمر ثلاث نسخ متماثلة من البيانات داخل مركز بيانات، والنسخ المتماثل تكون متزامنة. إذا كان هناك فقدان لنسخة متماثلة، يتم تقديم نسخة متماثلة بديلة بسلاسة.

  • المصادقة: معرف Microsoft Entra، Microsoft Entra Domain Services، حزمة أمان المؤسسة.

    • يوفر معرف Microsoft Entra اتفاقية مستوى الخدمة بنسبة 99.9٪. Active Directory هي خدمة عمومية ذات مستويات متعددة من التكرار الداخلي وإمكانية الاسترداد التلقائي. لمزيد من المعلومات، راجع كيف تعمل Microsoft على تحسين موثوقية معرف Microsoft Entra باستمرار.
    • توفر خدمات مجال Microsoft Entra اتفاقية مستوى الخدمة بنسبة 99.9٪. Microsoft Entra Domain Services هي خدمة متوفرة بشكل كبير مستضافة في مراكز البيانات الموزعة عالميا. مجموعات النسخ المتماثلة هي ميزة معاينة في Microsoft Entra Domain Services تتيح التعافي من الكوارث الجغرافية إذا كانت منطقة Azure غير متصلة. لمزيد من المعلومات، راجع مفاهيم مجموعات النسخ المتماثلة وميزات خدمات مجال Microsoft Entra لمعرفة المزيد.
    • Azure DNS يوفر SLA بنسبة 100%. يستخدم HDInsight DNS Azure في أماكن مختلفة من أجل تحليل اسم المجال.

  • الخدمات الاختيارية، مثل Azure Key Vault وAzure Data Factory.

مكونات HDInsight

المحتوى ذو الصلة