ترحيل نظام مجموعة HDInsight إلى إصدار أحدث
للاستفادة من أحدث ميزات HDInsight، نوصي بترحيل أنظمة مجموعات HDInsight بانتظام إلى أحدث إصدار. لا يدعم HDInsight الترقيات الموضعية حيث تتم ترقية مجموعة موجودة إلى إصدار مكون أحدث. يجب إنشاء نظام مجموعة جديد مع المكون المطلوب وإصدار النظام الأساسي ثم ترحيل التطبيقات لاستخدام نظام المجموعة الجديد. اتبع الإرشادات التالية لترحيل إصدارات نظام مجموعة HDInsight.
إشعار
إذا كنت تقوم بإنشاء مجموعة Hive مع حاوية تخزين أساسية، فانسخها من مجموعة HDInsight موجودة. لا تنسخ المحتوى الكامل. انسخ مجلدات البيانات التي تم تكوينها فقط.
مهام الترحيل
سير العمل لترقية نظام مجموعة HDInsight كما يلي.
- اقرأ كل قسم من هذا المستند لفهم التغييرات التي قد تكون مطلوبة عند ترقية نظام مجموعة HDInsight.
- إنشاء نظام مجموعة كبيئة اختبار/ضمان الجودة. لمزيد من المعلومات حول إنشاء نظام مجموعة، راجع التعرف على كيفية إنشاء أنظمة مجموعات HDInsight المستندة إلى Linux
- نسخ المهام الموجودة، ومصادر البيانات، والمتلقين إلى البيئة الجديدة.
- إجراء اختبار التحقق من الصحة للتأكد من أن مهامك تعمل كما هو متوقع على نظام المجموعة الجديد.
بمجرد التحقق من أن كل شيء يعمل كما هو متوقع، قم بجدولة وقت التعطل عن الترحيل. أثناء هذا التوقف عن التشغيل، قم بالإجراءات التالية:
- النسخ الاحتياطي لأي بيانات عابرة مخزنة محلياً على عقد نظام المجموعة. وعلى سبيل المثال، إذا كان لديك بيانات مخزنة مباشرة على عقدة رئيسية.
- حذف نظام المجموعة الموجودة.
- إنشاء نظام مجموعة في نفس الشبكة الفرعية VNET مع أحدث (أو مدعوم) إصدار HDI باستخدام نفس مخزن البيانات الافتراضية التي يستخدمها نظام المجموعة السابق. يسمح هذا للمجموعة الجديدة بمواصلة العمل مقابل بيانات الإنتاج الحالية الخاصة بك.
- استيراد أي بيانات عابرة قمت بنسخها احتياطياً.
- بدء المهام/متابعة المعالجة باستخدام نظام المجموعة الجديد.
إرشادات خاصة بحمل العمل
توفر المستندات التالية إرشادات حول كيفية ترحيل أحمال عمل معينة:
النسخ الاحتياطي والاستعادة
لمزيد من المعلومات حول قاعدة البيانات النسخ الاحتياطي والاستعادة، راجع استرداد قاعدة بيانات في قاعدة بيانات Azure SQL باستخدام النسخ الاحتياطية التلقائية لقاعدة البيانات.
سيناريوهات الترقية
كما ذكر أعلاه، توصي Microsoft ترحيل أنظمة مجموعات HDInsight بانتظام إلى أحدث إصدار من أجل الاستفادة من الميزات والإصلاحات الجديدة. اطلع على قائمة الأسباب التالية التي قد نطلب حذف نظام مجموعة وإعادة نشره:
- إصدار نظام المجموعة متوقف أو إذا كنت تواجه مشكلة في نظام المجموعة سيتم حلها بإصدار أحدث.
- يتم تحديد السبب الجذري لمشكلة نظام المجموعة أن تكون ذات صلة إلى جهاز ظاهري صغير الحجم. عرض تكوين العقدة الموصى بها من Microsoft.
- عميل يفتح حالة دعم وفريق هندسة Microsoft يحدد تم بالفعل إصلاح المشكلة في إصدار نظام مجموعة أحدث.
- قد وصلت قاعدة بيانات metastore الافتراضية (Ambari، وApache Hive، وOozie، وRanger) إلى حد استخدامها. تطلب منك Microsoft إعادة إنشاء نظام المجموعة باستخدام قاعدة بيانات metastore مخصصة.
- السبب الجذري لقضية نظام مجموعة هو بسبب عملية غير معتمد. فيما يلي بعض العمليات الشائعة غير المدعومة:
- نقل أو إضافة خدمة في Ambari. انظر معلومات حول خدمات نظام المجموعة في Ambari، أحد الإجراءات المتوفرة من قائمة إجراءات الخدمة هو نقل [اسم الخدمة]. إجراء آخر هوإضافة [اسم الخدمة]. كلا الخيارين غير مدعومين.
- فساد حزمة Python. تعتمد أنظمة مجموعات HDInsight على بيئات Python الداخلية، Python 2.7، وPython 3.5. قد يؤدي تثبيت الحزم المخصصة مباشرة في تلك البيئات المضمنة الافتراضية إلى تغييرات غير متوقعة في إصدار المكتبة وكسر نظام المجموعة. تعرف على كيفية تثبيت حزم Python الخارجية المخصصة لتطبيقات Spark بأمان.
- برامج الجهات الخارجية. العملاء لديهم القدرة على تثبيت برامج جهات خارجية على أنظمة مجموعات HDInsight الخاصة بهم؛ ومع ذلك، نوصي إعادة إنشاء نظام المجموعة إذا كانت تقاطع الوظيفة الحالية.
- أحمال عمل متعددة على نفس نظام المجموعة. في HDInsight 4.0، يحتاج موصل Apache Hive Warehouse إلى أنظمة مجموعات منفصلة لأحمال عمل Spark وInteractive Query. اتبع هذه الخطوات لإعداد كل من نظامي المجموعة في Azure HDInsight. بالمثل، يتطلب دمج Spark مع HBASE مجموعتين مختلفتين.
- تم تغيير كلمة مرور Ambari DB المخصصة. يتم تعيين كلمة مرور Ambari DB خلال إنشاء نظام المجموعة ولا توجد آلية حالية لتحديثها. إذا نشر العميل نظام المجموعة باستخدام قاعدة بيانات Ambari مخصصة، فلديه القدرة على تغيير كلمة مرور قاعدة البيانات على قاعدة بيانات SQL؛ ومع ذلك، لا توجد طريقة لتحديث كلمة المرور هذه لمجموعة HDInsight قيد التشغيل.
- تعديل موازنات تحميل HDInsight. يجب عدم تعديل موازنات تحميل HDInsight التي يتم نشرها تلقائيا للوصول إلى Ambari وSSH أو حذفها. إذا قمت بتعديل موازن (موازنات) تحميل HDInsight وكسرت وظيفة نظام المجموعة، نصحك بإعادة توزيع نظام المجموعة.
- إعادة استخدام قواعد بيانات Ranger 4.X في 5.X. يحتوي HDInsight 5.1 على الإصدار 2.3.0 من Apache Ranger وهو ترقية إصدار رئيسي من 1.2.0 في مجموعات HDInsight 4.X. ستؤدي إعادة استخدام قاعدة بيانات HDInsight 4.X Ranger في HDInsight 5.1 إلى منع بدء تشغيل خدمة Ranger بسبب الاختلافات في مخطط DB. ستحتاج إلى إنشاء قاعدة بيانات Ranger فارغة لنشر مجموعات HDInsight 5.1 ESP بنجاح.