Aracılığıyla paylaş

HDInsight kümesini yeni bir sürüme geçirme

  • Makale

En yeni HDInsight özelliklerinden faydalanabilmek için HDInsight kümelerinizi düzenli olarak en son sürüme geçirmeniz önerilir. HDInsight, mevcut bir kümenin daha yeni bir bileşen sürümüne yükseltildiği yerinde yükseltmeleri desteklemez. İstenen bileşen ve platform sürümüyle yeni bir küme oluşturmanız ve ardından uygulamalarınızı yeni kümeyi kullanacak şekilde geçirmeniz gerekir. HDInsight küme sürümlerinizi geçirmek için aşağıdaki yönergeleri izleyin.

Not

Birincil depolama kapsayıcısı olan bir Hive kümesi oluşturuyorsanız, bunu mevcut bir HDInsight kümesinden kopyalayın. İçeriğin tamamını kopyalamayın. Yalnızca yapılandırılan veri klasörlerini kopyalayın.

Geçiş görevleri

HDInsight Kümesini yükseltmek için iş akışı aşağıdaki gibidir. HDInsight yükseltme iş akışı diyagramı.

  1. HDInsight kümenizi yükseltirken gerekli olabilecek değişiklikleri anlamak için bu belgenin her bölümünü okuyun.
  2. Test/kalite güvencesi ortamı olarak bir küme oluşturun. Küme oluşturma hakkında daha fazla bilgi için bkz . Linux tabanlı HDInsight kümeleri oluşturmayı öğrenme
  3. Mevcut işleri, veri kaynaklarını ve havuzları yeni ortama kopyalayın.
  4. İşlerinizin yeni kümede beklendiği gibi çalıştığından emin olmak için doğrulama testi gerçekleştirin.

Her şeyin beklendiği gibi çalıştığını doğruladıktan sonra geçiş için kapalı kalma süresini zamanlayın. Bu kapalı kalma süresi boyunca aşağıdaki eylemleri gerçekleştirin:

  1. Küme düğümlerinde yerel olarak depolanan geçici verileri yedekleyin. Örneğin, doğrudan bir baş düğümde depolanan verileriniz varsa.
  2. Mevcut kümeyi silin.
  3. Önceki kümenin kullandığı varsayılan veri depoyu kullanarak en son (veya desteklenen) HDI sürümüne sahip aynı sanal ağ alt asında bir küme oluşturun. Bu, yeni kümenin mevcut üretim verilerinizle çalışmaya devam etmesini sağlar.
  4. Yedeklediğiniz geçici verileri içeri aktarabilirsiniz.
  5. yeni kümeyi kullanarak işleri başlatın/işlemeye devam edin.

İş yüküne özgü yönergeler

Aşağıdaki belgeler belirli iş yüklerini geçirme konusunda rehberlik sağlar:

Yedekleme ve geri yükleme

Veritabanı yedekleme ve geri yükleme hakkında daha fazla bilgi için bkz. Otomatik veritabanı yedeklemelerini kullanarak Azure SQL Veritabanı veritabanını kurtarma.

Yükseltme senaryoları

Yukarıda belirtildiği gibi Microsoft, yeni özelliklerden ve düzeltmelerden yararlanmak için HDInsight kümelerinin düzenli olarak en son sürüme geçirilmesini önerir. Bir kümenin silinmesini ve yeniden dağıtılması isteğinde bulunma nedenlerinin aşağıdaki listesine bakın:

  • Küme sürümü Kullanımdan kaldırıldı veya daha yeni bir sürümle çözülecek bir küme sorununuz varsa.
  • Küme sorununun kök nedeni, küçük bir VM'yi ilişkilendirmek için belirlenir. Microsoft'un önerilen düğüm yapılandırmasını görüntüleyin.
  • Müşteri bir destek olayı açar ve Microsoft mühendislik ekibi sorunun daha yeni bir küme sürümünde zaten düzeltildiğini belirler.
  • Varsayılan meta veri deposu veritabanı (Ambari, Hive, Oozie, Ranger) kullanım sınırına ulaştı. Microsoft, özel bir meta veri deposu veritabanı kullanarak kümeyi yeniden oluşturmanızı ister.
  • Bir küme sorununun kök nedeni Desteklenmeyen bir İşlemden kaynaklanır. Yaygın olarak desteklenmeyen işlemlerden bazıları şunlardır:
    • Ambari'de hizmet taşıma veya ekleme. Ambari'deki küme hizmetleriyle ilgili bilgilere bakın. Hizmet Eylemleri menüsünden kullanılabilen eylemlerden biri De Taşıma [Hizmet Adı] şeklindedir. Başka bir eylem de [Hizmet Adı] Ekle'dir. Bu seçeneklerin ikisi de desteklenmiyor.
    • Python paketi bozulması. HDInsight kümeleri yerleşik Python ortamlarına, Python 2.7 ve Python 3.5'e bağlıdır. Özel paketlerin bu varsayılan yerleşik ortamlara doğrudan yüklenmesi beklenmeyen kitaplık sürümü değişikliklerine neden olabilir ve kümeyi bozabilir. Spark uygulamalarınız için özel dış Python paketlerini güvenli bir şekilde yüklemeyi öğrenin.
    • Üçüncü taraf yazılım. Müşteriler HDInsight kümelerine üçüncü taraf yazılım yükleme olanağına sahiptir; ancak mevcut işlevselliği bozarsa kümeyi yeniden oluşturmanızı öneririz.
    • Aynı kümede birden çok iş yükü. HDInsight 4.0'da, Hive Ambarı Bağlayıcısı Spark ve Etkileşimli Sorgu iş yükleri için ayrı kümelere ihtiyaç duyar. Azure HDInsight'ta her iki kümeyi de ayarlamak için bu adımları izleyin. Benzer şekilde Spark'ı HBASE ile tümleştirmek için iki farklı küme gerekir.
    • Özel Ambari DB parolası değiştirildi. Ambari DB parolası küme oluşturma sırasında ayarlanır ve bunu güncelleştirmek için geçerli bir mekanizma yoktur. Bir müşteri kümeyi özel ambari db ile dağıtırsa SQL VERITABANıNDA veritabanı parolasını değiştirme olanağına sahiptir; ancak çalışan bir HDInsight kümesi için bu parolayı güncelleştirmenin hiçbir yolu yoktur.
    • HDInsight Yük Dengeleyicilerini değiştirme. Ambari ve SSH erişimi için otomatik olarak dağıtılan HDInsight yük dengeleyicileri değiştirilmemeli veya silinmemelidir . HDInsight yük dengeleyicilerini değiştirirseniz ve küme işlevselliğini bozarsa, kümeyi yeniden dağıtmanız tavsiye edilir.
    • Ranger 4.X Veritabanları 5.X'te Yeniden Kullanılmaya Başlandı. HDInsight 5.1, HDInsight 4.X kümelerinde 1.2.0'dan ana sürüm yükseltmesi olan Apache Ranger sürüm 2.3.0'a sahiptir. HDInsight 5.1'de HDInsight 4.X Ranger veritabanının yeniden kullanılması, VERITABANı şemasındaki farklılıklar nedeniyle Ranger hizmetinin başlatılmasını engeller. HDInsight 5.1 ESP kümelerini başarıyla dağıtmak için boş bir Ranger veritabanı oluşturmanız gerekir.

Sonraki adımlar