Kullanılabilirlik Alanları kullanan bir HDInsight kümesi oluşturma

Azure HDInsight kümesi birden çok düğümden (baş düğümler, çalışan düğümleri, ağ geçidi düğümleri ve zookeeper düğümleri) oluşur. Varsayılan olarak, Kullanılabilirlik Alanları destekleyen bir bölgede, kullanıcının hangi küme düğümlerinin hangi Kullanılabilirlik Alanı'nda sağlandığı üzerinde bir denetimi yoktur.

Bu yeni kullanılabilirlik alanı özelliğiyle, kullanıcı artık HDInsight kümesinin tüm düğümlerini barındırması gereken Kullanılabilirlik Alanı'nı belirtebilir. Küme düğümleri fiziksel olarak başka bir kullanılabilirlik alanından ayrılır ve aynı bölgedeki diğer Kullanılabilirlik Alanları hatalardan yalıtılır. Bu dağıtım modeli ayrıca küme içinde ucuz, düşük gecikme süreli ağ bağlantısı sağlar.

Bu dağıtım modelinin birden çok Kullanılabilirlik Alanları çoğaltılması, donanım hatalarına karşı koruma sağlamak için daha yüksek bir kullanılabilirlik düzeyi sağlayabilir.

Bu makalede, Kullanılabilirlik Alanı içinde HDInsight kümesi oluşturma ve daha yüksek kullanılabilirlik elde etmek için bu özelliğin nasıl kullanılacağı gösterilmektedir.

Başlamadan önce

Kullanılabilirlik Alanı özelliği yalnızca 15 Haziran'dan sonra oluşturulan kümeler için desteklenir. Kullanılabilirlik alanı ayarları küme oluşturulduktan sonra güncelleştirilemez. Kullanılabilirlik alanlarını kullanmak için mevcut, kullanılabilir olmayan bir bölge kümesini de güncelleştiremezsiniz.

Önkoşullar ve bölge kullanılabilirliği

Ön koşullar:

  • Kümeler özel bir sanal ağ altında oluşturulmalıdır.
  • Bu DB'leri aynı Kullanılabilirlik Alanında yapılandırabilmek için Ambari DB ve dış meta veri deposu (Hive meta veri deposu gibi) için kendi SQL veritabanınızı getirmeniz gerekir.

HDInsight kümeleri şu anda aşağıdaki bölgelerdeki kullanılabilirlik alanları kullanılarak oluşturulabilir:

  • Doğu Avustralya
  • Güney Brezilya
  • Orta Kanada
  • Central US
  • Doğu ABD
  • Doğu ABD 2
  • Orta Fransa
  • Orta Batı Almanya
  • Doğu Japonya
  • Güney Kore - Orta
  • Kuzey Avrupa
  • Güneydoğu Asya
  • Orta Güney ABD
  • Güney Birleşik Krallık
  • US Gov Virginia
  • West Europe
  • Batı ABD 2

HDInsight kümeleri için kullanılabilirlik alanlarına genel bakış

Kullanılabilirlik alanları, bölge içindeki benzersiz fiziksel konumlardır. Her alan bağımsız güç, soğutma ve ağ bağlantısı ile donatılmış bir veya daha fazla veri merkezinden oluşur. Azure'da bir bölge bir veya daha fazla Kullanılabilirlik Alanları içerir. Bir bölge içindeki kullanılabilirlik alanlarının fiziksel olarak ayrılması, uygulamaları ve verileri veri merkezi hatalarından korur. Daha fazla bilgi için bkz . Azure'da kullanılabilirlik alanları nelerdir?

Azure HDInsight kümeleri tek bir Kullanılabilirlik Alanı içinde dağıtılacak şekilde yapılandırılabilir. İki baş düğüm, üç zookeeper düğümü, iki ağ geçidi düğümü ve çalışan düğümleri dahil olmak üzere bu HDInsight kümesindeki tüm düğümler belirtilen Kullanılabilirlik Alanına yerleştirilir. Örneğin, Doğu ABD'de üç Kullanılabilirlik alanı vardır. Doğu ABD'de bir HDInsight kümesi, Kullanılabilirlik alanı 1'deki tüm düğümlerle oluşturulabilir.

Kullanılabilirlik alanlarını HDInsight kümesiyle bu şekilde kullanmak hem performans hem de maliyet avantajları sağlayabilir:

  • Düşük gecikme süreli ağ bağlantısı nedeniyle daha iyi performans
  • Daha düşük maliyet: Aynı Kullanılabilirlik alanı içinde veri aktarımı ücretsizdir. Kullanılabilirlik alanı genelinde veri aktarımı ek ağ maliyetine neden olur.

Uygulamanız birden çok Kullanılabilirlik alanında yüksek kullanılabilirlik gerektiriyorsa, bir Kullanılabilirlik alanında bir birincil HDInsight kümesi oluşturabilir ve maliyet tasarrufu sağlamak için farklı bir Kullanılabilirlik alanında minimum boyuta sahip ikincil bir HDInsight kümesi oluşturabilirsiniz. Bu tasarımla, diğer Kullanılabilirlik alanlarından biri devre dışı kalırsa, bu HDInsight kümesi etkilenmez. Bu Kullanılabilirlik alanı kapanırsa müşterilerin farklı bir Kullanılabilirlik alanındaki ikincil kümeleri birincil kümeye değiştirmesi, iş yükünü bu yeni birincil kümeye yönlendirmesi ve veri işlemeyi almak için küme boyutunu hızla artırması gerekir.

Kullanılabilirlik alanı kullanarak HDInsight kümesi oluşturma

HdInsight kümesini belirli bir Kullanılabilirlik alanında başlatmak için Azure Resource Manager (ARM) şablonunu kullanabilirsiniz.

Kaynaklar bölümünde , 'alanlar' bölümünü eklemeniz ve bu kümenin hangi Kullanılabilirlik alanına dağıtılmasını istediğinizi sağlamanız gerekir.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

Bölgeler arasında tek bir Kullanılabilirlik Alanı içindeki düğümleri doğrulama

HDInsight kümesi hazır olduğunda, hangi kullanılabilirlik alanında dağıtıldıklarını görmek için konumu kontrol edebilirsiniz.

Screenshot sthat hows availability zone info in cluster overview.

API yanıtı alma:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

Kümenin ölçeğini artırma

HdInsight kümesinin ölçeğini daha fazla çalışan düğümüyle artırabilirsiniz. Yeni eklenen çalışan düğümleri bu kümenin aynı Kullanılabilirlik alanına yerleştirilir.

En iyi yöntemler

  • Ambari DB'deki yapılandırmaları düzenli olarak yedekleyin.
  • İş yükünü ikincil kümeye kolayca yönlendirmek için mantık uygulayın.

AZ kapandığında ne bekleyebileceğiniz

  • Bu kümeye ssh yapamazsınız
  • Bu kümeyi silemez, ölçeklendiremez veya azaltamazsınız
  • İş gönderemez veya iş geçmişini göremezsiniz
  • Yine de farklı bir bölgede yeni küme oluşturma isteği gönderebilirsiniz