Azure HDInsight kümelerini otomatik olarak ölçeklendirme

Azure HDInsight'ın ücretsiz Otomatik Ölçeklendirme özelliği, müşteriler tarafından benimsenen küme ölçümlerine ve ölçeklendirme ilkesine göre kümenizdeki çalışan düğümlerinin sayısını otomatik olarak artırabilir veya azaltabilir. Otomatik Ölçeklendirme özelliği, performans ölçümlerine veya ölçek artırma ve ölçeği azaltma işlemlerinin tanımlı zamanlamasına göre önceden belirlenmiş sınırlar içindeki düğüm sayısını ölçeklendirerek çalışır.

Nasıl çalışır?

Otomatik Ölçeklendirme özelliği, ölçeklendirme olaylarını tetikleme amacıyla iki tür koşul kullanır: çeşitli küme performans ölçümleri için eşikler (yük tabanlı ölçeklendirme olarak adlandırılır) ve zaman tabanlı tetikleyiciler (zamanlama tabanlı ölçeklendirme olarak adlandırılır). Yük tabanlı ölçeklendirme, en iyi CPU kullanımını sağlamak ve çalıştırma maliyetini en aza indirmek için kümenizdeki düğüm sayısını ayarladığınız bir aralık içinde değiştirir. Zamanlama tabanlı ölçeklendirme, ölçeği artırma ve ölçeği azaltma işlemlerinin zamanlamasına göre kümenizdeki düğüm sayısını değiştirir.

Aşağıdaki videoda, Otomatik Ölçeklendirme'nin çözdüğü zorluklara ve HDInsight ile maliyetleri denetlemenize nasıl yardımcı olabileceğine ilişkin genel bir bakış sunulmaktadır.

Yük tabanlı veya zamanlama tabanlı ölçeklendirmeyi seçme

Zamanlama tabanlı ölçeklendirme kullanılabilir:

• İşlerinizin sabit zamanlamalarla ve öngörülebilir bir süreyle çalıştırılmasının beklendiği durumlarda veya günün belirli saatlerinde düşük kullanım tahmini yaptığınızda. Örneğin, iş sonrası ve gün sonu işlerinde test ve geliştirme ortamları.

Yük tabanlı ölçeklendirme kullanılabilir:

• Yük desenleri gün içinde önemli ölçüde ve öngörülemez şekilde dalgalandığında. Örneğin, çeşitli faktörlere bağlı olarak yük desenlerindeki rastgele dalgalanmaları içeren sipariş verisi işleme.

Küme ölçümleri

Otomatik ölçeklendirme, kümeyi sürekli izler ve aşağıdaki ölçümleri toplar:

Metrik	Açıklama
Toplam Bekleyen CPU	Tüm bekleyen kapsayıcıların çalıştırılmasını başlatmak için gereken toplam çekirdek sayısı.
Toplam Bekleyen Bellek	Tüm bekleyen kapsayıcıların yürütülmesine başlamak için gereken toplam bellek miktarı (MB cinsinden).
Toplam Ücretsiz CPU	Etkin çalışan düğümlerindeki kullanılmayan tüm çekirdeklerin toplamı.
Toplam Boş Bellek	Etkin çalışan düğümlerinde kullanılmayan belleğin (MB cinsinden) toplamı.
Düğüm Başına Kullanılan Bellek	Çalışan düğümündeki yük. 10 GB belleğin kullanıldığı bir çalışan düğümü, 2 GB kullanılan belleğe sahip bir çalışandan daha fazla yük altında kabul edilir.
Düğüm Başına Uygulama Yöneticisi Sayısı	Çalışan düğümünde çalışan Application Master () kapsayıcılarının sayısı. İki AM kapsayıcısı barındıran bir çalışan düğümü, sıfır AM kapsayıcısı barındıran bir çalışan düğümünden daha önemli kabul edilir.

Yukarıdaki ölçümler 60 saniyede bir denetlenmektedir. Otomatik ölçeklendirme, bu ölçümlere göre ölçeği artırma ve azaltma kararları verir.

Küme ölçümlerinin tam listesi için bkz . Microsoft.HDInsight/clusters için desteklenen ölçümler.

Yüke bağlı ölçek koşulları

Aşağıdaki koşullar algılandığında, Otomatik Ölçeklendirme bir ölçek isteği verir:

Ölçek büyütme	Küçültme
Toplam bekleyen CPU, 3-5 dakikadan uzun süre boyunca toplam ücretsiz CPU'dan büyüktür.	Toplam bekleyen CPU, 3-5 dakikadan uzun süre boyunca toplam ücretsiz CPU'dan daha azdır.
Toplam bekleyen bellek, 3-5 dakikadan uzun süre toplam boş bellekten büyüktür.	Toplam bekleyen bellek, 3-5 dakikadan uzun süre toplam boş bellekten daha azdır.

Ölçeği büyütmek için Otomatik Ölçeklendirme, gerekli düğüm sayısını eklemeye yönelik bir ölçek artırma isteği verir. CPU ve bellek gereksinimlerini karşılamak için sistem, kaç yeni çalışan düğümün gerektiğine dayanarak ölçeklenir.

Ölçeği küçültmek için, Autoscale bazı düğümlerin kaldırılması için bir istek gönderir. Ölçeği azaltma, düğüm başına Application Master () kapsayıcılarının sayısını temel alır. Ve geçerli CPU ve bellek gereksinimleri. Hizmet ayrıca geçerli iş yürütmeye göre hangi düğümlerin kaldırılma adayı olduğunu da algılar. Ölçeği azaltma işlemi önce düğümleri devre dışı bırakır ve ardından bunları kümeden kaldırır.

Otomatik ölçeklendirme için Ambari DB boyutlandırma konusunda dikkat edilmesi gerekenler

Otomatik ölçeklendirmenin avantajlarından yararlanmak için Ambari DB'nin doğru boyutlandırılmış olması önerilir. Müşteriler doğru veritabanı katmanını ve büyük boyutlu kümeler için özel Ambari DB'yi kullanmalıdır. Lütfen Veritabanı ve Baş düğüm boyutlandırma önerilerini okuyun.

Küme uyumluluğu

Önemli

Azure HDInsight Otomatik Ölçeklendirme özelliği, Spark ve Hadoop kümeleri için 7 Kasım 2019’da genel kullanıma sunulmuştu ve özelliğin önizleme sürümünde sağlanmayan geliştirmeler içeriyordu. 7 Kasım 2019'den önce bir Spark kümesi oluşturduysanız ve kümenizde Otomatik Ölçeklendirme özelliğini kullanmak istiyorsanız, önerilen yol yeni bir küme oluşturmak ve enable Autoscale yeni kümede kullanmaktır.

Interactive Query (LLAP) için Otomatik Ölçeklendirme, 27 Ağustos 2020'de HDI 4.0 için genel kullanıma sunuldu. Otomatik ölçeklendirme yalnızca Spark, Hadoop ve Etkileşimli Sorgu, kümelerde kullanılabilir

Aşağıdaki tabloda, Otomatik Ölçeklendirme özelliğiyle uyumlu küme türleri ve sürümleri açıklanmaktadır.

Sürüm	Kıvılcım	Kovan	Etkileşimli Sorgu	HBase	Kafka
ESP olmadan HDInsight 5.1	Evet	Evet	Evet*	Hayır	Hayır
ESP ile HDInsight 5.1	Evet	Evet	Evet*	Hayır	Hayır

Not

Etkileşimli Sorgu kümeleri yalnızca zamanlama tabanlı ölçeklendirme için yapılandırılabilir. Yük tabanlı Otomatik Ölçeklendirme desteklenmez.

Kullanmaya başlayın

Yük tabanlı Otomatik Ölçeklendirme ile küme oluşturma

Yük tabanlı ölçeklendirme ile Otomatik Ölçeklendirme özelliğini etkinleştirmek için, normal küme oluşturma işleminin bir parçası olarak aşağıdaki adımları tamamlayın:

1. Yapılandırma + fiyatlandırma sekmesinde onay kutusunu seçinEnable autoscale.

2. Yük tabanlı seçeneğini Otomatik ölçeklendirme türü altında seçin.

3. Aşağıdaki özellikler için istenen değerleri girin:

   • Çalışan düğümü için ilk düğüm sayısı.
   • En az işçi düğümü sayısı.
   • Çalışan düğüm sayısının en yüksek değeri.

   

İlk çalışan düğümü sayısı, en düşük ve en yüksek düğüm (dahil) arasında olmalıdır. Bu değer, küme oluşturulduğunda ilk boyutunu tanımlar. En az çalışan düğümü sayısı üç veya daha fazla olarak ayarlanmalıdır. Kümenizin üçten az düğüme ölçeklenmesi, yetersiz dosya çoğaltması nedeniyle güvenli modda takılmasına neden olabilir. Daha fazla bilgi için Güvenli modda takılma konusuna bakın.

Zamanlama tabanlı Otomatik Ölçeklendirme ile küme oluşturma

Zamanlama tabanlı ölçeklendirme ile Otomatik Ölçeklendirme özelliğini etkinleştirmek için, normal küme oluşturma işleminin bir parçası olarak aşağıdaki adımları tamamlayın:

1. Yapılandırma + fiyatlandırma sekmesinde onay kutusunu işaretleyinEnable autoscale.

2. "Çalışan düğümü için Düğüm sayısını girin, bu, kümenin ölçek büyütme sınırını denetler."

3. Otomatik ölçeklendirme türü altında Zamanlama tabanlı seçeneğini belirleyin.

4. Otomatik ölçeklendirme yapılandırma penceresini açmak için Yapılandır'ı seçin.

5. Saat diliminizi seçin ve + Koşul ekle'ye tıklayın

6. Yeni koşulun uygulanacağı haftanın günlerini seçin.

7. Koşulun geçerlilik süresini ve kümenin ölçeklendirilmesi gereken düğüm sayısını düzenleyin.

8. Gerekirse daha fazla koşul ekleyin.

   

Koşulları eklemeden önce girdiğiniz maksimum çalışan düğüm sayısı ile 3 arasında bir düğüm sayısı olmalıdır.

Son oluşturma adımları

Düğüm boyutu altındaki açılan listeden bir VM seçerek çalışan düğümleri için VM türünü seçin. Her düğüm türü için VM türünü seçtikten sonra kümenin tamamı için tahmini maliyet aralığını görebilirsiniz. VM türlerini bütçenize uyacak şekilde ayarlayın.

Aboneliğinizin her bölge için bir kapasite kotası vardır. Baş düğümlerinizin toplam çekirdek sayısı ve en fazla çalışan düğümü sayısı kapasite kotasını aşamaz. Ancak bu kota geçici bir sınırdır; kolayca artırmak için istediğiniz zaman bir destek bileti oluşturabilirsiniz.

Not

Toplam çekirdek kota sınırını aşarsanız ,'Maksimum düğüm bu bölgedeki kullanılabilir çekirdekleri aştı, lütfen başka bir bölge seçin veya kotayı artırmak için desteğe başvurun' hata iletisi alırsınız.

Azure portalını kullanarak HDInsight kümesi oluşturma hakkında daha fazla bilgi için bkz . Azure portalını kullanarak HDInsight'ta Linux tabanlı kümeler oluşturma.

Resource Manager şablonuyla küme oluşturma

Yük tabanlı otomatik ölçeklendirme

Azure Resource Manager şablonunda yük tabanlı Otomatik Ölçeklendirme ile bir HDInsight kümesi oluşturmak için, json kod parçacığında gösterildiği gibi, autoscale düğümünü computeProfile>workernode bölümüne minInstanceCount ve maxInstanceCount özellikleriyle ekleyebilirsiniz. Eksiksiz bir Resource Manager şablonu için, Hızlı Başlangıç şablonu: Yük tabanlı otomatik ölçeklendirme etkin Spark kümesi dağıtımı kısmına bakın.

{
  "name": "workernode",
  "targetInstanceCount": 4,
  "autoscale": {
      "capacity": {
          "minInstanceCount": 3,
          "maxInstanceCount": 10
      }
  },
  "hardwareProfile": {
      "vmSize": "Standard_D13_V2"
  },
  "osProfile": {
      "linuxOperatingSystemProfile": {
          "username": "[parameters('sshUserName')]",
          "password": "[parameters('sshPassword')]"
      }
  },
  "virtualNetworkProfile": null,
  "scriptActions": []
}

Zamanlama tabanlı otomatik ölçeklendirme

Azure Resource Manager şablonunu kullanarak zamanlamaya dayalı Otomatik Ölçeklendirme ile bir HDInsight kümesi oluşturmak için autoscalecomputeProfile>workernode bölümüne bir düğüm ekleyebilirsiniz. Düğüm, bir autoscale içerir; bu recurrence, bir timezone ve değişikliğin ne zaman gerçekleştiğini açıklayan bir schedule içerir. Eksiksiz bir Resource Manager şablonu için bkz Zamanlama Tabanlı Otomatik Ölçeklendirme Etkinleştirilmiş Spark Kümesi Dağıtma.

{
  "autoscale": {
    "recurrence": {
      "timeZone": "Pacific Standard Time",
      "schedule": [
        {
          "days": [
            "Monday",
            "Tuesday",
            "Wednesday",
            "Thursday",
            "Friday"
          ],
          "timeAndCapacity": {
            "time": "11:00",
            "minInstanceCount": 10,
            "maxInstanceCount": 10
          }
        }
      ]
    }
  },
  "name": "workernode",
  "targetInstanceCount": 4
}

Çalışan bir küme için Otomatik Ölçeklendirme'yi etkinleştirme ve devre dışı bırakma

Azure portalını kullanma

Çalışan bir kümede Otomatik Ölçeklendirme'yi etkinleştirmek için Ayarlar'ın altında Küme boyutu'nu seçin. Ardından Enable autoscale seçeneğini seçin. İstediğiniz Otomatik Ölçeklendirme türünü seçin ve yük tabanlı veya zamanlama tabanlı ölçeklendirme seçeneklerini girin. Son olarak Kaydet’i seçin.

REST API’yi kullanma

REST API kullanarak çalışan bir kümede Otomatik Ölçeklendirme'yi etkinleştirmek veya devre dışı bırakmak için Otomatik Ölçeklendirme uç noktasına bir POST isteği gönderin:

https://management.azure.com/subscriptions/{subscription Id}/resourceGroups/{resourceGroup Name}/providers/Microsoft.HDInsight/clusters/{CLUSTERNAME}/roles/workernode/autoscale?api-version=2018-06-01-preview

İstek yükünde uygun parametreleri kullanın. için aşağıdaki json yükü kullanılabilir enable Autoscale. Otomatik Ölçeklendirmeyi devre dışı bırakmak için {autoscale: null} yükünü kullanın.

{ "autoscale": { "capacity": { "minInstanceCount": 3, "maxInstanceCount": 5 } } }

Tüm yük parametrelerinin tam açıklaması için yük tabanlı otomatik ölçeklendirmeyi etkinleştirme ile ilgili önceki bölüme bakın. Çalışan bir kümede otomatik ölçeklendirme hizmetinin zorla devre dışı bırakılması önerilmez.

Otomatik Ölçeklendirme etkinliklerini izleme

Küme durumu

Azure portalında listelenen küme durumu, Otomatik Ölçeklendirme etkinliklerini izlemenize yardımcı olabilir.

Görebileceğiniz tüm küme durum iletileri aşağıdaki listede açıklanmıştır.

Küme durumu	Açıklama
Koşma	Küme normal şekilde çalışıyor. Önceki tüm Otomatik Ölçeklendirme etkinlikleri başarıyla tamamlandı.
Güncelleştirme	Küme Otomatik Ölçeklendirme yapılandırması güncelleştiriliyor.
HDInsight yapılandırması	Küme ölçeğini artırma veya azaltma işlemi devam ediyor.
Güncelleştirme Hatası	HDInsight, Otomatik Ölçeklendirme yapılandırma güncelleştirmesi sırasında sorunlarla karşılaştı. Müşteriler güncelleştirmeyi yeniden deneyebilir veya otomatik ölçeklendirmeyi devre dışı bırakabilir.
Hata	Kümede bir sorun var ve kullanılabilir değil. Bu kümeyi silin ve yeni bir küme oluşturun.

Kümenizdeki geçerli düğüm sayısını görüntülemek için kümenizin Genel Bakış sayfasındaki Küme boyutu grafiğine gidin. İsterseniz Ayarlar'ın altında Küme boyutu'nu da seçebilirsiniz.

İşlem geçmişi

Küme ölçümlerinin bir parçası olarak küme ölçeğini artırma ve ölçeği azaltma geçmişini görüntüleyebilirsiniz. Ayrıca, son gün, hafta veya başka bir zaman aralığındaki tüm ölçeklendirme eylemlerini listeleyebilirsiniz.

İzleme'nin altında Ölçümler'i seçin. Ardından Ölçüm ekle ve Etkin Çalışan Sayısı öğelerini Ölçüm açılan kutusundan seçin. Zaman aralığını değiştirmek için sağ üstteki düğmeyi seçin.

En iyi yöntemler

Ölçeği artırma ve azaltma işlemlerinin gecikme süresini göz önünde bulundurun

Genel ölçeklendirme işleminin tamamlanması 10-20 dakika sürebilir. Özelleştirilmiş bir zamanlama ayarlarken bu gecikmeyi planlayın. Örneğin, küme boyutunun 09:00'da 20 olması gerekiyorsa, ölçeklendirme işleminin 09:00'a kadar tamamlanması için zamanlama tetikleyicisini 08:30 veya daha önceki bir saate ayarlayın.

Ölçeği azaltmaya hazırlan

Küme küçültme işlemi sırasında, Otomatik Ölçeklendirme hedef boyuta ulaşmak için düğümleri devre dışı bırakır. Yük tabanlı otomatik ölçeklendirmede görevler bu düğümlerde çalışıyorsa Otomatik Ölçeklendirme, Spark ve Hadoop kümeleri için görevler tamamlanana kadar bekler. Her çalışan düğümü HDFS'de de bir rol üstlendiğinden, geçici veriler kalan çalışan düğümlerine kaydırılır. Tüm geçici verileri barındırmak için kalan düğümlerde yeterli alan olduğundan emin olun.

Not

Zamanlamaya dayalı Otomatik Ölçeklendirme küçültmesi durumunda, sorunsuz kullanımdan çıkarma desteklenmez. Bu, ölçeği azaltma işlemi sırasında iş hatalarına neden olabilir ve devam eden işlerin sonuçlandırılması için yeterli zamanı içerecek şekilde beklenen iş zamanlaması desenlerine göre zamanlamaların planlanması önerilir. İş hatalarını önlemek için, tamamlanma sürelerinin geçmişe yayılmasına bakarak zamanlamaları ayarlayabilirsiniz.

Kullanım deseni temelinde zamanlama tabanlı Otomatik Ölçeklendirme'yi yapılandırma

Zamanlama tabanlı Otomatik Ölçeklendirmeyi yapılandırırken küme kullanım düzeninizi anlamanız gerekir. Grafana panosu , sorgu yükünüzü ve yürütme yuvalarınızı anlamanıza yardımcı olabilir. Kullanılabilir yürütücü yuvalarını ve toplam yürütücü yuvalarını panodan alabilirsiniz.

Kaç çalışan düğümüne ihtiyaç duyulduğunu tahmin etmenin bir yolu aşağıdadır. İş yükünün değişkenliğini karşılamak için %10 ek pay vermenizi öneririz.

Kullanılan yürütücü yuvalarının sayısı = Toplam yürütücü yuvaları – Toplam kullanılabilir yürütücü yuvaları.

Gerekli çalışan düğüm sayısı = Gerçekten kullanılan yürütücü slotlarının sayısı / (hive.llap.daemon.num.executors + hive.llap.daemon.task.scheduler.wait.queue.size).

*hive.llap.daemon.num.executors yapılandırılabilir ve varsayılan değer 4'dür.

*hive.llap.daemon.task.scheduler.wait.queue.size yapılandırılabilir ve varsayılan değer 10'dur.

Özel Betik Eylemleri

Özel Betik Eylemleri çoğunlukla düğümleri (HeadNode / WorkerNodes) özelleştirmek için kullanılır ve bu da müşterilerimizin kendileri tarafından kullanılan belirli kitaplıkları ve araçları yapılandırmasına olanak tanır. Yaygın kullanım örneklerinden biri, kümede çalışan işlerin, Müşteriye ait olan üçüncü taraf kitaplığında bazı bağımlılıkları olabilir ve işin başarılı olması için düğümlerde kullanılabilir olması gerekir. Otomatik Ölçeklendirme için şu anda kalıcı olan özel betik eylemlerini destekliyoruz. Bu nedenle, ölçek artırma işleminin bir parçası olarak kümeye her yeni düğüm eklendiğinde, bu kalıcı betik eylemleri yürütülür ve ardından kapsayıcılar veya işler bu düğümlere atanır. Yeni düğümleri önyüklemeye özel betik işlemlerine sahip olmak yardımcı olsa da, bunun toplam ölçek genişlemesi gecikmesine katkıda bulunabileceği ve zamanlanmış işleri etkileyebileceği için en az seviyede tutmanız önerilir.

En düşük küme boyutuna dikkat edin

Kümenizin ölçeğini üçten az düğüme düşürmeyin. Kümenizin üçten az düğüme ölçeklenmesi, yetersiz dosya çoğaltması nedeniyle güvenli modda takılmasına neden olabilir. Daha fazla bilgi için bkz . Güvenli modda takılma.

Microsoft Entra Domain Services ve Ölçeklendirme İşlemleri

Microsoft Entra Domain Services yönetiminde olan bir etki alanına katılmış Kurumsal Güvenlik Paketi (ESP) ile HDInsight kümesi kullanıyorsanız, Microsoft Entra Domain Services üzerindeki yükü sınırlamanızı öneririz. Karmaşık dizin yapılarında kapsamlı eşitlemede ölçeklendirme işlemlerine etkisinden kaçınmanızı öneririz.

Yoğun kullanım senaryosu için Hive yapılandırmasını En Fazla Toplam Eşzamanlı Sorgu sayısı olarak ayarlayın

Otomatik ölçeklendirme olayları Ambari'de Hive yapılandırmasını En Fazla Toplam Eşzamanlı Sorgu sayısı olarak değiştirmez. Bu, Hive Server 2 Etkileşimli Hizmeti'nin, Etkileşimli Sorgu daemon sayısı yük ve zamanlamaya göre ölçeği artırılıp azaltılmış olsa bile herhangi bir noktada yalnızca belirli sayıda eşzamanlı sorguyu işleyebileceği anlamına gelir. Genel öneri, el ile müdahaleyi önlemek için en yüksek kullanım senaryosu için bu yapılandırmayı ayarlamaktır.

Ancak, yalnızca birkaç çalışan düğümü varsa ve toplam eşzamanlı sorgu sayısı üst sınırı çok yüksek yapılandırıldıysa Hive Server 2 yeniden başlatma hatasıyla karşılaşabilirsiniz. En azından, belirtilen Tez Ams sayıda çalışan düğümüne (Toplam Eşzamanlı Sorgu Sayısı yapılandırmasına eşittir) sığabilecek en az sayıda çalışan düğümüne ihtiyacınız vardır.

Sınırlamalar

Etkileşimli Sorgu Daemon sayısı

Otomatik ölçeklendirme özelliği etkin Etkileşimli Sorgu kümeleri varsa, otomatik ölçeklendirme yukarı/aşağı olayı da Etkileşimli Sorgu daemon'larının sayısını etkin çalışan düğümlerinin sayısına kadar artırır/küçültür. Daemon sayısındaki değişiklik Ambari'deki yapılandırmada num_llap_nodes kalıcı değildir. Hive hizmetleri el ile yeniden başlatılırsa, Ambari'deki yapılandırmaya göre Etkileşimli Sorgu daemon'larının sayısı sıfırlanır.

Etkileşimli Sorgu hizmeti manuel olarak yeniden başlatılırsa, num_llap_node altındaki yapılandırmayı (Hive Etkileşimli Sorgu daemoni için gereken düğüm sayısı) güncel etkin çalışan düğüm sayısıyla eşleşecek biçimde manuel olarak değiştirmeniz gerekir. Etkileşimli Sorgu Kümesi yalnızca Zamanlama Tabanlı Otomatik Ölçeklendirmeyi destekler.

Alternatifler

1. Geliştiricilerin küme ölçeği azaltılmadan önce iş hatalarında hata ayıklama fırsatına sahip olması için zamanlama tabanlı otomatik ölçeklendirme iş akışını kullanın.
2. Azure CLI'da "yarn logs" komutunu kullanın.
3. Azure Depolama hesabındaki Tfile biçimli günlükleri düz metne çevirmek için açık kaynak dönüştürücü kullanın.

Sonraki adımlar

Kümeleri el ile ölçeklendirme yönergeleri hakkında bilgi için bkz. Ölçeklendirme yönergeleri.