HDInsight kümeleri için kapasite planlaması

HDInsight kümesini dağıtmadan önce, gerekli performansı ve ölçeği belirleyerek hedeflenen küme kapasitesini planlayın. Bu planlama hem kullanılabilirliği hem de maliyetleri iyileştirmeye yardımcı olur. Bazı küme kapasitesi kararları dağıtımdan sonra değiştirilemez. Performans parametreleri değişirse küme, depolanan verileri kaybetmeden dağıtılabilir ve yeniden oluşturulabilir.

Kapasite planlaması için sorulacak başlıca sorular şunlardır:

• Kümenizi hangi coğrafi bölgede dağıtmanız gerekir?
• Ne kadar depolamaya ihtiyacınız var?
• Hangi küme türünü dağıtmanız gerekir?
• Küme düğümleriniz hangi sanal makine (VM) boyutunu ve türünü kullanmalıdır?
• Kümenizde kaç çalışan düğümü olmalıdır?

Azure bölgesi seçme

Azure bölgesi, kümenizin fiziksel olarak sağlandığı yeri belirler. Okuma ve yazma işlemlerinin gecikme süresini en aza indirmek için kümenin verilerinize yakın olması gerekir.

HDInsight birçok Azure bölgesinde kullanılabilir. En yakın bölgeyi bulmak için bkz. bölgeye göre kullanılabilir ürünler.

Depolama konumunu ve boyutunu seçme

Varsayılan depolamanın konumu

Azure Depolama hesabı veya Azure Data Lake Storage varsayılan depolama alanı kümenizle aynı konumda olmalıdır. Azure Depolama tüm konumlarda kullanılabilir. Data Lake Storage bazı bölgelerde kullanılabilir, mevcut Data Lake Storage kullanılabilirliğini görmek için bakın.

Mevcut verilerin konumu

Kümenizin varsayılan depolama alanı olarak mevcut bir depolama hesabını veya Data Lake Storage'ı kullanmak istiyorsanız, kümenizi aynı konuma dağıtmanız gerekir.

Depolama boyutu

Dağıtılan bir kümede başka bir Azure Depolama hesabı ekleyebilir veya diğer Data Lake Storage'a erişebilirsiniz. Tüm depolama hesaplarınızın kümenizle aynı konumda bulunması gerekir. Data Lake Storage farklı bir konumda olabilir, ancak çok uzaklıklar biraz gecikmeye neden olabilir.

Azure Depolama bazıkapasite sınırlarına sahipken Data Lake Storage neredeyse sınırsızdır. Küme, farklı depolama hesaplarının birleşimine erişebilir. Tipik örnekler şunlardır:

• Veri miktarının tek bir blob depolama kapsayıcısının depolama kapasitesini aşma olasılığı yüksek olduğunda.
• Blob kapsayıcısına erişim hızı, kısıtlamanın meydana gelebileceği eşiği aşabilir.
• Veri oluşturmak istediğinizde, kümenin kullanabileceği bir blob kapsayıcısına zaten yüklemişsinizdir.
• Depolamanın farklı bölümlerini güvenlik nedeniyle yalıtmak veya yönetimi basitleştirmek istediğinizde.

Daha iyi performans için depolama hesabı başına yalnızca bir kapsayıcı kullanın.

Küme türü seçme

Küme türü, HDInsight kümenizin çalışacak şekilde yapılandırıldığı iş yükünü belirler. Türler Apache Hadoop , Apache Kafkaveya Apache Sparkiçerir. Kullanılabilir küme türlerinin ayrıntılı açıklaması için bkz. azure HDInsight'a giriş . Her küme türünün, düğüm boyutu ve sayısı için gereksinimleri içeren belirli bir dağıtım topolojisi vardır.

VM boyutunu ve türünü seçin

Her küme türünün bir düğüm türü kümesi vardır ve her düğüm türünün vm boyutu ve türü için belirli seçenekleri vardır.

Uygulamanız için en uygun küme boyutunu belirlemek için küme kapasitesini karşılaştırmak ve belirtilen boyutu artırabilirsiniz. Örneğin, sanal bir iş yükü veya bir kanarya sorgusukullanabilirsiniz. Simülasyon iş yüklerinizi farklı boyut kümelerinde çalıştırın. Hedeflenen performansa ulaşılana kadar boyutu kademeli olarak artırın. Kümenin yeterli kaynağa sahip olup olmadığını göstermek için diğer üretim sorgularının arasına düzenli aralıklarla bir kanarya sorgusu eklenebilir.

İş yükünüz için doğru VM ailesini seçme hakkında daha fazla bilgi için bkz. Kümeniz için doğru VM boyutunu seçme.

Küme ölçeğini seçin

Bir kümenin ölçeği, VM düğümlerinin miktarına göre belirlenir. Tüm küme türleri için belirli bir ölçeğe sahip düğüm türleri ve ölçeği genişletmeyi destekleyen düğüm türleri vardır. Örneğin, bir küme tam olarak üç Apache ZooKeeper düğümü veya iki Head düğümü gerektirebilir. Dağıtılmış bir şekilde veri işleyen çalışan düğümler, başka çalışan düğümlerden yararlanır.

Kümenizin türüne bağlı olarak çalışan düğümlerinin sayısını artırmak daha fazla işlem kapasitesi (daha fazla çekirdek gibi) ekler. Daha fazla düğüm, işlenen verilerin bellek içi depolamasını desteklemek için kümenin tamamı için gereken toplam belleği artırır. VM boyutu ve türü seçiminde olduğu gibi, doğru küme ölçeğinin seçilmesine genellikle ampirik olarak ulaşılır. Sanal iş yüklerini veya kanarya sorgularını kullanın.

En yüksek yük taleplerini karşılamak için kümenizin ölçeğini genişletebilirsiniz. Daha sonra bu ek düğümlere artık gerek kalmadığında ölçeği yeniden azaltın. Otomatik Ölçeklendirme özelliği, kümenizi önceden belirlenmiş ölçümlere ve zamanlamalara göre otomatik olarak ölçeklendirmenizi sağlar. Kümelerinizi el ile ölçeklendirme hakkında daha fazla bilgi için bkz. HDInsight kümelerini ölçeklendirme.

Küme yaşam döngüsü

Bir kümenin kullanım ömrü için ücretlendirilirsiniz. Kümenize yalnızca belirli zamanlarda ihtiyacınız varsa Azure Data Factorykullanarak isteğe bağlı kümeler oluşturun. Ayrıca, kümenizi sağlayan ve silecek PowerShell betikleri oluşturabilir ve azure otomasyonu kullanarak bu betikleri zamanlayabilirsiniz.

Uyarı

Bir küme silindiğinde, varsayılan Hive meta veri deposu da silinir. Metadükkanı bir sonraki kümenin yeniden oluşturulması için kalıcı hale getirmek amacıyla, Azure Veritabanı veya Apache Ooziegibi harici bir metadata mağazası kullanın.

Küme işi hatalarını izole etme

Bazen birden çok eşlemenin paralel yürütülmesi ve çok düğümlü bir kümedeki bileşenlerin azaltılması nedeniyle hatalar oluşabilir. Sorunu yalıtmaya yardımcı olmak için dağıtılmış testi deneyin. Tek bir çalışan düğümü kümesinde eşzamanlı birden çok iş çalıştırın. Ardından, birden fazla düğüm içeren kümelerde birden çok işi eşzamanlı olarak çalıştırmak için bu yaklaşımı genişletin. Azure'da tek düğümlü bir HDInsight kümesi oluşturmak için Custom(size, settings, apps) seçeneğini kullanın ve portalda yeni bir küme sağlarken Küme boyutu bölümünde Çalışan düğümü sayısı için 1 değerini kullanın.

HDInsight için kota yönetimini görüntüleme

Vm ailesi düzeyinde kotanın ayrıntılı düzeyini ve kategorisini görüntüleyin. Geçerli kotayı ve vm ailesi düzeyinde bir bölge için kalan kotayı görüntüleyin.

Uyarı

Bu özellik şu anda Doğu ABD EUAP bölgesi için HDInsight 4.x ve 5.x'te kullanılabilir. Sonraki diğer bölgeler sırayla takip edecek.

1. Geçerli kotayı görüntüle:

   Vm ailesi düzeyinde bir bölge için geçerli kotaya ve kalan kota miktarına bakın.

   1. Azure portalında üstteki arama çubuğunda Kotalaröğesini arayın ve seçin.

   2. Kota sayfasında Azure HDInsight seçeneğini belirleyin

      

   3. Açılan kutudan Abonelik ve Bölge seçin

      

      kotanın nasıl görüntülenip yönetileceğini gösteren ekran görüntüsü

2. VM ailesi ve bölgesi başına yeni kotalar isteme

   1. Kota ayrıntılarını görüntülemek istediğiniz satıra tıklayın.

   kota ayrıntılarını gösteren ekran görüntüsü

Kotalar

Abonelik kotalarını yönetme hakkında daha fazla bilgi için bkz. Kota artışı isteme.

Sonraki adımlar

• Apache Hadoop, Spark, Kafka ve daha fazlası ile HDInsight'ta kümeleri ayarlama: HDInsight'ta kümeleri ayarlamayı ve yapılandırmayı öğrenin.
• Küme performansını izleme: HDInsight kümenizin kapasitesini etkileyebilecek temel senaryolar hakkında bilgi edinin.