Azure HDInsight için sanal ağ planlama

Bu makalede Azure HDInsight ile Azure Sanal Ağ(VNet) kullanma hakkında arka plan bilgileri sağlanır. Ayrıca, HDInsight kümeniz için bir sanal ağ uygulayabilmeniz için önce alınması gereken tasarım ve uygulama kararlarını da açıklar. Planlama aşaması tamamlandıktan sonra Azure HDInsight kümeleri için sanal ağlar oluşturma bölümüne geçebilirsiniz. Ağ güvenlik gruplarını (NSG) ve kullanıcı tanımlı yolları düzgün yapılandırmak için gereken HDInsight yönetim IP adresleri hakkında daha fazla bilgi için bkz . HDInsight yönetim IP adresleri.

Önemli

HDInsight küme etki alanları (*.azurehdinsight.net) için TLS sertifika sağlayıcısı, Güvenlik ekibi tarafından periyodik olarak güncellenir. Giden sanal ağ/güvenlik duvarı ayarları kısıtlanmış müşteriler, istemcinin yeni sertifika zincirini doğrulayamaması durumunda ağ geçidi isteği veya küme oluşturma hataları yaşayabilir.

Üç koşul da doğruysa etkilenirsiniz:

  1. İstemciniz küme TLS sertifikasının tam zincir doğrulamasını gerçekleştirir
  2. Yeni ara sertifika zaten istemcinin güvenilen deposunda değil
  3. Güvenlik duvarınız sertifikayı indirmek için giden erişimi engeller

Hafifletme: Azure Sertifika Yetkilisi ayrıntılarında listelenen etki alanlarına (HTTP/bağlantı noktası 80) giden erişime izin verilmesi — Sertifika indirmeleri ve iptal listeleri. Bunun yapılmaması, mevcut kümelerde ağ geçidi isteği hatalarına ve yeni kümeler için küme oluşturma hatalarına neden olur.

Azure Sanal Ağ kullanmak aşağıdaki senaryoları etkinleştirir:

  • HDInsight'a doğrudan şirket içi ağdan bağlanma.
  • HDInsight'ı Azure Sanal ağındaki veri depolarına bağlama.
  • İnternet üzerinden genel kullanıma açık olmayan Apache Hadoop hizmetlerine doğrudan erişme. Örneğin, Apache Kafka API'leri veya Apache HBase Java API'leri.

Önemli

Sanal ağda HDInsight kümesi oluşturmak, NIC'ler ve yük dengeleyiciler gibi çeşitli ağ kaynakları oluşturur. Bu ağ kaynaklarını silmeyin veya değiştirmeyin, çünkü kümenizin VNET ile düzgün çalışması için gereklidir.

Planlama

HdInsight'ı bir sanal ağa yüklemeyi planlarken yanıtlamanız gereken sorular şunlardır:

  • HDInsight'ı mevcut bir sanal ağa yüklemeniz gerekiyor mu? Yoksa yeni bir ağ mı oluşturuyorsunuz?

    Mevcut bir sanal ağ kullanıyorsanız HDInsight'ı yükleyebilmek için önce ağ yapılandırmasını değiştirmeniz gerekebilir. Daha fazla bilgi için mevcut bir sanal ağa eklenen HDInsight bölümüne bakın.

  • HDInsight içeren sanal ağı başka bir sanal ağa mı yoksa şirket içi ağınıza mı bağlamak istiyorsunuz?

    Ağlardaki kaynaklarla kolayca çalışmak için özel bir DNS oluşturmanız ve DNS iletmeyi yapılandırmanız gerekebilir. Daha fazla bilgi için birden çok ağı bağlama bölümüne bakın.

  • Gelen veya giden trafiği HDInsight'a kısıtlamak/yeniden yönlendirmek istiyor musunuz?

    HDInsight'ın Azure veri merkezindeki belirli IP adresleriyle sınırsız iletişimi olmalıdır. İstemci iletişimi için güvenlik duvarları üzerinden izin verilen birkaç bağlantı noktası da vardır. Daha fazla bilgi için bkz . Ağ trafiğini denetleme.

Mevcut bir sanal ağa HDInsight ekleme

Mevcut bir Azure Sanal Ağına yeni bir HDInsight eklemek için bu bölümdeki adımları kullanın.

Not

  • Var olan bir HDInsight kümesini sanal ağa ekleyemezsiniz.
  • Oluşturulan sanal ağ ve küme aynı abonelikte olmalıdır.

  1. Sanal ağ için klasik mi yoksa Resource Manager dağıtım modeli mi kullanıyorsunuz?

    HDInsight 3.4 ve üzeri bir Resource Manager sanal ağı gerektirir. HDInsight'ın önceki sürümlerinde klasik bir sanal ağ gerekiyordu.

    Mevcut ağınız klasik bir sanal ağsa, bir Resource Manager sanal ağı oluşturmanız ve ardından ikisini bağlamanız gerekir. Klasik sanal ağları yeni sanal ağlara bağlama.

    Katıldıktan sonra Resource Manager ağına yüklenen HDInsight, klasik ağdaki kaynaklarla etkileşim kurabilir.

  2. Sanal ağa gelen veya giden trafiği kısıtlamak için ağ güvenlik gruplarını, kullanıcı tanımlı yolları veya Sanal Ağ Gereçleri kullanıyor musunuz?

    Yönetilen hizmet olarak HDInsight, Azure veri merkezindeki çeşitli IP adreslerine sınırsız erişim gerektirir. Bu IP adresleriyle iletişime izin vermek için mevcut ağ güvenlik gruplarını veya kullanıcı tanımlı yolları güncelleştirin.

    HDInsight, çeşitli bağlantı noktaları kullanan birden çok hizmeti barındırıyor. Bu bağlantı noktalarına gelen trafiği engellemeyin. Sanal gerecin güvenlik duvarları aracılığıyla izin verecek bağlantı noktalarının listesi için Güvenlik bölümüne bakın.

    Mevcut güvenlik yapılandırmanızı bulmak için aşağıdaki Azure PowerShell veya Azure CLI komutlarını kullanın:

    • Ağ güvenlik grupları

      RESOURCEGROUP değerini, sanal ağı içeren kaynak grubunun adıyla değiştirin ve ardından komutu girin:

      Get-AzNetworkSecurityGroup -ResourceGroupName  "RESOURCEGROUP"

      az network nsg list --resource-group RESOURCEGROUP

      Daha fazla bilgi için bkz . Ağ güvenlik gruplarıyla ilgili sorunları giderme belgesi.

      Önemli

      Ağ güvenlik grubu kuralları, kural önceliğine göre sırayla uygulanır. Trafik düzeniyle eşleşen ilk kural uygulanır ve bu trafik için başka kural uygulanmaz. En izinliden en sıkıya doğru kuralları düzenle. Daha fazla bilgi için Ağ trafiğini ağ güvenlik gruplarıyla filtreleme belgesine bakın.

    • Kullanıcı tanımlı yollar

      RESOURCEGROUP değerini, sanal ağı içeren kaynak grubunun adıyla değiştirin ve ardından komutu girin:

      Get-AzRouteTable -ResourceGroupName "RESOURCEGROUP"

      az network route-table list --resource-group RESOURCEGROUP

      Daha fazla bilgi için Sanal makine yönlendirme sorununu tanılama belgesine bakın.

  3. HDInsight kümesi oluşturun ve yapılandırma sırasında Azure Sanal Ağ seçin. Küme oluşturma işlemini anlamak için aşağıdaki belgelerdeki adımları kullanın:

    Önemli

    Sanal ağa HDInsight eklemek isteğe bağlı bir yapılandırma adımıdır. Kümeyi yapılandırırken sanal ağı seçtiğinizden emin olun.

Birden çok ağı bağlama

Çok ağlı yapılandırmada en büyük zorluk, ağlar arasındaki ad çözümlemedir.

Azure, bir sanal ağa yüklenen Azure hizmetleri için ad çözümlemesi sağlar. Bu önceden tanımlanmış ad çözümlemesi, HDInsight'ın tam etki alanı adı (FQDN) kullanarak aşağıdaki kaynaklarla bağlantı kurmasına olanak tanır.

  • İnternet'te bulunan tüm kaynaklar. Örneğin, microsoft.com, windowsupdate.com.

  • Aynı Azure Sanal Ağda bulunan herhangi bir kaynak, kaynağın iç DNS adını kullanarak. Örneğin, varsayılan ad çözümlemesini kullanırken, HDInsight çalışan düğümlerine atanan iç DNS adlarına örnekler aşağıda verilmiştir:

    • <workername1.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net>

    • <workername2.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net>

      Bu düğümlerin her ikisi de iç DNS adlarını kullanarak birbirleriyle ve HDInsight'taki diğer düğümlerle doğrudan iletişim kurabilir.

Varsayılan ad çözümlemesi, HDInsight'ın sanal ağa katılmış ağlardaki kaynakların adlarını çözümlemesine izin vermez. Örneğin, şirket içi ağınızı sanal ağa eklemek yaygın bir durum olabilir. HDInsight, yalnızca varsayılan ad çözümlemesiyle şirket içi ağdaki kaynaklara isimle erişemez. Şirket içi ağınızdaki kaynakların sanal ağdaki kaynaklara isimleriyle erişememesi de aynı şekilde geçerlidir.

Uyarı

HDInsight kümesini oluşturmadan önce özel DNS sunucusu oluşturmanız ve sanal ağı kullanacak şekilde yapılandırmanız gerekir.

Sanal ağ ile birleştirilmiş ağlardaki kaynaklar arasında ad çözümlemesini etkinleştirmek için aşağıdaki eylemleri gerçekleştirmeniz gerekir:

  1. HDInsight'ı yüklemeyi planladığınız Azure Sanal Ağ özel bir DNS sunucusu oluşturun.

  2. Sanal ağı özel DNS sunucusunu kullanacak şekilde yapılandırın.

  3. Sanal ağınız için Azure tarafından atanan DNS son ekini bulun. Bu değer ile 0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.netbenzerdir. DNS sonekini bulma hakkında bilgi için Örnek: Özel DNS bölümüne bakın.

  4. DNS sunucuları arasında iletmeyi yapılandırın. Yapılandırma, uzak ağın türüne bağlıdır.

    • Uzak ağ bir şirket içi ağsa DNS'yi aşağıdaki gibi yapılandırın:

      • Özel DNS (sanal ağda):

        • Sanal ağın DNS soneki için istekleri Azure özyinelemeli çözümleyiciye (168.63.129.16) iletin. Azure, sanal ağdaki kaynaklar için istekleri işler

        • Diğer tüm istekleri şirket içi DNS sunucusuna iletin. Şirket içi DNS, diğer tüm ad çözümleme isteklerini, hatta Microsoft.com gibi internet kaynaklarına yönelik istekleri bile işler.

      • Şirket içi DNS: Sanal ağ DNS soneki için istekleri özel DNS sunucusuna iletin. Özel DNS sunucusu daha sonra Azure özyinelemeli çözümleyicisine iletir.

        Bu yapılandırma, sanal ağın DNS sonekini içeren tam etki alanı adları için istekleri özel DNS sunucusuna yönlendirir. Diğer tüm istekler (genel İnternet adresleri için bile) şirket içi DNS sunucusu tarafından işlenir.

    • Uzak ağ başka bir Azure Sanal Ağ ise DNS'yi aşağıdaki gibi yapılandırın:

      • Özel DNS (her sanal ağda):

        • Sanal ağların DNS soneki istekleri özel DNS sunucularına iletilir. Her sanal ağdaki DNS, kendi ağındaki kaynakları çözümlemekle sorumludur.

        • Diğer tüm istekleri Azure özyinelemeli çözümleyicisine iletin. Özyinelemeli çözümleyici, yerel ve İnternet kaynaklarının çözümlenmesinden sorumludur.

        Her ağ için DNS sunucusu, DNS sonekini temel alarak istekleri diğerine iletir. Diğer istekler Azure özyinelemeli çözümleyici kullanılarak çözülür.

      Her yapılandırma örneği için Örnek: Özel DNS bölümüne bakın.

Daha fazla bilgi için VM'ler ve Rol Örnekleri için Ad Çözümlemesi belgesine bakın.

Apache Hadoop hizmetlerine doğrudan bağlanma

adresinden kümeye https://CLUSTERNAME.azurehdinsight.netbağlanabilirsiniz. Bu adres, İnternet'ten gelen trafiği kısıtlamak için NSG'leri kullandıysanız erişilemeyen bir genel IP kullanır. Ayrıca, kümeyi bir sanal ağa dağıttığınızda özel uç noktasını https://CLUSTERNAME-int.azurehdinsight.netkullanarak kümeye erişebilirsiniz. Bu bağlantı noktası, küme erişimi için sanal ağ içinde özel bir IP adresine gider.

Sanal ağ üzerinden Apache Ambari'ye ve diğer web sayfalarına bağlanmak için aşağıdaki adımları kullanın:

  1. HDInsight küme düğümlerinin iç tam etki alanı adlarını (FQDN) bulmak için aşağıdaki yöntemlerden birini kullanın:

    RESOURCEGROUP değerini, sanal ağı içeren kaynak grubunun adıyla değiştirin ve ardından komutu girin:

    $clusterNICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP" | where-object {$_.Name -like "*node*"}

$nodes = @()
foreach($nic in $clusterNICs) {
    $node = new-object System.Object
    $node | add-member -MemberType NoteProperty -name "Type" -value $nic.Name.Split('-')[1]
    $node | add-member -MemberType NoteProperty -name "InternalIP" -value $nic.IpConfigurations.PrivateIpAddress
    $node | add-member -MemberType NoteProperty -name "InternalFQDN" -value $nic.DnsSettings.InternalFqdn
    $nodes += $node
}
$nodes | sort-object Type

    az network nic list --resource-group RESOURCEGROUP --output table --query "[?contains(name, 'node')].{NICname:name,InternalIP:ipConfigurations[0].privateIpAddress,InternalFQDN:dnsSettings.internalFqdn}"

    Döndürülen düğümler listesinde ana düğümler için FQDN'yi bulun ve FQDN'leri kullanarak Ambari'ye ve diğer web hizmetlerine bağlanın. Örneğin Ambari'ye erişmek için kullanın http://<headnode-fqdn>:8080 .

    Önemli

    Baş düğümlerde barındırılan bazı hizmetler aynı anda yalnızca bir düğümde etkindir. Bir baş düğüm üzerinden bir hizmete erişmeye çalıştığınızda ve 404 hatası alırsanız, diğer baş düğüme geçin.

  2. Bir hizmetin kullanılabilir olduğu düğümü ve bağlantı noktasını belirlemek için HDInsight üzerinde Hadoop hizmetleri tarafından kullanılan bağlantı noktaları belgesine bakın.

Yük dengeleme

HDInsight kümesi oluşturduğunuzda, birkaç yük dengeleyici de oluşturulur. Temel yük dengeleyicinin kullanımdan kaldırılması nedeniyle, yük dengeleyicilerin türü belirli kısıtlamaları olan standart SKU düzeyindedir. Standart yük dengeleyicilere gelen akışlar, bir ağ güvenlik grubu tarafından izin verilmediği sürece kapatılır. Bir ağ güvenliğini alt ağınıza bağlamanız ve ağ güvenlik kurallarını yapılandırmanız gerekebilir.

Standart yük dengeleyici için etkinleştirilmiş birkaç giden bağlantı yöntemi vardır. Varsayılan giden erişimin yakında kullanımdan kaldırılacağını belirtmek gerekir. Giden ağ erişimi sağlamak için bir NAT ağ geçidi benimsenirse, alt ağ temel yük dengeleyiciye sahip değildir. Bir NAT ağ geçidini bir alt ağa bağlamayı planlıyorsanız, bu alt ağda temel yük dengeleyici bulunmamalıdır. Nat ağ geçidi giden erişim yöntemi olarak kullanıldığında, yeni oluşturulan bir HDInsight kümesi, temel yük dengeleyicilerle önceden oluşturulmuş HDInsight kümeleriyle aynı alt ağı paylaşamaz.

Bir diğer kısıtlama da HDInsight yük dengeleyicilerinin silinmemesi veya değiştirilmemesidir. Belirli bakım işlemleri, örneğin sertifika yenilemeleri sırasında, yük dengeleyici kurallarında yapılan tüm değişiklikler geçersiz kılınır. Yük dengeleyiciler değiştirilirse ve küme işlevselliğini etkilerse, kümeyi yeniden oluşturmanız gerekebilir.

Özel Sanal Ağ ile Azure HDInsight Kümesi Oluşturma: Özel Uç Nokta Gereksinimleri ve İlkeyle İlgili Önemli Noktalar

Genel Bakış

Özel bir sanal ağda (VNet) bir Azure HDInsight kümesi oluşturduğunuzda, HDInsight Kaynak Sağlayıcısının (RP) sanal ağınızın kaynak grubuna otomatik olarak yük dengeleyiciler, ağ arabirimleri, IP adresleri, özel uç noktalar gibi çeşitli ağ kaynaklarını dağıtması gerekir. Kümeyle birlikte Azure Depolama ve Azure SQL Veritabanları da (sağlanmadıysa) oluşturulur.

HDInsight'ta Özel Uç Noktaların Rolü

Özel Uç Noktalar, kümenizi Microsoft omurga ağı üzerinden Azure Depolama ve Azure SQL Veritabanları gibi Azure hizmetlerine özel ve güvenli bir şekilde bağlamak için kullanılır.

Özel Uç Nokta Oluşturma üzerinde İlke Etkisi

Kuruluşunuzda özel uç noktaların oluşturulmasını reddeden veya kaynak grubundaki Azure'da kiracılar arası özel uç nokta bağlantılarını sınırla belgesine göre kiracılar arası özel uç noktaoluşturulmasını reddeden Azure İlkeleri varsa HDInsight kümesi oluşturma başarısız olur. Bunun nedeni:

  • HDInsight RP gerekli özel uç nokta kaynaklarını oluşturamıyor.
  • Küme hata durumuna geçecektir.

Tipik Hata Senaryosu

Özel uç nokta oluşturma engellenirse, küme sağlama sırasında hatalar görebilirsiniz:

  • Özel Depolama Özel Uç Noktası Oluşturma Başarısız

En İyi Yöntemler ve Öneriler

HDInsight kümesinin bulunduğu abonelikte veya kaynak grubunda PE oluşturmaya izin vermek için Azure İlkesi'nde muafiyet oluşturun.

Sonraki adımlar

  • Last updated on