Aracılığıyla paylaş

Azure HDInsight'ta kurumsal güvenlik genel bilgileri ve yönergeleri

  • Makale

Güvenli bir HDInsight kümesi dağıttığınızda, dağıtım ve küme yönetimini kolaylaştırması gereken bazı en iyi yöntemler vardır. Bazı genel bilgiler ve yönergeler burada ele alınılmaktadır.

Güvenli küme kullanımı

  • Küme aynı anda birden çok kullanıcı tarafından kullanılır.
  • Kullanıcıların aynı verilere farklı erişim düzeyleri vardır.

Gerekli değil

  • Yalnızca otomatik işleri (tek kullanıcı hesabı gibi) çalıştıracaksınız, standart bir küme yeterlidir.
  • Veri içeri aktarma işlemini standart bir küme kullanarak yapabilir ve kullanıcıların analiz işlerini çalıştırabileceği farklı bir güvenli kümede aynı depolama hesabını kullanabilirsiniz.

Yerel hesabın kullanımı

  • Paylaşılan bir kullanıcı hesabı veya yerel hesap kullanıyorsanız, yapılandırmayı veya hizmeti değiştirmek için hesabı kimin kullandığını belirlemek zor olacaktır.
  • Kullanıcılar artık kuruluşun parçası olmadığında yerel hesapların kullanılması sorunludur.

Ranger

İlkeler

  • Ranger varsayılan olarak ilke olarak Reddet'i kullanır.

  • Yetkilendirmenin etkinleştirildiği bir hizmet aracılığıyla veri erişimi yapıldığında:

    • Ranger yetkilendirme eklentisi çağrılır ve isteğin bağlamı verilir.
    • Ranger, hizmet için yapılandırılan ilkeleri uygular. Ranger ilkeleri başarısız olursa, erişim denetimi dosya sistemine ertelenmiş olur. MapReduce gibi bazı hizmetler yalnızca dosyanın/klasörün isteği gönderen aynı kullanıcıya ait olup olmadığını denetler. Hive gibi hizmetler, sahiplik eşleşmesini veya uygun dosya sistemi izinlerini (rwx) denetleyin.

  • Hive için Oluşturma / Güncelleştirme / Silme izinlerine sahip olmanın yanı sıra, kullanıcının depolama ve tüm alt dizinlerde dizin üzerinde izinleri olmalıdır rwx.

  • İlkeler kişiler yerine gruplara (tercih edilir) uygulanabilir.

  • Ranger yetkili, her istek için bu hizmet için tüm Ranger ilkelerini değerlendirir. Bu değerlendirmenin işi veya sorguyu kabul etme süresi üzerinde etkisi olabilir.

Depolama erişimi

  • Depolama türü WASB ise, OAuth belirteci dahil değildir.
  • Ranger yetkilendirmeyi gerçekleştirdiyse, depolama erişimi Yönetilen Kimlik kullanılarak gerçekleşir.
  • Ranger herhangi bir yetkilendirme gerçekleştirmediyse depolama erişimi kullanıcının OAuth belirtecini kullanarak gerçekleşir.

Hiyerarşik ad alanı

Hiyerarşik ad alanı etkin olmadığında:

  • Devralınan izin yok.
  • Yalnızca çalışan dosya sistemi izni, kullanıcıya doğrudan Azure portalında atanacak Depolama Verileri XXXX Azure rolüdür.

Varsayılan HDFS izinleri

  • Varsayılan olarak, kullanıcıların HDFS'deki klasöre / erişimi yoktur (erişimin başarılı olması için depolama blobu sahibi rolünde olmaları gerekir).
  • mapreduce ve diğerleri için hazırlama dizini için kullanıcıya özgü bir dizin oluşturulur ve izinler sağlanır sticky _wx . Kullanıcılar altında dosya ve klasör oluşturabilir, ancak diğer öğelere bakamaz.

URL kimlik doğrulaması

URL kimlik doğrulaması etkinleştirildiyse:

  • Yapılandırma, url kimlik doğrulamasında hangi ön eklerin kapsanacağını içerir (örneğin adl://).
  • Erişim bu URL içinse Ranger kullanıcının izin verilenler listesinde olup olmadığını denetler.
  • Ranger, ayrıntılı ilkelerin hiçbirini denetlemez.

Ranger denetim günlüklerini yönetme

Ranger denetim günlüklerinin hn0 baş düğümünüzün üzerinde çok fazla disk alanı tüketmesini önlemek için günlükleri tutmak için gün sayısını değiştirebilirsiniz.

  1. Ambari kullanıcı arabiriminde oturum açın.
  2. Services>Ranger>Configs>Advanced>Advanced ranger-solr-configuration konumuna gidin.
  3. 'En Fazla Bekletme Günü' değerini 7 gün veya daha kısa olarak değiştirin.
  4. Değişikliğin etkili olması için Etkilenen bileşenleri kaydet ve yeniden başlat'ı seçin.

Özel ranger db kullanma

Küme kullanılamıyor olsa bile ilkelerin kullanılabilir olmasını sağlayan Ranger meta verilerinin yüksek kullanılabilirliği için ESP kümenizle kullanmak üzere bir dış Ranger DB dağıtmanızı öneririz. Dış veritabanı müşteri tarafından yönetildiğinden, veritabanı boyutunu ayarlayabilir ve veritabanını birden çok ESP kümesi arasında paylaşabilirsiniz. AZURE portalı, Azure Resource Manager, Azure CLI vb. kullanarak ESP kümesi oluşturma işlemi sırasında dış Ranger VERITABANınızı belirtebilirsiniz.

Ranger kullanıcı eşitlemesini günlük çalışacak şekilde ayarlama

HDInsight ESP kümeleri, AD kullanıcılarını saatte bir otomatik olarak eşitlemek üzere Ranger için yapılandırılır. Ranger eşitlemesi bir kullanıcı eşitlemesidir ve AD örneğinde ek yüke neden olabilir. Bu nedenle Ranger kullanıcı eşitleme aralığını 24 saat olarak değiştirmenizi öneririz.

  1. Ambari kullanıcı arabiriminde oturum açın.
  2. Services>Ranger>Configs>Advanced>ranger-ugsync-site adresine gidin
  3. ranger.usersync.sleeptimeinmillisbetweensynccycle özelliğini 86400000 (milisaniye cinsinden 24 saat) olarak ayarlayın.
  4. Değişikliğin etkili olması için Etkilenen bileşenleri kaydet ve yeniden başlat'ı seçin.

Kaynak grupları

Küme kaynaklarını ayırt edebilmeniz için her küme için yeni bir kaynak grubu kullanın.

NSG'ler, güvenlik duvarları ve iç ağ geçidi

  • Sanal ağları kilitlemek için ağ güvenlik gruplarını (NSG) kullanın.
  • Giden erişim ilkelerini işlemek için güvenlik duvarını kullanın.
  • Genel İnternet'e açık olmayan iç ağ geçidini kullanın.

Microsoft Entra Kimlik

Microsoft Entra Id (Microsoft Entra ID), Microsoft'un bulut tabanlı kimlik ve erişim yönetimi hizmetidir.

İlkeler

  • IP adresi tabanlı ilkeyi kullanarak koşullu erişim ilkesini devre dışı bırakın. Bunun için, kümelerin dağıtıldığı sanal ağlarda hizmet uç noktalarının etkinleştirilmesi gerekir. MFA için bir dış hizmet kullanıyorsanız (Microsoft Entra Id dışında bir şey), IP adresi tabanlı ilke çalışmaz

  • AllowCloudPasswordValidation ilke, federasyon kullanıcıları için gereklidir. HDInsight, Microsoft Entra Id'den belirteçleri almak için kullanıcı adını / parolayı doğrudan kullandığından, bu ilkenin tüm federasyon kullanıcıları için etkinleştirilmesi gerekir.

  • Güvenilen IP'leri kullanarak koşullu erişim atlama gerekiyorsa hizmet uç noktalarını etkinleştirin.

Gruplar

  • Kümeleri her zaman bir grupla dağıtın.
  • Grup üyeliklerini yönetmek için Microsoft Entra Id kullanın (kümedeki tek tek hizmetleri yönetmeye çalışmaktan daha kolaydır).

Kullanıcı hesapları

  • Her senaryo için benzersiz bir kullanıcı hesabı kullanın. Örneğin, içeri aktarma için bir hesap kullanın, sorgu veya diğer işleme işleri için başka bir hesap kullanın.
  • Tek tek ilkeler yerine grup tabanlı Ranger ilkelerini kullanın.
  • Artık kümelere erişimi olmaması gereken kullanıcıları yönetme hakkında bir plan oluşturun.

Microsoft Entra Domain Services

Microsoft Entra Domain Services , Windows Server Active Directory ile tam uyumlu etki alanına katılma, grup ilkesi, basit dizin erişim protokolü (LDAP) ve Kerberos / NTLM kimlik doğrulaması gibi yönetilen etki alanı hizmetleri sağlar.

Güvenli kümelerin bir etki alanına katılması için Microsoft Entra Domain Services gereklidir. HDInsight çok fazla hata noktası, kimlik bilgisi paylaşımı, DNS izinleri vb. içerdiği için şirket içi etki alanı denetleyicilerine veya özel etki alanı denetleyicilerine bağımlı olamaz. Daha fazla bilgi için bkz . Microsoft Entra Domain Services SSS.

Doğru Microsoft Entra Domain Services SKU'su seçin

Yönetilen etki alanınızı oluştururken, farklı performans ve özellik düzeyleri sunan farklı SKU'lar arasından seçim yapabilirsiniz. Kimlik doğrulama istekleri için Microsoft Entra Domain Services örneğini kullanacak ESP kümelerinin ve diğer uygulamaların sayısı, kuruluşunuz için hangi SKU'nun uygun olduğunu belirler. Yönetilen etki alanınızda yüksek CPU olduğunu veya iş gereksinimlerinizin değiştiğini fark ederseniz SKU'nuzu yükseltebilirsiniz.

Microsoft Entra Domain Services örneği

  • örneği ile .onmicrosoft.com domainoluşturun. Bu şekilde, etki alanına hizmet veren birden çok DNS sunucusu olmayacaktır.
  • LDAPS için otomatik olarak imzalanan bir sertifika oluşturun ve bunu Microsoft Entra Domain Services'e yükleyin.
  • Kümeleri dağıtmak için eşlenmiş bir sanal ağ kullanın (HDInsight ESP kümeleri dağıtan bir dizi takım varsa, bu yararlı olacaktır). Bu, etki alanı denetleyicisiyle sanal ağda bağlantı noktalarını (NSG) açmanıza gerek olmamasını sağlar.
  • Sanal ağ için DNS'yi düzgün yapılandırın (Microsoft Entra Domain Services etki alanı adı herhangi bir konak dosyası girdisi olmadan çözümlenmelidir).
  • Giden trafiği kısıtlarsanız HDInsight'ta güvenlik duvarı desteğini okuduğunuzdan emin olun

Microsoft Entra Domain Services çoğaltma kümelerini göz önünde bulundurun

Microsoft Entra Domain Services yönetilen etki alanı oluşturduğunuzda benzersiz bir ad alanı tanımlarsınız ve iki etki alanı denetleyicisi (DC) seçtiğiniz Azure bölgesine dağıtılır. Dc'lerin bu dağıtımı bir çoğaltma kümesi olarak bilinir. Ek çoğaltma kümeleri eklemek dayanıklılık sağlar ve Azure HDInsight kümeleri için kritik öneme sahip kimlik doğrulama hizmetlerinin kullanılabilirliğini sağlar.

Kapsamlı kullanıcı/grup eşitlemesini yapılandırma

ESP kümeniz için Microsoft Entra Domain Services'i etkinleştirdiğinizde, Microsoft Entra Id'den veya kapsamlı gruplardan ve üyelerinden tüm kullanıcıları ve grupları eşitlemeyi seçebilirsiniz. En iyi performans için "Kapsamlı" eşitlemeyi seçmenizi öneririz.

Kapsamlı eşitleme , farklı grup seçimleri ile değiştirilebilir veya gerekirse "Tüm" kullanıcılara ve gruplara dönüştürülebilir. Microsoft Entra Domain Services örneğini silip yeniden oluşturmadığınız sürece eşitleme türünü "Tümü" olan "Kapsamlı" olarak değiştiremezsiniz.

Microsoft Entra Id'den Microsoft Entra Domain Services ile eşitlenen özellikler

  • Microsoft Entra Connect, şirket içinden Microsoft Entra Id ile eşitlenir.
  • Microsoft Entra Domain Services, Microsoft Entra Id'den eşitlenir.

Microsoft Entra Domain Services, Microsoft Entra Id'den nesneleri düzenli aralıklarla eşitler. Azure portalındaki Microsoft Entra Domain Services dikey penceresinde eşitleme durumu görüntülenir. Eşitlemenin her aşamasında benzersiz özellikler çakışmaya neden olabilir ve yeniden adlandırılabilir. Microsoft Entra Id ile Microsoft Entra Domain Services arasında özellik eşlemesine dikkat edin.

Daha fazla bilgi için bkz . Microsoft Entra UserPrincipalName population ve Microsoft Entra Domain Services eşitlemesi nasıl çalışır?

Parola karması eşitleme

  • Parolalar diğer nesne türlerinden farklı şekilde eşitlenir. Microsoft Entra Id ve Microsoft Entra Domain Services'da yalnızca geri alınamayan parola karmaları eşitlenir
  • Şirket içi Microsoft Entra Id'nin AD Connect aracılığıyla etkinleştirilmesi gerekir
  • Microsoft Entra Domain Services ile Microsoft Entra Id eşitlemesi otomatiktir (gecikme süreleri 20 dakikadan kısadır).
  • Parola karmaları yalnızca değiştirilmiş bir parola olduğunda eşitlenir. Parola karması eşitlemeyi etkinleştirdiğinizde, tüm mevcut parolalar geri alınamaz şekilde depolandığından otomatik olarak eşitlenmez. Parolayı değiştirdiğinizde parola karmaları eşitlenir.

Ambari LDAP eşitlemesini günlük çalışacak şekilde ayarlama

Yeni LDAP kullanıcılarını Ambari ile eşitleme işlemi otomatik olarak saatte bir çalışacak şekilde yapılandırılır. Bunu saatte bir çalıştırmak, kümenin baş düğümlerinde ve AD örneğinde fazla yüke neden olabilir. Geliştirilmiş performans için Ambari LDAP eşitlemesini çalıştıran /opt/startup_scripts/start_ambari_ldap_sync.py betiğini günde bir kez çalışacak şekilde değiştirmenizi öneririz. Bu betik bir crontab işi üzerinden çalıştırılır ve küme baş düğümlerindeki "/etc/cron.hourly/" dizininde depolanır.

Günde bir kez çalışmasını sağlamak için aşağıdaki adımları uygulayın:

  1. hn0 için ssh
  2. Betiği günlük cron klasörüne taşıyın: sudo mv /etc/cron.hourly/ambarildapsync /etc/cron.daily/ambarildapsync
  3. Değişikliği crontab işine uygulayın: sudo service cron reload
  4. ssh to hn1 and repeat steps 1 - 3

Gerekirse ambari REST API'sini kullanarak yeni kullanıcıları ve grupları hemen el ile eşitleyebilirsiniz.

Bilgisayar nesnelerinin konumu

Her küme tek bir OU ile ilişkilendirilir. İç kullanıcı OU'da sağlanır. Tüm düğümler etki alanına aynı OU'ya katılır.

Active Directory yönetim araçları

Daha fazla bilgi için bkz . Yönetim araçlarını yükleme.

Sorun giderme

Küme oluşturma işlemi art arda başarısız oluyor

En yaygın nedenler:

  • DNS yapılandırması doğru değil, küme düğümlerinin etki alanına katılımı başarısız oldu.
  • NSG'ler çok kısıtlayıcıdır ve etki alanına katılımı engeller.
  • Yönetilen Kimlik yeterli izinlere sahip değil.
  • Küme adı ilk altı karakterde (başka bir canlı kümede veya silinmiş bir kümede) benzersiz değildir.

Kimlik doğrulaması kurulumu ve yapılandırması

Kullanıcı Asıl Adı (UPN)

  • Lütfen tüm hizmetler için küçük harf kullanın- UPN'ler ESP kümelerinde büyük/küçük harfe duyarlı değildir, ancak
  • UPN ön eki, Microsoft Entra Etki Alanı Hizmetleri'ndeki her iki SAMAccountName ile de eşleşmelidir. Posta alanıyla eşleştirme gerekli değildir.

Ambari yapılandırmasında LDAP özellikleri

HDInsight küme yapılandırmanızı etkileyen Ambari özelliklerinin tam listesi için bkz . Ambari LDAP Kimlik Doğrulaması Kurulumu.

Etki alanı kullanıcı anahtar sekmeleri oluşturma

ESP kümesi oluşturma işlemi sırasında tüm hizmet tuş sekmeleri sizin için otomatik olarak oluşturulur. Küme ile kimlik doğrulaması gerektiren diğer hizmetler ve/veya işler arasında güvenli iletişimi etkinleştirmek için, etki alanı kullanıcı adınız için bir anahtar sekmesi oluşturabilirsiniz.

Kerberos anahtar sekmesi oluşturmak için küme VM'lerinden birinde ktutil kullanın:


ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

TenantName ve DomainName değerleriniz farklıysa , -s seçeneğini kullanarak bir SALT değeri eklemeniz gerekir. Kerberos anahtar sekmesi oluştururken uygun SALT değerini belirlemek için HDInsight SSS sayfasını denetleyin.

LDAP sertifikası yenileme

HDInsight, Kurumsal Güvenlik Paketi (ESP) ile kümeler için kullandığınız yönetilen kimliklerin sertifikalarını otomatik olarak yeniler. Ancak, Microsoft Entra Domain Services ve ADLS 2. Nesil için farklı yönetilen kimlikler kullanıldığında yenileme işleminin başarısız olmasına neden olabilecek bir sınırlama vardır. Sertifikalarınızı başarıyla yenileyebilmemiz için aşağıdaki 2 öneriyi izleyin:

  • ADLS 2. Nesil ve Microsoft Entra Domain Services kümeleri için farklı yönetilen kimlikler kullanıyorsanız her ikisinde de Depolama blobu veri Sahibi ve HDInsight Etki Alanı Hizmetleri Katkıda Bulunanı rolleri atanmış olmalıdır.
  • HDInsight kümeleri, sertifika güncelleştirmeleri ve diğer bakımlar için genel IP'ler gerektirir, bu nedenle kümede genel IP'yi reddeden tüm ilkeler kaldırılmalıdır.

Sonraki adımlar