Azure HDInsight: Sık sorulan sorular

HDInsight küme türlerini ve sağlama yöntemlerini gözden geçirmek için bkz . Apache Hadoop, Apache Spark, Apache Kafka ve daha fazlası ile HDInsight'ta kümeleri ayarlama.

Artık kullanımda olmayan bir kümeyi silme hakkında daha fazla bilgi edinmek için bkz . HDInsight kümesini silme.

Oluşturma ve silme işlemleri arasında en az 30 ila 60 dakika bırakmayı deneyin. Aksi takdirde işlem aşağıdaki hata iletisiyle başarısız olabilir:

Conflict (HTTP Status Code: 409) error when attempting to delete a cluster immediately after creation of a cluster. If you encounter this error, wait until the newly created cluster is in operational state before attempting to delete it.

Uygun sayıda çekirdek ve diğer yapılandırma seçenekleri çeşitli faktörlere bağlıdır.

Daha fazla bilgi için bkz . HDInsight kümeleri için kapasite planlaması.

Bkz. Azure HDInsight kümelerindeki kaynak türleri.

1. Küme ölçeklenebilirliğini geliştirmek için Özel Ambari DB ile HDInsight kümeleri ayarlamanızı öneririz.
2. daha yüksek bant genişliği ve Azure Data Lake Storage 2. Nesil diğer performans özelliklerinden yararlanmak üzere HDInsight kümeleri oluşturmak için Azure Data Lake Storage 2. Nesil kullanın.
3. Baş düğümler, bu düğümlerde çalışan birden çok ana hizmeti barındıracak kadar büyük olmalıdır.
4. Etkileşimli Sorgu gibi bazı belirli iş yüklerinin daha büyük Zookeeper düğümlerine de ihtiyacı olacaktır. Lütfen en az sekiz çekirdekli VM'leri göz önünde bulundurun.
5. Hive ve Spark söz konusu olduğunda, Dış Hive meta veri deposu kullanın.

Evet. Ek bileşenleri yüklemek veya küme yapılandırmasını özelleştirmek için şunu kullanın:

• Oluşturma sırasında veya sonrasında betikler. Betikler betik eylemiyle çağrılır. Betik eylemi, Azure portalından, HDInsight Windows PowerShell cmdlet'lerinden veya HDInsight .NET SDK'sından kullanabileceğiniz bir yapılandırma seçeneğidir. Bu yapılandırma seçeneği Azure portalından, HDInsight Windows PowerShell cmdlet'lerinden veya HDInsight .NET SDK'sından kullanılabilir.

• Uygulamaları yüklemek için HDInsight Uygulama Platformu .

Desteklenen bileşenlerin listesi için bkz. HDInsight ile kullanılabilen Apache Hadoop bileşenleri ve sürümleri nelerdir?

Kümenize önceden yüklenmiş yerleşik bileşenleri veya uygulamaları yükseltirseniz, sonuçta elde edilen yapılandırma Microsoft tarafından desteklenmez. Bu sistem yapılandırmaları Microsoft tarafından test edilmedi. HdInsight kümesinin, bileşenin yükseltilmiş sürümü önceden yüklenmiş olabilecek farklı bir sürümünü kullanmayı deneyin.

Örneğin, Hive'ı tek bir bileşen olarak yükseltmek desteklenmez. HDInsight yönetilen bir hizmettir ve birçok hizmet Ambari sunucusuyla tümleştirilir ve test edilir. Bir Hive'ı kendi başına yükseltmek, diğer bileşenlerin dizine alınan ikili dosyalarının değişmesine neden olur ve kümenizde bileşen tümleştirme sorunlarına neden olur.

Hayır, Apache Kafka ve Apache Spark'ı aynı HDInsight kümesinde çalıştırmak mümkün değildir. Kaynak çekişmesi sorunlarını önlemek için Kafka ve Spark için ayrı kümeler oluşturun.

1. Ambari Web kullanıcı arabirimini adresinde https://CLUSTERNAME.azurehdinsight.netaçın; burada CLUSTERNAME, kümenizin adıdır.

2. Sağ üst köşede yönetici | öğesini seçin Ayarlar.

   

3. Kullanıcı Ayarlar penceresinde, Saat Dilimi açılan listesinden yeni saat dilimini seçin ve kaydet'e tıklayın.

   

SQL Server'dan Azure SQL Veritabanı geçiş yapmak için bkz. Öğretici: DMS kullanarak çevrimdışı Azure SQL Veritabanı sql server'ı tek bir veritabanına veya havuza alınan veritabanına geçirme.

Kümenizin kullanmak üzere yapılandırıldığı meta veri deposunun türüne bağlıdır.

Varsayılan meta veri deposu için: Varsayılan meta veri deposu, küme yaşam döngüsünün bir parçasıdır. Bir kümeyi sildiğinizde ilgili meta veri deposu ve meta veriler de silinir.

Özel bir meta veri deposu için: Meta veri deposunun yaşam döngüsü bir kümenin yaşam döngüsüne bağlı değildir. Bu nedenle, meta verileri kaybetmeden küme oluşturabilir ve silebilirsiniz. Hive şemalarınız gibi meta veriler, HDInsight kümesini silip yeniden oluşturduktan sonra bile devam eder.

Daha fazla bilgi için bkz . Azure HDInsight'ta dış meta veri depolarını kullanma.

Hayır, ilke tanımı Ranger veritabanında olduğundan Ranger veritabanının geçirilmesi ilkeyi geçirir.

Evet, Hive meta veri depolarını BIR ESP'den ESP olmayan bir kümeye geçirebilirsiniz.

Hive meta veri deposu, Hive sunucusu tarafından kullanılan veri kaynaklarının meta verilerini depolamak için kullanılır. Boyut gereksinimleri kısmen Hive veri kaynaklarınızın sayısına ve karmaşıklığına bağlıdır. Bu öğeler önden tahmin edilemiyor. Hive meta veri deposu yönergelerinde açıklandığı gibi S2 katmanıyla başlayabilirsiniz. Katman 50 DTU ve 250 GB depolama alanı sağlar ve bir performans sorunu görürseniz veritabanının ölçeğini büyütün.

Hayır, Microsoft yalnızca dış özel meta veri deposu olarak Azure SQL Veritabanı destekler.

Evet, hdInsight'ın aynı sürümünü kullandıkları sürece birden çok kümede özel meta veri depolarını paylaşabilirsiniz.

22 ve 23 numaralı bağlantı noktalarını engellerseniz kümeye SSH erişiminiz olmaz. Bu bağlantı noktaları HDInsight hizmeti tarafından kullanılmaz.

Daha fazla bilgi için, aşağıdaki belgelere bakın:

• HDInsight üzerinde Apache Hadoop hizmetleri tarafından kullanılan bağlantı noktaları

• Özel uç nokta ile sanal ağdaki HDInsight kümelerine gelen trafiğin güvenliğini sağlama

• HDInsight yönetim IP adresleri

Evet, HDInsight kümesiyle aynı alt ağ içinde ek bir sanal makine dağıtabilirsiniz. Aşağıdaki yapılandırmalar mümkündür:

• Kenar düğümleri: HDInsight'ta Apache Hadoop kümelerinde boş kenar düğümlerini kullanma bölümünde açıklandığı gibi kümeye başka bir kenar düğümü ekleyebilirsiniz.

• Tek başına düğümler: Aynı alt ağa tek başına bir sanal makine ekleyebilir ve özel uç noktasını https://<CLUSTERNAME>-int.azurehdinsight.netkullanarak bu sanal makineden kümeye erişebilirsiniz. Daha fazla bilgi için bkz . Ağ trafiğini denetleme.

Hayır, verileri yerel diskte depolamak iyi bir fikir değildir. Düğüm başarısız olursa yerel olarak depolanan tüm veriler kaybolur. Verileri Azure Data Lake Storage 2. Nesil veya Azure Blob depolamada depolamanızı veya verileri depolamak için bir Azure Dosyalar paylaşımı bağlamanızı öneririz.

Hayır, bunu yapamazsınız. Sanal ağ, sağlama sırasında belirtilmelidir. Sağlama sırasında sanal ağ belirtilmezse, dağıtım dışarıdan erişilmeyecek bir iç ağ oluşturur. Daha fazla bilgi için bkz . Var olan bir sanal ağa HDInsight ekleme.

Kötü amaçlı yazılımdan koruma hakkında bilgi için bkz. Azure Cloud Services ve Sanal Makineler için Microsoft Kötü Amaçlı Yazılımdan Koruma.

Etki alanı kullanıcı adınız için bir Kerberos anahtar sekmesi oluşturun. Daha sonra, etki alanına katılmış uzak kümelerde parola girmeden kimlik doğrulaması yapmak için bu tuş sekmesini kullanabilirsiniz. Etki alanı adı büyük harftir:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

TenantName ve DomainName'iniz farklıysa (örneğin TenantName – bob@CONTOSO.ONMICROSOFT.COM & DomainName – bob@CONTOSOMicrosoft.ONMICROSOFT.COM), -s seçeneğini kullanarak bir SALT değeri eklemeniz gerekir.

1. Anahtar sekmesi için uygun tuz değerini belirlemek için etkileşimli bir Kerberos oturum açma bilgisi kullanın. Etkileşimli Kerberos oturum açma bilgileri varsayılan olarak en yüksek şifrelemeyi kullanır. Tuzu gözlemlemek için izleme etkinleştirilmelidir. Aşağıda örnek bir Kerberos oturum açma bilgileri verilmiştir:

$ KRB5_TRAACE=/dev/stdout kinit <username> -V

2. "......." tuzu için çıkışa bakın Satır.
3. Tuş sekmesini oluştururken bu tuz değerini kullanın.

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96 -s <SALTvalue>
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

ESP ile HDInsight kümesi oluşturmadan önce Microsoft Entra Domain Services'ı etkinleştirin. Açık kaynak Hadoop, Kimlik Doğrulaması için Kerberos'a dayanır (OAuth'un aksine).

VM'leri bir etki alanına katmak için bir etki alanı denetleyiciniz olmalıdır. Microsoft Entra Domain Services yönetilen etki alanı denetleyicisidir ve Microsoft Entra Id'nin bir uzantısı olarak kabul edilir. Microsoft Entra Domain Services, güvenli bir Hadoop kümesini yönetilen bir şekilde oluşturmak için tüm Kerberos gereksinimlerini sağlar. Yönetilen hizmet olarak HDInsight, güvenlik sağlamak için Microsoft Entra Domain Services ile tümleştirilir.

Sertifika yetkilisi tarafından verilen bir sertifikanın kullanılması önerilir. Ancak ESP'de otomatik olarak imzalanan bir sertifika kullanılması da desteklenir. Daha fazla bilgi için bkz.

• Microsoft Entra Domain Services'i Etkinleştirme

• Öğretici: Microsoft Entra Domain Services yönetilen etki alanı için güvenli LDAP yapılandırma

Hayır, DAS ESP kümelerinde desteklenmez.

Denetim gereksinimleri için Microsoft, HDInsight kümelerini izlemek için Azure İzleyici günlüklerini kullanma bölümünde açıklandığı gibi Azure İzleyici günlüklerinin etkinleştirilmesini önerir.

Clamscan , HDInsight kümesinde çalışan ve Azure güvenliği (azsecd) tarafından kümelerinizi virüs saldırılarına karşı korumak için kullanılan virüsten koruma yazılımıdır. Microsoft, kullanıcıların varsayılan Clamscan yapılandırmada herhangi bir değişiklik yapmaktan kaçınmasını kesinlikle önerir.

Bu işlem herhangi bir döngüyü engellemez veya diğer işlemlerden uzaklaştırmaz. Her zaman diğer işlemlere yol gösterir. CPU Clamscan ani artışları yalnızca sistem boşta olduğunda görülmelidir.

Zamanlamayı denetlemeniz gereken senaryolarda aşağıdaki adımları kullanabilirsiniz:

1. Aşağıdaki komutu kullanarak otomatik yürütmeyi devre dışı bırakın:

   sudo usr/local/bin/azsecd config -s clamav -d Disabled sudo service azsecd restart

2. Kök olarak aşağıdaki komutu çalıştıran bir Cron işi ekleyin:

   /usr/local/bin/azsecd manual -s clamav

Cron işi ayarlama ve çalıştırma hakkında daha fazla bilgi için bkz. Cron işi ayarlama Nasıl yaparım??

LLAP, performans değil güvenlik nedenleriyle (Apache Ranger) etkinleştirilir. LLAP'nin kaynak kullanımına uyum sağlamak için daha büyük düğüm vm'leri kullanın (örneğin, en az D13V2).

Bu hedefe ulaşmanın iki yolu vardır: 1- Kümeyi yeniden oluşturabilir ve küme oluşturma sırasında ek grubu ekleyebilirsiniz. Microsoft Entra Etki Alanı Hizmetleri'nde kapsamlı eşitleme kullanıyorsanız, B grubunun kapsamlı eşitlemeye dahil olduğundan emin olun. 2- Grubu, ESP kümesini oluşturmak için kullanılan önceki grubun iç içe alt grubu olarak ekleyin. Örneğin, grubuyla Abir ESP kümesi oluşturduysanız, daha sonra grubu B iç içe alt grubu A olarak ekleyebilirsiniz ve yaklaşık bir saat sonra eşitlenir ve kümede otomatik olarak kullanılabilir.

Hayır, şu anda birincil depolama alanı olarak blob depolaması olan bir kümeye Azure Data Lake Storage 2. Nesil depolama hesabı eklemek mümkün değildir. Daha fazla bilgi için bkz . Depolama seçeneklerini karşılaştırma.

Ayarlarınızı azure portalındaki küme özelliklerinizin altında Data Lake Storage 1. Nesil erişim bölümünde bulabilirsiniz. Daha fazla bilgi için bkz . Küme kurulumunu doğrulama.

Aşağıdaki eylemlerden birini yapın:

• PowerShell kullanma

• /user/hive/ boyutunu bulun. Aşağıdaki komut satırını kullanarak HDInsight kümesindeki Çöp Kutusu/ klasörü:

  hdfs dfs -du -h /user/hive/.Trash/

Blob depolama hesaplarını denetlemek için Azure portalında depolama hesabını izleme yordamını kullanarak izlemeyi yapılandırın. HDFS denetim günlüğü yalnızca yerel HDFS dosya sistemi için denetim bilgileri sağlar (hdfs://mycluster). Uzak depolamada yapılan işlemleri içermez.

Baş düğümünüzde aşağıdaki kabuk betiğine benzer bir betik çalıştırın:

for i in cat filenames.txt
do
   hadoop fs -get $i <local destination>
done

Şu anda blob depolama ve Azure Data Lake Storage 1. Nesil veya 2. Nesil için Ranger eklentisi yoktur. ESP kümeleri için Azure Data Lake Depolama kullanmanız gerekir. HDFS araçlarını kullanarak en azından dosya sistemi düzeyinde el ile ayrıntılı izinler ayarlayabilirsiniz. Ayrıca, Azure Data Lake Depolama kullanırken ESP kümeleri, küme düzeyinde Microsoft Entra Id kullanarak dosya sistemi erişim denetiminin bir bölümünü gerçekleştirir.

Azure Depolama Gezgini kullanarak kullanıcılarınızın güvenlik gruplarına veri erişim ilkeleri atayabilirsiniz. Daha fazla bilgi için bkz.

• Nasıl yaparım?, Microsoft Entra kullanıcılarının Hive veya diğer hizmetleri kullanarak Data Lake Storage 2. Nesil'daki verileri sorgulamasına yönelik izinleri ayarladı mı?
• Azure Data Lake Storage 2. Nesil ile Azure Depolama Gezgini kullanarak dosya ve dizin düzeyi izinlerini ayarlama

Hayır Herhangi bir çalışan düğümünün disk boyutunu artıramazsınız. Bu nedenle disk boyutunu artırmanın tek yolu kümeyi bırakmak ve daha büyük çalışan VM'lerle yeniden oluşturmaktır. Kümenizi silerseniz veriler silindiğinden HDInsight verilerinizi depolamak için HDFS kullanmayın. Bunun yerine verilerinizi Azure'da depolayın. Kümenin ölçeğini artırmak, HDInsight kümenize ek kapasite de ekleyebilir.

Bkz. HDInsight’taki boş kenar düğümlerini Apache Hadoop kümelerinde kullanma.

Bir kenar düğümü oluşturduktan sonra, bağlantı noktası 22'de SSH kullanarak bu düğüme bağlanabilirsiniz. Kenar düğümünün adını küme portalından bulabilirsiniz. Adlar genellikle -ed ile biter.

Ölçeklendirme işlemleri aracılığıyla kümeye eklenen yeni çalışan düğümlerini özelleştirmek için kalıcı betikler kullanırsınız. Kalıcı betikler kenar düğümlerine uygulanmaz.

Gerekli bilgileri JSON biçiminde çekmek için aşağıdaki REST uç noktalarını kullanabilirsiniz. İstekleri yapmak için temel kimlik doğrulama üst bilgilerini kullanın.

• Tez Query View: https://< cluster name.azurehdinsight.net/ws/v1/timeline/HIVE_QUERY_ID/>
• Tez Dag View: https://< cluster name.azurehdinsight.net/ws/v1/timeline/TEZ_DAG_ID/>

Microsoft Entra kullanıcınızla doğru kimlik doğrulama belirteçleriyle anlaşmak için aşağıdaki biçimi kullanarak ağ geçidinden geçin:

• <cluster dnsname>https://.azurehdinsight.net/api/v1/clusters/testclusterdem/stack_versions/1/repository_versions/1

Aynı sanal ağda veya eşlenmiş bir sanal ağda Curl komutunu çağırırsanız, komut şu şekildedir:

curl -u <cluster login username> -sS -G
http://<headnodehost>:8080/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu

Komutunu sanal ağın dışından veya eşlenmemiş bir sanal ağdan çağırırsanız, komut biçimi şu şekildedir:

• ESP olmayan bir küme için:

  
  curl -u <cluster login username> -sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

• ESP kümesi için:

  
  curl -u <cluster login username>-sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

Faturalamayla ilgili fiyatlandırma ve SSS hakkında daha fazla bilgi için Bkz . Azure HDInsight Fiyatlandırma sayfası.

HDInsight kümesi faturalandırması küme oluşturulduğunda başlar ve küme silindiğinde sona erer. Faturalama dakika başına eşit olarak derecelendirilir.

Aboneliğinizi iptal etme hakkında bilgi için bkz . Azure aboneliğinizi iptal etme.

aboneliğiniz iptal edildikten sonra aboneliğiniz hakkında bilgi için bkz. Aboneliğimi iptal ettikten sonra ne olur?

Ambari kullanıcı arabiriminde yalnızca 1.2 görünse de, HDInsight 3.6 hem Hive 1.2 hem de Hive 2.1 içerir.

Akış işlemenin tümleştirme özellikleri hakkında bilgi için bkz . Azure'da akış işleme teknolojisi seçme.

Bu eylemi HDInsight kümeleri ile yapamazsınız. Bu senaryolar için Azure Data Factory kullanabilirsiniz.

Uyumluluk bilgileri için bkz . Microsoft Güven Merkezi.