Bootstrap kullanarak HDInsight kümelerini özelleştirme
Bootstrap betikleri, Azure HDInsight'ta bileşenleri program aracılığıyla yüklemenize ve yapılandırmanıza olanak sağlar.
HDInsight kümeniz oluşturulurken yapılandırma dosyası ayarlarını yapmak için üç yaklaşım vardır:
- Azure PowerShell kullanma
- .NET SDK’yı kullanma
- Azure Resource Manager şablonu kullanma
Örneğin, bu programlı yöntemleri kullanarak şu dosyalarda seçenekleri yapılandırabilirsiniz:
- clusterIdentity.xml
- core-site.xml
- gateway.xml
- hbase-env.xml
- hbase-site.xml
- hdfs-site.xml
- hive-env.xml
- hive-site.xml
- mapred-site
- oozie-site.xml
- oozie-env.xml
- tez-site.xml
- webhcat-site.xml
- yarn-site.xml
- server.properties (kafka-broker yapılandırması)
Oluşturma sırasında HDInsight kümesine daha fazla bileşen yükleme hakkında bilgi için bkz . Betik Eylemi (Linux) kullanarak HDInsight kümelerini özelleştirme.
Önkoşullar
- PowerShell kullanıyorsanız Az Modülü gerekir.
Azure PowerShell kullanma
Aşağıdaki PowerShell kodu bir Apache Hive yapılandırmasını özelleştirir:
Önemli
Parametresinin Spark2Defaults
Add-AzHDInsightConfigValue ile kullanılması gerekebilir. Aşağıdaki kod örneğinde gösterildiği gibi parametresine boş değerler geçirebilirsiniz.
# hive-site.xml configuration
$hiveConfigValues = @{ "hive.metastore.client.socket.timeout"="90s" }
$config = New-AzHDInsightClusterConfig `
-ClusterType "Spark" `
| Set-AzHDInsightDefaultStorage `
-StorageAccountResourceId "$storageAccountResourceId" `
-StorageAccountKey $defaultStorageAccountKey `
| Add-AzHDInsightConfigValue `
-HiveSite $hiveConfigValues `
-Spark2Defaults @{}
New-AzHDInsightCluster `
-ResourceGroupName $resourceGroupName `
-ClusterName $hdinsightClusterName `
-Location $location `
-ClusterSizeInNodes 2 `
-Version "4.0" `
-HttpCredential $httpCredential `
-SshCredential $sshCredential `
-Config $config
Tam bir çalışan PowerShell betiği Ek'te bulunabilir.
Değişikliği doğrulamak için:
https://CLUSTERNAME.azurehdinsight.net/
Kümenizin adı olan yereCLUSTERNAME
gidin.- Sol menüden Hive>Yapılandırmaları>Gelişmiş'e gidin.
- Gelişmiş hive-site'i genişletin.
- hive.metastore.client.socket.timeout dosyasını bulun ve değerin 90s olduğunu onaylayın.
Diğer yapılandırma dosyalarını özelleştirme hakkında daha fazla örnek:
# hdfs-site.xml configuration
$HdfsConfigValues = @{ "dfs.blocksize"="64m" } #default is 128MB in HDI 3.0 and 256MB in HDI 2.1
# core-site.xml configuration
$CoreConfigValues = @{ "ipc.client.connect.max.retries"="60" } #default 50
# mapred-site.xml configuration
$MapRedConfigValues = @{ "mapreduce.task.timeout"="1200000" } #default 600000
# oozie-site.xml configuration
$OozieConfigValues = @{ "oozie.service.coord.normal.default.timeout"="150" } # default 120
.NET SDK’yı kullanma
Bkz. .NET için Azure HDInsight SDK'sı.
Resource Manager şablonu kullanma
Resource Manager şablonunda bootstrap kullanabilirsiniz:
"configurations": {
"hive-site": {
"hive.metastore.client.connect.retry.delay": "5",
"hive.execution.engine": "mr",
"hive.security.authorization.manager": "org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider"
}
}
Spark2 varsayılanlarında yapılandırmayı depolama alanından olay günlüklerini düzenli aralıklarla temizlemeye geçiş yapmak için örnek Resource Manager şablon parçacığı.
"configurations": {
"spark2-defaults": {
"spark.history.fs.cleaner.enabled": "true",
"spark.history.fs.cleaner.interval": "7d",
"spark.history.fs.cleaner.maxAge": "90d"
}
}
Ayrıca bkz.
- HDInsight'ta Apache Hadoop kümeleri oluşturma, diğer özel seçenekleri kullanarak HDInsight kümesi oluşturma yönergeleri sağlar.
- HDInsight için Betik Eylemi betikleri geliştirme
- HDInsight kümelerinde Apache Spark yükleme ve kullanma
- HDInsight kümelerine Apache Giraph yükleyin ve kullanın.
Ek: PowerShell örneği
Bu PowerShell betiği bir HDInsight kümesi oluşturur ve hive ayarını özelleştirir. , $httpPassword
ve $sshPassword
değerlerini $nameToken
girdiğinizden emin olun.
####################################
# Service names and variables
####################################
$nameToken = "<ENTER AN ALIAS>"
$namePrefix = $nameToken.ToLower() + (Get-Date -Format "MMdd")
$resourceGroupName = $namePrefix + "rg"
$hdinsightClusterName = $namePrefix + "hdi"
$defaultStorageAccountName = $namePrefix + "store"
$defaultBlobContainerName = $hdinsightClusterName
$location = "East US"
####################################
# Connect to Azure
####################################
Write-Host "Connecting to your Azure subscription ..." -ForegroundColor Green
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
Connect-AzAccount
}
# If you have multiple subscriptions, set the one to use
#$context = Get-AzSubscription -SubscriptionId "<subscriptionID>"
#Set-AzContext $context
####################################
# Create a resource group
####################################
Write-Host "Creating a resource group ..." -ForegroundColor Green
New-AzResourceGroup `
-Name $resourceGroupName `
-Location $location
####################################
# Create a storage account and container
####################################
Write-Host "Creating the default storage account and default blob container ..." -ForegroundColor Green
New-AzStorageAccount `
-ResourceGroupName $resourceGroupName `
-Name $defaultStorageAccountName `
-Location $location `
-SkuName Standard_LRS `
-Kind StorageV2 `
-EnableHttpsTrafficOnly 1
$defaultStorageAccountKey = (Get-AzStorageAccountKey `
-ResourceGroupName $resourceGroupName `
-Name $defaultStorageAccountName)[0].Value
$defaultStorageContext = New-AzStorageContext `
-StorageAccountName $defaultStorageAccountName `
-StorageAccountKey $defaultStorageAccountKey
New-AzStorageContainer `
-Name $defaultBlobContainerName `
-Context $defaultStorageContext #use the cluster name as the container name
####################################
# Create a configuration object
####################################
$hiveConfigValues = @{"hive.metastore.client.socket.timeout"="90s"}
$storageAccountResourceId = (Get-AzStorageAccount -ResourceGroupName $resourceGroupName ` -Name $defaultStorageAccountName).Id
$config = New-AzHDInsightClusterConfig `
-ClusterType "Spark" `
| Set-AzHDInsightDefaultStorage `
-StorageAccountResourceId "$storageAccountResourceId" `
-StorageAccountKey $defaultStorageAccountKey `
| Add-AzHDInsightConfigValue `
-HiveSite $hiveConfigValues `
-Spark2Defaults @{}
####################################
# Set Ambari admin username/password
####################################
$httpUserName = "admin" #HDInsight cluster username
$httpPassword = '<ENTER A PASSWORD>'
$httpPW = ConvertTo-SecureString -String $httpPassword -AsPlainText -Force
$httpCredential = New-Object System.Management.Automation.PSCredential($httpUserName,$httpPW)
####################################
# Set ssh username/password
####################################
$sshUserName = "sshuser" #HDInsight ssh user name
$sshPassword = '<ENTER A PASSWORD>'
$sshPW = ConvertTo-SecureString -String $sshPassword -AsPlainText -Force
$sshCredential = New-Object System.Management.Automation.PSCredential($sshUserName,$sshPW)
####################################
# Create an HDInsight cluster
####################################
New-AzHDInsightCluster `
-ResourceGroupName $resourceGroupName `
-ClusterName $hdinsightClusterName `
-Location $location `
-ClusterSizeInNodes 2 `
-Version "4.0" `
-HttpCredential $httpCredential `
-SshCredential $sshCredential `
-Config $config
####################################
# Verify the cluster
####################################
Get-AzHDInsightCluster `
-ClusterName $hdinsightClusterName
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin