Azure CLI kullanarak HDInsight kümeleri oluşturma
Bu belgedeki adımlar, Azure CLI kullanarak HDInsight 4.0 kümesi oluşturma adımlarını açıklar.
Uyarı
HDInsight kümeleri için faturalama, kullansanız da kullanmasanız da dakikada bir eşit olarak dağıtılır. Kullanmayı bitirdikten sonra kümenizi sildiğinizden emin olun. Bkz . HDInsight kümesini silme.
Azure aboneliğiniz yoksa başlamadan önce birücretsiz Azure hesabı oluşturun.
Önkoşullar
Azure Cloud Shell'de Bash ortamını kullanın. Daha fazla bilgi için bkz . Azure Cloud Shell'de Bash için hızlı başlangıç.
CLI başvuru komutlarını yerel olarak çalıştırmayı tercih ediyorsanız Azure CLI'yı yükleyin . Windows veya macOS üzerinde çalışıyorsanız Azure CLI’yi bir Docker kapsayıcısında çalıştırmayı değerlendirin. Daha fazla bilgi için bkz . Docker kapsayıcısında Azure CLI'yi çalıştırma.
Yerel yükleme kullanıyorsanız az login komutunu kullanarak Azure CLI ile oturum açın. Kimlik doğrulama işlemini tamamlamak için terminalinizde görüntülenen adımları izleyin. Diğer oturum açma seçenekleri için bkz . Azure CLI ile oturum açma.
İstendiğinde, ilk kullanımda Azure CLI uzantısını yükleyin. Uzantılar hakkında daha fazla bilgi için bkz. Azure CLI ile uzantıları kullanma.
Yüklü sürümü ve bağımlı kitaplıkları bulmak için az version komutunu çalıştırın. En son sürüme yükseltmek için az upgrade komutunu çalıştırın.
Küme oluşturma
Azure aboneliğinizde oturum açın. Azure Cloud Shell kullanmayı planlıyorsanız kod bloğunun sağ üst köşesindeki Deneyin'i seçin. Aksi halde, aşağıdaki komutu girin:
az login # If you have multiple subscriptions, set the one to use # az account set --subscription "SUBSCRIPTIONID"
Ortam değişkenlerini ayarlayın. Bu makaledeki değişkenlerin kullanımı Bash'i temel alır. Diğer ortamlar için küçük çeşitlemeler gereklidir. Küme oluşturmaya yönelik olası parametrelerin tam listesi için bkz . az-hdinsight-create .
Parametre Açıklama --workernode-count
Kümedeki çalışan düğümlerinin sayısı. Bu makalede, öğesine geçirilen --workernode-count
değer olarak değişkeniclusterSizeInNodes
kullanılır.--version
HDInsight küme sürümü. Bu makalede, öğesine geçirilen --version
değer olarak değişkeniclusterVersion
kullanılır. Ayrıca bkz. Desteklenen HDInsight sürümleri.--type
HDInsight kümesi türü, örneğin: hadoop, etkileşimli hive, hbase, kafka, spark, , rserver
mlservices
. Bu makalede, öğesine geçirilen--type
değer olarak değişkeniclusterType
kullanılır. Ayrıca bkz. Küme türleri ve yapılandırması.--component-version
Çeşitli Hadoop bileşenlerinin 'component=version' biçimindeki boşlukla ayrılmış sürümlerindeki sürümleri. Bu makalede, öğesine geçirilen --component-version
değer olarak değişkenicomponentVersion
kullanılır. Ayrıca bkz. Hadoop bileşenleri., ,
LOCATION
,CLUSTERNAME
,STORAGEACCOUNTNAME
vePASSWORD
değerlerini istenen değerlerle değiştirinRESOURCEGROUPNAME
. Diğer değişkenlerin değerlerini istediğiniz gibi değiştirin. Ardından CLI komutlarını girin.export resourceGroupName=RESOURCEGROUPNAME export location=LOCATION export clusterName=CLUSTERNAME export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME export httpCredential='PASSWORD' export sshCredentials='PASSWORD' export AZURE_STORAGE_CONTAINER=$clusterName export clusterSizeInNodes=1 export clusterVersion=4.0 export clusterType=hadoop export componentVersion=Hadoop=3.1
Aşağıdaki komutu girerek kaynak grubunu oluşturun:
az group create \ --location $location \ --name $resourceGroupName
Geçerli konumların listesi için komutunu kullanın
az account list-locations
ve ardından değerdekiname
konumlardan birini kullanın.Aşağıdaki komutu girerek bir Azure Depolama hesabı oluşturun:
# Note: kind BlobStorage is not available as the default storage account. az storage account create \ --name $AZURE_STORAGE_ACCOUNT \ --resource-group $resourceGroupName \ --https-only true \ --kind StorageV2 \ --location $location \ --sku Standard_LRS
Azure Depolama hesabından birincil anahtarı ayıklayın ve aşağıdaki komutu girerek bir değişkende depolayın:
export AZURE_STORAGE_KEY=$(az storage account keys list \ --account-name $AZURE_STORAGE_ACCOUNT \ --resource-group $resourceGroupName \ --query [0].value -o tsv)
Aşağıdaki komutu girerek bir Azure Depolama kapsayıcısı oluşturun:
az storage container create \ --name $AZURE_STORAGE_CONTAINER \ --account-key $AZURE_STORAGE_KEY \ --account-name $AZURE_STORAGE_ACCOUNT
Aşağıdaki komutu girerek HDInsight kümesini oluşturun:
az hdinsight create \ --name $clusterName \ --resource-group $resourceGroupName \ --type $clusterType \ --component-version $componentVersion \ --http-password $httpCredential \ --http-user admin \ --location $location \ --workernode-count $clusterSizeInNodes \ --ssh-password $sshCredentials \ --ssh-user sshuser \ --storage-account $AZURE_STORAGE_ACCOUNT \ --storage-account-key $AZURE_STORAGE_KEY \ --storage-container $AZURE_STORAGE_CONTAINER \ --version $clusterVersion
Önemli
HDInsight kümeleri, kümenin ayarlandığı iş yüküne veya teknolojiye karşılık gelen çeşitli türlerde gelir. Bir kümede HBase gibi birden çok türü birleştiren bir küme oluşturmak için desteklenen bir yöntem yoktur.
Küme oluşturma işleminin tamamlanması birkaç dakika sürebilir. Genellikle 15 civarında.
Kaynakları temizleme
Makaleyi tamamladıktan sonra kümeyi silmek isteyebilirsiniz. HDInsight ile verileriniz Azure Depolama'de depolanır, böylece kullanılmadığında kümeyi güvenle silebilirsiniz. Kullanımda olmasa bile HDInsight kümesi için de ücretlendirilirsiniz. Küme ücretleri depolama ücretlerinden çok daha fazla olduğundan, kullanımda olmayan kümeleri silmek ekonomik bir anlam ifade eder.
Kaynakları kaldırmak için aşağıdaki komutların tümünü veya bazılarını girin:
# Remove cluster
az hdinsight delete \
--name $clusterName \
--resource-group $resourceGroupName
# Remove storage container
az storage container delete \
--account-name $AZURE_STORAGE_ACCOUNT \
--name $AZURE_STORAGE_CONTAINER
# Remove storage account
az storage account delete \
--name $AZURE_STORAGE_ACCOUNT \
--resource-group $resourceGroupName
# Remove resource group
az group delete \
--name $resourceGroupName
Sorun giderme
HDInsight kümeleri oluştururken sorun yaşarsanız bkz. erişim denetimi gereksinimleri.
Sonraki adımlar
Azure CLI kullanarak bir HDInsight kümesini başarıyla oluşturduğunuza göre, kümenizle nasıl çalışacağınızı öğrenmek için aşağıdakileri kullanın:
Apache Hadoop kümeleri
Apache HBase kümeleri
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin