Aracılığıyla paylaş

Azure CLI kullanarak HDInsight kümeleri oluşturma

Bu belgedeki adımlar, Azure CLI kullanarak HDInsight 4.0 kümesi oluşturma adımlarını açıklar.

Uyarı

HDInsight kümeleri için faturalama, kullansanız da kullanmasanız da dakika başına oranlanır. Kullanmayı bitirdikten sonra kümenizi sildiğinizden emin olun. HDInsight kümesini nasıl sileceğinizi öğrenin.

Azure hesabınız yoksa, başlamadan önce ücretsiz hesap oluşturun.

Önkoşullar

Küme oluşturma

  1. Azure aboneliğinizde oturum açın. Azure Cloud Shell kullanmayı planlıyorsanız, kod bloğunun sağ üst köşesindeki Deneyin düğmesine tıklayın. Aksi halde, aşağıdaki komutu girin:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Ortam değişkenlerini ayarlayın. Bu makaledeki değişkenlerin kullanımı Bash'i temel alır. Diğer ortamlar için küçük çeşitlemeler gereklidir. Küme oluşturmaya yönelik olası parametrelerin tam listesi için bkz. az-hdinsight-create .

    Parametre Açıklama
    --workernode-count Kümedeki çalışan düğümlerinin sayısı. Bu makalede, clusterSizeInNodes'a geçirilen değer olarak --workernode-count değişkeni kullanılır.
    --version HDInsight küme sürümü. Bu makalede, clusterVersion'a geçirilen değer olarak --version değişkeni kullanılır. Ayrıca bkz: Desteklenen HDInsight sürümleri
    --type HDInsight kümesi türü: hadoop, etkileşimli hive, hbase, kafka, spark, rserver, mlservices. Bu makalede, clusterType'a geçirilen değer olarak --type değişkeni kullanılır. Ayrıca bkz: Küme türleri ve yapılandırma.
    --component-version Çeşitli Hadoop bileşenlerinin 'component=version' biçimindeki boşlukla ayrılmış sürümlerindeki sürümleri. Bu makalede, componentVersion'a geçirilen değer olarak --component-version değişkeni kullanılır. Bkz. ayrıca: Hadoop bileşenleri.

    RESOURCEGROUPNAME, LOCATION, CLUSTERNAME, STORAGEACCOUNTNAMEve PASSWORD istediğiniz değerlerle değiştirin. Diğer değişkenlerin değerlerini istediğiniz gibi değiştirin. Ardından CLI komutlarını girin.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Aşağıdaki komutu girerek kaynak grubu oluşturun:

    az group create \
    --location $location \
    --name $resourceGroupName

    Geçerli konumların listesi için az account list-locations komutunu ve ardından name değerindeki konumlardan birini kullanın.

  4. Aşağıdaki komutu girerek azure depolama hesabı oluşturun:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Azure Depolama hesabı birincil anahtarı ayıklayın ve aşağıdaki komutu girerek bir değişkende depolayın:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Aşağıdaki komutu girerek Azure Depolama kapsayıcısı oluşturun:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Aşağıdaki komutu girerek HDInsight kümesi oluşturun:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Önemli

    HDInsight kümeleri, kümenin ayarlandığı iş yüküne veya teknolojiye karşılık gelen çeşitli türlerde gelir. Bir kümede HBase gibi birden çok türü birleştiren bir küme oluşturmak için desteklenen bir yöntem yoktur.

    Küme oluşturma işleminin tamamlanması birkaç dakika sürebilir. Genellikle 15 civarında.

Kaynakları temizleme

Makaleyi tamamladıktan sonra kümeyi silmek isteyebilirsiniz. HDInsight ile verileriniz Azure Depolama'da depolanır, böylece kullanımda olmayan bir kümeyi güvenle silebilirsiniz. Kullanımda olmasa bile HDInsight kümesi için de ücretlendirilirsiniz. Küme ücretleri depolama ücretlerinden çok daha fazla olduğundan, kullanımda olmayan kümeleri silmek ekonomik bir anlam ifade eder.

Kaynakları kaldırmak için aşağıdaki komutların tümünü veya bazılarını girin:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Sorun giderme

HDInsight kümeleri oluştururken sorun yaşarsanız bkz. erişim denetimi gereksinimleri.

Sonraki adımlar

Azure CLI kullanarak bir HDInsight kümesini başarıyla oluşturduğunuza göre, kümenizle nasıl çalışacağınızı öğrenmek için aşağıdakileri kullanın:

Apache Hadoop kümeleri

Apache HBase kümeleri

  • Last updated on