Aracılığıyla paylaş

Azure CLI kullanarak Data Lake Storage 2. Nesil ile küme oluşturma

  • Makale

Depolama için Data Lake Storage 2. Nesil kullanan bir HDInsight kümesi oluşturmak için şu adımları izleyin.

Önkoşullar

  • Azure Data Lake Storage 2. Nesil hakkında bilginiz yoksa genel bakış bölümüne göz atın.
  • Henüz bir Azure hesabınız yoksa, devam etmeden önce ücretsiz bir hesaba kaydolun.
  • CLI betik örneklerini çalıştırmak için üç seçeneğiniz vardır:
    • Azure portalından Azure Cloud Shell'i kullanın (sonraki bölüme bakın).
    • Her kod bloğunun sağ üst köşesinde bulunan "Deneyin" düğmesi aracılığıyla eklenmiş Azure Cloud Shell'i kullanın.
    • Yerel CLI konsolunu kullanmayı tercih ediyorsanız Azure CLI'nın en son sürümünü (2.0.13 veya üzeri) yükleyin. az loginkullanıcı tarafından atanan yönetilen kimliği dağıtmak istediğiniz Azure aboneliğiyle ilişkili bir hesabı kullanarak Azure'da oturum açın. Azure CLI.

Azure Cloud Shell

Azure, tarayıcınız aracılığıyla kullanabileceğiniz etkileşimli bir kabuk ortamı olan Azure Cloud Shell'i barındırıyor. Azure hizmetleriyle çalışmak için Cloud Shell ile Bash veya PowerShell kullanabilirsiniz. Yerel ortamınıza herhangi bir şey yüklemek zorunda kalmadan bu makaledeki kodu çalıştırmak için Cloud Shell önceden yüklenmiş komutlarını kullanabilirsiniz.

Azure Cloud Shell'i başlatmak için:

Seçenek Örnek/Bağlantı
Kodun veya komut bloğunun sağ üst köşesindeki Deneyin'i seçin. Deneyin seçildiğinde kod veya komut otomatik olarak Cloud Shell'e kopyalanmaz. Azure Cloud Shell için Deneyin örneğini gösteren ekran görüntüsü.
https://shell.azure.comadresine gidin veya Cloud Shell'i tarayıcınızda açmak için Cloud Shell'i Başlat düğmesini seçin. Azure Cloud Shell'i başlatma düğmesi.
Azure portalının sağ üst kısmındaki menü çubuğunda Cloud Shell düğmesini seçin. Azure portalında Cloud Shell düğmesini gösteren ekran görüntüsü

Azure Cloud Shell'i kullanmak için:

  1. Cloud Shell'i başlatın.

  2. Kodu veya komutu kopyalamak için kod bloğundaki (veya komut bloğundaki) Kopyala düğmesini seçin.

  3. Windows ve Linux'ta Ctrl+Shift V'yi seçerek veya macOS üzerinde Cmd+Shift++V'yi seçerek kodu veya komutu Cloud Shell oturumuna yapıştırın.

  4. Kodu veya komutu çalıştırmak için Enter'ı seçin.

Uyarı

HDInsight kümeleri için faturalama, kullansanız da kullanmasanız da dakikada bir eşit olarak dağıtılır. Kullanmayı bitirdikten sonra kümenizi sildiğinizden emin olun. Bkz . HDInsight kümesini silme.

Örnek bir şablon dosyası indirebilir ve örnek parametre dosyasını indirebilirsiniz. Aşağıdaki şablonu ve Azure CLI kod parçacığını kullanmadan önce aşağıdaki yer tutucuları doğru değerlerle değiştirin:

Yer tutucu Açıklama
<SUBSCRIPTION_ID> Azure aboneliğinizin kimliği
<RESOURCEGROUPNAME> Yeni küme ve depolama hesabının oluşturulmasını istediğiniz kaynak grubu.
<MANAGEDIDENTITYNAME> Azure Data Lake Storage 2. Nesil ile depolama hesabınızda izin verilecek yönetilen kimliğin adı.
<STORAGEACCOUNTNAME> Oluşturulacak Azure Data Lake Storage 2. Nesil içeren yeni depolama hesabı.
<FILESYSTEMNAME> Bu kümenin depolama hesabında kullanması gereken dosya sisteminin adı.
<CLUSTERNAME> HDInsight kümenizin adı.
<PASSWORD> SSH ve Ambari panosunu kullanarak kümede oturum açmak için seçtiğiniz parola.

Aşağıdaki kod parçacığı aşağıdaki ilk adımları uygular:

  1. Azure hesabınızda oturum açar.
  2. Oluşturma işlemlerinin yapılacağı etkin aboneliği ayarlar.
  3. Yeni dağıtım etkinlikleri için yeni bir kaynak grubu oluşturur.
  4. Kullanıcı tarafından atanan bir yönetilen kimlik oluşturur.
  5. Data Lake Storage 2. Nesil özelliklerini kullanmak için Azure CLI'ya bir uzantı ekler.
  6. bayrağını kullanarak --hierarchical-namespace true Data Lake Storage 2. Nesil ile yeni bir depolama hesabı oluşturur.
az login
az account set --subscription <SUBSCRIPTION_ID>

# Create resource group
az group create --name <RESOURCEGROUPNAME> --location eastus

# Create managed identity
az identity create -g <RESOURCEGROUPNAME> -n <MANAGEDIDENTITYNAME>

az extension add --name storage-preview

az storage account create --name <STORAGEACCOUNTNAME> \
    --resource-group <RESOURCEGROUPNAME> \
    --location eastus --sku Standard_LRS \
    --kind StorageV2 --hierarchical-namespace true

Ardından portalda oturum açın. Kullanıcı tarafından atanan yeni yönetilen kimliği depolama hesabındaki Depolama Blobu Veri Sahibi rolüne ekleyin. Bu adım, Azure portalını kullanma bölümünde 3. adımda açıklanmıştır.

Önemli

Depolama hesabınızın Depolama Blobu Veri Sahibi rol izinlerine sahip kullanıcı tarafından atanan kimliğe sahip olduğundan emin olun; aksi takdirde küme oluşturma başarısız olur.

az deployment group create --name HDInsightADLSGen2Deployment \
    --resource-group <RESOURCEGROUPNAME> \
    --template-file hdinsight-adls-gen2-template.json \
    --parameters parameters.json

Kaynakları temizleme

Makaleyi tamamladıktan sonra kümeyi silmek isteyebilirsiniz. HDInsight ile verileriniz Azure Depolama'da depolanır, böylece kullanımda olmayan bir kümeyi güvenle silebilirsiniz. Kullanımda olmasa bile HDInsight kümesi için de ücretlendirilirsiniz. Küme ücretleri depolama ücretlerinden çok daha fazla olduğundan, kullanımda olmayan kümeleri silmek ekonomik bir anlam ifade eder.

Kaynakları kaldırmak için aşağıdaki komutların tümünü veya bazılarını girin:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Sorun giderme

HDInsight kümeleri oluştururken sorun yaşarsanız bkz. erişim denetimi gereksinimleri.

Sonraki adımlar

HdInsight kümesini başarıyla oluşturdunuz. Şimdi kümenizle çalışmayı öğrenin.

Apache Spark kümeleri

Apache Hadoop kümeleri

Apache HBase kümeleri