Teilen über

Erstellen von HDInsight-Clustern mithilfe der Azure CLI

Die Schritte in diesem Dokument werden schrittweise zum Erstellen eines HDInsight 4.0-Clusters mithilfe der Azure CLI beschrieben.

Warnung

Die Abrechnung für die HDInsight-Cluster erfolgt anteilsmäßig auf Minutenbasis und ist unabhängig von der Verwendung. Daher sollten Sie Ihren Cluster nach der Verwendung unbedingt wieder löschen. Sehen Sie sich die Informationen zum Löschen eines HDInsight-Clusters an.

Wenn Sie nicht über ein Azure-Konto verfügen, erstellen Sie ein kostenloses Konto , bevor Sie beginnen.

Voraussetzungen

Erstellen eines Clusters

  1. Melden Sie sich bei Ihrem Azure-Abonnement an. Wenn Sie beabsichtigen, Azure Cloud Shell zu verwenden, wählen Sie "Testen" in der oberen rechten Ecke des Codeblocks aus. Geben Sie andernfalls den folgenden Befehl ein:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Legen Sie Umgebungsvariablen fest. Die Verwendung von Variablen in diesem Artikel basiert auf Bash. Für andere Umgebungen sind leichte Abweichungen erforderlich. Eine vollständige Liste möglicher Parameter für die Clustererstellung finden Sie unter az-hdinsight-create .

    Parameter BESCHREIBUNG
    --workernode-count Die Anzahl an Workerknoten im Cluster. In diesem Artikel wird die Variable clusterSizeInNodes als Wert an --workernode-count übergeben.
    --version Die HDInsight-Clusterversion. In diesem Artikel wird die Variable clusterVersion als Wert an --version übergeben. Siehe auch: Unterstützte HDInsight-Versionen.
    --type Typ des HDInsight-Clusters, beispielsweise: hadoop, interaktive Hive, hbase, kafka, spark, rserver, mlservices. In diesem Artikel wird die Variable clusterType als Wert an --type übergeben. Siehe auch: Clustertypen und -konfigurationen.
    --component-version Die Versionen verschiedener Hadoop-Komponenten durch Leerzeichen getrennt im Format „Komponente=Version“. In diesem Artikel wird die Variable componentVersion als Wert an --component-version übergeben. Siehe auch: Hadoop-Komponenten.

    Ersetzen Sie RESOURCEGROUPNAME, LOCATION, CLUSTERNAME, STORAGEACCOUNTNAME und PASSWORD durch die gewünschten Werte. Ändern Sie die Werte für die anderen Variablen nach Bedarf. Geben Sie dann die CLI-Befehle ein.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Erstellen Sie die Ressourcengruppe , indem Sie den folgenden Befehl eingeben:

    az group create \
    --location $location \
    --name $resourceGroupName

    Verwenden Sie für eine Liste gültiger Speicherorte den az account list-locations Befehl, und verwenden Sie dann einen der Speicherorte aus dem name Wert.

  4. Erstellen Sie ein Azure Storage-Konto , indem Sie den folgenden Befehl eingeben:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Extrahieren Sie den Primärschlüssel aus dem Azure Storage-Konto , und speichern Sie ihn in einer Variablen, indem Sie den folgenden Befehl eingeben:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Erstellen Sie einen Azure Storage-Container , indem Sie den folgenden Befehl eingeben:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Erstellen Sie den HDInsight-Cluster , indem Sie den folgenden Befehl eingeben:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Von Bedeutung

    HDInsight-Cluster kommen in verschiedenen Typen, die der Workload oder Technologie entsprechen, für die der Cluster optimiert ist. Es gibt keine unterstützte Methode zum Erstellen eines Clusters, der mehrere Typen kombiniert, z. B. HBase auf einem Cluster.

    Es kann mehrere Minuten dauern, bis der Clustererstellungsprozess abgeschlossen ist. Normalerweise etwa 15.

Bereinigen von Ressourcen

Nach Abschluss des Artikels kann es ratsam sein, den Cluster zu löschen. Mit HDInsight werden Ihre Daten in Azure Storage gespeichert, sodass Sie einen Cluster problemlos löschen können, wenn er nicht verwendet wird. Für einen HDInsight-Cluster fallen auch dann Gebühren an, wenn er nicht verwendet wird. Da die Gebühren für den Cluster erheblich höher sind als die Kosten für den Speicher, ist es sinnvoll, nicht verwendete Cluster zu löschen.

Geben Sie die folgenden Befehle oder einige von ihnen ein, um Ressourcen zu entfernen:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Fehlersuche

Falls beim Erstellen von HDInsight-Clustern Probleme auftreten, sehen Sie sich die Voraussetzungen für die Zugriffssteuerung an.

Nächste Schritte

Nachdem Sie nun erfolgreich einen HDInsight-Cluster mithilfe der Azure CLI erstellt haben, verwenden Sie folgendes, um zu erfahren, wie Sie mit Ihrem Cluster arbeiten:

Apache Hadoop-Cluster

Apache HBase Cluster

  • Last updated on