HDInsight-clusters maken met behulp van de Azure CLI

  • Artikel

De stappen in dit document maken van een HDInsight 4.0-cluster met behulp van de Azure CLI.

Waarschuwing

HDInsight-clusters worden pro rato per minuut gefactureerd, ongeacht of u er wel of niet gebruik van maakt. Verwijder uw cluster daarom als u er klaar mee bent. Zie how to delete an HDInsight cluster (een HDInsight-cluster verwijderen).

Als u geen Azure-abonnement hebt, kunt u een gratis Azure-account maken voordat u begint.

Vereisten

Een cluster maken

  1. Aanmelden bij uw Azure-abonnement. Als u Azure Cloud Shell wilt gebruiken, selecteert u Probeer het in de rechterbovenhoek van het codeblok. Voer anders de volgende opdracht in:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Stel omgevingsvariabelen in. Het gebruik van variabelen in dit artikel is gebaseerd op Bash. Er zijn kleine variaties nodig voor andere omgevingen. Zie az-hdinsight-create voor een volledige lijst met mogelijke parameters voor het maken van clusters.

    Parameter Description
    --workernode-count Het aantal werkknooppunten in het cluster. In dit artikel wordt de variabele clusterSizeInNodes gebruikt als de waarde die wordt doorgegeven aan --workernode-count.
    --version De HDInsight-clusterversie. In dit artikel wordt de variabele clusterVersion gebruikt als de waarde die wordt doorgegeven aan --version. Zie ook: Ondersteunde HDInsight-versies.
    --type Type HDInsight-cluster, zoals: hadoop, interactieve hive, hbase, kafka, spark, rserver, mlservices. In dit artikel wordt de variabele clusterType gebruikt als de waarde die wordt doorgegeven aan --type. Zie ook: Clustertypen en configuratie.
    --component-version De versies van verschillende Hadoop-onderdelen, in door spaties gescheiden versies in de indeling 'component=version'. In dit artikel wordt de variabele componentVersion gebruikt als de waarde die wordt doorgegeven aan --component-version. Zie ook: Hadoop-onderdelen.

    Vervang RESOURCEGROUPNAME, LOCATION, , CLUSTERNAME, STORAGEACCOUNTNAMEen PASSWORD door de gewenste waarden. Wijzig de waarden voor de andere variabelen naar wens. Voer vervolgens de CLI-opdrachten in.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Maak de resourcegroep door de volgende opdracht in te voeren:

    az group create \
    --location $location \
    --name $resourceGroupName

    Voor een lijst met geldige locaties gebruikt u de az account list-locations opdracht en gebruikt u vervolgens een van de locaties uit de name waarde.

  4. Maak een Azure Storage-account door de volgende opdracht in te voeren:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Pak de primaire sleutel uit het Azure Storage-account en sla deze op in een variabele door de volgende opdracht in te voeren:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Maak een Azure Storage-container door de volgende opdracht in te voeren:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Maak het HDInsight-cluster door de volgende opdracht in te voeren:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Belangrijk

    HDInsight-clusters zijn beschikbaar in verschillende typen, die overeenkomen met de workload of technologie waarvoor het cluster is afgestemd. Er is geen ondersteunde methode om een cluster te maken dat meerdere typen combineert, zoals HBase op één cluster.

    Het kan enkele minuten duren voordat het cluster is gemaakt. Meestal ongeveer 15.

Resources opschonen

Nadat u het artikel hebt voltooid, kunt u het cluster verwijderen. Met HDInsight worden uw gegevens opgeslagen in Azure Storage zodat u een cluster veilig kunt verwijderen wanneer deze niet wordt gebruikt. Voor een HDInsight-cluster worden ook kosten in rekening gebracht, zelfs wanneer het niet wordt gebruikt. Aangezien de kosten voor het cluster vaak zoveel hoger zijn dan de kosten voor opslag, is het financieel gezien logischer clusters te verwijderen wanneer ze niet worden gebruikt.

Voer alle of enkele van de volgende opdrachten in om resources te verwijderen:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Problemen oplossen

Zie Vereisten voor toegangsbeheer als u problemen ondervindt met het maken van HDInsight-clusters.

Volgende stappen

Nu u een HDInsight-cluster hebt gemaakt met behulp van de Azure CLI, gebruikt u het volgende om te leren werken met uw cluster:

Apache Hadoop-clusters

Apache HBase-clusters