Créer des clusters HDInsight à l’aide de l’interface de ligne de commande Azure

  • Article

Les étapes de cette procédure présentent la création d’un cluster HDInsight 4.0 à l’aide d’Azure CLI.

Avertissement

La facturation des clusters HDInsight est calculée au prorata des minutes écoulées, que vous les utilisiez ou non. Veillez à supprimer votre cluster une fois que vous avez terminé de l’utiliser. Consultez Guide pratique pour supprimer un cluster HDInsight.

Si vous n’avez pas d’abonnement Azure, créez un compte gratuit Azure avant de commencer.

Prérequis

Créer un cluster

  1. Connectez-vous à votre abonnement Azure. Si vous prévoyez d’utiliser Azure Cloud Shell, sélectionnez Essayer dans le coin supérieur droit du bloc de code. Sinon, entrez la commande suivante :

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Définir des variables d’environnement L’utilisation des variables de cet article repose sur Bash. De petites modifications sont nécessaires si vous utilisez d'autres environnements. Consultez az-hdinsight-create pour accéder à une liste complète des paramètres possibles pour la création du cluster.

    Paramètre Description
    --workernode-count Nombre de nœuds Worker figurant dans le cluster. Cet article utilise la variable clusterSizeInNodes en tant que valeur passée à --workernode-count.
    --version Version du cluster HDInsight Cet article utilise la variable clusterVersion en tant que valeur passée à --version. Voir aussi : Version de HDInsight prises en charge.
    --type Type de cluster HDInsight, par exemple : hadoop, interactivehive, hbase, kafka, spark, rserver, mlservices. Cet article utilise la variable clusterType en tant que valeur passée à --type. Voir aussi : Types de cluster et configuration.
    --component-version Versions des différents composants Hadoop, séparées par des espaces, au format « composant=version ». Cet article utilise la variable componentVersion en tant que valeur passée à --component-version. Voir aussi : Composants Hadoop.

    Remplacez RESOURCEGROUPNAME, LOCATION, CLUSTERNAME, STORAGEACCOUNTNAME, et PASSWORD par les valeurs souhaitées. Modifiez les valeurs des autres variables comme vous le souhaitez. Entrez ensuite les commandes CLI.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Créez le groupe de ressources en exécutant la commande suivante :

    az group create \
    --location $location \
    --name $resourceGroupName

    Pour obtenir la liste des emplacements valides, utilisez la commande az account list-locations, puis l’un des emplacements de la valeur name.

  4. Créez un compte Stockage Azure en exécutant la commande suivante :

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Extrayez la clé primaire du compte Stockage Azure et stockez-la dans une variable en exécutant la commande suivante :

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Créez un conteneur Stockage Azure en exécutant la commande suivante :

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Créez le cluster HDInsight en saisissant la commande suivante :

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Important

    Il existe différents types de clusters HDInsight correspondant à la charge de travail ou à la technologie pour laquelle ils sont utilisés. Il n’existe aucune méthode prise en charge pour créer un cluster combinant plusieurs types, tels que HBase sur un seul cluster.

    Le processus de création de cluster peut prendre plusieurs minutes. En règle générale, il dure environ 15 minutes.

Nettoyer les ressources

Après avoir terminé ce tutoriel, vous souhaiterez peut-être supprimer le cluster. Avec HDInsight, vos données sont stockées dans le stockage Azure. Vous pouvez ainsi supprimer un cluster en toute sécurité s’il n’est pas en cours d’utilisation. Vous devez également payer pour un cluster HDInsight, même quand vous ne l’utilisez pas. Étant donné que les frais pour le cluster sont bien plus élevés que les frais de stockage, mieux vaut supprimer les clusters quand ils ne sont pas utilisés.

Entrez tout ou partie des commandes suivantes pour supprimer des ressources :

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Dépanner

Si vous rencontrez des problèmes lors de la création de clusters HDInsight, reportez-vous aux exigences de contrôle d’accès.

Étapes suivantes

Vous avez créé un cluster HDInsight à l’aide de l’interface de ligne de commande Azure. Pour apprendre à l’utiliser, consultez les rubriques ci-dessous :

Clusters Apache Hadoop

Clusters Apache HBase