Créer des clusters HDInsight à l’aide de l’interface de ligne de commande Azure

• Vue d’ensemble
• Azure portal
• Azure Data Factory.
• Azure CLI
• Azure PowerShell
• API REST (cURL)
• Modèles Microsoft Azure Resource Manager

Les étapes de cette procédure présentent la création d’un cluster HDInsight 4.0 à l’aide d’Azure CLI.

Avertissement

La facturation des clusters HDInsight est calculée au prorata des minutes écoulées, que vous les utilisiez ou non. Veillez à supprimer votre cluster une fois que vous avez terminé de l’utiliser. Consultez Guide pratique pour supprimer un cluster HDInsight.

Si vous n’avez pas d’abonnement Azure, créez un compte gratuit Azure avant de commencer.

Prérequis

• Utilisez l’environnement Bash dans Azure Cloud Shell. Pour plus d’informations, consultez Démarrage rapide pour Bash dans Azure Cloud Shell.

  

• Si vous préférez exécuter les commandes de référence de l’interface de ligne de commande localement, installez l’interface Azure CLI. Si vous exécutez sur Windows ou macOS, envisagez d’exécuter Azure CLI dans un conteneur Docker. Pour plus d’informations, consultez Guide pratique pour exécuter Azure CLI dans un conteneur Docker.

  • Si vous utilisez une installation locale, connectez-vous à Azure CLI à l’aide de la commande az login. Pour finir le processus d’authentification, suivez les étapes affichées dans votre terminal. Pour connaître les autres options de connexion, consultez Se connecter avec Azure CLI.

  • Lorsque vous y êtes invité, installez l’extension Azure CLI lors de la première utilisation. Pour plus d’informations sur les extensions, consultez Utiliser des extensions avec Azure CLI.

  • Exécutez az version pour rechercher la version et les bibliothèques dépendantes installées. Pour effectuer une mise à niveau vers la dernière version, exécutez az upgrade.

Créer un cluster

1. Connectez-vous à votre abonnement Azure. Si vous prévoyez d’utiliser Azure Cloud Shell, sélectionnez Essayer dans le coin supérieur droit du bloc de code. Sinon, entrez la commande suivante :

   az login
   
   # If you have multiple subscriptions, set the one to use
   # az account set --subscription "SUBSCRIPTIONID"
   

2. Définir des variables d’environnement L’utilisation des variables de cet article repose sur Bash. De petites modifications sont nécessaires si vous utilisez d'autres environnements. Consultez az-hdinsight-create pour accéder à une liste complète des paramètres possibles pour la création du cluster.

   Paramètre	Description
   --workernode-count	Nombre de nœuds Worker figurant dans le cluster. Cet article utilise la variable clusterSizeInNodes en tant que valeur passée à --workernode-count.
   --version	Version du cluster HDInsight Cet article utilise la variable clusterVersion en tant que valeur passée à --version. Voir aussi : Version de HDInsight prises en charge.
   --type	Type de cluster HDInsight, par exemple : hadoop, interactivehive, hbase, kafka, spark, rserver, mlservices. Cet article utilise la variable clusterType en tant que valeur passée à --type. Voir aussi : Types de cluster et configuration.
   --component-version	Versions des différents composants Hadoop, séparées par des espaces, au format « composant=version ». Cet article utilise la variable componentVersion en tant que valeur passée à --component-version. Voir aussi : Composants Hadoop.

   Remplacez RESOURCEGROUPNAME, LOCATION, CLUSTERNAME, STORAGEACCOUNTNAME, et PASSWORD par les valeurs souhaitées. Modifiez les valeurs des autres variables comme vous le souhaitez. Entrez ensuite les commandes CLI.

   export resourceGroupName=RESOURCEGROUPNAME
   export location=LOCATION
   export clusterName=CLUSTERNAME
   export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
   export httpCredential='PASSWORD'
   export sshCredentials='PASSWORD'
   
   export AZURE_STORAGE_CONTAINER=$clusterName
   export clusterSizeInNodes=1
   export clusterVersion=4.0
   export clusterType=hadoop
   export componentVersion=Hadoop=3.1
   

3. Créez le groupe de ressources en exécutant la commande suivante :

   az group create \
       --location $location \
       --name $resourceGroupName
   

   Pour obtenir la liste des emplacements valides, utilisez la commande az account list-locations, puis l’un des emplacements de la valeur name.

4. Créez un compte Stockage Azure en exécutant la commande suivante :

   # Note: kind BlobStorage is not available as the default storage account.
   az storage account create \
       --name $AZURE_STORAGE_ACCOUNT \
       --resource-group $resourceGroupName \
       --https-only true \
       --kind StorageV2 \
       --location $location \
       --sku Standard_LRS
   

5. Extrayez la clé primaire du compte Stockage Azure et stockez-la dans une variable en exécutant la commande suivante :

   export AZURE_STORAGE_KEY=$(az storage account keys list \
       --account-name $AZURE_STORAGE_ACCOUNT \
       --resource-group $resourceGroupName \
       --query [0].value -o tsv)
   

6. Créez un conteneur Stockage Azure en exécutant la commande suivante :

   az storage container create \
       --name $AZURE_STORAGE_CONTAINER \
       --account-key $AZURE_STORAGE_KEY \
       --account-name $AZURE_STORAGE_ACCOUNT
   

7. Créez le cluster HDInsight en saisissant la commande suivante :

   az hdinsight create \
       --name $clusterName \
       --resource-group $resourceGroupName \
       --type $clusterType \
       --component-version $componentVersion \
       --http-password $httpCredential \
       --http-user admin \
       --location $location \
       --workernode-count $clusterSizeInNodes \
       --ssh-password $sshCredentials \
       --ssh-user sshuser \
       --storage-account $AZURE_STORAGE_ACCOUNT \
       --storage-account-key $AZURE_STORAGE_KEY \
       --storage-container $AZURE_STORAGE_CONTAINER \
       --version $clusterVersion
   

   Important

   Il existe différents types de clusters HDInsight correspondant à la charge de travail ou à la technologie pour laquelle ils sont utilisés. Il n’existe aucune méthode prise en charge pour créer un cluster combinant plusieurs types, tels que HBase sur un seul cluster.

   Le processus de création de cluster peut prendre plusieurs minutes. En règle générale, il dure environ 15 minutes.

Nettoyer les ressources

Après avoir terminé ce tutoriel, vous souhaiterez peut-être supprimer le cluster. Avec HDInsight, vos données sont stockées dans le stockage Azure. Vous pouvez ainsi supprimer un cluster en toute sécurité s’il n’est pas en cours d’utilisation. Vous devez également payer pour un cluster HDInsight, même quand vous ne l’utilisez pas. Étant donné que les frais pour le cluster sont bien plus élevés que les frais de stockage, mieux vaut supprimer les clusters quand ils ne sont pas utilisés.

Entrez tout ou partie des commandes suivantes pour supprimer des ressources :

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Dépanner

Si vous rencontrez des problèmes lors de la création de clusters HDInsight, reportez-vous aux exigences de contrôle d’accès.

Étapes suivantes

Vous avez créé un cluster HDInsight à l’aide de l’interface de ligne de commande Azure. Pour apprendre à l’utiliser, consultez les rubriques ci-dessous :

Clusters Apache Hadoop

• Utilisation d’Apache Hive avec HDInsight
• Utilisation de MapReduce avec HDInsight

Clusters Apache HBase

• Bien démarrer avec Apache HBase sur HDInsight
• Développer des applications Java pour Apache HBase sur HDInsight