Lire en anglais

Partager via

Gérer les clusters Apache Hadoop dans HDInsight au moyen de PowerShell

  • Article

Vous pouvez utiliser Azure PowerShell pour contrôler et automatiser le déploiement et la gestion de vos charges de travail dans Azure. Dans cet article, vous allez découvrir comment gérer des clusters Apache Hadoop dans Azure HDInsight à l’aide du module Az PowerShell. Pour obtenir la liste des cmdlets PowerShell HDInsight, consultez la rubrique Référence Az.HDInsight.

Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.

Prérequis

Note

Nous vous recommandons d’utiliser le module Azure Az PowerShell pour interagir avec Azure. Pour bien démarrer, consultez Installer Azure PowerShell. Pour savoir comment migrer vers le module Az PowerShell, consultez Migrer Azure PowerShell depuis AzureRM vers Az.

Le module Az PowerShell installé.

Créer des clusters

Pour créer des clusters, consultez Créer des clusters basés sur Linux dans HDInsight à l’aide d’Azure PowerShell.

Lister les clusters

Pour afficher la liste de tous les clusters de l’abonnement actif, utilisez la commande suivante :

PowerShell 
Get-AzHDInsightCluster

Afficher les clusters

Pour afficher les détails d’un cluster spécifique dans l’abonnement actif, utilisez la commande suivante :

PowerShell 
Get-AzHDInsightCluster -ClusterName <Cluster Name>

Suppression des clusters

Pour supprimer un cluster, utilisez la commande suivante :

PowerShell 
Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Vous pouvez également supprimer un cluster en supprimant le groupe de ressources qui le contient. Supprimer un groupe de ressources supprime toutes les ressources dans le groupe, notamment le compte de stockage par défaut.

PowerShell 
Remove-AzResourceGroup -Name <Resource Group Name>

Mise à l’échelle des clusters

Vous pouvez utiliser la fonctionnalité de mise à l’échelle de cluster pour modifier le nombre de nœuds Worker utilisés par un cluster exécuté dans Azure HDInsight sans avoir à recréer ce cluster. Pour modifier la taille du cluster Hadoop à l’aide de PowerShell, exécutez la commande suivante à partir d’un ordinateur client :

PowerShell 
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Pour plus d’informations sur la mise à l’échelle des clusters, consultez Mettre à l’échelle les clusters HDInsight.

Mettre à jour les informations d’identification de l’utilisateur HTTP

Le paramètre Set-AzHDInsightGatewayCredential définit les informations d'identification HTTP de passerelle d’un cluster HDInsight.

PowerShell 
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Trouvez le compte de stockage par défaut

Le script PowerShell suivant montre comment obtenir le nom de compte de stockage par défaut et les informations connexes :

PowerShell 
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Trouvez le groupe de ressources

En mode Azure Resource Manager, chaque cluster HDInsight appartient à un groupe de ressources Azure. Pour rechercher le groupe de ressources, utilisez la commande suivante :

PowerShell 
$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Soumettre les travaux

Pour utiliser les produits suivants afin d’envoyer des travaux, suivez les instructions fournies dans les informations de référence :

Charger des données dans Stockage Blob Azure

Pour charger des données dans Stockage Blob Azure, consultez Charger des données dans HDInsight.

Contenu connexe