Gestion des clusters Apache Hadoop dans HDInsight au moyen d’Azure PowerShell

Article
10/17/2024

Azure PowerShell permet de contrôler et d’automatiser le déploiement et la gestion de vos charges de travail dans Azure. Dans cet article, vous allez découvrir comment gérer des clusters Apache Hadoop dans Azure HDInsight à l’aide de module Az de Azure PowerShell. Pour obtenir la liste des cmdlets PowerShell HDInsight, consultez la rubrique Référence Az.HDInsight.

Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.

Prérequis

Notes

Nous vous recommandons d’utiliser le module Azure Az PowerShell pour interagir avec Azure. Pour commencer, consultez Installer Azure PowerShell. Pour savoir comment migrer vers le module Az PowerShell, consultez Migrer Azure PowerShell depuis AzureRM vers Az.

Le module Az PowerShell installé.

Créer des clusters

Consultez la page Créer des clusters basés sur Linux dans HDInsight à l’aide d’Azure PowerShell

Lister les clusters

Utilisez la commande suivante pour afficher la liste de tous les clusters de l’abonnement actif :

Get-AzHDInsightCluster

Afficher le cluster

Utilisez la commande suivante pour afficher les détails d’un cluster spécifique dans l’abonnement actif :

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Suppression des clusters

Utilisez la commande suivante pour supprimer un cluster :

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Vous pouvez également supprimer un cluster en supprimant le groupe de ressources qui le contient. Supprimer un groupe de ressources supprime toutes les ressources dans le groupe, notamment le compte de stockage par défaut.

Remove-AzResourceGroup -Name <Resource Group Name>

Mise à l’échelle des clusters

La fonctionnalité de mise à l’échelle d’un cluster vous permet de modifier le nombre de nœuds de travail utilisés par un cluster exécuté dans Azure HDInsight sans avoir à recréer ce cluster. Pour modifier la taille du cluster Hadoop à l’aide d’Azure PowerShell, exécutez la commande suivante depuis un ordinateur client :

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Pour plus d’informations sur la mise à l’échelle des clusters, consultez Mettre à l’échelle les clusters HDInsight.

Mettre à jour les informations d’identification de l’utilisateur HTTP

Set-AzHDInsightGatewayCredential définit les informations d'identification HTTP de passerelle d'un cluster Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Trouvez le compte de stockage par défaut

Le script PowerShell suivant montre comment obtenir le nom de compte de stockage par défaut et les informations connexes :

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Trouvez le groupe de ressources

En mode Resource Manager, chaque cluster HDInsight appartient à un groupe de ressources Azure. Pour rechercher le groupe de ressources :

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Soumettre les travaux

Pour envoyer des tâches MapReduce

Consultez Exécuter les exemples MapReduce inclus dans HDInsight.

Pour envoyer des travaux Apache Hive

Consultez Exécuter des requêtes Apache Hive avec PowerShell.

Pour envoyer des travaux Apache Sqoop

Consultez Utiliser Apache Sqoop avec HDInsight.

Pour envoyer des travaux Apache Oozie

Consultez Utilisation d’Apache Oozie avec Apache Hadoop pour définir et exécuter un workflow Azure HDInsight basé sur Linux.

Téléchargement de données vers le stockage d'objets blob Azure

Consultez Charger les données vers HDInsight.

Partage via