Apache Hadoop-clusters in HDInsight beheren met behulp van Azure PowerShell

Artikel
10/17/2024

Azure PowerShell kan worden gebruikt om de implementatie en het beheer van uw workloads in Azure te beheren en te automatiseren. In dit artikel leert u hoe u Apache Hadoop-clusters beheert in Azure HDInsight met behulp van de Azure PowerShell Az-module. Zie de naslaginformatie over Az.HDInsight voor de lijst met HDInsight PowerShell-cmdlets.

Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

Vereisten

Notitie

Het wordt aanbevolen de Azure Az PowerShell-module te gebruiken om te communiceren met Azure. Zie Azure PowerShell installeren om aan de slag te gaan. Raadpleeg Azure PowerShell migreren van AzureRM naar Az om te leren hoe u naar de Azure PowerShell-module migreert.

De Az-module van PowerShell geïnstalleerd.

Clusters maken

Zie Clusters op basis van Linux maken in HDInsight met behulp van Azure PowerShell

Clusters weergeven

Gebruik de volgende opdracht om alle clusters in het huidige abonnement weer te geven:

Get-AzHDInsightCluster

Cluster weergeven

Gebruik de volgende opdracht om details van een specifiek cluster in het huidige abonnement weer te geven:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Clusters verwijderen

Gebruik de volgende opdracht om een cluster te verwijderen:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

U kunt een cluster ook verwijderen door de resourcegroep die het cluster bevat te verwijderen. Als u een resourcegroep verwijdert, worden alle resources in de groep verwijderd, inclusief het standaardopslagaccount.

Remove-AzResourceGroup -Name <Resource Group Name>

Clusters schalen

Met de functie voor clusterschalen kunt u het aantal werkknooppunten wijzigen dat wordt gebruikt door een cluster dat wordt uitgevoerd in Azure HDInsight zonder dat u het cluster opnieuw hoeft te maken. Als u de hadoop-clustergrootte wilt wijzigen met behulp van Azure PowerShell, voert u de volgende opdracht uit vanaf een clientcomputer:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Zie HDInsight-clusters schalen voor meer informatie over het schalen van clusters.

HTTP-gebruikersreferenties bijwerken

Set-AzHDInsightGatewayCredential stelt de HTTP-referenties van de gateway van een Azure HDInsight-cluster in.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Het standaardopslagaccount zoeken

Het volgende PowerShell-script laat zien hoe u de standaardnaam van het opslagaccount en de gerelateerde informatie opvragen:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

De resourcegroep zoeken

In de Resource Manager-modus behoort elk HDInsight-cluster tot een Azure-resourcegroep. Ga als volgende te werk om de resourcegroep te vinden:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Taken verzenden

MapReduce-taken verzenden

Zie De MapReduce-voorbeelden uitvoeren die zijn opgenomen in HDInsight.

Apache Hive-taken verzenden

Zie Apache Hive-query's uitvoeren met behulp van PowerShell.

Apache Sqoop-taken verzenden

Zie Apache Sqoop gebruiken met HDInsight.

Apache Oozie-taken verzenden

Zie Apache Oozie gebruiken met Apache Hadoop om een werkstroom in HDInsight te definiëren en uit te voeren.

Gegevens uploaden naar Azure Blob Storage

Zie Gegevens uploaden naar HDInsight.

Delen via