Hantera Apache Hadoop-kluster i HDInsight med hjälp av Azure PowerShell

Artikel
10/17/2024

Azure PowerShell kan användas för att styra och automatisera distributionen och hanteringen av dina arbetsbelastningar i Azure. I den här artikeln får du lära dig hur du hanterar Apache Hadoop-kluster i Azure HDInsight med hjälp av Azure PowerShell Az-modulen. En lista över HDInsight PowerShell-cmdletar finns i Az.HDInsight-referensen.

Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.

Förutsättningar

Kommentar

Vi rekommenderar att du använder Azure Az PowerShell-modulen för att interagera med Azure. Information om hur du kommer igång finns i Installera Azure PowerShell. Information om hur du migrerar till Az PowerShell-modulen finns i artikeln om att migrera Azure PowerShell från AzureRM till Az.

PowerShell Az-modulen har installerats.

Skapa kluster

Se Skapa Linux-baserade kluster i HDInsight med Azure PowerShell

Lista kluster

Använd följande kommando för att lista alla kluster i den aktuella prenumerationen:

Get-AzHDInsightCluster

Visa kluster

Använd följande kommando för att visa information om ett specifikt kluster i den aktuella prenumerationen:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Ta bort kluster

Använd följande kommando för att ta bort ett kluster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Du kan också ta bort ett kluster genom att ta bort resursgruppen som innehåller klustret. Om du tar bort en resursgrupp tas alla resurser i gruppen bort, inklusive standardlagringskontot.

Remove-AzResourceGroup -Name <Resource Group Name>

Skala kluster

Med funktionen för klusterskalning kan du ändra antalet arbetsnoder som används av ett kluster som körs i Azure HDInsight utan att behöva återskapa klustret. Om du vill ändra Hadoop-klusterstorleken med hjälp av Azure PowerShell kör du följande kommando från en klientdator:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Mer information om skalning av kluster finns i Skala HDInsight-kluster.

Uppdatera autentiseringsuppgifter för HTTP-användare

Set-AzHDInsightGatewayCredential anger GATEWAY HTTP-autentiseringsuppgifterna för ett Azure HDInsight-kluster.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Hitta standardlagringskontot

Följande PowerShell-skript visar hur du hämtar standardnamnet för lagringskontot och den relaterade informationen:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Hitta resursgruppen

I Resource Manager-läget tillhör varje HDInsight-kluster en Azure-resursgrupp. Så här hittar du resursgruppen:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Skicka jobb

Skicka MapReduce-jobb

Se Kör MapReduce-exemplen som ingår i HDInsight.

Skicka Apache Hive-jobb

Se Köra Apache Hive-frågor med PowerShell.

Skicka Apache Sqoop-jobb

Se Använda Apache Sqoop med HDInsight.

Skicka Apache Oozie-jobb

Se Använda Apache Oozie med Apache Hadoop för att definiera och köra ett arbetsflöde i HDInsight.

Ladda upp data till Azure Blob Storage

Mer information finns i Överföra data till HDInsight.

Dela via