Udostępnij przez

Zarządzanie klastrami Apache Hadoop w usłudze Azure HDInsight przy użyciu programu PowerShell

Za pomocą programu Azure PowerShell można kontrolować i automatyzować wdrażanie obciążeń i zarządzanie nimi na platformie Azure. Z tego artykułu dowiesz się, jak zarządzać klastrami Apache Hadoop w usłudze Azure HDInsight przy użyciu modułu Az programu PowerShell. Aby uzyskać listę poleceń cmdlet programu PowerShell usługi HDInsight, zobacz dokumentację modułu Az.HDInsight.

Jeśli nie masz subskrypcji Azure, przed rozpoczęciem utwórz darmowe konto.

Prerequisites

Note

Zalecamy użycie modułu Azure Az PowerShell do interakcji z Azure. Aby rozpocząć, zobacz Instalowanie programu Azure PowerShell. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.

Zainstalowany moduł Az programu PowerShell .

Tworzenie klastrów

Aby utworzyć klastry, zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu programu Azure PowerShell.

Lista klastrów

Aby wyświetlić listę wszystkich klastrów w bieżącej subskrypcji, użyj następującego polecenia:

Get-AzHDInsightCluster

Pokaż klastry

Aby wyświetlić szczegóły określonego klastra w bieżącej subskrypcji, użyj następującego polecenia:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Usuwanie klastrów

Aby usunąć klaster, użyj następującego polecenia:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Klaster można również usunąć, usuwając grupę zasobów zawierającą klaster. Usunięcie grupy zasobów powoduje usunięcie wszystkich zasobów w grupie, w tym domyślnego konta magazynu.

Remove-AzResourceGroup -Name <Resource Group Name>

Skalowanie klastrów

Funkcja skalowania klastra umożliwia zmianę liczby węzłów roboczych używanych przez klaster działający w usłudze HDInsight bez konieczności ponownego tworzenia klastra. Aby zmienić rozmiar klastra Hadoop przy użyciu programu PowerShell, uruchom następujące polecenie z komputera klienckiego:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Aby uzyskać więcej informacji na temat skalowania klastrów, zobacz Skalowanie klastrów usługi HDInsight.

Aktualizowanie poświadczeń użytkownika HTTP

Parametr Set-AzHDInsightGatewayCredential ustawia poświadczenia bramy HTTP klastra HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Znajdź domyślne konto magazynowe

Poniższy skrypt programu PowerShell pokazuje, jak uzyskać nazwę domyślnego konta magazynowego i powiązane informacje.

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Znajdowanie grupy zasobów

W trybie usługi Azure Resource Manager każdy klaster usługi HDInsight należy do grupy zasobów platformy Azure. Aby znaleźć grupę zasobów, użyj następującego polecenia:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Przesyłanie zadań

Aby przesłać zadania przy użyciu następujących produktów, postępuj zgodnie z instrukcjami w dokumentacji:

Przekazywanie danych do usługi Azure Blob Storage

Aby przekazać dane do usługi Azure Blob Storage, zobacz Przekazywanie danych do usługi HDInsight.

Treści powiązane

  • Last updated on