Udostępnij za pośrednictwem

Zarządzanie klastrami Apache Hadoop w usłudze HDInsight przy użyciu programu Azure PowerShell

  • Artykuł

Program Azure PowerShell może służyć do kontrolowania i automatyzowania wdrażania obciążeń i zarządzania nimi na platformie Azure. Z tego artykułu dowiesz się, jak zarządzać klastrami Apache Hadoop w usłudze Azure HDInsight przy użyciu modułu Az programu Azure PowerShell. Aby uzyskać listę poleceń cmdlet programu PowerShell usługi HDInsight, zobacz dokumentację modułu Az.HDInsight.

Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Wymagania wstępne

Uwaga

Do interakcji z platformą Azure zalecamy używanie modułu Azure Az w programie PowerShell. Aby rozpocząć, zobacz Instalowanie programu Azure PowerShell. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.

Zainstalowany moduł Az programu PowerShell.

Tworzenie klastrów

Zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu programu Azure PowerShell

Wyświetlanie listy klastrów

Użyj następującego polecenia, aby wyświetlić listę wszystkich klastrów w bieżącej subskrypcji:

Get-AzHDInsightCluster

Pokaż klaster

Użyj następującego polecenia, aby wyświetlić szczegóły określonego klastra w bieżącej subskrypcji:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Usuwanie klastrów

Użyj następującego polecenia, aby usunąć klaster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Klaster można również usunąć, usuwając grupę zasobów zawierającą klaster. Usunięcie grupy zasobów powoduje usunięcie wszystkich zasobów w grupie, w tym domyślnego konta magazynu.

Remove-AzResourceGroup -Name <Resource Group Name>

Skalowanie klastrów

Funkcja skalowania klastra umożliwia zmianę liczby węzłów roboczych używanych przez klaster uruchomiony w usłudze Azure HDInsight bez konieczności ponownego tworzenia klastra. Aby zmienić rozmiar klastra Hadoop przy użyciu programu Azure PowerShell, uruchom następujące polecenie z komputera klienckiego:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Aby uzyskać więcej informacji na temat skalowania klastrów, zobacz Skalowanie klastrów usługi HDInsight.

Aktualizowanie poświadczeń użytkownika HTTP

Set-AzHDInsightGatewayCredential ustawia poświadczenia HTTP bramy klastra usługi Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Znajdowanie domyślnego konta magazynu

Poniższy skrypt programu PowerShell pokazuje, jak uzyskać domyślną nazwę konta magazynu i powiązane informacje:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Znajdowanie grupy zasobów

W trybie usługi Resource Manager każdy klaster usługi HDInsight należy do grupy zasobów platformy Azure. Aby znaleźć grupę zasobów:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Przesyłanie zadań

Aby przesłać zadania MapReduce

Zobacz Run the MapReduce examples included in HDInsight (Uruchamianie przykładów usługi MapReduce zawartych w usłudze HDInsight).

Aby przesłać zadania apache Hive

Zobacz Uruchamianie zapytań apache Hive przy użyciu programu PowerShell.

Aby przesłać zadania platformy Apache Sqoop

Zobacz Używanie narzędzia Apache Sqoop z usługą HDInsight.

Aby przesłać zadania apache Oozie

Zobacz Definiowanie i uruchamianie przepływu pracy w usłudze HDInsight przy użyciu usługi Apache Oozie z usługą Apache Hadoop.

Przekazywanie danych do usługi Azure Blob Storage

Zobacz Przekazywanie danych do usługi HDInsight.

Zobacz też