Verwalten von Apache Hadoop-Clustern in HDInsight mit Azure PowerShell

  • Artikel

Azure PowerShell kann zum Steuern und Automatisieren der Bereitstellung und Verwaltung Ihrer Workloads in Azure verwendet werden. In diesem Artikel erfahren Sie, wie Sie Apache Hadoop-Cluster in Azure HDInsight mithilfe des Azure PowerShell-Az-Moduls verwalten. Eine Liste der HDInsight PowerShell-Cmdlets finden Sie unter Az.HDInsight-Referenz.

Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.

Voraussetzungen

Hinweis

Es wird empfohlen, das Azure Az PowerShell-Modul für die Interaktion mit Azure zu verwenden. Informationen zu den ersten Schritten finden Sie unter Installieren des Azure Az PowerShell-Moduls. Informationen zum Migrieren zum Az PowerShell-Modul finden Sie unter Migrieren von Azure PowerShell von AzureRM zum Az-Modul.

Das PowerShell-Az-Modul ist installiert.

Erstellen von Clustern

Siehe Erstellen von Linux-basierten Clustern in HDInsight mit Azure PowerShell

Auflisten der Cluster

Verwenden Sie den folgenden Befehl, um alle Cluster des aktuellen Abonnements aufzulisten:

Get-AzHDInsightCluster

Anzeigen von Clustern

Verwenden Sie den folgenden Befehl, um Details zu einem bestimmten Cluster des aktuellen Abonnements anzuzeigen:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Löschen von Clustern

Mit dem folgenden Befehl können Sie ein Cluster löschen:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Sie können einen Cluster auch löschen, indem Sie die Ressourcengruppe entfernen, die den Cluster enthält. Beim Löschen einer Ressourcengruppe werden alle Ressourcen in der Gruppe, einschließlich des Standardspeicherkontos, gelöscht.

Remove-AzResourceGroup -Name <Resource Group Name>

Skalieren von Clustern

Mithilfe der Clusterskalierung können Sie die Anzahl der von einem in Azure HDInsight ausgeführten Cluster verwendeten Workerknoten ändern, ohne den Cluster neu erstellen zu müssen. Führen Sie den folgenden Befehl auf einem Clientcomputer aus, um die Hadoop-Clustergröße mithilfe von Azure PowerShell zu ändern:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Weitere Informationen zum Skalieren von Clustern finden Sie unter Skalieren von HDInsight-Clustern.

Aktualisieren von HTTP-Anmeldeinformationen

Set-AzHDInsightGatewayCredential legt die Gateway-HTTP-Anmeldeinformationen eines Azure HDInsight-Clusters fest.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Suchen des Standardspeicherkontos

Das folgende PowerShell-Skript veranschaulicht, wie der Name und zugehörigen Informationen des Standardspeicherkontos abgerufen werden:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Suchen der Ressourcengruppe

Im Resource Manager-Modus gehört jeder HDInsight-Cluster einer Azure-Ressourcengruppe an. So finden Sie die Ressourcengruppe:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Übermitteln von Aufträgen

So übermitteln Sie MapReduce-Aufträge

Weitere Informationen finden Sie unter Ausführen von MapReduce-Beispielen in HDInsight.

So übermitteln Sie Apache Hive-Aufträge

Weitere Informationen finden Sie unter Ausführen von Apache Hive-Abfragen mit PowerShell.

So übermitteln Sie Apache Sqoop-Aufträge

Weitere Informationen finden Sie unter Verwenden von Apache Hadoop mit HDInsight.

So übermitteln Sie Apache Oozie-Aufträge

Weitere Informationen finden Sie unter Verwenden von Apache Oozie mit Apache Hadoop zum Definieren und Ausführen eines Workflows in HDInsight.

Hochladen von Daten in Azure Blob Storage

Siehe Hochladen von Daten in HDInsight.

Weitere Informationen