Verwalten von Apache Hadoop-Clustern in HDInsight mit Azure PowerShell
Azure PowerShell kann zum Steuern und Automatisieren der Bereitstellung und Verwaltung Ihrer Workloads in Azure verwendet werden. In diesem Artikel erfahren Sie, wie Sie Apache Hadoop-Cluster in Azure HDInsight mithilfe des Azure PowerShell-Az-Moduls verwalten. Eine Liste der HDInsight PowerShell-Cmdlets finden Sie unter Az.HDInsight-Referenz.
Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
Voraussetzungen
Hinweis
Es wird empfohlen, das Azure Az PowerShell-Modul für die Interaktion mit Azure zu verwenden. Informationen zu den ersten Schritten finden Sie unter Installieren von Azure PowerShell. Informationen zum Migrieren zum Az PowerShell-Modul finden Sie unter Migrieren von Azure PowerShell von AzureRM zum Az-Modul.
Das PowerShell-Az-Modul ist installiert.
Erstellen von Clustern
Siehe Erstellen von Linux-basierten Clustern in HDInsight mit Azure PowerShell
Auflisten der Cluster
Verwenden Sie den folgenden Befehl, um alle Cluster des aktuellen Abonnements aufzulisten:
Get-AzHDInsightCluster
Anzeigen von Clustern
Verwenden Sie den folgenden Befehl, um Details zu einem bestimmten Cluster des aktuellen Abonnements anzuzeigen:
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Löschen von Clustern
Mit dem folgenden Befehl können Sie ein Cluster löschen:
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
Sie können einen Cluster auch löschen, indem Sie die Ressourcengruppe entfernen, die den Cluster enthält. Beim Löschen einer Ressourcengruppe werden alle Ressourcen in der Gruppe, einschließlich des Standardspeicherkontos, gelöscht.
Remove-AzResourceGroup -Name <Resource Group Name>
Skalieren von Clustern
Mithilfe der Clusterskalierung können Sie die Anzahl der von einem in Azure HDInsight ausgeführten Cluster verwendeten Workerknoten ändern, ohne den Cluster neu erstellen zu müssen. Führen Sie den folgenden Befehl auf einem Clientcomputer aus, um die Hadoop-Clustergröße mithilfe von Azure PowerShell zu ändern:
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
Weitere Informationen zum Skalieren von Clustern finden Sie unter Skalieren von HDInsight-Clustern.
Aktualisieren von HTTP-Anmeldeinformationen
Set-AzHDInsightGatewayCredential legt die Gateway-HTTP-Anmeldeinformationen eines Azure HDInsight-Clusters fest.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
Suchen des Standardspeicherkontos
Das folgende PowerShell-Skript veranschaulicht, wie der Name und zugehörigen Informationen des Standardspeicherkontos abgerufen werden:
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"
if ($defaultStoreageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
Suchen der Ressourcengruppe
Im Resource Manager-Modus gehört jeder HDInsight-Cluster einer Azure-Ressourcengruppe an. So finden Sie die Ressourcengruppe:
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Übermitteln von Aufträgen
So übermitteln Sie MapReduce-Aufträge
Weitere Informationen finden Sie unter Ausführen von MapReduce-Beispielen in HDInsight.
So übermitteln Sie Apache Hive-Aufträge
Weitere Informationen finden Sie unter Ausführen von Apache Hive-Abfragen mit PowerShell.
So übermitteln Sie Apache Sqoop-Aufträge
Weitere Informationen finden Sie unter Verwenden von Apache Hadoop mit HDInsight.
So übermitteln Sie Apache Oozie-Aufträge
Weitere Informationen finden Sie unter Verwenden von Apache Oozie mit Apache Hadoop zum Definieren und Ausführen eines Workflows in HDInsight.
Hochladen von Daten in Azure Blob Storage
Siehe Hochladen von Daten in HDInsight.