Správa clusterů Apache Hadoop ve službě Azure HDInsight pomocí PowerShellu

Pomocí Azure PowerShellu můžete řídit a automatizovat nasazení a správu úloh v Azure. V tomto článku se dozvíte, jak spravovat clustery Apache Hadoop ve službě Azure HDInsight pomocí modulu Az PowerShell. Pro seznam cmdletů pro HDInsight v PowerShellu se podívejte na referenční informace pro Az.HDInsight.

Pokud nemáte předplatné Azure, vytvořte si bezplatný účet před zahájením.

Prerequisites

Poznámka

K interakci s Azure doporučujeme použít modul Azure Az PowerShell. Pokud chcete začít, přečtěte si téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Nainstalovaný modul Az PowerShell .

Vytváření clusterů

Pokud chcete vytvářet clustery, přečtěte si téma Vytváření clusterů založených na Linuxu ve službě HDInsight pomocí Azure PowerShellu.

Seznam clusterů

Pokud chcete zobrazit seznam všech clusterů v aktuálním předplatném, použijte následující příkaz:

Get-AzHDInsightCluster

Zobrazení clusterů

Pokud chcete zobrazit podrobnosti o konkrétním clusteru v aktuálním předplatném, použijte následující příkaz:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Odstranění clusterů

K odstranění clusteru použijte následující příkaz:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Cluster můžete také odstranit odebráním skupiny prostředků, která cluster obsahuje. Odstraněním skupiny prostředků odstraníte všechny prostředky ve skupině, včetně výchozího účtu úložiště.

Remove-AzResourceGroup -Name <Resource Group Name>

Škálování clusterů

Pomocí funkce škálování clusteru můžete změnit počet pracovních uzlů používaných clusterem, který běží v HDInsight, aniž byste museli cluster znovu vytvořit. Pokud chcete změnit velikost clusteru Hadoop pomocí PowerShellu, spusťte z klientského počítače následující příkaz:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Další informace o škálování clusterů najdete v tématu Škálování clusterů HDInsight.

Aktualizace přihlašovacích údajů uživatele HTTP

Parametr Set-AzHDInsightGatewayCredential nastaví přihlašovací údaje HTTP brány clusteru HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Vyhledání výchozího účtu úložiště

Následující skript PowerShellu ukazuje, jak získat výchozí název účtu úložiště a související informace:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Vyhledání skupiny prostředků

V režimu Azure Resource Manageru patří každý cluster HDInsight do skupiny prostředků Azure. K vyhledání skupiny prostředků použijte následující příkaz:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Odesílání úloh

Pokud chcete k odesílání úloh použít následující produkty, postupujte podle pokynů v odkazech:

Nahrání dat do služby Azure Blob Storage

Pokud chcete nahrát data do služby Azure Blob Storage, přečtěte si téma Nahrání dat do SLUŽBY HDInsight.

Související obsah

  • Last updated on