Správa clusterů Apache Hadoop ve službě HDInsight pomocí Azure PowerShellu

Článek
10/17/2024

Azure PowerShell se dá použít k řízení a automatizaci nasazení a správy úloh v Azure. V tomto článku se dozvíte, jak spravovat clustery Apache Hadoop ve službě Azure HDInsight pomocí modulu Az Azure PowerShellu. Seznam rutin Prostředí PowerShell pro HDInsight najdete v referenčních informacích k Az.HDInsight.

Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.

Požadavky

Poznámka:

Při práci s Azure doporučujeme používat modul Azure Az PowerShellu. Pokud chcete začít, přečtěte si téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Nainstalovaný modul Az PowerShellu.

Vytváření clusterů

Viz Vytvoření clusterů založených na Linuxu ve službě HDInsight pomocí Azure PowerShellu

Výpis clusterů

Pomocí následujícího příkazu zobrazte seznam všech clusterů v aktuálním předplatném:

Get-AzHDInsightCluster

Zobrazit cluster

Pomocí následujícího příkazu zobrazíte podrobnosti o konkrétním clusteru v aktuálním předplatném:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Odstranění clusterů

K odstranění clusteru použijte následující příkaz:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Cluster můžete také odstranit odebráním skupiny prostředků, která cluster obsahuje. Odstraněním skupiny prostředků odstraníte všechny prostředky ve skupině, včetně výchozího účtu úložiště.

Remove-AzResourceGroup -Name <Resource Group Name>

Škálování clusterů

Funkce škálování clusteru umožňuje změnit počet pracovních uzlů používaných clusterem, který běží ve službě Azure HDInsight, aniž byste museli cluster znovu vytvořit. Pokud chcete změnit velikost clusteru Hadoop pomocí Azure PowerShellu, spusťte z klientského počítače následující příkaz:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Další informace o škálování clusterů najdete v tématu Škálování clusterů HDInsight.

Aktualizace přihlašovacích údajů uživatele HTTP

Set-AzHDInsightGatewayCredential nastaví přihlašovací údaje HTTP brány clusteru Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Vyhledání výchozího účtu úložiště

Následující skript PowerShellu ukazuje, jak získat výchozí název účtu úložiště a související informace:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Vyhledání skupiny prostředků

V režimu Resource Manageru patří každý cluster HDInsight do skupiny prostředků Azure. Vyhledání skupiny prostředků:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Odesílání úloh

Odeslání úloh MapReduce

Viz Příklady Spuštění MapReduce, které jsou součástí SLUŽBY HDInsight.

Odeslání úloh Apache Hivu

Viz Spouštění dotazů Apache Hive pomocí PowerShellu.

Odeslání úloh Apache Sqoop

Viz Použití Apache Sqoopu se službou HDInsight.

Odeslání úloh Apache Oozie

Viz Použití Apache Oozie s Apache Hadoopem k definování a spuštění pracovního postupu ve službě HDInsight.

Nahrání dat do úložiště objektů blob v Azure

Viz Nahrání dat do služby HDInsight.

Sdílet prostřednictvím