Správa clusterů Apache Hadoop ve službě HDInsight pomocí Azure PowerShellu
Azure PowerShell se dá použít k řízení a automatizaci nasazení a správy úloh v Azure. V tomto článku se dozvíte, jak spravovat clustery Apache Hadoop ve službě Azure HDInsight pomocí modulu Az Azure PowerShellu. Seznam rutin Prostředí PowerShell pro HDInsight najdete v referenčních informacích k Az.HDInsight.
Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.
Požadavky
Poznámka:
Při práci s Azure doporučujeme používat modul Azure Az PowerShellu. Pokud chcete začít, přečtěte si téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.
Nainstalovaný modul Az PowerShellu.
Vytváření clusterů
Viz Vytvoření clusterů založených na Linuxu ve službě HDInsight pomocí Azure PowerShellu
Výpis clusterů
Pomocí následujícího příkazu zobrazte seznam všech clusterů v aktuálním předplatném:
Get-AzHDInsightCluster
Zobrazit cluster
Pomocí následujícího příkazu zobrazíte podrobnosti o konkrétním clusteru v aktuálním předplatném:
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Odstranění clusterů
K odstranění clusteru použijte následující příkaz:
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
Cluster můžete také odstranit odebráním skupiny prostředků, která cluster obsahuje. Odstraněním skupiny prostředků odstraníte všechny prostředky ve skupině, včetně výchozího účtu úložiště.
Remove-AzResourceGroup -Name <Resource Group Name>
Škálování clusterů
Funkce škálování clusteru umožňuje změnit počet pracovních uzlů používaných clusterem, který běží ve službě Azure HDInsight, aniž byste museli cluster znovu vytvořit. Pokud chcete změnit velikost clusteru Hadoop pomocí Azure PowerShellu, spusťte z klientského počítače následující příkaz:
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
Další informace o škálování clusterů najdete v tématu Škálování clusterů HDInsight.
Aktualizace přihlašovacích údajů uživatele HTTP
Set-AzHDInsightGatewayCredential nastaví přihlašovací údaje HTTP brány clusteru Azure HDInsight.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
Vyhledání výchozího účtu úložiště
Následující skript PowerShellu ukazuje, jak získat výchozí název účtu úložiště a související informace:
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"
if ($defaultStoreageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
Vyhledání skupiny prostředků
V režimu Resource Manageru patří každý cluster HDInsight do skupiny prostředků Azure. Vyhledání skupiny prostředků:
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Odesílání úloh
Odeslání úloh MapReduce
Viz Příklady Spuštění MapReduce, které jsou součástí SLUŽBY HDInsight.
Odeslání úloh Apache Hivu
Viz Spouštění dotazů Apache Hive pomocí PowerShellu.
Odeslání úloh Apache Sqoop
Viz Použití Apache Sqoopu se službou HDInsight.
Odeslání úloh Apache Oozie
Nahrání dat do úložiště objektů blob v Azure
Viz Nahrání dat do služby HDInsight.