Gerir clusters do Apache Hadoop no HDInsight com Azure PowerShell
Azure PowerShell pode ser utilizado para controlar e automatizar a implementação e gestão das suas cargas de trabalho no Azure. Neste artigo, irá aprender a gerir clusters do Apache Hadoop no Azure HDInsight com o módulo Azure PowerShell Az. Para obter a lista dos cmdlets do PowerShell do HDInsight, veja a referência do Az.HDInsight.
Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.
Pré-requisitos
Nota
Recomendamos que utilize o módulo do Azure Az PowerShell para interagir com o Azure. Veja Instalar o Azure PowerShell para começar. Para saber como migrar para o módulo do Az PowerShell, veja Migrar o Azure PowerShell do AzureRM para o Az.
O Módulo do Az do PowerShell instalado.
Criar clusters
Veja Criar clusters baseados no Linux no HDInsight com Azure PowerShell
Listar clusters
Utilize o seguinte comando para listar todos os clusters na subscrição atual:
Get-AzHDInsightCluster
Mostrar cluster
Utilize o seguinte comando para mostrar detalhes de um cluster específico na subscrição atual:
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Eliminar clusters
Utilize o seguinte comando para eliminar um cluster:
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
Também pode eliminar um cluster ao remover o grupo de recursos que contém o cluster. Eliminar um grupo de recursos elimina todos os recursos no grupo, incluindo a conta de armazenamento predefinida.
Remove-AzResourceGroup -Name <Resource Group Name>
Dimensionar clusters
A funcionalidade de dimensionamento de clusters permite-lhe alterar o número de nós de trabalho utilizados por um cluster que está em execução no Azure HDInsight sem ter de recriar o cluster. Para alterar o tamanho do cluster do Hadoop com Azure PowerShell, execute o seguinte comando a partir de um computador cliente:
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
Para obter mais informações sobre o dimensionamento de clusters, veja Dimensionar clusters do HDInsight.
Atualizar credenciais de utilizador HTTP
Set-AzHDInsightGatewayCredential define as credenciais HTTP do gateway de um cluster do Azure HDInsight.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
Localizar a conta de armazenamento predefinida
O seguinte script do PowerShell demonstra como obter o nome da conta de armazenamento predefinido e as informações relacionadas:
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"
if ($defaultStoreageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
Localizar o grupo de recursos
No modo Resource Manager, cada cluster do HDInsight pertence a um grupo de recursos do Azure. Para localizar o grupo de recursos:
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Submeter tarefas
Para submeter tarefas do MapReduce
Veja Executar os exemplos do MapReduce incluídos no HDInsight.
Para submeter tarefas do Apache Hive
Veja Executar consultas do Apache Hive com o PowerShell.
Para submeter tarefas do Apache Sqoop
Veja Utilizar o Apache Sqoop com o HDInsight.
Para submeter tarefas do Apache Oozie
Carregar dados para o Armazenamento de Blobs do Azure
Consulte Upload data to HDInsight (Carregar dados para o HDInsight).