Tutorial: Criar clusters do Azure HDInsight com a Automação do Azure

Com a Automação do Azure, você pode criar scripts que são executados na nuvem e gerenciar recursos do Azure sob demanda ou com base em uma agenda. Este artigo descreve como criar runbooks do PowerShell para criar e excluir clusters do Azure HDInsight.

Neste tutorial, irá aprender a:

• Instale os módulos necessários para interagir com o HDInsight.
• Crie e armazene as credenciais necessárias durante a criação do cluster.
• Crie um novo manual de automação para criar um cluster HDInsight.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

• Uma conta de automação existente.
• Uma conta de Armazenamento do Azure existente que pode ser usada como armazenamento de cluster.

Instalar módulos do HDInsight

1. Inicie sessão no portal do Azure.

2. Selecione suas contas de automação.

3. Em Recursos Compartilhados, selecione Galeria de módulos.

4. Digite AzureRM.Profile na caixa e selecione Enter para pesquisar. Selecione o resultado da pesquisa disponível.

5. Na tela AzureRM.profile, selecione Importar. Marque a caixa de seleção para atualizar os módulos do Azure e selecione OK.

   

6. Volte à galeria de módulos. Em Recursos Compartilhados, selecione Galeria de módulos.

7. Insira HDInsight e selecione AzureRM.HDInsight.

   

8. No painel AzureRM.HDInsight, selecione Importar>OK.

   

Criar credenciais

1. Em Recursos Compartilhados, selecione Credenciais.

2. Selecione Adicionar uma credencial.

3. Insira as informações necessárias no painel Nova credencial . Essa credencial é usada para armazenar a senha do cluster. Você o usa para iniciar sessão no Ambari.

   Propriedade	valor
   Nome	cluster-password
   Nome de utilizador	admin
   Palavra-passe	SECURE_PASSWORD
   Confirme a palavra-passe	SECURE_PASSWORD

4. Selecione Criar.

5. Repita o mesmo processo para uma nova credencial ssh-password com o nome de utilizador sshuser e uma senha à sua escolha. Selecione Criar. Essa credencial é usada para armazenar a senha do protocolo Secure Shell para seu cluster.

   

Criar um manual de procedimentos para criar um cluster

1. Em Automação de processos, selecione Runbooks.

2. Selecione Criar um runbook.

3. No painel Criar um runbook, insira um nome para o runbook, como hdinsight-cluster-create. Selecione PowerShell na lista suspensa do tipo de Runbook.

4. Selecione Criar.

   

5. Insira o seguinte código no ecrã Editar Runbook do PowerShell e, em seguida, selecione Publicar.

   

   Param
   (
     [Parameter (Mandatory= $true)]
     [String] $subscriptionID,
   
     [Parameter (Mandatory= $true)]
     [String] $resourceGroup,
   
     [Parameter (Mandatory= $true)]
     [String] $storageAccount,
   
     [Parameter (Mandatory= $true)]
     [String] $containerName,
   
     [Parameter (Mandatory= $true)]
     [String] $clusterName
   )
   ### Authenticate to Azure 
   $Conn = Get-AutomationConnection -Name 'AzureRunAsConnection'
   Add-AzureRMAccount -ServicePrincipal -Tenant $Conn.TenantID -ApplicationId $Conn.ApplicationID -CertificateThumbprint $Conn.CertificateThumbprint
   
   # Set cluster variables
   $storageAccountKey = (Get-AzureRmStorageAccountKey –Name $storageAccount –ResourceGroupName $resourceGroup)[0].value 
   
   # Setting cluster credentials
   
   #Automation credential for Cluster Admin
   $clusterCreds = Get-AutomationPSCredential –Name 'cluster-password'
   
   #Automation credential for user to SSH into cluster
   $sshCreds = Get-AutomationPSCredential –Name 'ssh-password' 
   
   $clusterType = "Hadoop" #Use any supported cluster type (Hadoop, HBase, etc.)
   $clusterOS = "Linux"
   $clusterWorkerNodes = 3
   $clusterNodeSize = "Standard_D3_v2"
   $location = Get-AzureRmStorageAccount –StorageAccountName $storageAccount –ResourceGroupName $resourceGroup | %{$_.Location}
   
   ### Provision HDInsight cluster
   New-AzureRmHDInsightCluster –ClusterName $clusterName –ResourceGroupName $resourceGroup –Location $location –DefaultStorageAccountName "$storageAccount.blob.core.windows.net" –DefaultStorageAccountKey $storageAccountKey -DefaultStorageContainer $containerName –ClusterType $clusterType –OSType $clusterOS –Version “3.6” –HttpCredential $clusterCreds –SshCredential $sshCreds –ClusterSizeInNodes $clusterWorkerNodes –HeadNodeSize $clusterNodeSize –WorkerNodeSize $clusterNodeSize
   

Criar um runbook para excluir um cluster

1. Em Automação de processos, selecione Runbooks.

2. Selecione Criar um runbook (manual de operações).

3. No painel Criar um runbook, insira um nome para o runbook, como hdinsight-cluster-delete. Selecione PowerShell a partir da lista suspensa Tipo de Runbook.

4. Selecione Criar.

5. Insira o código a seguir no ecrã Editar Runbook do PowerShell e selecione Publicar.

   Param
   (
     [Parameter (Mandatory= $true)]
     [String] $clusterName
   )
   
   ### Authenticate to Azure 
   $Conn = Get-AutomationConnection -Name 'AzureRunAsConnection'
   Add-AzureRMAccount -ServicePrincipal -Tenant $Conn.TenantID -ApplicationId $Conn.ApplicationID -CertificateThumbprint $Conn.CertificateThumbprint
   
   Remove-AzureRmHDInsightCluster -ClusterName $clusterName
   

Executar runbooks

Esta seção explica como executar runbooks.

Criar um cluster

1. Veja a lista de runbooks para sua conta de automação. Em Automação de processos, selecione Runbooks.

2. Selecione hdinsight-cluster-create ou o nome que você usou quando criou seu runbook de criação de cluster.

3. Selecione Iniciar para executar o runbook imediatamente. Você também pode agendar runbooks para serem executados periodicamente. Para obter mais informações, consulte Agendar um runbook em Automação.

4. Insira os parâmetros necessários para o script e selecione OK. Esta etapa cria um novo cluster HDInsight com o nome especificado no parâmetro CLUSTERNAME .

   

Eliminar um cluster

Exclua o cluster selecionando o runbook hdinsight-cluster-delete que você criou. Selecione Iniciar, insira o parâmetro CLUSTERNAME e selecione OK.

Limpar recursos

Quando o recurso não for mais necessário, exclua a conta de automação que você criou para evitar cobranças indesejadas. Vá para o portal do Azure, selecione o grupo de recursos onde você criou a conta de Automação, selecione a conta de Automação e selecione Excluir.

Próximo passo

Gerir clusters Apache Hadoop no HDInsight usando o Azure PowerShell