Criar um cluster com o Data Lake Storage Gen2 usando o portal do Azure

O portal do Azure é uma ferramenta de gerenciamento baseada na Web para serviços e recursos hospedados na nuvem do Microsoft Azure. Neste artigo, você aprenderá como criar clusters Azure HDInsight baseados no Linux usando o portal. Detalhes adicionais estão disponíveis em Criar clusters HDInsight.

Aviso

A cobrança de clusters HDInsight é proporcional por minuto, independentemente de você utilizá-los ou não. Certifique-se de excluir o cluster após utilizá-lo. Consulte como excluir um cluster HDInsight.

Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

Para criar um cluster HDInsight que usa Data Lake Storage Gen2 para armazenamento, siga estas etapas para configurar uma conta de armazenamento que tenha um namespace hierárquico.

Criar uma identidade gerenciada atribuída ao usuário

Crie uma identidade gerenciada atribuída pelo usuário, se ainda não tiver uma.

1. Entre no portal do Azure.
2. No canto superior esquerdo, selecione Criar um recurso.
3. Na caixa de pesquisa, digite atribuído pelo usuário e clique em Identidade Gerenciada Atribuída ao Usuário.
4. Clique em Criar.
5. Insira um nome para a sua identidade gerenciada, selecione a assinatura, o grupo de recursos e o local corretos.
6. Clique em Criar.

Para obter mais informações sobre como as identidades gerenciadas funcionam no Azure HDInsight, confira Identidades gerenciadas no Azure HDInsight.

Criar uma conta de armazenamento para usar com o Data Lake Storage Gen2

Criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2.

1. Entre no portal do Azure.
2. No canto superior esquerdo, selecione Criar um recurso.
3. Na caixa de pesquisa, digite armazenamento e clique em conta de armazenamento.
4. Clique em Criar.
5. Na tela Criar conta de armazenamento:
   1. Selecione a assinatura e o grupo de recursos corretos.
   2. Insira um nome para a sua conta de armazenamento com o Data Lake Storage Gen2.
   3. Clique na guia Avançado.
   4. Clique em Habilitado ao lado de Namespace Hierárquico em Data Lake Storage Gen2.
   5. Clique em Revisar + Criar.
   6. Clique em Criar

Para obter mais informações sobre outras opções durante a criação da conta de armazenamento, confira Início rápido: criar uma conta de armazenamento para o Azure Data Lake Storage Gen2.

Configurar permissões para a identidade gerenciada na conta do Data Lake Storage Gen2

Atribua a identidade gerenciada à função Proprietário de Dados do Storage Blob na conta de armazenamento.

1. No portal do Microsoft Azure, acesse sua conta de armazenamento.

2. Selecione IAM (Controle de acesso) .

3. Selecione Adicionar > Adicionar atribuição de função.

   

4. Na guia Função, selecione Proprietário de Dados do Blob de Armazenamento.

   

5. Na guia Membros, selecione Identidade gerenciadae selecione Selecionar membros.

6. Selecione sua assinatura. Selecione Identidade gerenciada atribuída pelo usuário e selecione a identidade gerenciada atribuída pelo usuário.

7. Na guia Examinar + atribuir, selecione Examinar + atribuir para atribuir a função.

   A identidade atribuída pelo usuário que você selecionou agora está listada na função selecionada.

   Para obter mais informações sobre atribuições de função, confira Atribuir funções do Azure usando o portal do Azure

8. Ao concluir a configuração inicial, você poderá criar um cluster usando o portal. O cluster deve estar na mesma região do Azure da conta de armazenamento. Na guia Armazenamento do menu de criação do cluster, selecione as seguintes opções:

   • Em Tipo de armazenamento primário, selecione Azure Data Lake Storage Gen2.

   • Em Conta de Armazenamento primário, procure e selecione a conta de armazenamento do Data Lake Storage Gen2 recém-criada.

   • Em Identidade, selecione a identidade gerenciada atribuída pelo usuário recém-criada.

     

   Observação

   • Para adicionar uma conta de armazenamento secundária com o Data Lake Storage Gen2, no nível da conta de armazenamento, apenas atribua a identidade gerenciada que você criou ao novo Data Lake Storage Gen2 que você deseja adicionar. Não há suporte para a adição de uma conta de armazenamento secundária com o Data Lake Storage Gen2 por meio da folha "Contas de armazenamento adicionais" no HDInsight.
   • Você pode habilitar o RA-GRS ou o RA-ZRS na conta do Armazenamento de Blobs do Azure usada pelo HDInsight. No entanto, não há suporte para a criação de um cluster no ponto de extremidade secundário de RA-GRS ou RA-ZRS.
   • O HDInsight não oferece suporte à configuração do Data Lake Storage Gen2 como armazenamento com redundância de zona geográfica com acesso de leitura (RA-GZRS) ou armazenamento com redundância de zona geográfica (GZRS).

Excluir o cluster

Confira Excluir um cluster HDInsight usando o navegador, o PowerShell ou a CLI do Azure.

Solucionar problemas

Se você tiver problemas com a criação de clusters HDInsight, confira os requisitos de controle de acesso.

Próximas etapas

Você criou com êxito um cluster HDInsight. Saiba agora como trabalhar com o cluster.

Clusters do Apache Spark

• Personalizar clusters HDInsight baseados em Linux usando ações de script
• Criar um aplicativo autônomo usando Scala
• Execute trabalhos remotamente em um cluster do Apache Spark usando o Apache Livy
• Apache Spark com BI: execute análise de dados interativa usando o Spark no HDInsight com ferramentas de BI
• Apache Spark com Machine Learning: use o Spark no HDInsight para prever os resultados da inspeção de alimentos

Clusters do Apache Hadoop

• Usar o Apache Hive com o HDInsight
• Usar o MapReduce com o HDInsight

Clusters do Apache HBase

• Introdução ao Apache HBase no HDInsight
• Desenvolvimento de aplicativos Java para Apache HBase no HDInsight