Exercício – Provisionar o HDInsight para executar análises ad hoc

  • 10 minutos

Agora que conhecemos os benefícios da Interactive Query e como ela funciona, é hora de começar a implantar recursos para criar nosso dashboard de imóveis.

Antes de criar um cluster de Interactive Query

Para criar um cluster, é preciso ter uma assinatura do Azure e uma conta de armazenamento do Azure. O Armazenamento do Azure é uma solução robusta de armazenamento de uso geral que se integra perfeitamente ao HDInsight. O HDInsight pode usar um contêiner de blobs no Armazenamento do Azure como o sistema de arquivos padrão para o cluster. É recomendável que você use contêineres de armazenamento separados para o armazenamento de cluster padrão e os dados corporativos para isolar os logs do HDInsight e os arquivos temporários dos seus dados corporativos.

A Interactive Query também pode usar o Azure Data Lake Storage Gen1 ou o Azure Data Lake Storage Gen2 conforme discutido no Módulo 1: Como o HDInsight funciona, no entanto, apenas o armazenamento do Azure e o Azure Data Lake Storage Gen2 dão suporte ao LLAP do Hive. Este procedimento usa o Armazenamento do Azure.

Em que local criar um cluster de Interactive Query

Depois de ter certeza de que um cluster de Interactive Query é o melhor tipo de cluster para sua solução, você pode criar os clusters em vários locais: portal do Azure, CLI do Azure, Azure PowerShell, cURL, modelos do Azure Resource Manager, SDK do .NET do HDInsight e até mesmo usar o Azure Data Factory para criar clusters sob demanda. Este procedimento usa o portal do Azure para implantar um cluster de Interactive Query.

Provisionar uma conta de armazenamento no portal do Azure

O primeiro recurso a ser implantado, caso você ainda não tenha um, é uma conta de armazenamento do Azure.

  1. Entre no portal do Azure usando sua assinatura gratuita.

  2. Clique em Criar um recurso > Armazenamento > Conta de armazenamento.

    Creating an HDInsight Interactive Query Solution in the Azure portal.

  3. Na página Noções Básicas, preencha os seguintes valores:

    • Assinatura: verifique se sua assinatura gratuita está selecionada.
    • Grupo de recursos: clique em Criar e atribua o nome hdinsightmodule6uid, em que UID é um identificador exclusivo para você.
    • Nome da conta de armazenamento: insira hdinsightmodule6uid.
    • Localização: selecione a localização mais próximo de seus usuários para reduzir a latência. Observe essa região, pois você criará o cluster HDInsight nela.
    • Desempenho: deixe como Padrão.
    • Tipo de conta: deixe o padrão de StorageV2 (uso geral v2)
    • Replicação: altere o valor para LRS (armazenamento com redundância local )
    • Camada de acesso (padrão): deixe o valor padrão de Quente.

  4. Selecione Avançar: Rede.

    HDInsight basics tab in the Azure portal.

  5. Na página Rede, deixe o método de conectividade como Ponto de extremidade público (todas as redes) e clique em Próximo: Avançado >.

    HDInsight networking tab in the Azure portal.

  6. Na página Avançado, preencha os seguintes valores:

    • Segurança: deixe o valor padrão de Habilitado.
    • Arquivos do Azure: deixe o valor padrão de Desabilitado
    • Proteção de dados: deixe o valor padrão de Desabilitado.
    • Data Lake Storage Gen2: deixe o valor padrão Desabilitado para criar uma conta de Armazenamento de Blobs e clique em Examinar + criar >.

  7. Na página Criar conta de armazenamento, verifique se o tipo de conta está definido como StorageV2 (uso geral v2) e clique em Criar.

    HDInsight review screen in the Azure portal.

  8. Quando a implantação for concluída, a mensagem a seguinte mensagem é exibida:

    Screenshot that shows the Microsoft Storage Account overview page, stating that your deployment is complete.

Agora que sua conta de armazenamento foi criada, é hora de implantar os clusters de Interactive Query do HDInsight.

Provisionar um cluster de Interactive Query do HDInsight

  1. Clique em Criar um recurso > Análise > Azure HDInsight.

    Screenshot that shows the Azure portal with Create a resource, Analytics, and Azure H D Insight highlighted.

  2. Na página Noções Básicas, clique em Ir para criar experiência clássica.

    Screenshot that shows the Basics page with Go to classic create experience highlighted.

  3. Na página HDInsight, clique em Personalizado (tamanho, configurações, aplicativos).

    Screenshot that shows the H D Insight page with Custom highlighted.

  4. Na página Noções Básicas, preencha os seguintes valores:

    • Nome do cluster: insira um nome exclusivo para o cluster, como mslearnmodule6uid. Um tique verde aparecerá ao lado do nome, se o nome do cluster for validado e estiver disponível.
    • Assinatura: verifique se sua assinatura gratuita está selecionada.
    • Tipo de cluster: clique em Definir as configurações necessárias, selecione Interactive Query na caixa Tipo de cluster e selecione Interactive Query 3.1.0 (HDI 4.0) na caixa Versão.
    • Nome de usuário de logon do cluster: deixe o valor padrão de administrador
    • Senha de logon do cluster: insira uma senha para o logon do cluster.
    • Nome de usuário do SSH (Secure Shell ): deixe o valor padrão de sshuser.
    • Grupo de recursos: selecione o grupo de recursos que você criou anteriormente, mslearnmodule6yourid.
    • Localização: selecione a mesma região em que sua conta de armazenamento foi criada.

  5. Então clique em Avançar.

    Screenshot shows the H D Insight, Basics, and Cluster configuration pages with multiple fields highlighted.

  6. Na página Segurança + rede, clique em Avançar.

  7. Na página Armazenamento, preencha os seguintes valores:

    • Tipo de armazenamento primário: verifique se o valor padrão do Armazenamento do Azure está selecionado.
    • Selecione uma Conta de armazenamento, clique em Definir configurações necessárias.
    • Na página Contas de armazenamento, pesquise o nome da conta de armazenamento que você criou, mslearnmodule6uid, e selecione-a.

  8. Deixe todos os outros valores como padrão e clique em Avançar.

    The storage page in the Azure portal.

  9. Na página Aplicativos (opcional), clique em Avançar.

  10. Na página Tamanho do cluster, clique em Avançar.

  11. Na página Ações de script, clique em Opcional e clique em Enviar novo.

  12. Na página Enviar ação de script, preencha os seguintes valores:

  13. Então clique em Criar.

    The script actions page in the Azure portal.

  14. Depois que a validação for concluída na página Ações de script, clique em Selecionar e em Avançar.

  15. Na página Resumo do cluster, após a conclusão da validação, verifique se o tipo de cluster está definido como Interactive Query 3.1 (HDI 4.0) e clique em Criar.

    The HDInsight summary page in the Azure portal.

  16. Clique no ícone de notificação para observar o progresso da implantação.

    The deployment in progress notification in the Azure portal.

    Quando a implantação for bem-sucedida, a mensagem será alterada para a Implantação bem-sucedida.

  17. Clique em Ir para recurso no painel Notificações.

    The HDInsight deployment succeeded screen in the Azure portal.

  18. É exibida a página Visão geral do cluster HDInsight com informações sobre o cluster e links para ferramentas e relatórios úteis. Você pode adicionar esse recurso ao seu dashboard clicando no botão de fixar.

    The HDInsight overview screen in the Azure portal.