Criar clusters baseados em Linux no HDInsight usando o portal do Azure

O portal do Azure é uma ferramenta de gerenciamento baseada na Web para serviços e recursos hospedados na nuvem do Microsoft Azure. Neste artigo, você aprenderá a criar clusters do Azure HDInsight baseados em Linux usando o portal. Detalhes adicionais estão disponíveis em Criar clusters HDInsight.

Aviso

A cobrança de clusters HDInsight é rateada por minuto, quer você os use ou não. Certifique-se de excluir o cluster depois de terminar de usá-lo. Veja como excluir um cluster HDInsight.

O portal do Azure expõe a maioria das propriedades do cluster. Usando modelos do Azure Resource Manager, você pode ocultar muitos detalhes. Para obter mais informações, consulte Criar clusters Apache Hadoop no HDInsight usando modelos do Resource Manager.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Criar clusters

Nota

A funcionalidade que requer uma transferência segura impõe todos os pedidos à sua conta através de uma ligação segura. Somente o cluster HDInsight versão 3.6 ou mais recente oferece suporte a esse recurso. Para obter mais informações, consulte Criar cluster Apache Hadoop com contas de armazenamento de transferência segura no Azure HDInsight.

  1. Inicie sessão no portal do Azure.

  2. No menu superior, selecione + Criar um recurso.

    Create a new cluster in the Azure portal.

  3. Selecione Analytics>Azure HDInsight para ir para a página Criar cluster HDInsight.

Noções Básicas

Screenshot showing HDInsight 4.0 create cluster basics.

Na guia Noções básicas, forneça as seguintes informações:

Property Descrição
Subscrição Na lista suspensa, selecione a assinatura do Azure usada para o cluster.
Grupo de recursos Na lista pendente, selecione o grupo de recursos existente ou selecione Criar novo.
Nome do cluster Introduza um nome globalmente exclusivo.
País/Região Na lista suspensa, selecione uma região onde o cluster é criado.
Availability zone Opcionalmente, especifique uma zona de disponibilidade na qual implantar o cluster.
Tipo de cluster Clique em Selecionar tipo de cluster para abrir uma lista. Na lista, selecione o tipo de cluster desejado. Os clusters HDInsight são fornecidos em diferentes tipos. Eles correspondem à carga de trabalho ou tecnologia para a qual o cluster está ajustado. Não há nenhum método suportado para criar um cluster que combina vários tipos.
Versão Na lista suspensa, selecione uma versão. Use a versão padrão se não souber o que escolher. Para obter mais informações, veja HDInsight cluster versions (Versões de clusters HDInsight).
Nome de utilizador de início de sessão do cluster Forneça o nome de usuário, o padrão é admin.
Palavra-passe de início de sessão do cluster Forneça a senha.
Confirmar palavra-passe de início de sessão do cluster Reintroduza a palavra-passe
Nome de utilizador de Secure Shell (SSH) Forneça o nome de usuário, o padrão é sshuser
Usar senha de login de cluster para SSH Se desejar a mesma senha SSH que a senha de administrador especificada anteriormente, marque a caixa de seleção Usar senha de login do cluster para SSH . Caso contrário, forneça uma SENHA ou CHAVE PÚBLICA para autenticar o usuário SSH. Uma chave pública é a abordagem que recomendamos. Escolha Selecionar na parte inferior para salvar a configuração de credenciais. Para obter mais informações, consulte Conectar-se ao HDInsight (Apache Hadoop) usando SSH.

Selecione Next: Storage >> para avançar para a próxima guia.

Armazenamento

Aviso

A partir de 15 de junho de 2020, os clientes não poderão criar uma nova entidade de serviço usando o HDInsight. Consulte Criar entidade de serviço e certificados usando a ID do Microsoft Entra.

HDInsight create cluster storage.

Armazenamento primário

Na lista suspensa Tipo de armazenamento principal, selecione o tipo de armazenamento padrão. Os campos posteriores a preencher variam de acordo com a sua seleção. Para o Armazenamento do Azure:

  1. Para Método de seleção, escolha Selecionar na lista ou Usar chave de acesso.

    • Em Selecionar na lista, selecione sua conta de armazenamento principal na lista suspensa ou selecione Criar novo.
    • Em Usar chave de acesso, insira o nome da conta de armazenamento. Em seguida, forneça a chave de acesso.
  2. Em Container, aceite o valor padrão ou insira um novo.

Armazenamento Adicional do Azure

Opcional: Selecione Adicionar Armazenamento do Azure para armazenamento de cluster adicional. Não há suporte para o uso de uma conta de armazenamento adicional em uma região diferente do cluster HDInsight.

Configurações do Metastore

Opcional: especifique um Banco de Dados SQL existente para salvar metadados do Apache Hive, Apache Oozie e ou Apache Ambari fora do cluster. O Banco de Dados SQL do Azure usado para o metastore deve permitir a conectividade com outros serviços do Azure, incluindo o Azure HDInsight. Ao criar um metastore, não nomeie um banco de dados com traços ou hífenes. Esses caracteres podem fazer com que o processo de criação do cluster falhe.

Importante

Para formas de cluster que dão suporte a metastores, o metastore padrão fornece um Banco de Dados SQL do Azure com um limite básico de DTU de camada 5 (não atualizável)! Adequado para fins de testes básicos. Para cargas de trabalho grandes ou de produção, recomendamos migrar para um metastore externo.

Selecione Seguinte: Segurança + rede >> para avançar para o separador seguinte.

Segurança + rede

HDInsight create cluster security networking.

Na guia Segurança + rede, forneça as seguintes informações:

Property Description
Pacote de Segurança Enterprise Opcional: Marque a caixa de seleção para usar o Pacote de Segurança Empresarial. Para obter mais informações, consulte Configurar um cluster HDInsight com o Pacote de Segurança Empresarial usando os Serviços de Domínio Microsoft Entra.
TLS Opcional: Selecione uma versão TLS na lista suspensa. Para obter mais informações, consulte Segurança da camada de transporte.
Rede virtual Opcional: Selecione uma rede virtual e uma sub-rede existentes na lista suspensa. Para obter informações, consulte Planejar uma implantação de rede virtual para clusters do Azure HDInsight. O artigo inclui requisitos de configuração específicos para a rede virtual.
Configurações de criptografia de disco Opcional: marque a caixa de seleção para usar a criptografia. Para obter mais informações, consulte Criptografia de disco de chave gerenciada pelo cliente.
Proxy REST do Kafka Essa configuração só está disponível para o tipo de cluster Kafka. Para obter mais informações, consulte Usando um proxy REST.
Identidade Opcional: selecione uma identidade de serviço atribuída pelo usuário existente na lista suspensa. Para obter mais informações, consulte Identidades gerenciadas no Azure HDInsight.

Selecione Next: Configuration + pricing >> para avançar para a próxima guia.

Configuração + preços

HDInsight create cluster configuration.

Na guia Configuração + preço, forneça as seguintes informações:

Property Description
+ Adicionar aplicação Opcional: selecione os aplicativos desejados. Microsoft, fornecedores independentes de software (ISVs) ou você pode desenvolver esses aplicativos. Para obter mais informações, consulte Instalar aplicativos durante a criação do cluster.
Tamanho do nó Opcional: selecione um nó de tamanho diferente.
Número de nós Opcional: insira o número de nós para o tipo de nó especificado. Se você planeja mais de 32 nós de trabalho, selecione um tamanho de nó principal com pelo menos oito núcleos e 14 GB de RAM. Planeje os nós na criação do cluster ou dimensionando o cluster após a criação.
Ativar o dimensionamento automático Opcional: marque a caixa de seleção para ativar o recurso. Para obter mais informações, consulte Dimensionar automaticamente clusters do Azure HDInsight.
+ Adicionar ação de script Opcional: essa opção funciona se você quiser usar um script personalizado para personalizar um cluster, à medida que o cluster está sendo criado. Para obter mais informações sobre ações de script, consulte Personalizar clusters HDInsight baseados em Linux usando ações de script.

Selecione Rever + criar >> para validar a configuração do cluster e avançar para o separador final.

Etiquetas

Na página Etiquetas, forneça as seguintes informações:

Property Descrição
Name Opcional. Introduza um nome à sua escolha para identificar facilmente todos os recursos.
Value Deixe em branco.
Recurso Selecione Todos os recursos selecionados.

Rever + criar

Screenshot showing HDInsight 4.0 create cluster summary.

Revise as configurações. Selecione Criar para criar o cluster.

A criação do cluster demora algum tempo; aproximadamente 20 minutos. Monitore as notificações para verificar o processo de provisionamento.

Pós-criação

Após a conclusão do processo de criação, selecione Ir para recurso na notificação Implantação bem-sucedida . A janela do cluster fornece as seguintes informações.

Screenshot showing Azure HDInsight portal cluster overview.

Alguns dos ícones na janela são explicados da seguinte forma:

Property Description
Descrição geral Fornece todas as informações essenciais sobre o cluster. Exemplos são o nome, o grupo de recursos ao qual pertence, o local, o sistema operacional e a URL do painel do cluster.
Painéis de cluster Direciona você para o portal Ambari associado ao cluster.
Início de sessão de SSH + Cluster Fornece as informações necessárias para acessar o cluster usando SSH.
Delete Exclui o cluster HDInsight.

Eliminar o cluster

Consulte Excluir um cluster HDInsight usando seu navegador, PowerShell ou a CLI do Azure.

Resolver problemas

Caso se depare com problemas com a criação de clusters do HDInsight, veja aceder aos requisitos de controlo.

Próximos passos

Você criou com êxito um cluster HDInsight. Agora saiba como trabalhar com seu cluster.