Crie clusters baseados em Linux em HDInsight utilizando o portal do Azure

O portal do Azure é uma ferramenta de gestão baseada na web para serviços e recursos hospedados na nuvem Microsoft Azure. Neste artigo, aprende-se a criar clusters Azure HDInsight baseados em Linux utilizando o portal. Estão disponíveis detalhes adicionais a partir de clusters Create HDInsight.

Aviso

A faturação dos clusters HDInsight é prostimada por minuto, quer os utilize ou não. Certifique-se de que apaga o seu cluster depois de terminar de o utilizar. Veja como eliminar um cluster HDInsight.

O portal do Azure expõe a maioria das propriedades do cluster. Ao usar modelos Resource Manager Azure, pode esconder muitos detalhes. Para obter mais informações, consulte crie clusters Apache Hadoop em HDInsight utilizando modelos Resource Manager.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Criar clusters

Nota

A funcionalidade que requer transferência segura aplica todos os pedidos à sua conta através de uma ligação segura. Apenas a versão 3.6 ou mais recente do cluster HDInsight suporta esta funcionalidade. Para obter mais informações, consulte o cluster Create Apache Hadoop com contas de armazenamento de transferência segura em Azure HDInsight.

  1. Inicie sessão no portal do Azure.

  2. A partir do menu superior, selecione + Crie um recurso.

    Create a new cluster in the Azure portal

  3. Selecione AnalyticsAzure>HDInsight para ir à página de cluster Create HDInsight.

Noções básicas

HDInsight create cluster basics

A partir do separador Básicos, forneça as seguintes informações:

Propriedade Descrição
Subscrição A partir da lista de drop-down, selecione a subscrição Azure que é usada para o cluster.
Grupo de recursos A partir da lista de drop-down, selecione o seu grupo de recursos existente ou selecione Criar novo.
Nome do cluster Introduza um nome globalmente exclusivo.
Region A partir da lista de drop-down, selecione uma região onde o cluster é criado.
Tipo de cluster Clique em Selecionar o tipo de cluster para abrir uma lista. Na lista, selecione o tipo de cluster procurado. Os clusters HDInsight vêm em diferentes tipos. Correspondem à carga de trabalho ou à tecnologia para a qual o cluster está sintonizado. Não há um método suportado para criar um cluster que combine vários tipos.
Versão A partir da lista de drop-down, selecione uma versão. Utilize a versão padrão se não souber o que escolher. Para obter mais informações, veja HDInsight cluster versions (Versões de clusters HDInsight).
Nome de utilizador de início de sessão do cluster Forneça o nome de utilizador, o padrão é administrador.
Palavra-passe de início de sessão do cluster Forneça a senha.
Confirme a senha de login do cluster Reentre na senha
Nome de utilizador de Secure Shell (SSH) Fornecer o nome de utilizador, o padrão é sshuser
Use a palavra-passe de login do cluster para SSH Se pretender a mesma palavra-passe SSH que a palavra-passe de administração especificada anteriormente, selecione a palavra-passe de início de sessão do cluster utilizar a caixa de verificação SSH. Caso contrário, forneça uma PALAVRA-PASSE ou CHAVE PÚBLICA para autenticar o utilizador SSH. Uma chave pública é a abordagem que recomendamos. Escolha Selecione na parte inferior para guardar a configuração das credenciais. Para obter mais informações, consulte Ligação para HDInsight (Apache Hadoop) utilizando sSH.

Selecione Seguinte: Armazenamento >> avançar para o separador seguinte.

Armazenamento

Aviso

A partir de 15 de junho de 2020 os clientes não poderão criar um novo responsável de serviços através do HDInsight. Consulte Criar O Principal de Serviço e Certificados utilizando Azure Ative Directory.

HDInsight create cluster storage

Armazenamento primário

A partir da lista de drop-down para o tipo de armazenamento primário, selecione o seu tipo de armazenamento predefinido. Os campos posteriores a completar variarão em função da sua seleção. Para Azure Armazenamento:

  1. Para o método seleção, escolha a lista ou utilize a tecla de acesso.

    • Para selecionar a lista, em seguida, selecione a sua conta de armazenamento principal na lista de drop-down ou selecione Criar novo.
    • Para utilizar a tecla de acesso, insira o nome da conta Armazenamento. Em seguida, forneça a chave de acesso.
  2. Para o Contentor, aceite o valor predefinido ou introduza um novo.

Armazenamento adicional do Azure

Opcional: Selecione Adicionar Armazenamento Azure para armazenamento adicional de cluster. A utilização de uma conta de armazenamento adicional numa região diferente do cluster HDInsight não é suportada.

Definições de metastões

Opcional: Especifique um Base de Dados SQL existente para salvar Apache Hive, Apache Oozie e, ou Apache Ambari metadados fora do cluster. O Base de Dados SQL do Azure que é usado para a meta-loja deve permitir a conectividade com outros serviços Azure, incluindo Azure HDInsight. Quando criar uma meta-loja, não nomeie uma base de dados com traços ou hífenes. Estes caracteres podem fazer com que o processo de criação do cluster falhe.

Importante

Para formas de cluster que suportam metastões, a metastore padrão fornece uma Base de Dados SQL do Azure com um limite básico de DTU de nível 5 (não atualizável)! Adequado para fins básicos de teste. Para cargas de trabalho grandes ou de produção, recomendamos migrar para uma metastore externa.

Selecione Seguinte: Segurança + networking >> para avançar para o separador seguinte.

Segurança + networking

HDInsight create cluster security networking

A partir do separador Segurança + rede , forneça as seguintes informações:

Propriedade Descrição
Pacote de segurança da empresa Opcional: Selecione a caixa de verificação para utilizar o Pacote de Segurança Empresarial. Para obter mais informações, consulte configurar um cluster HDInsight com o Pacote de Segurança Empresarial utilizando Azure Ative Directory Serviços de Domínio.
TLS Opcional: Selecione uma versão TLS da lista de drop-down. Para mais informações, consulte a Segurança da Camada de Transporte.
Rede virtual Opcional: Selecione uma rede virtual existente e sub-rede da lista de drop-down. Para obter informações, consulte Plan uma implementação de rede virtual para clusters Azure HDInsight. O artigo inclui requisitos específicos de configuração para a rede virtual.
Definições de encriptação de disco Opcional: Selecione a caixa de verificação para utilizar a encriptação. Para obter mais informações, consulte a encriptação do disco de chaves gerida pelo Cliente.
Proxy REST do Kafka Esta definição só está disponível para o tipo de cluster Kafka. Para obter mais informações, consulte utilizando um representante do REST.
Identidade Opcional: Selecione uma identidade de serviço atribuída ao utilizador existente na lista de suspensos. Para obter mais informações, consulte identidades geridas em Azure HDInsight.

Selecione Seguinte: Configuração + preços >> para avançar para o separador seguinte.

Configuração + preços

HDInsight create cluster configuration

A partir do separador Configuração + preços , forneça as seguintes informações:

Propriedade Descrição
+ Adicionar aplicação Opcional: Selecione quaisquer aplicações que pretenda. Microsoft, fornecedores independentes de software (ISVs), ou pode desenvolver estas aplicações. Para obter mais informações, consulte instalar aplicações durante a criação do cluster.
Tamanho do nó Opcional: Selecione um nó de tamanho diferente.
Número de nós Opcional: Introduza o número de nós para o tipo de nó especificado. Se planeia mais de 32 nós de trabalhadores, selecione um nó de cabeça com pelo menos oito núcleos e RAM de 14 GB. Planeie os nós na criação de clusters ou escalando o cluster após a criação.
Ativar o dimensionamento automático Opcional: Selecione a caixa de verificação para ativar a funcionalidade. Para obter mais informações, consulte os clusters Azure HDInsight de escala automática.
+ Adicionar ação de script Opcional: Esta opção funciona se quiser usar um script personalizado para personalizar um cluster, uma vez que o cluster está a ser criado. Para obter mais informações sobre as ações de script, consulte os clusters HDInsight baseados em Linux utilizando ações de script.

Selecione Rever + criar >> para validar a configuração do cluster e avançar para o separador final.

Rever + criar

HDInsight create cluster summary

Reveja as definições. Selecione Criar para criar o cluster.

A criação do cluster demora algum tempo; aproximadamente 20 minutos. Monitorize notificações para verificar o processo de provisionamento.

Pós-criação

Após o fim do processo de criação, selecione Ir para o Recurso a partir da notificação de implementação. A janela do cluster fornece as seguintes informações.

HDI Azure portal cluster overview

Alguns dos ícones da janela são explicados da seguinte forma:

Propriedade Descrição
Descrição geral Fornece toda a informação essencial sobre o cluster. Exemplos são o nome, o grupo de recursos a que pertence, a localização, o sistema operativo e o URL para o painel de cluster.
Dashboards de cluster Direciona-o para o portal Ambari associado ao cluster.
SSH + Login de Cluster Fornece informações necessárias para aceder ao cluster utilizando o SSH.
Eliminar Elimina o cluster HDInsight.

Eliminar o cluster

Consulte Eliminar um cluster HDInsight utilizando o seu navegador, PowerShell ou o Azure CLI.

Resolução de problemas

Caso se depare com problemas com a criação de clusters do HDInsight, veja aceder aos requisitos de controlo.

Passos seguintes

Criou com sucesso um cluster HDInsight. Agora aprende a trabalhar com o teu grupo.