Criar cluster do Spark no HDInsight no AKS (Visualização)

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

Quando as etapas de pré-requisitos de assinatura e pré-requisitos de recursos estiverem concluídas e você tiver um pool de clusters implantado, continue a usar o portal do Azure para criar um cluster do Spark. Você pode usar o portal do Azure para criar um cluster Apache Spark no pool de clusters. Em seguida, você pode criar um Jupyter Notebook e usá-lo para executar consultas Spark SQL em tabelas Apache Hive.

1. No portal do Azure, digite pools de cluster e selecione pools de cluster para ir para a página de pools de clusters. Na página pools de clusters, selecione o pool de clusters no qual você pode adicionar um novo cluster do Spark.

2. Na página do pool de clusters específico, clique em + Novo cluster.

   

   Esta etapa abre a página de criação do cluster.

   

   Property	Descrição
   Subscrição	A assinatura do Azure que foi registrada para uso com o HDInsight no AKS na seção Pré-requisitos com ser preenchida previamente
   Grupo de Recursos	O mesmo grupo de recursos que o pool de clusters será pré-preenchido
   País/Região	A mesma região do pool de clusters e virtual será pré-preenchida
   Pool de clusters	O nome do pool de clusters será pré-preenchido
   Versão do pool do HDInsight	A versão do pool de clusters será pré-preenchida a partir da seleção de criação do pool
   HDInsight na versão AKS	Especifique o IDH na versão AKS
   Tipo de cluster	Na lista suspensa, selecione Faísca
   Versão do cluster	Selecione a versão da imagem a ser usada
   Nome do cluster	Insira o nome do novo cluster
   Identidade gerida atribuída pelo utilizador	Selecione a identidade gerenciada atribuída ao usuário que funcionará como uma cadeia de conexão com o armazenamento
   Conta de Armazenamento	Selecione a conta de armazenamento pré-criada que deve ser usada como armazenamento principal para o cluster
   Nome do contentor	Selecione o nome do contêiner (exclusivo) se pré-criado ou crie um novo contêiner
   Catálogo Hive (opcional)	Selecione o metastore do Hive pré-criado (Banco de Dados SQL do Azure)
   Banco de dados SQL para Hive	Na lista suspensa, selecione o Banco de dados SQL no qual adicionar tabelas de metastore de colmeia.
   Nome de usuário do administrador do SQL	Insira o nome de usuário do administrador do SQL
   Key Vault	Na lista suspensa, selecione o Cofre da Chave, que contém um segredo com senha para o nome de usuário do administrador do SQL
   Nome secreto da senha SQL	Digite o nome secreto do Cofre de Chaves onde a senha do Banco de Dados SQL está armazenada

   Nota

   • Atualmente, o HDInsight suporta apenas bancos de dados do MS SQL Server.
   • Devido à limitação do Hive, o caractere "-" (hífen) no nome do banco de dados do metastore não é suportado.

3. Selecione Next: Configuration + pricing para continuar.

   

   

   

   Property	Description
   Tamanho do nó	Selecione o tamanho do nó a ser usado para os nós do Spark
   Número de nós de trabalho	Selecione o número de nós para o cluster Spark. Destes, três nós são reservados para serviços de coordenador e sistema, os nós restantes são dedicados aos trabalhadores do Spark, um trabalhador por nó. Por exemplo, em um cluster de cinco nós há dois trabalhadores
   Dimensionamento Automático	Clique no botão de alternância para ativar o Autoscale
   Tipo de dimensionamento automático	Selecione a partir do dimensionamento automático baseado em carga ou agendamento
   Tempo limite de descodificação gracioso	Especificar o tempo limite de descomissionamento gracioso
   Nº do nó de trabalhador padrão	Selecione o número de nós para dimensionamento automático
   Fuso Horário	Selecione o fuso horário
   Regras de dimensionamento automático	Selecione o dia, hora de início, hora de término, não. de nós de trabalho
   Ativar SSH	Se habilitado, permite que você defina Prefixo e Número de nós SSH

4. Clique em Avançar : Integrações para ativar e selecionar Log Analytics for Logging.

   O Azure Prometheus para monitoramento e métricas pode ser habilitado após a criação de cluster.

   

5. Clique em Seguinte: Etiquetas para continuar para a página seguinte.

   

6. Na página Etiquetas, introduza quaisquer etiquetas que pretenda adicionar ao seu recurso.

   Property	Descrição
   Name	Opcional. Introduza um nome como HDInsight no AKS Private Preview para identificar facilmente todos os recursos associados aos seus recursos
   Value	Deixe isto em branco
   Recurso	Selecione Todos os recursos selecionados

7. Clique em Seguinte : Rever + criar.

8. Na página Rever + criar, procure a mensagem Validação bem-sucedida na parte superior da página e, em seguida, clique em Criar.

9. A página Implantação está em processo é exibida na qual o cluster é criado. Leva de 5 a 10 minutos para criar o cluster. Depois que o cluster for criado, a mensagem Sua implantação está concluída será exibida. Se você navegar para fora da página, você pode verificar suas notificações para o status.

10. Vá para a página de visão geral do cluster, você pode ver os links de ponto de extremidade lá.