Criar cluster Spark no HDInsight no AKS (versão prévia)
Observação
Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.
Somente suporte básico estará disponível até a data da aposentadoria.
Importante
Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. No caso de perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
Depois que as etapas de pré-requisitos da assinatura e pré-requisitos do recurso forem concluídas e você tiver um pool de cluster implantado, continue a usar o portal do Azure para criar um cluster Spark. Você pode usar o portal do Azure para criar um cluster Do Apache Spark no pool de clusters. Em seguida, você pode criar um Jupyter Notebook e o usará para executar consultas SQL do Spark em tabelas do Apache Hive.
No portal do Azure, digite pools de cluster e selecione pools de cluster para ir para a página de pools de cluster. Na página de pools de cluster, selecione o pool de clusters no qual você pode adicionar um novo cluster Spark.
Na página do pool de clusters específica, clique em + Novo cluster.
Esta etapa abre a página de criação do cluster.
Propriedade Descrição Subscription A assinatura do Azure que foi registrada para uso com o HDInsight no AKS na seção Pré-requisitos com pré-população Grupo de recursos O mesmo grupo de recursos que o pool de clusters será preenchido previamente Region A mesma região que o pool de clusters e o virtual serão preenchidos previamente Pool de clusters O nome do pool de clusters será preenchido previamente Versão do Pool do HDInsight A versão do pool de clusters será preenchida previamente da seleção de criação do pool HDInsight na versão do AKS Especificar o HDI na versão do AKS Tipo de cluster Na lista suspensa, selecione Spark Versão do cluster Selecione a versão da versão da imagem a ser usada Nome do cluster Insira o nome do novo cluster Identidade gerenciada atribuída pelo usuário Selecione a identidade gerenciada atribuída pelo usuário que funcionará como uma cadeia de conexão com o armazenamento Conta de Armazenamento Selecione a conta de armazenamento pré-criada que deve ser usada como armazenamento primário para o cluster Nome do contêiner Selecione o nome do contêiner(exclusivo) se for criado ou criado previamente ou criar um novo contêiner Catálogo do Hive (opcional) Selecione o metastore do Hive pré-criado (banco de dados SQL do Azure) Banco de Dados SQL para Hive Na lista suspensa, selecione o Banco de Dados SQL no qual adicionar tabelas hive-metastore. Nome de usuário administrador do SQL Insira o nome de usuário do administrador do SQL Key vault Na lista suspensa, selecione o Key Vault, que contém um segredo com senha para o nome de usuário do administrador do SQL Nome do segredo da senha do SQL Insira o nome do segredo do Key Vault em que a senha do BD SQL é armazenada Observação
- Atualmente, o HDInsight dá suporte apenas a bancos de dados do MS SQL Server.
- Devido à limitação do Hive, não há suporte para o caractere "-" (hífen) no nome do banco de dados metastore.
Selecione Avançar: Configuração + preço para continuar.
Propriedade Descrição Tamanho do nó Selecione o tamanho do nó a ser usado para os nós do Spark Número de nós de trabalho Selecione o número de nós para o cluster Spark. Desses, três nós são reservados para serviços de coordenador e sistema, os nós restantes são dedicados aos trabalhadores do Spark, um trabalho por nó. Por exemplo, em um cluster de cinco nós há dois trabalhos Autoscale Clique no botão de alternância para habilitar o Dimensionamento Automático Tipo de dimensionamento automático Selecione com base na carga ou no dimensionamento automático baseado em agendamento Tempo limite normal de decomission Especificar o tempo limite de desativação normal Nenhum nó de trabalho padrão Selecione o número de nós para dimensionamento automático Fuso Horário Selecione o fuso horário Regras de dimensionamento automático Selecione o dia, a hora de início, a hora de término, não. de nós de trabalho Habilitar SSH Se habilitado, permite definir prefixo e número de nós SSH Clique em Avançar: Integrações para habilitar e selecionar o Log Analytics para registro em log.
O Azure Prometheus para monitoramento e métricas pode ser habilitado após a criação do cluster.
Clique em Avançar: Marcas para continuar na próxima página.
Na página Marcas, insira todas as marcas que você deseja adicionar ao recurso.
Propriedade Descrição Nome Opcional. Insira um nome como Azure HDInsight na Visualização Privada do AKS para identificar facilmente todos os recursos associados a seus recursos Valor Deixe isso em branco Recurso Selecionar Todos os recursos selecionados Clique em Próximo: Examinar + criar.
Na página Examinar + criarde, procure a mensagem de validação bem-sucedida na parte superior da página e clique em Criar.
A página Implantação está em processo e é exibida, mostrando que o cluster está sendo criado. Leva de cinco a dez minutos para criar o cluster. Uma vez criado o cluster, será exibida a mensagem Sua implantação está concluída. Se você navegar para longe da página, poderá verificar o status de suas Notificações.
Vá para a página de visão geral do cluster, você pode ver links de ponto de extremidade lá.
