Criar um cluster do Apache Flink® no HDInsight no AKS com o portal do Azure
Observação
Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.
Somente o suporte básico estará disponível até a data de desativação.
Importante
Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
Conclua as etapas a seguir para criar um cluster do Apache Flink no portal do Azure.
Pré-requisitos
Atenda aos pré-requisitos nas seguintes seções:
Importante
- Para criar um cluster em um novo pool de clusters, atribua a função "Operador de identidade gerenciada" do MSI do pool de agentes do AKS na identidade gerenciada atribuída pelo usuário criada como parte do pré-requisito do recurso. Caso você tenha as permissões necessárias, essa etapa é automatizada durante a criação.
- A identidade gerenciada do pool de agentes do AKS é criada durante a criação do pool de clusters. Você pode identificar a identidade gerenciada do pool de agentes do AKS como (nome do seu pool de clusters)-pooldeagentes. Siga estas etapas para atribuir a função.
Criar um cluster do Apache Flink
Os clusters do Flink podem ser criados após a conclusão da implantação do pool de clusters. Vamos examinar as etapas caso você esteja começando com um pool de clusters existente
No portal do Azure, digite Pools de clusters do HDInsight/HDInsight/HDInsight no AKS e selecione Pools de clusters do Azure HDInsight no AKS para acessar a página de pools de clusters. Na página de pools de clusters do HDInsight no AKS, selecione o pool de clusters no qual você deseja criar um cluster do Flink.
Na página do pool de clusters específico, clique em + Novo cluster e forneça as seguintes informações:
Propriedade Descrição Subscription Esse campo é preenchido automaticamente com a assinatura do Azure que foi registrada para o pool de clusters. Grupo de recursos Esse campo é preenchido automaticamente e mostra o grupo de recursos no pool de clusters. Region Esse campo é preenchido automaticamente e mostra a região selecionada no pool de clusters. Pool de clusters Este campo é preenchido automaticamente e mostra o nome do pool de cluster no qual o cluster está sendo criado. Para criar um cluster em um pool diferente, localize esse pool de clusters no portal e clique em + Novo cluster. Versão do pool do HDInsight no AKS Esse campo é preenchido automaticamente e mostra a versão do pool de clusters na qual o cluster está sendo criado. Versão do HDInsight no AKS Selecione a versão secundária ou de patch do HDInsight no AKS do novo cluster. Tipo de cluster Na lista suspensa, selecione Flink. Nome do cluster Insira o nome do novo cluster. Identidade gerenciada atribuída pelo usuário Na lista suspensa, selecione a identidade gerenciada a ser usada com o cluster. Se você for o proprietário da MSI (Identidade do Serviço Gerenciado) e a MSI não tiver a função Operador de Identidade Gerenciada no cluster, clique no link abaixo da caixa para atribuir a permissão necessária da MSI do pool de agentes do AKS. Se a MSI já tiver as permissões corretas, nenhum link será mostrado. Consulte os pré-requisitos para outras atribuições de função necessárias para a MSI. Conta de armazenamento Na lista suspensa, selecione a conta de armazenamento a ser associada ao cluster do Flink e especifique o nome do contêiner. A identidade gerenciada receberá acesso à conta de armazenamento especificada usando a função 'Proprietário de Dados do Blob de Armazenamento' durante a criação do cluster. Rede virtual A rede virtual do cluster. Sub-rede A sub-rede virtual do cluster. Habilitando o catálogo do Hive para o SQL do Flink.
Propriedade Descrição Usar o catálogo do Hive Habilite essa opção para usar um metastore externo do Hive. Banco de Dados SQL para Hive Na lista suspensa, selecione o Banco de Dados SQL no qual adicionar tabelas hive-metastore. Nome de usuário administrador do SQL Insira o nome de usuário do administrador do SQL Server. Essa conta é usada pelo metastore para se comunicar com o banco de dados SQL. Key vault Na lista suspensa, selecione o Key Vault, que contém um segredo com senha para o nome de usuário do administrador do servidor SQL. Você precisa configurar uma política de acesso com todas as permissões necessárias, como permissões de chave, permissões secretas e permissões de certificado para a MSI, que está sendo usada para a criação do cluster. A MSI precisa de uma função de Administrador do Key Vault. Adicione as permissões necessárias usando o IAM. Nome do segredo da senha do SQL Insira o nome do segredo do Key Vault em que a senha do banco de dados SQL está armazenada. 
Observação
Por padrão, usamos a Conta de armazenamento para o catálogo do Hive da mesma forma que a conta de armazenamento e o contêiner usados durante a criação do cluster.
Selecione Avançar: Configuração para continuar.
Na página Configuração, forneça as seguintes informações:
Propriedade Descrição Tamanho do nó Selecione o tamanho do nó a ser usado para os nós do Flink, de cabeçalho e de trabalho. Número de nós Selecione o número de nós para o cluster do Flink. Por padrão, os nós de cabeçalho são dois. O dimensionamento de nós de trabalho ajuda a determinar as configurações do gerenciador de tarefas para o Flink. O gerenciador de trabalhos e o servidor de histórico estão em nós de cabeçalho. Na guia Configuração do serviço, forneça as seguintes informações:
Propriedade Descrição CPU do gerenciador de tarefas Integer. Insira o tamanho das CPUs do gerenciador de tarefas (em núcleos). Memória do gerenciador de tarefas em MB Insira o tamanho da memória do Gerenciador de tarefas em MB. Mínimo de 1800 MB. CPU do gerenciador de trabalhos Integer. Insira o número de CPUs para o Gerenciador de trabalhos (em núcleos). Memória do Gerenciador de trabalhos em MB Insira o tamanho da memória em MB. O mínimo é 1800 MB. CPU do servidor de histórico Integer. Insira o número de CPUs para o Gerenciador de trabalhos (em núcleos). Memória do servidor de histórico em MB Insira o tamanho da memória em MB. O mínimo é 1800 MB. 
Observação
- O servidor de histórico pode ser habilitado/desabilitado conforme necessário.
- Há suporte para dimensionamento automático baseado em agendamento no Flink. Você pode agendar o número de nós de trabalho conforme necessário. Por exemplo, ele está habilitado para um dimensionamento automático baseado em agendamento com uma contagem de nós de trabalho padrão de 3. Durante os dias úteis, das 9:00 UTC às 20:00 UTC, os nós de trabalho estão agendados para serem 10. No final do dia, ele precisa passar usar o valor padrão de 3 nós (entre 20:00 UTC e 09:00 UTC do dia seguinte). Durante os fins de semana, das 9:00 UTC às 20:00 UTC, os nós de trabalho são 4.
Na seção Dimensionamento automático e SSH, atualize o seguinte:
Propriedade Descrição Dimensionamento automático Após a seleção, você poderá escolher o dimensionamento automático baseado em agendamento para configurar o agendamento das operações de dimensionamento. Habilitar SSH Após a seleção, você pode optar pelo número total de nós SSH necessários, que são os pontos de acesso da CLI do Flink usando o Secure Shell. O máximo de nós SSH permitidos é 5. 
Clique no botão Próxima integração para passar para a próxima página.
Na página Integração, forneça as seguintes informações:
Propriedade Descrição Log Analytics Esse recurso só estará disponível se o pool de clusters tiver um workspace de análise de logs associado. Uma vez que ele for habilitado, os logs a serem coletados poderão ser selecionados. Azure Prometheus Esse recurso é para exibir Insights e Logs diretamente em seu cluster por meio do envio de métricas e logs para um workspace do Azure Monitor. 
Clique no botão Próximo: Marcas para passar para a próxima página.
Na página Tags, forneça as seguintes informações:
Propriedade Descrição Nome Opcional. Insira um nome como HDInsight no AKS para identificar facilmente todos os recursos associados aos seus recursos de cluster. Valor Você pode deixar isso em branco. Recurso Selecione Todos os recursos selecionados. Selecione Próximo: Examinar + criar para continuar.
Na página Examinar + criar, procure a mensagem Validação bem-sucedida na parte superior da página e clique em Criar.
A página Implantação está em processo e é exibida, mostrando que o cluster está sendo criado. Leva de cinco a dez minutos para criar o cluster. Depois que o cluster é criado, a mensagem "Sua implantação é concluída" é exibida. Se você navegar para longe da página, poderá verificar o status atual das suas Notificações.
Observação
Apache, Apache Flink, Flink e nomes de projetos de código aberto associados são marcas registradas da Apache Software Foundation (ASF).