Pré-requisitos de recursos

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

Este artigo detalha os recursos necessários para começar a usar o HDInsight no AKS. Abrange os recursos necessários e opcionais e como criá-los.

Recursos necessários

A tabela a seguir mostra os recursos necessários para a criação de cluster com base nos tipos de cluster.

Carga de trabalho	Identidade de Serviço Gerida (MSI)	Armazenamento	SQL Server - Banco de Dados SQL	Key Vault
Trino	✅
Flink	✅	✅
Spark	✅	✅
Trino, Flink ou Faísca com Hive Metastore (HMS)	✅	✅	✅	✅

Nota

O MSI é usado como um padrão de segurança para autenticação e autorização entre recursos, exceto o Banco de dados SQL. A atribuição de função ocorre antes da implantação para autorizar o MSI ao armazenamento e os segredos são armazenados no Cofre de chaves para o Banco de dados SQL. O suporte de armazenamento é com o ADLS Gen2 e é usado como armazenamento de dados para os mecanismos de computação, e o Banco de dados SQL é usado para gerenciamento de tabelas no Hive Metastore.

Recursos opcionais

• Rede Virtual (VNet) e Sub-rede: Criar rede virtual
• Espaço de trabalho do Log Analytics: Criar espaço de trabalho do Log Analytics

Nota

• A VNet requer sub-rede sem nenhuma tabela de rotas existente associada a ela.
• O HDInsight no AKS permite que você traga sua própria rede virtual e sub-rede, permitindo que você personalize seus requisitos de rede para atender às necessidades de sua empresa.
• O espaço de trabalho do Log Analytics é opcional e precisa ser criado com antecedência caso você queira usar os recursos do Azure Monitor, como o Azure Log Analytics.

Você pode criar os recursos necessários de duas maneiras:

• Modelos ARM prontos a usar
• Através do portal do Azure

Utilizar modelos do ARM

Os modelos ARM a seguir permitem que você crie os recursos necessários especificados, em um clique, usando um prefixo de recurso e mais detalhes, conforme necessário.

Por exemplo, se você fornecer o prefixo do recurso como "demonstração", os seguintes recursos serão criados em seu grupo de recursos, dependendo do modelo selecionado -

• MSI é criado com o nome como demoMSI.
• O armazenamento é criado com o nome junto demostore com um contêiner como democontainer.
• O cofre de chaves é criado com o nome juntamente demoKeyVault com o segredo fornecido como parâmetro no modelo.
• O banco de dados SQL do Azure é criado com nome como demoSqlDB junto com o servidor SQL com nome como demoSqlServer.

Carga de trabalho	Pré-requisitos
Trino	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário.
Flink	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento ADLS Gen2 e um contêiner. Atribuições de funções: 1. Atribui a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário na conta de armazenamento.
Spark	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento ADLS Gen2 e um contêiner. Atribuições de funções: 1. Atribui a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário na conta de armazenamento.
Trino, Flink ou Faísca com Hive Metastore (HMS)	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento ADLS Gen2 e um contêiner. 3. Azure SQL Server e Banco de Dados SQL. 4. Azure Key Vault e um segredo para armazenar credenciais de administrador do SQL Server. Atribuições de funções: 1. Atribui a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário na conta de armazenamento. 2. Atribui a função "Key Vault Secrets User" ao MSI atribuído pelo usuário no Key Vault.

Nota

O uso desses modelos ARM exige que um usuário tenha permissão para criar novos recursos e atribuir funções aos recursos na assinatura.

Através do portal do Azure

Criar identidade gerenciada atribuída pelo usuário (MSI)

Uma identidade gerenciada é uma identidade registrada no Microsoft Entra ID (Microsoft Entra ID) cujas credenciais gerenciadas pelo Azure. Com identidades gerenciadas, você não precisa registrar entidades de serviço no Microsoft Entra ID para manter credenciais como certificados.

O HDInsight no AKS depende do MSI atribuído pelo usuário para comunicação entre diferentes componentes.

Criar conta de armazenamento – ADLS Gen 2

A conta de armazenamento é usada como o local padrão para logs de cluster e outras saídas. Habilite o namespace hierárquico durante a criação da conta de armazenamento para usar como armazenamento ADLS Gen2.

1. Atribuir uma função: atribua a função "Proprietário de Dados de Blob de Armazenamento" ao MSI atribuído pelo usuário criado para essa conta de armazenamento.

2. Criar um contêiner: depois de criar a conta de armazenamento, crie um contêiner na conta de armazenamento.

Nota

A opção para criar um contêiner durante a criação do cluster também está disponível.

Criar Banco de Dados SQL do Azure

Crie um Banco de Dados SQL do Azure para ser usado como um metastore externo durante a criação do cluster ou você pode usar um Banco de Dados SQL existente. No entanto, certifique-se de que as seguintes propriedades estão definidas.

Propriedades necessárias a serem habilitadas para SQL Server e Banco de dados SQL-

Tipo de Recurso	Property	Description
SQL Server	Método de autenticação	Ao criar um SQL Server, use "Método de autenticação" como
Base de Dados SQL	Permitir que os serviços e recursos do Azure acedam a este servidor	Habilite essa propriedade na folha Rede em seu banco de dados SQL no portal do Azure.

Nota

• Atualmente, oferecemos suporte apenas ao Banco de Dados SQL do Azure como metastore incorporado.
• Devido à limitação do Hive, o caractere "-" (hífen) no nome do banco de dados do metastore não é suportado.
• O Banco de Dados SQL do Azure deve estar na mesma região do cluster.
• A opção para criar um Banco de Dados SQL durante a criação do cluster também está disponível. No entanto, você precisa atualizar a página de criação do cluster para que o banco de dados recém-criado apareça na lista suspensa.

Criar Azure Key Vault

O Cofre de Chaves permite armazenar a senha de administrador do SQL Server definida durante a criação do Banco de Dados SQL. O HDInsight na plataforma AKS não lida diretamente com a credencial. Por isso, é necessário armazenar suas credenciais importantes no Cofre da Chave.

1. Atribuir uma função: atribua a função "Usuário de Segredos do Cofre de Chaves" ao MSI atribuído pelo usuário criado como parte dos recursos necessários para esse Cofre de Chaves.

2. Criar um segredo: esta etapa permite que você mantenha sua senha de administrador do SQL Server como um segredo no Cofre de Chaves do Azure. Adicione a sua palavra-passe no campo "Valor" enquanto cria um segredo.

Nota

• Certifique-se de anotar o nome secreto, pois isso é necessário durante a criação do cluster.
• Você precisa ter uma função "Administrador do Cofre da Chave" atribuída à sua identidade ou conta para adicionar um segredo no Cofre da Chave usando o portal do Azure. Navegue até o Cofre da Chave e siga as etapas sobre como atribuir a função.