Compartilhar via

Criar e configurar clusters Enterprise Security Package no Azure HDInsight

  • Artigo

O ESP (Enterprise Security Package) para Azure HDInsight oferece acesso à autenticação usando o Active Directory, suporte a multiusuários e controle de acesso baseado em função para os clusters Apache Hadoop no Azure. Os clusters ESP do HDInsight permitem que as organizações que aderem às rígidas políticas de segurança corporativa processem dados confidenciais com segurança.

Este guia mostra como criar um cluster Azure HDInsight habilitado para ESP. Também mostra como criar uma VM (máquina virtual) IaaS Windows na qual o Active Directory e o DNS (Sistema de Nomes de Domínio) estão habilitados. Use este guia para configurar os recursos necessários para permitir que os usuários locais entrem no cluster HDInsight habilitado para ESP.

O servidor criado funciona como um substituto para seu ambiente local real. Este servidor é usado nas etapas de instalação e configuração. Mais tarde, as etapas serão repetidas em seu próprio ambiente.

Este guia também ajudará você a criar um ambiente de identidade híbrida usando a sincronização de hash de senha com o Microsoft Entra ID. O guia complementa o Use o ESP no HDInsight.

Antes de usar esse processo em seu ambiente:

  • Configure o Active Directory e o DNS.
  • Habilite o Microsoft Entra ID.
  • Sincronize contas de usuário locais com o Microsoft Entra ID.

Diagrama de arquitetura do Microsoft Entra.

Crie o ambiente local

Esta seção descreve como usar o modelo de implantação de Início Rápido do Azure para criar novas VMs, configurar o DNS e adicionar uma nova floresta Active Directory.

  1. Acesse o modelo de implantação de Início Rápido para Criar uma VM Azure com uma nova floresta Active Directory.

  2. Selecione Implantar no Azure.

  3. Entre na sua assinatura do Azure.

  4. Na página Criar uma VM Azure com uma nova floresta AD, forneça os seguintes dados:

    Propriedade Valor
    Subscription Selecione a assinatura para a qual deseja implantar os recursos.
    Resource group Selecione Criar novo e digite o nome OnPremADVRG
    Local Selecione uma localização.
    Nome de Usuário do Administrador HDIFabrikamAdmin
    Senha do Administrador Digite uma senha.
    Nome de domínio HDIFabrikam.com
    Prefixo do DNS hdifabrikam

    Mantenha os valores padrão restantes.

    Modelo para criar uma VM do Azure com uma nova Floresta do Microsoft Entra.

  5. Leia os Termos e Condições e depois selecione Concordo com os termos e condições declarados acima.

  6. Selecione Comprar, monitore a implantação e aguarde a conclusão. A implantação leva cerca de 30 minutos.

Configurar os usuários e os grupos para acesso ao cluster

Esta seção descreve como criar os usuários que terão acesso ao cluster HDInsight.

  1. Acesse o controlador de domínio usando a Área de Trabalho Remota.

    1. No portal do Azure, navegue até Grupos de Recursos>OnPremADVRG>adVM>Conectar.
    2. Na lista suspensa Endereço IP, selecione o IP.
    3. Selecione Baixar Arquivo RDP e depois abra o arquivo.
    4. Use HDIFabrikam\HDIFabrikamAdmin como o nome de usuário.
    5. Digite a senha que você escolheu para a conta de administrador.
    6. Selecione OK.

  2. No painel do Gerenciador do Servidor do controlador de domínio, navegue até Ferramentas>Usuários e Computadores do Active Directory.

    No painel Gerenciador do Servidor, abra o Gerenciamento do Active Directory.

  3. Crie dois novos usuários: HDIAdmin e HDIUser. Esses dois usuários entrarão nos clusters HDInsight.

    1. Na página Usuários e Computadores do Active Directory, clique no botão direito do mouse HDIFabrikam.come navegue até Novo> Usuário.

      Criar um novo usuário do Active Directory.

    2. Na página Novo Objeto – Usuário, digite HDIUsero Nome e o Nome de logon do usuário. Os demais campos são preenchidos automaticamente. Em seguida, selecione Avançar.

      Crie o primeiro objeto de usuário administrador.

    3. Na janela pop-up exibida, digite uma senha para a nova conta. Selecione Senha nunca expirae, em seguida, OK.

    4. Selecione Avançare Concluir para criar a nova conta.

    5. Repita as etapas acima para criar o usuárioHDIAdmin.

      Crie um segundo objeto de usuário administrador.

  4. Crie um grupo de segurança.

    1. Na página Usuários e Computadores do Active Directory, clique no botão direito do mouse HDIFabrikam.come navegue até Novo> Grupo.

    2. Digite HDIUserGroup na caixa de texto Nome do Grupo.

    3. Selecione OK.

    Crie um novo grupo do Active Directory.

    Crie um novo objeto.

  5. Adicione membros ao HDIUserGroup.

    1. Clique no botão direito do mouse em HDIUser e selecione Adicionar a um grupo... .

    2. Na caixa de texto Digite os nomes de objeto a serem selecionados, digite HDIUserGroup. Em seguida, selecione OK e OK novamente no pop-up.

    3. Repita as etapas anteriores para a conta HDIAdmin.

      Adicione o membro HDIUser ao grupo HDIUserGroup.

Você acabou de criar seu ambiente de Active Directory. Você adicionou dois usuários e um grupo de usuários que podem acessar o cluster HDInsight.

Os usuários serão sincronizados com o Microsoft Entra ID.

Criar um diretório do Microsoft Entra

  1. Entre no portal do Azure.

  2. Selecione Criar um recurso e digite directory. Selecione Microsoft Entra ID>Criar.

  3. Em Nome da organização, insira HDIFabrikam.

  4. Em Nome de domínio inicial, insira HDIFabrikamoutlook.

  5. Selecione Criar.

    Crie um diretório do Microsoft Entra.

Criar um domínio personalizado

  1. Eu seu novo Microsoft Entra ID, em Gerenciar, selecione Nomes de domínio personalizados.

  2. Selecione + Adicionar domínio personalizado.

  3. Em Nome de domínio personalizado, digite HDIFabrikam.com e, em seguida, selecione Adicionar domínio.

  4. Em seguida conclua a Adicionar suas informações de DNS ao registrador de domínio.

    Crie um domínio personalizado.

Criar um grupo

  1. Em seu novo Microsoft Entra ID, em Gerenciar, selecione Grupos.
  2. Selecione + Novo grupo.
  3. Na caixa de texto Nome do grupo, digite AAD DC Administrators.
  4. Selecione Criar.

Configurar seu locatário do Microsoft Entra

Agora você configurará seu locatário do Microsoft Entra para que possa sincronizar usuários e grupos da instância do Active Directory local para a nuvem.

Crie um administrador de locatários no Active Directory.

  1. Entre no portal do Azure e selecione seu locatário do Microsoft Entra, HDIFabrikam.

  2. Navegue até Gerenciar>Usuários>Novo usuário.

  3. Insira os seguintes detalhes para o novo usuário:

    Identidade

    Propriedade Descrição
    Nome de usuário Insira fabrikamazureadmin na caixa de texto. Na lista suspensa do nome de domínio, selecione hdifabrikam.com
    Nome Digite fabrikamazureadmin.

    Senha

    1. Selecione Deixe-me criar a senha.
    2. Insira uma senha segura de sua escolha.

    Grupos e funções

    1. Selecione 0 grupos selecionados.

    2. Selecione Administradores AAD DC e, em seguida, Selecionar.

      A caixa de diálogo de grupos do Microsoft Entra.

    3. Selecione Usuário.

    4. Selecione Administrador e, em seguida, Selecionar.

      A caixa de diálogo de função do Microsoft Entra.

  4. Selecione Criar.

  5. Em seguida, peça para o novo usuário entrar no portal do Azure, onde o sistema solicitará que ele altere a senha. Você precisará fazer isso antes de configurar o Microsoft Entra Connect.

Sincronizar usuários locais com o Microsoft Entra ID

Configurar o Microsoft Entra Connect

  1. No controlador de domínio, baixe o Microsoft Entra Connect.

  2. Abra o arquivo executável que você baixou e concorde com os termos de licença. Selecione Continuar.

  3. Selecione Usar configurações expressas.

  4. Na página Conectar-se ao Microsoft Entra ID, insira o nome de usuário e a senha do administrador do Microsoft Entra ID. Use o nome de usuário fabrikamazureadmin@hdifabrikam.com que você criou quando configurou seu locatário de Active Directory. Em seguida, selecione Avançar.

    Conecte-se ao Microsoft Entra ID.

  5. Na página Conectar ao Active Directory Domain Services, insira o nome de usuário e a senha de uma conta de administrador corporativo. Use o nome de usuário HDIFabrikam\HDIFabrikamAdmin e a senha que você criou anteriormente. Em seguida, selecione Avançar.

    Página Conectar ao AD DS.

  6. Na página de configuração de entrada do Microsoft Entra, selecione Avançar.

    Página de configuração de entrada do Microsoft Entra.

  7. Na página Pronto para configurar, selecione Instalar.

    Página Pronto para configurar.

  8. Na página Configuração completa, selecione Sair. Página Configuração concluída.

  9. Após a conclusão da sincronização, confirme se os usuários criados no diretório IaaS estão sincronizados com o Microsoft Entra ID.

    1. Entre no portal do Azure.
    2. Selecione Microsoft Entra ID>HDIFabrikam>Usuários.

Criar uma identidade gerenciada atribuída ao usuário

Crie uma identidade gerenciada atribuída pelo usuário que você pode usar para configurar o Microsoft Entra Domain Services. Para saber mais, consulte Criar, listar, excluir ou atribuir uma função a uma identidade gerenciada atribuída ao usuário usando o portal do Azure.

  1. Entre no portal do Azure.
  2. Selecione Criar um recurso e digite managed identity. Selecione Identidade Gerenciada Atribuída ao Usuário>Criar.
  3. No Nome do Recurso, digite HDIFabrikamManagedIdentity.
  4. Selecione sua assinatura.
  5. Em Grupo de recursos, selecione Criar novo e insira HDIFabrikam-CentralUS.
  6. Em Local, selecione EUA Central.
  7. Selecione Criar.

Crie uma identidade gerenciada atribuída pelo usuário.

Habilitar o Microsoft Entra Domain Services

Siga estas etapas para habilitar o Microsoft Entra Domain Services. Para obter mais informações, confira Habilitar o Microsoft Entra Domain Services usando o portal do Azure.

  1. Crie uma rede virtual para hospedar o Microsoft Entra Domain Services. Execute o seguinte código do PowerShell.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Entre no portal do Azure.

  3. Selecione Criar recurso, insira Domain services e selecione Microsoft Entra Domain Services>Criar.

  4. Na página Básico:

    1. Em Nome do diretório, selecione o diretório do Microsoft Entra que você criou: HDIFabrikam.

    2. No Nome de domínio DNS, insira HDIFabrikam.com.

    3. Selecione sua assinatura.

    4. Especifique o grupo de recursos HDIFabrikam-CentralUS. Em Local, selecione EUA Central.

      Detalhes básicos do Microsoft Entra Domain Services.

  5. Na página Rede, selecione a rede (HDIFabrikam-VNET) e a sub-rede (AADDS) que você criou usando o script do PowerShell. Ou escolha Criar novo para criar uma rede virtual agora.

    Etapa Criar rede virtual.

  6. Na página Grupo do administrador, existe uma notificação dizendo que um grupo chamado Administradores AAD DC já foi criado para administrar este grupo. Você pode modificar a associação desse grupo, mas neste caso você não precisa alterá-la. Selecione OK.

    Exiba o grupo de administradores do Microsoft Entra.

  7. Na página Sincronização, habilite sincronização completa selecionando Tudo>OK.

    Habilite a sincronização do Microsoft Entra Domain Services.

  8. Na página Resumo, verifique os detalhes do Microsoft Entra Domain Services e selecione OK.

    Habilitar o Serviços de Domínio do Microsoft Entra.

Depois de habilitar o Microsoft Entra Domain Services, um servidor DNS local é executado nas VMs do Microsoft Entra.

Configurar sua rede virtual do Microsoft Entra Domain Services

Use as etapas a seguir para configurar sua rede virtual do Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) para usar seus servidores DNS personalizados.

  1. Localize os endereços IPs dos seus servidores DNS personalizados.

    1. Selecione o recurso HDIFabrikam.com do Microsoft Entra Domain Services.
    2. Em Gerenciar, selecione Propriedades.
    3. Localize os endereços IPs em Endereço IP na rede virtual.

    Localize os endereços IP personalizados de DNS para o Microsoft Entra Domain Services.

  2. Configure HDIFabrikam-AADDSVNET para usar os endereços IPs personalizados 10.0.0.4 e 10.0.0.5.

    1. Em Configurações, selecione Servidores DNS.
    2. selecione Personalizado.
    3. Na caixa de texto, insira o primeiro endereço IP (10.0.0.4).
    4. Selecione Salvar.
    5. Repita as etapas para adicionar o outro endereço IP (10.0.0.5).

Em nosso cenário, configuramos o Microsoft Entra Domain Services para usar os endereços IP 10.0.0.4 e 10.0.0.5, definindo o mesmo endereço IP na rede virtual do Microsoft Entra Domain Services:

Página de servidores DNS personalizados.

Proteção do tráfego LDAP

O LDAP (Lightweight Directory Access Protocol) é usado para ler e gravar no Microsoft Entra ID. Você pode deixar o tráfego LDAP confidencial e seguro usando o protocolo SSL (Secure Sockets Layer) ou a tecnologia TLS (Transport Layer Security). Para habilitar o LDAP sobre SSL (LDAPS), instale um certificado formatado adequado.

Para obter mais informações sobre LDAP seguro, confira Configurar o LDAPS para um domínio gerenciado do Microsoft Entra Domain Services.

Nesta seção, você criará um certificado autoassinado, baixará o certificado e configurará o LDAPS para o domínio gerenciado do Microsoft Entra Domain Services HDIFabrikam.

O script abaixo cria um certificado para HDIFabrikam. O certificado é salvo no caminho LocalMachine.

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Observação

Qualquer utilitário ou aplicativo que cria uma solicitação PKCS (Public Key Cryptography Standards) #10 pode ser usado para criar a solicitação de certificado TLS/SSL.

Verifique se o certificado está instalado no repositório Pessoal do computador:

  1. Inicie o MMC (Console de Gerenciamento Microsoft).

  2. Adicione o snap-in de Certificados que gerencia os certificados no computador local.

  3. Expanda Certificados (Computador Local)>Pessoal>Certificados. Deve haver um novo certificado no repositório Pessoal. Este certificado é emitido para o nome de host totalmente qualificado.

    Verifique a criação do certificado local.

  4. No painel à direita, clique com o botão direito do mouse no certificado que você criou. Aponte para Todas as Tarefas e, em seguida, selecione Exportar.

  5. Na página Exportar Chave Privada, escolha Sim, exportar a chave privada. O computador em que a chave será importada precisa da chave privada para ler as mensagens criptografadas.

    Página Exportar Chave Privada do Assistente para Exportação de Certificados.

  6. Na página Formato do Arquivo de Exportação, não altere as configurações padrão e, em seguida, selecione Avançar.

  7. Na página Senha, digite uma senha para a chave privada. Em Criptografia, selecione TripleDES-SHA1. Em seguida, selecione Avançar.

  8. Na página Arquivo a ser Exportado, digite o caminho e o nome do arquivo de certificado exportado e, em seguida, selecione Avançar. O nome de arquivo deve ter uma extensão .pfx. Este arquivo é configurado no portal do Azure para estabelecer uma conexão segura.

  9. Habilite o LDAPS para um domínio gerenciado do Microsoft Entra Domain Services.

    1. No portal do Azure, selecione o domínio HDIFabrikam.com.
    2. Em Gerenciar, selecione LDAP Seguro.
    3. Na página LDAP seguro, em LDAP Seguro, selecione Habilitar.
    4. Procure o arquivo de certificado .pfx que você exportou em seu computador.
    5. Digite a senha do certificado.

    Habilite LDAP seguro.

  10. Depois que o LDAPS estiver habilitado, verifique se ele está acessível, habilitando a porta 636.

    1. No grupo de recursos HDIFabrikam-CentralUS, selecione o grupo de segurança de rede AADDS-HDIFabrikam.com-NSG.

    2. Em Configurações, selecione Regras de segurança de entrada>Adicionar.

    3. Na página Adicionar regra de segurança de entrada, insira os seguintes dados e depois selecione Adicionar:

      Propriedade Valor
      Fonte Qualquer
      Intervalos de portas de origem *
      Destino Qualquer
      Intervalo de portas de destino 636
      Protocolo Qualquer
      Ação Permitir
      Prioridade <Número desejado>
      Nome Port_LDAP_636

      Caixa de diálogo Adicionar regra de segurança de entrada.

HDIFabrikamManagedIdentity é a identidade gerenciada atribuída ao usuário. A função Colaborador dos serviços de domínio do HDInsight está habilitada para a identidade gerenciada que permite que essa identidade leia, crie, modifique e exclua operações de serviços de domínio.

Criar uma identidade gerenciada atribuída pelo usuário.

Criar um cluster HDInsight habilitado para ESP

Esta etapa requer os pré-requisitos:

  1. Crie um novo grupo de recursos HDIFabrikam-Westus no local Oeste dos EUA.

  2. Crie uma rede virtual que hospede o cluster HDInsight habilitado para ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Crie uma relação de pares entre a rede virtual que hospeda o Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) e a rede virtual que hospedará o cluster HDInsight habilitado para ESP (HDIFabrikam-HDIVNet). Use o código do PowerShell a seguir para igualar as duas redes virtuais.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Crie uma nova conta Azure Data Lake Storage Gen2 chamada Hdigen2store. Configure a conta com a identidade gerenciada pelo usuário HDIFabrikamManagedIdentity. Para saber mais, consulte Usar o Azure Data Lake Storage Gen2 com clusters Azur HDInsight.

  5. Configure o DNS personalizado na rede virtual HDIFabrikam-AADDSVNET.

    1. Navegue até o portal do Azure >Grupos de recursos>OnPremADVRG>HDIFabrikam-AADDSVNET>servidores DNS.

    2. Selecione Personalizar e insira 10.0.0.4 e 10.0.0.5.

    3. Selecione Salvar.

      Salvar configurações personalizadas de DNS para uma rede virtual.

  6. Crie um novo cluster HDInsight Spark habilitado para ESP.

    1. Selecione Personalizar (tamanho, configurações, aplicativos) .

    2. Insira os dados para as Noções Básicas (seção 1). Verifique se o Tipo de cluster é Spark 2.3 (HDI 3.6) . Verifique se o Grupo de recursos é HDIFabrikam-Centralus.

    3. Em Segurança + rede (seção 2), preencha os seguintes detalhes:

      • Em Enterprise Security Package, selecione Habilitado.

      • Selecione Usuário administrador de cluster e selecione a conta HDIAdmin que você criou como o usuário administrador local. Clique em Selecionar.

      • Selecione Grupo de acesso ao cluster>HDIUserGroup. Qualquer usuário que você adicionar neste grupo consegue acessar os clusters HDInsight.

        Selecione o grupo de acesso ao cluster HDIUserGroup.

    4. Conclua as outras etapas da configuração do cluster e verifique os detalhes no Resumo do cluster. Selecione Criar.

  7. Entre na interface do usuário do Ambari do cluster recém-criado em https://CLUSTERNAME.azurehdinsight.net. Use o nome de usuário do administrador hdiadmin@hdifabrikam.com e a senha.

    Janela de entrada da interface do usuário do Apache Ambari.

  8. No painel do cluster, selecione Funções.

  9. Na página Funções, em Atribuir funções a elas, ao lado da função Administrador de cluster, insira o grupo hdiusergroup.

    Atribua a função de administrador de cluster ao hdiusergroup.

  10. Abra o cliente do SSH (Secure Shell) e entre no cluster. Use o hdiuser que você criou na instância de Active Directory local.

    Entre no cluster usando o cliente SSH.

Se você conseguir entrar usando esta conta, significa que você configurou o cluster do ESP de forma correta para sincronizar com sua instância de Active Directory local.

Próximas etapas

Leia Uma introdução à segurança do Apache Hadoop com o ESP.