Configurar clusters HDInsight para integração do Microsoft Entra com o Pacote de Segurança Empresarial

Este artigo fornece um resumo e uma visão geral do processo de criação e configuração de um cluster HDInsight integrado ao Microsoft Entra ID. Essa integração depende de um recurso do HDInsight chamado Enterprise Security Package (ESP), dos Serviços de Domínio Microsoft Entra e do Ative Directory local preexistente.

Para obter um tutorial detalhado e passo a passo sobre como configurar um domínio no Azure e criar um cluster habilitado para ESP e, em seguida, sincronizar usuários locais, consulte Criar e configurar clusters de Pacote de Segurança Empresarial no Azure HDInsight.

Fundo

O Pacote de Segurança Enterprise (ESP) proporciona a integração do Active Directory para o Azure HDInsight. Esta integração permite que os utilizadores de domínio utilizem as credenciais de domínio na autenticação com clusters do HDInsight e execução de trabalhos de macrodados.

Nota

O ESP está geralmente disponível no HDInsight 4.0 e 5.0 para estes tipos de cluster: Apache Spark, Interactive, Hadoop, Apache Kafka e HBase. Não há suporte para clusters ESP criados antes da data ESP GA (1º de outubro de 2018).

Pré-requisitos

Há alguns pré-requisitos a serem concluídos antes de criar um cluster HDInsight habilitado para ESP:

• Um Ative Directory local existente e uma ID do Microsoft Entra.
• Habilite os Serviços de Domínio do Microsoft Entra.
• Verifique o status de integridade dos Serviços de Domínio Microsoft Entra para garantir que a sincronização seja concluída.
• Crie e autorize uma identidade gerenciada.
• Conclua a configuração de rede para DNS e problemas relacionados.

Cada um destes pontos é discutido em pormenor. Para obter um passo a passo sobre como concluir todas essas etapas, consulte Criar e configurar clusters de pacotes de segurança corporativa no Azure HDInsight.

Ativar o Microsoft Entra Domain Services.

Habilitar os Serviços de Domínio do Microsoft Entra é um pré-requisito antes de criar um cluster HDInsight com ESP. Para obter mais informações, consulte Habilitar os Serviços de Domínio do Microsoft Entra usando o portal do Azure.

Quando os Serviços de Domínio do Microsoft Entra estão habilitados, todos os usuários e objetos começam a sincronizar da ID do Microsoft Entra para os Serviços de Domínio do Microsoft Entra por padrão. A duração da operação de sincronização depende do número de objetos no Microsoft Entra ID. A sincronização pode levar alguns dias para centenas de milhares de objetos.

O nome de domínio que você usa com os Serviços de Domínio Microsoft Entra deve ter 39 caracteres ou menos, para funcionar com o HDInsight.

Você pode optar por sincronizar apenas os grupos que precisam acessar os clusters HDInsight. Essa opção de sincronizar apenas determinados grupos é chamada de sincronização com escopo. Para obter instruções, consulte Configurar a sincronização de escopo do Microsoft Entra ID para seu domínio gerenciado.

Quando estiver ativando o LDAP seguro, coloque o nome de domínio no nome do assunto. E o nome alternativo do assunto no certificado. Se o seu nome de domínio for contoso100.onmicrosoft.com, verifique se o nome exato existe no nome da entidade do certificado e no nome alternativo da entidade. Para obter mais informações, consulte Configurar LDAP seguro para um domínio gerenciado dos Serviços de Domínio Microsoft Entra.

O exemplo a seguir cria um certificado autoassinado. O nome de domínio contoso100.onmicrosoft.com está em ambos ( Subject nome do assunto) e DnsName (nome alternativo do assunto).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Nota

Somente os administradores de locatários têm os privilégios para habilitar os Serviços de Domínio Microsoft Entra. Se o armazenamento de cluster for Azure Data Lake Storage Gen1 ou Gen2, você deverá desabilitar a autenticação multifator do Microsoft Entra somente para usuários que precisarão acessar o cluster usando a autenticação Kerberos básica. Se sua organização exigir autenticação multifator, tente usar o recurso HDInsight ID Broker.

Você pode usar IPs confiáveis ou Acesso Condicional para desabilitar a autenticação multifator para usuários específicos somente quando eles estiverem acessando o intervalo de IP da rede virtual do cluster HDInsight.

Se o armazenamento de cluster for armazenamento de Blob do Azure, não desabilite a autenticação multifator.

Verificar o estado de funcionamento dos Serviços de Domínio Microsoft Entra

Exiba o status de integridade dos Serviços de Domínio do Microsoft Entra selecionando Integridade na categoria Gerenciar. Verifique se o status dos Serviços de Domínio do Microsoft Entra está verde (em execução) e se a sincronização está concluída.

Criar e autorizar uma identidade gerida

Use uma identidade gerenciada atribuída pelo usuário para simplificar as operações seguras de serviços de domínio. Quando você atribui a função de Colaborador dos Serviços de Domínio HDInsight à identidade gerenciada, ela pode ler, criar, modificar e excluir operações de serviços de domínio.

Determinadas operações de serviços de domínio, como a criação de UOs e entidades de serviço, são necessárias para o Pacote de Segurança Empresarial do HDInsight. Você pode criar identidades gerenciadas em qualquer assinatura. Para obter mais informações sobre identidades gerenciadas em geral, consulte Identidades gerenciadas para recursos do Azure. Para obter mais informações sobre como as identidades gerenciadas funcionam no Azure HDInsight, consulte Identidades gerenciadas no Azure HDInsight.

Para configurar clusters ESP, crie uma identidade gerenciada atribuída pelo usuário se ainda não tiver uma. Consulte Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Em seguida, atribua a função de Colaborador dos Serviços de Domínio HDInsight à identidade gerenciada no Controle de acesso dos Serviços de Domínio Microsoft Entra. Você precisa de privilégios de administrador dos Serviços de Domínio Microsoft Entra para fazer essa atribuição de função.

A atribuição da função de Colaborador dos Serviços de Domínio HDInsight garante que essa identidade tenha acesso adequado (on behalf of) para realizar operações de serviços de domínio no domínio dos Serviços de Domínio Microsoft Entra. Essas operações incluem a criação e a exclusão de UOs.

Depois que a identidade gerenciada recebe a função, o administrador dos Serviços de Domínio do Microsoft Entra gerencia quem a usa. Primeiro, o administrador seleciona a identidade gerenciada no portal. Em seguida, seleciona Controle de acesso (IAM) em Visão geral. O administrador atribui a função Operador de Identidade Gerenciada a usuários ou grupos que desejam criar clusters ESP.

Por exemplo, o administrador dos Serviços de Domínio do Microsoft Entra pode atribuir essa função ao grupo MarketingTeam para a identidade gerenciada sjmsi . Um exemplo é mostrado na imagem a seguir. Essa atribuição garante que as pessoas certas na organização possam usar a identidade gerenciada para criar clusters ESP.

Configuração de rede

Nota

Os Serviços de Domínio do Microsoft Entra devem ser implantados em uma rede virtual baseada no Azure Resource Manager. As redes virtuais clássicas não são suportadas pelos Serviços de Domínio Microsoft Entra. Para obter mais informações, consulte Habilitar os Serviços de Domínio do Microsoft Entra usando o portal do Azure.

Habilite os Serviços de Domínio do Microsoft Entra. Em seguida, um servidor DNS (Sistema de Nomes de Domínio) local é executado nas máquinas virtuais (VMs) do Ative Directory. Configure sua rede virtual dos Serviços de Domínio Microsoft Entra para usar esses servidores DNS personalizados. Para localizar os endereços IP corretos, selecione Propriedades na categoria Gerenciar e procure em ENDEREÇO IP NA REDE VIRTUAL.

Altere a configuração dos servidores DNS na rede virtual dos Serviços de Domínio Microsoft Entra. Para usar esses IPs personalizados, selecione Servidores DNS na categoria Configurações. Em seguida, selecione a opção Personalizar, digite o primeiro endereço IP na caixa de texto e selecione Salvar. Adicione mais endereços IP usando as mesmas etapas.

É mais fácil colocar a instância dos Serviços de Domínio do Microsoft Entra e o cluster HDInsight na mesma rede virtual do Azure. Se você planeja usar redes virtuais diferentes, deverá emparelhar essas redes virtuais para que o controlador de domínio fique visível para as VMs do HDInsight. Para obter mais informações, consulte Emparelhamento de rede virtual.

Depois que as redes virtuais forem emparelhadas, configure a rede virtual HDInsight para usar um servidor DNS personalizado. E insira os IPs privados dos Serviços de Domínio Microsoft Entra como os endereços do servidor DNS. Quando ambas as redes virtuais usam os mesmos servidores DNS, seu nome de domínio personalizado é resolvido para o IP certo e pode ser acessado pelo HDInsight. Por exemplo, se o seu nome de domínio for contoso.com, depois deste passo, ping contoso.com deverá resolver para o IP dos Serviços de Domínio Microsoft Entra à direita.

Se estiver a utilizar regras de grupo de segurança de rede (NSG) na sua sub-rede HDInsight, deve permitir os IPs necessários para o tráfego de entrada e de saída.

Para testar a configuração da rede, associe uma VM do Windows à rede/sub-rede virtual do HDInsight e execute ping no nome do domínio. (Deve resolver para um IP.) Execute ldp.exe para acessar o domínio dos Serviços de Domínio do Microsoft Entra. Em seguida, associe essa VM do Windows ao domínio para confirmar se todas as chamadas RPC necessárias são bem-sucedidas entre o cliente e o servidor.

Use nslookup para confirmar o acesso à rede à sua conta de armazenamento. Ou qualquer banco de dados externo que você possa usar (por exemplo, metastore externo do Hive ou Ranger DB). Verifique se as portas necessárias são permitidas nas regras NSG da sub-rede dos Serviços de Domínio Microsoft Entra, se um NSG proteger os Serviços de Domínio Microsoft Entra. Se a associação de domínio desta VM do Windows for bem-sucedida, você poderá continuar para a próxima etapa e criar clusters ESP.

Criar um cluster HDInsight com ESP

Depois de configurar as etapas anteriores corretamente, a próxima etapa é criar o cluster HDInsight com ESP habilitado. Ao criar um cluster HDInsight, você pode habilitar o Pacote de Segurança Empresarial na guia Segurança + rede . Para um modelo do Azure Resource Manager para implantação, use a experiência do portal uma vez. Em seguida, faça o download do modelo pré-preenchido na página Rever + criar para reutilização futura.

Você também pode habilitar o recurso Agente de ID do HDInsight durante a criação do cluster. O recurso ID Broker permite que você entre no Ambari usando a autenticação multifator e obtenha os tíquetes Kerberos necessários sem precisar de hashes de senha nos Serviços de Domínio Microsoft Entra.

Nota

Os seis primeiros caracteres dos nomes de cluster ESP devem ser exclusivos em seu ambiente. Por exemplo, se você tiver vários clusters ESP em redes virtuais diferentes, escolha uma convenção de nomenclatura que garanta que os seis primeiros caracteres nos nomes de cluster sejam exclusivos.

Depois de habilitar o ESP, erros comuns de configuração relacionados aos Serviços de Domínio Microsoft Entra são automaticamente detetados e validados. Depois de corrigir esses erros, você pode continuar com a próxima etapa.

Ao criar um cluster HDInsight com ESP, você deve fornecer os seguintes parâmetros:

• Usuário administrador do cluster: escolha um administrador para o cluster na instância sincronizada dos Serviços de Domínio do Microsoft Entra. Essa conta de domínio já deve estar sincronizada e disponível nos Serviços de Domínio do Microsoft Entra.

• Grupos de acesso ao cluster: os grupos de segurança cujos usuários você deseja sincronizar e têm acesso ao cluster devem estar disponíveis nos Serviços de Domínio Microsoft Entra. Um exemplo é o grupo HiveUsers. Para obter mais informações, consulte Criar um grupo e adicionar membros no Microsoft Entra ID.

• URL LDAPS: Um exemplo é ldaps://contoso.com:636.

A identidade gerenciada que você criou pode ser escolhida na lista suspensa Identidade gerenciada atribuída pelo usuário quando você estiver criando um novo cluster.

.

Próximos passos

• Para configurar políticas do Hive e executar consultas do Hive, consulte Configurar políticas do Apache Hive para clusters HDInsight com ESP.
• Para usar o SSH para se conectar a clusters HDInsight com ESP, consulte Usar SSH com Apache Hadoop baseado em Linux no HDInsight do Linux, Unix ou OS X.