Gerenciar clusters HDInsight com Enterprise Security Package

Saiba mais sobre usuários e funções no ESP (Enterprise Security Package) do HDInsight e como gerenciar clusters ESP.

Use o VSCode para vincular ao cluster ingressado no domínio

É possível vincular um cluster normal usando o nome de usuário gerenciado do Apache Ambari, além de vincular um cluster de segurança do Apache Hadoop, usando o nome de usuário de domínio (como: user1@contoso.com).

1. Abra o Visual Studio Code. Verifique se a extensão Ferramentas do Spark e Hive está instalada.

2. Siga as etapas em Vincular um cluster para Visual Studio Code.

Use o IntelliJ para vincular ao cluster ingressado no domínio

É possível vincular um cluster normal usando o nome de usuário gerenciado Ambari, além de vincular um cluster hadoop de segurança usando o nome de usuário do domínio (como: user1@contoso.com).

1. Abra o IntelliJ IDEA. Verifique se todos os pré-requisitos foram atendidos.

2. Siga as etapas em Vincular um cluster para IntelliJ.

Use o Eclipse para vincular ao cluster ingressado no domínio

É possível vincular um cluster normal usando o nome de usuário gerenciado Ambari, além de vincular um cluster hadoop de segurança usando o nome de usuário do domínio (como: user1@contoso.com).

1. Abra o Eclipse. Verifique se todos os pré-requisitos foram atendidos.

2. Siga as etapas em Vincular um cluster para Eclipse.

Acessar os clusters com o Enterprise Security Package

O Pacote de Segurança Enterprise (anteriormente conhecido como HDInsight Premium) fornece acesso de vários usuário ao cluster, onde a autenticação é feita pelo Active Directory e a autorização pelo Apache Ranger e ACLs de armazenamento (ACLs do ADLS). A autorização fornece limites de segurança entre vários usuários e permite que somente usuários privilegiados tenham acesso aos dados com base nas políticas de autorização.

Segurança e isolamento de usuários são importantes para um cluster de HDInsight com o Pacote de Segurança Enterprise. Para atender a esses requisitos, o acesso do SSH ao cluster com o Enterprise Security Package tem suporte para o usuário local selecionado no momento da criação do cluster, bem como os usuários disponíveis no AAD-DS (ou seja, Kerberos). A tabela a seguir mostra os métodos de acesso recomendados para cada tipo de cluster:

Carga de trabalho	Cenário	Método de Acesso
Apache Hadoop	Hive – trabalhos/consultas interativas	Beeline Exibição de Hive ODBC/JDBC – Power BI Ferramentas do Visual Studio
Apache Spark	Trabalhos/consultas interativas, PySpark interativo	Beeline Zeppelin com Livy Exibição de Hive ODBC/JDBC – Power BI Ferramentas do Visual Studio
Apache Spark	Cenários em lote – envio de Spark, PySpark	Livy
Consulta Interativa (LLAP)	Interativo	Beeline Exibição de Hive ODBC/JDBC – Power BI Ferramentas do Visual Studio
Qualquer	Instalar Aplicativo Personalizado	Ações de script

Observação

Jupyter não está instalado/com suporte no Enterprise Security Package.

Usar as APIs padrão ajuda da perspectiva de segurança. Você também obtém os seguintes benefícios:

• Gerenciamento – você pode gerenciar seu código e automatizar trabalhos usando APIs padrão – Livy, HS2 etc.
• Auditoria – com o SSH, não é possível auditar quais usuários usam o SSH para o cluster. Este não seria o caso quando os trabalhos fossem construídos por meio de pontos de extremidade padrão, pois seriam executados no contexto do usuário.

Use Beeline

Instale o Beeline no seu computador e conecte-se pela internet pública, use os seguintes parâmetros:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Se você tiver Beeline instalado localmente e conectar-se pela Rede Virtual do Azure, use os seguintes parâmetros:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Para localizar o nome de domínio totalmente qualificado de um nó principal, use as informações do documento Gerenciar HDInsight usando a API de REST do Ambari.

Usuários de clusters HDInsight com ESP

Um cluster HDInsight não ESP tem duas contas de usuário criadas durante a criação do cluster:

• Administração do Ambari: essa conta também é conhecida como usuário do Hadoop ou usuário HTTP. Essa conta pode ser usada para fazer login no Ambari em https://CLUSTERNAME.azurehdinsight.net. Ela também pode ser usada para executar consultas em exibições do Ambari, executar trabalhos por meio de ferramentas externas (por exemplo, PowerShell, Templeton e Visual Studio) e autenticar-se no driver ODBC do Hive e nas ferramentas de BI (por exemplo, Excel, Power BI ou Tableau).

Um cluster HDInsight com ESP tem três novos usuários além do Ambari Admin.

• Administração do Ranger: essa é a conta do administrador local do Apache Ranger. Não é um usuário de domínio do Active Directory. Essa conta pode ser usada para configurar políticas e tornar outros usuários administradores ou administradores delegados (de modo que os usuários possam gerenciar políticas). Por padrão, o nome de usuário é administrador e a senha é a mesma que a senha de administrador do Ambari. A senha pode ser atualizada da página Configurações no Ranger.

• Usuário de domínio do administrador do cluster: essa conta é um usuário do Domínio do Active Directory designado como o administrador do cluster do Hadoop, incluindo o Ambari e o Ranger. Você deve fornecer as credenciais do usuário durante a criação do cluster. Esse usuário tem os seguintes privilégios:

  • Adicionar computadores ao domínio e colocá-los na UO que você especificar durante a criação do cluster.
  • Criar entidades de serviço na UO que você especificar durante a criação do cluster.
  • Criar entradas de DNS reverso.

  Observe que os usuários do AD também têm esses privilégios.

  Há alguns pontos de extremidade do cluster (por exemplo, Templeton) que não são gerenciados pelo Ranger e, portanto, não são seguros. Esses pontos de extremidade estão bloqueados para todos os usuários, exceto para o usuário de domínio do administrador do cluster.

• Regular: durante a criação do cluster, você poderá fornecer vários grupos do Active Directory. Os usuários nesses grupos são sincronizados ao Ranger e ao Ambari. Esses usuários são usuários de domínio e têm acesso apenas aos pontos de extremidade gerenciados pelo Ranger (por exemplo, Hiveserver2). Todas as políticas de RBAC e a auditoria serão aplicáveis a esses usuários.

Funções dos clusters HDInsight com ESP

O Enterprise Security Package do HDInsight tem as seguintes funções:

• Administrador do cluster
• Operador do cluster
• Administrador de serviços
• Operador de serviço
• Usuário do cluster

Para ver as permissões dessas funções

1. Abra a interface do usuário do Ambari Management. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).

2. No menu esquerdo, selecione Funções.

3. Selecione o ponto de interrogação azul para ver as permissões:

   

Abra a interface do usuário do Ambari Management

1. Navegue até https://CLUSTERNAME.azurehdinsight.net/, em que CLUSTERNAME é o nome do cluster.

2. Faça logon no Ambari usando o nome de usuário e a senha de domínio de administrador do cluster.

3. Clique no menu suspenso Administrador no canto superior direito e em Gerenciar o Ambari.

   

   A interface do usuário é semelhante a:

   

Listar os usuários de domínio sincronizados do Active Directory

1. Abra a interface do usuário do Ambari Management. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).

2. No menu esquerdo, selecione Usuários. Você deverá ver todos os usuários sincronizados do seu Active Directory com o cluster do HDInsight.

   

Listar os grupos de domínio sincronizados do Active Directory

1. Abra a interface do usuário do Ambari Management. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).

2. No menu esquerdo, selecione Grupos. Você deverá ver todos os grupos sincronizados do seu Active Directory no cluster do HDInsight.

   

Configurar permissões de exibições do Hive

1. Abra a interface do usuário do Ambari Management. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).

2. No menu esquerdo, selecione Exibições.

3. Selecione HIVE para mostrar os detalhes.

   

4. Selecione o link Exibição do Hive para configurar as exibições do Hive.

5. Role para baixo até a seção Permissões.

   

6. Selecione Adicionar usuário ou Adicionar grupo e especifique os usuários ou grupos que podem usar as exibições do Hive.

Configurar usuários para as funções

Para ver uma lista de funções e suas permissões, confira Funções dos clusters HDInsight com ESP.

1. Abra a interface do usuário do Ambari Management. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).
2. No menu esquerdo, selecione Funções.
3. Selecione Adicionar Usuário ou Adicionar Grupo para atribuir usuários e grupos a diferentes funções.

Próximas etapas

• Para configurar um cluster HDInsight com Enterprise Security Package, confira Configurar clusters HDInsight com ESP.
• Para configurar as políticas do Hive e executar as consultas do Hive, confira Configurar políticas do Apache Hive para clusters HDInsight com ESP.