Gerenciar clusters HDInsight com o Pacote de Segurança Empresarial

Conheça os usuários e as funções no HDInsight Enterprise Security Package (ESP) e como gerenciar clusters ESP.

Utilizar o VSCode para ligar a um cluster associado a um domínio

Você pode vincular um cluster normal usando o nome de usuário gerenciado do Apache Ambari, também vincular um cluster de segurança do Apache Hadoop usando o nome de usuário do domínio (como: user1@contoso.com).

1. Abra o Visual Studio Code. Verifique se a extensão Spark & Hive Tools está instalada.

2. Siga as etapas de Vincular um cluster para Visual Studio Code.

Utilizar o IntelliJ para ligar a um cluster associado a um domínio

Você pode vincular um cluster normal usando o nome de usuário gerenciado do Ambari, também vincular um cluster hadoop de segurança usando o nome de usuário do domínio (como: user1@contoso.com).

1. Abra o IntelliJ IDEA. Certifique-se de que todos os pré-requisitos sejam atendidos.

2. Siga as etapas de Vincular um cluster para IntelliJ.

Utilizar o Eclipse para ligar a um cluster associado a um domínio

Você pode vincular um cluster normal usando o nome de usuário gerenciado do Ambari, também vincular um cluster hadoop de segurança usando o nome de usuário do domínio (como: user1@contoso.com).

1. Abra o Eclipse. Certifique-se de que todos os pré-requisitos sejam atendidos.

2. Siga as etapas de Vincular um cluster para o Eclipse.

Acesse os clusters com o Enterprise Security Package

O Pacote de Segurança Empresarial (anteriormente conhecido como HDInsight Premium) fornece acesso multiusuário ao cluster, onde a autenticação é feita pelo Ative Directory e a autorização pelo Apache Ranger e as ACLs de armazenamento (ACLs ADLS). A autorização fornece limites seguros entre vários usuários e permite que apenas usuários privilegiados tenham acesso aos dados com base nas políticas de autorização.

A segurança e o isolamento do usuário são importantes para um cluster HDInsight com o Pacote de Segurança Empresarial. Para atender a esses requisitos, o acesso SSH ao cluster com o Enterprise Security Package é suportado pelo usuário local selecionado no momento da criação do cluster, bem como pelos usuários disponíveis no AAD-DS (ou seja, Kerberos). A tabela a seguir mostra os métodos de acesso recomendados para cada tipo de cluster:

Carga de trabalho	Cenário	Método de Acesso
Apache Hadoop	Hive – Trabalhos/Consultas Interativas	Beeline Vista do Hive ODBC/JDBC – Power BI Ferramentas do Visual Studio
Apache Spark	Trabalhos/consultas interativos, PySpark interativo	Beeline Zeppelin com Livy Vista do Hive ODBC/JDBC – Power BI Ferramentas do Visual Studio
Apache Spark	Cenários em lote – Spark submit, PySpark	Livy
Consulta Interativa (LLAP)	Interativo	Beeline Vista do Hive ODBC/JDBC – Power BI Ferramentas do Visual Studio
Qualquer	Instalar aplicativo personalizado	Ações de script

Nota

O Jupyter não é instalado/suportado no Enterprise Security Package.

Usar as APIs padrão ajuda do ponto de vista da segurança. Você também recebe os seguintes benefícios:

• Gerenciamento – Você pode gerenciar seu código e automatizar trabalhos usando APIs padrão – Livy, HS2 etc.
• Auditoria – Com o SSH, não há como auditar quais usuários SSH para o cluster. Este não seria o caso quando os trabalhos são construídos por meio de pontos de extremidade padrão, pois eles seriam executados no contexto do usuário.

Utilizar Beeline

Instale Beeline em sua máquina e conecte-se pela internet pública, use os seguintes parâmetros:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Se você tiver o Beeline instalado localmente e se conectar por meio de uma Rede Virtual do Azure, use os seguintes parâmetros:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Para localizar o nome de domínio totalmente qualificado de um nó principal, use as informações em Gerenciar o HDInsight usando o documento da API REST do Ambari.

Usuários de clusters HDInsight com ESP

Um cluster HDInsight não ESP tem duas contas de usuário criadas durante a criação do cluster:

• Ambari admin: Esta conta também é conhecida como usuário Hadoop ou usuário HTTP. Esta conta pode ser usada para entrar no Ambari em https://CLUSTERNAME.azurehdinsight.net. Ele também pode ser usado para executar consultas em exibições do Ambari, executar trabalhos por meio de ferramentas externas (por exemplo, PowerShell, Templeton, Visual Studio) e autenticar com o driver ODBC do Hive e ferramentas de BI (por exemplo, Excel, Power BI ou Tableau).

Um cluster HDInsight com ESP tem três novos usuários, além do Ambari Admin.

• Ranger admin: Esta conta é a conta de administrador local do Apache Ranger. Não é um usuário de domínio do Ative Directory. Essa conta pode ser usada para configurar políticas e tornar outros usuários administradores ou administradores delegados (para que esses usuários possam gerenciar políticas). Por padrão, o nome de usuário é admin e a senha é a mesma que a senha de administrador do Ambari. A palavra-passe pode ser atualizada a partir da página Definições na Ranger.

• Usuário de domínio de administrador de cluster: essa conta é um usuário de domínio do Ative Directory designado como administrador de cluster do Hadoop, incluindo Ambari e Ranger. Você deve fornecer as credenciais desse usuário durante a criação do cluster. Este utilizador tem os seguintes privilégios:

  • Junte máquinas ao domínio e coloque-as dentro da UO especificada durante a criação do cluster.
  • Crie entidades de serviço dentro da UO especificadas durante a criação do cluster.
  • Crie entradas DNS inversas.

  Observe que os outros usuários do AD também têm esses privilégios.

  Existem alguns pontos finais dentro do cluster (por exemplo, Templeton) que não são gerenciados pela Ranger e, portanto, não são seguros. Esses pontos finais são bloqueados para todos os usuários, exceto para o usuário do domínio de administração do cluster.

• Regular: Durante a criação do cluster, você pode fornecer vários grupos do Ative Directory. Os usuários desses grupos são sincronizados com Ranger e Ambari. Esses usuários são usuários de domínio e têm acesso apenas a pontos de extremidade gerenciados pela Ranger (por exemplo, Hiveserver2). Todas as políticas e auditorias do RBAC serão aplicáveis a esses usuários.

Funções dos clusters HDInsight com ESP

O Pacote de Segurança Empresarial do HDInsight tem as seguintes funções:

• Administrador de Cluster
• Operador de cluster
• Administrador de Serviços
• Operador de Serviços
• Usuário do cluster

Para ver as permissões dessas funções

1. Abra a interface do usuário do Ambari Management. Consulte Abrir a interface do usuário de gerenciamento do Ambari.

2. No menu à esquerda, selecione Funções.

3. Selecione o ponto de interrogação azul para ver as permissões:

   

Abra a interface do usuário de gerenciamento do Ambari

1. Navegue até https://CLUSTERNAME.azurehdinsight.net/ onde CLUSTERNAME é o nome do cluster.

2. Entre no Ambari usando o nome de usuário e a senha do domínio do administrador do cluster.

3. Selecione o menu suspenso admin no canto superior direito e, em seguida, selecione Gerenciar Ambari.

   

   A interface do usuário se parece com:

   

Listar os usuários do domínio sincronizados a partir do Ative Directory

1. Abra a interface do usuário do Ambari Management. Consulte Abrir a interface do usuário de gerenciamento do Ambari.

2. No menu à esquerda, selecione Usuários. Você verá todos os usuários sincronizados do Ative Directory para o cluster HDInsight.

   

Listar os grupos de domínio sincronizados a partir do Ative Directory

1. Abra a interface do usuário do Ambari Management. Consulte Abrir a interface do usuário de gerenciamento do Ambari.

2. No menu à esquerda, selecione Grupos. Você verá todos os grupos sincronizados do Ative Directory para o cluster HDInsight.

   

Configurar permissões de Exibições do Hive

1. Abra a interface do usuário do Ambari Management. Consulte Abrir a interface do usuário de gerenciamento do Ambari.

2. No menu à esquerda, selecione Visualizações.

3. Selecione HIVE para mostrar os detalhes.

   

4. Selecione o link Visualização do Hive para configurar as Visualizações do Hive.

5. Role para baixo até a seção Permissões .

   

6. Selecione Adicionar usuário ou Adicionar grupo e especifique os usuários ou grupos que podem usar as Exibições do Hive.

Configurar usuários para as funções

Para ver uma lista de funções e suas permissões, consulte Funções de clusters HDInsight com ESP.

1. Abra a interface do usuário do Ambari Management. Consulte Abrir a interface do usuário de gerenciamento do Ambari.
2. No menu à esquerda, selecione Funções.
3. Selecione Adicionar usuário ou Adicionar grupo para atribuir usuários e grupos a diferentes funções.

Próximos passos

• Para configurar um cluster HDInsight com o Pacote de Segurança Empresarial, consulte Configurar clusters HDInsight com ESP.
• Para configurar políticas do Hive e executar consultas do Hive, consulte Configurar políticas do Apache Hive para clusters HDInsight com ESP.