Azure HDInsight: perguntas frequentes

Para revisar os tipos de clusters HDInsight e os métodos de provisionamento, consulte Configurar clusters no HDInsight com Apache Hadoop, Apache Spark, Apache Kafka e muito mais.

Para saber mais sobre como excluir um cluster quando ele não estiver mais em uso, confira Excluir um cluster HDInsight.

Tente deixar, pelo menos, 30 a 60 minutos entre as operações de criação e exclusão. Caso contrário, a operação poderá falhar com a seguinte mensagem de erro:

Conflict (HTTP Status Code: 409) error when attempting to delete a cluster immediately after creation of a cluster. If you encounter this error, wait until the newly created cluster is in operational state before attempting to delete it.

O número apropriado de núcleos e outras opções de configuração dependem de vários fatores.

Para obter mais informações, confira Planejamento de capacidade para clusters HDInsight.

Confira Tipos de recursos em clusters do Azure HDInsight.

1. Recomenda-se configurar clusters HDInsight com um BD Ambari personalizado para melhorar a escalabilidade do cluster.
2. Use o Azure data Lake Storage Gen2 para criar clusters HDInsight para aproveitar a maior largura de banda e outras características de desempenho do Azure Data Lake Storage Gen2.
3. Os nós principais devem ser suficientemente grandes para acomodar vários serviços mestres em execução nesses nós.
4. Algumas cargas de trabalho específicas, como Interactive Query, também precisarão de nós Zookeeper maiores. Considere, no mínimo, oito VMs principais.
5. No caso do Hive e do Spark, use o metastore externo do Hive.

Sim. Para instalar componentes adicionais ou personalizar a configuração do cluster, use:

• Scripts durante ou após a criação. Os scripts são invocados por meio de ações de script. As ações de script são uma opção de configuração que pode ser usada no portal do Azure, cmdlets do Windows PowerShell do HDInsight ou SDK do .NET do HDInsight. Essa opção de configuração pode ser usada no portal do Azure, cmdlets do Windows PowerShell do HDInsight ou SDK do .NET do HDInsight.

• Plataforma de aplicativo do HDInsight para instalar aplicativos.

Uma lista de componentes com suporte está disponível em Quais são os componentes e versões do Apache Hadoop disponíveis com o HDInsight?

Se você atualizar os componentes internos ou os aplicativos que estão pré-instalados em seu cluster, a configuração resultante não terá suporte da Microsoft. Essas configurações do sistema não foram testadas pela Microsoft. Tente usar uma versão diferente do cluster HDInsight que já pode ter a versão atualizada do componente pré-instalada.

Por exemplo, não há suporte para a atualização do Hive como um componente individual. O HDInsight é um serviço gerenciado, e muitos serviços são integrados ao servidor Ambari e testados. Atualizar um Hive automaticamente faz com que os binários indexados de outros componentes sejam alterados, e isso causará problemas de integração de componentes no cluster.

Não, não é possível executar o Apache Kafka e o Apache Spark no mesmo cluster HDInsight. Crie clusters separados para o Kafka e o Spark a fim de evitar problemas de contenção de recursos.

1. Abra a interface do usuário da Web do Ambari no https://CLUSTERNAME.azurehdinsight.net, em que CLUSTERNAME é o nome do seu cluster.

2. No canto superior direito, selecione administrador | Configurações.

   

3. Na janela Configurações do usuário, selecione o novo fuso horário na lista suspensa Fuso horário e clique em Salvar.

   

Para migrar o SQL Server para um Banco de Dados SQL do Azure, confira Tutorial: Migrar o SQL Server para um banco de dados individual ou um banco de dados em pool no Banco de Dados SQL do Azure offline usando DMS.

Depende do tipo de metastore que o cluster está configurado para usar.

Para um metastore padrão: o metastore padrão faz parte do ciclo de vida do cluster. Quando você exclui um cluster, o metastore e os metadados correspondentes também são excluídos.

Para um metastore personalizado: o ciclo de vida do metastore não está vinculado ao ciclo de vida de um cluster. Portanto, você pode criar e excluir clusters sem perder metadados. Os metadados, como os esquemas do Hive, persistem mesmo depois de excluir e recriar o cluster HDInsight.

Para obter mais informações, consulte Usar armazenamentos de metadados externos no Azure HDInsight.

Não, a definição de política está no banco de dados do Ranger; portanto, migrar o banco de dados do Ranger também migrará sua política.

Sim, você pode migrar um metastore do Hive de um ESP para um cluster não ESP.

Um metastore do Hive é usado para armazenar os metadados das fontes de dados que são usadas pelo servidor do Hive. Os requisitos de tamanho dependem parcialmente do número e da complexidade das fontes de dados do Hive. Esses itens não podem ser estimados antecipadamente. Conforme descrito nas diretrizes de metastore do Hive, você pode começar com uma camada S2. A camada fornece 50 DTU e 250 GB de armazenamento, e se você vir um gargalo, escale verticalmente o banco de dados.

Não, a Microsoft dá suporte apenas ao Banco de Dados SQL do Azure como um metastore personalizado externo.

Sim, você pode compartilhar o metastore personalizado em vários clusters, desde que eles usem a mesma versão do HDInsight.

Se você bloquear as portas 22 e 23, não terá acesso SSH ao cluster. Essas portas não são usadas pelo serviço do HDInsight.

Para obter mais informações, consulte um dos seguintes documentos:

• Portas usadas pelos serviços do Apache Hadoop em execução no HDInsight

• Proteger o tráfego de entrada para clusters HDInsight em uma rede virtual com ponto de extremidade privado

• Endereços IP de gerenciamento do HDInsight

Sim, você pode implantar uma máquina virtual adicional na mesma sub-rede que um cluster HDInsight. As seguintes configurações são necessárias:

• Nós de borda: você pode adicionar outro nó de borda ao cluster, conforme descrito em Usar nós de borda vazios em clusters do Apache Hadoop no HDInsight.

• Nós autônomos: você pode adicionar uma máquina virtual autônoma à mesma sub-rede e acessar o cluster dessa máquina virtual usando o ponto de extremidade privado https://<CLUSTERNAME>-int.azurehdinsight.net. Para obter mais informações, confira Controlar o tráfego de rede.

Não, não é uma boa ideia armazenar dados em um disco local. Se o nó falhar, todos os dados armazenados localmente serão perdidos. É recomendado armazenar dados no Azure Data Lake Storage Gen2 ou no armazenamento de Blob do Azure, ou montar um compartilhamento de Arquivos do Azure para armazenar os dados.

Não, você não pode. A rede virtual deve ser especificada no momento do provisionamento. Se nenhuma rede virtual for especificada durante o provisionamento, a implantação criará uma rede interna que não poderá ser acessada de fora. Para obter mais informações, confira a seção Adicionar o HDInsight a uma rede virtual existente.

Para obter informações sobre proteção contra malware, confira Microsoft Antimalware para Serviços de Nuvem do Azure e máquinas virtuais.

Crie um keytab do Kerberos para o nome de usuário do domínio. Posteriormente, você pode usar esse keytab para autenticar em clusters remotos conectados ao domínio sem inserir uma senha. O nome de domínio é digitado em letras maiúsculas:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Se o seu TenantName e DomainName forem diferentes (por exemplo, TenantName – bob@CONTOSO.ONMICROSOFT.COM e DomainName – bob@CONTOSOMicrosoft.ONMICROSOFT.COM), você precisará adicionar um valor SALT usando a opção -s.

1. Use um login interativo do Kerberos para determinar o valor de sal adequado para o keytab. O login interativo do Kerberos usará a criptografia mais alta por padrão. O rastreamento deve ser habilitado para observar o sal. Veja abaixo um exemplo de login do Kerberos:

$ KRB5_TRAACE=/dev/stdout kinit <username> -V

2. Examine a saída do sal na linha ".......".
3. Use esse valor de sal ao criar o keytab.

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96 -s <SALTvalue>
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

A habilitação do Microsoft Entra Domain Services é um pré-requisito para que você possa criar um cluster do Azure HDInsight com ESP. O Hadoop open-source depende do Kerberos para fazer a autenticação (em vez de OAuth).

Para unir VMs em um domínio, é necessário ter um controlador de domínio. O Microsoft Entra Domain Services é o controlador de domínio gerenciado e é considerado uma extensão do Microsoft Entra ID. O Microsoft Entra Domain Services fornece todos os requisitos do Kerberos para criar um cluster seguro do Hadoop de maneira gerenciada. O Azure HDInsight, como um serviço gerenciado, se integra ao Microsoft Entra Domain Services para fornecer segurança.

É recomendado usar um certificado emitido por uma autoridade de certificação. Porém, o ESP também permite o uso de um certificado autoassinado. Para saber mais, veja:

• Habilitar o Microsoft Entra Domain Services

• Tutorial: configurar o LDAP Seguro para o domínio gerenciado do Microsoft Entra Domain Services

Não, não há suporte para o DAS em clusters ESP.

Para requisitos de auditoria, a Microsoft recomenda habilitar os logs do Azure Monitor conforme descrito em Usar logs do Azure Monitor para monitorar clusters do HDInsight.

O Clamscan é o software antivírus que é executado no cluster do HDInsight e usado pela segurança do Azure (azsecd) para proteger seus clusters contra ataques de vírus. A Microsoft recomenda fortemente que os usuários evitem fazer alterações na configuração padrão do Clamscan.

Esse processo não interfere nem elimina ciclos de outros processos. Sempre resultará em outro processo. Picos de CPU do Clamscan devem ser vistos somente quando o sistema estiver ocioso.

Em cenários nos quais você deve controlar o agendamento, é possível utilizar as seguintes etapas:

1. Desabilite a execução automática usando o seguinte comando:

   sudo usr/local/bin/azsecd config -s clamav -d Disabled sudo service azsecd restart

2. Adicione um trabalho Cron que execute o seguinte comando como raiz:

   /usr/local/bin/azsecd manual -s clamav

Para obter mais informações sobre como configurar e executar um trabalho cron, confira Como configurar um trabalho Cron?.

O LLAP é habilitado por motivos de segurança (Apache Ranger), não por desempenho. Use VMs de nó maior para acomodar o uso de recursos do LLAP (por exemplo, D13V2 mínimo).

Há duas maneiras de atingir essa meta: 1- Você pode recriar o cluster e adicionar o grupo no momento da criação do cluster. Se estiver usando a sincronização com escopo no Microsoft Entra Domain Services, verifique se o grupo B está incluído na sincronização com escopo. 2- Adicione o grupo como um subgrupo aninhado ao grupo anterior que foi usado para criar o cluster ESP. Por exemplo, se você tiver criado um cluster ESP com o grupo A, poderá adicionar posteriormente o grupo B como um subgrupo aninhado de A e depois de aproximadamente uma hora, ele será sincronizado e estará disponível no cluster automaticamente.

Não, não é possível adicionar uma conta de armazenamento do Azure Data Lake Storage Gen2 a um cluster que tenha armazenamento de blob como armazenamento primário. Para obter mais informações, confira Comparar as opções de armazenamento.

As configurações estão disponíveis em suas propriedades de cluster ao acessar o Data Lake Storage Gen1 no portal do Azure. Para obter mais informações, confira Verificar a configuração do cluster.

Execute uma dessas ações:

• Usar o PowerShell

• Localize o tamanho da pasta /user/hive/.Trash/ no cluster do HDInsight usando a seguinte linha de comando:

  hdfs dfs -du -h /user/hive/.Trash/

Para auditar contas de armazenamento de blob, configure o monitoramento usando o procedimento indicado em Monitorar uma conta de armazenamento no portal do Azure. Um log HDFS-audit fornece informações de auditoria somente para o sistema de arquivos HDFS local (hdfs://mycluster). Não inclui operações que realizadas no armazenamento remoto.

Execute um script semelhante ao seguinte script de shell no nó de cabeçalho:

for i in cat filenames.txt
do
   hadoop fs -get $i <local destination>
done

No momento, não existe nenhum plug-in do Ranger para armazenamento de blobs e para o Azure Data Lake Storage Gen1 ou Gen2. Para clusters ESP, é necessário usar o Azure Data Lake Storage. Você pode ao menos definir as permissões refinadas manualmente no nível do sistema de arquivos usando as ferramentas de HDFS. Além disso, ao usar o Azure Data Lake Storage, os clusters ESP farão parte do controle de acesso do sistema de arquivos usando a ID do Microsoft Entra no nível do cluster.

Você pode atribuir políticas de acesso a dados aos grupos de segurança dos seus usuários usando o Gerenciador de Armazenamento do Microsoft Azure. Para saber mais, veja:

• Como definir permissões para os usuários do Microsoft Entra consultarem dados no Data Lake Storage Gen2 usando o Hive ou outros serviços?
• Definir permissões no nível do arquivo e do diretório usando o Gerenciador de Armazenamento do Azure com o Azure Data Lake Storage Gen2

Não. Não é possível aumentar o tamanho do disco de um nó de trabalho. A única maneira de fazer isso é descartar o cluster e recriá-lo com VMs de trabalho maiores. Não use o HDFS para armazenar os dados do HDInsight, pois eles serão excluídos se você excluir o cluster. Em vez disso, armazene os dados no Azure. Escalar verticalmente também pode aumentar a capacidade do cluster do HDInsight.

Confira Usar nós de borda vazios em clusters do Apache Hadoop no HDInsight.

Depois de criar um nó de borda, você pode se conectar a ele usando SSH na porta 22. O nome do nó de borda está disponível no portal do cluster. Os nomes costumam terminar com -ed.

Os scripts persistentes são usados para personalizar novos nós de trabalho adicionados ao cluster por meio de operações de dimensionamento. Os scripts persistentes não se aplicam a nós de borda.

Você pode usar os seguintes pontos de extremidade REST para efetuar pull das informações necessárias no formato JSON. Use cabeçalhos de autenticação básicos para fazer as solicitações.

• Tez Query View: https://<cluster name>.azurehdinsight.net/ws/v1/timeline/HIVE_QUERY_ID/
• Tez Dag View: https://<cluster name>.azurehdinsight.net/ws/v1/timeline/TEZ_DAG_ID/

Para negociar tokens de autenticação adequados com o usuário do Microsoft Entra, acesse o gateway usando o seguinte formato:

• https://<cluster dnsname>.azurehdinsight.net/api/v1/clusters/testclusterdem/stack_versions/1/repository_versions/1

Se você chamar o comando Curl na mesma rede virtual ou em uma rede virtual emparelhada, o comando será:

curl -u <cluster login username> -sS -G
http://<headnodehost>:8080/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu

Se você chamar o comando de fora da rede virtual ou de uma rede virtual não emparelhada, o formato do comando será:

• Para um cluster não ESP:

  
  curl -u <cluster login username> -sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

• Para um cluster ESP:

  
  curl -u <cluster login username>-sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

Para obter mais informações sobre preços e perguntas frequentes relacionadas à cobrança, confira a página Preços do Azure HDInsight.

A cobrança do cluster HDInsight começa quando um cluster é criado e para quando o cluster é excluído. A cobrança é feita por minuto.

Para obter informações sobre como cancelar sua assinatura, confira Cancelar sua assinatura do Azure.

Para obter informações sobre sua assinatura após o cancelamento, confira O que acontecerá depois que eu cancelar minha assinatura?

Apesar de mostrar 1.2 na interface do usuário do Ambari, o HDInsight 3.6 contém o Hive 1.2 e o Hive 2.1.

Para obter informações sobre os recursos de integração do processamento de fluxo, confira Escolhendo uma tecnologia de processamento de fluxo no Azure.

Não é possível executar esta ação com clusters do HDInsight. Use o Azure Data Factory nesses cenários.

Para obter mais informações sobre conformidade, confira a Central de Confiabilidade da Microsoft.