Notas de versão arquivadas

Artigo
04/16/2024

Resumo

O Azure HDInsight é um dos serviços mais populares entre os clientes empresariais para análises de código aberto no Azure. Assine as Notas de versão do HDInsight para obter informações atualizadas sobre o HDInsight e todas as versões do HDInsight.

Para se inscrever, clique no botão "assistir" no banner e fique atento às versões do HDInsight.

Informações sobre o lançamento

Data de lançamento: 15 de fevereiro de 2024

Esta versão aplica-se às versões 4.x e 5.x do HDInsight. A versão do HDInsight estará disponível para todas as regiões durante vários dias. Esta versão é aplicável para o número de imagem 2401250802. Como verificar o número da imagem?

O HDInsight usa práticas de implantação seguras, que envolvem a implantação gradual da região. Pode levar até 10 dias úteis para que uma nova versão ou uma nova versão esteja disponível em todas as regiões.

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

O Ubuntu 18.04 é suportado em Manutenção de Segurança Estendida (ESM) pela equipe do Azure Linux para o Azure HDInsight de julho de 2023, lançamento em diante.

Para versões específicas da carga de trabalho, consulte

Novas funcionalidades

Suporte do Apache Ranger para Spark SQL no Spark 3.3.0 (HDInsight versão 5.1) com pacote de segurança Enterprise. Saiba mais sobre o assunto aqui.

Problemas corrigidos

Correções de segurança dos componentes Ambari e Oozie

Brevemente

Aposentadoria de VMs básicas e padrão da série A.
- Em 31 de agosto de 2024, aposentaremos as VMs das séries A Básica e Padrão. Antes dessa data, você precisa migrar suas cargas de trabalho para VMs da série Av2, que fornecem mais memória por vCPU e armazenamento mais rápido em unidades de estado sólido (SSDs).
- Para evitar interrupções de serviço, migre suas cargas de trabalho de VMs das séries A Básica e Standard para VMs da série Av2 antes de 31 de agosto de 2024.

Se tiver mais alguma dúvida, contacte o Suporte do Azure.

Você sempre pode nos perguntar sobre o HDInsight no Azure HDInsight - Perguntas e respostas da Microsoft

Estamos ouvindo: Você pode adicionar mais ideias e outros tópicos aqui e votar neles - Ideias do HDInsight e siga-nos para obter mais atualizações na Comunidade AzureHDInsight

Nota

Aconselhamos os clientes a usar as versões mais recentes do HDInsight Images , pois elas trazem o melhor das atualizações de código aberto, atualizações do Azure e correções de segurança. Para obter mais informações, consulte Melhores práticas.

Próximos passos

Azure HDInsight: Frequently asked questions (Autenticação Pass-through: Perguntas mais frequentes)
Configurar o agendamento da aplicação de patches do SO para clusters do HDInsight baseados em Linux
Nota de lançamento anterior

O Azure HDInsight é um dos serviços mais populares entre os clientes empresariais para análises de código aberto no Azure. Se você gostaria de se inscrever em notas de versão, assista aos lançamentos neste repositório GitHub.

Data de lançamento: 10 de janeiro de 2024

Esta versão de hotfix se aplica às versões do HDInsight 4.x e 5.x. A versão do HDInsight estará disponível para todas as regiões durante vários dias. Esta versão é aplicável para o número de imagem 2401030422. Como verificar o número da imagem?

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

O Ubuntu 18.04 é suportado em Manutenção de Segurança Estendida (ESM) pela equipe do Azure Linux para o Azure HDInsight de julho de 2023, lançamento em diante.

Para versões específicas da carga de trabalho, consulte

Problemas corrigidos

Correções de segurança dos componentes Ambari e Oozie

Brevemente

Aposentadoria de VMs básicas e padrão da série A.
- Em 31 de agosto de 2024, aposentaremos as VMs das séries A Básica e Padrão. Antes dessa data, você precisa migrar suas cargas de trabalho para VMs da série Av2, que fornecem mais memória por vCPU e armazenamento mais rápido em unidades de estado sólido (SSDs).
- Para evitar interrupções de serviço, migre suas cargas de trabalho de VMs das séries A Básica e Standard para VMs da série Av2 antes de 31 de agosto de 2024.

Se tiver mais alguma dúvida, contacte o Suporte do Azure.

Você sempre pode nos perguntar sobre o HDInsight no Azure HDInsight - Perguntas e respostas da Microsoft

Estamos ouvindo: Você pode adicionar mais ideias e outros tópicos aqui e votar neles - Ideias do HDInsight e siga-nos para obter mais atualizações na Comunidade AzureHDInsight

Nota

Data de lançamento: 26 de outubro de 2023

Esta versão aplica-se ao HDInsight 4.x e 5.x A versão do HDInsight estará disponível para todas as regiões durante vários dias. Esta versão é aplicável para o número de imagem 2310140056. Como verificar o número da imagem?

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Para versões específicas da carga de trabalho, consulte

Novidades

O HDInsight anuncia a disponibilidade geral do HDInsight 5.1 a partir de 1º de novembro de 2023. Esta versão traz uma atualização de pilha completa para os componentes de código aberto e as integrações da Microsoft.
- Últimas versões de código aberto – O HDInsight 5.1 vem com a última versão estável de código aberto disponível. Os clientes podem se beneficiar de todos os recursos de código aberto mais recentes, melhorias de desempenho da Microsoft e correções de bugs.
- Seguro – As versões mais recentes vêm com as correções de segurança mais recentes, correções de segurança de código aberto e melhorias de segurança da Microsoft.
- TCO mais baixo – Com melhorias de desempenho, os clientes podem reduzir o custo operacional, juntamente com o dimensionamento automático aprimorado.
Permissões de cluster para armazenamento seguro
- Os clientes podem especificar (durante a criação do cluster) se um canal seguro deve ser usado para que os nós do cluster HDInsight conectem a conta de armazenamento.
Criação de cluster HDInsight com redes virtuais personalizadas.
- Para melhorar a postura geral de segurança dos clusters HDInsight, os clusters HDInsight que usam VNETs personalizadas precisam garantir que o usuário precise ter permissão para Microsoft Network/virtualNetworks/subnets/join/action executar operações de criação. O cliente pode enfrentar falhas de criação se essa verificação não estiver habilitada.
Clusters do ABFS não ESP [Permissões de Cluster para Word Readable]
- Os clusters ABFS não-ESP restringem os usuários do grupo não-Hadoop de executar comandos Hadoop para operações de armazenamento. Essa alteração melhora a postura de segurança do cluster.
Atualização de cota in-line.
- Agora você pode solicitar o aumento da cota diretamente da página Minha cota, com a chamada direta da API é muito mais rápido. Caso a chamada de API falhe, você pode criar uma nova solicitação de suporte para aumento de cota.

Brevemente

O comprimento máximo do nome do cluster será alterado de 59 para 49 carateres, para melhorar a postura de segurança dos clusters. Esta alteração será implementada em todas as regiões a partir da próxima versão.
Aposentadoria de VMs básicas e padrão da série A.
- Em 31 de agosto de 2024, aposentaremos as VMs das séries A Básica e Padrão. Antes dessa data, você precisa migrar suas cargas de trabalho para VMs da série Av2, que fornecem mais memória por vCPU e armazenamento mais rápido em unidades de estado sólido (SSDs).
- Para evitar interrupções de serviço, migre suas cargas de trabalho de VMs das séries A Básica e Standard para VMs da série Av2 antes de 31 de agosto de 2024.

Se tiver mais alguma dúvida, contacte o Suporte do Azure.

Você sempre pode nos perguntar sobre o HDInsight no Azure HDInsight - Perguntas e respostas da Microsoft

Estamos ouvindo: Você pode adicionar mais ideias e outros tópicos aqui e votar neles - Ideias do HDInsight e siga-nos para obter mais atualizações na Comunidade AzureHDInsight

Nota

Esta versão aborda os seguintes CVEs lançados pelo MSRC em 12 de setembro de 2023. A ação é atualizar para a imagem mais recente 2308221128 ou 2310140056. Os clientes são aconselhados a planear em conformidade.

CVE	Gravidade	Título da CVE	Observação
CVE-2023-38156	Importante	Vulnerabilidade de Elevação de Privilégio do Azure HDInsight Apache Ambari	Incluído na imagem 2308221128 ou 2310140056
CVE-2023-36419	Importante	Vulnerabilidade de Elevação de Privilégio do Scheduler de Fluxo de Trabalho Apache Oozie do Azure HDInsight	Aplique uma ação de script nos seus clusters ou atualize para a imagem 2310140056

Nota

Data de lançamento: 7 de setembro de 2023

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Para versões específicas da carga de trabalho, consulte

Importante

Esta versão aborda os seguintes CVEs lançados pelo MSRC em 12 de setembro de 2023. A ação é atualizar para a imagem mais recente 2308221128. Os clientes são aconselhados a planear em conformidade.

CVE	Gravidade	Título da CVE	Observação
CVE-2023-38156	Importante	Vulnerabilidade de Elevação de Privilégio do Azure HDInsight Apache Ambari	Incluído na imagem 2308221128
CVE-2023-36419	Importante	Vulnerabilidade de Elevação de Privilégio do Scheduler de Fluxo de Trabalho Apache Oozie do Azure HDInsight	Aplicar ação de Script em seus clusters

Brevemente

O comprimento máximo do nome do cluster será alterado de 59 para 49 carateres, para melhorar a postura de segurança dos clusters. Esta alteração será implementada até 30 de setembro de 2023.
Permissões de cluster para armazenamento seguro
- Os clientes podem especificar (durante a criação do cluster) se um canal seguro deve ser usado para que os nós do cluster HDInsight entrem em contato com a conta de armazenamento.
Atualização de cota in-line.
- As cotas de solicitação aumentam diretamente da página Minha Cota, que será uma chamada direta de API, que é mais rápida. Se a chamada APdI falhar, os clientes precisarão criar uma nova solicitação de suporte para aumento de cota.
Criação de cluster HDInsight com redes virtuais personalizadas.
- Para melhorar a postura geral de segurança dos clusters HDInsight, os clusters HDInsight que usam VNETs personalizadas precisam garantir que o usuário precise ter permissão para Microsoft Network/virtualNetworks/subnets/join/action executar operações de criação. Os clientes precisariam planejar de acordo, pois essa mudança seria uma verificação obrigatória para evitar falhas de criação de cluster antes de 30 de setembro de 2023. 
Aposentadoria de VMs básicas e padrão da série A.
- Em 31 de agosto de 2024, aposentaremos as VMs das séries A Básica e Padrão. Antes dessa data, você precisa migrar suas cargas de trabalho para VMs da série Av2, que fornecem mais memória por vCPU e armazenamento mais rápido em unidades de estado sólido (SSDs). Para evitar interrupções de serviço, migre suas cargas de trabalho de VMs das séries A Básica e Standard para VMs da série Av2 antes de 31 de agosto de 2024.
Clusters ABFS não ESP [Permissões de cluster para Word legível]
- Planeje introduzir uma alteração nos clusters ABFS não ESP, que restringe os usuários que não são do grupo Hadoop de executar comandos Hadoop para operações de armazenamento. Essa alteração para melhorar a postura de segurança do cluster. Os clientes têm de planear as atualizações antes de 30 de setembro de 2023.

Se tiver mais alguma dúvida, contacte o Suporte do Azure.

Você sempre pode nos perguntar sobre o HDInsight no Azure HDInsight - Perguntas e respostas da Microsoft

Você está convidado a adicionar mais propostas e ideias e outros tópicos aqui e votar neles - Comunidade HDInsight (azure.com).

Nota

Data de lançamento: 25 de julho de 2023

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Para versões específicas da carga de trabalho, consulte

O que há de novo

O HDInsight 5.1 agora é compatível com o cluster ESP.
As versões atualizadas do Ranger 2.3.0 e do Oozie 5.2.1 agora fazem parte do HDInsight 5.1
O cluster Spark 3.3.1 (HDInsight 5.1) vem com o Hive Warehouse Connector (HWC) 2.1, que funciona em conjunto com o cluster de Consulta Interativa (HDInsight 5.1).
O Ubuntu 18.04 é suportado no ESM (Extended Security Maintenance) pela equipe do Azure Linux para o Azure HDInsight de julho de 2023, lançamento em diante.

Importante

Esta versão aborda os seguintes CVEs lançados pelo MSRC em 8 de agosto de 2023. A ação é atualizar para a imagem mais recente 2307201242. Os clientes são aconselhados a planear em conformidade.

CVE	Gravidade	Título da CVE
CVE-2023-35393	Importante	Vulnerabilidade de falsificação do Azure Apache Hive
CVE-2023-35394	Importante	Vulnerabilidade de falsificação do Notebook do Azure HDInsight Jupyter
CVE-2023-36877	Importante	Vulnerabilidade de falsificação do Azure Apache Oozie
CVE-2023-36881	Importante	Vulnerabilidade de falsificação do Azure Apache Ambari
CVE-2023-38188	Importante	Vulnerabilidade de falsificação do Azure Apache Hadoop

Brevemente

O comprimento máximo do nome do cluster será alterado de 59 para 49 carateres, para melhorar a postura de segurança dos clusters. Os clientes precisam planejar as atualizações antes de 30 de setembro de 2023.
Permissões de cluster para armazenamento seguro
- Os clientes podem especificar (durante a criação do cluster) se um canal seguro deve ser usado para que os nós do cluster HDInsight entrem em contato com a conta de armazenamento.
Atualização de cota in-line.
- As cotas de solicitação aumentam diretamente da página Minha Cota, que será uma chamada direta de API, que é mais rápida. Se a chamada de API falhar, os clientes precisarão criar uma nova solicitação de suporte para aumento de cota.
Criação de cluster HDInsight com redes virtuais personalizadas.
- Para melhorar a postura geral de segurança dos clusters HDInsight, os clusters HDInsight que usam VNETs personalizadas precisam garantir que o usuário precise ter permissão para Microsoft Network/virtualNetworks/subnets/join/action executar operações de criação. Os clientes precisariam planejar de acordo, pois essa mudança seria uma verificação obrigatória para evitar falhas na criação de clusters antes de 30 de setembro de 2023. 
Aposentadoria de VMs básicas e padrão da série A.
- Em 31 de agosto de 2024, aposentaremos as VMs das séries A Basic e Standard. Antes dessa data, você precisa migrar suas cargas de trabalho para VMs da série Av2, que fornecem mais memória por vCPU e armazenamento mais rápido em unidades de estado sólido (SSDs). Para evitar interrupções de serviço, migre suas cargas de trabalho de VMs das séries A Básica e Standard para VMs da série Av2 antes de 31 de agosto de 2024.
Clusters ABFS não ESP [Permissões de cluster para Word legível]
- Planeje introduzir uma alteração nos clusters ABFS não ESP, que restringe os usuários que não são do grupo Hadoop de executar comandos Hadoop para operações de armazenamento. Essa alteração para melhorar a postura de segurança do cluster. Os clientes precisam planejar as atualizações antes de 30 de setembro de 2023.

Se tiver mais alguma dúvida, contacte o Suporte do Azure.

Você sempre pode nos perguntar sobre o HDInsight no Azure HDInsight - Perguntas e respostas da Microsoft

Você está convidado a adicionar mais propostas e ideias e outros tópicos aqui e votar neles - Comunidade HDInsight (azure.com) e siga-nos para mais atualizações no twitter

Nota

Data de lançamento: 08 de maio de 2023

Esta versão aplica-se ao HDInsight 4.x e 5.x A versão do HDInsight está disponível para todas as regiões durante vários dias. Esta versão é aplicável para o número de imagem 2304280205. Como verificar o número da imagem?

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Para versões específicas da carga de trabalho, consulte

Azure HDInsight 5.1 atualizado com
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0,5
8. Apache Kafka 3.2.0
Nota
- Todos os componentes são integrados com Hadoop 3.3.4 & ZK 3.6.3
- Todos os componentes atualizados acima estão agora disponíveis em clusters não-ESP para visualização pública.

Dimensionamento automático aprimorado para HDInsight

O Azure HDInsight fez melhorias notáveis na estabilidade e latência no Autoscale, As alterações essenciais incluem loop de feedback aprimorado para decisões de escala, melhoria significativa na latência para dimensionamento e suporte para recomissionamento dos nós desativados, Saiba mais sobre os aprimoramentos, como configurar e migrar seu cluster para dimensionamento automático aprimorado. A capacidade de dimensionamento automático aprimorada está disponível a partir de 17 de maio de 2023 em todas as regiões suportadas.
O Azure HDInsight ESP para Apache Kafka 2.4.1 agora está disponível ao público em geral.

O Azure HDInsight ESP para Apache Kafka 2.4.1 está em pré-visualização pública desde abril de 2022. Após melhorias notáveis nas correções de CVE e estabilidade, o Azure HDInsight ESP Kafka 2.4.1 agora se torna geralmente disponível e pronto para cargas de trabalho de produção, saiba os detalhes sobre como configurar e migrar.
Gerenciamento de cotas para o HDInsight

Atualmente, o HDInsight aloca cotas para assinaturas de clientes em nível regional. Os núcleos atribuídos aos clientes são genéricos e não são classificados ao nível da família VM (por exemplo, Dv2, , Ev3Eav4, etc.).

O HDInsight introduziu uma exibição aprimorada, que fornece detalhes e classificação de cotas para VMs de nível familiar, esse recurso permite que os clientes visualizem as cotas atuais e restantes para uma região no nível da família de VMs. Com a visão aprimorada, os clientes têm visibilidade mais rica, para planejar cotas e uma melhor experiência do usuário. Esse recurso está atualmente disponível no HDInsight 4.x e 5.x para a região EUAP Leste dos EUA. Outras regiões a seguir mais tarde.

Para obter mais informações, consulte Planejamento de capacidade de cluster no Azure HDInsight | Microsoft Learn

Polónia Central

O comprimento máximo do nome do cluster muda de 59 caracteres para 45, para melhorar a postura de segurança dos clusters.
Permissões de cluster para armazenamento seguro
- Os clientes podem especificar (durante a criação do cluster) se um canal seguro deve ser usado para que os nós do cluster HDInsight entrem em contato com a conta de armazenamento.
Atualização de cota in-line.
- As cotas de solicitação aumentam diretamente da página Minha cota, que é uma chamada direta de API, que é mais rápida. Se a chamada de API falhar, os clientes precisarão criar uma nova solicitação de suporte para aumento de cota.
Criação de cluster HDInsight com redes virtuais personalizadas.
- Para melhorar a postura geral de segurança dos clusters HDInsight, os clusters HDInsight que usam VNETs personalizadas precisam garantir que o usuário precise ter permissão para Microsoft Network/virtualNetworks/subnets/join/action executar operações de criação. Os clientes precisariam planejar de acordo, pois essa seria uma verificação obrigatória para evitar falhas na criação de clusters.
Aposentadoria de VMs básicas e padrão da série A.
- Em 31 de agosto de 2024, aposentaremos as VMs das séries A Basic e Standard. Antes dessa data, você precisa migrar suas cargas de trabalho para VMs da série Av2, que fornecem mais memória por vCPU e armazenamento mais rápido em unidades de estado sólido (SSDs). Para evitar interrupções de serviço, migre suas cargas de trabalho de VMs das séries A Básica e Standard para VMs da série Av2 antes de 31 de agosto de 2024.
Clusters ABFS não-ESP [Permissões de cluster para leitura mundial]
- Planeje introduzir uma alteração nos clusters ABFS não ESP, que restringe os usuários que não são do grupo Hadoop de executar comandos Hadoop para operações de armazenamento. Essa alteração para melhorar a postura de segurança do cluster. Os clientes precisam planejar as atualizações.

Data de lançamento: 28 de fevereiro de 2023

Esta versão aplica-se ao HDInsight 4.0. e 5.0, 5.1. A versão do HDInsight está disponível para todas as regiões durante vários dias. Esta versão é aplicável para o número de imagem 2302250400. Como verificar o número da imagem?

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Para versões específicas da carga de trabalho, consulte

Importante

A Microsoft emitiu o CVE-2023-23408, que é corrigido na versão atual e os clientes são aconselhados a atualizar seus clusters para a imagem mais recente.

HDInsight 5.1

Começamos a lançar uma nova versão do HDInsight 5.1. Todas as novas versões de código aberto adicionadas como versões incrementais no HDInsight 5.1.

Para obter mais informações, consulte HDInsight versão 5.1.0

Atualização do Kafka 3.2.0 (Visualização)

Kafka 3.2.0 inclui vários novos recursos significativos / melhorias.
- Zookeeper atualizado para 3.6.3
- Suporte Kafka Streams
- Garantias de entrega mais fortes para o produtor de Kafka habilitadas por defeito.
- log4j 1.x substituído por reload4j.
- Envie uma dica para o líder da partição para recuperar a partição.
- JoinGroupRequest e LeaveGroupRequest ter um motivo anexado.
- Adicionadas métricas de contagem de corretores8.
- Melhorias no espelho Maker2 .

Atualização do HBase 2.4.11 (Visualização)

Esta versão tem novos recursos, como a adição de novos tipos de mecanismo de cache para cache de bloco, a capacidade de alterar hbase:meta table e visualizar a hbase:meta tabela a partir da interface do usuário WEB do HBase.

Atualização Phoenix 5.1.2 (Pré-visualização)

Versão Phoenix atualizada para 5.1.2 nesta versão. Esta atualização inclui o Phoenix Query Server. O Phoenix Query Server faz o proxy do driver JDBC Phoenix padrão e fornece um protocolo de conexão compatível com versões anteriores para invocar esse driver JDBC.

Ambari CVEs

Vários CVEs Ambari são corrigidos.

Nota

O ESP não é suportado para Kafka e HBase nesta versão.

Fim do suporte para clusters do Azure HDInsight no Spark 2.4 em 10 de fevereiro de 2024. Para obter mais informações, consulte Versões do Spark com suporte no Azure HDInsight

O que se segue

Dimensionamento automático
- Dimensionamento automático com latência melhorada e várias melhorias
Limitação de alteração de nome de cluster
- O comprimento máximo do nome do cluster muda de 59 para 45 em Público, Azure China e Azure Government.
Permissões de cluster para armazenamento seguro
- Os clientes podem especificar (durante a criação do cluster) se um canal seguro deve ser usado para que os nós do cluster HDInsight entrem em contato com a conta de armazenamento.
Clusters ABFS não-ESP [Permissões de cluster para leitura mundial]
- Planeje introduzir uma alteração nos clusters ABFS não ESP, que restringe os usuários que não são do grupo Hadoop de executar comandos Hadoop para operações de armazenamento. Essa alteração para melhorar a postura de segurança do cluster. Os clientes precisam planejar as atualizações.
Atualizações de código aberto
- O Apache Spark 3.3.0 e o Hadoop 3.3.4 estão em desenvolvimento no HDInsight 5.1 e incluem vários novos recursos significativos, desempenho e outras melhorias.

Nota

Data de lançamento: 12 de dezembro de 2022

Esta versão aplica-se ao HDInsight 4.0. e a versão 5.0 do HDInsight é disponibilizada para todas as regiões durante vários dias.

Versões do SO

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Para versões específicas da carga de trabalho, consulte aqui.

Log Analytics - Os clientes podem habilitar o monitoramento clássico para obter a versão 14.19 mais recente do OMS. Para remover versões antigas, desative e habilite o monitoramento clássico.
Sair automaticamente da interface do usuário do Ambari devido à inatividade. Para mais informações, consulte aqui
Spark - Uma versão nova e otimizada do Spark 3.1.3 está incluída nesta versão. Testamos o Apache Spark 3.1.2 (versão anterior) e o Apache Spark 3.1.3 (versão atual) usando o benchmark TPC-DS. O teste foi realizado usando E8 V3 SKU, para Apache Spark em carga de trabalho de 1 TB. O Apache Spark 3.1.3 (versão atual) superou o Apache Spark 3.1.2 (versão anterior) em mais de 40% no tempo total de execução de consultas para consultas TPC-DS usando as mesmas especificações de hardware. A equipe do Microsoft Spark adicionou otimizações disponíveis no Azure Synapse com o Azure HDInsight. Para obter mais informações, consulte Acelerar suas cargas de trabalho de dados com atualizações de desempenho para o Apache Spark 3.1.2 no Azure Synapse

Catar Central
Norte da Alemanha

O HDInsight se afastou do Azul Zulu Java JDK 8 para Adoptium Temurin JDK 8o , que suporta tempos de execução certificados TCK de alta qualidade e tecnologia associada para uso em todo o ecossistema Java.
O HDInsight migrou para o reload4j. As log4j alterações aplicam-se a:
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Lívio
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

O HDInsight para implementar o TLS1.2 no futuro, e as versões anteriores são atualizadas na plataforma. Se você estiver executando aplicativos sobre o HDInsight e eles usarem TLS 1.0 e 1.1, atualize para o TLS 1.2 para evitar qualquer interrupção nos serviços.

Para obter mais informações, consulte Como habilitar o Transport Layer Security (TLS)

Fim do suporte para clusters do Azure HDInsight no Ubuntu 16.04 LTS a partir de 30 de novembro de 2022. HDInsight começa a liberação de imagens de cluster usando o Ubuntu 18.04 a partir de 27 de junho de 2021. Recomendamos que nossos clientes que estão executando clusters usando o Ubuntu 16.04 reconstruam seus clusters com as imagens HDInsight mais recentes até 30 de novembro de 2022.

Para obter mais informações sobre como verificar a versão Ubuntu do cluster, veja aqui

Execute o comando "lsb_release -a" no terminal.
Se o valor da propriedade "Description" na saída for "Ubuntu 16.04 LTS", então esta atualização é aplicável ao cluster.

Suporte para seleção de zonas de disponibilidade para clusters Kafka e HBase (acesso de gravação).

Correções de bugs de código aberto

Correções de bugs do Hive

Correções de Erros	Apache JIRA
VIH-26127	Erro INSERT OVERWRITE - Arquivo não encontrado
VIH-24957	Resultados errados quando a subconsulta tem COALESCE no predicado de correlação
VIH-24999	HiveSubQueryRemoveRule gera um plano inválido para a subconsulta IN com várias correlações
VIH-24322	Se houver inserção direta, o ID da tentativa deve ser verificado quando a leitura do manifesto falhar
VIH-23363	Atualize a dependência do DataNucleus para 5.2
VIH-26412	Criar interface para buscar slots disponíveis e adicionar o padrão
VIH-26173	Upgrade derby para 10.14.2.0
VIH-25920	Colisão `Xerce2` com o ponto 2.12.2.
VIH-26300	Atualize a versão de associação de dados Jackson para 2.12.6.1+ para evitar CVE-2020-36518

Data de lançamento: 08/10/2022

Esta versão aplica-se ao HDInsight 4.0. A versão do HDInsight é disponibilizada para todas as regiões durante vários dias.

Novo recurso

1. Anexe discos externos em clusters HDI Hadoop/Spark

O cluster HDInsight vem com espaço em disco predefinido com base na SKU. Esse espaço pode não ser suficiente em cenários de trabalho grandes.

Esse novo recurso permite que você adicione mais discos no cluster, que usado como diretório local do gerenciador de nós. Adicione o número de discos aos nós de trabalho durante a criação do cluster HIVE e do Spark, enquanto os discos selecionados fazem parte dos diretórios locais do gerenciador de nós.

Nota

Os discos adicionados são configurados apenas para diretórios locais do gerenciador de nós.

Para mais informações, consulte aqui

2. Análise seletiva de registo

A análise de log seletivo agora está disponível em todas as regiões para visualização pública. Você pode conectar seu cluster a um espaço de trabalho de análise de log. Uma vez ativado, você pode ver os logs e métricas como Logs de Segurança do HDInsight, Gerenciador de Recursos do Yarn, Métricas do Sistema, etc. Você pode monitorar cargas de trabalho e ver como elas estão afetando a estabilidade do cluster. O log seletivo permite habilitar/desabilitar todas as tabelas ou habilitar tabelas seletivas no espaço de trabalho de análise de log. Você pode ajustar o tipo de fonte para cada tabela, já que na nova versão do monitoramento de Genebra uma tabela tem várias fontes.

O sistema de monitoramento de Genebra usa mdsd (MDS daemon), que é um agente de monitoramento e fluente para coletar logs usando a camada de log unificada.
O Log Seletivo usa a ação de script para desabilitar/habilitar tabelas e seus tipos de log. Como ele não abre novas portas nem altera nenhuma configuração de segurança existente, portanto, não há alterações de segurança.
A Ação de Script é executada em paralelo em todos os nós especificados e altera os arquivos de configuração para desabilitar/habilitar tabelas e seus tipos de log.

Para mais informações, consulte aqui

Fixo

Análise de logs

O Log Analytics integrado ao Azure HDInsight que executa o OMS versão 13 requer uma atualização para o OMS versão 14 para aplicar as atualizações de segurança mais recentes. Os clientes que usam a versão mais antiga do cluster com o OMS versão 13 precisam instalar o OMS versão 14 para atender aos requisitos de segurança. (Como verificar a versão atual & Instalar 14)

Como verificar sua versão atual do OMS

Entre no cluster usando SSH.
Execute o seguinte comando no seu cliente SSH.

sudo /opt/omi/bin/ominiserver/ --version

Captura de tela mostrando como verificar a Atualização do OMS.

Como atualizar sua versão do OMS de 13 para 14

Inicie sessão no portal do Azure
No grupo de recursos, selecione o recurso de cluster HDInsight
Selecionar ações de script
No painel de ação Enviar script, escolha Tipo de script como personalizado
Cole o seguinte link na caixa URL do script Bash: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Selecionar tipo(s) de nó
Selecione Criar

Captura de tela mostrando como fazer a atualização do OMS.

Verifique se a instalação do patch foi bem-sucedida usando as seguintes etapas:
Entre no cluster usando SSH.
Execute o seguinte comando no seu cliente SSH.

sudo /opt/omi/bin/ominiserver/ --version

Outras correções de bugs

A CLI do log do Yarn não conseguiu recuperar os logs se algum TFile estiver corrompido ou vazio.
Resolvido erro de detalhes da entidade de serviço inválida ao obter o token OAuth do Azure Ative Directory.
Maior confiabilidade de criação de cluster quando 100+ nós trabalhados são configurados.

Correções de bugs de código aberto

Correções de bugs TEZ

Correções de Erros	Apache JIRA
Tez Build Failure: FileSaver.js não encontrado	TEZ-4411
Exceção FS errada quando armazém e `scratchdir` estão em FS diferentes	TEZ-4406
TezUtils.createConfFromByteString em Configuração maior que 32 MB lança exceção com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf deve usar snappy em vez de DeflaterOutputStream	TEZ-4113
Atualize a dependência do protobuf para 3.x	TEZ-4363

Correções de bugs do Hive

Correções de Erros	Apache JIRA
Otimizações de Perf na geração dividida de ORC	VIH-21457
Evite ler tabela como ACID quando o nome da tabela estiver começando com "delta", mas a tabela não for transacional e a estratégia de divisão de BI for usada	VIH-22582
Remover uma chamada FS#exists de AcidUtils#getLogicalLength	VIH-23533
Otimização vetorizada OrcAcidRowBatchReader.computeOffset e bucket	VIH-17917

Problemas conhecidos

O HDInsight é compatível com o Apache HIVE 3.1.2. Devido a um bug nesta versão, a versão do Hive é mostrada como 3.1.0 em interfaces hive. No entanto, não há impacto na funcionalidade.

Data de lançamento: 08/10/2022

Esta versão aplica-se ao HDInsight 4.0. A versão do HDInsight é disponibilizada para todas as regiões durante vários dias.

Novo recurso

1. Anexe discos externos em clusters HDI Hadoop/Spark

O cluster HDInsight vem com espaço em disco predefinido com base na SKU. Esse espaço pode não ser suficiente em cenários de trabalho grandes.

Esse novo recurso permite que você adicione mais discos no cluster, que serão usados como diretório local do gerenciador de nós. Adicione o número de discos aos nós de trabalho durante a criação do cluster HIVE e do Spark, enquanto os discos selecionados fazem parte dos diretórios locais do gerenciador de nós.

Nota

Os discos adicionados são configurados apenas para diretórios locais do gerenciador de nós.

Para mais informações, consulte aqui

2. Análise seletiva de registo

O sistema de monitoramento de Genebra usa mdsd (MDS daemon), que é um agente de monitoramento e fluente para coletar logs usando a camada de log unificada.
O Log Seletivo usa a ação de script para desabilitar/habilitar tabelas e seus tipos de log. Como ele não abre novas portas nem altera nenhuma configuração de segurança existente, portanto, não há alterações de segurança.
A Ação de Script é executada em paralelo em todos os nós especificados e altera os arquivos de configuração para desabilitar/habilitar tabelas e seus tipos de log.

Para mais informações, consulte aqui

Fixo

Análise de logs

Como verificar sua versão atual do OMS

Faça login no cluster usando SSH.
Execute o seguinte comando no seu cliente SSH.

sudo /opt/omi/bin/ominiserver/ --version

Captura de tela mostrando como verificar a Atualização do OMS.

Como atualizar sua versão do OMS de 13 para 14

Inicie sessão no portal do Azure
No grupo de recursos, selecione o recurso de cluster HDInsight
Selecionar ações de script
No painel de ação Enviar script, escolha Tipo de script como personalizado
Cole o seguinte link na caixa URL do script Bash: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Selecionar tipo(s) de nó
Selecione Criar

Captura de tela mostrando como fazer a atualização do OMS.

Verifique se a instalação do patch foi bem-sucedida usando as seguintes etapas:
Entre no cluster usando SSH.
Execute o seguinte comando no seu cliente SSH.

sudo /opt/omi/bin/ominiserver/ --version

Outras correções de bugs

A CLI do log do Yarn não conseguiu recuperar os logs se algum TFile estiver corrompido ou vazio.
Resolvido erro de detalhes da entidade de serviço inválida ao obter o token OAuth do Azure Ative Directory.
Maior confiabilidade de criação de cluster quando 100+ nós trabalhados são configurados.

Correções de bugs de código aberto

Correções de bugs TEZ

Correções de Erros	Apache JIRA
Tez Build Failure: FileSaver.js não encontrado	TEZ-4411
Exceção FS errada quando armazém e `scratchdir` estão em FS diferentes	TEZ-4406
TezUtils.createConfFromByteString em Configuração maior que 32 MB lança exceção com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf deve usar snappy em vez de DeflaterOutputStream	TEZ-4113
Atualize a dependência do protobuf para 3.x	TEZ-4363

Correções de bugs do Hive

Correções de Erros	Apache JIRA
Otimizações de Perf na geração dividida de ORC	VIH-21457
Evite ler tabela como ACID quando o nome da tabela estiver começando com "delta", mas a tabela não for transacional e a estratégia de divisão de BI for usada	VIH-22582
Remover uma chamada FS#exists de AcidUtils#getLogicalLength	VIH-23533
Otimização vetorizada OrcAcidRowBatchReader.computeOffset e bucket	VIH-17917

Problemas conhecidos

O HDInsight é compatível com o Apache HIVE 3.1.2. Devido a um bug nesta versão, a versão do Hive é mostrada como 3.1.0 em interfaces hive. No entanto, não há impacto na funcionalidade.

Data de lançamento: 06/03/2022

Esta versão aplica-se ao HDInsight 4.0. A versão do HDInsight é disponibilizada para todas as regiões durante vários dias. A data de lançamento aqui indica a data de lançamento da primeira região. Se você não vir as seguintes alterações, aguarde o lançamento estar ativo em sua região por vários dias.

Destaques da versão

O conector de armazém do Hive (HWC) no Spark v3.1.2

O Hive Warehouse Connector (HWC) permite que você aproveite os recursos exclusivos do Hive e do Spark para criar aplicativos poderosos de big data. Atualmente, o HWC é suportado apenas para o Spark v2.4. Esse recurso agrega valor comercial ao permitir transações ACID em tabelas Hive usando o Spark. Esse recurso é útil para clientes que usam o Hive e o Spark em seu conjunto de dados. Para obter mais informações, consulte Apache Spark & Hive - Hive Warehouse Connector - Azure HDInsight | Documentos Microsoft

Ambari

Alterações de melhoria de dimensionamento e provisionamento
HDI hive agora é compatível com OSS versão 3.1.2

A versão do HDI Hive 3.1 é atualizada para o OSS Hive 3.1.2. Esta versão tem todas as correções e recursos disponíveis na versão de código aberto Hive 3.1.2.

Nota

Spark

Se você estiver usando a Interface do Usuário do Azure para criar o Cluster Spark para HDInsight, verá na lista suspensa uma outra versão do Spark 3.1. (HDI 5.0) juntamente com as versões mais antigas. Esta versão é uma versão renomeada do Spark 3.1. (IDH 4.0). Essa é apenas uma alteração no nível da interface do usuário, que não afeta nada para os usuários existentes e os usuários que já estão usando o modelo ARM.

Screenshot_of faísca 3.1 para HDI 5.0.

Nota

Consulta Interativa

Se você estiver criando um Cluster de Consulta Interativa, verá na lista suspensa uma outra versão como Consulta Interativa 3.1 (HDI 5.0).
Se você vai usar a versão Spark 3.1 junto com o Hive que exigem suporte ACID, você precisa selecionar esta versão Interactive Query 3.1 (HDI 5.0).

Screenshot_of consulta interativa 3.1 para HDI 5.0.

Correções de bugs TEZ

Correções de Erros	Apache JIRA
TezUtils.createConfFromByteString em Configuração maior que 32 MB lança exceção com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils createByteStringFromConf deve usar snappy em vez de DeflaterOutputStream	TEZ-4113

Correções de bugs do HBase

Correções de Erros	Apache JIRA
TableSnapshotInputFormat deve usar ReadType.STREAM para verificação `HFiles`	HBASE-26273
Adicionar opção para desativar scanMetrics em TableSnapshotInputFormat	HBASE-26330
Correção para ArrayIndexOutOfBoundsException quando o balanceador é executado	HBASE-22739

Correções de bugs do Hive

Correções de Erros	Apache JIRA
NPE ao inserir dados com a cláusula 'distribute by' com otimização de classificação dynpart	VIH-18284
Comando MSCK REPAIR com filtragem de partição falha ao soltar partições	VIH-23851
Exceção errada lançada se capacity<=0	VIH-25446
Suporte a carga paralela para HastTables - Interfaces	VIH-25583
Incluir MultiDelimitSerDe no HiveServer2 por padrão	VIH-20619
Remova as classes glassfish.jersey e mssql-jdbc do jar jdbc-standalone	VIH-22134
Exceção de ponteiro nulo ao executar compactação em uma tabela MM.	VIH-21280
Consulta do Hive com tamanho grande via `knox` falha com falha na gravação de tubo quebrado	VIH-22231
Adicionando capacidade para o usuário definir vincular usuário	VIH-21009
Implementar UDF para interpretar o carimbo de data/hora usando sua representação interna e calendário híbrido gregoriano-juliano	VIH-22241
Opção Beeline para mostrar/não mostrar relatório de execução	VIH-22204
Tez: SplitGenerator tenta procurar arquivos de plano, o que não existe para Tez	VIH-22169
Remova o registro caro do cache LLAP `hotpath`	VIH-22168
UDF: FunctionRegistry sincroniza na classe org.apache.hadoop.hive.ql.udf.UDFType	VIH-22161
Impedir a criação do apêndice de roteamento de consulta se a propriedade estiver definida como false	VIH-22115
Remover a sincronização de consultas cruzadas para o partition-eval	VIH-22106
Pule a configuração do dir de arranhão da colmeia durante o planejamento	VIH-21182
Ignore a criação de dirs de rascunho para tez se o RPC estiver ativado	VIH-21171
switch Hive UDFs para usar `Re2J` o mecanismo regex	VIH-19661
Tabelas clusterizadas migradas usando o bucketing_version 1 no hive 3 usa o bucketing_version 2 para inserções	VIH-22429
Bucketing: O bucketing versão 1 está particionando dados incorretamente	VIH-21167
Adicionando cabeçalho de licença ASF ao arquivo recém-adicionado	VIH-22498
Aprimoramentos da ferramenta de esquema para dar suporte a mergeCatalog	VIH-22498
Hive com TEZ UNION ALL e UDTF resulta em perda de dados	VIH-21915
Dividir ficheiros de texto mesmo que exista cabeçalho/rodapé	VIH-21924
MultiDelimitSerDe retorna resultados errados na última coluna quando o arquivo carregado tem mais colunas do que o que está presente no esquema da tabela	VIH-22360
Cliente externo LLAP - Necessidade de reduzir a pegada LlapBaseInputFormat#getSplits()	VIH-22221
O nome da coluna com palavra-chave reservada não escapa quando a consulta, incluindo a junção na tabela com coluna de máscara, é reescrita (Zoltan Matyus via Zoltan Haindrich)	VIH-22208
Impedir o desligamento do LLAP em `AMReporter` RuntimeException relacionado	VIH-22113
O driver de serviço de status LLAP pode ficar preso com o ID errado do aplicativo Yarn	VIH-21866
OperationManager.queryIdOperation não limpa corretamente vários queryIds	VIH-22275
Derrubar um gerenciador de nó bloqueia a reinicialização do serviço LLAP	VIH-22219
StackOverflowError quando soltar muitas partições	VIH-15956
A verificação de acesso falha quando um diretório temporário é removido	VIH-22273
Corrigir resultados errados/exceção ArrayOutOfBound em junções de mapa externo à esquerda em condições de limite específicas	VIH-22120
Remover tag de gerenciamento de distribuição do pom.xml	VIH-19667
O tempo de análise pode ser alto se houver subconsultas profundamente aninhadas	VIH-21980
Para ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); `TBL_TYPE` alterações de atributos não refletidas para não-CAPS	VIH-20057
JDBC: Interfaces de sombreamento do `log4j` HiveConnection	VIH-18874
Atualizar URLs de repositório em `poms` - versão branch 3.1	VIH-21786
`DBInstall` Testes quebrados no Master e no Branch-3.1	VIH-21758
Carregar dados em uma tabela em bucket é ignorar partições, especificações e carrega dados na partição padrão	VIH-21564
Consultas com condição de junção com carimbo de data/hora ou carimbo de data/hora com lançamento literal de fuso horário local SemanticException	VIH-21613
Analise estatísticas de computação para dir de preparo de folhas de coluna no HDFS	VIH-21342
Alteração incompatível no cálculo do bucket do Hive	VIH-21376
Fornecer um autorizador de fallback quando nenhum outro autorizador estiver em uso	VIH-20420
Algumas invocações alterPartitions lançam 'NumberFormatException: null'	VIH-18767
HiveServer2: O assunto pré-autenticado para transporte http não é retido durante toda a duração da comunicação http em alguns casos	VIH-20555

Data de lançamento: 03/10/2022

As versões do SO para esta versão são:

HDInsight 4.0: Ubuntu 18.04.5

O Spark 3.1 já está disponível para o público em geral

O Spark 3.1 agora está disponível para o público em geral na versão 4.0 do HDInsight. Esta versão inclui

Execução de consulta adaptável,
Converter Sort Merge Join para Broadcast Hash Join,
Otimizador de catalisador de faísca,
Poda de partição dinâmica,
Os clientes poderão criar novos clusters do Spark 3.1 e não clusters do Spark 3.0 (visualização).

Para obter mais informações, consulte Apache Spark 3.1 agora está disponível em geral no HDInsight - Microsoft Tech Community.

Para obter uma lista completa de melhorias, consulte as notas de versão do Apache Spark 3.1.

Para obter mais informações sobre migração, consulte o guia de migração.

Kafka 2.4 está agora disponível para o público em geral

Kafka 2.4.1 está agora disponível para o público em geral. Para obter mais informações, consulte as Notas de versão do Kafka 2.4.1. Outros recursos incluem disponibilidade do MirrorMaker 2, nova partição de tópico AtMinIsr de categoria métrica, tempo de inicialização do corretor aprimorado por preguiça na demanda mmap de arquivos de índice, mais métricas do consumidor para observar o comportamento da pesquisa do usuário.

O tipo de dados de mapa no HWC agora é suportado no HDInsight 4.0

Esta versão inclui o suporte a tipos de dados de mapa para HWC 1.0 (Spark 2.4) por meio do aplicativo spark-shell e todos os outros clientes spark suportados pelo HWC. As seguintes melhorias estão incluídas como qualquer outro tipo de dados:

Um utilizador pode:

Crie uma tabela do Hive com qualquer coluna que contenha o tipo de dados Mapa, insira dados nela e leia os resultados dela.
Crie um dataframe do Apache Spark com Map Type e faça leituras e gravações em lote/stream.

Novas regiões

A HDInsight expandiu agora a sua presença geográfica para duas novas regiões: China East 3 e China North 3.

Alterações no backport OSS

Backports OSS incluídos no Hive, incluindo HWC 1.0 (Spark 2.4), que suporta o tipo de dados Map.

Aqui estão os JIRAs Apache backported OSS para esta versão:

Recurso afetado	Apache JIRA
As consultas SQL diretas do Metastore com IN/(NOT IN) devem ser divididas com base nos parâmetros máximos permitidos pelo SQL DB	VIH-25659
Atualizar `log4j` 2.16.0 para 2.17.0	VIH-25825
Versão de atualização `Flatbuffer`	VIH-22827
Suporte ao tipo de dados de mapa nativamente no formato de seta	VIH-25553
Cliente externo LLAP - Manipula valores aninhados quando a estrutura pai é nula	VIH-25243
Atualize a versão da seta para 0.11.0	VIH-23987

Avisos de preterição

Conjuntos de Dimensionamento de Máquina Virtual do Azure no HDInsight

O HDInsight não usará mais os Conjuntos de Escala de Máquina Virtual do Azure para provisionar os clusters, nenhuma alteração significativa é esperada. Os clusters HDInsight existentes em conjuntos de dimensionamento de máquinas virtuais não têm impacto, quaisquer novos clusters nas imagens mais recentes deixarão de utilizar Conjuntos de Dimensionamento de Máquinas Virtuais.

O dimensionamento de cargas de trabalho do HBase do Azure HDInsight agora terá suporte apenas usando a escala manual

A partir de 01 de março de 2022, o HDInsight suportará apenas a escala manual para HBase, não havendo impacto na execução de clusters. Os novos clusters HBase não poderão habilitar o Autoscaling baseado em agendamento. Para obter mais informações sobre como dimensionar manualmente seu cluster HBase, consulte nossa documentação sobre Dimensionamento manual de clusters do Azure HDInsight

Data de lançamento: 27/12/2021

As versões do SO para esta versão são:

HDInsight 4.0: Ubuntu 18.04.5 LTS

A imagem do HDInsight 4.0 foi atualizada para atenuar Log4j a vulnerabilidade, conforme descrito na Resposta da Microsoft ao CVE-2021-44228 Apache Log4j 2.

Nota

Todos os clusters HDI 4.0 criados após 27 de dezembro de 2021 00:00 UTC são criados com uma versão atualizada da imagem que mitiga as log4j vulnerabilidades. Portanto, os clientes não precisam corrigir/reinicializar esses clusters.
Para novos clusters HDInsight 4.0 criados entre 16 de dezembro de 2021 às 01:15 UTC e 27 de dezembro de 2021 00:00 UTC, HDInsight 3.6 ou em assinaturas fixadas após 16 de dezembro de 2021, o patch é aplicado automaticamente dentro da hora em que o cluster é criado, no entanto, os clientes devem reinicializar seus nós para que o patch seja concluído (exceto para nós de gerenciamento Kafka, que são reinicializados automaticamente).

Data de lançamento: 27/07/2021

Esta versão aplica-se ao HDInsight 3.6 e ao HDInsight 4.0. A versão do HDInsight é disponibilizada para todas as regiões durante vários dias. A data de lançamento aqui indica a data de lançamento da primeira região. Se você não vir as seguintes alterações, aguarde o lançamento estar ativo em sua região em vários dias.

As versões do SO para esta versão são:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Novas funcionalidades

O suporte do Azure HDInsight para Conectividade Pública Restrita está disponível em geral em 15 de outubro de 2021

O Azure HDInsight agora oferece suporte à conectividade pública restrita em todas as regiões. Abaixo estão alguns dos principais destaques desse recurso:

Capacidade de reverter a comunicação do provedor de recursos para o cluster de forma que ele seja de saída do cluster para o provedor de recursos
Suporte para trazer seus próprios recursos habilitados para Link privado (por exemplo, armazenamento, SQL, cofre de chaves) para cluster HDInsight acessar os recursos somente pela rede privada
Nenhum endereço IP público é provisionado por recursos

Usando esse novo recurso, você também pode ignorar as regras de marca de serviço NSG (grupo de segurança de rede) de entrada para IPs de gerenciamento do HDInsight. Saiba mais sobre como restringir a conectividade pública

O suporte do Azure HDInsight para o Azure Private Link está disponível em geral em 15 de outubro de 2021

Agora você pode usar pontos de extremidade privados para se conectar aos clusters HDInsight por meio de link privado. O link privado pode ser usado em cenários de VNET cruzada onde o emparelhamento VNET não está disponível ou habilitado.

O Azure Private Link permite que você acesse os Serviços PaaS do Azure (por exemplo, Armazenamento do Azure e Banco de Dados SQL) e os serviços hospedados pelo Azure de propriedade do cliente/parceiro em um ponto de extremidade privado em sua rede virtual.

O tráfego entre a sua rede virtual e o serviço percorre a rede de backbone da Microsoft. Expor o seu serviço à Internet pública já não é necessário.

Deixe mais em ativar link privado. 

Nova experiência de integração do Azure Monitor (Pré-visualização)

A nova experiência de integração do monitor do Azure será Pré-visualizada no Leste dos EUA e na Europa Ocidental com esta versão. Saiba mais detalhes sobre a nova experiência de monitor do Azure aqui.

Preterição

A versão do HDInsight 3.6 foi preterida a partir de 01 de outubro de 2022.

Alterações de comportamento

O HDInsight Interactive Query suporta apenas o dimensionamento automático baseado em agendamento

À medida que os cenários dos clientes se tornam mais maduros e diversificados, identificamos algumas limitações com o Autoscale baseado em carga do LLAP (Interactive Query). Essas limitações são causadas pela natureza da dinâmica da consulta LLAP, problemas futuros de precisão de previsão de carga e problemas na redistribuição de tarefas do agendador LLAP. Devido a essas limitações, os usuários podem ver suas consultas serem executadas mais lentamente em clusters LLAP quando o Autoscale estiver habilitado. O efeito no desempenho pode superar os benefícios de custo do Autoscale.

A partir de julho de 2021, a carga de trabalho de Consulta Interativa no HDInsight suporta apenas o dimensionamento automático baseado em agendamento. Não é mais possível habilitar o dimensionamento automático baseado em carga em novos clusters de Consulta Interativa. Os clusters em execução existentes podem continuar a ser executados com as limitações conhecidas descritas acima.

A Microsoft recomenda que você mude para um Autoscale baseado em programação para LLAP. Você pode analisar o padrão de uso atual do cluster por meio do painel do Grafana Hive. Para obter mais informações, consulte Dimensionar automaticamente clusters do Azure HDInsight.

Próximas alterações

As seguintes alterações acontecem nas próximas versões.

O componente LLAP integrado no cluster ESP Spark será removido

O cluster ESP Spark do HDInsight 4.0 tem componentes LLAP integrados executados em ambos os nós principais. Os componentes LLAP no cluster ESP Spark foram originalmente adicionados para o HDInsight 3.6 ESP Spark, mas não tem nenhum caso de usuário real para o HDInsight 4.0 ESP Spark. Na próxima versão agendada para setembro de 2021, o HDInsight removerá o componente LLAP integrado do cluster HDInsight 4.0 ESP Spark. Essa alteração ajuda a descarregar a carga de trabalho do nó principal e evitar confusão entre o ESP Spark e o tipo de cluster ESP Interactive Hive.

Nova região

EUA Oeste 3
Jio Índia Ocidental
Austrália Central

Alteração de versão do componente

A seguinte versão do componente foi alterada com esta versão:

Versão ORC de 1.5.1 a 1.5.9

Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

JIRAs com porta traseira

Aqui estão os JIRAs Apache retroportados para esta versão:

Recurso afetado	Apache JIRA
Carimbo de data/hora	VIH-25104
	VIH-24074
	VIH-22840
	VIH-22589
	VIH-22405
	VIH-21729
	VIH-21291
	VIH-21290
UDF	VIH-25268
	VIH-25093
	VIH-22099
	VIH-24113
	VIH-22170
	VIH-22331
ORC	VIH-21991
	VIH-21815
	VIH-21862
Esquema da tabela	VIH-20437
	VIH-22941
	VIH-21784
	VIH-21714
	VIH-18702
	VIH-21799
	VIH-21296
Gestão de Carga de Trabalho	VIH-24201
Compactação	VIH-24882
	VIH-23058
	VIH-23046
Vista materializada	VIH-22566

Correção de preço para máquinas virtuais HDInsight `Dv2`

Um erro de preço foi corrigido em 25 de abril de 2021 para a Dv2 série VM no HDInsight. O erro de preços resultou em uma cobrança reduzida nas contas de alguns clientes antes de 25 de abril e, com a correção, os preços agora correspondem ao que havia sido anunciado na página de preços do HDInsight e na calculadora de preços do HDInsight. O erro de preço afetou os clientes nas seguintes regiões que usavam Dv2 VMs:

Canadá Central
Leste do Canadá
Ásia Leste
Norte da África do Sul
Sudeste Asiático
E.A.U. Central

A partir de 25 de abril de 2021, o valor corrigido para as Dv2 VMs estará na sua conta. As notificações dos clientes foram enviadas aos proprietários da subscrição antes da alteração. Você pode usar a Calculadora de preços, a página de preços do HDInsight ou a folha Criar cluster HDInsight no portal do Azure para ver os custos corrigidos para Dv2 VMs em sua região.

Nenhuma outra ação é necessária da sua parte. A correção de preço só se aplicará para uso em ou após 25 de abril de 2021 nas regiões especificadas, e não para qualquer uso anterior a esta data. Para garantir que você tenha a solução mais eficiente e econômica, recomendamos que você revise os preços, a VCPU e a RAM de seus Dv2 clusters e compare as Dv2 especificações com as Ev3 VMs para ver se sua solução se beneficiaria da utilização de uma das séries de VMs mais recentes.

Data de lançamento: 06/02/2021

As versões do SO para esta versão são:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Novas funcionalidades

Atualização da versão do SO

Como referenciado no ciclo de lançamento do Ubuntu, o kernel do Ubuntu 16.04 chega ao Fim da Vida Útil (EOL) em abril de 2021. Começamos a lançar a nova imagem de cluster do HDInsight 4.0 rodando no Ubuntu 18.04 com esta versão. Os clusters HDInsight 4.0 recém-criados são executados no Ubuntu 18.04 por padrão, uma vez disponíveis. Clusters existentes no Ubuntu 16.04 é executado como está com suporte total.

O HDInsight 3.6 continuará a ser executado no Ubuntu 16.04. Ele mudará para suporte básico (do suporte padrão) a partir de 1º de julho de 2021. Para obter mais informações sobre datas e opções de suporte, consulte Versões do Azure HDInsight. O Ubuntu 18.04 não será suportado pelo HDInsight 3.6. Se você quiser usar o Ubuntu 18.04, precisará migrar seus clusters para o HDInsight 4.0.

Você precisa soltar e recriar seus clusters se quiser mover clusters HDInsight 4.0 existentes para o Ubuntu 18.04. Planeje criar ou recriar seus clusters depois que o suporte ao Ubuntu 18.04 estiver disponível.

Depois de criar o novo cluster, você pode SSH para o seu cluster e executar sudo lsb_release -a para verificar se ele é executado no Ubuntu 18.04. Recomendamos que você teste seus aplicativos em suas assinaturas de teste primeiro antes de passar para a produção.

Otimizações de dimensionamento em clusters de gravações aceleradas do HBase

O HDInsight fez algumas melhorias e otimizações no dimensionamento para clusters habilitados para gravação acelerada do HBase. Saiba mais sobre a gravação acelerada do HBase.

Preterição

Nenhuma substituição nesta versão.

Alterações de comportamento

Desativar Stardard_A5 tamanho da VM como nó principal para o HDInsight 4.0

O nó principal do cluster HDInsight é responsável por inicializar e gerenciar o cluster. Standard_A5 tamanho da VM tem problemas de confiabilidade como nó principal para HDInsight 4.0. A partir desta versão, os clientes não poderão criar novos clusters com Standard_A5 tamanho de VM como nó principal. Você pode usar outras VMs de dois núcleos, como E2_v3 ou E2s_v3. Os clusters existentes serão executados como estão. Uma VM de quatro núcleos é altamente recomendada para o Head Node para garantir a alta disponibilidade e a confiabilidade de seus clusters HDInsight de produção.

Recurso de interface de rede não visível para clusters em execução em conjuntos de dimensionamento de máquina virtual do Azure

O HDInsight está migrando gradualmente para conjuntos de escala de máquina virtual do Azure. As interfaces de rede para máquinas virtuais não são mais visíveis para os clientes para clusters que usam conjuntos de dimensionamento de máquinas virtuais do Azure.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

O HDInsight Interactive Query suporta apenas o dimensionamento automático baseado em agendamento

A partir de julho de 2021, a carga de trabalho de Consulta Interativa no HDInsight suporta apenas o dimensionamento automático baseado em agendamento. Não é mais possível habilitar o dimensionamento automático em novos clusters de Consulta Interativa. Os clusters em execução existentes podem continuar a ser executados com as limitações conhecidas descritas acima.

A nomenclatura do host da VM será alterada em 1º de julho de 2021

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. O serviço está migrando gradualmente para conjuntos de escala de máquina virtual do Azure. Essa migração alterará o formato do nome do host do cluster FQDN e os números no nome do host não serão garantidos em sequência. Se você quiser obter os nomes FQDN para cada nó, consulte Localizar os nomes de host dos nós de cluster.

Mover para conjuntos de escala de máquina virtual do Azure

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. O serviço migrará gradualmente para conjuntos de escala de máquina virtual do Azure. Todo o processo pode levar meses. Depois que suas regiões e assinaturas forem migradas, os clusters HDInsight recém-criados serão executados em conjuntos de dimensionamento de máquina virtual sem ações do cliente. Nenhuma mudança de quebra é esperada.

Data de lançamento: 24/03/2021

Novas funcionalidades

Pré-visualização do Spark 3.0

O HDInsight adicionou suporte ao Spark 3.0.0 ao HDInsight 4.0 como um recurso de visualização.

Kafka 2.4 pré-visualização

O HDInsight adicionou suporte ao Kafka 2.4.1 ao HDInsight 4.0 como um recurso de visualização.

`Eav4`-suporte da série

O HDInsight adicionou Eav4suporte à série nesta versão.

Movendo-se para conjuntos de escala de máquina virtual do Azure

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. O serviço está migrando gradualmente para conjuntos de escala de máquina virtual do Azure. Todo o processo pode levar meses. Depois que suas regiões e assinaturas forem migradas, os clusters HDInsight recém-criados serão executados em conjuntos de dimensionamento de máquina virtual sem ações do cliente. Nenhuma mudança de quebra é esperada.

Preterição

Nenhuma substituição nesta versão.

Alterações de comportamento

A versão padrão do cluster é alterada para 4.0

A versão padrão do cluster HDInsight é alterada de 3.6 para 4.0. Para obter mais informações sobre as versões disponíveis, consulte as versões disponíveis. Saiba mais sobre as novidades do HDInsight 4.0.

Os tamanhos padrão das VMs de cluster são alterados para `Ev3`-series

Os tamanhos padrão das VMs de cluster são alterados da série D para Ev3a série -. Essa alteração se aplica a nós principais e nós de trabalho. Para evitar que essa alteração afete seus fluxos de trabalho testados, especifique os tamanhos de VM que você deseja usar no modelo ARM.

Recurso de interface de rede não visível para clusters em execução em conjuntos de dimensionamento de máquina virtual do Azure

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

O HDInsight Interactive Query suporta apenas o dimensionamento automático baseado em agendamento

À medida que os cenários dos clientes se tornam mais maduros e diversificados, identificamos algumas limitações com o Autoscale baseado em carga do LLAP (Interactive Query). Essas limitações são causadas pela natureza da dinâmica da consulta LLAP, problemas futuros de precisão de previsão de carga e problemas na redistribuição de tarefas do agendador LLAP. Devido a essas limitações, os usuários podem ver suas consultas serem executadas mais lentamente em clusters LLAP quando o Autoscale estiver habilitado. O impacto no desempenho pode superar os benefícios de custo do Autoscale.

A partir de julho de 2021, a carga de trabalho de Consulta Interativa no HDInsight suporta apenas o dimensionamento automático baseado em agendamento. Não é mais possível habilitar o dimensionamento automático em novos clusters de Consulta Interativa. Os clusters em execução existentes podem continuar a ser executados com as limitações conhecidas descritas acima.

Atualização da versão do SO

Os clusters HDInsight estão atualmente em execução no Ubuntu 16.04 LTS. Como referenciado no ciclo de lançamento do Ubuntu, o kernel do Ubuntu 16.04 chegará ao Fim da Vida Útil (EOL) em abril de 2021. Começaremos a lançar a nova imagem de cluster do HDInsight 4.0 rodando no Ubuntu 18.04 em maio de 2021. Os clusters HDInsight 4.0 recém-criados serão executados no Ubuntu 18.04 por padrão, uma vez disponíveis. Os clusters existentes no Ubuntu 16.04 serão executados como estão com suporte total.

O HDInsight 3.6 continuará a ser executado no Ubuntu 16.04. Chegará ao fim do suporte padrão em 30 de junho de 2021 e mudará para suporte básico a partir de 1º de julho de 2021. Para obter mais informações sobre datas e opções de suporte, consulte Versões do Azure HDInsight. O Ubuntu 18.04 não será suportado pelo HDInsight 3.6. Se você quiser usar o Ubuntu 18.04, precisará migrar seus clusters para o HDInsight 4.0.

Você precisa soltar e recriar seus clusters se quiser mover clusters existentes para o Ubuntu 18.04. Planeje criar ou recriar seu cluster depois que o suporte ao Ubuntu 18.04 estiver disponível. Enviaremos outra notificação depois que a nova imagem estiver disponível em todas as regiões.

É altamente recomendável que você teste suas ações de script e aplicativos personalizados implantados em nós de borda em uma máquina virtual (VM) Ubuntu 18.04 com antecedência. Você pode criar Ubuntu Linux VM em 18.04-LTS, em seguida, criar e usar um par de chaves shell seguro (SSH) em sua VM para executar e testar suas ações de script e aplicativos personalizados implantados em nós de borda.

Desativar Stardard_A5 tamanho da VM como nó principal para o HDInsight 4.0

O nó principal do cluster HDInsight é responsável por inicializar e gerenciar o cluster. Standard_A5 tamanho da VM tem problemas de confiabilidade como nó principal para HDInsight 4.0. A partir da próxima versão, em maio de 2021, os clientes não poderão criar novos clusters com Standard_A5 tamanho de VM como nó principal. Você pode usar outras VMs de 2 núcleos, como E2_v3 ou E2s_v3. Os clusters existentes serão executados como estão. Uma VM de 4 núcleos é altamente recomendada para o Head Node para garantir a alta disponibilidade e a confiabilidade de seus clusters HDInsight de produção.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

Adicionado suporte para Spark 3.0.0 e Kafka 2.4.1 como Pré-visualização. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 02/05/2021

Novas funcionalidades

Suporte à série Dav4

O HDInsight adicionou suporte à série Dav4 nesta versão. Saiba mais sobre a série Dav4 aqui.

Kafka REST Proxy GA

O Kafka REST Proxy permite que você interaja com seu cluster Kafka por meio de uma API REST sobre HTTPS. Kafka REST Proxy está disponível em geral a partir desta versão. Saiba mais sobre o Kafka REST Proxy aqui.

Movendo-se para conjuntos de escala de máquina virtual do Azure

Preterição

Tamanhos de VM desativados

A partir de 9 de janeiro de 2021, o HDInsight bloqueará todos os clientes que criarem clusters usando tamanhos de standand_A8, standand_A9, standand_A10 e standand_A11 VM. Os clusters existentes serão executados como estão. Considere mudar para o HDInsight 4.0 para evitar possíveis interrupções do sistema/suporte.

Alterações de comportamento

O tamanho padrão da VM do cluster muda para `Ev3`-series

Os tamanhos padrão das VMs de cluster serão alterados da série D para Ev3a série -. Essa alteração se aplica a nós principais e nós de trabalho. Para evitar que essa alteração afete seus fluxos de trabalho testados, especifique os tamanhos de VM que você deseja usar no modelo ARM.

Recurso de interface de rede não visível para clusters em execução em conjuntos de dimensionamento de máquina virtual do Azure

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

A versão padrão do cluster será alterada para 4.0

A partir de fevereiro de 2021, a versão padrão do cluster HDInsight será alterada de 3.6 para 4.0. Para obter mais informações sobre as versões disponíveis, consulte as versões disponíveis. Saiba mais sobre as novidades do HDInsight 4.0.

Atualização da versão do SO

O HDInsight está atualizando a versão do sistema operacional do Ubuntu 16.04 para 18.04. A atualização será concluída antes de abril de 2021.

Fim do suporte do HDInsight 3.6 em 30 de junho de 2021

O HDInsight 3.6 será o fim do suporte. A partir de 30 de junho de 2021, os clientes não poderão criar novos clusters HDInsight 3.6. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Considere mudar para o HDInsight 4.0 para evitar possíveis interrupções do sistema/suporte.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 18/11/2020

Novas funcionalidades

Rotação automática de chaves para criptografia de chave gerenciada pelo cliente em repouso

A partir desta versão, os clientes podem usar URLs de chave de criptografia sem versão do Azure KeyValut para criptografia de chave gerenciada pelo cliente em repouso. O HDInsight girará automaticamente as teclas à medida que expiram ou são substituídas por novas versões. Saiba mais detalhes aqui.

Capacidade de selecionar diferentes tamanhos de máquina virtual do Zookeeper para serviços Spark, Hadoop e ML

Anteriormente, o HDInsight não oferecia suporte à personalização do tamanho do nó do Zookeeper para os tipos de cluster Spark, Hadoop e ML Services. O padrão é A2_v2/A2 tamanhos de máquina virtual, que são fornecidos gratuitamente. Nesta versão, você pode selecionar um tamanho de máquina virtual do Zookeeper mais apropriado para o seu cenário. Os nós do Zookeeper com tamanho de máquina virtual diferente de A2_v2/A2 serão cobrados. As máquinas virtuais A2_v2 e A2 ainda são fornecidas gratuitamente.

Movendo-se para conjuntos de escala de máquina virtual do Azure

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. A partir desta versão, o serviço migrará gradualmente para conjuntos de escala de máquina virtual do Azure. Todo o processo pode levar meses. Depois que suas regiões e assinaturas forem migradas, os clusters HDInsight recém-criados serão executados em conjuntos de dimensionamento de máquina virtual sem ações do cliente. Nenhuma mudança de quebra é esperada.

Preterição

Descontinuação do cluster de Serviços de ML do HDInsight 3.6

O tipo de cluster dos Serviços de ML do HDInsight 3.6 terminará o suporte em 31 de dezembro de 2020. Os clientes não poderão criar novos clusters de Serviços de ML 3.6 após 31 de dezembro de 2020. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Verifique a expiração do suporte para versões do HDInsight e tipos de cluster aqui.

Tamanhos de VM desativados

A partir de 16 de novembro de 2020, o HDInsight bloqueará novos clientes que criem clusters usando tamanhos standand_A8, standand_A9, standand_A10 e standand_A11 VM. Os clientes existentes que usaram esses tamanhos de VM nos últimos três meses não serão afetados. A partir de 9 de janeiro de 2021, o HDInsight bloqueará todos os clientes que criarem clusters usando tamanhos de standand_A8, standand_A9, standand_A10 e standand_A11 VM. Os clusters existentes serão executados como estão. Considere mudar para o HDInsight 4.0 para evitar possíveis interrupções do sistema/suporte.

Alterações de comportamento

Adicionar verificação de regra NSG antes da operação de dimensionamento

O HDInsight adicionou grupos de segurança de rede (NSGs) e rotas definidas pelo usuário (UDRs) com a operação de dimensionamento. A mesma validação é feita para o dimensionamento de cluster, além da criação de cluster. Essa validação ajuda a evitar erros imprevisíveis. Se a validação não for aprovada, o dimensionamento falhará. Saiba mais sobre como configurar NSGs e UDRs corretamente, consulte Endereços IP de gerenciamento do HDInsight.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 11/09/2020

Novas funcionalidades

O HDInsight Identity Broker (HIB) agora é GA

O HDInsight Identity Broker (HIB) que permite a autenticação OAuth para clusters ESP agora está disponível para o público em geral com esta versão. Os clusters HIB criados após esta versão terão os recursos HIB mais recentes:

Elevada Disponibilidade (HA)
Suporte para autenticação multifator (MFA)
Usuários federados entram sem sincronização de hash de senha com o AAD-DS Para obter mais informações, consulte a documentação do HIB.

Movendo-se para conjuntos de escala de máquina virtual do Azure

Preterição

Descontinuação do cluster de Serviços de ML do HDInsight 3.6

O tipo de cluster dos Serviços de ML do HDInsight 3.6 terminará o suporte em 31 de dezembro de 2020. Os clientes não criarão novos clusters de Serviços de ML 3.6 após 31 de dezembro de 2020. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Verifique a expiração do suporte para versões do HDInsight e tipos de cluster aqui.

Tamanhos de VM desativados

Alterações de comportamento

Nenhuma alteração de comportamento para esta versão.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Capacidade de selecionar diferentes tamanhos de máquina virtual do Zookeeper para serviços Spark, Hadoop e ML

Atualmente, o HDInsight não oferece suporte à personalização do tamanho do nó do Zookeeper para os tipos de cluster Spark, Hadoop e ML Services. O padrão é A2_v2/A2 tamanhos de máquina virtual, que são fornecidos gratuitamente. Na próxima versão, você pode selecionar um tamanho de máquina virtual do Zookeeper que seja mais apropriado para o seu cenário. Os nós do Zookeeper com tamanho de máquina virtual diferente de A2_v2/A2 serão cobrados. As máquinas virtuais A2_v2 e A2 ainda são fornecidas gratuitamente.

A versão padrão do cluster será alterada para 4.0

A partir de fevereiro de 2021, a versão padrão do cluster HDInsight será alterada de 3.6 para 4.0. Para obter mais informações sobre as versões disponíveis, consulte as versões suportadas. Saiba mais sobre as novidades do HDInsight 4.0

Fim do suporte do HDInsight 3.6 em 30 de junho de 2021

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Corrigir problema para reiniciar VMs no cluster

O problema para reiniciar VMs no cluster foi corrigido, você pode usar PowerShell ou API REST para reinicializar nós no cluster novamente.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 10/08/2020

Novas funcionalidades

Clusters privados do HDInsight sem IP público e link privado (Visualização)

O HDInsight agora oferece suporte à criação de clusters sem acesso de IP público e link privado aos clusters na visualização. Os clientes podem usar as novas configurações avançadas de rede para criar um cluster totalmente isolado sem IP público e usar seus próprios pontos de extremidade privados para acessar o cluster.

Movendo-se para conjuntos de escala de máquina virtual do Azure

Preterição

Descontinuação do cluster de Serviços de ML do HDInsight 3.6

O tipo de cluster de Serviços de ML do HDInsight 3.6 terminará o suporte em 31 de dezembro de 2020. Os clientes não criarão novos clusters de Serviços de ML 3.6 depois disso. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Verifique a expiração do suporte para versões do HDInsight e tipos de cluster aqui.

Alterações de comportamento

Nenhuma alteração de comportamento para esta versão.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Capacidade de selecionar diferentes tamanhos de máquina virtual do Zookeeper para serviços Spark, Hadoop e ML

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 28/09/2020

Novas funcionalidades

O dimensionamento automático para consulta interativa com o HDInsight 4.0 já está disponível para o público em geral

A escala automática para o tipo de cluster de Consulta Interativa agora é Geral Disponível (GA) para HDInsight 4.0. Todos os clusters do Interactive Query 4.0 criados após 27 de agosto de 2020 terão suporte a GA para dimensionamento automático.

O cluster HBase suporta Premium ADLS Gen2

O HDInsight agora oferece suporte ao Premium ADLS Gen2 como conta de armazenamento principal para clusters HDInsight HBase 3.6 e 4.0. Juntamente com as gravações aceleradas, você pode obter um melhor desempenho para seus clusters HBase.

Distribuição de partição Kafka em domínios de falha do Azure

Um domínio de falha é um agrupamento lógico de hardware subjacente num centro de dados do Azure. Cada domínio de falha partilha um comutador de rede e uma fonte de alimentação. Antes do HDInsight, o Kafka podia armazenar todas as réplicas de partição no mesmo domínio de falha. A partir desta versão, o HDInsight agora oferece suporte à distribuição automática de partições Kafka com base em domínios de falha do Azure.

Encriptação em trânsito

Os clientes podem habilitar a criptografia em trânsito entre nós de cluster usando a criptografia IPSec com chaves gerenciadas pela plataforma. Essa opção pode ser habilitada no momento da criação do cluster. Veja mais detalhes sobre como habilitar a criptografia em trânsito.

Encriptação no anfitrião

Quando você habilita a criptografia no host, os dados armazenados no host da VM são criptografados em repouso e fluem criptografados para o serviço de armazenamento. A partir desta versão, você pode Habilitar a criptografia no host no disco de dados temporário ao criar o cluster. A criptografia no host só é suportada em determinadas SKUs de VM em regiões limitadas. O HDInsight suporta a seguinte configuração de nó e SKUs. Veja mais detalhes sobre como habilitar a criptografia no host.

Movendo-se para conjuntos de escala de máquina virtual do Azure

Preterição

Nenhuma substituição para esta versão.

Alterações de comportamento

Nenhuma alteração de comportamento para esta versão.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Capacidade de selecionar diferentes SKUs do Zookeeper para serviços Spark, Hadoop e ML

Atualmente, o HDInsight não oferece suporte à alteração da SKU do Zookeeper para os tipos de cluster Spark, Hadoop e ML Services. Ele usa SKU A2_v2/A2 para nós do Zookeeper e os clientes não são cobrados por eles. Na próxima versão, os clientes podem alterar o SKU do Zookeeper para Spark, Hadoop e ML Services, conforme necessário. Os nós do Zookeeper com SKU diferente de A2_v2/A2 serão cobrados. O SKU padrão ainda será A2_V2/A2 e gratuito.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 08/09/2020

Esta versão aplica-se apenas ao HDInsight 4.0. A versão do HDInsight é disponibilizada para todas as regiões durante vários dias. A data de lançamento aqui indica a data de lançamento da primeira região. Se você não vir as seguintes alterações, aguarde o lançamento estar ativo em sua região em vários dias.

Novas funcionalidades

Suporte para SparkCruise

O SparkCruise é um sistema automático de reutilização computacional para o Spark. Ele seleciona subexpressões comuns para materializar com base na carga de trabalho de consulta anterior. O SparkCruise materializa essas subexpressões como parte do processamento de consultas e a reutilização computacional é aplicada automaticamente em segundo plano. Você pode se beneficiar do SparkCruise sem qualquer modificação no código Spark.

Suporte Hive View para HDInsight 4.0

O Apache Ambari Hive View foi projetado para ajudá-lo a criar, otimizar e executar consultas do Hive a partir do seu navegador da Web. O Hive View é suportado nativamente para clusters HDInsight 4.0 a partir desta versão. Não se aplica a clusters existentes. Você precisa soltar e recriar o cluster para obter o Hive View integrado.

Suporte Tez View para HDInsight 4.0

Apache Tez View é usado para rastrear e depurar a execução do trabalho Hive Tez. O Tez View é suportado nativamente para o HDInsight 4.0 a partir desta versão. Não se aplica a clusters existentes. Você precisa soltar e recriar o cluster para obter o Tez View integrado.

Preterição

Descontinuação do Spark 2.1 e 2.2 no cluster do Spark no HDInsight 3.6

A partir de 1º de julho de 2020, os clientes não poderão criar novos clusters do Spark com o Spark 2.1 e 2.2 no HDInsight 3.6. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Considere mudar para o Spark 2.3 no HDInsight 3.6 até 30 de junho de 2020 para evitar possíveis interrupções do sistema/suporte.

Descontinuação do Spark 2.3 no cluster do Spark no HDInsight 4.0

A partir de 1º de julho de 2020, os clientes não poderão criar novos clusters do Spark com o Spark 2.3 no HDInsight 4.0. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Considere migrar para o Spark 2.4 no HDInsight 4.0 até 30 de junho de 2020 para evitar a potencial interrupção do sistema/suporte.

Descontinuação do Kafka 1.1 no cluster do Kafka no HDInsight 4.0

A partir de 1º de julho de 2020, os clientes não poderão criar novos clusters Kafka com Kafka 1.1 no HDInsight 4.0. Os clusters existentes serão executados como estão, sem o suporte da Microsoft. Considere migrar para o Kafka 2.1 no HDInsight 4.0 até 30 de junho de 2020 para evitar a potencial interrupção do sistema/suporte.

Alterações de comportamento

Alteração de versão da pilha Ambari

Nesta versão, a versão do Ambari muda de 2.x.x.x para 4.1. Você pode verificar a versão da pilha (HDInsight 4.1) em Ambari: Ambari > User > Versions.

Próximas alterações

Não há mudanças futuras que você precisa prestar atenção.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Abaixo os JIRAs são reportados para o Hive:

Abaixo os JIRAs são reportados para HBase:

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Problemas conhecidos

Foi corrigido um problema no portal do Azure, em que os utilizadores estavam a experienciar um erro quando estavam a criar um cluster HDInsight do Azure utilizando um tipo de autenticação SSH de chave pública. Quando os usuários clicavam em Revisar + Criar, recebiam o erro "Não deve conter três caracteres consecutivos do nome de usuário SSH". Esse problema foi corrigido, mas pode exigir que você atualize o cache do navegador pressionando CTRL + F5 para carregar a exibição corrigida. A solução alternativa para este problema era criar um cluster com um modelo do Resource Manager.

Data de lançamento: 13/07/2020

Esta versão aplica-se ao HDInsight 3.6 e 4.0. A versão do HDInsight é disponibilizada para todas as regiões durante vários dias. A data de lançamento aqui indica a data de lançamento da primeira região. Se você não vir as seguintes alterações, aguarde o lançamento estar ativo em sua região em vários dias.

Novas funcionalidades

Suporte para Customer Lockbox para Microsoft Azure

O Azure HDInsight agora dá suporte ao Azure Customer Lockbox. Ele fornece uma interface para que os clientes analisem e aprovem ou rejeitem solicitações de acesso aos dados do cliente. Ele é usado quando o engenheiro da Microsoft precisa acessar os dados do cliente durante uma solicitação de suporte. Para obter mais informações, consulte Customer Lockbox for Microsoft Azure.

Políticas de ponto de extremidade de serviço para armazenamento

Os clientes agora podem usar as SEP (Service Endpoint Policies) na sub-rede do cluster HDInsight. Saiba mais sobre a política de ponto de extremidade do serviço do Azure.

Preterição

Descontinuação do Spark 2.1 e 2.2 no cluster do Spark no HDInsight 3.6

Descontinuação do Spark 2.3 no cluster do Spark no HDInsight 4.0

Descontinuação do Kafka 1.1 no cluster do Kafka no HDInsight 4.0

Alterações de comportamento

Nenhuma mudança de comportamento que você precisa prestar atenção.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Capacidade de selecionar diferentes SKUs do Zookeeper para serviços Spark, Hadoop e ML

Atualmente, o HDInsight não oferece suporte à alteração da SKU do Zookeeper para os tipos de cluster Spark, Hadoop e ML Services. Ele usa SKU A2_v2/A2 para nós do Zookeeper e os clientes não são cobrados por eles. Na próxima versão, os clientes poderão alterar o SKU do Zookeeper para Spark, Hadoop e ML Services, conforme necessário. Os nós do Zookeeper com SKU diferente de A2_v2/A2 serão cobrados. O SKU padrão ainda será A2_V2/A2 e gratuito.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Corrigido problema do conector do armazém do Hive

Houve um problema para a usabilidade do conector do Hive Warehouse na versão anterior. O problema foi corrigido.

Notebook Zeppelin corrigido trunca problema de zeros à esquerda

O Zeppelin estava truncando incorretamente zeros à esquerda na saída da tabela para o formato String. Corrigimos esse problema nesta versão.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento.

Data de lançamento: 06/11/2020

Novas funcionalidades

Movendo-se para conjuntos de escala de máquina virtual do Azure

O HDInsight usa máquinas virtuais do Azure para provisionar o cluster agora. A partir desta versão, os clusters HDInsight recém-criados começam a usar o conjunto de dimensionamento de máquina virtual do Azure. A mudança está a ser implementada gradualmente. Você não deve esperar nenhuma mudança de rutura. Veja mais sobre os conjuntos de dimensionamento de máquinas virtuais do Azure.

Reinicializar VMs no cluster HDInsight

Nesta versão, oferecemos suporte à reinicialização de VMs no cluster HDInsight para reinicializar nós que não respondem. Atualmente, você só pode fazê-lo por meio de API, PowerShell e suporte CLI está a caminho. Para obter mais informações sobre a API, consulte este documento.

Preterição

Descontinuação do Spark 2.1 e 2.2 no cluster do Spark no HDInsight 3.6

Descontinuação do Spark 2.3 no cluster do Spark no HDInsight 4.0

Descontinuação do Kafka 1.1 no cluster do Kafka no HDInsight 4.0

Alterações de comportamento

Alteração do tamanho do nó principal do cluster ESP Spark

O tamanho mínimo permitido do nó principal para o cluster ESP Spark é alterado para Standard_D13_V2. VMs com núcleos baixos e memória como nó principal podem causar problemas de cluster ESP devido à CPU relativamente baixa e capacidade de memória. A partir da versão, use SKUs superiores a Standard_D13_V2 e Standard_E16_V3 como nó principal para clusters ESP Spark.

Uma VM mínima de 4 núcleos é necessária para o nó principal

Uma VM mínima de 4 núcleos é necessária para o Nó Principal para garantir a alta disponibilidade e a confiabilidade dos clusters HDInsight. A partir de 6 de abril de 2020, os clientes só poderão escolher VM de 4 núcleos ou superior como Nó Principal para os novos clusters HDInsight. Os clusters existentes continuarão a ser executados conforme esperado.

Alteração no provisionamento do nó de trabalho do cluster

Quando 80% dos nós de trabalho estiverem prontos, o cluster entrará no estágio operacional . Nesta etapa, os clientes podem fazer todas as operações do plano de dados, como executar scripts e trabalhos. Mas os clientes não podem fazer nenhuma operação de plano de controle, como escalar para cima e para baixo. Apenas a eliminação é suportada.

Após o estágio operacional , o cluster aguarda mais 60 minutos pelos 20% restantes dos nós de trabalho. No final desse período de 60 minutos, o cluster passa para o estágio de execução , mesmo que todos os nós de trabalho ainda não estejam disponíveis. Quando um cluster entra no estágio de execução , você pode usá-lo normalmente. São aceitas operações de plano de controle, como dimensionamento para cima/para baixo, e operações de plano de dados, como execução de scripts e trabalhos. Se alguns dos nós de trabalho solicitados não estiverem disponíveis, o cluster será marcado como êxito parcial. Você será cobrado pelos nós que foram implantados com êxito.

Criar nova entidade de serviço através do HDInsight

Anteriormente, com a criação de cluster, os clientes podiam criar uma nova entidade de serviço para acessar a conta ADLS Gen 1 conectada no portal do Azure. A partir de 15 de junho de 2020, a criação de novas entidades de serviço não é possível no fluxo de trabalho de criação do HDInsight, apenas a entidade de serviço existente é suportada. Consulte Criar entidade de serviço e certificados usando o Azure Ative Directory.

Tempo limite para ações de script com a criação de cluster

O HDInsight oferece suporte à execução de ações de script com a criação de clusters. A partir desta versão, todas as ações de script com a criação de cluster devem ser concluídas dentro de 60 minutos ou atingem o tempo limite. As ações de script enviadas para clusters em execução não são afetadas. Saiba mais detalhes aqui.

Próximas alterações

Não há mudanças futuras que você precisa prestar atenção.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

HBase 2.0 a 2.1.6

A versão do HBase é atualizada da versão 2.0 para a 2.1.6.

Faísca 2.4.0 a 2.4.4

A versão do Spark é atualizada da versão 2.4.0 para a 2.4.4.

Kafka 2.1.0 a 2.1.1

A versão Kafka é atualizada da versão 2.1.0 para 2.1.1.

Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 neste documento

Problemas conhecidos

Problema do conector do Hive Warehouse

Há um problema para o Hive Warehouse Connector nesta versão. A correção será incluída na próxima versão. Os clusters existentes criados antes desta versão não são afetados. Evite soltar e recriar o cluster, se possível. Abra o ticket de suporte se precisar de mais ajuda sobre isso.

Data de lançamento: 01/09/2020

Novas funcionalidades

Imposição de TLS 1.2

Transport Layer Security (TLS) e Secure Sockets Layer (SSL) são protocolos criptográficos que fornecem segurança de comunicações através de uma rede de computadores. Saiba mais sobre TLS. O HDInsight usa o TLS 1.2 em pontos de extremidade HTTP públicos, mas o TLS 1.1 ainda é suportado para compatibilidade com versões anteriores.

Com esta versão, os clientes podem optar pelo TLS 1.2 apenas para todas as conexões por meio do ponto de extremidade de cluster público. Para dar suporte a isso, a nova propriedade minSupportedTlsVersion é introduzida e pode ser especificada durante a criação do cluster. Se a propriedade não estiver definida, o cluster ainda suporta TLS 1.0, 1.1 e 1.2, que é o mesmo que o comportamento atual. Os clientes podem definir o valor dessa propriedade como "1.2", o que significa que o cluster suporta apenas TLS 1.2 e superior. Para obter mais informações, consulte Segurança da camada de transporte.

Traga sua própria chave para criptografia de disco

Todos os discos gerenciados no HDInsight são protegidos com a Criptografia do Serviço de Armazenamento do Azure (SSE). Os dados nesses discos são criptografados por chaves gerenciadas pela Microsoft por padrão. A partir desta versão, você pode Bring Your Own Key (BYOK) para criptografia de disco e gerenciá-la usando o Azure Key Vault. A criptografia BYOK é uma configuração de uma etapa durante a criação do cluster sem nenhum outro custo. Basta registrar o HDInsight como uma identidade gerenciada com o Cofre de Chaves do Azure e adicionar a chave de criptografia ao criar seu cluster. Para obter mais informações, consulte Criptografia de disco de chave gerenciada pelo cliente.

Preterição

Nenhuma depreciação para esta versão. Para se preparar para as próximas descontinuações, consulte Alterações futuras.

Alterações de comportamento

Nenhuma alteração de comportamento para esta versão. Para se preparar para as próximas alterações, consulte Alterações futuras.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Descontinuação do Spark 2.1 e 2.2 no cluster do Spark no HDInsight 3.6

A partir de 1º de julho de 2020, os clientes não poderão criar novos clusters do Spark com o Spark 2.1 e 2.2 no HDInsight 3.6. Os clusters existentes funcionarão tal como estão sem o suporte da Microsoft. Considere migrar para o Spark 2.3 no HDInsight 3.6 até 30 de junho de 2020 para evitar a potencial interrupção do sistema/suporte.

Descontinuação do Spark 2.3 no cluster do Spark no HDInsight 4.0

A partir de 1º de julho de 2020, os clientes não poderão criar novos clusters do Spark com o Spark 2.3 no HDInsight 4.0. Os clusters existentes funcionarão tal como estão sem o suporte da Microsoft. Considere migrar para o Spark 2.4 no HDInsight 4.0 até 30 de junho de 2020 para evitar a potencial interrupção do sistema/suporte.

Descontinuação do Kafka 1.1 no cluster do Kafka no HDInsight 4.0

A partir de 1º de julho de 2020, os clientes não poderão criar novos clusters Kafka com o Kafka 1.1 no HDInsight 4.0. Os clusters existentes funcionarão tal como estão sem o suporte da Microsoft. Considere migrar para o Kafka 2.1 no HDInsight 4.0 até 30 de junho de 2020 para evitar a potencial interrupção do sistema/suporte. Para obter mais informações, veja Migrar as cargas de trabalho do Apache Kafka para o Azure HDInsight 4.0.

HBase 2.0 a 2.1.6

Na próxima versão do HDInsight 4.0, a versão do HBase será atualizada da versão 2.0 para a 2.1.6

Faísca 2.4.0 a 2.4.4

Na próxima versão do HDInsight 4.0, a versão do Spark será atualizada da versão 2.4.0 para a 2.4.4

Kafka 2.1.0 a 2.1.1

Na próxima versão do HDInsight 4.0, a versão Kafka será atualizada da versão 2.1.0 para 2.1.1

Uma VM mínima de 4 núcleos é necessária para o nó principal

Alteração do tamanho do nó do cluster ESP Spark

Na próxima versão, o tamanho mínimo permitido do nó para o cluster ESP Spark será alterado para Standard_D13_V2. As VMs da série A podem causar problemas de cluster ESP devido à capacidade relativamente baixa de CPU e memória. As VMs da série A serão preteridas para a criação de novos clusters ESP.

Movendo-se para conjuntos de escala de máquina virtual do Azure

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. Na próxima versão, o HDInsight usará conjuntos de escala de máquina virtual do Azure. Veja mais sobre os conjuntos de dimensionamento de máquinas virtuais do Azure.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

Nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 aqui.

Data de lançamento: 17/12/2019

Esta versão aplica-se ao HDInsight 3.6 e 4.0.

Novas funcionalidades

Etiquetas de serviço

As tags de serviço simplificam a segurança para máquinas virtuais do Azure e redes virtuais do Azure, permitindo que você restrinja facilmente o acesso à rede aos serviços do Azure. Você pode usar marcas de serviço em suas regras de grupo de segurança de rede (NSG) para permitir ou negar tráfego para um serviço específico do Azure globalmente ou por região do Azure. O Azure fornece a manutenção de endereços IP subjacentes a cada tag. As tags de serviço HDInsight para NSGs (grupos de segurança de rede) são grupos de endereços IP para serviços de integridade e gerenciamento. Esses grupos ajudam a minimizar a complexidade para a criação de regras de segurança. Os clientes do HDInsight podem habilitar a marca de serviço por meio do portal do Azure, PowerShell e API REST. Para obter mais informações, consulte Marcas de serviço NSG (grupo de segurança de rede) para o Azure HDInsight.

Ambari DB Personalizado

O HDInsight agora permite que você use seu próprio banco de dados SQL para Apache Ambari. Você pode configurar esse banco de dados Ambari personalizado no portal do Azure ou por meio do modelo do Gerenciador de Recursos. Esse recurso permite que você escolha o banco de dados SQL certo para suas necessidades de processamento e capacidade. Você também pode atualizar facilmente para atender aos requisitos de crescimento do negócio. Para obter mais informações, consulte Configurar clusters HDInsight com um Ambari DB personalizado.

Banco de dados Ambari personalizado.

Preterição

Nenhuma depreciação para esta versão. Para se preparar para as próximas descontinuações, consulte Alterações futuras.

Alterações de comportamento

Nenhuma alteração de comportamento para esta versão. Para se preparar para as próximas alterações de comportamento, consulte Alterações futuras.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Aplicação do Transport Layer Security (TLS) 1.2

Transport Layer Security (TLS) e Secure Sockets Layer (SSL) são protocolos criptográficos que fornecem segurança de comunicações através de uma rede de computadores. Para obter mais informações, consulte Segurança da camada de transporte. Embora os clusters do Azure HDInsight aceitem conexões TLS 1.2 em pontos de extremidade HTTPS públicos, o TLS 1.1 ainda tem suporte para compatibilidade com versões anteriores com clientes mais antigos.

A partir da próxima versão, você poderá aceitar e configurar seus novos clusters HDInsight para aceitar apenas conexões TLS 1.2.

No final do ano, a partir de 30/06/2020, o Azure HDInsight aplicará o TLS 1.2 ou versões posteriores para todas as conexões HTTPS. Recomendamos que se certifique de que todos os seus clientes estão prontos para aceitar o TLS 1.2 ou versões posteriores.

Movendo-se para conjuntos de escala de máquina virtual do Azure

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. A partir de fevereiro de 2020 (a data exata será comunicada posteriormente), o HDInsight usará conjuntos de escala de máquina virtual do Azure. Veja mais sobre os conjuntos de dimensionamento de máquinas virtuais do Azure.

Alteração do tamanho do nó do cluster ESP Spark

Na próxima versão:

O tamanho mínimo de nó permitido para o cluster ESP Spark será alterado para Standard_D13_V2.
As VMs da série A serão preteridas para a criação de novos clusters ESP, pois as VMs da série A podem causar problemas de cluster ESP devido à capacidade relativamente baixa de CPU e memória.

HBase 2.0 a 2.1

Na próxima versão do HDInsight 4.0, a versão do HBase será atualizada da versão 2.0 para a 2.1.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

Estendemos o suporte ao HDInsight 3.6 até 31 de dezembro de 2020. Pode encontrar mais detalhes em Versões suportadas do HDInsight.

Nenhuma alteração de versão de componente para o HDInsight 4.0.

Apache Zeppelin no HDInsight 3.6: 0.7.0-->0.7.3.

Você pode encontrar as versões de componentes mais atualizadas deste documento.

Novas Regiões

Norte dos E.A.U.

Os IPs de gestão dos Emirados Árabes Unidos Norte são: 65.52.252.96 e 65.52.252.97.

Data de lançamento: 11/07/2019

Esta versão aplica-se ao HDInsight 3.6 e 4.0.

Novas funcionalidades

Agente de Identidade do HDInsight (HIB) (Visualização)

O HDInsight Identity Broker (HIB) permite que os usuários entrem no Apache Ambari usando a autenticação multifator (MFA) e obtenham os tíquetes Kerberos necessários sem precisar de hashes de senha nos Serviços de Domínio Ative Directory do Azure (AAD-DS). Atualmente, o HIB só está disponível para clusters implantados por meio do modelo Azure Resource Management (ARM).

Proxy da API REST Kafka (Visualização)

O Proxy de API REST do Kafka fornece implantação com um clique de proxy REST altamente disponível com cluster Kafka por meio de autorização segura do Azure AD e protocolo OAuth.

Dimensionar automaticamente

O dimensionamento automático para o Azure HDInsight agora está disponível em todas as regiões para os tipos de cluster Apache Spark e Hadoop. Esse recurso torna possível gerenciar cargas de trabalho de análise de big data de forma mais econômica e produtiva. Agora você pode otimizar o uso de seus clusters HDInsight e pagar apenas pelo que precisa.

Consoante os seus requisitos, pode optar entre o dimensionamento automático baseado na carga ou em agenda. O Autoscale baseado em carga pode dimensionar o tamanho do cluster para cima e para baixo com base nas necessidades atuais de recursos, enquanto o Autoscale baseado em agendamento pode alterar o tamanho do cluster com base em um cronograma predefinido.

O suporte de dimensionamento automático para carga de trabalho HBase e LLAP também é visualização pública. Para obter mais informações, consulte Dimensionar automaticamente clusters do Azure HDInsight.

Gravações aceleradas do HDInsight para Apache HBase

As Escritas Aceleradas utilizam os discos geridos Premium SSD do Azure para melhorar o desempenho do Registo de Escrita Antecipada (WAL) do Apache HBase. Para mais informações, veja Escritas Aceleradas do Azure HDInsight para o Apache HBase.

Ambari DB Personalizado

O HDInsight agora oferece uma nova capacidade para permitir que os clientes usem seu próprio banco de dados SQL para Ambari. Agora, os clientes podem escolher o banco de dados SQL certo para Ambari e atualizá-lo facilmente com base em seus próprios requisitos de crescimento de negócios. A implantação é feita com um modelo do Azure Resource Manager. Para obter mais informações, consulte Configurar clusters HDInsight com um Ambari DB personalizado.

As máquinas virtuais da série F agora estão disponíveis com o HDInsight

As máquinas virtuais (VMs) da série F são uma boa opção para começar a usar o HDInsight com requisitos de processamento leve. Com um preço de tabela mais baixo por hora, a série F é o melhor valor em preço-desempenho no portfólio do Azure com base na Unidade de Computação do Azure (ACU) por vCPU. Para obter mais informações, consulte Selecionando o tamanho certo da VM para seu cluster do Azure HDInsight.

Preterição

Descontinuação da máquina virtual da série G

A partir desta versão, as VMs da série G não são mais oferecidas no HDInsight.

`Dv1` Descontinuação da máquina virtual

A partir desta versão, o uso de Dv1 VMs com o HDInsight será preterido. Qualquer pedido do cliente será Dv1 atendido automaticamente Dv2 . Não há diferença de preço entre Dv1 VMs e Dv2 VMs.

Alterações de comportamento

Alteração do tamanho do disco gerenciado pelo cluster

O HDInsight fornece espaço em disco gerenciado com o cluster. A partir desta versão, o tamanho do disco gerenciado de cada nó no novo cluster criado é alterado para 128 GB.

Próximas alterações

As seguintes alterações acontecerão nas próximas versões.

Movendo-se para conjuntos de escala de máquina virtual do Azure

O HDInsight agora usa máquinas virtuais do Azure para provisionar o cluster. A partir de dezembro, o HDInsight usará conjuntos de dimensionamento de máquina virtual do Azure. Veja mais sobre os conjuntos de dimensionamento de máquinas virtuais do Azure.

HBase 2.0 a 2.1

Na próxima versão do HDInsight 4.0, a versão do HBase será atualizada da versão 2.0 para a 2.1.

Descontinuação de máquina virtual série A para cluster ESP

As VMs da série A podem causar problemas de cluster ESP devido à capacidade relativamente baixa de CPU e memória. Na próxima versão, as VMs da série A serão preteridas para a criação de novos clusters ESP.

Correções de erros

O HDInsight continua a melhorar a confiabilidade e o desempenho do cluster.

Alteração de versão do componente

Não há nenhuma alteração de versão do componente para esta versão. Você pode encontrar as versões atuais dos componentes do HDInsight 4.0 e do HDInsight 3.6 aqui.

Data de Lançamento: 08/07/2019

Versões de componentes

As versões oficiais do Apache de todos os componentes do HDInsight 4.0 são fornecidas abaixo. Os componentes listados são versões das versões estáveis mais recentes disponíveis.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Porco 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Versões posteriores dos componentes Apache às vezes são agrupadas na distribuição HDP, além das versões listadas acima. Nesse caso, essas versões posteriores estão listadas na tabela Technical Previews e não devem substituir as versões do componente Apache da lista acima em um ambiente de produção.

Informações sobre o patch Apache

Para obter mais informações sobre patches disponíveis no HDInsight 4.0, consulte a lista de patches para cada produto na tabela abaixo.

Nome do Produto	Informações sobre o patch
Ambari	Informações sobre o patch Ambari
Hadoop	Informações sobre o patch do Hadoop
HBase	Informação sobre o patch HBase
Ramo de registo	Esta versão fornece o Hive 3.1.0 sem mais patches Apache.
Kafka	Esta versão fornece Kafka 1.1.1 sem mais patches Apache.
Oozie	Informações sobre o patch Oozie
Phoenix	Informações sobre o patch Phoenix
Pig	Informações sobre adesivos de porco
Ranger	Informações sobre o patch Ranger
Spark	Informações sobre o patch Spark
Sqoop	Esta versão fornece o Sqoop 1.4.7 sem mais patches Apache.
Tez	Esta versão fornece Tez 0.9.1 sem mais patches Apache.
Zeppelin	Esta versão fornece o Zeppelin 0.8.0 sem mais patches Apache.
Zookeeper	Informações sobre o patch do Zookeeper

Vulnerabilidades e exposições comuns corrigidas

Para obter mais informações sobre problemas de segurança resolvidos nesta versão, consulte Hortonworks' Fixed Common Vulnerabilities and Exposures for HDP 3.0.1.

Problemas conhecidos

A replicação foi interrompida para o Secure HBase com instalação padrão

Para o HDInsight 4.0, execute as seguintes etapas:

Habilite a comunicação entre clusters.
Inicie sessão no nó principal ativo.

Baixe um script para habilitar a replicação com o seguinte comando:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Digite o comando sudo kinit <domainuser>.

Digite o seguinte comando para executar o script:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Para o HDInsight 3.6

Inicie sessão no HMaster ZK ativo.

Baixe um script para habilitar a replicação com o seguinte comando:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Digite o comando sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Escreva o seguinte comando:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline para de funcionar após migrar cluster HBase para HDInsight 4.0

Efetue os seguintes passos:

Solte as seguintes tabelas Phoenix:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Se não for possível excluir nenhuma das tabelas, reinicie o HBase para limpar todas as conexões com as tabelas.
Execute novamente sqlline.py. Phoenix recriará todas as tabelas que foram excluídas na etapa 1.
Regenere tabelas e visualizações Phoenix para seus dados do HBase.

Phoenix Sqlline para de funcionar após replicar metadados do HBase Phoenix do HDInsight 3.6 para 4.0

Efetue os seguintes passos:

Antes de fazer a replicação, vá para o cluster 4.0 de destino e execute sqlline.py. Este comando irá gerar tabelas Phoenix como SYSTEM.MUTEX e SYSTEM.LOG que só existem na versão 4.0.
Solte as seguintes tabelas:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
Iniciar a replicação do HBase

Preterição

Os serviços Apache Storm e ML não estão disponíveis no HDInsight 4.0.

Data de Lançamento: 14/04/2019

Novas funcionalidades

As novas atualizações e capacidades enquadram-se nas seguintes categorias:

Atualizar o Hadoop e outros projetos de código aberto – Além de 1000+ correções de bugs em 20+ projetos de código aberto, esta atualização contém uma nova versão do Spark (2.3) e Kafka (1.0).

a. Novos recursos no Apache Spark 2.3

b. Novos recursos no Apache Kafka 1.0
Atualizar o R Server 9.1 para os Serviços de Aprendizado de Máquina 9.3 – Com esta versão, estamos fornecendo aos cientistas e engenheiros de dados o melhor do código aberto aprimorado com inovações algorítmicas e facilidade de operação, todos disponíveis em seu idioma preferido com a velocidade do Apache Spark. Esta versão expande os recursos oferecidos no R Server com suporte adicional para Python, levando à mudança do nome do cluster de R Server para ML Services.
Suporte para o Azure Data Lake Storage Gen2 – O HDInsight dará suporte à versão Preview do Azure Data Lake Storage Gen2. Nas regiões disponíveis, os clientes poderão escolher uma conta ADLS Gen2 como armazenamento principal ou secundário para seus clusters HDInsight.
Atualizações do Pacote de Segurança Empresarial do HDInsight (Pré-visualização) – (Pré-visualização) Suporte de Pontos de Extremidade do Serviço de Rede Virtual para o Armazenamento de Blobs do Azure, ADLS Gen1, Azure Cosmos DB e Azure DB.

Versões de componentes

As versões oficiais do Apache de todos os componentes do HDInsight 3.6 estão listadas abaixo. Todos os componentes listados aqui são versões oficiais do Apache das versões estáveis mais recentes disponíveis.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Porco 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Tempestade 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Versões posteriores de alguns componentes Apache às vezes são empacotadas na distribuição HDP, além das versões listadas acima. Nesse caso, essas versões posteriores estão listadas na tabela Technical Previews e não devem substituir as versões do componente Apache da lista acima em um ambiente de produção.

Informações sobre o patch Apache

Hadoop

Esta versão fornece o Hadoop Common 2.7.3 e os seguintes patches do Apache:

HADOOP-13190: Mencione LoadBalancingKMSClientProvider na documentação do KMS HA.
HADOOP-13227: AsyncCallHandler deve usar uma arquitetura orientada a eventos para lidar com chamadas assíncronas.
HADOOP-14104: O cliente deve sempre pedir namenode para o caminho do provedor kms.
HADOOP-14799: Atualize nimbus-jose-jwt para 4.41.1.
HADOOP-14814: Corrija a alteração de API incompatível em FsServerDefaults para HADOOP-14104.
HADOOP-14903: Adicione json-smart explicitamente ao pom.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() pode retornar valor negativo quando numberOfPagesRemaining é 0.
HADOOP-15255: Suporte de conversão em maiúsculas/minúsculas para nomes de grupos em LdapGroupsMapping.
HADOOP-15265: exclua json-smart explicitamente do hadoop-auth pom.xml.
HDFS-7922: ShortCircuitCache#close não está lançando ScheduledThreadPoolExecutors.
HDFS-8496: Chamar stopWriter() com bloqueio FSDatasetImpl mantido pode bloquear outros threads (cmccabe).
HDFS-10267: Extra "sincronizado" em FsDatasetImpl#recoverAppend e FsDatasetImpl#recoverClose.
HDFS-10489: Deprecie dfs.encryption.key.provider.uri para zonas de criptografia HDFS.
HDFS-11384: Adicione uma opção para o balanceador dispersar chamadas getBlocks para evitar o rpc do NameNode. Pico CallQueueLength.
HDFS-11689: Nova exceção lançada por DFSClient%isHDFSEncryptionEnabled código de hive quebrado hacky .
HDFS-11711: DN não deve excluir o bloco Na exceção "Muitos arquivos abertos".
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay falha com frequência.
HDFS-12781: Depois de Datanode baixo, na guia Na Namenode interface do usuário Datanode está lançando mensagem de aviso.
HDFS-13054: Manipulando PathIsNotEmptyDirectoryException na DFSClient chamada de exclusão.
HDFS-13120: A comparação do instantâneo pode ser corrompida após o concat.
YARN-3742: O YARN RM será desligado se ZKClient a criação expirar.
YARN-6061: Adicione um UncaughtExceptionHandler para threads críticos no RM.
YARN-7558: o comando yarn logs não consegue obter logs para executar contêineres se a autenticação da interface do usuário estiver habilitada.
YARN-7697: A busca de logs para o aplicativo concluído falha mesmo que a agregação de logs esteja concluída.

O HDP 2.6.4 forneceu o Hadoop Common 2.7.3 e os seguintes patches do Apache:

HADOOP-13700: Remova as assinaturas não lançadas IOException de TrashPolicy#initialize e #getInstance.
HADOOP-13709: Capacidade de limpar subprocessos gerados pela Shell quando o processo é encerrado.
HADOOP-14059: erro de digitação na s3a mensagem de erro rename(self, subdir).
HADOOP-14542: Adicione IOUtils.cleanupWithLogger que aceita a API do logger slf4j.
HDFS-9887: Os tempos limite de soquete WebHdfs devem ser configuráveis.
HDFS-9914: corrija o tempo limite de conexão/leitura configurável do WebhDFS.
MAPREDUCE-6698: Aumente o tempo limite em TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN-4550: Alguns testes em TestContainerLanch falham em ambiente de localidade diferente do inglês.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir falha intermitentemente devido a IllegalArgumentException da limpeza.
YARN-5042: Monte /sys/fs/cgroup em contêineres do Docker como montagem somente leitura.
YARN-5318: Corrija a falha de teste intermitente de TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN-5641: Localizer deixa para trás tarballs depois que o recipiente é concluído.
YARN-6004: Refatore TestResourceLocalizationService#testDownloadingResourcesOnContainer para que tenha menos de 150 linhas.
YARN-6078: Contêineres presos no estado de localização.
YARN-6805: NPE no LinuxContainerExecutor devido ao código de saída PrivilegedOperationException nulo.

HBase

Esta versão fornece o HBase 1.1.2 e os seguintes patches do Apache.

HBASE-13376: Melhorias no balanceador de carga estocástico.
HBASE-13716: Pare de usar os FSConstants do Hadoop.
HBASE-13848: Acesse senhas SSL do InfoServer por meio da API do Provedor de Credenciais.
HBASE-13947: Use MasterServices em vez de Server no AssignmentManager.
HBASE-14135: Backup/restauração do HBase Fase 3: mesclar imagens de backup.
HBASE-14473: Localidade da região de computação em paralelo.
HBASE-14517: Mostrar regionserver's versão na página de status mestre.
HBASE-14606: Os testes TestSecureLoadIncrementalHFiles atingiram o tempo limite na compilação do tronco no apache.
HBASE-15210: Desfaça o registro agressivo do balanceador de carga em dezenas de linhas por milissegundo.
HBASE-15515: Melhorar LocalityBasedCandidateGenerator no Balancer.
HBASE-15615: Hora de sono errada quando RegionServerCallable precisa de nova tentativa.
HBASE-16135: PeerClusterZnode sob rs de peer removido pode nunca ser excluído.
HBASE-16570: Localidade da região de computação em paralelo na inicialização.
HBASE-16810: O HBase Balancer lança ArrayIndexOutOfBoundsException quando regionservers está em /hbase/draining znode e descarregado.
HBASE-16852: TestDefaultCompactSelection falhou na ramificação 1.3.
HBASE-17387: Reduza a sobrecarga do relatório de exceção em RegionActionResult para multi().
HBASE-17850: Utilitário de reparo do sistema de backup.
HBASE-17931: Atribua tabelas do sistema a servidores com a versão mais alta.
HBASE-18083: Torne o número de thread limpo de arquivos grandes/pequenos configurável no HFileCleaner.
HBASE-18084: Melhore o CleanerChore para limpar do diretório, o que consome mais espaço em disco.
HBASE-18164: Função de custo de localidade muito mais rápida e gerador de candidatos.
HBASE-18212: No modo autônomo com logs do HBase do sistema de arquivos local Mensagem de aviso: Falha ao invocar o método 'unbuffer' na classe org.apache.hadoop.fs.FSDataInputStream.
HBASE-18808: Check-in de configuração ineficaz BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer deve reconhecer a classe CellComparatorImpl no branch-1.x.
HBASE-19065: HRegion#bulkLoadHFiles() deve aguardar a conclusão simultânea de Region#flush().
HBASE-19285: Adicionar histogramas de latência por tabela.
HBASE-19393: HTTP 413 FULL head ao acessar a interface do usuário do HBase usando SSL.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting falha com NPE.
HBASE-19421: branch-1 não compila em relação ao Hadoop 3.0.0.
HBASE-19934: HBaseSnapshotException quando réplicas de leitura são habilitadas e instantâneo online é tirado após a divisão de região.
HBASE-20008: [backport] NullPointerException ao restaurar um instantâneo após dividir uma região.

Ramo de registo

Esta versão fornece o Hive 1.2.1 e o Hive 2.1.0, além dos seguintes patches:

Patches do Hive 1.2.1 Apache:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor faz uma conversão defeituosa.
HIVE-11266: contagem(*) resultado errado com base em estatísticas de tabelas para tabelas externas.
HIVE-12245: Comentários da coluna de suporte para uma tabela apoiada pelo HBase.
HIVE-12315: Fix Divisão dupla vetorizada por zero.
HIVE-12360: Má procura em ORC não comprimido com pushdown de predicado.
HIVE-12378: Exceção no campo binário HBaseSerDe.serialize.
HIVE-12785: Vista com tipo de união e UDF para a estrutura está quebrada.
HIVE-14013: A tabela de descrição não mostra unicode corretamente.
HIVE-14205: O Hive não suporta o tipo de união com o formato de arquivo AVRO.
HIVE-14421: FS.deleteOnExit contém referências a arquivos _tmp_space.db.
HIVE-15563: Ignore a exceção de transição de estado da operação ilegal em SQLOperation.runQuery para expor a exceção real.
HIVE-15680: Resultados incorretos quando hive.otimize.index.filter=true e a mesma tabela ORC é referenciada duas vezes na consulta, no modo MR.
HIVE-15883: A tabela mapeada do HBase na inserção do Hive falha por decimal.
HIVE-16232: Suporte ao cálculo de estatísticas para colunas em QuotedIdentifier.
HIVE-16828: Com o CBO habilitado, a Consulta em modos de exibição particionados lança IndexOutOfBoundException.
HIVE-17013: Excluir solicitação com uma subconsulta com base na seleção sobre uma exibição.
HIVE-17063: inserir partição de substituição em uma tabela externa falha quando soltar partição primeiro.
HIVE-17259: O Hive JDBC não reconhece colunas UNIONTYPE.
HIVE-17419: ANALISAR TABELA... O comando COMPUTE STATISTICS FOR COLUMNS mostra estatísticas computadas para tabelas mascaradas.
HIVE-17530: ClassCastException ao converter uniontype.
HIVE-17621: As configurações do site do Hive são ignoradas durante o cálculo de divisão HCatInputFormat.
HIVE-17636: Adicionar teste multiple_agg.q para blobstores.
HIVE-17729: Adicionar banco de dados e explicar testes de blobstore relacionados.
HIVE-17731: adicionar uma opção inversa compat para usuários externos ao HIVE-11985.
HIVE-17803: Com o Pig multi-query, 2 HCatStorers escrevendo na mesma tabela irão atropelar as saídas uns dos outros.
HIVE-17829: ArrayIndexOutOfBoundsException - tabelas apoiadas por HBASE com esquema Avro em Hive2.
HIVE-17845: a inserção falha se as colunas da tabela de destino não forem minúsculas.
HIVE-17900: analisar estatísticas em colunas acionadas pelo Compactor gera SQL malformado com > 1 coluna de partição.
HIVE-18026: Otimização da configuração principal do Hive webhcat.
HIVE-18031: Suporte à replicação para a operação do Alter Database.
HIVE-18090: batimento cardíaco ácido falha quando o metastore é conectado via credencial hadoop.
HIVE-18189: Consulta do Hive retornando resultados errados quando definida hive.groupby.orderby.position.alias como true.
HIVE-18258: Vetorização: Reduce-Side GROUP BY MERGEPARTIAL com colunas duplicadas está quebrado.
HIVE-18293: O Hive não está conseguindo compactar tabelas contidas em uma pasta que não pertence à identidade que executa o HiveMetaStore.
HIVE-18327: Remova a dependência desnecessária do HiveConf para MiniHiveKdc.
HIVE-18341: Adicione suporte de carga de repl para adicionar namespace "bruto" para TDE com as mesmas chaves de criptografia.
HIVE-18352: introduza uma opção METADATAONLY ao fazer REPL DUMP para permitir integrações de outras ferramentas.
HIVE-18353: CompactorMR deve chamar jobclient.close() para acionar a limpeza.
HIVE-18390: IndexOutOfBoundsException ao consultar um modo de exibição particionado em ColumnPruner.
HIVE-18429: A compactação deve lidar com um caso quando ele não produz saída.
HIVE-18447: JDBC: fornece uma maneira para os usuários do JDBC passarem informações de cookies por meio da cadeia de conexão.
HIVE-18460: O compactador não passa as propriedades da tabela para o gravador Orc.
HIVE-18467: suporte a todo o armazém dump / load + create/drop database events (Anishek Agarwal, revisado por Sankar Hariappan).
HIVE-18551: Vetorização: VectorMapOperator tenta escrever muitas colunas vetoriais para Hybrid Grace.
HIVE-18587: inserir evento DML pode tentar calcular uma soma de verificação em diretórios.
HIVE-18613: Estenda o JsonSerDe para suportar o tipo binário.
HIVE-18626: A cláusula de carregamento de repl "com" não passa a configuração para tarefas.
HIVE-18660: A PCR não distingue entre colunas particionárias e virtuais.
HIVE-18754: REPL STATUS deve suportar a cláusula 'com'.
HIVE-18754: REPL STATUS deve suportar a cláusula 'com'.
HIVE-18788: Limpar entradas no JDBC PreparedStatement.
HIVE-18794: A cláusula de carregamento de repl "com" não passa a configuração para tarefas para tabelas que não sejam partições.
HIVE-18808: Torne a compactação mais robusta quando a atualização de estatísticas falhar.
HIVE-18817: exceção ArrayIndexOutOfBounds durante a leitura da tabela ACID.
HIVE-18833: Auto Merge falha quando "inserir no diretório como orcfile".
HIVE-18879: Disallow embedded element in UDFXPathUtil needs to work if xercesImpl.jar in classpath.
HIVE-18907: Crie um utilitário para corrigir o problema do índice de chave ácida do HIVE-18817.

Hive 2.1.0 Apache Patches:

HIVE-14013: A tabela de descrição não mostra unicode corretamente.
HIVE-14205: O Hive não suporta o tipo de união com o formato de arquivo AVRO.
HIVE-15563: Ignore a exceção de transição de estado da operação ilegal em SQLOperation.runQuery para expor a exceção real.
HIVE-15680: Resultados incorretos quando hive.otimize.index.filter=true e a mesma tabela ORC é referenciada duas vezes na consulta, no modo MR.
HIVE-15883: A tabela mapeada do HBase na inserção do Hive falha por decimal.
HIVE-16757: Remova chamadas para AbstractRelNode.getRows preterido.
HIVE-16828: Com o CBO habilitado, a Consulta em modos de exibição particionados lança IndexOutOfBoundException.
HIVE-17063: inserir partição de substituição em uma tabela externa falha quando soltar partição primeiro.
HIVE-17259: O Hive JDBC não reconhece colunas UNIONTYPE.
HIVE-17530: ClassCastException ao converter uniontype.
HIVE-17600: Torne o enforceBufferSize do OrcFile configurável pelo usuário.
HIVE-17601: melhorar o tratamento de erros no LlapServiceDriver.
HIVE-17613: remova pools de objetos para alocações curtas e de mesmo thread.
HIVE-17617: O rollup de um conjunto de resultados vazio deve conter o agrupamento do conjunto de agrupamentos vazio.
HIVE-17621: As configurações do site do Hive são ignoradas durante o cálculo de divisão HCatInputFormat.
HIVE-17629: CachedStore: Tenha uma configuração aprovada/não aprovada para permitir o cache seletivo de tabelas/partições e permitir a leitura durante o pré-aquecimento.
HIVE-17636: Adicionar teste multiple_agg.q para blobstores.
HIVE-17702: incorreta isManipulação repetitiva no leitor decimal em ORC.
HIVE-17729: Adicionar banco de dados e explicar testes de blobstore relacionados.
HIVE-17731: adicionar uma opção inversa compat para usuários externos ao HIVE-11985.
HIVE-17803: Com o Pig multi-query, 2 HCatStorers escrevendo na mesma tabela irão atropelar as saídas uns dos outros.
HIVE-17845: a inserção falha se as colunas da tabela de destino não forem minúsculas.
HIVE-17900: analisar estatísticas em colunas acionadas pelo Compactor gera SQL malformado com > 1 coluna de partição.
HIVE-18006: Otimize a pegada de memória do HLLDenseRegister.
HIVE-18026: Otimização da configuração principal do Hive webhcat.
HIVE-18031: Suporte à replicação para a operação do Alter Database.
HIVE-18090: batimento cardíaco ácido falha quando o metastore é conectado via credencial hadoop.
HIVE-18189: Ordem por cargo não funciona quando cbo é deficiente.
HIVE-18258: Vetorização: Reduce-Side GROUP BY MERGEPARTIAL com colunas duplicadas está quebrado.
HIVE-18269: LLAP: Io rápido llap com pipeline de processamento lento pode levar ao OOM.
HIVE-18293: O Hive não está conseguindo compactar tabelas contidas em uma pasta que não pertence à identidade que executa o HiveMetaStore.
HIVE-18318: O leitor de registros LLAP deve verificar a interrupção mesmo quando não estiver bloqueando.
HIVE-18326: LLAP Tez scheduler - só antecipe tarefas se houver uma dependência entre elas.
HIVE-18327: Remova a dependência desnecessária do HiveConf para MiniHiveKdc.
HIVE-18331: Adicione relogin quando o TGT expirar e algum registro/lambda.
HIVE-18341: Adicione suporte de carga de repl para adicionar namespace "bruto" para TDE com as mesmas chaves de criptografia.
HIVE-18352: introduza uma opção METADATAONLY ao fazer REPL DUMP para permitir integrações de outras ferramentas.
HIVE-18353: CompactorMR deve chamar jobclient.close() para acionar a limpeza.
HIVE-18384: ConcurrentModificationException na log4j2.x biblioteca.
HIVE-18390: IndexOutOfBoundsException ao consultar um modo de exibição particionado em ColumnPruner.
HIVE-18447: JDBC: fornece uma maneira para os usuários do JDBC passarem informações de cookies por meio da cadeia de conexão.
HIVE-18460: O compactador não passa as propriedades da tabela para o gravador Orc.
HIVE-18462: (Explicar formatado para consultas com associação de mapa tem columnExprMap com nome de coluna não formatado).
HIVE-18467: suporta eventos de dump / load + create / drop database de todo o armazém.
HIVE-18488: Os leitores LLAP ORC estão faltando algumas verificações nulas.
HIVE-18490: Consulta com EXISTE e NÃO EXISTE com predicado não-equi pode produzir resultado errado.
HIVE-18506: LlapBaseInputFormat - índice de matriz negativo.
HIVE-18517: Vetorização: Corrija o VectorMapOperator para aceitar VRBs e verifique o sinalizador vetorizado corretamente para suportar o LLAP Caching).
HIVE-18523: Corrija a linha de resumo caso não haja entradas.
HIVE-18528: As estatísticas agregadas no ObjectStore obtêm resultados errados.
HIVE-18530: A replicação deve pular a tabela MM (por enquanto).
HIVE-18548: Corrigir log4j importação.
HIVE-18551: Vetorização: VectorMapOperator tenta escrever muitas colunas vetoriais para Hybrid Grace.
HIVE-18577: SemanticAnalyzer.validate tem algumas chamadas de metastore inúteis.
HIVE-18587: inserir evento DML pode tentar calcular uma soma de verificação em diretórios.
HIVE-18597: LLAP: Sempre empacote o frasco da log4j2 API para org.apache.log4j.
HIVE-18613: Estenda o JsonSerDe para suportar o tipo binário.
HIVE-18626: A cláusula de carregamento de repl "com" não passa a configuração para tarefas.
HIVE-18643: não verifique partições arquivadas para operações ACID.
HIVE-18660: A PCR não distingue entre colunas particionárias e virtuais.
HIVE-18754: REPL STATUS deve suportar a cláusula 'com'.
HIVE-18788: Limpar entradas no JDBC PreparedStatement.
HIVE-18794: A cláusula de carregamento de repl "com" não passa a configuração para tarefas para tabelas que não sejam partições.
HIVE-18808: Torne a compactação mais robusta quando a atualização de estatísticas falhar.
HIVE-18815: Remova o recurso não utilizado em HPL/SQL.
HIVE-18817: exceção ArrayIndexOutOfBounds durante a leitura da tabela ACID.
HIVE-18833: Auto Merge falha quando "inserir no diretório como orcfile".
HIVE-18879: Disallow embedded element in UDFXPathUtil needs to work if xercesImpl.jar in classpath.
HIVE-18944: A posição dos conjuntos de agrupamento é definida incorretamente durante a DPP.

Kafka

Esta versão fornece Kafka 1.0.0 e os seguintes patches Apache.

KAFKA-4827: Kafka connect: erro com caracteres especiais no nome do conector.
KAFKA-6118: Falha transitória em kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter não pode lidar com caminhos de diretório estilo windows.
KAFKA-6164: Os threads ClientQuotaManager impedem o desligamento ao encontrar um erro ao carregar logs.
KAFKA-6167: Timestamp no diretório streams contém dois pontos, que é um caractere ilegal.
KAFKA-6179: RecordQueue.clear() não limpa a lista mantida do MinTimestampTracker.
KAFKA-6185: Vazamento de memória do seletor com alta probabilidade de OOM se houver uma conversão inativa.
KAFKA-6190: GlobalKTable nunca termina a restauração ao consumir mensagens transacionais.
KAFKA-6210: IllegalArgumentException se 1.0.0 for usado para inter.broker.protocol.version ou log.message.format.version.
KAFKA-6214: O uso de réplicas em espera com um armazenamento de estado na memória faz com que o Streams falhe.
KAFKA-6215: KafkaStreamsTest falha no tronco.
KAFKA-6238: Problemas com a versão do protocolo ao aplicar uma atualização contínua para 1.0.0.
KAFKA-6260: AbstractCoordinator não lida claramente com exceção NULL.
KAFKA-6261: O registro de solicitações lança exceção se acks=0.
KAFKA-6274: Melhore os KTable nomes gerados automaticamente pelo armazenamento do estado de origem.

Mahout

No HDP-2.3.x e 2.4.x, em vez de enviar uma versão específica do Apache do Mahout, sincronizamos com um ponto de revisão específico no tronco do Apache Mahout. Este ponto de revisão é posterior à versão 0.9.0, mas anterior à versão 0.10.0. Isso fornece um grande número de correções de bugs e melhorias funcionais ao longo da versão 0.9.0, mas fornece uma versão estável da funcionalidade Mahout antes da conversão completa para o novo Mahout baseado no Spark na versão 0.10.0.

O ponto de revisão escolhido para Mahout em HDP 2.3.x e 2.4.x é do ramo "mahout-0.10.x" do Apache Mahout, a partir de 19 de dezembro de 2014, revisão 0f037cb03e77c096 no GitHub.

No HDP-2.5.x e 2.6.x, removemos a biblioteca "commons-httpclient" do Mahout porque a vemos como uma biblioteca obsoleta com possíveis problemas de segurança e atualizamos o Hadoop-Client no Mahout para a versão 2.7.3, a mesma versão usada no HDP-2.5. Como resultado:

Os trabalhos Mahout compilados anteriormente precisarão ser recompilados no ambiente HDP-2.5 ou 2.6.
Há uma pequena possibilidade de que alguns trabalhos Mahout possam encontrar erros "ClassNotFoundException" ou "could not load class" relacionados a "org.apache.commons.httpclient", "net.java.dev.jets3t" ou prefixos de nome de classe relacionados. Se esses erros acontecerem, você pode considerar a instalação manual dos jars necessários em seu classpath para o trabalho, se o risco de problemas de segurança na biblioteca obsoleta for aceitável em seu ambiente.
Há uma possibilidade ainda menor de que alguns trabalhos do Mahout possam encontrar falhas nas chamadas de código hbase-client do Mahout para as bibliotecas comuns do hadoop, devido a problemas de compatibilidade binária. Lamentavelmente, não há nenhuma maneira de resolver esse problema, exceto reverter para a versão HDP-2.4.2 do Mahout, que pode ter problemas de segurança. Mais uma vez, isso deve ser incomum, e é improvável que ocorra em qualquer suíte de trabalho Mahout.

Oozie

Esta versão fornece ao Oozie 4.2.0 os seguintes patches do Apache.

OOZIE-2571: Adicione a propriedade spark.scala.binary.version Maven para que o Scala 2.11 possa ser usado.
OOZIE-2606: Defina spark.yarn.jars para corrigir o Spark 2.0 com o Oozie.
OOZIE-2658: --driver-class-path pode substituir o classpath no SparkMain.
OOZIE-2787: O Oozie distribui o jar de aplicativos duas vezes, fazendo com que o trabalho de faísca falhe.
OOZIE-2792: Hive2 a ação não está analisando corretamente o ID do aplicativo Spark do arquivo de log quando o Hive está no Spark.
OOZIE-2799: Definindo o local do log para o spark sql na colmeia.
OOZIE-2802: Falha de ação de faísca no Spark 2.1.0 devido a duplicação sharelibs.
OOZIE-2923: Melhore a análise de opções do Spark.
OOZIE-3109: SCA: Script entre sites: refletido.
OOZIE-3139: O Oozie valida o fluxo de trabalho incorretamente.
OOZIE-3167: Atualize a versão do tomcat na ramificação do Oozie 4.3.

Phoenix

Esta versão fornece Phoenix 4.7.0 e os seguintes patches Apache:

PHOENIX-1751: Execute agregações, classificação, etc., no preScannerNext em vez de postScannerOpen.
PHOENIX-2714: Corrija a estimativa de bytes em BaseResultIterators e exponha como interface.
PHOENIX-2724: Consulta com grande número de guias é mais lenta em comparação com nenhuma estatística.
PHOENIX-2855: TimeRange de incremento de solução alternativa não está sendo serializado para HBase 1.2.
PHOENIX-3023: Desempenho lento quando consultas de limite são executadas em paralelo por padrão.
PHOENIX-3040: Não use guias para executar consultas em série.
PHOENIX-3112: Verificação parcial de linha não tratada corretamente.
PHOENIX-3240: ClassCastException do carregador Pig.
PHOENIX-3452: NULLS FIRST/NULL LAST não deve afetar se GROUP BY está preservando a ordem.
PHOENIX-3469: Ordem de classificação incorreta para chave primária DESC para NULLS LAST/NULLS FIRST.
PHOENIX-3789: Execute chamadas de manutenção de índice entre regiões em postBatchMutateIndispensable.
PHOENIX-3865: IS NULL não retorna resultados corretos quando a primeira família de colunas não é filtrada.
PHOENIX-4290: Verificação completa da tabela realizada para DELETE com tabela com índices imutáveis.
PHOENIX-4373: A chave de comprimento da variável do índice local pode ter nulos à direita durante a atualização.
PHOENIX-4466: java.lang.RuntimeException: response code 500 - Executando um trabalho spark para se conectar ao servidor de consulta phoenix e carregar dados.
PHOENIX-4489: Vazamento de conexão HBase em Phoenix MR Jobs.
PHOENIX-4525: Estouro de número inteiro na execução GroupBy.
PHOENIX-4560: ORDER BY com GROUP BY não funciona se houver WHERE na pk coluna.
PHOENIX-4586: UPSERT SELECT não leva em conta operadores de comparação para subconsultas.
PHOENIX-4588: Clone expressão também se seus filhos têm Determinism.PER_INVOCATION.

Pig

Esta versão fornece ao Pig 0.16.0 os seguintes patches do Apache.

PIG-5159: Fix Pig não salvando histórico grunhido.
PIG-5175: Atualize jruby para 1.7.26.

Ranger

Esta versão fornece Ranger 0.7.0 e os seguintes patches Apache:

RANGER-1805: Melhoria do código para seguir as melhores práticas em js.
RANGER-1960: Leve o nome da tabela do instantâneo em consideração para exclusão.
RANGER-1982: Melhoria de erro para a métrica analítica do Ranger Admin e Ranger KMS.
RANGER-1984: Os registros de log de auditoria do HBase podem não mostrar todas as tags associadas à coluna acessada.
RANGER-1988: Corrigir aleatoriedade insegura.
RANGER-1990: Adicionar suporte One-way SSL MySQL no Ranger Admin.
RANGER-2006: Corrija problemas detetados pela análise de código estático no ranger usersync para ldap fonte de sincronização.
RANGER-2008: A avaliação das políticas está a falhar no que respeita às condições políticas multilinhas.

Controlo de deslize

Esta versão fornece o Slider 0.92.0 sem mais patches Apache.

Spark

Esta versão fornece o Spark 2.3.0 e os seguintes patches do Apache:

SPARK-13587: Suporte virtualenv em pyspark.
SPARK-19964: Evite ler repositórios remotos no SparkSubmitSuite.
SPARK-22882: Teste de ML para streaming estruturado: ml.classification.
SPARK-22915: Testes de streaming para spark.ml.feature, de N a Z.
SPARK-23020: Corrija outra corrida no teste do lançador em processo.
SPARK-23040: Retorna iterador interruptível para leitor aleatório.
SPARK-23173: Evite criar arquivos de parquet corrompidos ao carregar dados do JSON.
SPARK-23264: Corrigir escala. MatchError em literals.sql.out.
SPARK-23288: Corrija métricas de saída com pia de parquet.
SPARK-23329: Corrigir documentação de funções trigonométricas.
SPARK-23406: Habilite auto-junções de fluxo de fluxo para branch-2.3.
SPARK-23434: O Spark não deve avisar o 'diretório de metadados' para um caminho de arquivo HDFS.
SPARK-23436: Inferir partição como Data somente se ela puder ser convertida para Data.
SPARK-23457: Registre os ouvintes de conclusão de tarefas primeiro no ParquetFileFormat.
SPARK-23462: melhorar a mensagem de erro de campo ausente em 'StructType'.
SPARK-23490: Verifique storage.locationUri com a tabela existente em CreateTable.
SPARK-23524: Grandes blocos shuffle locais não devem ser verificados quanto a corrupção.
SPARK-23525: Suporte ALTER TABLE CHANGE COLUMN COMMENT para tabela de hive externa.
SPARK-23553: Os testes não devem assumir o valor padrão de 'spark.sql.sources.default'.
SPARK-23569: Permite que pandas_udf trabalhe com funções anotadas por tipo no estilo python3.
SPARK-23570: Adicione o Spark 2.3.0 no HiveExternalCatalogVersionsSuite.
SPARK-23598: Torne os métodos em BufferedRowIterator públicos para evitar erros de tempo de execução para uma consulta grande.
SPARK-23599: Adicione um gerador UUID a partir de números pseudoaleatórios.
SPARK-23599: Use RandomUUIDGenerator na expressão Uuid.
SPARK-23601: Remova .md5 os arquivos da versão.
SPARK-23608: Adicione sincronização no SHS entre as funções attachSparkUI e detachSparkUI para evitar problemas de modificação simultânea para manipuladores de píer.
SPARK-23614: Corrija a troca de reutilização incorreta quando o cache é usado.
SPARK-23623: Evite o uso simultâneo de consumidores armazenados em cache no CachedKafkaConsumer (branch-2.3).
SPARK-23624: Revise o documento do método pushFilters na Fonte de Dados V2.
SPARK-23628: calculateParamLength não deve retornar 1 + num de expressões.
SPARK-23630: Permita que as personalizações do hadoop conf do usuário entrem em vigor.
SPARK-23635: A variável env executor do Spark é substituída pela variável env AM do mesmo nome.
SPARK-23637: O Yarn pode alocar mais recursos se um mesmo executor for morto várias vezes.
SPARK-23639: Obtenha o token antes do cliente de metastore init na CLI do SparkSQL.
SPARK-23642: Subclasse AccumulatorV2 isZero scaladoc fix.
SPARK-23644: Use o caminho absoluto para chamada REST no SHS.
SPARK-23645: Adicione docs RE 'pandas_udf' com a palavra-chave args.
SPARK-23649: Ignorar caracteres não permitidos em UTF-8.
SPARK-23658: InProcessAppHandle usa a classe errada no getLogger.
SPARK-23660: Corrija a exceção no modo de cluster de fios quando o aplicativo termina rapidamente.
SPARK-23670: Corrija o vazamento de memória no SparkPlanGraphWrapper.
SPARK-23671: Corrija a condição para habilitar o pool de threads SHS.
SPARK-23691: Use sql_conf util em testes PySpark sempre que possível.
SPARK-23695: Corrija a mensagem de erro para testes de streaming do Kinesis.
SPARK-23706: spark.conf.get(value, default=None) deve produzir Nenhum no PySpark.
SPARK-23728: Corrija testes de ML com exceções esperadas executando testes de streaming.
SPARK-23729: Respeite o fragmento de URI ao resolver globs.
SPARK-23759: Não é possível vincular a interface do usuário do Spark a um nome de host / IP específico.
SPARK-23760: CodegenContext.withSubExprEliminationExprs deve salvar/restaurar o estado CSE corretamente.
SPARK-23769: Remova comentários que desnecessariamente desativem a Scalastyle verificação.
SPARK-23788: Corrija a corrida no StreamingQuerySuite.
SPARK-23802: PropagateEmptyRelation pode deixar o plano de consulta em estado não resolvido.
SPARK-23806: Broadcast.unpersist pode causar exceção fatal quando usado com alocação dinâmica.
SPARK-23808: Defina a sessão padrão do Spark em sessões de faísca somente de teste.
SPARK-23809: Ative SparkSession deve ser definido por getOrCreate.
SPARK-23816: Tarefas mortas devem ignorar FetchFailures.
SPARK-23822: Melhorar a mensagem de erro para incompatibilidades de esquema do Parquet.
SPARK-23823: Mantenha a origem no transformExpression.
SPARK-23827: StreamingJoinExec deve garantir que os dados de entrada sejam particionados em um número específico de partições.
SPARK-23838: A execução da consulta SQL é exibida como "concluída" na guia SQL.
SPARK-23881: Corrigir teste escamoso JobCancellationSuite." iterador interruptível de leitor aleatório".

Sqoop

Esta versão fornece o Sqoop 1.4.6 sem mais patches Apache.

Storm

Esta versão fornece o Storm 1.1.1 e os seguintes patches do Apache:

STORM-2652: Exceção lançada no método aberto JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT falha com NullPointerException.
STORM-2854: Exponha o IEventLogger para tornar o log de eventos conectável.
STORM-2870: FileBasedEventLogger vaza ExecutorService não-daemon, o que impede que o processo seja concluído.
STORM-2960: Melhor enfatizar a importância de configurar uma conta de sistema operacional adequada para os processos do Storm.

Tez

Esta versão fornece Tez 0.7.0 e os seguintes patches Apache:

TEZ-1526: LoadingCache para TezTaskID lento para trabalhos grandes.

Zeppelin

Esta versão fornece ao Zeppelin 0.7.3 sem mais patches Apache.

ZEPPELIN-3072: A interface do usuário do Zeppelin fica lenta/sem resposta se houver muitos notebooks.
ZEPPELIN-3129: A interface do usuário do Zeppelin não sai no IE.
ZEPPELIN-903: Substitua CXF por Jersey2.

ZooKeeper

Esta versão fornece o ZooKeeper 3.4.6 e os seguintes patches do Apache:

ZOOKEEPER-1256: ClientPortBindTest está falhando no macOS X.
ZOOKEEPER-1901: [JDK8] Classifique crianças para comparação em testes AsyncOps.
ZOOKEEPER-2423: Atualizar a versão Netty devido à vulnerabilidade de segurança (CVE-2014-3488).
ZOOKEEPER-2693: Ataque DOS em wchp/wchc palavras de quatro letras (4lw).
ZOOKEEPER-2726: Patch introduz uma condição de corrida potencial.

Vulnerabilidades e exposições comuns corrigidas

Esta seção abrange todas as vulnerabilidades e exposições comuns (CVE) abordadas nesta versão.

CVE-2017-7676

Resumo: A avaliação da política do Apache Ranger ignora caracteres após o caractere curinga '*'
Gravidade: Crítica
Vendedor: Hortonworks
Versões afetadas: versões do HDInsight 3.6, incluindo as versões 0.5.x/0.6.x/0.7.0 do Apache Ranger
Usuários afetados: ambientes que usam políticas Ranger com caracteres após o caractere curinga '' – como mytest, test*.txt
Impacto: o correspondente de recursos de política ignora caracteres após o caractere curinga '*', o que pode resultar em comportamento não intencional.
Detalhe da correção: o correspondente de recursos da política Ranger foi atualizado para lidar corretamente com correspondências curinga.
Ação recomendada: Atualize para o HDI 3.6 (com Apache Ranger 0.7.1+).

CVE-2017-7677

Resumo: Apache Ranger Hive Authorizer deve verificar a permissão RWX quando o local externo é especificado
Gravidade: Crítica
Vendedor: Hortonworks
Versões afetadas: versões do HDInsight 3.6, incluindo as versões 0.5.x/0.6.x/0.7.0 do Apache Ranger
Usuários afetados: ambientes que usam local externo para tabelas de hive
Impacto: em ambientes que usam localização externa para tabelas hive, o Apache Ranger Hive Authorizer deve verificar a permissão RWX para o local externo especificado para criar tabela.
Detalhe da correção: Ranger Hive Authorizer foi atualizado para lidar corretamente com a verificação de permissão com localização externa.
Ação recomendada: Os usuários devem atualizar para o HDI 3.6 (com Apache Ranger 0.7.1+).

CVE-2017-9799

Resumo: Execução potencial de código como o usuário errado no Apache Storm
Gravidade: Importante
Vendedor: Hortonworks
Versões afetadas: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Usuários afetados: usuários que usam o Storm no modo seguro e estão usando blobstore para distribuir artefatos baseados em topologia ou usando o blobstore para distribuir quaisquer recursos de topologia.
Impacto: em algumas situações e configurações de tempestade, é teoricamente possível para o proprietário de uma topologia enganar o supervisor para iniciar um trabalhador como um usuário diferente, não raiz. Na pior das hipóteses, isso pode levar a que as credenciais seguras do outro utilizador sejam comprometidas. Esta vulnerabilidade aplica-se apenas a instalações do Apache Storm com segurança ativada.
Atenuação: atualize para HDP-2.6.2.1, pois atualmente não há soluções alternativas.

CVE-2016-4970

Resumo: handler/ssl/OpenSslEngine.java no Netty 4.0.x antes do 4.0.37. Final e 4.1.x antes do 4.1.1. Final permite que invasores remotos causem uma negação de serviço (loop infinito)
Gravidade: Moderada
Vendedor: Hortonworks
Versões afetadas: HDP 2.x.x desde 2.3.x
Usuários afetados: todos os usuários que usam HDFS.
Impacto: o impacto é baixo, pois o Hortonworks não usa OpenSslEngine.java diretamente na base de código do Hadoop.
Ação recomendada: atualize para o HDP 2.6.3.

CVE-2016-8746

Resumo: Problema de correspondência de caminho do Apache Ranger na avaliação de políticas
Gravidade: Normal
Vendedor: Hortonworks
Versões afetadas: Todas as versões do HDP 2.5, incluindo as versões 0.6.0/0.6.1/0.6.2 do Apache Ranger
Usuários afetados: Todos os usuários da ferramenta de administração da política ranger.
Impacto: o mecanismo de política Ranger corresponde incorretamente aos caminhos em determinadas condições quando uma política contém curingas e sinalizadores recursivos.
Detalhe da correção: Lógica de avaliação de política fixa
Ação recomendada: Os usuários devem atualizar para HDP 2.5.4+ (com Apache Ranger 0.6.3+) ou HDP 2.6+ (com Apache Ranger 0.7.0+)

CVE-2016-8751

Resumo: Apache Ranger armazenou problema de script entre sites
Gravidade: Normal
Vendedor: Hortonworks
Versões afetadas: Todas as versões do HDP 2.3/2.4/2.5, incluindo as versões 0.5.x/0.6.0/0.6.1/0.6.2 do Apache Ranger
Usuários afetados: Todos os usuários da ferramenta de administração da política ranger.
Impacto: o Apache Ranger fica vulnerável a um script entre sites armazenado ao inserir condições de política personalizadas. Os usuários administradores podem armazenar alguns códigos JavaScript arbitrários executados quando usuários normais entram e acessam políticas.
Detalhe da correção: Adicionada lógica para limpar a entrada do usuário.
Ação recomendada: Os usuários devem atualizar para HDP 2.5.4+ (com Apache Ranger 0.6.3+) ou HDP 2.6+ (com Apache Ranger 0.7.0+)

Problemas corrigidos para suporte

Os problemas corrigidos representam problemas selecionados que foram registrados anteriormente por meio do Suporte do Hortonworks, mas agora são resolvidos na versão atual. Esses problemas podem ter sido relatados em versões anteriores na seção Problemas conhecidos; ou seja, foram reportados pelos clientes ou identificados pela equipa de Engenharia da Qualidade da Hortonworks.

Resultados incorretos

Bug ID	Apache JIRA	Resumo
BUG-100019	FIOS-8145	yarn rmadmin -getGroups não retorna grupos atualizados para o usuário
BUG-100058	FÊNIX-2645	Caracteres curinga não correspondem a caracteres de nova linha
BUG-100266	FÊNIX-3521, FÊNIX-4190	Resultados errados com índices locais
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	query36 falhando, incompatibilidade de contagem de linhas
BUG-89765	VIH-17702	isManipulação repetitiva incorreta no leitor decimal em ORC
BUG-92293	HADOOP-15042	Azure PageBlobInputStream.skip() pode retornar valor negativo quando numberOfPagesRemaining é 0
BUG-92345	ATLAS-2285	UI: Pesquisa salva renomeada com atributo date.
BUG-92563	HIVE-17495, HIVE-18528	Estatísticas agregadas em ObjectStore obtêm resultado errado
BUG-92957	VIH-11266	count(*) resultado errado com base em estatísticas de tabelas para tabelas externas
BUG-93097	RANGER-1944	O filtro de ação para Auditoria de administrador não está funcionando
BUG-93335	VIH-12315	vectorization_short_regress.q tem um problema de resultado errado para um cálculo duplo
BUG-93415	HIVE-18258, HIVE-18310	Vetorização: Reduce-Side GROUP BY MERGEPARTIAL com colunas duplicadas está quebrado
BUG-93939	ATLAS-2294	Parâmetro extra "descrição" adicionado ao criar um tipo
BUG-94007	FÊNIX-1751, FÊNIX-3112	Phoenix Queries retorna valores Nulos devido a linhas parciais do HBase
BUG-94266	VIH-12505	Inserir substituição na mesma zona criptografada silenciosamente não consegue remover alguns arquivos existentes
BUG-94414	VIH-15680	Resultados incorretos quando hive.otimize.index.filter=true e a mesma tabela ORC é referenciada duas vezes na consulta
BUG-95048	VIH-18490	Consulta com EXISTE e NÃO EXISTE com predicado não-equi pode produzir resultado errado
BUG-95053	Fênix-3865	IS NULL não retorna resultados corretos quando a primeira família de colunas não é filtrada
BUG-95476	RANGER-1966	A inicialização do mecanismo de política não cria enriquecedores de contexto em alguns casos
BUG-95566	Faísca-23281	A consulta produz resultados em ordem incorreta quando uma ordem composta por cláusula se refere a colunas e aliases originais
BUG-95907	FÊNIX-3451, FÊNIX-3452, FÊNIX-3469, FÊNIX-4560	Corrigir problemas com ORDER BY ASC quando a consulta tem agregação
BUG-96389	Fênix-4586	O UPSERT SELECT não leva em conta os operadores de comparação para subconsultas.
BUG-96602	VIH-18660	PCR não distingue entre partição e colunas virtuais
BUG-97686	ATLAS-2468	[Pesquisa Básica] Problema com casos de RUP quando o NEQ é usado com tipos numéricos
BUG-97708	VIH-18817	Exceção ArrayIndexOutOfBounds durante a leitura da tabela ACID.
BUG-97864	VIH-18833	Auto Merge falha quando "inserir no diretório como orcfile"
BUG-97889	RANGER-2008	A avaliação das políticas está a falhar no que se refere às condições políticas multilinhas.
BUG-98655	RANGER-2066	O acesso à família de colunas HBase é autorizado por uma coluna marcada na família de colunas
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer pode emaranhar colunas constantes

Outro

Bug ID	Apache JIRA	Resumo
BUG-100267	HBASE-17170	O HBase também está tentando novamente DoNotRetryIOException devido a diferenças no carregador de classes.
BUG-92367	FIO-7558	O comando "yarn logs" não obtém logs para executar contêineres se a autenticação da interface do usuário estiver habilitada.
BUG-93159	OOZIE-3139	O Oozie valida o fluxo de trabalho incorretamente
BUG-93936	ATLAS-2289	Código de início/parada do servidor kafka/zookeeper incorporado a ser movido para fora da implementação KafkaNotification
BUG-93942	ATLAS-2312	Use objetos ThreadLocal DateFormat para evitar o uso simultâneo de vários threads
BUG-93946	ATLAS-2319	UI: Excluir uma tag, que na posição 25+ na lista de tags na estrutura Flat e Tree precisa de uma atualização para remover a tag da lista.
BUG-94618	FIOS-5037, FIOS-7274	Capacidade de desativar a elasticidade no nível da fila folha
BUG-94901	HBASE-19285	Adicionar histogramas de latência por tabela
BUG-95259	HADOOP-15185, HADOOP-15186	Conector de atualização `adls` para usar a versão atual do ADLS SDK
BUG-95619	VIH-18551	Vetorização: VectorMapOperator tenta escrever muitas colunas vetoriais para Hybrid Grace
BUG-97223	FAÍSCA-23434	O Spark não deve avisar o 'diretório de metadados' para um caminho de arquivo HDFS

Desempenho

Bug ID	Apache JIRA	Resumo
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Computação rápida de localidade no balanceador
BUG-91300	HBASE-17387	Reduza a sobrecarga do relatório de exceção em RegionActionResult para multi()
BUG-91804	TEZ-1526	LoadingCache para TezTaskID lento para trabalhos grandes
BUG-92760	ACCUMULO-4578	Cancelar compactação A operação FATE não libera o bloqueio de namespace
BUG-93577	RANGER-1938	A configuração do Solr for Audit não usa DocValues de forma eficaz
BUG-93910	VIH-18293	O Hive está falhando ao compactar tabelas contidas em uma pasta que não pertence à identidade executando o HiveMetaStore
BUG-94345	VIH-18429	A compactação deve lidar com um caso quando ele não produz saída
BUG-94381	HADOOP-13227, HDFS-13054	Manipulando a ordem RequestHedgingProxyProvider RetryAction: FAIL RETRY << FAILOVER_AND_RETRY.
BUG-94432	VIH-18353	CompactorMR deve chamar jobclient.close() para acionar a limpeza
BUG-94869	FÊNIX-4290, FÊNIX-4373	Linha solicitada fora do intervalo para Get on `HRegion` para tabela de fênix salgada indexada local.
BUG-94928	HDFS-11078	Corrigir NPE em LazyPersistFileScrubber
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	Várias correções LLAP
BUG-95669	HIVE-18577, HIVE-18643	Quando executa a consulta update/delete na tabela particionada ACID, o HS2 lê todas as partições.
BUG-96390	HDFS-10453	O thread do ReplicationMonitor pode ficar preso por muito tempo devido à corrida entre a replicação e excluir o mesmo arquivo em um cluster grande.
BUG-96625	VIH-16110	Reverter de "Vetorização: Suporte 2 Valor CASE WHEN em vez de fallback para VectorUDFAdaptor"
BUG-97109	VIH-16757	O uso de getRows() preterido em vez de novo estimateRowCount(RelMetadataQuery...) tem sério impacto no desempenho
BUG-97110	Fênix-3789	Execute chamadas de manutenção de índice entre regiões em postBatchMutateIndispensably
BUG-98833	FIO-6797	TimelineWriter não consome totalmente a resposta POST
BUG-98931	ATLAS-2491	Atualizar o gancho do Hive para usar notificações do Atlas v2

Perda potencial de dados

Bug ID	Apache JIRA	Resumo
BUG-95613	HBASE-18808	Check-in de configuração ineficaz BackupLogCleaner#getDeletableFiles()
BUG-97051	VIH-17403	Falha na concatenação para tabelas não gerenciadas e transacionais
BUG-97787	VIH-18460	O compactador não passa as propriedades da tabela para o gravador Orc
BUG-97788	VIH-18613	Estenda JsonSerDe para suportar o tipo BINARY

Falha na consulta

Bug ID	Apache JIRA	Resumo
BUG-100180	CALCITA-2232	Erro de asserção em AggregatePullUpConstantsRule ao ajustar índices agregados
BUG-100422	VIH-19085	FastHiveDecimal abs(0) define sinal para `+ve`
BUG-100834	Fênix-4658	IllegalStateException: requestSeek não pode ser chamado em ReversedKeyValueHeap
BUG-102078	VIH-17978	As consultas TPCDS 58 e 83 geram exceções na vetorização.
BUG-92483	VIH-17900	analisar estatísticas em colunas acionadas pelo Compactor gera SQL malformado com > 1 coluna de partição
BUG-93135	HIVE-15874, HIVE-18189	Consulta do Hive retornando resultados errados quando definida hive.groupby.orderby.position.alias como true
BUG-93136	VIH-18189	Ordem por cargo não funciona quando `cbo` está desativado
BUG-93595	HIVE-12378, HIVE-15883	A tabela mapeada do HBase na inserção do Hive falha para colunas decimais e binárias
BUG-94007	FÊNIX-1751, FÊNIX-3112	Phoenix Queries retorna valores Nulos devido a linhas parciais do HBase
BUG-94144	VIH-17063	Inserir partição de substituição em uma tabela externa falha quando soltar partição primeiro
BUG-94280	VIH-12785	Vista com tipo de união e UDF para 'moldar' a estrutura está quebrada
BUG-94505	Fênix-4525	Estouro de número inteiro na execução GroupBy
BUG-95618	VIH-18506	LlapBaseInputFormat - índice de matriz negativo
BUG-95644	VIH-9152	CombineHiveInputFormat: A consulta Hive está falhando no Tez com a exceção java.lang.IllegalArgumentException
BUG-96762	Fênix-4588	Clone expressão também se seus filhos têm Determinism.PER_INVOCATION
BUG-97145	HIVE-12245, HIVE-17829	Comentários da coluna de suporte para uma tabela com suporte do HBase
BUG-97741	VIH-18944	A posição dos conjuntos de agrupamento é definida incorretamente durante o DPP
BUG-98082	VIH-18597	LLAP: Sempre empacote o jar da `log4j2` API para `org.apache.log4j`
BUG-99849	N/A	Criar uma nova tabela a partir de um assistente de arquivo tenta usar o banco de dados padrão

Segurança

Bug ID	Apache JIRA	Resumo
ERRO-100436	RANGER-2060	`Knox` proxy com `knox-sso` não está funcionando para ranger
BUG-101038	Faísca-24062	Erro "Conexão recusada" do intérprete do Zeppelin %Spark, "Uma chave secreta deve ser especificada..." erro no HiveThriftServer
BUG-101359	ACCUMULO-4056	Atualize a versão da coleção commons para 3.2.2 quando lançada
BUG-54240	VIH-18879	Disallow embedded element in UDFXPathUtil precisa funcionar se xercesImpl.jar no classpath
BUG-79059	OOZIE-3109	Escape de caracteres HTML específicos do streaming de log
BUG-90041	OOZIE-2723	JSON.org licença agora é CatX
BUG-93754	RANGER-1943	A autorização do Ranger Solr é ignorada quando a coleta está vazia ou nula
BUG-93804	VIH-17419	ANALISAR TABELA... O comando COMPUTE STATISTICS FOR COLUMNS mostra estatísticas computadas para tabelas mascaradas
BUG-94276	ZEPPELIN-3129	A interface do usuário do Zeppelin não sai no IE
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Atualizar netty
BUG-95483	N/A	Correção para CVE-2017-15713
BUG-95646	OOZIE-3167	Atualize a versão do tomcat na ramificação do Oozie 4.3
BUG-95823	N/A	`Knox`: Atualizar `Beanutils`
BUG-95908	RANGER-1960	A autenticação do HBase não leva o namespace da tabela em consideração para excluir o snapshot
BUG-96191	FALCÃO-2322, FALCÃO-2323	Atualize as versões Jackson e Spring para evitar vulnerabilidades de segurança
BUG-96502	RANGER-1990	Adicionar suporte One-way SSL MySQL no Ranger Admin
BUG-96712	FLUME-3194	Atualize o Derby para a versão mais recente (1.14.1.0)
BUG-96713	FLUME-2678	Atualize xalan para 2.7.2 para cuidar da vulnerabilidade CVE-2014-0107
BUG-96714	FLUME-2050	Atualizar para `log4j2` (quando GA)
BUG-96737	N/A	Use métodos de sistema de arquivos Java io para acessar arquivos locais
BUG-96925	N/A	Atualize o Tomcat da versão 6.0.48 para a 6.0.53 no Hadoop
BUG-96977	FLUME-3132	Atualizar dependências da biblioteca tomcat `jasper`
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Atualizando a biblioteca Nimbus-JOSE-JWT com a versão acima de 4.39
BUG-97101	RANGER-1988	Corrigir aleatoriedade insegura
BUG-97178	ATLAS-2467	Atualização de dependência para Spring e nimbus-jose-jwt
BUG-97180	N/A	Atualizar Nimbus-jose-jwt
BUG-98038	VIH-18788	Limpar entradas no JDBC PreparedStatement
BUG-98353	HADOOP-13707	Reversão de "Se kerberos estiver habilitado enquanto HTTP SPNEGO não estiver configurado, alguns links não poderão ser acessados"
BUG-98372	HBASE-13848	Acessar senhas SSL do InfoServer por meio da API do Provedor de Credenciais
BUG-98385	ATLAS-2500	Adicione mais cabeçalhos à resposta do Atlas.
BUG-98564	HADOOP-14651	Atualize a versão okhttp para 2.7.5
BUG-99440	RANGER-2045	As colunas da tabela do Hive sem política de permissão explícita são listadas com o comando 'desc table'
BUG-99803	N/A	O Oozie deve desativar o carregamento de classe dinâmica do HBase

Estabilidade

Bug ID	Apache JIRA	Resumo
BUG-100040	ATLAS-2536	NPE no gancho Atlas Hive
BUG-100057	VIH-19251	ObjectStore.getNextNotification com LIMIT deve usar menos memória
ERRO-100072	VIH-19130	O NPE é lançado quando REPL LOAD aplicou o evento drop partition.
BUG-100073	N/A	demasiadas ligações close_wait do nó de `hiveserver` dados
BUG-100319	VIH-19248	REPL LOAD não gera erro se a cópia do arquivo falhar.
BUG-100352	N/A	CLONE - RM purgando varreduras lógicas /registry znode com muita frequência
BUG-100427	VIH-19249	Replicação: A cláusula WITH não está passando a configuração para Task corretamente em todos os casos
BUG-100430	VIH-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	VIH-19219	REPL DUMP incremental deve gerar erro se os eventos solicitados forem limpos.
BUG-100448	FAÍSCA-23637, FAÍSCA-23802, FAÍSCA-23809, FAÍSCA-23816, FAÍSCA-23822, FAÍSCA-23823, FAÍSCA-23838, FAÍSCA-23881	Atualização `Spark2` para 2.3.0+ (4/11)
BUG-100740	VIH-16107	JDBC: HttpClient deve tentar novamente mais uma vez em NoHttpResponseException
BUG-100810	VIH-19054	Falha na replicação do Hive Functions
BUG-100937	MAPREDUCE-6889	Adicione a API Job#close para encerrar os serviços do cliente MR.
BUG-101065	ATLAS-2587	Defina a ACL de leitura para /apache_atlas/ative_server_info znode em HA para `Knox` proxy ler.
BUG-101093	TEMPESTADE-2993	O parafuso Storm HDFS lança ClosedChannelException quando a política de rotação de tempo é usada
BUG-101181	N/A	PhoenixStorageHandler não manipula E no predicado corretamente
BUG-101266	Fênix-4635	Vazamento de conexão HBase em org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	VIH-11464	informações de linhagem ausentes se houver várias saídas
BUG-101485	N/A	A API Thive MetaStore Thrift é lenta e causa o tempo limite do cliente
BUG-101628	VIH-19331	Falha na replicação incremental do Hive para a nuvem.
BUG-102048	VIH-19381	A replicação da função Hive para a nuvem falha com o FunctionTask
BUG-102064	N/A	Os testes de replicação `\[ onprem to onprem \]` do Hive falharam no ReplCopyTask
BUG-102137	VIH-19423	Os testes de replicação `\[ Onprem to Cloud \]` do Hive falharam no ReplCopyTask
BUG-102305	VIH-19430	HS2 e despejos OOM do metastore da colmeia
BUG-102361	N/A	Resultados de inserção múltipla em inserção única replicada para o cluster de hive de destino ( `onprem - s3` )
BUG-87624	N/A	Habilitar o registro de eventos de tempestade faz com que os trabalhadores morram continuamente
Bug-88929	HBASE-15615	Tempo de suspensão errado quando RegionServerCallable precisa tentar novamente
BUG-89628	VIH-17613	Remover pools de objetos para alocações curtas e de mesmo thread
BUG-89813	N/A	SCA: Correção de código: método não sincronizado substitui método sincronizado
BUG-90437	ZEPPELIN-3072	A interface do usuário do Zeppelin fica lenta/sem resposta se houver muitos blocos de anotações
BUG-90640	HBASE-19065	HRegion#bulkLoadHFiles() deve aguardar a conclusão simultânea de Region#flush()
BUG-91202	VIH-17013	Excluir solicitação com uma subconsulta com base em selecionar sobre um modo de exibição
BUG-91350	KNOX-1108	NiFiHaDispatch sem falha
BUG-92054	VIH-13120	propagar doAs ao gerar divisões ORC
BUG-92373	FALCÃO-2314	Bump TestNG versão para 6.13.1 para evitar a dependência do BeanShell
BUG-92381	N/A	testContainerLogsWithNewAPI e testContainerLogsWithOldAPI UT falha
BUG-92389	TEMPESTADE-2841	testNoAcksIfFlushFails UT falha com NullPointerException
BUG-92586	FAÍSCA-17920, FAÍSCA-20694, FAÍSCA-21642, FAÍSCA-22162, FAÍSCA-22289, FAÍSCA-22373, FAÍSCA-22495, FAÍSCA-22574, FAÍSCA-22591, FAÍSCA-22595, FAÍSCA-22601, FAÍSCA-22603, FAÍSCA-22607, FAÍSCA-22635, FAÍSCA-22637, FAÍSCA-22653, FAÍSCA-22654, FAÍSCA-22686, FAÍSCA-22688, FAÍSCA-22817, FAÍSCA-22862, FAÍSCA-22889, FAÍSCA-22972, FAÍSCA-22975, FAÍSCA-22982, FAÍSCA-22983, FAÍSCA-22984, FAÍSCA-23001, FAÍSCA-23038, FAÍSCA-23095	Atualização `Spark2` atualizada para 2.2.1 (16 de janeiro)
BUG-92680	ATLAS-2288	Exceção NoClassDefFoundError ao executar o script import-hive quando a tabela hbase é criada via Hive
BUG-92760	ACCUMULO-4578	Cancelar compactação A operação FATE não libera o bloqueio de namespace
Bug-92797	HDFS-10267, HDFS-8496	Reduzindo as contenções de bloqueio de datanode em determinados casos de uso
BUG-92813	FLUME-2973	Impasse na pia hdfs
BUG-92957	VIH-11266	count(*) resultado errado com base em estatísticas de tabelas para tabelas externas
BUG-93018	ATLAS-2310	No HA, o nó passivo redireciona a solicitação com codificação de URL errada
BUG-93116	RANGER-1957	O Ranger Usersync não sincroniza usuários ou grupos periodicamente quando a sincronização incremental está ativada.
BUG-93361	VIH-12360	Má procura em ORC não comprimido com pushdown de predicado
BUG-93426	CALCITA-2086	HTTP/413 em determinadas circunstâncias devido a grandes cabeçalhos de autorização
BUG-93429	Fênix-3240	ClassCastException do carregador Pig
BUG-93485	N/A	não é possível obter a tabela mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: Tabela não encontrada ao executar a tabela de análise em colunas no LLAP
BUG-93512	Fênix-4466	java.lang.RuntimeException: código de resposta 500 - Executando um trabalho de faísca para se conectar ao servidor de consulta phoenix e carregar dados
BUG-93550	N/A	O Zeppelin %spark.r não funciona com o spark1 devido à incompatibilidade da versão do scala
BUG-93910	VIH-18293	O Hive está falhando ao compactar tabelas contidas em uma pasta que não pertence à identidade executando o HiveMetaStore
BUG-93926	ZEPPELIN-3114	Cadernos e intérpretes não estão sendo salvos no zepelim após >teste de estresse 1d
BUG-93932	ATLAS-2320	classificação "*" com consulta lança 500 exceção de servidor interno.
BUG-93948	FIOS-7697	NM cai com OOM devido a vazamento na agregação de log (parte #1)
BUG-93965	ATLAS-2229	Pesquisa DSL: atributo orderby non-string lança exceção
BUG-93986	FIOS-7697	NM cai com OOM devido a vazamento na agregação de log (parte #2)
BUG-94030	ATLAS-2332	Falha na criação de tipo com atributos com tipo de dados de coleção aninhado
BUG-94080	FIO-3742, FIO-6061	Ambos os RM estão em espera em cluster seguro
BUG-94081	VIH-18384	ConcurrentModificationException na `log4j2.x` biblioteca
BUG-94168	N/A	Yarn RM cai com o Registro de Serviço está no estado errado ERRO
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	O HDFS deve suportar vários `KMS Uris`
BUG-94345	VIH-18429	A compactação deve lidar com um caso quando ele não produz saída
BUG-94372	ATLAS-2229	Consulta DSL: hive_table name = ["t1","t2"] gera exceção de consulta DSL inválida
BUG-94381	HADOOP-13227, HDFS-13054	Manipulando a ordem RequestHedgingProxyProvider RetryAction: FAIL RETRY << FAILOVER_AND_RETRY.
BUG-94432	VIH-18353	CompactorMR deve chamar jobclient.close() para acionar a limpeza
BUG-94575	Faísca-22587	O trabalho do Spark falhará se fs.defaultFS e jar do aplicativo forem url diferentes
BUG-94791	FAÍSCA-22793	Fuga de memória no Spark Thrift Server
BUG-94928	HDFS-11078	Corrigir NPE em LazyPersistFileScrubber
BUG-95013	VIH-18488	Leitores LLAP ORC estão faltando algumas verificações nulas
BUG-95077	VIH-14205	O Hive não suporta o tipo de união com o formato de arquivo AVRO
BUG-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend não deve confiar em um canal parcialmente confiável
BUG-95201	HDFS-13060	Adicionando um BlacklistBasedTrustedChannelResolver para TrustedChannelResolver
BUG-95284	HBASE-19395	[ramo-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting falha com NPE
BUG-95301	VIH-18517	Vetorização: Corrija o VectorMapOperator para aceitar VRBs e verifique o sinalizador vetorizado corretamente para suportar o LLAP Caching
BUG-95542	HBASE-16135	PeerClusterZnode sob rs de peer removido pode nunca ser excluído
BUG-95595	VIH-15563	Ignore a exceção de transição de estado de operação ilegal em SQLOperation.runQuery para expor a exceção real.
BUG-95596	FIO-4126, FIO-5750	TestClientRMService falha
BUG-96019	VIH-18548	Corrigir `log4j` importação
BUG-96196	HDFS-13120	Diff de instantâneo pode ser corrompido após concat
BUG-96289	HDFS-11701	NPE de Host Não Resolvido causa falhas DFSInputStream permanentes
BUG-96291	TEMPESTADE-2652	Exceção lançada no método aberto JmsSpout
BUG-96363	VIH-18959	Evite criar um pool extra de threads dentro do LLAP
BUG-96390	HDFS-10453	O thread do ReplicationMonitor pode ficar preso por muito tempo devido à corrida entre a replicação e a exclusão do mesmo arquivo em um cluster grande.
BUG-96454	FIO-4593	Impasse em AbstractService.getConfig()
BUG-96704	FALCÃO-2322	ClassCastException ao enviarAndSchedule feed
BUG-96720	CONTROLE DESLIZANTE-1262	Functests deslizantes estão falhando no `Kerberized` ambiente
BUG-96931	FAÍSCA-23053, FAÍSCA-23186, FAÍSCA-23230, FAÍSCA-23358, FAÍSCA-23376, FAÍSCA-23391	Atualização `Spark2` atualizada (19 de fevereiro)
BUG-97067	VIH-10697	ObjectInspectorConvertors#UnionConvertor faz uma conversão defeituosa
BUG-97244	KNOX-1083	O tempo limite padrão de HttpClient deve ser um valor sensato
BUG-97459	ZEPPELIN-3271	Opção para desativar o agendador
BUG-97511	KNOX-1197	AnonymousAuthFilter não é adicionado quando authentication=Anonymous no serviço
BUG-97601	VIH-17479	Os diretórios de preparo não são limpos para consultas de atualização/exclusão
BUG-97605	VIH-18858	Propriedades do sistema na configuração do trabalho não resolvidas ao enviar o trabalho de RM
BUG-97674	OOZIE-3186	O Oozie não consegue usar a configuração vinculada usando jceks://file/...
BUG-97743	N/A	Exceção java.lang.NoClassDefFoundError ao implantar a topologia do storm
BUG-97756	Fênix-4576	Corrigir testes LocalIndexSplitMergeIT com falha
BUG-97771	HDFS-11711	DN não deve excluir o bloco Na exceção "Muitos arquivos abertos"
BUG-97869	KNOX-1190	`Knox` O suporte SSO para o Google OIDC está quebrado.
BUG-97879	Fênix-4489	Vazamento de conexão HBase em Phoenix MR Jobs
BUG-98392	RANGER-2007	O tíquete Kerberos do ranger-tagsync não é renovado
BUG-98484	N/A	A replicação incremental do Hive para a nuvem não está funcionando
BUG-98533	HBASE-19934, HBASE-20008	A restauração do snapshot do HBase está falhando devido à exceção de ponteiro nulo
BUG-98555	Fênix-4662	NullPointerException em TableResultIterator.java no reenvio de cache
BUG-98579	HBASE-13716	Pare de usar os FSConstants do Hadoop
BUG-98705	KNOX-1230	Muitas solicitações simultâneas para `Knox` causar manipulação de URL
BUG-98983	KNOX-1108	NiFiHaDispatch sem falha
BUG-99107	VIH-19054	A replicação de funções deve usar "hive.repl.replica.functions.root.dir" como root
BUG-99145	RANGER-2035	Erros ao acessar servicedefs com implClass vazio com back-end Oracle
BUG-99160	CONTROLE DESLIZANTE-1259	O controle deslizante não funciona em ambientes multi-homed
BUG-99239	ATLAS-2462	A importação Sqoop para todas as tabelas lança NPE para nenhuma tabela fornecida no comando
BUG-99301	ATLAS-2530	Newline no início do atributo name de um hive_process e hive_column_lineage
BUG-99453	VIH-19065	A verificação de compatibilidade do cliente Metastore deve incluir syncMetaStoreClient
BUG-99521	N/A	ServerCache para HashJoin não é recriado quando os iteradores são reinstanciados
BUG-99590	Fênix-3518	Fuga de memória em RenewLeaseTask
BUG-99618	FAÍSCA-23599, FAÍSCA-23806	Atualização `Spark2` para 2.3.0+ (28/03)
BUG-99672	ATLAS-2524	Gancho Hive com notificações V2 - manipulação incorreta da operação 'alter view as'
BUG-99809	HBASE-20375	Remover o uso de getCurrentUserCredentials no módulo hbase-spark

Suportabilidade

Bug ID	Apache JIRA	Resumo
BUG-87343	VIH-18031	Suporte à replicação para a operação do Alter Database.
BUG-91293	RANGER-2060	`Knox` proxy com `knox-sso` não está funcionando para ranger
BUG-93116	RANGER-1957	O Ranger Usersync não sincroniza usuários ou grupos periodicamente quando a sincronização incremental está ativada.
BUG-93577	RANGER-1938	A configuração do Solr for Audit não usa DocValues de forma eficaz
BUG-96082	RANGER-1982	Melhoria de erro para a métrica de análise do administrador da Ranger e da Ranger `Kms`
BUG-96479	HDFS-12781	Depois de `Datanode` baixo, na guia Na `Namenode` interface do usuário `Datanode` está lançando mensagem de aviso.
BUG-97864	VIH-18833	Auto Merge falha quando "inserir no diretório como orcfile"
BUG-98814	HDFS-13314	NameNode deve opcionalmente sair se detetar corrupção FsImage

Atualização

Bug ID	Apache JIRA	Resumo
BUG-100134	Faísca-22919	Reversão de "Bump Apache httpclient versões"
BUG-95823	N/A	`Knox`: Atualizar `Beanutils`
BUG-96751	KNOX-1076	Atualize nimbus-jose-jwt para 4.41.2
BUG-97864	VIH-18833	Auto Merge falha quando "inserir no diretório como orcfile"
BUG-99056	HADOOP-13556	Altere Configuration.getPropsWithPrefix para usar getProps em vez de iterador
BUG-99378	ATLAS-2461, ATLAS-2554	Utilitário de migração para exportar dados do Atlas no Titan graph DB

Usabilidade

Bug ID	Apache JIRA	Resumo
ERRO-100045	VIH-19056	IllegalArgumentException em FixAcidKeyIndex quando o arquivo ORC tem 0 linhas
BUG-100139	KNOX-1243	Normalizar os DNs necessários que estão configurados no `KnoxToken` serviço
BUG-100570	ATLAS-2557	Correção para permitir `lookup` grupos hadoop `ldap` quando grupos do UGI estão definidos incorretamente ou não estão vazios
BUG-100646	ATLAS-2102	Melhorias na interface do usuário do Atlas: página de resultados de pesquisa
BUG-100737	VIH-19049	Adicionar suporte para a tabela Alter adicionar colunas para Druid
BUG-100750	KNOX-1246	Atualize a configuração `Knox` do serviço para suportar as configurações mais recentes do Ranger.
BUG-100965	ATLAS-2581	Regressão com notificações de gancho do Hive V2: Movendo a tabela para um banco de dados diferente
BUG-84413	ATLAS-1964	UI: Suporte para ordenar colunas na tabela de pesquisa
BUG-90570	HDFS-11384, HDFS-12347	Adicione a opção do balanceador para dispersar chamadas getBlocks para evitar o rpc de NameNode. Pico de CallQueueLength
BUG-90584	HBASE-19052	FixedFileTrailer deve reconhecer a classe CellComparatorImpl no branch-1.x
Bug-90979	KNOX-1224	`Knox` Proxy `HADispatcher` para suportar Atlas em HA.
BUG-91293	RANGER-2060	`Knox` Proxy com Knox-SSO não está funcionando para Ranger
BUG-92236	ATLAS-2281	Salvar consultas de filtro de atributo Tag/Type com filtros nulos/não nulos.
BUG-92238	ATLAS-2282	A pesquisa favorita salva aparece somente na atualização após a criação, quando há 25+ pesquisas favoritas.
BUG-92333	ATLAS-2286	O tipo pré-construído 'kafka_topic' não deve declarar o atributo 'topic' como exclusivo
BUG-92678	ATLAS-2276	O valor do caminho para hdfs_path entidade de tipo é definido como minúscula da ponte de colmeia.
BUG-93097	RANGER-1944	O filtro de ação para Auditoria de administrador não está funcionando
BUG-93135	HIVE-15874, HIVE-18189	Consulta do Hive retornando resultados errados quando definida hive.groupby.orderby.position.alias como true
BUG-93136	VIH-18189	Ordenar por posição não funciona quando `cbo` está desativado
BUG-93387	VIH-17600	Torne o "enforceBufferSize" do OrcFile configurável pelo usuário.
BUG-93495	RANGER-1937	A Ranger `tagsync` deve processar ENTITY_CREATE notificação para suportar o recurso de importação do Atlas
BUG-93512	Fênix-4466	java.lang.RuntimeException: código de resposta 500 - Executando um trabalho de faísca para se conectar ao servidor de consulta phoenix e carregar dados
BUG-93801	HBASE-19393	HTTP 413 FULL head ao acessar a interface do usuário do HBase usando SSL.
BUG-93804	VIH-17419	ANALISAR TABELA... O comando COMPUTE STATISTICS FOR COLUMNS mostra estatísticas computadas para tabelas mascaradas
BUG-93932	ATLAS-2320	classificação "*" com consulta lança 500 exceção de servidor interno.
BUG-93933	ATLAS-2286	O tipo pré-construído 'kafka_topic' não deve declarar o atributo 'topic' como exclusivo
BUG-93938	ATLAS-2283, ATLAS-2295	Atualizações da interface do usuário para classificações
BUG-93941	ATLAS-2296, ATLAS-2307	Aprimoramento básico da pesquisa para excluir opcionalmente entidades de subtipo e tipos de subclassificação
BUG-93944	ATLAS-2318	UI: Ao clicar duas vezes na tag filho, a tag pai é selecionada
BUG-93946	ATLAS-2319	UI: Excluir uma tag, que na posição 25+ na lista de tags na estrutura Flat e Tree precisa de uma atualização para remover a tag da lista.
BUG-93977	VIH-16232	Suporte a cálculo de estatísticas para coluna em QuotedIdentifier
BUG-94030	ATLAS-2332	Falha na criação de tipo com atributos com tipo de dados de coleção aninhado
BUG-94099	ATLAS-2352	O servidor Atlas deve fornecer configuração para especificar a validade do Kerberos DelegationToken
BUG-94280	VIH-12785	Vista com tipo de união e UDF para 'moldar' a estrutura está quebrada
BUG-94332	SQOOP-2930	O exec do trabalho Sqoop não substitui as propriedades genéricas do trabalho salvo
BUG-94428	N/A	`Dataplane` Suporte à API `Knox` REST do Profiler Agent
BUG-94514	ATLAS-2339	UI: Modificações em "colunas" na visualização de resultados de pesquisa básica também afetam a DSL.
BUG-94515	ATLAS-2169	A solicitação de exclusão falha quando a exclusão física está configurada
BUG-94518	ATLAS-2329	Atlas UI Vários Hovers aparecem se o usuário clicar em outra tag que está incorreta
BUG-94519	ATLAS-2272	Salve o estado das colunas arrastadas usando a API de pesquisa de salvamento.
BUG-94627	VIH-17731	adicionar uma opção para trás `compat` para usuários externos ao HIVE-11985
BUG-94786	VIH-6091	Arquivos vazios `pipeout` são criados para criar/fechar conexão
BUG-94793	VIH-14013	Descrever tabela não mostra unicode corretamente
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Defina spark.yarn.jars para corrigir o Spark 2.0 com o Oozie
BUG-94901	HBASE-19285	Adicionar histogramas de latência por tabela
BUG-94908	ATLAS-1921	UI: Pesquisa usando atributos de entidade e trait: a interface do usuário não executa a verificação de intervalo e permite fornecer valores fora dos limites para tipos de dados integrais e flutuantes.
BUG-95086	RANGER-1953	Melhoria na listagem de páginas de grupos de usuários
BUG-95193	CONTROLE DESLIZANTE-1252	O agente deslizante falha com erros de validação SSL com Python 2.7.5-58
BUG-95314	FIOS-7699	queueUsagePercentage está chegando como INF para `getApp` chamada de api REST
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	Atribuir tabelas do sistema a servidores com a versão mais alta
BUG-95392	ATLAS-2421	Atualizações de notificação para suportar estruturas de dados V2
BUG-95476	RANGER-1966	A inicialização do mecanismo de política não cria enriquecedores de contexto em alguns casos
BUG-95512	VIH-18467	Suporte a eventos de dump / load + create / drop database de todo o armazém
BUG-95593	N/A	Estenda os utils do Oozie DB para dar suporte `Spark2sharelib` à criação
BUG-95595	VIH-15563	Ignore a exceção de transição de estado de operação ilegal em SQLOperation.runQuery para expor a exceção real.
BUG-95685	ATLAS-2422	Exportar: Suporte à exportação baseada em tipo
BUG-95798	FÊNIX-2714, FÊNIX-2724, FÊNIX-3023, FÊNIX-3040	Não use guias para executar consultas em série
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	O modo de exibição particionado falha com FAILED: IndexOutOfBoundsException Index: 1, Size: 1
BUG-96019	VIH-18548	Corrigir `log4j` importação
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	Backport HBase Backup/Restauração 2.0
BUG-96313	KNOX-1119	`Pac4J` OAuth/OpenID Principal precisa ser configurável
BUG-96365	ATLAS-2442	Usuário com permissão somente leitura no recurso de entidade não pode executar a pesquisa básica
BUG-96479	HDFS-12781	Depois de `Datanode` baixo, na guia Na `Namenode` interface do usuário `Datanode` está lançando mensagem de aviso.
BUG-96502	RANGER-1990	Adicionar suporte One-way SSL MySQL no Ranger Admin
BUG-96718	ATLAS-2439	Atualizar gancho Sqoop para usar notificações V2
BUG-96748	VIH-18587	inserir evento DML pode tentar calcular uma soma de verificação em diretórios
BUG-96821	HBASE-18212	No modo autônomo com logs do HBase do sistema de arquivos local Mensagem de aviso: Falha ao invocar o método 'unbuffer' na classe org.apache.hadoop.fs.FSDataInputStream
BUG-96847	VIH-18754	REPL STATUS deve suportar a cláusula 'com'
BUG-96873	ATLAS-2443	Capturar atributos de entidade necessários em mensagens DELETE de saída
BUG-96880	Faísca-23230	Quando hive.default.fileformat é outros tipos de arquivo, criar `textfile` tabela causa um `serde` erro
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Melhorar a análise das opções do Spark
BUG-97100	RANGER-1984	Os registros de log de auditoria do HBase podem não mostrar todas as tags associadas à coluna acessada
BUG-97110	Fênix-3789	Execute chamadas de manutenção de índice entre regiões em postBatchMutateIndispensably
BUG-97145	HIVE-12245, HIVE-17829	Comentários da coluna de suporte para uma tabela com suporte do HBase
BUG-97409	HADOOP-15255	Suporte de conversão em maiúsculas/minúsculas para nomes de grupos em LdapGroupsMapping
BUG-97535	VIH-18710	estender inheritPerms para ACID no Hive 2.X
BUG-97742	OOZIE-1624	Padrão de exclusão para `sharelib` JARs
BUG-97744	Fênix-3994	A prioridade RPC do índice ainda depende da propriedade de fábrica do controlador em hbase-site.xml
BUG-97787	VIH-18460	O compactador não passa as propriedades da tabela para o gravador Orc
BUG-97788	VIH-18613	Estenda JsonSerDe para suportar o tipo BINARY
BUG-97899	VIH-18808	Torne a compactação mais robusta quando a atualização de estatísticas falhar
BUG-98038	VIH-18788	Limpar entradas no JDBC PreparedStatement
BUG-98383	VIH-18907	Criar utilitário para corrigir o problema do índice de chave ácida do HIVE-18817
BUG-98388	RANGER-1828	Boa prática de codificação - adicione mais cabeçalhos no ranger
BUG-98392	RANGER-2007	O tíquete Kerberos do ranger-tagsync não é renovado
BUG-98533	HBASE-19934, HBASE-20008	A restauração do snapshot do HBase está falhando devido à exceção de ponteiro nulo
BUG-98552	HBASE-18083, HBASE-18084	Torne o número de thread limpo de arquivos grandes/pequenos configurável no HFileCleaner
BUG-98705	KNOX-1230	Muitas solicitações simultâneas para `Knox` causar manipulação de URL
BUG-98711	N/A	O despacho NiFi não pode usar SSL bidirecional sem modificações service.xml
BUG-98880	OOZIE-3199	Permitir que a restrição de propriedade do sistema seja configurável
BUG-98931	ATLAS-2491	Atualizar o gancho do Hive para usar notificações do Atlas v2
BUG-98983	KNOX-1108	NiFiHaDispatch sem falha
BUG-99088	ATLAS-2511	Fornecer opções para importar seletivamente banco de dados/tabelas do Hive para o Atlas
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	A consulta Spark falhou com a exceção "java.io.FileNotFoundException: hive-site.xml (Permissão negada)"
BUG-99239	ATLAS-2462	A importação Sqoop para todas as tabelas lança NPE para nenhuma tabela fornecida no comando
BUG-99636	KNOX-1238	Corrigir configurações personalizadas de armazenamento confiável para o gateway
BUG-99650	KNOX-1223	O proxy do `Knox` Zeppelin não redireciona /api/ticket como esperado
BUG-99804	OOZIE-2858	HiveMain, ShellMain e SparkMain não devem substituir propriedades e arquivos de configuração localmente
BUG-99805	OOZIE-2885	A execução de ações do Spark não deve precisar do Hive no classpath
BUG-99806	OOZIE-2845	Substitua o código baseado em reflexão, que define a variável no HiveConf
BUG-99807	OOZIE-2844	Aumente a estabilidade das ações do Oozie quando `log4j`.properties está ausente ou não é legível
RMP-9995	AMBARI-22222	Mude o druida para usar o diretório /var/druid em vez de /apps/druid no disco local

Mudanças comportamentais

Componente Apache	Apache JIRA	Resumo	Detalhes
Faísca 2.3	N/D	Alterações conforme documentado nas notas de versão do Apache Spark	- Há um documento de "Depreciação" e um guia de "Mudança de comportamento", https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Para a parte SQL, há outro guia detalhado de "Migração" (de 2.2 a 2.3), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	VIH-12505	O trabalho do Spark é concluído com êxito, mas há um erro de cota de disco HDFS cheia	Cenário: Executando a substituição de inserção quando uma cota é definida na pasta Lixo do usuário que executa o comando. Comportamento anterior: O trabalho é bem-sucedido mesmo que não consiga mover os dados para a Lixeira. O resultado pode conter erroneamente alguns dos dados anteriormente presentes na tabela. Novo comportamento: Quando a mudança para a pasta Lixo falha, os arquivos são excluídos permanentemente.
Kafka 1,0	N/D	Alterações conforme documentado nas notas de versão do Apache Spark	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Colmeia/ Ranger		Outras políticas de hive de ranger necessárias para INSERT OVERWRITE	Cenário: Outras políticas de hive de ranger necessárias para INSERT OVERWRITE Comportamento anterior: As consultas Hive INSERT OVERWRITE são bem-sucedidas como de costume. Novo comportamento: As consultas INSERT OVERWRITE do Hive estão falhando inesperadamente após a atualização para HDP-2.6.x com o erro: Erro ao compilar a instrução: FAILED: HiveAccessControlException Permission denied: user jdoe does not have WRITE privilege on /tmp/(state=42000,code=40000) A partir do HDP-2.6.0, as consultas INSERT OVERWRITE do Hive exigem uma política de URI do Ranger para permitir operações de gravação, mesmo que o usuário tenha privilégio de gravação concedido por meio da política HDFS. Solução alternativa/ação esperada do cliente:* 1. Crie uma nova política no repositório do Hive. 2. Na lista suspensa onde você vê Banco de dados, selecione URI. 3. Atualize o caminho (exemplo: /tmp/*) 4. Adicione os usuários e grupo e salve. 5. Tente novamente a consulta de inserção.
HDFS	N/D	O HDFS deve suportar vários `KMS Uris`	Comportamento anterior: dfs.encryption.key.provider.uri propriedade foi usada para configurar o caminho do provedor KMS. Novo comportamento: dfs.encryption.key.provider.uri agora foi preterido em favor de hadoop.security.key.provider.path para configurar o caminho do provedor KMS.
Zeppelin	ZEPPELIN-3271	Opção para desativar o agendador	Componente afetado: Zeppelin-Server Comportamento anterior: Em versões anteriores do Zeppelin, não havia opção para desativar o agendador. Novo comportamento: por padrão, os usuários não verão mais o agendador, pois ele está desativado por padrão. Solução alternativa/Ação esperada do cliente: Se você quiser habilitar o agendador, precisará adicionar azeppelin.notebook.cron.enable com o valor true em site zeppelin personalizado nas configurações do Zeppelin do Ambari.

Problemas conhecidos

Integração do HDInsight com o ADLS Gen 2 Há dois problemas nos clusters ESP do HDInsight usando o Azure Data Lake Storage Gen 2 com diretórios de usuários e permissões:
1. Os diretórios iniciais para usuários não estão sendo criados no Nó Principal 1. Como solução alternativa, crie os diretórios manualmente e altere a propriedade para o UPN do respetivo usuário.
2. As permissões no diretório /hdp não estão atualmente definidas como 751. Isto tem de ser definido como
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Faísca 2.3
- [SPARK-23523][SQL] Resultado incorreto causado pela regra OptimizeMetadataOnlyQuery
- [SPARK-23406] Bugs em auto-junções de fluxo de fluxo
- Os blocos de anotações de exemplo do Spark não estão disponíveis quando o Azure Data Lake Storage (Gen2) é o armazenamento padrão do cluster.
Pacote de Segurança Empresarial
- O Spark Thrift Server não aceita conexões de clientes ODBC. Etapas de solução alternativa:
  1. Aguarde cerca de 15 minutos após a criação do cluster.
  2. Verifique a interface do usuário do ranger quanto à existência de hivesampletable_policy.
  3. Reinicie o serviço Spark. A conexão STS deve funcionar agora.
Solução alternativa para falha na verificação do serviço Ranger
- RANGER-1607: Solução alternativa para falha na verificação do serviço Ranger durante a atualização para HDP 2.6.2 de versões HDP anteriores.
  
  Nota
  
  Somente quando o Ranger estiver habilitado para SSL.
Esse problema surge ao tentar atualizar para HDP-2.6.1 de versões anteriores do HDP através do Ambari. Ambari usa uma chamada curl para fazer uma verificação de serviço para o serviço Ranger em Ambari. Se a versão JDK usada pelo Ambari for JDK-1.7, a chamada curl falhará com o erro abaixo:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

A razão para este erro é a versão tomcat usada no Ranger é Tomcat-7.0.7*. O uso do JDK-1.7 entra em conflito com as cifras padrão fornecidas no Tomcat-7.0.7*.

Você pode resolver esse problema de duas maneiras:
- Atualize o JDK usado no Ambari do JDK-1.7 para o JDK-1.8 (consulte a seção Alterar a versão do JDK no Guia de Referência do Ambari).
- Se você quiser continuar oferecendo suporte a um ambiente JDK-1.7:
  1. Adicione a propriedade ranger.tomcat.ciphers na seção ranger-admin-site na configuração do Ambari Ranger com o valor abaixo:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Se o seu ambiente estiver configurado para Ranger-KMS, adicione a propriedade ranger.tomcat.ciphers na seção theranger-kms-site na configuração do Ambari Ranger com o valor abaixo:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA SSL_RSA_WITH_3DES_EDE_CBC_SHA
Nota

Os valores observados são exemplos funcionais e podem não ser indicativos do seu ambiente. Certifique-se de que a maneira como você define essas propriedades corresponde à forma como seu ambiente está configurado.
RangerUI: Fuga do texto da condição da política inserido no formulário de política

Componente afetado: Ranger

Descrição do Problema

Se um usuário quiser criar uma política com condições de política personalizadas e a expressão ou o texto contiver caracteres especiais, a imposição da política não funcionará. Os caracteres especiais são convertidos em ASCII antes de salvar a política no banco de dados.

Caracteres especiais: & <> " ' '

Por exemplo, a condição tags.attributes['type']='abc' seria convertida para o seguinte assim que a política fosse salva.

tags.attds[' DSDs'] =' cssdfs'

Você pode ver a condição da política com esses caracteres abrindo a política no modo de edição.

Solução
- Opção #1: Criar/Atualizar política via Ranger REST API
  
  URL REST: http://< host>:6080/service/plugins/policies
  
  Criando política com condição de política:
  
  O exemplo a seguir criará uma política com tags como 'tags-test' e a atribuirá ao grupo 'public' com a condição de política astags.attr['type']=='abc' selecionando todas as permissões do componente hive como select, update, create, drop, alter, index, lock, all.
  
  Exemplo:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Atualize a política existente com a condição da política:
  
  O exemplo a seguir atualizará a política com tags como 'tags-test' e a atribuirá ao grupo 'public' com a condição de política astags.attr['type']=='abc' selecionando todas as permissões do componente hive como select, update, create, drop, alter, index, lock, all.
  
  URL REST: http://< nome> do host:6080/service/plugins/policies/<policy-id>
  
  Exemplo:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Opção #2: Aplicar alterações no JavaScript
  
  Passos para atualizar o arquivo JS:
  1. Descubra PermissionList.js arquivo em /usr/hdp/current/ranger-admin
  2. Descubra a definição da função renderPolicyCondtion (linha nº: 404).
  3. Remova a seguinte linha dessa função, ou seja, sob a função de exibição (linha nº: 434)
    
    val = _.escape(val);//Linha No:460
    
    Depois de remover a linha acima, a interface do usuário da Ranger permitirá que você crie políticas com condição de política que podem conter caracteres especiais e a avaliação da política será bem-sucedida para a mesma política.

Integração do HDInsight com o ADLS Gen 2: Diretório de usuários e problemas de permissões com clusters ESP 1. Os diretórios iniciais para usuários não estão sendo criados no Nó Principal 1. A solução alternativa é criá-los manualmente e alterar a propriedade para o UPN do respetivo usuário. 2. As permissões em /hdp não estão atualmente definidas como 751. Isso precisa ser definido como a. chmod 751 /hdp b. chmod –R 755 /hdp/apps

Preterição

Portal do OMS: removemos o link da página de recursos do HDInsight que apontava para o portal do OMS. Os logs do Azure Monitor inicialmente usavam seu próprio portal chamado portal do OMS para gerenciar sua configuração e analisar os dados coletados. Todas as funcionalidades deste portal foram movidas para o portal do Azure, onde continuarão a ser desenvolvidas. O HDInsight desativou o suporte para o portal do OMS. Os clientes usarão a integração de logs do HDInsight Azure Monitor no portal do Azure.
Descontinuação do Spark 2.3:Spark Release 2.3.0

Atualização

Todos esses recursos estão disponíveis no HDInsight 3.6. Para obter a versão mais recente do Spark, Kafka e R Server (Serviços de Aprendizado de Máquina), escolha a versão Spark, Kafka, ML Services ao criar um cluster HDInsight 3.6. Para obter suporte para ADLS, você pode escolher o tipo de armazenamento ADLS como opção. Os clusters existentes não serão atualizados para essas versões automaticamente.

Todos os novos clusters criados após junho de 2018 passarão automaticamente pelas 1000+ correções de bugs em todos os projetos de código aberto. Siga este guia para obter as práticas recomendadas sobre a atualização para uma versão mais recente do HDInsight.

Share via

Notas de versão arquivadas

Resumo

Informações sobre o lançamento

Data de lançamento: 15 de fevereiro de 2024

Novas funcionalidades

Problemas corrigidos

Brevemente

Próximos passos

Data de lançamento: 10 de janeiro de 2024

Problemas corrigidos

Brevemente

Data de lançamento: 26 de outubro de 2023

Novidades

Brevemente

Data de lançamento: 7 de setembro de 2023

Brevemente

Data de lançamento: 25 de julho de 2023

O que há de novo

Brevemente

Data de lançamento: 08 de maio de 2023

Data de lançamento: 28 de fevereiro de 2023

O que se segue

Data de lançamento: 12 de dezembro de 2022

Correções de bugs de código aberto

Data de lançamento: 08/10/2022

Novo recurso

Fixo

Análise de logs

Outras correções de bugs

Correções de bugs de código aberto

Correções de bugs TEZ

Correções de bugs do Hive

Problemas conhecidos

Data de lançamento: 08/10/2022

Novo recurso

Fixo

Análise de logs

Outras correções de bugs

Correções de bugs de código aberto

Correções de bugs TEZ

Correções de bugs do Hive

Problemas conhecidos

Data de lançamento: 06/03/2022

Destaques da versão

Ambari

Correções de bugs TEZ

Correções de bugs do HBase

Correções de bugs do Hive

Data de lançamento: 03/10/2022

O Spark 3.1 já está disponível para o público em geral

Kafka 2.4 está agora disponível para o público em geral

O tipo de dados de mapa no HWC agora é suportado no HDInsight 4.0

Novas regiões

Alterações no backport OSS

Aqui estão os JIRAs Apache backported OSS para esta versão:

Avisos de preterição

Conjuntos de Dimensionamento de Máquina Virtual do Azure no HDInsight

O dimensionamento de cargas de trabalho do HBase do Azure HDInsight agora terá suporte apenas usando a escala manual

Data de lançamento: 27/12/2021

Data de lançamento: 27/07/2021

Novas funcionalidades

O suporte do Azure HDInsight para Conectividade Pública Restrita está disponível em geral em 15 de outubro de 2021

O suporte do Azure HDInsight para o Azure Private Link está disponível em geral em 15 de outubro de 2021

Nova experiência de integração do Azure Monitor (Pré-visualização)

Preterição

Alterações de comportamento

O HDInsight Interactive Query suporta apenas o dimensionamento automático baseado em agendamento

Próximas alterações

O componente LLAP integrado no cluster ESP Spark será removido

Nova região

Alteração de versão do componente

JIRAs com porta traseira

Correção de preço para máquinas virtuais HDInsight Dv2

Data de lançamento: 06/02/2021

Novas funcionalidades

Atualização da versão do SO

Otimizações de dimensionamento em clusters de gravações aceleradas do HBase

Preterição

Alterações de comportamento

Correção de preço para máquinas virtuais HDInsight `Dv2`

`Eav4`-suporte da série

Os tamanhos padrão das VMs de cluster são alterados para `Ev3`-series

O tamanho padrão da VM do cluster muda para `Ev3`-series