Note sulla versione archiviate

Articolo
05/27/2024

Riepilogo

Azure HDInsight è uno dei servizi più diffusi fra i clienti enterprise per analisi open source in Azure. Sottoscrivere le note sulla versione di HDInsight per informazioni aggiornate su HDInsight e su tutte le versioni di HDInsight.

Per eseguire la sottoscrizione, fare clic sul pulsante "Espressione di controllo" nel banner ed esaminare le versioni di HDInsight.

Informazioni sulla versione

Data di rilascio: 15 aprile 2024

Questa nota sulla versione si applica a HDInsight 5.1 versione.

La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2403290825. Come controllare il numero di immagine?

HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.

Versioni del sistema operativo

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere Versioni dei componenti HDInsight 5.x.

Problemi risolti

Correzioni di bug per Ambari DB, Hive Warehouse Controller (HWC), Spark, HDFS
Correzioni di bug per il modulo Log Analytics per HDInsightSparkLogs
CVE Correzioni per il provider di risorse HDInsight.

Prossimamente

Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Notifiche di ritiro per HDInsight 4.0 e HDInsight 5.0.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A.

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli : HDInsight Ideas e seguici per altri aggiornamenti nella community di AzureHDInsight.

Nota

È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.

Data di rilascio: 15 febbraio 2024

Questa versione si applica alle versioni di HDInsight 4.x e 5.x. La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2401250802. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere

Nuove funzionalità

Supporto di Apache Ranger per Spark SQL in Spark 3.3.0 (HDInsight versione 5.1) con il pacchetto di sicurezza Enterprise. Per altre informazioni, vedere qui.

Problemi risolti

Correzioni di sicurezza dai componenti di Ambari e Oozie

Prossimamente

Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli - Idee su HDInsight e seguirci per altri aggiornamenti sulla community di AzureHDInsight

Nota

Passaggi successivi

Azure HDInsight: domande frequenti
Configurare una pianificazione dell'applicazione di patch al sistema operativo per i cluster di HDInsight basati su Linux
Nota sulla versione precedente

Azure HDInsight è uno dei servizi più diffusi fra i clienti enterprise per analisi open source in Azure. Se si vuole sottoscrivere le note sulla versione, guardare le versioni in questo repository GitHub.

Data di rilascio: 10 gennaio 2024

Questa versione dell'hotfix si applica alle versioni di HDInsight 4.x e 5.x. La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2401030422. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Nota

Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Per le versioni specifiche del carico di lavoro, vedere

Problemi risolti

Correzioni di sicurezza dai componenti di Ambari e Oozie

Prossimamente

Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli - Idee su HDInsight e seguirci per altri aggiornamenti sulla community di AzureHDInsight

Nota

Data di rilascio: 26 ottobre 2023

Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2310140056. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Per le versioni specifiche del carico di lavoro, vedere

Novità

HDInsight annuncia la disponibilità generale di HDInsight 5.1 a partire dal 1° novembre 2023. Questa versione introduce un aggiornamento completo dello stack per i componenti open source e le integrazioni di Microsoft.
- Versioni open source più recenti: HDInsight 5.1 include la versione open source stabile più recente disponibile. I clienti possono trarre vantaggio da tutte le funzionalità open source più recenti, dai miglioramenti delle prestazioni Microsoft e dalle correzioni di bug.
- Sicuro: le versioni più recenti sono dotate delle correzioni di sicurezza più recenti, sia delle correzioni di sicurezza open source che dei miglioramenti della sicurezza di Microsoft.
- TCO inferiore: con miglioramenti delle prestazioni i clienti possono ridurre il costo operativo, insieme a una scalabilità automatica avanzata.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se un canale sicuro deve essere usato per i nodi del cluster HDInsight per connettere l'account di archiviazione.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action eseguire operazioni di creazione. Se questo controllo non è abilitato, il cliente potrebbe riscontrare errori di creazione.
Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- I cluster ABFS non ESP limitano gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora il comportamento di sicurezza del cluster.
Aggiornamento della quota in linea.
- È ora possibile richiedere l'aumento della quota direttamente dalla pagina Quota personale, con la chiamata API diretta molto più veloce. Nel caso in cui la chiamata API non riesca, è possibile creare una nuova richiesta di supporto per l'aumento della quota.

Prossimamente

La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. Questa modifica verrà implementata in tutte le aree a partire dalla versione futura.
Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft

Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli - Idee su HDInsight e seguirci per altri aggiornamenti sulla community di AzureHDInsight

Nota

Questa versione risolve i seguenti CVE rilasciati da MSRC il 12 settembre 2023. L'azione consiste nell'aggiornare l'immagine più recente 2308221128 o 2310140056. I clienti sono invitati a pianificare di conseguenza.

CVE	Gravità	Titolo CVE	Commento
CVE-2023-38156	Importante	Altitudine Apache Ambari per Azure HDInsight di vulnerabilità del privilegio	Incluso nell'immagine 2308221128 o 2310140056
CVE-2023-36419	Importante	Altitudine dell'Utilità di pianificazione del flusso di lavoro Apache Oozie per Azure HDInsight di vulnerabilità del privilegio	Applicare l'azione Script nei cluster o eseguire l'aggiornamento all'immagine 2310140056

Nota

Data di rilascio: 7 settembre 2023

Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2308221128. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Per le versioni specifiche del carico di lavoro, vedere

Importante

Questa versione risolve i seguenti CVE rilasciati da MSRC il 12 settembre 2023. L'azione consiste nell'aggiornare l'immagine più recente 2308221128. I clienti sono invitati a pianificare di conseguenza.

CVE	Gravità	Titolo CVE	Commento
CVE-2023-38156	Importante	Altitudine Apache Ambari per Azure HDInsight di vulnerabilità del privilegio	Incluso nell'immagine 2308221128
CVE-2023-36419	Importante	Altitudine dell'Utilità di pianificazione del flusso di lavoro Apache Oozie per Azure HDInsight di vulnerabilità del privilegio	Applicare l'azione Script nei cluster

Presto disponibile

La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. Questa modifica verrà implementata entro il 30 settembre 2023.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
Aggiornamento della quota in linea.
- Le quote richieste aumentano direttamente dalla pagina Quota personale, che sarà una chiamata API diretta, che è più veloce. Se la chiamata APdI ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto questa modifica sarebbe un controllo obbligatorio per evitare errori di creazione del cluster prima del 30 settembre 2023. 
Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD). Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft

È possibile aggiungere altre proposte e idee e altri argomenti qui e votarli - HDInsight Community (azure.com).

Nota

Data di rilascio: 25 luglio 2023

Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2307201242. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Per le versioni specifiche del carico di lavoro, vedere

Novità

HDInsight 5.1 è ora supportato con il cluster ESP.
La versione aggiornata di Ranger 2.3.0 e Oozie 5.2.1 ora fanno parte di HDInsight 5.1
Il cluster Spark 3.3.1 (HDInsight 5.1) include Hive Warehouse Connector (HWC) 2.1, che funziona insieme al cluster Interactive Query (HDInsight 5.1).
Ubuntu 18.04 è supportato in ESM(Extended Security Maintenance) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.

Importante

Questa versione risolve i seguenti CVE rilasciati da MSRC l'8 agosto 2023. L'azione consiste nell'aggiornare l'immagine più recente 2307201242. I clienti sono invitati a pianificare di conseguenza.

CVE	Gravità	Titolo CVE
CVE-2023-35393	Importante	Vulnerabilità spoofing di Apache Hive di Azure
CVE-2023-35394	Importante	Vulnerabilità spoofing di Jupyter Notebook di Azure HDInsight
CVE-2023-36877	Importante	Vulnerabilità spoofing di Apache Oozie di Azure
CVE-2023-36881	Importante	Vulnerabilità spoofing di Apache Ambari di Azure
CVE-2023-38188	Importante	Vulnerabilità spoofing di Apache Hadoop di Azure

Prossimamente

La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
Aggiornamento della quota in linea.
- Le quote richieste aumentano direttamente dalla pagina Quota personale, che sarà una chiamata API diretta, che è più veloce. Se la chiamata API ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto questa modifica sarebbe un controllo obbligatorio per evitare errori di creazione del cluster prima del 30 settembre 2023. 
Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali della serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD). Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.

Per altre domande, contattare il supporto tecnico di Azure.

È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft

È possibile aggiungere altre proposte e idee e altri argomenti qui e votarli - HDInsight Community (azure.com) e seguirci per altri aggiornamenti su Twitter

Nota

Data di rilascio: 8 maggio 2023

Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight è disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2304280205. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Per le versioni specifiche del carico di lavoro, vedere

Azure HDInsight 5.1 aggiornato con
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Nota
- Tutti i componenti sono integrati con Hadoop 3.3.4 & ZK 3.6.3
- Tutti i componenti aggiornati sopra sono ora disponibili in cluster non ESP per l'anteprima pubblica.

Scalabilità automatica avanzata per HDInsight

Azure HDInsight ha apportato notevoli miglioramenti alla stabilità e alla latenza sulla scalabilità automatica. Le modifiche essenziali includono un ciclo di feedback migliorato per le decisioni di ridimensionamento, un miglioramento significativo della latenza per il ridimensionamento e il supporto per il ricommissione dei nodi rimossi, altre informazioni sui miglioramenti, su come configurare e migrare il cluster in modo da migliorare la scalabilità automatica. La funzionalità di scalabilità automatica avanzata è disponibile a partire dal 17 maggio 2023 in tutte le aree supportate.
Azure HDInsight ESP per Apache Kafka 2.4.1 è ora disponibile a livello generale.

Azure HDInsight ESP per Apache Kafka 2.4.1 è disponibile in anteprima pubblica a partire da aprile 2022. Dopo miglioramenti significativi nelle correzioni e nella stabilità CVE, Azure HDInsight ESP Kafka 2.4.1 diventa ora disponibile a livello generale e pronto per i carichi di lavoro di produzione, informazioni dettagliate su come configurare ed eseguire la migrazione.
Gestione delle quote per HDInsight

HDInsight alloca attualmente la quota alle sottoscrizioni dei clienti a livello di area. I core allocati ai clienti sono generici e non classificati a livello di famiglia di macchine virtuali (ad esempio, Dv2, Ev3, Eav4e così via).

HDInsight ha introdotto una visualizzazione migliorata, che fornisce un dettaglio e una classificazione delle quote per le macchine virtuali a livello di famiglia, questa funzionalità consente ai clienti di visualizzare le quote correnti e rimanenti per un'area a livello di famiglia di macchine virtuali. Con la visualizzazione migliorata, i clienti hanno una visibilità più ampia, per la pianificazione delle quote e un'esperienza utente migliore. Questa funzionalità è attualmente disponibile in HDInsight 4.x e 5.x per l'area EUAP Stati Uniti orientali. Altre aree da seguire in un secondo momento.

Per altre informazioni, vedere Pianificazione della capacità del cluster in Azure HDInsight | Microsoft Learn

Polonia Centrale

La lunghezza massima del nome del cluster viene modificata a 45 da 59 caratteri per migliorare il comportamento di sicurezza dei cluster.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
Aggiornamento della quota in linea.
- Le quote delle richieste aumentano direttamente dalla pagina Quota personale, ovvero una chiamata API diretta, che è più veloce. Se la chiamata API ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per Microsoft Network/virtualNetworks/subnets/join/action eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto si tratta di un controllo obbligatorio per evitare errori di creazione del cluster.
Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali della serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD). Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Cluster ABFS non ESP [Autorizzazioni cluster per la lettura globale]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti.

Data di rilascio: 28 febbraio 2023

Questa versione si applica a HDInsight 4.0. e 5.0, 5.1. La versione di HDInsight è disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2302250400. Come controllare il numero di immagine?

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Per le versioni specifiche del carico di lavoro, vedere

Importante

Microsoft ha rilasciato CVE-2023-23408, che è stato risolto nella versione corrente e i clienti sono invitati a aggiornare i cluster all'immagine più recente.

HDInsight 5.1

È stata avviata l'implementazione di una nuova versione di HDInsight 5.1. Tutte le nuove versioni open source aggiunte come versioni incrementali in HDInsight 5.1.

Per altre informazioni, vedere HDInsight 5.1.0 versione

Aggiornamento di Kafka 3.2.0 (anteprima)

Kafka 3.2.0 include diverse nuove funzionalità/miglioramenti significativi.
- Aggiornamento di Zookeeper alla versione 3.6.3
- Supporto di Kafka Streams
- Garanzie di recapito più avanzate per il producer Kafka abilitato per impostazione predefinita.
- log4j 1.x sostituito con reload4j.
- Inviare un suggerimento al leader della partizione per recuperare la partizione.
- JoinGroupRequest e LeaveGroupRequest hanno un motivo collegato.
- Aggiunta delle metriche del conteggio broker8.
- Miglioramenti del mirroring Maker2 .

Aggiornamento di HBase 2.4.11 (anteprima)

Questa versione include nuove funzionalità, ad esempio l'aggiunta di nuovi tipi di meccanismo di memorizzazione nella cache dei blocchi, la possibilità di modificare e visualizzare hbase:meta table la hbase:meta tabella dall'interfaccia utente WEB di HBase.

Aggiornamento di Phoenix 5.1.2 (anteprima)

Versione di Phoenix aggiornata alla versione 5.1.2 in questa versione. Questo aggiornamento include il server di query Phoenix. Phoenix Query Server esegue il proxy del driver JDBC Phoenix standard e fornisce un protocollo di collegamento compatibile con le versioni precedenti per richiamare tale driver JDBC.

Ambari CVEs

Sono stati corretti più CVE Ambari.

Nota

ESP non è supportato per Kafka e HBase in questa versione.

Fine del supporto per i cluster Azure HDInsight in Spark 2.4 10 febbraio 2024. Per altre informazioni, vedere Versioni di Spark supportate in Azure HDInsight

Passaggi successivi

Scalabilità automatica
- Scalabilità automatica con una latenza migliorata e diversi miglioramenti
Limitazione della modifica del nome del cluster
- La lunghezza massima del nome del cluster passa a 45 da 59 in Pubblico, Azure Cina e Azure per enti pubblici.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
Cluster ABFS non ESP [Autorizzazioni cluster per la lettura globale]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti.
Aggiornamenti open source
- Apache Spark 3.3.0 e Hadoop 3.3.4 sono in fase di sviluppo in HDInsight 5.1 e include diverse nuove funzionalità, prestazioni e altri miglioramenti significativi.

Nota

Data di rilascio: 12 dicembre 2022

Questa versione si applica a HDInsight 4.0. e la versione 5.0 di HDInsight è resa disponibile per tutte le aree in diversi giorni.

Versioni del sistema operativo

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Per le versioni specifiche del carico di lavoro, vedere qui.

Log Analytics : i clienti possono abilitare il monitoraggio classico per ottenere la versione più recente di OMS 14.19. Per rimuovere le versioni precedenti, disabilitare e abilitare il monitoraggio classico.
Disconnettersi automaticamente dall'interfaccia utente di Ambari a causa dell'inattività. Per altre informazioni, vedere qui
Spark : in questa versione è inclusa una versione nuova e ottimizzata di Spark 3.1.3. È stato testato Apache Spark 3.1.2(versione precedente) e Apache Spark 3.1.3(versione corrente) usando il benchmark TPC-DS. Il test è stato eseguito usando lo SKU E8 V3, per Apache Spark in un carico di lavoro di 1 TB. Apache Spark 3.1.3 (versione corrente) ha superato le prestazioni di Apache Spark 3.1.2 (versione precedente) del 40% nel runtime di query totale per le query TPC-DS usando le stesse specifiche hardware. Il team di Microsoft Spark ha aggiunto ottimizzazioni disponibili in Azure Synapse con Azure HDInsight. Per altre informazioni, vedere Velocizzare i carichi di lavoro dei dati con gli aggiornamenti delle prestazioni di Apache Spark 3.1.2 in Azure Synapse

Qatar centrale
Germania settentrionale

HDInsight è passato da Azul Zulu Java JDK 8 a Adoptium Temurin JDK 8, che supporta runtime certificati TCK di alta qualità e la tecnologia associata per l'uso nell'ecosistema Java.
HdInsight è stato migrato a reload4j. Le log4j modifiche sono applicabili a
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

HDInsight per implementare TLS1.2 in futuro e le versioni precedenti vengono aggiornate nella piattaforma. Se si eseguono applicazioni in HDInsight e usano TLS 1.0 e 1.1, eseguire l'aggiornamento a TLS 1.2 per evitare interruzioni nei servizi.

Per altre informazioni, vedere Come abilitare Transport Layer Security (TLS)

Fine del supporto per i cluster Azure HDInsight in Ubuntu 16.04 LTS dal 30 novembre 2022. HDInsight inizia il rilascio delle immagini del cluster usando Ubuntu 18.04 dal 27 giugno 2021. È consigliabile che i clienti che eseguono cluster che usano Ubuntu 16.04 ricompilano i cluster con le immagini HDInsight più recenti entro il 30 novembre 2022.

Per altre informazioni su come controllare la versione ubuntu del cluster, vedere qui

Eseguire il comando "lsb_release -a" nel terminale.
Se il valore della proprietà "Description" nell'output è "Ubuntu 16.04 LTS", questo aggiornamento è applicabile al cluster.

Supporto per zone di disponibilità selezione per i cluster Kafka e HBase (accesso in scrittura).

Correzioni di bug open source

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
HIVE-26127	Errore INSERT OVERWRITE - File non trovato
HIVE-24957	Risultati errati quando la sottoquery ha COALESCE nel predicato di correlazione
HIVE-24999	HiveSubQueryRemoveRule genera un piano non valido per la sottoquery IN con più correlazioni
HIVE-24322	Se è presente un inserimento diretto, l'ID tentativo deve essere controllato quando la lettura del manifesto ha esito negativo
HIVE-23363	Aggiornare la dipendenza DataNucleus alla versione 5.2
HIVE-26412	Creare l'interfaccia per recuperare gli slot disponibili e aggiungere il valore predefinito
HIVE-26173	Aggiornare il derby alla versione 10.14.2.0
HIVE-25920	Passare `Xerce2` alla versione 2.12.2.
HIVE-26300	Aggiornare la versione di associazione dati Jackson alla versione 2.12.6.1+ per evitare CVE-2020-36518

Data di rilascio: 10/08/2022

Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni.

Nuova funzionalità

1. Collegare dischi esterni nei cluster Hadoop/Spark HDI

Il cluster HDInsight include spazio su disco predefinito basato sullo SKU. Questo spazio potrebbe non essere sufficiente in scenari di processi di grandi dimensioni.

Questa nuova funzionalità consente di aggiungere altri dischi nel cluster, che vengono usati come directory locale di Gestione nodi. Aggiungere il numero di dischi ai nodi di lavoro durante la creazione di cluster HIVE e Spark, mentre i dischi selezionati fanno parte delle directory locali di Node Manager.

Nota

I dischi aggiunti sono configurati solo per le directory locali di Gestione nodi.

Per altre informazioni, vedere qui

2. Analisi selettiva della registrazione

L'analisi della registrazione selettiva è ora disponibile in tutte le aree per l'anteprima pubblica. È possibile connettere il cluster a un'area di lavoro Log Analytics. Dopo l'abilitazione, è possibile visualizzare i log e le metriche, ad esempio i log di sicurezza di HDInsight, Yarn Resource Manager, le metriche di sistema e così via. È possibile monitorare i carichi di lavoro e vedere come influiscono sulla stabilità del cluster. La registrazione selettiva consente di abilitare/disabilitare tutte le tabelle o di abilitare tabelle selettive nell'area di lavoro Log Analytics. È possibile modificare il tipo di origine per ogni tabella, perché nella nuova versione del monitoraggio di Ginevra una tabella include più origini.

Il sistema di monitoraggio di Ginevra usa mdsd(MDS daemon) che è un agente di monitoraggio e fluentd per raccogliere i log usando un livello di registrazione unificato.
La registrazione selettiva usa l'azione script per disabilitare/abilitare le tabelle e i relativi tipi di log. Poiché non apre alcuna nuova porta o modifica alcuna impostazione di sicurezza esistente, non ci sono modifiche alla sicurezza.
L'azione script viene eseguita in parallelo in tutti i nodi specificati e modifica i file di configurazione per disabilitare/abilitare le tabelle e i relativi tipi di log.

Per altre informazioni, vedere qui

Fisso

Log Analytics

Log Analytics integrato con Azure HDInsight che esegue OMS versione 13 richiede un aggiornamento a OMS versione 14 per applicare gli aggiornamenti della sicurezza più recenti. I clienti che usano la versione precedente del cluster con OMS versione 13 devono installare OMS versione 14 per soddisfare i requisiti di sicurezza. (Come controllare la versione corrente e installare 14)

Come controllare la versione corrente di OMS

Accedere al cluster tramite SSH.
Eseguire il comando seguente nel client SSH.

sudo /opt/omi/bin/ominiserver/ --version

Screenshot che mostra come controllare l'aggiornamento di OMS.

Come aggiornare la versione di OMS da 13 a 14

Accedere al portale di Azure
Nel gruppo di risorse selezionare la risorsa cluster HDInsight
Selezionare Azioni script
Nel pannello Di azione Invia script scegliere Tipo di script come personalizzato
Incollare il collegamento seguente nella casella URL script Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Selezionare i tipi di nodo
Selezionare Crea.

Screenshot che mostra come eseguire l'aggiornamento di OMS.

Verificare la corretta installazione della patch attenendosi alla procedura seguente:
Accedere al cluster tramite SSH.
Eseguire il comando seguente nel client SSH.

sudo /opt/omi/bin/ominiserver/ --version

Altre correzioni di bug

L'interfaccia della riga di comando del log di Yarn non è riuscita a recuperare i log se sono TFile danneggiati o vuoti.
È stato risolto un errore di dettagli dell'entità servizio non valida durante il recupero del token OAuth da Azure Active Directory.
Miglioramento dell'affidabilità della creazione del cluster quando sono configurati più di 100 nodi di lavoro.

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug	Apache JIRA
Errore di compilazione tez: FileSaver.js non trovato	TEZ-4411
Eccezione FS errata quando il warehouse e `scratchdir` si trovano in FS diversi	TEZ-4406
TezUtils.createConfFromByteString in Configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf deve usare snappy anziché DeflaterOutputStream	TEZ-4113
Aggiornare la dipendenza protobuf a 3.x	TEZ-4363

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
Ottimizzazioni delle prestazioni nella suddivisione ORC	HIVE-21457
Evitare di leggere la tabella come ACID quando il nome della tabella inizia con "delta", ma la tabella non è transazionale e viene usata la strategia di divisione BI	HIVE-22582
Rimuovere una chiamata FS#exists da AcidUtils#getLogicalLength	HIVE-23533
OrcAcidRowBatchReader.computeOffset vettorializzato e ottimizzazione bucket	HIVE-17917

Problemi noti

HDInsight è compatibile con Apache HIVE 3.1.2. A causa di un bug in questa versione, la versione hive viene visualizzata come 3.1.0 nelle interfacce hive. Tuttavia, non c'è alcun impatto sulle funzionalità.

Data di rilascio: 10/08/2022

Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni.

Nuova funzionalità

1. Collegare dischi esterni nei cluster Hadoop/Spark HDI

Il cluster HDInsight include spazio su disco predefinito basato sullo SKU. Questo spazio potrebbe non essere sufficiente in scenari di processi di grandi dimensioni.

Questa nuova funzionalità consente di aggiungere altri dischi nel cluster, che verranno usati come directory locale di Gestione nodi. Aggiungere il numero di dischi ai nodi di lavoro durante la creazione di cluster HIVE e Spark, mentre i dischi selezionati fanno parte delle directory locali di Node Manager.

Nota

I dischi aggiunti sono configurati solo per le directory locali di Gestione nodi.

Per altre informazioni, vedere qui

2. Analisi selettiva della registrazione

Il sistema di monitoraggio di Ginevra usa mdsd(MDS daemon) che è un agente di monitoraggio e fluentd per raccogliere i log usando un livello di registrazione unificato.
La registrazione selettiva usa l'azione script per disabilitare/abilitare le tabelle e i relativi tipi di log. Poiché non apre alcuna nuova porta o modifica alcuna impostazione di sicurezza esistente, non ci sono modifiche alla sicurezza.
L'azione script viene eseguita in parallelo in tutti i nodi specificati e modifica i file di configurazione per disabilitare/abilitare le tabelle e i relativi tipi di log.

Per altre informazioni, vedere qui

Fisso

Log Analytics

Come controllare la versione corrente di OMS

Accedere al cluster tramite SSH.
Eseguire il comando seguente nel client SSH.

sudo /opt/omi/bin/ominiserver/ --version

Screenshot che mostra come controllare l'aggiornamento di OMS.

Come aggiornare la versione di OMS da 13 a 14

Accedere al portale di Azure
Nel gruppo di risorse selezionare la risorsa cluster HDInsight
Selezionare Azioni script
Nel pannello Di azione Invia script scegliere Tipo di script come personalizzato
Incollare il collegamento seguente nella casella URL script Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Selezionare i tipi di nodo
Selezionare Crea.

Screenshot che mostra come eseguire l'aggiornamento di OMS.

Verificare la corretta installazione della patch attenendosi alla procedura seguente:
Accedere al cluster tramite SSH.
Eseguire il comando seguente nel client SSH.

sudo /opt/omi/bin/ominiserver/ --version

Altre correzioni di bug

L'interfaccia della riga di comando del log di Yarn non è riuscita a recuperare i log se sono TFile danneggiati o vuoti.
È stato risolto un errore di dettagli dell'entità servizio non valida durante il recupero del token OAuth da Azure Active Directory.
Miglioramento dell'affidabilità della creazione del cluster quando sono configurati più di 100 nodi di lavoro.

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug	Apache JIRA
Errore di compilazione tez: FileSaver.js non trovato	TEZ-4411
Eccezione FS errata quando il warehouse e `scratchdir` si trovano in FS diversi	TEZ-4406
TezUtils.createConfFromByteString in Configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf deve usare snappy anziché DeflaterOutputStream	TEZ-4113
Aggiornare la dipendenza protobuf a 3.x	TEZ-4363

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
Ottimizzazioni delle prestazioni nella suddivisione ORC	HIVE-21457
Evitare di leggere la tabella come ACID quando il nome della tabella inizia con "delta", ma la tabella non è transazionale e viene usata la strategia di divisione BI	HIVE-22582
Rimuovere una chiamata FS#exists da AcidUtils#getLogicalLength	HIVE-23533
OrcAcidRowBatchReader.computeOffset vettorializzato e ottimizzazione bucket	HIVE-17917

Problemi noti

Data di rilascio: 03/06/2022

Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area in diversi giorni.

Principali caratteristiche della versione

Hive Warehouse Connector (HWC) in Spark v3.1.2

Hive Warehouse Connector (HWC) consente di sfruttare le funzionalità uniche di Hive e Spark per creare potenti applicazioni Big Data. HWC è attualmente supportato solo per Spark v2.4. Questa funzionalità aggiunge valore aziendale consentendo transazioni ACID nelle tabelle Hive tramite Spark. Questa funzionalità è utile per i clienti che usano Hive e Spark nel proprio patrimonio di dati. Per altre informazioni, vedere Apache Spark & Hive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs

Ambari

Modifiche al ridimensionamento e al provisioning
Hive HDI è ora compatibile con OSS versione 3.1.2

La versione Hive 3.1 di HDI viene aggiornata a OSS Hive 3.1.2. Questa versione include tutte le correzioni e le funzionalità disponibili nella versione Open Source Hive 3.1.2.

Nota

Spark

Se si usa l'interfaccia utente di Azure per creare un cluster Spark per HDInsight, verrà visualizzato nell'elenco a discesa un'altra versione di Spark 3.1. (HDI 5.0) insieme alle versioni precedenti. Questa versione è una versione rinominata di Spark 3.1. (HDI 4.0). Si tratta solo di una modifica a livello di interfaccia utente, che non influisce su nulla per gli utenti e gli utenti esistenti che usano già il modello di Resource Manager.

Screenshot_of spark 3.1 per HDI 5.0.

Nota

Interactive Query

Se si crea un cluster Interactive Query, nell'elenco a discesa verrà visualizzata un'altra versione come Interactive Query 3.1 (HDI 5.0).
Se si intende usare Spark 3.1 versione insieme a Hive che richiedono il supporto ACID, è necessario selezionare questa versione Interactive Query 3.1 (HDI 5.0).

Screenshot_of query interattiva 3.1 per HDI 5.0.

Correzioni di bug TEZ

Correzioni di bug	Apache JIRA
TezUtils.createConfFromByteString in Configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils createByteStringFromConf deve usare snappy anziché DeflaterOutputStream	TEZ-4113

Correzioni di bug di HBase

Correzioni di bug	Apache JIRA
TableSnapshotInputFormat deve usare ReadType.STREAM per l'analisi `HFiles`	HBASE-26273
Aggiungere l'opzione per disabilitare scanMetrics in TableSnapshotInputFormat	HBASE-26330
Correzione per ArrayIndexOutOfBoundsException quando viene eseguito il servizio di bilanciamento	HBASE-22739

Correzioni di bug Hive

Correzioni di bug	Apache JIRA
NpE durante l'inserimento di dati con clausola 'distribute by' con ottimizzazione dell'ordinamento dynpart	HIVE-18284
Il comando MSCK REPAIR con filtro delle partizioni ha esito negativo durante l'eliminazione delle partizioni	HIVE-23851
Eccezione errata generata se capacity<=0	HIVE-25446
Supporto del caricamento parallelo per HastTables - Interfacce	HIVE-25583
Includi MultiDelimitSerDe in HiveServer2 per impostazione predefinita	HIVE-20619
Rimuovere le classi glassfish.jersey e mssql-jdbc da jdbc-standalone jar	HIVE-22134
Eccezione del puntatore Null in caso di compattazione in esecuzione su una tabella MM.	HIVE-21280
Query Hive con dimensioni elevate tramite `knox` errore con errore scrittura pipe interrotta	HIVE-22231
Aggiunta della possibilità per l'utente di impostare l'associazione utente	HIVE-21009
Implementare la funzione definita dall'utente per interpretare data/timestamp usando la relativa rappresentazione interna e il calendario ibrido gregoriano-julian	HIVE-22241
Opzione Beeline per visualizzare/non visualizzare il report di esecuzione	HIVE-22204
Tez: SplitGenerator tenta di cercare i file di piano, che non esistono per Tez	HIVE-22169
Rimuovere la registrazione costosa dalla cache LLAP `hotpath`	HIVE-22168
Funzione definita dall'utente: FunctionRegistry sincronizza la classe org.apache.hadoop.hive.ql.udf.UDFType	HIVE-22161
Impedire la creazione dell'appender di routing delle query se la proprietà è impostata su false	HIVE-22115
Rimuovere la sincronizzazione tra query per partition-eval	HIVE-22106
Ignorare la configurazione di hive scratch dir durante la pianificazione	HIVE-21182
Ignorare la creazione di scratch dirs per tez se RPC è attivo	HIVE-21171
impostare funzioni definite dall'utente Hive per l'uso del `Re2J` motore regex	HIVE-19661
Le tabelle cluster di cui è stata eseguita la migrazione con bucketing_version 1 in hive 3 usano bucketing_version 2 per gli inserimenti	HIVE-22429
Bucketing: il bucket versione 1 esegue erroneamente il partizionamento dei dati	HIVE-21167
Aggiunta dell'intestazione della licenza ASF al file appena aggiunto	HIVE-22498
Miglioramenti dello strumento dello schema per supportare mergeCatalog	HIVE-22498
Hive con TEZ UNION ALL e UDTF comporta la perdita di dati	HIVE-21915
Dividere i file di testo anche se esiste un'intestazione o un piè di pagina	HIVE-21924
MultiDelimitSerDe restituisce risultati errati nell'ultima colonna quando il file caricato contiene più colonne di quelle presenti nello schema della tabella	HIVE-22360
Client esterno LLAP - È necessario ridurre il footprint LlapBaseInputFormat#getSplits()	HIVE-22221
Il nome della colonna con parola chiave riservata non esegue il escape quando la query inclusa l'aggiunta alla tabella con la colonna mask viene riscritta (Zoltan Matyus tramite Zoltan Haindrich)	HIVE-22208
Impedire l'arresto LLAP in `AMReporter` RuntimeException correlato	HIVE-22113
Il driver del servizio di stato LLAP potrebbe rimanere bloccato con l'ID app Yarn errato	HIVE-21866
OperationManager.queryIdOperation non pulisce correttamente più id query	HIVE-22275
Portare un gestore di nodi inattivo blocchi di riavvio del servizio LLAP	HIVE-22219
StackOverflowError quando si eliminano un numero elevato di partizioni	HIVE-15956
Controllo di accesso non riuscito quando viene rimossa una directory temporanea	HIVE-22273
Correzione di risultati errati/eccezione ArrayOutOfBound nei join di mapping esterni a sinistra in condizioni limite specifiche	HIVE-22120
Rimuovere il tag di gestione della distribuzione da pom.xml	HIVE-19667
Il tempo di analisi può essere elevato se sono presenti sottoquery annidate in modo approfondito	HIVE-21980
Per ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); `TBL_TYPE` modifiche dell'attributo che non riflettono per i caps non	HIVE-20057
JDBC: interfacce shades `log4j` HiveConnection	HIVE-18874
Aggiornare gli URL del repository in `poms` - Versione 3.1 del ramo	HIVE-21786
`DBInstall` test interrotti su master e branch-3.1	HIVE-21758
Il caricamento dei dati in una tabella in bucket ignora le specifiche delle partizioni e carica i dati nella partizione predefinita	HIVE-21564
Le query con condizione di join con timestamp o timestamp con valore letterale fuso orario locale generano SemanticException	HIVE-21613
Analizzare le statistiche di calcolo per la colonna lasciare il dir di staging in HDFS	HIVE-21342
Modifica incompatibile nel calcolo del bucket Hive	HIVE-21376
Fornire un autorizzatore di fallback quando nessun altro autorizzatore è in uso	HIVE-20420
Alcune chiamate alterPartitions generano 'NumberFormatException: null'	HIVE-18767
HiveServer2: l'oggetto preautenticato per il trasporto HTTP non viene conservato per tutta la durata della comunicazione HTTP in alcuni casi	HIVE-20555

Data di rilascio: 10/03/2022

Le versioni del sistema operativo per questa versione sono:

HDInsight 4.0: Ubuntu 18.04.5

Spark 3.1 è ora disponibile a livello generale

Spark 3.1 è ora disponibile a livello generale nella versione HDInsight 4.0. Questa versione include

Esecuzione di query adattive,
Convertire l'unione di ordinamento in broadcast hash join,
Spark Catalyst Optimizer,
Eliminazione dinamica delle partizioni,
I clienti potranno creare nuovi cluster Spark 3.1 e non cluster Spark 3.0 (anteprima).

Per altre informazioni, vedere Apache Spark 3.1 è ora disponibile a livello generale in HDInsight - Microsoft Tech Community.

Per un elenco completo dei miglioramenti, vedere le note sulla versione di Apache Spark 3.1.

Per altre informazioni sulla migrazione, vedere la guida alla migrazione.

Kafka 2.4 è ora disponibile a livello generale

Kafka 2.4.1 è ora disponibile a livello generale. Per altre informazioni, vedere Note sulla versione di Kafka 2.4.1. Altre funzionalità includono la disponibilità di MirrorMaker 2, la nuova categoria di metriche partizione dell'argomento AtMinIsr, il tempo di avvio migliorato del broker per lazy su richiesta mmap di file di indice, altre metriche consumer per osservare il comportamento del polling degli utenti.

Il tipo di dati mappa in HWC è ora supportato in HDInsight 4.0

Questa versione include il supporto map datatype per HWC 1.0 (Spark 2.4) tramite l'applicazione spark-shell e tutti gli altri client Spark supportati da HWC. I miglioramenti seguenti sono inclusi come qualsiasi altro tipo di dati:

Un utente può

Creare una tabella Hive con qualsiasi colonna contenente il tipo di dati Map, inserire i dati e leggerne i risultati.
Creare un dataframe Apache Spark con tipo di mappa ed eseguire operazioni di lettura e scrittura batch/flusso.

Nuove aree

HDInsight ha ora ampliato la propria presenza geografica a due nuove aree: Cina orientale 3 e Cina settentrionale 3.

Modifiche al backport del sistema operativo

Backport OSS inclusi in Hive, tra cui HWC 1.0 (Spark 2.4) che supporta il tipo di dati Map.

Di seguito sono riportati gli apache JIRA di OSS di cui è stato eseguito il backporting per questa versione:

Funzionalità interessata	Apache JIRA
Le query SQL dirette del metastore con IN/(NOT IN) devono essere suddivise in base ai parametri massimi consentiti dal database SQL	HIVE-25659
Aggiornamento `log4j` dalla versione 2.16.0 alla versione 2.17.0	HIVE-25825
Aggiornare la `Flatbuffer` versione	HIVE-22827
Supportare il tipo di dati mappa in modo nativo in formato freccia	HIVE-25553
Client esterno LLAP: gestire i valori annidati quando lo struct padre è Null	HIVE-25243
Aggiornare la versione della freccia alla versione 0.11.0	HIVE-23987

Avvisi di deprecazione

Azure set di scalabilità di macchine virtuali in HDInsight

HDInsight non userà più Azure set di scalabilità di macchine virtuali per effettuare il provisioning dei cluster, non è prevista alcuna modifica di rilievo. I cluster HDInsight esistenti nei set di scalabilità di macchine virtuali non hanno alcun impatto, i nuovi cluster nelle immagini più recenti non useranno più set di scalabilità di macchine virtuali.

Il ridimensionamento dei carichi di lavoro HBase di Azure HDInsight sarà ora supportato solo usando la scalabilità manuale

A partire dal 01 marzo 2022, HDInsight supporterà solo la scalabilità manuale per HBase, senza alcun impatto sull'esecuzione dei cluster. I nuovi cluster HBase non saranno in grado di abilitare la scalabilità automatica basata sulla pianificazione. Per altre informazioni su come ridimensionare manualmente il cluster HBase, vedere la documentazione relativa al ridimensionamento manuale dei cluster Azure HDInsight

Data di rilascio: 27/12/2021

Le versioni del sistema operativo per questa versione sono:

HDInsight 4.0: Ubuntu 18.04.5 LTS

L'immagine HDInsight 4.0 è stata aggiornata per attenuare la Log4j vulnerabilità, come descritto in Risposta di Microsoft a CVE-2021-44228 Apache Log4j 2.

Nota

Tutti i cluster HDI 4.0 creati dopo il 27 dicembre 2021 00:00 UTC vengono creati con una versione aggiornata dell'immagine che attenua le log4j vulnerabilità. Di conseguenza, i clienti non devono applicare patch o riavviare questi cluster.
Per i nuovi cluster HDInsight 4.0 creati tra il 16 dicembre 2021 alle 01:15 UTC e il 27 dicembre 2021 00:00 UTC, HDInsight 3.6 o nelle sottoscrizioni aggiunte dopo il 16 dicembre 2021 la patch viene applicata automaticamente entro l'ora in cui viene creato il cluster, tuttavia i clienti devono riavviare i nodi per il completamento dell'applicazione delle patch (ad eccezione dei nodi di gestione Kafka, che vengono riavviati automaticamente).

Data di rilascio: 27/07/2021

Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.

Le versioni del sistema operativo per questa versione sono:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Nuove funzionalità

Il supporto di Azure HDInsight per la connettività pubblica con restrizioni è disponibile a livello generale il 15 ottobre 2021

Azure HDInsight supporta ora la connettività pubblica con restrizioni in tutte le aree. Di seguito sono riportate alcune delle principali caratteristiche di questa funzionalità:

Possibilità di invertire la comunicazione tra provider di risorse e cluster in modo che sia in uscita dal cluster al provider di risorse
Supporto per l'uso di risorse abilitate per il proprio collegamento privato (ad esempio, archiviazione, SQL, insieme di credenziali delle chiavi) per il cluster HDInsight per accedere alle risorse solo tramite rete privata
Non viene effettuato il provisioning di indirizzi IP pubblici

Usando questa nuova funzionalità, è anche possibile ignorare le regole dei tag del servizio del gruppo di sicurezza di rete in ingresso (NSG) per gli INDIRIZZI IP di gestione di HDInsight. Altre informazioni sulla limitazione della connettività pubblica

Il supporto di Azure HDInsight per collegamento privato di Azure è disponibile a livello generale il 15 ottobre 2021

È ora possibile usare endpoint privati per connettersi ai cluster HDInsight tramite collegamento privato. Il collegamento privato può essere usato in scenari tra reti virtuali in cui il peering reti virtuali non è disponibile o abilitato.

Collegamento privato di Azure consente di accedere ai servizi PaaS di Azure, ad esempio Archiviazione di Azure e Database SQL, nonché ai servizi di proprietà di clienti/partner ospitati in Azure tramite un endpoint privato nella rete virtuale.

Il traffico tra la rete virtuale e il servizio attraversa la rete del backbone Microsoft. L'esposizione del servizio sulla rete Internet pubblica non è più necessaria.

Per altre informazioni, abilitare il collegamento privato. 

Nuova esperienza di integrazione di Monitoraggio di Azure (anteprima)

La nuova esperienza di integrazione di Monitoraggio di Azure sarà disponibile in anteprima negli Stati Uniti orientali e nell'Europa occidentale con questa versione. Altre informazioni dettagliate sulla nuova esperienza di Monitoraggio di Azure sono disponibili qui.

Deprecazione

La versione di HDInsight 3.6 è deprecata a partire dal 01 ottobre 2022.

Modifiche del comportamento

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

Man mano che gli scenari dei clienti crescono più maturi e diversificati, sono state identificate alcune limitazioni con la scalabilità automatica basata su caricamento di Interactive Query (LLAP). Queste limitazioni sono causate dalla natura delle dinamiche delle query LLAP, dai problemi futuri di accuratezza della stima del carico e dai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando la scalabilità automatica è abilitata. L'effetto sulle prestazioni può superare i vantaggi dei costi della scalabilità automatica.

A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica basata sul carico nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.

Microsoft consiglia di passare a una scalabilità automatica basata su pianificazione per LLAP. È possibile analizzare il modello di utilizzo corrente del cluster tramite il dashboard di Grafana Hive. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.

Modifiche imminenti

Le modifiche seguenti si verificano nelle prossime versioni.

Il componente LLAP predefinito nel cluster ESP Spark verrà rimosso

Il cluster HDInsight 4.0 ESP Spark include componenti LLAP predefiniti in esecuzione in entrambi i nodi head. I componenti LLAP nel cluster ESP Spark sono stati originariamente aggiunti per HDInsight 3.6 ESP Spark, ma non ha un caso utente reale per HDInsight 4.0 ESP Spark. Nella prossima versione pianificata a settembre 2021, HDInsight rimuoverà il componente LLAP predefinito dal cluster HDInsight 4.0 ESP Spark. Questa modifica consente di eseguire l'offload del carico di lavoro del nodo head ed evitare confusione tra il tipo di cluster ESP Spark ed ESP Interactive Hive.

Nuova area

Stati Uniti occidentali 3
Jio India occidentale
Australia centrale

Modifica della versione dei componenti

La versione del componente seguente è stata modificata con questa versione:

Versione ORC dalla 1.5.1 alla versione 1.5.9

In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Back ported JIRAs

Di seguito sono riportati i back porting di Apache JIRAs per questa versione:

Funzionalità interessata	Apache JIRA
Data/Timestamp	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
Funzione definita dall'utente	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
Schema tabella	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
Gestione del carico di lavoro	HIVE-24201
Compattamento	HIVE-24882
	HIVE-23058
	HIVE-23046
Vista materializzata	HIVE-22566

Correzione dei prezzi per HDInsight `Dv2` Macchine virtuali

È stato corretto un errore relativo ai prezzi il 25 aprile 2021 per la Dv2 serie di macchine virtuali in HDInsight. L'errore relativo ai prezzi ha generato un addebito ridotto sulle fatture di alcuni clienti prima del 25 aprile e con la correzione, i prezzi corrispondono ora a quelli annunciati nella pagina dei prezzi di HDInsight e nel calcolatore dei prezzi di HDInsight. L'errore relativo ai prezzi ha interessato i clienti nelle aree seguenti che hanno usato Dv2 le macchine virtuali:

Canada centrale
Canada orientale
Asia orientale
Sudafrica settentrionale
Asia sud-orientale
Emirati Arabi Uniti centrali

A partire dal 25 aprile 2021, l'importo corretto per le Dv2 macchine virtuali sarà sul tuo account. Le notifiche dei clienti sono state inviate ai proprietari delle sottoscrizioni prima della modifica. È possibile usare il calcolatore prezzi, la pagina prezzi di HDInsight o il pannello Crea cluster HDInsight nel portale di Azure per visualizzare i costi corretti per Dv2 le macchine virtuali nell'area.

Non sono necessarie altre azioni da parte dell'utente. La correzione dei prezzi verrà applicata solo per l'utilizzo il 25 aprile 2021 nelle aree specificate e non per alcun utilizzo prima di questa data. Per assicurarsi di avere la soluzione più efficiente e conveniente, è consigliabile esaminare i prezzi, la VCPU e la RAM per i Dv2 cluster e confrontare le Dv2 specifiche con le macchine virtuali per verificare se la Ev3 soluzione trarrà vantaggio dall'uso di una delle serie di macchine virtuali più recenti.

Data di rilascio: 02/06/2021

Le versioni del sistema operativo per questa versione sono:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Nuove funzionalità

Aggiornamento della versione del sistema operativo

Come indicato nel ciclo di rilascio di Ubuntu, il kernel Ubuntu 16.04 raggiunge la fine della vita (EOL) nell'aprile 2021. È stata avviata l'implementazione della nuova immagine del cluster HDInsight 4.0 in esecuzione in Ubuntu 18.04 con questa versione. I cluster HDInsight 4.0 appena creati vengono eseguiti in Ubuntu 18.04 per impostazione predefinita una volta disponibili. I cluster esistenti in Ubuntu 16.04 vengono eseguiti così come sono con il supporto completo.

HDInsight 3.6 continuerà a essere eseguito in Ubuntu 16.04. Passerà al supporto Basic (dal supporto Standard) a partire dal 1° luglio 2021. Per altre informazioni sulle date e sulle opzioni di supporto, vedere Versioni di Azure HDInsight. Ubuntu 18.04 non sarà supportato per HDInsight 3.6. Se si vuole usare Ubuntu 18.04, è necessario eseguire la migrazione dei cluster a HDInsight 4.0.

È necessario eliminare e ricreare i cluster se si vuole spostare i cluster HDInsight 4.0 esistenti in Ubuntu 18.04. Pianificare la creazione o la ricreazione dei cluster dopo che il supporto di Ubuntu 18.04 diventa disponibile.

Dopo aver creato il nuovo cluster, è possibile connettersi tramite SSH al cluster ed eseguire sudo lsb_release -a per verificare che venga eseguito in Ubuntu 18.04. È consigliabile testare le applicazioni nelle sottoscrizioni di test prima di passare all'ambiente di produzione.

Ottimizzazioni del ridimensionamento nei cluster di scrittura accelerati di HBase

HDInsight ha apportato alcuni miglioramenti e ottimizzazioni sul ridimensionamento per i cluster abilitati per la scrittura accelerata di HBase. Altre informazioni sulla scrittura accelerata di HBase.

Deprecazione

Nessuna deprecazione in questa versione.

Modifiche del comportamento

Disabilitare le dimensioni Stardard_A5 macchina virtuale come nodo head per HDInsight 4.0

Il nodo head del cluster HDInsight è responsabile dell'inizializzazione e della gestione del cluster. Standard_A5 dimensioni delle macchine virtuali presenta problemi di affidabilità come nodo head per HDInsight 4.0. A partire da questa versione, i clienti non potranno creare nuovi cluster con dimensioni Standard_A5 macchina virtuale come nodo head. È possibile usare altre macchine virtuali a due core, ad esempio E2_v3 o E2s_v3. I cluster esistenti verranno eseguiti così come sono. È consigliabile usare una macchina virtuale a quattro core per head node per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight di produzione.

Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure

HDInsight esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Le interfacce di rete per le macchine virtuali non sono più visibili ai clienti per i cluster che usano set di scalabilità di macchine virtuali di Azure.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.

La denominazione dell'host della macchina virtuale verrà modificata il 1° luglio 2021

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Questa migrazione modificherà il formato del nome FQDN del nome host del cluster e i numeri nel nome host non saranno garantiti in sequenza. Per ottenere i nomi FQDN per ogni nodo, vedere Trovare i nomi host dei nodi del cluster.

Passare ai set di scalabilità di macchine virtuali di Azure

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.

Data di rilascio: 24/03/2021

Nuove funzionalità

Anteprima di Spark 3.0

HDInsight ha aggiunto il supporto di Spark 3.0.0 a HDInsight 4.0 come funzionalità di anteprima.

Anteprima di Kafka 2.4

HDInsight ha aggiunto il supporto kafka 2.4.1 a HDInsight 4.0 come funzionalità di anteprima.

`Eav4`Supporto di serie

In questa versione è stato aggiunto Eav4il supporto della serie -series.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.

Deprecazione

Nessuna deprecazione in questa versione.

Modifiche del comportamento

La versione predefinita del cluster viene modificata in 4.0

La versione predefinita del cluster HDInsight viene modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere versioni disponibili. Altre informazioni sulle novità di HDInsight 4.0.

Le dimensioni predefinite delle macchine virtuali del cluster vengono modificate in `Ev3`-series

Le dimensioni predefinite delle macchine virtuali del cluster vengono modificate da serie D a Ev3serie -. Questa modifica si applica ai nodi head e ai nodi di lavoro. Per evitare che questa modifica influisca sui flussi di lavoro testati, specificare le dimensioni della macchina virtuale da usare nel modello di Resource Manager.

Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

Man mano che gli scenari dei clienti crescono più maturi e diversificati, sono state identificate alcune limitazioni con la scalabilità automatica basata su caricamento di Interactive Query (LLAP). Queste limitazioni sono causate dalla natura delle dinamiche delle query LLAP, dai problemi futuri di accuratezza della stima del carico e dai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando la scalabilità automatica è abilitata. L'impatto sulle prestazioni può superare i vantaggi dei costi della scalabilità automatica.

A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.

Aggiornamento della versione del sistema operativo

I cluster HDInsight sono attualmente in esecuzione in Ubuntu 16.04 LTS. Come indicato nel ciclo di rilascio di Ubuntu, il kernel Ubuntu 16.04 raggiungerà la fine della vita (EOL) nell'aprile 2021. Si inizierà a implementare la nuova immagine del cluster HDInsight 4.0 in esecuzione in Ubuntu 18.04 a maggio 2021. I cluster HDInsight 4.0 appena creati verranno eseguiti in Ubuntu 18.04 per impostazione predefinita, una volta disponibili. I cluster esistenti in Ubuntu 16.04 verranno eseguiti così come sono con supporto completo.

HDInsight 3.6 continuerà a essere eseguito in Ubuntu 16.04. Raggiungerà la fine del supporto standard entro il 30 giugno 2021 e passerà al supporto Basic a partire dal 1° luglio 2021. Per altre informazioni sulle date e sulle opzioni di supporto, vedere Versioni di Azure HDInsight. Ubuntu 18.04 non sarà supportato per HDInsight 3.6. Se si vuole usare Ubuntu 18.04, è necessario eseguire la migrazione dei cluster a HDInsight 4.0.

È necessario eliminare e ricreare i cluster se si vuole spostare i cluster esistenti in Ubuntu 18.04. Pianificare la creazione o la ricreazione del cluster dopo la disponibilità del supporto di Ubuntu 18.04. Verrà inviata un'altra notifica dopo che la nuova immagine diventa disponibile in tutte le aree.

È consigliabile testare in anticipo le azioni script e le applicazioni personalizzate distribuite nei nodi perimetrali in una macchina virtuale Ubuntu 18.04. È possibile creare una macchina virtuale Ubuntu Linux nella versione 18.04-LTS, quindi creare e usare una coppia di chiavi SSH (Secure Shell) nella macchina virtuale per eseguire e testare le azioni script e le applicazioni personalizzate distribuite nei nodi perimetrali.

Disabilitare le dimensioni Stardard_A5 macchina virtuale come nodo head per HDInsight 4.0

Il nodo head del cluster HDInsight è responsabile dell'inizializzazione e della gestione del cluster. Standard_A5 dimensioni delle macchine virtuali presenta problemi di affidabilità come nodo head per HDInsight 4.0. A partire dalla versione successiva di maggio 2021, i clienti non potranno creare nuovi cluster con dimensioni Standard_A5 macchina virtuale come nodo head. È possibile usare altre macchine virtuali a 2 core, ad esempio E2_v3 o E2s_v3. I cluster esistenti verranno eseguiti così come sono. È consigliabile usare una macchina virtuale a 4 core per il nodo head per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight di produzione.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Aggiunta del supporto per Spark 3.0.0 e Kafka 2.4.1 come anteprima. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 05/02/2021

Nuove funzionalità

Supporto della serie Dav4

HdInsight ha aggiunto il supporto della serie Dav4 in questa versione. Altre informazioni sulla serie Dav4 sono disponibili qui.

Disponibilità generale del proxy REST Kafka

Il proxy REST Kafka consente di interagire con il cluster Kafka tramite un'API REST tramite HTTPS. Il proxy REST Kafka è disponibile a partire da questa versione. Altre informazioni sul proxy REST Kafka sono disponibili qui.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.

Deprecazione

Dimensioni delle macchine virtuali disabilitate

A partire dal 9 gennaio 2021, HDInsight bloccherà tutti i clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.

Modifiche del comportamento

Le dimensioni predefinite della macchina virtuale del cluster vengono cambiate in `Ev3`-series

Le dimensioni predefinite delle macchine virtuali del cluster verranno modificate da serie D a Ev3serie -. Questa modifica si applica ai nodi head e ai nodi di lavoro. Per evitare che questa modifica influisca sui flussi di lavoro testati, specificare le dimensioni della macchina virtuale da usare nel modello di Resource Manager.

Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

La versione predefinita del cluster verrà modificata in 4.0

A partire da febbraio 2021, la versione predefinita del cluster HDInsight verrà modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere versioni disponibili. Altre informazioni sulle novità di HDInsight 4.0.

Aggiornamento della versione del sistema operativo

HDInsight sta aggiornando la versione del sistema operativo da Ubuntu 16.04 a 18.04. L'aggiornamento verrà completato prima di aprile 2021.

Fine del supporto di HDInsight 3.6 il 30 giugno 2021

HDInsight 3.6 terminerà il supporto. A partire dal 30 giugno 2021, i clienti non possono creare nuovi cluster HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 18/11/2020

Nuove funzionalità

Rotazione automatica delle chiavi per la crittografia dei dati inattivi della chiave gestita dal cliente

A partire da questa versione, i clienti possono usare gli URL delle chiavi di crittografia senza versione di Azure KeyValut per la crittografia dei dati inattivi della chiave gestita dal cliente. HDInsight ruota automaticamente le chiavi in base alla scadenza o alla sostituzione con le nuove versioni. Altre informazioni sono disponibili qui.

Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services

HDInsight in precedenza non supportava la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito è A2_v2/A2 dimensioni delle macchine virtuali, che vengono fornite gratuitamente. In questa versione è possibile selezionare una dimensione di macchina virtuale Zookeeper più appropriata per lo scenario. Verranno addebitati i nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2. A2_v2 e le macchine virtuali A2 sono ancora disponibili gratuitamente.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da questa versione, il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.

Deprecazione

Deprecazione del cluster HDInsight 3.6 ML Services

Il tipo di cluster HDInsight 3.6 ML Services terminerà entro il 31 dicembre 2020. I clienti non potranno creare nuovi cluster ml services 3.6 dopo il 31 dicembre 2020. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.

Dimensioni delle macchine virtuali disabilitate

A partire dal 16 novembre 2020, HDInsight bloccherà i nuovi clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I clienti esistenti che hanno usato queste dimensioni delle macchine virtuali negli ultimi tre mesi non saranno interessati. A partire dal 9 gennaio 2021, HDInsight bloccherà tutti i clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.

Modifiche del comportamento

Aggiungere il controllo delle regole del gruppo di sicurezza di rete prima dell'operazione di ridimensionamento

HDInsight ha aggiunto gruppi di sicurezza di rete (NSG) e route definite dall'utente controllando con l'operazione di ridimensionamento. La stessa convalida viene eseguita per il ridimensionamento del cluster oltre alla creazione del cluster. Questa convalida consente di evitare errori imprevedibili. Se la convalida non viene superata, il ridimensionamento ha esito negativo. Altre informazioni su come configurare correttamente gruppi di sicurezza di rete e route definite dall'utente, vedere Indirizzi IP di gestione di HDInsight.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 09/11/2020

Nuove funzionalità

HDInsight Identity Broker (HIB) è ora disponibile a livello generale

HDInsight Identity Broker (HIB) che abilita l'autenticazione OAuth per i cluster ESP è ora disponibile a livello generale con questa versione. I cluster HIB creati dopo questa versione avranno le funzionalità HIB più recenti:

Disponibilità elevata
Supporto per l'autenticazione a più fattori (MFA)
Gli utenti federati accedono senza sincronizzazione dell'hash delle password ad AAD-DS Per altre informazioni, vedere la documentazione di HIB.

Passaggio a set di scalabilità di macchine virtuali

Deprecazione

Deprecazione del cluster HDInsight 3.6 ML Services

Il tipo di cluster HDInsight 3.6 ML Services terminerà entro il 31 dicembre 2020. I clienti non creerà nuovi cluster ml services 3.6 dopo il 31 dicembre 2020. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.

Dimensioni delle macchine virtuali disabilitate

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services

HDInsight attualmente non supporta la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito è A2_v2/A2 dimensioni delle macchine virtuali, che vengono fornite gratuitamente. Nella prossima versione è possibile selezionare le dimensioni di una macchina virtuale Zookeeper più appropriata per lo scenario in uso. Verranno addebitati i nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2. A2_v2 e le macchine virtuali A2 sono ancora disponibili gratuitamente.

La versione predefinita del cluster verrà modificata in 4.0

A partire da febbraio 2021, la versione predefinita del cluster HDInsight verrà modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere Versioni supportate. Altre informazioni sulle novità di HDInsight 4.0

Fine del supporto di HDInsight 3.6 il 30 giugno 2021

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Correzione del problema per il riavvio delle macchine virtuali nel cluster

Il problema per il riavvio delle macchine virtuali nel cluster è stato risolto, è possibile usare PowerShell o l'API REST per riavviare i nodi nel cluster .

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 08/10/2020

Nuove funzionalità

Cluster privati HDInsight senza indirizzo IP pubblico e collegamento privato (anteprima)

HDInsight supporta ora la creazione di cluster senza ip pubblico e accesso al collegamento privato ai cluster in anteprima. I clienti possono usare le nuove impostazioni di rete avanzate per creare un cluster completamente isolato senza ip pubblico e usare i propri endpoint privati per accedere al cluster.

Passaggio a set di scalabilità di macchine virtuali

Deprecazione

Deprecazione del cluster HDInsight 3.6 ML Services

Il tipo di cluster HDInsight 3.6 ML Services terminerà il supporto entro il 31 dicembre 2020. I clienti non creerà nuovi cluster ML Services 3.6 dopo questo. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 28/09/2020

Nuove funzionalità

La scalabilità automatica per Interactive Query con HDInsight 4.0 è ora disponibile a livello generale

La scalabilità automatica per il tipo di cluster Interactive Query è ora disponibile a livello generale per HDInsight 4.0. Tutti i cluster Interactive Query 4.0 creati dopo il 27 agosto 2020 avranno il supporto ga per la scalabilità automatica.

Il cluster HBase supporta AdLS Gen2 Premium

HDInsight supporta ora ADLS Gen2 Premium come account di archiviazione primario per cluster HDInsight HBase 3.6 e 4.0. Insieme alle scritture accelerate, è possibile ottenere prestazioni migliori per i cluster HBase.

Distribuzione delle partizioni Kafka nei domini di errore di Azure

Un dominio di errore è un raggruppamento logico dell'hardware sottostante in un data center di Azure. Ogni dominio di errore condivide una fonte di alimentazione e un commutatore di rete comuni. Prima che HDInsight Kafka archivii tutte le repliche di partizione nello stesso dominio di errore. A partire da questa versione, HDInsight supporta ora la distribuzione automatica delle partizioni Kafka in base ai domini di errore di Azure.

Crittografia dei dati in transito

I clienti possono abilitare la crittografia in transito tra i nodi del cluster usando la crittografia IPSec con chiavi gestite dalla piattaforma. Questa opzione può essere abilitata al momento della creazione del cluster. Vedere altri dettagli su come abilitare la crittografia in transito.

Crittografia a livello di host

Quando si abilita la crittografia nell'host, i dati archiviati nell'host della macchina virtuale vengono crittografati inattivi e i flussi crittografati nel servizio di archiviazione. In questa versione è possibile abilitare la crittografia nell'host nel disco dati temporaneo durante la creazione del cluster. La crittografia nell'host è supportata solo in determinati SKU di macchine virtuali in aree limitate. HDInsight supporta la configurazione del nodo e gli SKU seguenti. Vedere altri dettagli su come abilitare la crittografia nell'host.

Passaggio a set di scalabilità di macchine virtuali

Deprecazione

Nessuna deprecazione per questa versione.

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diversi SKU Zookeeper per Spark, Hadoop e ML Services

HDInsight attualmente non supporta la modifica dello SKU Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Usa A2_v2/A2 SKU per i nodi Zookeeper e i clienti non vengono addebitati i costi. Nella versione futura i clienti possono modificare lo SKU Zookeeper per Spark, Hadoop e ML Services in base alle esigenze. Verranno addebitati i nodi Zookeeper con SKU diversi da A2_v2/A2. Lo SKU predefinito sarà comunque A2_V2/A2 e gratuito.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 09/08/2020

Questa versione si applica solo per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.

Nuove funzionalità

Supporto per SparkCruise

SparkCruise è un sistema di riutilizzo automatico del calcolo per Spark. Seleziona sottoespressioni comuni da materializzare in base al carico di lavoro della query precedente. SparkCruise materializza queste sottoespressioni durante l'elaborazione delle query e il riutilizzo del calcolo vengono applicate automaticamente in background. È possibile trarre vantaggio da SparkCruise senza alcuna modifica al codice Spark.

Supporto della vista Hive per HDInsight 4.0

Apache Ambari Hive View è progettato per creare, ottimizzare ed eseguire query Hive dal Web browser. La vista Hive è supportata in modo nativo per i cluster HDInsight 4.0 a partire da questa versione. Non si applica ai cluster esistenti. È necessario eliminare e ricreare il cluster per ottenere la visualizzazione Hive predefinita.

Supporto della visualizzazione Tez per HDInsight 4.0

La vista Apache Tez viene usata per tenere traccia ed eseguire il debug dell'esecuzione del processo Hive Tez. La visualizzazione Tez è supportata in modo nativo per HDInsight 4.0 a partire da questa versione. Non si applica ai cluster esistenti. È necessario eliminare e ricreare il cluster per ottenere la visualizzazione Tez predefinita.

Deprecazione

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Kafka con Kafka 1.1 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Kafka 2.1 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Modifiche del comportamento

Modifica della versione dello stack Ambari

In questa versione, la versione di Ambari cambia da 2.x.x.x a 4.1. È possibile verificare la versione dello stack (HDInsight 4.1) in Ambari: Versioni utente > di Ambari>.

Modifiche imminenti

Nessuna modifica di rilievo imminente a cui è necessario prestare attenzione.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Di seguito vengono restituite le funzioni JIRA per Hive:

Di seguito vengono restituiti jiRA per HBase:

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Problemi noti

È stato risolto un problema nella portale di Azure, in cui gli utenti riscontravano un errore durante la creazione di un cluster Azure HDInsight usando un tipo di autenticazione SSH di chiave pubblica. Quando gli utenti hanno fatto clic su Rivedi e crea, riceveranno l'errore "Non deve contenere tre caratteri consecutivi dal nome utente SSH". Questo problema è stato risolto, ma potrebbe essere necessario aggiornare la cache del browser premendo CTRL+F5 per caricare la visualizzazione corretta. La soluzione alternativa a questo problema consiste nel creare un cluster con un modello di Resource Manager.

Data di rilascio: 13/07/2020

Questa versione è valida per HDInsight 3.6 e 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.

Nuove funzionalità

Supporto per Customer Lockbox per Microsoft Azure

Azure HDInsight supporta ora Customer Lockbox di Azure. Fornisce un'interfaccia che consente ai clienti di esaminare e approvare o rifiutare le richieste di accesso ai dati dei clienti. Viene usato quando il tecnico Microsoft deve accedere ai dati dei clienti durante una richiesta di supporto. Per altre informazioni, vedere Customer Lockbox per Microsoft Azure.

Criteri degli endpoint di servizio per l'archiviazione

I clienti possono ora usare i criteri degli endpoint di servizio (SEP) nella subnet del cluster HDInsight. Altre informazioni sui criteri degli endpoint di servizio di Azure.

Deprecazione

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

Modifiche del comportamento

Nessuna modifica del comportamento a cui è necessario prestare attenzione.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Possibilità di selezionare diversi SKU Zookeeper per Spark, Hadoop e ML Services

HDInsight attualmente non supporta la modifica dello SKU Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Usa A2_v2/A2 SKU per i nodi Zookeeper e i clienti non vengono addebitati i costi. Nella prossima versione i clienti potranno modificare lo SKU Zookeeper per Spark, Hadoop e ML Services in base alle esigenze. Verranno addebitati i nodi Zookeeper con SKU diversi da A2_v2/A2. Lo SKU predefinito sarà comunque A2_V2/A2 e gratuito.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Correzione del problema del connettore Hive Warehouse

Si è verificato un problema per l'usabilità del connettore Hive Warehouse nella versione precedente. Il problema è stato risolto.

Correzione del problema relativo agli zeri iniziali troncati dal notebook Zeppelin

Zeppelin tronca erroneamente gli zeri iniziali nell'output della tabella per formato stringa. Questo problema è stato risolto in questa versione.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.

Data di rilascio: 11/06/2020

Nuove funzionalità

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa macchine virtuali di Azure per effettuare il provisioning del cluster. Da questa versione, i cluster HDInsight creati iniziano a usare il set di scalabilità di macchine virtuali di Azure. La modifica viene implementata gradualmente. Non ci si dovrebbe aspettare alcuna modifica che causa un'interruzione. Vedere altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Riavviare le macchine virtuali nel cluster HDInsight

In questa versione è supportato il riavvio delle macchine virtuali nel cluster HDInsight per riavviare i nodi che non rispondono. Attualmente è possibile farlo solo tramite l'API, il supporto di PowerShell e dell'interfaccia della riga di comando è in corso. Per altre informazioni sull'API, vedere questo documento.

Deprecazione

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

Modifiche del comportamento

Modifica delle dimensioni del nodo head del cluster Spark ESP

La dimensione minima consentita del nodo head per il cluster ESP Spark viene modificata in Standard_D13_V2. Le macchine virtuali con core bassi e memoria come nodo head potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. A partire dal rilascio, usare SKU superiori a Standard_D13_V2 e Standard_E16_V3 come nodo head per i cluster SPARK ESP.

Per il nodo Head è necessaria una macchina virtuale con almeno 4 core

Per il nodo Head è necessaria una macchina virtuale con almeno 4 core per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight. A partire dal 6 aprile 2020, i clienti possono scegliere solo macchine virtuali con 4 core o più come nodo head per i nuovi cluster HDInsight. I cluster esistenti continueranno a funzionare come previsto.

Modifica del provisioning del nodo di lavoro del cluster

Quando l'80% dei nodi di lavoro è pronto, il cluster entra in fase operativa . In questa fase, i clienti possono eseguire tutte le operazioni del piano dati, ad esempio l'esecuzione di script e processi. Tuttavia, i clienti non possono eseguire alcuna operazione del piano di controllo, ad esempio l'aumento/riduzione. È supportata solo l'eliminazione.

Dopo la fase operativa , il cluster attende altri 60 minuti per i nodi di lavoro rimanenti del 20%. Alla fine di questo periodo di 60 minuti, il cluster passa alla fase di esecuzione , anche se tutti i nodi di lavoro non sono ancora disponibili. Quando un cluster entra nella fase di esecuzione , è possibile usarlo come di consueto. Entrambe le operazioni del piano di controllo, ad esempio l'aumento/riduzione delle prestazioni, e le operazioni del piano dati, come l'esecuzione di script e processi, vengono accettate. Se alcuni dei nodi di lavoro richiesti non sono disponibili, il cluster verrà contrassegnato come esito positivo parziale. Vengono addebitati i costi per i nodi distribuiti correttamente.

Creare una nuova entità servizio tramite HDInsight

In precedenza, con la creazione del cluster, i clienti possono creare una nuova entità servizio per accedere all'account ADLS Gen 1 connesso in portale di Azure. A partire dal 15 giugno 2020, la creazione di una nuova entità servizio non è possibile nel flusso di lavoro di creazione di HDInsight, è supportata solo l'entità servizio esistente. Vedere Creare un'entità servizio e certificati con Azure Active Directory.

Timeout per le azioni script con la creazione del cluster

HDInsight supporta l'esecuzione di azioni script con la creazione del cluster. Da questa versione, tutte le azioni script con la creazione del cluster devono essere completate entro 60 minuti o si timeout. Le azioni script inviate ai cluster in esecuzione non sono interessate. Altre informazioni sono disponibili qui.

Modifiche imminenti

Nessuna modifica di rilievo imminente a cui è necessario prestare attenzione.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

HBase da 2.0 a 2.1.6

La versione di HBase viene aggiornata dalla versione 2.0 alla versione 2.1.6.

Spark da 2.4.0 a 2.4.4

La versione di Spark viene aggiornata dalla versione 2.4.0 alla versione 2.4.4.

Kafka da 2.1.0 a 2.1.1

La versione di Kafka viene aggiornata dalla versione 2.1.0 alla versione 2.1.1.

In questo documento sono disponibili le versioni correnti dei componenti per HDInsight 4.0 ad HDInsight 3.6

Problemi noti

Problema del connettore Hive Warehouse

In questa versione si è verificato un problema per Hive Warehouse Connector. La correzione verrà inclusa nella versione successiva. I cluster esistenti creati prima di questa versione non sono interessati. Evitare di eliminare e ricreare il cluster, se possibile. Aprire il ticket di supporto se è necessaria ulteriore assistenza.

Data di rilascio: 09/01/2020

Nuove funzionalità

Imposizione di TLS 1.2

Transport Layer Security (TLS) e Secure Sockets Layer (SSL) sono protocolli di crittografia che consentono di proteggere le comunicazioni su una rete di computer. Altre informazioni su TLS. HDInsight usa TLS 1.2 sugli endpoint HTTP pubblici, ma TLS 1.1 è ancora supportato per la compatibilità con le versioni precedenti.

Con questa versione, i clienti possono scegliere TLS 1.2 solo per tutte le connessioni tramite l'endpoint del cluster pubblico. Per supportare questa operazione, è stata introdotta la nuova proprietà minSupportedTlsVersion, che può essere specificata durante la creazione del cluster. Se la proprietà non è impostata, il cluster supporta ancora TLS 1.0, 1.1 e 1.2, che corrisponde al comportamento odierno. I clienti possono impostare il valore di questa proprietà su "1.2", il che significa che il cluster supporterà solo TLS 1.2 e versioni successive. Per altre informazioni, vedere Transport Layer Security.

Bring your own key per la crittografia su disco

Tutti i dischi gestiti in HDInsight sono protetti con Crittografia del servizio di archiviazione di Azure. Per impostazione predefinita, i dati su tali dischi vengono crittografati usando chiavi gestite da Microsoft. A partire da questa versione, è possibile usare Bring Your Own Key (BYOK) per la crittografia del disco e gestirla con Azure Key Vault. La crittografia BYOK è una configurazione in un unico passaggio durante la creazione del cluster senza altri costi. È sufficiente registrare HDInsight come identità gestita con Azure Key Vault e aggiungere la chiave di crittografia quando si crea il cluster. Per altre informazioni, vedere Crittografia dischi con chiavi gestite dal cliente.

Deprecazione

Nessuna deprecazione per questa versione. Per prepararsi a deprecazioni future, vedere Prossime modifiche.

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione. Per prepararsi a modifiche future, vedere Prossime modifiche.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6

A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0

A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.

Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0

HBase da 2.0 a 2.1.6

Nella prossima release di HDInsight 4.0, la versione di HBase verrà aggiornata dalla 2.0 alla 2.1.6

Spark da 2.4.0 a 2.4.4

Nella prossima release di HDInsight 4.0, la versione di Spark verrà aggiornata dalla 2.4.0 alla 2.4.4

Kafka da 2.1.0 a 2.1.1

Nella prossima release di HDInsight 4.0, la versione di Kafka verrà aggiornata dalla 2.1.0 alla 2.1.1

Per il nodo Head è necessaria una macchina virtuale con almeno 4 core

Modifica delle dimensioni del nodo del cluster ESP Spark

Nella prossima release, le dimensioni minime del nodo consentite per il cluster ESP Spark verranno modificate in Standard_D13_V2. Le macchine virtuali della serie A possono causare problemi con il cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. Le macchine virtuali della serie A saranno deprecate per la creazione di nuovi cluster ESP.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Nella prossima release, HDInsight userà invece set di scalabilità di macchine virtuali di Azure. Altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Questa release non prevede alcuna modifica della versione dei componenti. Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono consultabili qui.

Data di rilascio: 17/12/2019

Questa versione è valida per HDInsight 3.6 e 4.0.

Nuove funzionalità

Tag di servizio

I tag di servizio semplificano la sicurezza per le macchine virtuali di Azure e le reti virtuali di Azure, consentendo di limitare facilmente l'accesso di rete ai servizi di Azure. È possibile usare i tag di servizio nelle regole del gruppo di sicurezza di rete (NSG) per consentire o negare il traffico verso un servizio di Azure specifico a livello globale o per area di Azure. Azure fornisce la manutenzione degli indirizzi IP sottostanti ogni tag. I tag del servizio HDInsight per i gruppi di sicurezza di rete (NSG) sono gruppi di indirizzi IP per i servizi di integrità e gestione. Questi gruppi consentono di ridurre al minimo la complessità per la creazione di regole di sicurezza. I clienti di HDInsight possono abilitare il tag di servizio tramite portale di Azure, PowerShell e API REST. Per altre informazioni, vedere Tag del servizio del gruppo di sicurezza di rete (NSG) per Azure HDInsight.

Database Ambari personalizzato

HDInsight consente ora di usare il proprio database SQL per Apache Ambari. È possibile configurare questo database Ambari personalizzato dal portale di Azure o tramite il modello di Resource Manager. Questa funzionalità consente di scegliere il database SQL appropriato per le esigenze di elaborazione e capacità. È anche possibile eseguire facilmente l'aggiornamento per soddisfare i requisiti di crescita aziendale. Per altre informazioni, vedere Configurare cluster HDInsight con un database Ambari personalizzato.

Database Ambari personalizzato.

Deprecazione

Nessuna deprecazione per questa versione. Per prepararsi a deprecazioni future, vedere Prossime modifiche.

Modifiche del comportamento

Nessuna modifica del comportamento per questa versione. Per prepararsi alle modifiche di comportamento imminenti, vedere Modifiche imminenti.

Modifiche imminenti

Nelle versioni future verranno apportate le modifiche seguenti.

Imposizione di Transport Layer Security (TLS) 1.2

Transport Layer Security (TLS) e Secure Sockets Layer (SSL) sono protocolli di crittografia che consentono di proteggere le comunicazioni su una rete di computer. Per altre informazioni, vedere Transport Layer Security. Mentre i cluster Azure HDInsight accettano connessioni TLS 1.2 su endpoint HTTPS pubblici, TLS 1.1 è ancora supportato per la compatibilità con le versioni precedenti con i client meno recenti.

A partire dalla versione successiva, sarà possibile acconsentire esplicitamente e configurare i nuovi cluster HDInsight in modo da accettare solo connessioni TLS 1.2.

Più avanti nell'anno, a partire dal 30/6/2020, Azure HDInsight applicheranno TLS 1.2 o versioni successive per tutte le connessioni HTTPS. Ti consigliamo di assicurarti che tutti i client siano pronti per gestire TLS 1.2 o versioni successive.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da febbraio 2020 (data esatta verrà comunicata in un secondo momento), HDInsight userà invece i set di scalabilità di macchine virtuali di Azure. Vedere altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Modifica delle dimensioni del nodo del cluster ESP Spark

Nella prossima versione:

Le dimensioni minime consentite del nodo per il cluster ESP Spark verranno modificate in Standard_D13_V2.
Le macchine virtuali serie A saranno deprecate per la creazione di nuovi cluster ESP, perché le macchine virtuali serie A potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa.

Da HBase 2.0 a 2.1

Nella prossima versione di HDInsight 4.0, la versione di HBase verrà aggiornata dalla versione 2.0 alla 2.1.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Il supporto di HDInsight 3.6 è stato esteso al 31 dicembre 2020. Per altri dettagli, vedere Versioni supportate di HDInsight.

Nessuna modifica della versione del componente per HDInsight 4.0.

Apache Zeppelin in HDInsight 3.6: 0.7.0-->0.7.3.

In questo documento sono disponibili le versioni dei componenti più aggiornate.

Nuove aree

Emirati Arabi Uniti settentrionali

Gli INDIRIZZI IP di gestione degli Emirati Arabi Uniti settentrionali sono: 65.52.252.96 e 65.52.252.97.

Data di rilascio: 07/11/2019

Questa versione è valida per HDInsight 3.6 e 4.0.

Nuove funzionalità

HDInsight Identity Broker (HIB) (anteprima)

HDInsight Identity Broker (HIB) consente agli utenti di accedere ad Apache Ambari usando l'autenticazione a più fattori (MFA) e ottenere i ticket Kerberos necessari senza che siano necessari hash delle password in Azure Dominio di Active Directory Services (AAD-DS). Attualmente HIB è disponibile solo per i cluster distribuiti tramite un modello di Azure Resource Management (ARM).

Proxy API REST Kafka (anteprima)

Il proxy dell'API REST Kafka offre una distribuzione con un clic del proxy REST a disponibilità elevata con il cluster Kafka tramite l'autorizzazione di Azure AD protetta e il protocollo OAuth.

Scalabilità automatica

La scalabilità automatica per Azure HDInsight è ora disponibile a livello generale in tutte le aree per i tipi di cluster Apache Spark e Hadoop. Questa funzionalità consente di gestire i carichi di lavoro di analisi dei Big Data in modo più conveniente e produttivo. È ora possibile ottimizzare l'uso dei cluster HDInsight e pagare solo le risorse necessarie.

In base ai requisiti specifici, puoi scegliere tra la scalabilità automatica basata su carico e basata su pianificazione. La scalabilità automatica basata sul carico può aumentare e ridurre le dimensioni del cluster in base alle esigenze correnti delle risorse, mentre la scalabilità automatica basata sulla pianificazione può modificare le dimensioni del cluster in base a una pianificazione predefinita.

Anche il supporto della scalabilità automatica per il carico di lavoro HBase e LLAP è disponibile in anteprima pubblica. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.

Scritture accelerate di HDInsight per Apache HBase

Le scritture accelerate usano dischi SSD gestiti Premium di Azure per migliorare le prestazioni del log WAL di Apache HBase. Per altre informazioni, vedere Scritture accelerate di Azure HDInsight per Apache HBase.

Database Ambari personalizzato

HDInsight offre ora una nuova capacità per consentire ai clienti di usare il proprio database SQL per Ambari. Ora i clienti possono scegliere il database SQL appropriato per Ambari e aggiornarlo facilmente in base al proprio requisito di crescita aziendale. La distribuzione viene eseguita con un modello di Azure Resource Manager. Per altre informazioni, vedere Configurare cluster HDInsight con un database Ambari personalizzato.

Le macchine virtuali serie F sono ora disponibili con HDInsight

Le macchine virtuali serie F (VM) sono una buona scelta per iniziare a usare HDInsight con requisiti di elaborazione leggera. Con un prezzo di listino inferiore all'ora, la serie F è il miglior valore delle prestazioni di prezzo nel portfolio di Azure in base all'unità di calcolo di Azure (ACU) per vCPU. Per altre informazioni, vedere Selezione delle dimensioni della macchina virtuale appropriate per il cluster Azure HDInsight.

Deprecazione

Deprecazione della macchina virtuale serie G

Da questa versione, le macchine virtuali serie G non sono più disponibili in HDInsight.

`Dv1` deprecazione della macchina virtuale

Da questa versione, l'uso di Dv1 macchine virtuali con HDInsight è deprecato. Qualsiasi richiesta cliente per Dv1 verrà servita Dv2 automaticamente. Non esiste alcuna differenza di prezzo tra Dv1 le macchine virtuali e Dv2 .

Modifiche del comportamento

Modifica delle dimensioni del disco gestito del cluster

HDInsight offre spazio su disco gestito con il cluster. Da questa versione, le dimensioni del disco gestito di ogni nodo del nuovo cluster creato vengono modificate in 128 GB.

Modifiche imminenti

Nelle prossime versioni verranno apportate le modifiche seguenti.

Passaggio a set di scalabilità di macchine virtuali

HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da dicembre, HDInsight userà invece set di scalabilità di macchine virtuali di Azure. Vedere altre informazioni sui set di scalabilità di macchine virtuali di Azure.

Da HBase 2.0 a 2.1

Nella prossima versione di HDInsight 4.0, la versione di HBase verrà aggiornata dalla versione 2.0 alla 2.1.

Deprecazione di una macchina virtuale serie per il cluster ESP

Le macchine virtuali serie A potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. Nella prossima versione, le macchine virtuali serie A saranno deprecate per la creazione di nuovi cluster ESP.

Correzioni di bug

HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.

Modifica della versione dei componenti

Non sono state apportate modifiche alla versione del componente per questa versione. Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono disponibili qui.

Data di rilascio: 07/08/2019

Versioni dei componenti

Di seguito sono riportate le versioni ufficiali di Apache di tutti i componenti HDInsight 4.0. I componenti elencati sono versioni delle versioni stabili più recenti disponibili.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Le versioni successive dei componenti Apache vengono talvolta raggruppate nella distribuzione HDP oltre alle versioni elencate in precedenza. In questo caso, queste versioni successive sono elencate nella tabella Technical Previews e non devono sostituire le versioni dei componenti Apache dell'elenco precedente in un ambiente di produzione.

Informazioni sulle patch di Apache

Per altre informazioni sulle patch disponibili in HDInsight 4.0, vedere l'elenco delle patch per ogni prodotto nella tabella seguente.

Nome prodotto	Informazioni sulla patch
Ambari	Informazioni sulla patch di Ambari
Hadoop	Informazioni sulla patch hadoop
HBase	Informazioni sulla patch HBase
Hive	Questa versione fornisce Hive 3.1.0 senza più patch Apache.
Kafka	Questa versione fornisce Kafka 1.1.1 senza più patch Apache.
Oozie	Informazioni sulla patch di Oozie
Phoenix	Informazioni sulla patch phoenix
Pig	Informazioni sulla patch Pig
Ranger	Informazioni sulla patch ranger
Spark	Informazioni sulla patch Spark
Sqoop	Questa versione fornisce Sqoop 1.4.7 senza più patch Apache.
Tez	Questa versione fornisce Tez 0.9.1 senza più patch Apache.
Zeppelin	Questa versione fornisce Zeppelin 0.8.0 senza altre patch Apache.
Zookeeper	Informazioni sulle patch zookeeper

Vulnerabilità comuni ed esposizioni risolte

Per altre informazioni sui problemi di sicurezza risolti in questa versione, vedere Vulnerabilità comuni e esposizione comuni di Hortonworks per HDP 3.0.1.

Problemi noti

La replica viene interrotta per Secure HBase con l'installazione predefinita

Per HDInsight 4.0, seguire questa procedura:

Abilitare la comunicazione tra cluster.
Accedere al nodo head attivo.

Scaricare uno script per abilitare la replica con il comando seguente:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Digitare il comando sudo kinit <domainuser>.

Digitare il comando seguente per eseguire lo script:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Per HDInsight 3.6

Accedere a HMaster ZK attivo.

Scaricare uno script per abilitare la replica con il comando seguente:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Digitare il comando sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Digitare il comando seguente:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline smette di funzionare dopo la migrazione del cluster HBase a HDInsight 4.0

Effettua i passaggi seguenti:

Eliminare le tabelle Phoenix seguenti:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Se non è possibile eliminare alcuna delle tabelle, riavviare HBase per cancellare le connessioni alle tabelle.
Eseguire di nuovo sqlline.py. Phoenix creerà di nuovo tutte le tabelle eliminate nel passaggio 1.
Rigenerare tabelle e viste Phoenix per i dati HBase.

Phoenix Sqlline smette di funzionare dopo la replica dei metadati HBase Phoenix da HDInsight 3.6 a 4.0

Effettua i passaggi seguenti:

Prima di eseguire la replica, passare al cluster 4.0 di destinazione ed eseguire sqlline.py. Questo comando genererà tabelle Phoenix come SYSTEM.MUTEX e SYSTEM.LOG che esistono solo nella versione 4.0.
Eliminare le tabelle seguenti:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
Avviare la replica HBase

Deprecazione

I servizi Apache Storm e ML non sono disponibili in HDInsight 4.0.

Data di rilascio: 14/04/2019

Nuove funzionalità

Le funzionalità e i nuovi aggiornamenti rientrano nelle seguenti categorie:

Aggiornamento di Hadoop e altri progetti open source: oltre alla correzione di più di un migliaio di bug in oltre 20 progetti open source, questo aggiornamento contiene una nuova versione di Spark, la 2.3, e di Kafka, la 1.0.

a. Nuove funzionalità di Apache Spark 2.3

b. Nuove funzionalità di Apache Kafka 1.0
Aggiornamento di R Server 9.1 a Machine Learning Services 9.3 : con questa versione, forniamo ai data scientist e ai tecnici il meglio dell'open source migliorato con innovazioni algoritmiche e facilità di operazionalizzazione, tutte disponibili nel linguaggio preferito con la velocità di Apache Spark. Questa versione amplia le funzionalità offerte da R Server con supporto aggiuntivo per Python, con conseguente modifica del nome del cluster da R Server a Machine Learning Services.
Supporto per l'archiviazione di Azure Data Lake Gen2: HDInsight supporterà la versione di anteprima dell'archiviazione di Azure Data Lake Gen2. Nelle aree disponibili i clienti potranno scegliere un account di ADLS Gen2 come archivio Primario o Secondario per i cluster HDInsight.
Aggiornamenti di HDInsight Enterprise Security Package (anteprima): (anteprima) Rete virtuale supporto degli endpoint di servizio per Archiviazione BLOB di Azure, ADLS Gen1, Azure Cosmos DB e Azure DB.

Versioni dei componenti

Di seguito sono elencate le versioni Apache ufficiali di tutti i componenti di HDInsight 3.6. Tutti i componenti elencati di seguito sono le versioni stabili ufficiali più recenti disponibili di Apache.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ-0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Le versioni successive di alcuni componenti di Apache vengono talvolta aggregate nella distribuzione HDP in aggiunta alle versioni elencate in precedenza. In questo caso, queste versioni successive sono elencate nella tabella Technical Previews e non devono sostituire le versioni dei componenti Apache dell'elenco precedente in un ambiente di produzione.

Informazioni sulle patch di Apache

Hadoop

Questa versione fornisce Hadoop Common 2.7.3 e le patch di Apache seguenti:

HADOOP-13190: riferimento a LoadBalancingKMSClientProvider nella documentazione del server di gestione delle chiavi a disponibilità elevata.
HADOOP-13227: AsyncCallHandler deve usare un'architettura basata sugli eventi per gestire le chiamate asincrone.
HADOOP-14104: il client deve richiedere sempre namenode per il percorso del provider del server di gestione delle chiavi.
HADOOP-14799: aggiornamento di nimbus-jose-jwt alla versione 4.41.1.
HADOOP-14814: correzione modifica API non compatibile su FsServerDefaults in HADOOP-14104.
HADOOP-14903: aggiunto json-smart in modo esplicito a POM.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() può restituire un valore negativo quando numberOfPagesRemaining è 0.
HADOOP-15255: supporto per la conversione maiuscole/minuscole per i nomi dei gruppi in LdapGroupsMapping.
HADOOP-15265: esclusione in modo esplicito di json-smart da hadoop-auth pom.xm.
HDFS-7922: ShortCircuitCache#close non rilascia ScheduledThreadPoolExecutors.
HDFS-8496: la chiamata a stopWriter() con il blocco FSDatasetImpl potrebbe bloccare altri thread (cmccabe).
HDFS-10267: extra "synchronized" in FsDatasetImpl#recoverAppend e FsDatasetImpl#recoverClose.
HDFS 10489: impostazione come deprecato di dfs.encryption.key.provider.uri per le zone di crittografia di Hadoop Distributed File System.
HDFS 11384: aggiunta dell'opzione del bilanciamento per distribuire le chiamate getBlocks per evitare picchi rpc.CallQueueLength di NameNode.
HDFS-11689: nuova eccezione generata da DFSClient%isHDFSEncryptionEnabled codice Hive interrotto hacky .
HDFS-11711: DN non deve eliminare il blocco "Troppi file aperti" Eccezione.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay ha spesso esito negativo.
HDFS-12781: dopo Datanode il basso, nella Namenode scheda interfaccia utente Datanode viene generato un messaggio di avviso.
HDFS-13054: gestione di PathIsNotEmptyDirectoryException nella DFSClient chiamata di eliminazione.
HDFS 13120: l'aread diff di snapshot potrebbe venire danneggiata dopo la concatenazione.
YARN-3742: YARN RM verrà arrestato se ZKClient si verifica il timeout della creazione.
YARN 6061: aggiunta di UncaughtExceptionHandler per thread critici in RM.
YARN 7558: il comando per i log YARN non è in grado di ottenere i log per i contenitori in esecuzione se è abilitata l'autenticazione dell'interfaccia utente.
YARN 7697: il recupero dei log per l'applicazione terminata ha esito negativo anche se l'aggregazione dei log è stata completata.

HDP 2.6.4 ha fornito Hadoop Common 2.7.3 e le patch di Apache seguenti:

HADOOP-13700: rimuovere unthrown IOException da TrashPolicy#inizializzare e #getInstance firme.
HADOOP-13709: possibilità di eseguire la pulizia dei sotto processi generati da Shell quando il processo viene chiuso.
HADOOP-14059: errore di digitazione nel s3a messaggio di errore rename(self, subdir).
HADOOP-14542: aggiunta di IOUtils.cleanupWithLogger che accetta l'API logger slf4j.
HDFS 9887: i timeout del socket WebHdfs devono essere configurabili.
HDFS 9914: correzione del timeout configurabile di connessione/lettura WebhDFS.
MAPREDUCE 6698: aumento del timeout su TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN 4550: alcuni test in TestContainerLanch hanno esito negativo in un ambiente di impostazioni locali non in lingua inglese.
YARN 4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir ha esito negativo in modo intermittente a causa di IllegalArgumentException dalla pulizia.
YARN 5042: montaggio di /sys/fs/cgroup nei contenitori Docker come montaggio di sola lettura.
YARN-5318: correzione dell'errore intermittente di test di TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN 5641: il localizzatore lascia i file tarball dopo il completamento del contenitore.
YARN-6004: eseguire il refactoring di TestResourceLocalizationService#testDownloadingResourcesOnContainer in modo che sia inferiore a 150 righe.
YARN 6078: contenitori bloccati in stato Localizzazione.
YARN-6805: NPE in LinuxContainerExecutor a causa di un codice di uscita PrivilegedOperationException nullo.

HBase

Questa versione fornisce HBase 1.1.2 e le patch di Apache seguenti.

HBASE-13376: miglioramenti al bilanciamento del carico Stochastic.
HBASE-13716: interruzione dell'uso di FSConstants di Hadoop.
HBASE-13848: password di accesso SSL a InfoServer tramite l'API del provider di credenziali.
HBASE-13947: uso di MasterServices invece di Server in AssignmentManager.
HBASE-14135: backup/ripristino fase 3 HBase: unione delle immagini di backup.
HBASE-14473: calcolo in parallelo della località della regione.
HBASE-14517: mostra regionserver's la versione nella pagina dello stato master.
HBASE-14606: timeout dei test TestSecureLoadIncrementalHFiles nella compilazione trunk su Apache.
HBASE-15210: annullamento della registrazione aggressiva del bilanciamento del carico in decine di righe al millisecondo.
HBASE-15515: miglioramento di LocalityBasedCandidateGenerator nel bilanciamento.
HBASE-15615: tempo di sospensione errato quando RegionServerCallable è necessario riprovare.
HBASE-16135: PeerClusterZnode in rs of removed peer potrebbe non essere mai eliminato.
HBASE-16570: calcolo in parallelo della località della regione all'avvio.
HBASE-16810: HBase Balancer genera ArrayIndexOutOfBoundsException quando regionservers si trovano in /hbase/draining znode e scaricati.
HBASE-16852: TestDefaultCompactSelection non riuscito nel ramo 1.3.
HBASE-17387: riduzione dell'overhead del report delle eccezioni in RegionActionResult per multi ().
HBASE-17850: utility di backup di ripristino del sistema.
HBASE-17931: assegnazione delle tabelle di sistema ai server con la versione più recente.
HBASE-18083: rende il numero di thread di pulizia dei file di grandi/piccole dimensioni configurabile in HFileCleaner.
HBASE-18084: migliorare CleanerChore per eseguire la pulizia dalla directory, che utilizza più spazio su disco.
HBASE-18164: funzione di costo località e generatore di candidati più veloci.
HBASE-18212: in modalità autonoma con il file system locale HBase registra il messaggio di avviso: impossibile richiamare il metodo 'unbuffer' nella classe org.apache.hadoop.fs.FSDataInputStream.
HBASE-18808: check-inefficace della configurazione BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer dovrebbe riconoscere la classe CellComparatorImpl in branch-1.x.
HBASE-19065: HRegion#bulkLoadHFiles() deve attendere il completamento di Region#flush() simultaneo.
HBASE-19285: aggiunta di istogrammi di latenza per tabella.
HBASE-19393: head HTTP 413 FULL durante l'accesso all'interfaccia utente di HBase con SSL.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting ha esito negativo con NPE.
HBASE-19421:-branch-1 non viene compilato in base a Hadoop 3.0.0.
HBASE-19934: HBaseSnapshotException quando è abilitata la replica in lettura e viene eseguito uno snapshot online dopo la suddivisione di un'area.
HBASE-20008: [backport] NullPointerException durante il ripristino di uno snapshot dopo la divisione di un'area.

Hive

Questa versione fornisce Hive 1.2.1 e Hive 2.1.0 oltre alle patch seguenti:

Patch Hive 1.2.1 Apache:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor esegue una conversione errata.
HIVE-11266: conteggio(*) risultato errato in base alle statistiche della tabella per le tabelle esterne.
HIVE-12245: commenti della colonna Supporto per una tabella di backup HBase.
HIVE-12315: correzione della doppia divisione per zero vettorizzata.
HIVE-12360: ricerca non riuscita in ORC non compressi con la distribuzione dinamica del predicato.
HIVE-12378: eccezione nel campo binario HBaseSerDe.serialize.
HIVE-12785: visualizzazione con tipo di unione e UDF alla struttura interrotta.
HIVE-14013: la tabella di descrizione non mostra i caratteri Unicode in modo corretto.
HIVE-14205: Hive non supporta il tipo di unione con il formato di file AVRO.
HIVE-14421: FS.deleteOnExit contiene riferimenti ai file di _tmp_space.db.
HIVE-15563: ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
HIVE-15680: risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query, in modalità MR.
HIVE-15883: la tabella mappata HBase in Hive insert non riesce per il decimale.
HIVE-16232: supporta il calcolo delle statistiche per le colonne in QuotedIdentifier.
HIVE-16828: quando l'ottimizzazione basata sui costi è abilitata, la query nelle viste partizionate genera IndexOutOfBoundException.
HIVE-17013: elimina una richiesta con una sottoquery basata sulla selezione su una visualizzazione.
HIVE-17063: l'inserimento di una partizione di sovrascrittura in una tabella esterna ha esito negativo quando si rilascia prima la partizione.
HIVE-17259: Hive JDBC non riconosce le colonne UNIONTYPE.
HIVE-17419: il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate.
HIVE-17530: ClassCastException durante la conversione di uniontype.
HIVE-17621: le impostazioni Hive-site vengono ignorate durante il calcolo della divisione HCatInputFormat.
HIVE-17636: aggiungere multiple_agg.q test per blobstores.
HIVE-17729: aggiunta di test Database ed Explain correlati dell'archivio BLOB.
HIVE-17731: aggiungere un'opzione all'indietro compat per gli utenti esterni a HIVE-11985.
HIVE-17803: con Pig multi-query due scritture HCatStorers nella stessa tabella sovrascriveranno i rispettivi output.
HIVE-17829: ArrayIndexOutOfBoundsException - Tabelle supportate da HBASE con schema Avro in Hive2.
HIVE-17845: l'inserimento non riesce se le colonne della tabella non sono in lettere minuscole.
HIVE-17900: l'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con una colonna di partizione >.
HIVE-18026: ottimizzazione della configurazione dell'entità Hive Webhcat.
HIVE-18031: supporto della replica per l'operazione Alter Database.
HIVE-18090: acid heartbeat non riesce quando metastore è connesso tramite le credenziali di hadoop.
HIVE-18189: query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true.
HIVE-18258: vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata.
HIVE-18293: Hive non riesce a compattare le tabelle contenute all'interno di una cartella non di proprietà dell'identità che esegue HiveMetaStore.
HIVE-18327: rimuove la dipendenza HiveConf non necessaria per MiniHiveKdc.
HIVE-18341: aggiunge il supporto per il caricamento Repl per l'aggiunta di uno spazio dei nomi "non elaborato" per TDE con le stesse chiavi di crittografia.
HIVE-18352: introduce un'opzione METADATAONLY durante l'esecuzione REPL DUMP per consentire le integrazioni di altri strumenti.
HIVE-18353: CompactorMR deve chiamare jobclient.close() per attivare la pulizia.
HIVE-18390: IndexOutOfBoundsException quando si esegue una query su una vista partizionata in ColumnPruner.
HIVE-18429: compattazione di dati deve gestire un caso quando non viene prodotto alcun output.
HIVE-18447: JDBC: fornisce agli utenti JDBC un modo per trasmettere informazioni sui cookie tramite una stringa di connessione.
HIVE-18460: Compactor non trasmette le proprietà della tabella al writer Orc.
HIVE-18467: supporto di eventi whole warehouse dump / load + create/drop database (Anishek Agarwal, esaminato da Sankar Hariappan).
HIVE-18551: vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace.
HIVE-18587: l'evento DML di inserimento potrebbe tentare di calcolare un checksum nelle directory.
HIVE-18613: estensione di JsonSerDe per supportare il tipo BINARY.
HIVE-18626: la clausola "with" del caricamento Repl non invia la configurazione alle attività.
HIVE-18660: PCR non distingue tra colonne di partizione e colonne virtuali.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18788: pulizia degli input in JDBC PreparedStatement.
HIVE-18794: la clausola "with" del caricamento Repl non invia la configurazione alle attività per le tabelle non di partizione.
HIVE-18808: rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo.
HIVE-18817: eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
HIVE-18833: l'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile).
HIVE-18879: elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath.
HIVE-18907: creazione di utilità per risolvere il problema di indice di chiave acid da HIVE 18817.

Patch Hive 2.1.0 Apache:

HIVE-14013: la tabella di descrizione non mostra i caratteri Unicode in modo corretto.
HIVE-14205: Hive non supporta il tipo di unione con il formato di file AVRO.
HIVE-15563: ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
HIVE-15680: risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query, in modalità MR.
HIVE-15883: la tabella mappata HBase in Hive insert non riesce per il decimale.
HIVE-16757: rimuove le chiamate a AbstractRelNode.getRows deprecato.
HIVE-16828: quando l'ottimizzazione basata sui costi è abilitata, la query nelle viste partizionate genera IndexOutOfBoundException.
HIVE-17063: l'inserimento di una partizione di sovrascrittura in una tabella esterna ha esito negativo quando si rilascia prima la partizione.
HIVE-17259: Hive JDBC non riconosce le colonne UNIONTYPE.
HIVE-17530: ClassCastException durante la conversione di uniontype.
HIVE-17600: rende configurabile dall'utente enforceBufferSize di OrcFile.
HIVE-17601: migliora la gestione degli errori in LlapServiceDriver.
HIVE-17613: rimuove i pool di oggetti per le allocazioni brevi dello stesso thread.
HIVE-17617: il rollup di un set di risultati vuoto deve contenere il raggruppamento del set di raggruppamento vuoto.
HIVE-17621: le impostazioni Hive-site vengono ignorate durante il calcolo della divisione HCatInputFormat.
HIVE-17629: CachedStore: avere una configurazione approvata/non approvata per consentire la memorizzazione selettiva nella cache di tabelle/partizioni e consentire la lettura durante la prewarming.
HIVE-17636: aggiungere multiple_agg.q test per blobstores.
HIVE-17702: gestione isRepeating non corretta nel lettore dei numeri decimali in ORC.
HIVE-17729: aggiunta di test Database ed Explain correlati dell'archivio BLOB.
HIVE-17731: aggiungere un'opzione all'indietro compat per gli utenti esterni a HIVE-11985.
HIVE-17803: con Pig multi-query due scritture HCatStorers nella stessa tabella sovrascriveranno i rispettivi output.
HIVE-17845: l'inserimento non riesce se le colonne della tabella non sono in lettere minuscole.
HIVE-17900: l'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con una colonna di partizione >.
HIVE-18006: ottimizzazione del footprint della memoria di HLLDenseRegister.
HIVE-18026: ottimizzazione della configurazione dell'entità Hive Webhcat.
HIVE-18031: supporto della replica per l'operazione Alter Database.
HIVE-18090: acid heartbeat non riesce quando metastore è connesso tramite le credenziali di hadoop.
HIVE-18189: l'ordine per posizione non funziona quando cbo è disabilitato.
HIVE-18258: vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata.
HIVE-18269: LLAP: io veloce llap con pipeline di elaborazione lenta può portare a OOM.
HIVE-18293: Hive non riesce a compattare le tabelle contenute all'interno di una cartella non di proprietà dell'identità che esegue HiveMetaStore.
HIVE-18318: il lettore dei record LLAP deve verificare l'interrupt anche quando non causa un blocco.
HIVE-18326: utilità di pianificazione Tez LLAP - può dare la precedenza alle attività solo se esiste una dipendenza tra di esse.
HIVE-18327: rimuove la dipendenza HiveConf non necessaria per MiniHiveKdc.
HIVE-18331: aggiungere la riconlogin alla scadenza del TGT e alcune registrazioni/lambda.
HIVE-18341: aggiunge il supporto per il caricamento Repl per l'aggiunta di uno spazio dei nomi "non elaborato" per TDE con le stesse chiavi di crittografia.
HIVE-18352: introduce un'opzione METADATAONLY durante l'esecuzione REPL DUMP per consentire le integrazioni di altri strumenti.
HIVE-18353: CompactorMR deve chiamare jobclient.close() per attivare la pulizia.
HIVE-18384: ConcurrentModificationException nella log4j2.x libreria.
HIVE-18390: IndexOutOfBoundsException quando si esegue una query su una vista partizionata in ColumnPruner.
HIVE-18447: JDBC: fornisce agli utenti JDBC un modo per trasmettere informazioni sui cookie tramite una stringa di connessione.
HIVE-18460: Compactor non trasmette le proprietà della tabella al writer Orc.
HIVE-18462: (spiegazione formattazione per query con Map join con columnExprMap con nome di colonna non formattato).
HIVE-18467: supporto di eventi whole warehouse dump / load + create/drop database.
HIVE-18488: i lettori LLAP ORC non hanno alcuni controlli null.
HIVE-18490: una query con EXISTS e NOT EXISTS con predicato non-equi può produrre un risultato errato.
HIVE-18506: LlapBaseInputFormat - indice di matrice negativo.
HIVE-18517: vettorializzazione: correggere VectorMapOperator per accettare VRB e controllare correttamente il flag vettorializzato affinché supporti la memorizzazione nella cache LLAP.
HIVE-18523: corregge la riga di riepilogo nel caso in cui non siano presenti input.
HIVE-18528: le statistiche di aggregazione in ObjectStore hanno un risultato errato.
HIVE-18530: la replica deve ignorare la tabella MM (per il momento).
HIVE-18548: correzione dell'importazione log4j .
HIVE-18551: vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace.
HIVE-18577: SemanticAnalyzer.validate ha alcune chiamate metastore inutili.
HIVE-18587: l'evento DML di inserimento potrebbe tentare di calcolare un checksum nelle directory.
HIVE-18597: LLAP: creare sempre il pacchetto jar dell'API log4j2 per org.apache.log4j.
HIVE-18613: estensione di JsonSerDe per supportare il tipo BINARY.
HIVE-18626: la clausola "with" del caricamento Repl non invia la configurazione alle attività.
HIVE-18643: non controlla le partizioni archiviate per le operazioni ACID.
HIVE-18660: PCR non distingue tra colonne di partizione e colonne virtuali.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18788: pulizia degli input in JDBC PreparedStatement.
HIVE-18794: la clausola "with" del caricamento Repl non invia la configurazione alle attività per le tabelle non di partizione.
HIVE-18808: rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo.
HIVE-18815: rimuove le funzionalità inutilizzate in HPL/SQL.
HIVE-18817: eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
HIVE-18833: l'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile).
HIVE-18879: elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath.
HIVE-18944: la posizione dei set di raggruppamenti viene impostata in modo non corretto durante il DPP.

Kafka

Questa versione fornisce Kafka 1.0.0 e le patch di Apache seguenti.

KAFKA-4827: connessione Kafka: errore con i caratteri speciali nel nome del connettore.
KAFKA-6118: errore temporaneo in kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter non è in grado di gestire i percorsi di directory stile Windows.
KAFKA-6164: i thread ClientQuotaManager impediscono l'arresto quando viene rilevato un errore durante il caricamento dei log.
KAFKA-6167: il timestamp nella directory dei flussi contiene un segno di due punti, che è un carattere non valido.
KAFKA-6179: RecordQueue.clear() non effettua la cancellazione dell'elenco gestito di MinTimestampTracker.
KAFKA-6185: perdita di memoria del selettore con alta probabilità di OOM se è presente una conversione inattiva.
KAFKA-6190: GlobalKTable non completa il ripristino quando si usano i messaggi transazionali.
KAFKA-6210: IllegalArgumentException se 1.0.0 viene usato per inter.broker.protocol.version o log.message.format.version.
KAFKA-6214: l'uso delle repliche Standby con un archivio di stati in memoria causa l'arresto anomalo di Streams.
KAFKA-6215: KafkaStreamsTest causa errori nel trunk.
KAFKA-6238: problemi di versione del protocollo quando si applica un aggiornamento in sequenza a 1.0.0.
KAFKA-6260: AbstractCoordinator non gestisce in modo chiaro l'eccezione NULL.
KAFKA-6261: la registrazione delle richiesta genera un'eccezione se acks=0.
KAFKA-6274: migliorare i KTable nomi generati automaticamente dall'archivio stati di origine.

Mahout

In HDP 2.3.x e 2.4.x, invece del rilascio di una specifica versione Apache di Mahout, è stata effettuata la sincronizzazione su un punto di revisione specifico sul trunk di Apache Mahout. Questo punto di revisione è successivo alla versione 0.9.0 ma precedente alla versione 0.10.0. Ciò consente un numero elevato di correzioni di bug e miglioramenti funzionali nella versione 0.9.0, ma fornisce una versione stabile della funzionalità di Mahout prima della conversione completa al nuovo Mahout basato su Spark nella versione 0.10.0.

Il punto di revisione scelto per Mahout in HDP 2.3.x e 2.4.x proviene dal ramo "mahout-0.10.x" di Apache Mahout, a partire dal 19 dicembre 2014, revisione 0f037cb03e77c096 in GitHub.

In HDP 2.5.x e 2.6 la libreria "commons-httpclient" è stata rimossa da Mahout perché è ritenuta una libreria obsoleta, con possibili problemi di sicurezza ed è stato eseguito l'aggiornamento del Client Hadoop in Mahout alla versione 2.7.3, la stessa usata in HDP-2.5. Di conseguenza:

I processi Mahout compilati in precedenza dovranno essere ricompilati in ambiente HDP 2.5 o 2.6.
Esiste una piccola possibilità che alcuni processi Mahout possano riscontrare errori "ClassNotFoundException" o "non è stato possibile caricare la classe" correlati a "org.apache.commons.httpclient", "net.java.dev.jets3t" o ai prefissi dei nomi di classe correlati. Se si verificano questi errori, è possibile valutare se installare manualmente i file JAR necessari nel classpath per il processo, se il rischio di problemi di sicurezza nella libreria obsoleta è accettabile nell'ambiente in uso.
C'è una possibilità ancora più piccola che alcuni processi Mahout potrebbero riscontrare arresti anomali nelle chiamate di codice hbase-client di Mahout alle librerie hadoop-common, a causa di problemi di compatibilità binaria. Purtroppo, non è possibile risolvere questo problema, ad eccezione del ripristino della versione HDP-2.4.2 di Mahout, che potrebbe avere problemi di sicurezza. Anche in questo caso, questo dovrebbe essere insolito ed è improbabile che si verifichi in una determinata suite di processi Mahout.

Oozie

Questa versione fornisce Oozie 4.2.0 e le patch di Apache seguenti.

OOZIE-2571: aggiunge una proprietà Maven spark.scala.binary.version in modo che sia possibile usare Scala 2.11.
OOZIE-2606: imposta spark.yarn.jars per correggere Spark 2.0 con Oozie.
OOZIE-2658:-driver-class-path può sovrascrivere il percorso di classe in SparkMain.
OOZIE-2787: Oozie distribuisce l'applicazione jar due volte causando un errore del processo spark.
OOZIE-2792: Hive2 l'azione non analizza correttamente l'ID applicazione Spark dal file di log quando Hive è in Spark.
OOZIE-2799: impostazione del percorso del log per spark sql su hive.
OOZIE-2802: errore dell'azione Spark in Spark 2.1.0 a causa di un duplicato sharelibs.
OOZIE-2923: miglioramento dell'analisi delle opzioni Spark.
OOZIE-3109: SCA: Scripting intersito: riflesso.
OOZIE-3139: Oozie convalida il flusso di lavoro in modo non corretto.
OOZIE-3167: aggiornamento della versione di Tomcat sul ramo di Oozie 4.3.

Phoenix

Questa versione fornisce Phoenix 4.7.0 e le patch di Apache seguenti:

PHOENIX-1751: esecuzione di aggregazioni, ordinamento e così via in preScannerNext anziché in postScannerOpen.
PHOENIX-2714: stima corretta dei byte in BaseResultIterators ed esposizione come interfaccia.
PHOENIX-2724: l'esecuzione di query con un numero elevato di indicatori risulta più lenta rispetto a query senza statistiche.
PHOENIX-2855: soluzione alternativa per l'incremento di TimeRange non serializzata per HBase 1.2.
PHOENIX-3023: prestazioni lente quando le query di limite vengono eseguite in parallelo per impostazione predefinita.
PHOENIX-3040: non vengono usati indicatori per l'esecuzione di query in modo seriale.
PHOENIX-3112: analisi di righe parziale non gestita correttamente.
PHOENIX-3240: ClassCastException dal caricatore Pig.
PHOENIX-3452: NULLS FIRST/NULL LAST non deve influire sul mantenimento dell'ordine di GROUP BY.
PHOENIX 3469: ordinamento errato per la chiave primaria DESC per NULLS LAST/NULLS FIRST.
PHOENIX-3789: esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably.
PHOENIX-3865: IS NULL non restituisce risultati corretti quando la prima famiglia di colonne non viene filtrata.
PHOENIX 4290: scansione completa della tabella eseguita per DELETE con la tabella che contiene indici non modificabili.
PHOENIX-4373: chiave di lunghezza variabile di indice locale può avere i valori null finali durante l'operazione di upserting.
PHOENIX-4466: java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricamento dei dati.
PHOENIX-4489: perdita di connessione HBase nei processi di MR Phoenix.
PHOENIX-4525: overflow numero intero nell'esecuzione GroupBy.
PHOENIX-4560: ORDER BY con GROUP BY non funziona se è presente WHERE nella pk colonna.
PHOENIX-4586: UPSERT SELECT non considera gli operatori di confronto per le sottoquery.
PHOENIX-4588: clonare l'espressione anche se i relativi elementi figlio hanno Determinism.PER_INVOCATION.

Pig

Questa versione fornisce Pig 0.16.0 e le patch di Apache seguenti.

PIG-5159: correzione di Pig che non salva la cronologia grunt.
PIG-5175: aggiornamento jruby alla versione 1.7.26.

Ranger

Questa versione fornisce Ranger 0.7.0 e le patch di Apache seguenti:

RANGER-1805: miglioramento del codice per seguire le procedure consigliate in js.
RANGER-1960: considerare il nome della tabella dello snapshot per l'eliminazione.
RANGER-1982: miglioramento degli errori per Analytics Metric di Ranger Admin e per il Server di gestione delle chiavi Ranger.
RANGER-1984: i record del log di controllo HBase potrebbero non mostrare tutti i tag associati alla colonna a cui si accede.
RANGER-1988: correzione della casualità non sicura.
RANGER-1990: aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin.
RANGER-2006: correzione dei problemi rilevati dall'analisi statica del codice in ranger usersync per ldap l'origine di sincronizzazione.
RANGER-2008: la valutazione dei criteri non riesce per le condizioni dei criteri su più righe.

Dispositivo di scorrimento

Questa versione fornisce Slider 0.92.0 senza più patch Apache.

Spark

Questa versione fornisce Spark 2.3.0 e le patch di Apache seguenti:

SPARK-13587: supporto virtualenv in pyspark.
SPARK-19964: evita la lettura dai repository remoti in SparkSubmitSuite.
SPARK-22882: test di Machine Learning per lo streaming strutturato: ml.classification.
SPARK-22915: test di flusso per spark.ml.feature, da N a Z.
SPARK-23020: corregge un altro race nel test dell'utilità di avvio in-process.
SPARK-23040: restituisce l'iteratore interrompibile per il lettore casuale.
SPARK-23173: evita la creazione di file con estensione parquet danneggiati durante il caricamento dei dati da JSON.
SPARK-23264: corregge scala.MatchError in literals.sql.out.
SPARK-23288: corregge le metriche di output con sink parquet.
SPARK-23329: corregge la documentazione delle funzioni trigonometriche.
SPARK-23406: Abilita i self-join stream-stream per il ramo-2.3.
SPARK-23434: Spark non dovrebbe avvisare la "directory dei metadati" per un percorso di file HDFS.
SPARK-23436: dedurre la partizione come Data solo se è possibile eseguirne il cast in Data.
SPARK-23457: registrazione come prima cosa dei listener di completamento delle attività in ParquetFileFormat.
SPARK-23462: miglioramento del messaggio di errore del campo mancante in 'StructType'.
SPARK-23490: controllo di storage.locationUri con la tabella esistente in CreateTable.
SPARK-23524: i blocchi casuali locali di grandi dimensioni non devono essere verificati per il danneggiamento.
SPARK-23525: supporto ALTER TABLE CHANGE COLUMN COMMENT per la tabella hive esterna.
SPARK-23553: i test non devono presupporre il valore predefinito "spark.sql.sources.default".
SPARK-23569: consente a pandas_udf di usare funzioni con annotazioni di tipo Python3.
SPARK-23570: aggiunta di Spark 2.3.0 in HiveExternalCatalogVersionsSuite.
SPARK-23598: rendere pubblici i metodi in BufferedRowIterator per evitare errori di runtime in una query di grandi dimensioni.
SPARK-23599: aggiungere un generatore di UUID da Pseudo-Random Numbers.
SPARK-23599: uso di RandomUUIDGenerator nell'espressione Uuid.
SPARK-23601: rimuovere i .md5 file dalla versione.
SPARK-23608: aggiunta della sincronizzazione in SHS tra le funzioni attachSparkUI e detachSparkUI per evitare il problema di modifiche simultanee ai gestori di Jetty.
SPARK-23614: correzione dello scambio non corretto del riutilizzo quando viene usata la memorizzazione nella cache.
SPARK-23623: evita l'uso simultaneo di consumer memorizzati nella cache in CachedKafkaConsumer (ramo-2.3).
SPARK-23624: riesame della documentazione del metodo pushFilters in Datasource V2.
SPARK-23628: calculateParamLength non deve restituire 1 + num delle espressioni.
SPARK-23630: Consente di rendere effettive le personalizzazioni conf Hadoop dell'utente.
SPARK-23635: la variabile di ambiente dell'executor Spark viene sovrascritta dalla variabile di ambiente AM con lo stesso nome.
SPARK-23637: Yarn può allocare più risorse se lo stesso esecutore viene terminato più volte.
SPARK-23639: ottenere i token prima del client init metastore nella CLI SparkSQL.
SPARK-23642: sottoclasse AnalyzerV2 isZero scaladoc fix.
SPARK-23644: Usa il percorso assoluto per la chiamata REST in SHS.
SPARK-23645: aggiungere docs RE 'pandas_udf' con argomenti di parola chiave.
SPARK-23649: ignora i caratteri non consentiti in UTF-8.
SPARK-23658: InProcessAppHandle usa una classe errata in getLogger.
SPARK-23660: correzione eccezione in modalità cluster yarn quando l'applicazione termina rapidamente.
SPARK-23670: correzione di perdita di memoria su SparkPlanGraphWrapper.
SPARK-23671: correzione della condizione per abilitare il pool di thread SHS.
SPARK-23691: usare sql_conf util nei test PySpark, laddove possibile.
SPARK-23695: correzione del messaggio di errore per i test di streaming di Kinesis.
SPARK-23706: spark.conf.get(value, default=None) deve produrre None in PySpark.
SPARK-23728: correzione dei test ML con le eccezioni previste nell'esecuzione dei test di streaming.
SPARK-23729: rispetto della frammentazione URI durante le risoluzione dei glob.
SPARK-23759: Impossibile eseguire l'associazione dell'interfaccia utente di Spark al nome host / IP specifico.
SPARK-23760: CodegenContext.withSubExprEliminationExprs deve salvare/ripristinare lo stato CSE in modo corretto.
SPARK-23769: rimuovere i commenti che disabilitano Scalastyle inutilmente il controllo.
SPARK-23788: correzione di race in StreamingQuerySuite.
SPARK-23802: PropagateEmptyRelation può lasciare il piano di query in uno stato non risolto.
SPARK-23806: Broadcast.unpersist può causare un'eccezione irreversibile quando usato con l'allocazione dinamica.
SPARK-23808: impostare la sessione Spark predefinita nelle sessioni Spark a solo scopo di test.
SPARK-23809: SparkSession attivo deve essere impostato da getOrCreate.
SPARK-23816: le attività terminate devono ignorare FetchFailures.
SPARK-23822: miglioramento del messaggio di errore di mancata corrispondenza dello schema Parquet.
SPARK-23823: mantiene l'origine in transformExpression.
SPARK-23827: StreamingJoinExec deve assicurare che i dati di input siano partizionati in un numero specifico di partizioni.
SPARK-23838: l'esecuzione della query SQL viene visualizzata come "completata" nella scheda SQL.
SPARK-23881: correzione del test inattendibile JobCancellationSuite."interruptible iterator of shuffle reader".

Sqoop

Questa versione fornisce Sqoop 1.4.6 senza più patch Apache.

Storm

Questa versione fornisce Storm 1.1.1 e le patch di Apache seguenti:

STORM-2652: eccezione generata nel metodo Open JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT ha esito negativo con NullPointerException.
STORM-2854: esporre IEventLogger per rendere collegabile il registro eventi.
STORM-2870: FileBasedEventLogger perde executorService non daemon, che impedisce il completamento del processo.
STORM-2960: sottolineare l'importanza dell'impostazione appropriata di un account del sistema operativo per i processi Storm.

Tez

Questa versione fornisce Tez 0.7.0 e le patch di Apache seguenti:

TEZ-1526: LoadingCache per TezTaskID rallentata per i processi di grandi dimensioni.

Zeppelin

Questa versione fornisce Zeppelin 0.7.3 senza altre patch Apache.

ZEPPELIN-3072: l'interfaccia utente di Zeppelin si rallenta/non risponde se sono presenti troppi notebook.
ZEPPELIN-3129: l'interfaccia utente di Zeppelin non si disconnette in Internet Explorer.
ZEPPELIN-903: sostituire CXF con Jersey2.

ZooKeeper

Questa versione fornisce ZooKeeper 3.4.6 e le patch di Apache seguenti:

ZOOKEEPER-1256: ClientPortBindTest ha esito negativo in macOS X.
ZOOKEEPER-1901: [JDK8] Ordinare gli elementi figlio per il confronto nei test AsyncOps.
ZOOKEEPER-2423: aggiornamento della versione Netty a causa di vulnerabilità di sicurezza (CVE-2014-3488).
ZOOKEEPER-2693: attacco DOS su parole di quattro lettere wchp/wchc (4lw).
ZOOKEEPER-2726: Patch introduce una potenziale race condition.

Vulnerabilità comuni ed esposizioni risolte

Questa sezione descrive tutte le CVE (Common Vulnerabilities and Exposures) che vengono risolte in questa versione.

CVE-2017-7676

Riepilogo: la valutazione dei criteri di Apache Ranger ignora i caratteri dopo il carattere jolly '*'
Gravità: Critica
Fornitore: Hortonworks
Versioni interessate: versioni di HDInsight 3.6 incluse le versioni 0.5.x/0.6.x/0.7.0 di Apache Ranger
Utenti interessati: ambienti che usano criteri Ranger con caratteri dopo il carattere jolly '', ad esempio mytest, test*.txt
Impatto: il matcher delle risorse dei criteri ignora i caratteri dopo il carattere jolly '*', che può comportare un comportamento imprevisto.
Dettaglio della correzione: il matcher della risorsa criteri Ranger è stato aggiornato per gestire correttamente le corrispondenze con i caratteri jolly.
Azione consigliata: eseguire l'aggiornamento a HDI 3.6 (con Apache Ranger 0.7.1+).

CVE-2017-7677

Riepilogo: Apache Ranger Hive Authorizer deve controllare l'autorizzazione RWX quando viene specificato un percorso esterno
Gravità: Critica
Fornitore: Hortonworks
Versioni interessate: versioni di HDInsight 3.6 incluse le versioni 0.5.x/0.6.x/0.7.0 di Apache Ranger
Utenti interessati: ambienti che usano una posizione esterna per le tabelle hive
Impatto: negli ambienti che usano la posizione esterna per le tabelle hive, Apache Ranger Hive Authorizer deve controllare l'autorizzazione per il percorso esterno specificato per creare una tabella.
Dettaglio della correzione: Ranger Hive Authorizer è stato aggiornato per poter gestire correttamente il controllo delle autorizzazioni con la posizione esterna.
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDI 3.6 (con Apache Ranger 0.7.1+).

CVE-2017-9799

Riepilogo: potenziale esecuzione di codice come utente non corretto in Apache Storm
Gravità: Importante
Fornitore: Hortonworks
Versioni interessate: HDP 2.4.0, HDP 2.5.0, HDP 2.6.0
Utenti interessati: gli utenti che usano Storm in modalità protetta e usano l'archivio BLOB per distribuire elementi basati sulla topologia o che usano l'archivio BLOB per distribuire le risorse di topologia.
Impatto: in alcune situazioni e configurazioni di tempesta è teoricamente possibile per il proprietario di una topologia ingannare il supervisore a avviare un ruolo di lavoro come utente diverso, non radice. Nel peggiore dei casi, questo potrebbe causare la compromissione delle credenziali protette dell'altro utente. Questa vulnerabilità si applica solo alle installazioni di Apache Storm con la sicurezza abilitata.
Mitigazione dei rischi: eseguire l'aggiornamento a HDP 2.6.2.1 in quanto non esistono attualmente soluzioni.

CVE-2016-4970

Riepilogo: gestore/ssl/OpenSslEngine.java in Netty 4.0.x prima della versione 4.0.37. Finale e 4.1.x prima della versione 4.1.1. Final consente agli utenti malintenzionati remoti di causare un attacco Denial of Service (ciclo infinito)
Gravità: Moderata
Fornitore: Hortonworks
Versioni interessate: HDP 2.x.x dopo 2.3.x
Utenti interessati: tutti gli utenti che usano HDFS.
Impatto: impatto basso poiché Hortonworks non usa OpenSslEngine.java direttamente nella codebase di Hadoop.
Azione consigliata: eseguire l'aggiornamento a HDP 2.6.3.

CVE-2016-8746

Riepilogo: problema di corrispondenza percorso Apache Ranger nella valutazione dei criteri
Gravità: Normale
Fornitore: Hortonworks
Versioni interessate: tutte le versioni di HDP 2.5 incluse le versioni 0.6.0/0.6.1/0.6.2 di Apache Ranger
Utenti interessati: tutti gli utenti dello strumento di amministrazione di criteri di Ranger.
Impatto: il motore dei criteri di Ranger mette in corrispondenza in modo non corretto i percorsi in determinate condizioni quando un criterio contiene caratteri jolly e flag ricorsivi.
Dettaglio della correzione: corretta la logica di valutazione dei criteri
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDP 2.5.4+ (con Apache Ranger 0.6.3+) o a HDP 2.6+ (con Apache Ranger 0.7.0+)

CVE-2016-8751

Riepilogo: problema di Apache Ranger di scripting archiviato tra siti
Gravità: Normale
Fornitore: Hortonworks
Versioni interessate: tutte le versioni di HDP 2.3/2.4/2.5 incluse le versioni 0.5.x/0.6.0/0.6.1/0.6.2 di Apache Ranger
Utenti interessati: tutti gli utenti dello strumento di amministrazione di criteri di Ranger.
Impatto: Apache Ranger è vulnerabile a uno scripting archiviato tra siti quando si immettono le condizioni dei criteri personalizzati. Gli utenti amministratori possono archiviare codice JavaScript arbitrario eseguito quando gli utenti normali eseguono l'accesso e i criteri di accesso.
Dettaglio della correzione: aggiunta di logica per purificare l'input dell'utente.
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDP 2.5.4+ (con Apache Ranger 0.6.3+) o a HDP 2.6+ (con Apache Ranger 0.7.0+)

Problemi risolti per il supporto

I problemi risolti rappresentano problemi selezionati registrati in precedenza tramite il supporto di Hortonworks, ma che sono ora risolti nella versione corrente. Questi problemi potrebbero essere stati segnalati nelle versioni precedenti all'interno della sezione Problemi noti; significa che sono stati segnalati dai clienti o identificati dal team di Hortonworks Quality Engineering.

Risultati non corretti

Bug ID	Apache JIRA	Riepilogo
BUG-100019	YARN-8145	yarn rmadmin - getGroups non restituisce i gruppi aggiornati per l'utente
BUG-100058	PHOENIX-2645	I caratteri jolly non corrispondono a caratteri di nuova riga
BUG-100266	PHOENIX-3521, PHOENIX-4190	Risultati errati con gli indici locali
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	Errore query36, mancata corrispondenza del numero di riga
BUG-89765	HIVE-17702	gestione isRepeating non corretta nel lettore dei numeri decimali in ORC
BUG-92293	HADOOP-15042	Azure PageBlobInputStream.skip() può restituire un valore negativo quando numberOfPagesRemaining è 0
BUG-92345	ATLAS-2285	Interfaccia utente: ricerca salvata rinominata con l'attributo date.
BUG-92563	HIVE-17495, HIVE-18528	Le statistiche di aggregazione in ObjectStore hanno un risultato errato
BUG-92957	HIVE-11266	count(*) risultato errato in base alle statistiche della tabella per le tabelle esterne
BUG-93097	RANGER-1944	Il filtro delle azioni per Il controllo amministratore non funziona
BUG-93335	HIVE-12315	vectorization_short_regress.q presenta un problema di risultato errato per un calcolo doppio
BUG-93415	HIVE-18258, HIVE-18310	Vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata
BUG-93939	ATLAS-2294	Parametro aggiuntivo "description" aggiunto durante la creazione di un tipo
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Queries restituisce i valori Null a causa di righe HBase Partial
BUG-94266	HIVE-12505	Insert overwrite nella stessa area crittografata non riesce automaticamente a rimuovere alcuni file esistenti
BUG-94414	HIVE-15680	Risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query
BUG-95048	HIVE-18490	Una query con EXISTS e NOT EXISTS con predicato non-equi può produrre un risultato errato
BUG-95053	PHOENIX-3865	IS NULL non restituisce risultati corretti quando la prima famiglia di colonne non viene filtrata
BUG-95476	RANGER-1966	L'inizializzazione del motore dei criteri non crea in alcuni casi enricher di contesto
BUG-95566	SPARK-23281	La query produce risultati in ordine non corretto quando una clausola order by composta fa riferimento a colonne originali e agli alias
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Risoluzione dei problemi con ORDER BY ASC quando la query include le aggregazioni
BUG-96389	PHOENIX-4586	UPSERT SELECT non considera gli operatori di confronto per le sottoquery.
BUG-96602	HIVE-18660	PCR non distingue tra colonne di partizione e colonne virtuali
BUG-97686	ATLAS-2468	[Ricerca di base] Problema con i casi OR quando si usa NEQ con tipi numerici
BUG-97708	HIVE-18817	Eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
BUG-97864	HIVE-18833	L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile)
BUG-97889	RANGER-2008	La valutazione dei criteri non riesce per le condizioni dei criteri su più righe.
BUG-98655	RANGER-2066	L'accesso alla famiglia di colonne HBase è autorizzato da una colonna contrassegnata nella famiglia di colonne
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer potrebbe creare un mangle di colonne costanti

Altro

Bug ID	Apache JIRA	Riepilogo
BUG-100267	HBASE-17170	HBase ripete anche il tentativo DoNotRetryIOException a causa delle differenze del caricatore di classe.
BUG-92367	YARN-7558	Il comando "yarn logs" non riesce a ottenere i log dei contenitori in esecuzione se è abilitata l'autenticazione dell'interfaccia utente.
BUG-93159	OOZIE-3139	Oozie convalida il flusso di lavoro in modo non corretto
BUG-93936	ATLAS-2289	Il codice di avvio/arresto server kafka/zookeeper incorporato deve essere spostato fuori dall'implementazione KafkaNotification
BUG-93942	ATLAS-2312	Usare oggetti ThreadLocal DateFormat per evitare l'uso simultaneo da più thread
BUG-93946	ATLAS-2319	Interfaccia utente: l'eliminazione di un tag, che in corrispondenza della posizione 25+ nell'elenco di tag nella struttura flat e tree richiede un aggiornamento per rimuovere il tag dall'elenco.
BUG-94618	YARN-5037, YARN-7274	Possibilità di disabilitare l'elasticità al livello foglia della coda
BUG-94901	HBASE-19285	Aggiunta di istogrammi di latenza per tabella
BUG-95259	HADOOP-15185, HADOOP-15186	Aggiornare `adls` il connettore per usare la versione corrente di ADLS SDK
BUG-95619	HIVE-18551	Vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace
BUG-97223	SPARK-23434	Spark non dovrebbe avvisare la "directory dei metadati" per un percorso di file HDFS

Prestazioni

Bug ID	Apache JIRA	Riepilogo
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Calcolo veloce località del bilanciamento
BUG-91300	HBASE-17387	Riduzione dell'overhead del report delle eccezioni in RegionActionResult per multi ()
BUG-91804	TEZ-1526	LoadingCache per TezTaskID rallentata per i processi di grandi dimensioni
BUG-92760	ACCUMULO-4578	L'annullamento dell'operazione di compattazione FATE non rilascia il blocco dello spazio dei nomi
BUG-93577	RANGER-1938	Solr per l'installazione di Audit non usa in modo efficace DocValues
BUG-93910	HIVE-18293	Hive non riesce a compattare le tabelle contenute all'interno di una cartella che non è di proprietà dell'identità che esegue HiveMetaStore
BUG-94345	HIVE-18429	La compattazione deve gestire un caso quando non viene prodotto alcun output
BUG-94381	HADOOP-13227, HDFS-13054	Gestione dell'ordine RequestHedgingProxyProvider RetryAction: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR deve chiamare jobclient.close() per attivare la pulizia
BUG-94869	PHOENIX-4290, PHOENIX-4373	Riga richiesta non compreso nell'intervallo per Get on `HRegion` per la tabella phoenix con salting indicizzata locale.
BUG-94928	HDFS-11078	Correggere NPE in LazyPersistFileScrubber
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	Correzioni LLAP multiple
BUG-95669	HIVE-18577, HIVE-18643	Quando si esegue una query di aggiornamento/eliminazione nella tabella partizionata ACID, HS2 legge tutte le partizioni.
BUG-96390	HDFS-10453	Il thread ReplicationMonitor potrebbe essere bloccato per molto tempo a causa della corsa tra la replica ed eliminare lo stesso file in un cluster di grandi dimensioni.
BUG-96625	HIVE-16110	Ripristinare "Vectorization: Support 2 Value CASE WHEN invece di fallback in VectorUDFAdaptor"
BUG-97109	HIVE-16757	Uso di getRows() deprecati anziché di estimateRowCount(RelMetadataQuery...) ha un impatto grave sulle prestazioni
BUG-97110	PHOENIX-3789	Esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably
BUG-98833	YARN-6797	TimelineWriter non usa completamente la risposta POST
BUG-98931	ATLAS-2491	Aggiornare l'hook di Hive per usare le notifiche Atlas v2

Potenziale perdita di dati

Bug ID	Apache JIRA	Riepilogo
BUG-95613	HBASE-18808	Archiviazione configurazione inefficace BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	Concatenazione non riuscita delle tabelle non gestite e transazionali
BUG-97787	HIVE-18460	Compactor non trasmette le proprietà della tabella al writer Orc
BUG-97788	HIVE-18613	Estensione di JsonSerDe per supportare il tipo BINARY

Errore di query

Bug ID	Apache JIRA	Riepilogo
BUG-100180	CALCITE-2232	Errore di asserzione in AggregatePullUpConstantsRule durante la regolazione degli indici di aggregazione
BUG-100422	HIVE-19085	FastHiveDecimal abs(0) imposta il segno su `+ve`
BUG-100834	PHOENIX-4658	IllegalStateException: requestSeek non può essere chiamato su ReversedKeyValueHeap
BUG-102078	HIVE-17978	Le query TPCDS 58 e 83 generano eccezioni nella vettorializzazione.
BUG-92483	HIVE-17900	L'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con > 1 colonna di partizione
BUG-93135	HIVE-15874, HIVE-18189	Query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true
BUG-93136	HIVE-18189	L'ordine in base alla posizione non funziona quando `cbo` è disabilitato
BUG-93595	HIVE-12378, HIVE-15883	La tabella mappata HBase in Hive insert non riesce per le colonne binarie e decimali
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Queries restituisce i valori Null a causa di righe HBase Partial
BUG-94144	HIVE-17063	l'inserimento di una partizione sovrascrittura in una tabella esterna ha esito negativo quando si rilascia prima la partizione
BUG-94280	HIVE-12785	Visualizzazione con il tipo di unione e la funzione definita dall'utente per 'cast' lo struct è interrotto
BUG-94505	PHOENIX-4525	Overflow numero intero nell'esecuzione GroupBy
BUG-95618	HIVE-18506	LlapBaseInputFormat - indice di matrice negativo
BUG-95644	HIVE-9152	CombineHiveInputFormat: la query Hive ha esito negativo in Tez con l'eccezione java.lang.IllegalArgumentException
BUG-96762	PHOENIX-4588	Clonare l'espressione anche se i relativi elementi figlio hanno Determinism.PER_INVOCATION
BUG-97145	HIVE-12245, HIVE-17829	Commenti della colonna Supporto per una tabella di backup HBase
BUG-97741	HIVE-18944	La posizione dei set di raggruppamenti viene impostata in modo non corretto durante il DPP
BUG-98082	HIVE-18597	LLAP: creare sempre il pacchetto jar dell'API `log4j2` per `org.apache.log4j`
BUG-99849	N/D	La creazione di una nuova tabella da una procedura guidata file tenta di usare il database predefinito

Sicurezza

Bug ID	Apache JIRA	Riepilogo
BUG-100436	RANGER-2060	`Knox` proxy con `knox-sso` non funziona per ranger
BUG-101038	SPARK-24062	Errore "Connection refused" dell'interprete Zeppelin %Spark, errore"A secret key must be specified..." in HiveThriftServer
BUG-101359	ACCUMULO-4056	Aggiornare alla versione della raccolta di commons 3.2.2 al momento del rilascio
BUG-54240	HIVE-18879	Elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath
BUG-79059	OOZIE-3109	Caratteri di escape di log specifici HTML dello streaming
BUG-90041	OOZIE-2723	La licenza JSON.org è ora CatX
BUG-93754	RANGER-1943	L'autorizzazione Ranger Solr viene ignorata quando la raccolta è vuota o null
BUG-93804	HIVE-17419	Il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate
BUG-94276	ZEPPELIN-3129	L'interfaccia utente di Zeppelin non si disconnette in Internet Explorer
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Aggiornamento Netty
BUG-95483	N/D	Correzione per CVE-2017-15713
BUG-95646	OOZIE-3167	Aggiornamento della versione di Tomcat sul ramo di Oozie 4.3
BUG-95823	N/D	`Knox`:Aggiornamento `Beanutils`
BUG-95908	RANGER-1960	Auth HBase non prende in considerazione lo spazio dei nomi di tabella per l'eliminazione di snapshot
BUG-96191	FALCON-2322, FALCON-2323	Aggiornare le versioni Jackson e Spring per evitare le vulnerabilità di sicurezza
BUG-96502	RANGER-1990	Aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin
BUG-96712	FLUME-3194	Eseguire l'aggiornamento alla versione più recente (1.14.1.0) di derby
BUG-96713	FLUME-2678	Eseguire l'aggiornamento xalan alla versione 2.7.2 per la vulnerabilità CVE-2014-0107
BUG-96714	FLUME-2050	Eseguire l'aggiornamento a `log4j2` (quando disponibile a livello generale)
BUG-96737	N/D	Usare i metodi del file system io Java per accedere ai file locali
BUG-96925	N/D	Aggiornamento di Tomcat da 6.0.48 a 6.0.53 in Hadoop
BUG-96977	FLUME-3132	Aggiornare le dipendenze della libreria tomcat `jasper`
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Aggiornamento della libreria Nimbus-JOSE-JWT con la versione precedente a 4.39
BUG-97101	RANGER-1988	Correzione della casualità non sicura
BUG-97178	ATLAS-2467	Aggiornamento delle dipendenze per Spring e nimbus-jose-jwt
BUG-97180	N/D	Aggiornamento Nimbus jose-jwt
BUG-98038	HIVE-18788	Pulizia degli input in JDBC PreparedStatement
BUG-98353	HADOOP-13707	Ripristinare "Se kerberos è abilitato mentre SPNEGO HTTP non è configurato, non è possibile accedere ad alcuni collegamenti"
BUG-98372	HBASE-13848	Password di accesso SSL a InfoServer tramite l'API del provider di credenziali
BUG-98385	ATLAS-2500	Aggiungere altre intestazioni alla risposta atlas.
BUG-98564	HADOOP-14651	Aggiornare alla versione okhttp 2.7.5
BUG-99440	RANGER-2045	La colonne della tabella Hive senza un criterio di ammissione esplicito sono elencate con il comando 'desc table'
BUG-99803	N/D	Oozie deve disabilitare il caricamento della classe dinamica HBase

Stabilità

Bug ID	Apache JIRA	Riepilogo
BUG-100040	ATLAS-2536	NPE nell'Hook Hive Atlas
BUG-100057	HIVE-19251	ObjectStore.getNextNotification con LIMIT deve usare meno memoria
BUG-100072	HIVE-19130	NPE viene generata quando REPL LOAD è applicato all'evento di rilascio partizione.
BUG-100073	N/D	Troppe connessioni close_wait da `hiveserver` a nodo dati
BUG-100319	HIVE-19248	REPL LOAD non genera errori se si verifica un errore di copia dei file.
BUG-100352	N/D	CLONE - la logica di eliminazione RM analizza /registry znode troppo di frequente
BUG-100427	HIVE-19249	Replica: la clausola WITH non passa correttamente la configurazione a Task in tutti i casi
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	REPL DUMP incrementale deve generare l'errore se gli eventi richiesti vengono puliti.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	Aggiornamento `Spark2` alla versione 2.3.0+ (4/11)
BUG-100740	HIVE-16107	JDBC: HttpClient deve riprovare ancora una volta su NoHttpResponseException
BUG-100810	HIVE-19054	Si verifica un errore di replica di funzioni Hive
BUG-100937	MAPREDUCE-6889	Aggiungere l'API Job#close per arrestare i servizi client MR.
BUG-101065	ATLAS-2587	Impostare ACL di lettura per /apache_atlas/active_server_info znode nella disponibilità elevata per la `Knox` lettura del proxy.
BUG-101093	STORM-2993	Il bolt Storm HDFS genera ClosedChannelException quando viene usato il criterio di rotazione Time
BUG-101181	N/D	PhoenixStorageHandler non gestisce AND nel predicato correttamente
BUG-101266	PHOENIX-4635	Perdita di connessione HBase in org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	HIVE-11464	Informazioni di derivazione mancanti se sono presenti più output
BUG-101485	N/D	L'API thrift di metastore Hive è lenta e causa il timeout del client
BUG-101628	HIVE-19331	Non è riuscita la replica incrementale Hive nel cloud.
BUG-102048	HIVE-19381	La replica di funzione hive al cloud ha esito negativo con FunctionTask
BUG-102064	N/D	I test di replica `\[ onprem to onprem \]` Hive non sono riusciti in ReplCopyTask
BUG-102137	HIVE-19423	I test di replica `\[ Onprem to Cloud \]` Hive non sono riusciti in ReplCopyTask
BUG-102305	HIVE-19430	Dump di memoria insufficiente di HS2 e Hive metastore
BUG-102361	N/D	più risultati di inserimento in un singolo inserimento replicato nel cluster Hive di destinazione ( `onprem - s3` )
BUG-87624	N/D	L'abilitazione della registrazione eventi storm blocca in continuazione i ruoli di lavoro
BUG-88929	HBASE-15615	Periodo di inattività non corretto quando RegionServerCallable richiede un altro tentativo
BUG-89628	HIVE-17613	Rimuove i pool di oggetti per le allocazioni brevi dello stesso thread
BUG-89813	N/D	SCA: correttezza del codice: il metodo non sincronizzato esegue l'override del metodo sincronizzato
BUG-90437	ZEPPELIN-3072	L'interfaccia utente di Zeppelin si rallenta/non risponde se sono presenti troppi notebook
BUG-90640	HBASE-19065	HRegion#bulkLoadHFiles() deve attendere il completamento di Region#flush() simultaneo
BUG-91202	HIVE-17013	Elimina una richiesta con una sottoquery basata sulla selezione su una visualizzazione
BUG-91350	KNOX-1108	NiFiHaDispatch non esegue il failover
BUG-92054	HIVE-13120	Propagazione doAs quando si generano le divisioni ORC
BUG-92373	FALCON-2314	Passare la versione TestNG alla 6.13.1 per evitare dipendenze BeanShell
BUG-92381	N/D	Errore testContainerLogsWithNewAPI e testContainerLogsWithOldAPI UT
BUG-92389	STORM-2841	testNoAcksIfFlushFails UT ha esito negativo con NullPointerException
BUG-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	Aggiornamento `Spark2` aggiornato alla versione 2.2.1 (16 gennaio)
BUG-92680	ATLAS-2288	Eccezione NoClassDefFoundError durante l'esecuzione dello script hive di importazione quando viene creata la tabella hbase tramite Hive
BUG-92760	ACCUMULO-4578	L'annullamento dell'operazione di compattazione FATE non rilascia il blocco dello spazio dei nomi
BUG-92797	HDFS-10267, HDFS-8496	Ridurre i conflitti di blocco datanode in determinati casi d'uso
BUG-92813	FLUME-2973	Deadlock nel sink hdfs
BUG-92957	HIVE-11266	count(*) risultato errato in base alle statistiche della tabella per le tabelle esterne
BUG-93018	ATLAS-2310	In disponibilità elevata, il nodo passivo reindirizza la richiesta con codifica URL errata
BUG-93116	RANGER-1957	Ranger Usersync non sincronizza periodicamente utenti o gruppi quando è abilitata la sincronizzazione incrementale.
BUG-93361	HIVE-12360	Ricerca non riuscita in ORC non compressi con la distribuzione dinamica del predicato
BUG-93426	CALCITE-2086	HTTP/413 in determinate circostanze a causa di intestazioni di autorizzazione di grandi dimensioni
BUG-93429	PHOENIX-3240	ClassCastException dal caricatore Pig
BUG-93485	N/D	Impossibile ottenere la tabella mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: Tabella non trovata durante l'esecuzione della tabella di analisi nelle colonne in LLAP
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricare i dati
BUG-93550	N/D	Zeppelin %spark.r non funziona con spark1 a causa della mancata corrispondenza di versione di Scala
BUG-93910	HIVE-18293	Hive non riesce a compattare le tabelle contenute all'interno di una cartella che non è di proprietà dell'identità che esegue HiveMetaStore
BUG-93926	ZEPPELIN-3114	I notebook e gli interpreti non vengono salvati in zeppelin dopo >i test di stress 1d
BUG-93932	ATLAS-2320	la classificazione "*" con query genera 500 eccezioni del server interno.
BUG-93948	YARN-7697	NM si arresta con OOM a causa della perdita di dati nell'aggregazione dei log (parte 1)
BUG-93965	ATLAS-2229	Ricerca DSL: l'attributo non di stringa orderby genera eccezioni
BUG-93986	YARN-7697	NM si arresta con OOM a causa della perdita di dati nell'aggregazione dei log (parte 2)
BUG-94030	ATLAS-2332	Creazione del tipo con attributi con tipo di dati di raccolta annidati ha esito negativo
BUG-94080	YARN-3742, YARN-6061	Entrambi gli RM sono in modalità standby nel cluster protetto
BUG-94081	HIVE-18384	ConcurrentModificationException nella `log4j2.x` libreria
BUG-94168	N/D	Yarn RM smette di funzionare con l'errore di registro di sistema del servizio in stato non valido
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	HDFS deve supportare più `KMS Uris`
BUG-94345	HIVE-18429	La compattazione deve gestire un caso quando non viene prodotto alcun output
BUG-94372	ATLAS-2229	Query DSL: hive_table name = ["t1","t2"] genera un'eccezione di query DSL non valida
BUG-94381	HADOOP-13227, HDFS-13054	Gestione dell'ordine RequestHedgingProxyProvider RetryAction: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	CompactorMR deve chiamare jobclient.close() per attivare la pulizia
BUG-94575	SPARK-22587	Il processo Spark non riesce se fs.defaultFS e l'applicazione jar sono in URL diversi
BUG-94791	SPARK-22793	Perdita di memoria nel Server Spark Thrift
BUG-94928	HDFS-11078	Correggere NPE in LazyPersistFileScrubber
BUG-95013	HIVE-18488	I lettori LLAP ORC non hanno alcuni controlli null
BUG-95077	HIVE-14205	Hive non supporta il tipo di unione con il formato di file AVRO
BUG-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend non deve considerare attendibile un canale parzialmente attendibile
BUG-95201	HDFS-13060	Aggiunta di BlacklistBasedTrustedChannelResolver per TrustedChannelResolver
BUG-95284	HBASE-19395	[branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting ha esito negativo con NPE
BUG-95301	HIVE-18517	Vettorializzazione: correggere VectorMapOperator per accettare VRB e controllare correttamente il flag vettorializzato affinché supporti la memorizzazione nella cache LLAP
BUG-95542	HBASE-16135	PeerClusterZnode in rs del peer rimosso potrebbe non essere mai eliminato
BUG-95595	HIVE-15563	Ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
BUG-95596	YARN-4126, YARN-5750	TestClientRMService ha esito negativo
BUG-96019	HIVE-18548	Correzione dell'importazione `log4j`
BUG-96196	HDFS-13120	L'aread diff di snapshot potrebbe venire danneggiata dopo la concatenazione
BUG-96289	HDFS-11701	NPE dall'host non risolto causa errori di DFSInputStream permanenti
BUG-96291	STORM-2652	Eccezione generata nel metodo Open JmsSpout
BUG-96363	HIVE-18959	Evitare di creare pool extra di thread all'interno di LLAP
BUG-96390	HDFS-10453	Il thread di ReplicationMonitor thread può restare bloccato per molto tempo a causa di race tra la replica e la cancellazione dello stesso file in un cluster di grandi dimensioni.
BUG-96454	YARN-4593	Deadlock nell'AbstractService.getConfig()
BUG-96704	FALCON-2322	ClassCastException durante il feed submitAndSchedule
BUG-96720	SLIDER-1262	I functest dispositivo di scorrimento hanno esito negativo nell'ambiente `Kerberized`
BUG-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	Aggiornamento `Spark2` aggiornato (19 febbraio)
BUG-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor esegue una conversione non corretta
BUG-97244	KNOX-1083	Il timeout predefinito HttpClient deve essere un valore ragionevole
BUG-97459	ZEPPELIN-3271	Opzione per la disabilitazione dell'utilità di pianificazione
BUG-97511	KNOX-1197	AnonymousAuthFilter non viene aggiunto quando authentication=Anonymous nel servizio
BUG-97601	HIVE-17479	Le directory di gestione temporanea non vengono ripulite dalle query di aggiornamento/eliminazione
BUG-97605	HIVE-18858	Proprietà di sistema nella configurazione del processo non risolte durante l'invio del processo MR
BUG-97674	OOZIE-3186	Oozie non è in grado di usare la configurazione collegata con jceks://file/...
BUG-97743	N/D	eccezione java.lang.NoClassDefFoundError durante la distribuzione della topologia storm
BUG-97756	PHOENIX-4576	Correzione dell'esito negativo dei test LocalIndexSplitMergeIT
BUG-97771	HDFS-11711	Il nome di dominio non dovrebbe eliminare il blocco sull'eccezione "Too many open files"
BUG-97869	KNOX-1190	`Knox` Il supporto SSO per Google OIDC è interrotto.
BUG-97879	PHOENIX-4489	Perdita di connessione HBase nei processi di MR Phoenix
BUG-98392	RANGER-2007	Il ticket Kerberos del Ranger-tagsync non riesce a rinnovarsi
BUG-98484	N/D	La replica incrementale Hive nel cloud non funziona
BUG-98533	HBASE-19934, HBASE-20008	Il ripristino dello snapshot HBase non riesce a causa di un'eccezione del puntatore Null
BUG-98555	PHOENIX-4662	NullPointerException in TableResultIterator.java su reinvio della cache
BUG-98579	HBASE-13716	Non usare FSConstants di Hadoop
BUG-98705	KNOX-1230	Molte richieste simultanee a `Knox` causa del mangling url
BUG-98983	KNOX-1108	NiFiHaDispatch non esegue il failover
BUG-99107	HIVE-19054	La replica della funzione deve usare "hive.repl.replica.functions.root.dir" come radice
BUG-99145	RANGER-2035	Errori di accesso a servicedefs con implClass vuota con back-end Oracle
BUG-99160	SLIDER-1259	Slider non funziona in ambienti multi-homed
BUG-99239	ATLAS-2462	L'importazione Sqoop per tutte le tabelle genera NPE per nessuna tabella fornita nel comando
BUG-99301	ATLAS-2530	Nuova riga all'inizio dell'attributo name di un hive_process e hive_column_lineage
BUG-99453	HIVE-19065	La verifica della compatibilità del client metastore deve includere syncMetaStoreClient
BUG-99521	N/D	ServerCache per HashJoin non viene ricreato quando vengono reintanti gli iteratori
BUG-99590	PHOENIX-3518	Perdita di memoria in RenewLeaseTask
BUG-99618	SPARK-23599, SPARK-23806	Aggiornamento `Spark2` alla versione 2.3.0+ (3/28)
BUG-99672	ATLAS-2524	Hook Hive con notifiche V2 - gestione non corretta dell'operazione 'alter view as'
BUG-99809	HBASE-20375	Non usare getCurrentUserCredentials nel modulo hbase-spark

Supporto

Bug ID	Apache JIRA	Riepilogo
BUG-87343	HIVE-18031	Supporto della replica per l'operazione Alter Database.
BUG-91293	RANGER-2060	`Knox` proxy con `knox-sso` non funziona per ranger
BUG-93116	RANGER-1957	Ranger Usersync non sincronizza periodicamente utenti o gruppi quando è abilitata la sincronizzazione incrementale.
BUG-93577	RANGER-1938	Solr per l'installazione di Audit non usa in modo efficace DocValues
BUG-96082	RANGER-1982	Miglioramento degli errori per la metrica di Analisi di Ranger Admin e Ranger `Kms`
BUG-96479	HDFS-12781	Dopo `Datanode` il basso, nella `Namenode` scheda dell'interfaccia utente `Datanode` viene generato un messaggio di avviso.
BUG-97864	HIVE-18833	L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile)
BUG-98814	HDFS-13314	NameNode deve facoltativamente chiudersi in caso di danneggiamento di FsImage

Aggiorna

Bug ID	Apache JIRA	Riepilogo
BUG-100134	SPARK-22919	Ripristino di "Bump Apache httpclient versions"
BUG-95823	N/D	`Knox`:Aggiornamento `Beanutils`
BUG-96751	KNOX-1076	Aggiornamento di nimbus-jose-jwt alla versione 4.41.2
BUG-97864	HIVE-18833	L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile)
BUG-99056	HADOOP-13556	Modifica di Configuration.getPropsWithPrefix per usare getProps invece dell'iteratore
BUG-99378	ATLAS-2461, ATLAS-2554	Utilità di migrazione per esportare i dati di Atlas nel grafico Titan DB

Usabilità

Bug ID	Apache JIRA	Riepilogo
BUG-100045	HIVE-19056	IllegalArgumentException in FixAcidKeyIndex quando il file ORC ha zero righe
BUG-100139	KNOX-1243	Normalizzare i DN necessari configurati nel `KnoxToken` servizio
BUG-100570	ATLAS-2557	Correzione per consentire ai `lookup` gruppi hadoop `ldap` quando sono gruppi di UGI impostati in modo errato o non sono vuoti
BUG-100646	ATLAS-2102	Miglioramenti dell'interfaccia utente Atlas: pagina dei risultati della ricerca
BUG-100737	HIVE-19049	Aggiunta del supporto per Alter table aggiunta di colonne per Druid
BUG-100750	KNOX-1246	Aggiornare la configurazione del servizio in `Knox` per supportare le configurazioni più recenti per Ranger.
BUG-100965	ATLAS-2581	Regressione con le notifiche Hook Hive V2: spostamento della tabella in un altro database
BUG-84413	ATLAS-1964	Interfaccia utente: supporto per ordinare le colonne nella tabella di ricerca
BUG-90570	HDFS-11384, HDFS-12347	Aggiunta dell'opzione del bilanciamento per distribuire le chiamate getBlocks per evitare picchi rpc.CallQueueLength di NameNode
BUG-90584	HBASE-19052	FixedFileTrailer dovrebbe riconoscere la classe CellComparatorImpl in branch-1.x
BUG-90979	KNOX-1224	`Knox` Proxy `HADispatcher` per supportare Atlas nella disponibilità elevata.
BUG-91293	RANGER-2060	`Knox` proxy con knox-sso non funziona per ranger
BUG-92236	ATLAS-2281	Salvataggio delle query di filtro di attributo Tag/Type con i filtri null/not null.
BUG-92238	ATLAS-2282	La ricerca salvata preferita viene visualizzata solo dopo l'operazione di aggiornamento dopo la creazione quando sono presenti più di 25 ricerche preferite.
BUG-92333	ATLAS-2286	Il tipo predefinito 'kafka_topic' non deve dichiarare l'attributo 'topic' come univoco
BUG-92678	ATLAS-2276	Il valore del percorso per hdfs_path'entità di tipo è impostato su lettere minuscole da hive-bridge.
BUG-93097	RANGER-1944	Il filtro delle azioni per Il controllo amministratore non funziona
BUG-93135	HIVE-15874, HIVE-18189	Query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true
BUG-93136	HIVE-18189	L'ordine in base alla posizione non funziona quando `cbo` è disabilitato
BUG-93387	HIVE-17600	Rendere configurabile dall'utente enforceBufferSize di OrcFile.
BUG-93495	RANGER-1937	Ranger `tagsync` deve elaborare ENTITY_CREATE notifica per supportare la funzionalità di importazione di Atlas
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricare i dati
BUG-93801	HBASE-19393	Head HTTP 413 FULL durante l'accesso all'interfaccia utente di HBase con SSL.
BUG-93804	HIVE-17419	Il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate
BUG-93932	ATLAS-2320	la classificazione "*" con query genera 500 eccezioni del server interno.
BUG-93933	ATLAS-2286	Il tipo predefinito 'kafka_topic' non deve dichiarare l'attributo 'topic' come univoco
BUG-93938	ATLAS-2283, ATLAS-2295	Aggiornamenti dell'interfaccia utente per le classificazioni
BUG-93941	ATLAS-2296, ATLAS-2307	Miglioramento della ricerca di base per escludere facoltativamente entità sottotipi e sottotipi di classificazione
BUG-93944	ATLAS-2318	Interfaccia utente: quando si fa clic due volte sul tag figlio, viene selezionato il tag padre
BUG-93946	ATLAS-2319	Interfaccia utente: l'eliminazione di un tag, che in corrispondenza della posizione 25+ nell'elenco di tag nella struttura flat e tree richiede un aggiornamento per rimuovere il tag dall'elenco.
BUG-93977	HIVE-16232	Supporta il calcolo delle statistiche per le colonne in QuotedIdentifier
BUG-94030	ATLAS-2332	Creazione del tipo con attributi con tipo di dati di raccolta annidati ha esito negativo
BUG-94099	ATLAS-2352	Il server Atlas deve fornire una configurazione per specificare la validità di DelegationToken Kerberos
BUG-94280	HIVE-12785	Visualizzazione con il tipo di unione e la funzione definita dall'utente per 'cast' lo struct è interrotto
BUG-94332	SQOOP-2930	L'esecuzione del processo Sqoop non esegue l'override delle proprietà generiche del processo salvate
BUG-94428	N/D	`Dataplane` Supporto dell'API `Knox` REST dell'agente profiler
BUG-94514	ATLAS-2339	Interfaccia utente: le modifiche in "columns" nella visualizzazione dei risultati della ricerca di base influisce anche su DSL.
BUG-94515	ATLAS-2169	La richiesta di eliminazione ha esito negativo quando è configurata l'eliminazione definitiva
BUG-94518	ATLAS-2329	Se l'utente fa clic su un altro tag non corretto, vengono visualizzati più passaggi al passaggio del mouse sull'interfaccia utente di Atlas
BUG-94519	ATLAS-2272	Salvare lo stato delle colonne trascinate con l'API delle ricerche salvate.
BUG-94627	HIVE-17731	aggiungere un'opzione all'indietro `compat` per gli utenti esterni a HIVE-11985
BUG-94786	HIVE-6091	I file vuoti `pipeout` vengono creati per la creazione/chiusura della connessione
BUG-94793	HIVE-14013	La tabella di descrizione non mostra i caratteri Unicode in modo corretto
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Impostare spark.yarn.jars per correggere Spark 2.0 con Oozie
BUG-94901	HBASE-19285	Aggiunta di istogrammi di latenza per tabella
BUG-94908	ATLAS-1921	Interfaccia utente: Eseguire la ricerca usando gli attributi di entità e dei tratti: l'interfaccia utente non esegue la verifica di intervallo e consente di fornire valori fuori dai limiti per tipi di dati integrali e float.
BUG-95086	RANGER-1953	Miglioramento nell'elenco della pagina del gruppo di utenti
BUG-95193	SLIDER-1252	L'agente di scorrimento ha esito negativo con errori di convalida SSL con Python 2.7.5-58
BUG-95314	YARN-7699	queueUsagePercentage è in arrivo come INF per `getApp` la chiamata api REST
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	Assegnazione delle tabelle di sistema ai server con la versione più recente
BUG-95392	ATLAS-2421	Aggiornamenti di notifica per il supporto delle strutture di dati V2
BUG-95476	RANGER-1966	L'inizializzazione del motore dei criteri non crea in alcuni casi enricher di contesto
BUG-95512	HIVE-18467	Supporto di eventi whole warehouse dump / load + create/drop database
BUG-95593	N/D	Estendere le utilità di Oozie DB per supportare `Spark2sharelib` la creazione
BUG-95595	HIVE-15563	Ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
BUG-95685	ATLAS-2422	Esportazione: esportazione basata sul tipo di supporto
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Non vengono usati indicatori per l'esecuzione di query in modo seriale
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	La vista partizionata ha esito negativo con FAILED: IndexOutOfBoundsException Index: 1, Size: 1
BUG-96019	HIVE-18548	Correzione dell'importazione `log4j`
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	Backup/ripristino di HBase backport 2.0
BUG-96313	KNOX-1119	`Pac4J` L'entità OAuth/OpenID deve essere configurabile
BUG-96365	ATLAS-2442	L'utente con autorizzazione di sola lettura nella risorsa di entità non è in grado di eseguire la ricerca di base
BUG-96479	HDFS-12781	Dopo `Datanode` il basso, nella `Namenode` scheda dell'interfaccia utente `Datanode` viene generato un messaggio di avviso.
BUG-96502	RANGER-1990	Aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin
BUG-96718	ATLAS-2439	Aggiornamento dell'hook di Sqoop per usare le notifiche versione 2
BUG-96748	HIVE-18587	L'evento insert DML potrebbe tentare di calcolare un checksum nelle directory
BUG-96821	HBASE-18212	In modalità autonoma con file system locale HBase registra il messaggio di avviso: Impossibile richiamare il metodo 'unbuffer' nella classe org.apache.hadoop.fs.FSDataInputStream
BUG-96847	HIVE-18754	REPL STATUS deve supportare la clausola 'with'
BUG-96873	ATLAS-2443	Acquisire gli attributi di entità necessari nei messaggi DELETE in uscita
BUG-96880	SPARK-23230	Quando hive.default.fileformat è di altri tipi di file, creare una `textfile` tabella genera un `serde` errore
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Miglioramento dell'analisi delle opzioni Spark
BUG-97100	RANGER-1984	I record del log di controllo HBase potrebbero non visualizzare tutti i tag associati alla colonna a cui si accede
BUG-97110	PHOENIX-3789	Esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably
BUG-97145	HIVE-12245, HIVE-17829	Commenti della colonna Supporto per una tabella di backup HBase
BUG-97409	HADOOP-15255	Supporto per la conversione maiuscole/minuscole per i nomi dei gruppi in LdapGroupsMapping
BUG-97535	HIVE-18710	estensione di inheritPerms ad ACID in Hive 2.X
BUG-97742	OOZIE-1624	Modello di esclusione per `sharelib` i file JAR
BUG-97744	PHOENIX-3994	La priorità dell'indice RPC dipende ancora dalla proprietà controller factory in hbase-site.xml
BUG-97787	HIVE-18460	Compactor non trasmette le proprietà della tabella al writer Orc
BUG-97788	HIVE-18613	Estensione di JsonSerDe per supportare il tipo BINARY
BUG-97899	HIVE-18808	Rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo
BUG-98038	HIVE-18788	Pulizia degli input in JDBC PreparedStatement
BUG-98383	HIVE-18907	Creazione di utilità per risolvere il problema di indice di chiave acid da HIVE-18817
BUG-98388	RANGER-1828	Procedura consigliata per l'aggiunta di altre intestazioni in ranger
BUG-98392	RANGER-2007	Il ticket Kerberos del Ranger-tagsync non riesce a rinnovarsi
BUG-98533	HBASE-19934, HBASE-20008	Il ripristino dello snapshot HBase non riesce a causa di un'eccezione del puntatore Null
BUG-98552	HBASE-18083, HBASE-18084	Rende il numero di thread di pulizia dei file di grandi/piccole dimensioni configurabile in HFileCleaner
BUG-98705	KNOX-1230	Molte richieste simultanee a `Knox` causa del mangling url
BUG-98711	N/D	L'invio NiFi non può usare l'SSL bidirezionale senza modifiche a service.xml
BUG-98880	OOZIE-3199	Rendere configurabili le restrizioni delle proprietà di sistema
BUG-98931	ATLAS-2491	Aggiornare l'hook di Hive per usare le notifiche Atlas v2
BUG-98983	KNOX-1108	NiFiHaDispatch non esegue il failover
BUG-99088	ATLAS-2511	Fornire opzioni per l'importazione selettiva del database/tabelle da Hive in Atlas
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Query di Spark non riuscita con l'eccezione "java.io.FileNotFoundException: hive-site.xml (Permission denied)"
BUG-99239	ATLAS-2462	L'importazione Sqoop per tutte le tabelle genera NPE per nessuna tabella fornita nel comando
BUG-99636	KNOX-1238	Correzione delle impostazioni Truststore personalizzate per il gateway
BUG-99650	KNOX-1223	Il proxy di `Knox` Zeppelin non reindirizza /api/ticket come previsto
BUG-99804	OOZIE-2858	HiveMain, ShellMain e SparkMain non devono sovrascrivere le proprietà e i file di configurazione localmente
BUG-99805	OOZIE-2885	L'esecuzione delle azioni di Spark non necessita di Hive in classpath
BUG-99806	OOZIE-2845	Sostituire il codice basato su reflection, che imposta la variabile in HiveConf
BUG-99807	OOZIE-2844	Aumentare la stabilità delle azioni Oozie quando `log4j`le proprietà sono mancanti o non leggibili
RMP-9995	AMBARI-22222	Passaggio a Druid per usare la directory /var/druid invece di /apps/druid sul disco locale

Modifiche comportamentali

Componente Apache	Apache JIRA	Riepilogo	Dettagli
Spark 2.3	N/D	Modifiche come documentato nelle Note sulla versione di Apache Spark	- È disponibile un documento "Deprecation" e una guida "Modifica del comportamento", https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Per la parte SQL, è disponibile un'altra guida dettagliata "Migrazione" (da 2.2 a 2.3), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Il processo Spark viene completato correttamente, ma si verifica un errore completo della quota del disco HDFS	Scenario: esecuzione di insert overwrite quando è impostata una quota nella cartella Cestino dell'utente che esegue il comando. Comportamento precedente: il processo ha esito positivo anche se non riesce a spostare i dati nel Cestino. Il risultato può erroneamente contenere alcuni dei dati presenti in precedenza nella tabella. Nuovo comportamento: quando il trasferimento nella cartella Cestino ha esito negativo, i file vengono eliminati definitivamente.
Kafka 1.0	N/D	Modifiche come documentato nelle Note sulla versione di Apache Spark	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive / Ranger		Altri criteri hive ranger necessari per INSERT OVERWRITE	Scenario: altri criteri Hive ranger necessari per INSERT OVERWRITE Comportamento precedente: le query INSERT OVERWRITE Hive completate correttamente come di consueto. Nuovo comportamento: le query INSERT OVERWRITE Hive hanno esito negativo in modo imprevisto dopo l'aggiornamento a HDP 2.6 con l'errore: Errore durante la compilazione dell'istruzione: FAILED: HiveAccessControlException Permission denied: user jdoe does not have WRITE privilege on /tmp/(state=42000,code=40000) A partire da HDP-2.6.0, le query INSERT OVERWRITE* Hive richiedono un criterio URI Ranger per consentire operazioni di scrittura, anche se l'utente dispone del privilegio di scrittura concesso tramite il criterio HDFS. Soluzione alternativa/Azione prevista del cliente: 1. Creare un nuovo criterio nel repository Hive. 2. Nell'elenco a discesa in cui viene visualizzato Database selezionare URI. 3. Aggiornare il percorso (esempio: /tmp/*) 4. Aggiungere gli utenti e il gruppo e salvare. 5. Ripetere la query di inserimento.
HDFS	N/D	HDFS deve supportare più `KMS Uris`	Comportamento precedente: la proprietà dfs.encryption.key.provider.uri era usata per configurare il percorso del provider del Server di gestione delle chiavi. Nuovo comportamento: la proprietà dfs.encryption.key.provider.uri è deprecata a favore di hadoop.security.key.provider.path per la configurazione del percorso del provider del Server di gestione delle chiavi.
Zeppelin	ZEPPELIN-3271	Opzione per la disabilitazione dell'utilità di pianificazione	Componente interessato: Server Zeppelin Comportamento precedente: nelle versioni precedenti di Zeppelin, non era presente alcuna opzione per la disabilitazione dell'utilità di pianificazione. Nuovo comportamento: per impostazione predefinita, gli utenti non vedranno più l'utilità di pianificazione, perché è disabilitata per impostazione predefinita. Soluzione alternativa/Azione prevista del cliente: se si desidera abilitare l'utilità di pianificazione, è necessario aggiungere azeppelin.notebook.cron.enable con valore true nel sito Zeppelin personalizzato nelle impostazioni di Zeppelin da Ambari.

Problemi noti

Integrazione di HDInsight con ADLS Gen 2 I cluster ESP HDInsight che usano Azure Data Lake Storage Gen 2 con autorizzazioni e directory utente presentano due problemi:
1. Le home directory per gli utenti non vengono create nel nodo head 1. Come soluzione alternativa, creare manualmente le directory e modificare la proprietà dell'UPN dell'utente corrispondente.
2. Le autorizzazioni per la directory /hdp non sono attualmente impostate su 751. È necessario impostare i valori seguenti:
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] Risultato errato causato dalla regola OptimizeMetadataOnlyQuery
- [SPARK-23406] Bug nei self-join di flusso di flusso
- I notebook di esempio Spark non sono disponibili quando Azure Data Lake Storage (Gen2) è l'archiviazione predefinita del cluster.
Enterprise Security Package
- Spark Thrift Server non accetta connessioni da client ODBC. Passaggi per la soluzione alternativa:
  1. Attendere circa 15 minuti dopo la creazione del cluster.
  2. Controllare l'interfaccia utente Ranger per verificare l'esistenza di hivesampletable_policy.
  3. Riavviare il servizio Spark. A questo punto la connessione del servizio token di sicurezza dovrebbe funzionare.
Soluzione alternativa per l'errore del controllo del servizio Ranger
- RANGER-1607: soluzione alternativa per l'errore del controllo del servizio Ranger durante l'aggiornamento a HDP 2.6.2 dalle precedenti versioni HDP.
  
  Nota
  
  Solo quando Ranger è abilitato per SSL.
Questo problema si verifica quando si prova a eseguire l'aggiornamento a HDP 2.6.1 dalle precedenti versioni HDP tramite Ambari. Ambari usa una chiamata Curl eseguire una verifica del servizio Ranger in Ambari. Se la versione JDK usata da Ambari è JDK 1.7, la chiamata Curl avrà esito negativo con l'errore seguente:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Il motivo di questo errore è la versione tomcat usata in Ranger è Tomcat-7.0.7*. L'uso di JDK-1.7 è in conflitto con le crittografie predefinite fornite in Tomcat-7.0.7*.

È possibile risolvere questo problema in due modi:
- Aggiornare il pacchetto JDK usato in Ambari di JDK 1.7 a JDK 1.8 (vedere la sezione Change the JDK Version (modificare la versione di JDK) nella Guida di riferimento di Ambari).
- Se si desidera continuare a supportare un ambiente JDK 1.7:
  1. Aggiungere la proprietà ranger.tomcat.ciphers nella sezione ranger-admin-site nella configurazione Ambari Ranger con il valore seguente:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Se l'ambiente è configurato per il Server di gestione delle chiavi Ranger, aggiungere la proprietà ranger.tomcat.ciphers nella sezione theranger-kms-site nella configurazione di Ambari Ranger con il valore seguente:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Nota

I valori indicati sono esempi funzionanti e potrebbero non essere indicativi dell'ambiente in uso. Assicurarsi che il modo in cui si impostano queste proprietà corrisponda al modo in cui è configurato l'ambiente.
RangerUI: Escape del testo della condizione dei criteri immesso nel modulo criteri

Componente interessato: Ranger

Descrizione del problema

Se un utente vuole creare criteri con condizioni di criteri personalizzate e l'espressione o il testo contiene caratteri speciali, l'applicazione dei criteri non funzionerà. I caratteri speciali vengono convertiti in caratteri ASCII prima di salvare il criterio nel database.

Caratteri speciali: & <> " ' '

Ad esempio, i tag della condizione.attributes['type']='abc' verranno convertiti nel codice seguente dopo il salvataggio del criterio.

tags.attds[' dsds'] =' cssdfs'

È possibile visualizzare la condizione del criterio con questi caratteri aprendo il criterio in modalità di modifica.

Soluzione alternativa
- Opzione 1: Creare/aggiornare i criteri tramite l'API REST di Ranger
  
  URL REST: http://<host>:6080/service/plugins/policies
  
  Creazione di criteri con condizioni:
  
  L'esempio seguente creerà criteri con tag come "tags-test" e lo assegnerà al gruppo "public" con condizione di criteri astags.attr['type']=='abc' selezionando tutte le autorizzazioni dei componenti hive, ad esempio select, update, create, drop, alter, index, lock, all.
  
  Esempio:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Aggiornamento di criteri esistenti con condizioni:
  
  L'esempio seguente aggiornerà i criteri con tag come "tags-test" e lo assegnerà al gruppo "public" con condizione di criteri astags.attr['type']=='abc' selezionando tutte le autorizzazioni del componente Hive come select, update, create, drop, alter, index, lock, all.
  
  URL REST: http://<host-name>:6080/service/plugins/policies/<policy-id>
  
  Esempio:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Opzione 2: Applicare le modifiche javaScript
  
  Passaggi per aggiornare il file JS:
  1. Trovare il file PermissionList.js in /usr/hdp/current/ranger-admin
  2. Informazioni sulla definizione della funzione renderPolicyCondtion (riga no: 404).
  3. Rimuovere la riga seguente da tale funzione, ad esempio in funzione di visualizzazione (riga no: 434)
    
    val = _.escape(val);//Line No:460
    
    Dopo aver rimosso la riga precedente, l'interfaccia utente di Ranger consentirà di creare criteri con condizione che possano contenere caratteri speciali e la valutazione del criterio sarà corretta.

Integrazione di HDInsight con ADLS Gen 2: problemi di directory utente e autorizzazioni con i cluster ESP 1. Le home directory per gli utenti non vengono create nel nodo head 1. La soluzione alternativa consiste nel creare queste proprietà manualmente e modificare la proprietà dell'UPN dell'utente corrispondente. 2. Le autorizzazioni per /hdp non sono attualmente impostate su 751. Deve essere impostato su un. chmod 751 /hdp b. chmod –R 755 /hdp/apps

Deprecazione

Portale di OMS: è stato rimosso il collegamento dalla pagina delle risorse HDInsight che puntava al portale di OMS. I log di Monitoraggio di Azure hanno inizialmente usato il proprio portale denominato portale di OMS per gestire la configurazione e analizzare i dati raccolti. Tutte le funzionalità di questo portale sono state spostate al portale di Azure in cui continueranno a essere sviluppate. HDInsight ha deprecato il supporto per il portale di OMS. I clienti useranno l'integrazione dei log di Monitoraggio di Azure in HDInsight in portale di Azure.
Spark 2.3:Spark Release 2.3.0 deprecations

Estensione

Tutte queste funzionalità sono disponibili in HDInsight 3.6. Per ottenere la versione più recente di Spark, Kafka e R Server (Machine Learning Services), scegliere la versione spark, Kafka, ML Services quando si crea un cluster HDInsight 3.6. Per ottenere il supporto per ADLS, è possibile scegliere il tipo di archiviazione ADLS come un'opzione. I cluster esistenti non verranno aggiornati automaticamente a queste versioni.

Tutti i nuovi cluster creati dopo giugno 2018 otterranno automaticamente le correzioni di bug 1000+ in tutti i progetti open source. Seguire questa guida per le procedure consigliate per l'aggiornamento a una versione più recente di HDInsight.

Condividi tramite

Note sulla versione archiviate

Riepilogo

Informazioni sulla versione

Data di rilascio: 15 aprile 2024

Problemi risolti

Prossimamente

Data di rilascio: 15 febbraio 2024

Nuove funzionalità

Problemi risolti

Prossimamente

Passaggi successivi

Data di rilascio: 10 gennaio 2024

Problemi risolti

Prossimamente

Data di rilascio: 26 ottobre 2023

Novità

Prossimamente

Data di rilascio: 7 settembre 2023

Presto disponibile

Data di rilascio: 25 luglio 2023

Novità

Prossimamente

Data di rilascio: 8 maggio 2023

Data di rilascio: 28 febbraio 2023

Passaggi successivi

Data di rilascio: 12 dicembre 2022

Correzioni di bug open source

Data di rilascio: 10/08/2022

Nuova funzionalità

Fisso

Log Analytics

Altre correzioni di bug

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug Hive

Problemi noti

Data di rilascio: 10/08/2022

Nuova funzionalità

Fisso

Log Analytics

Altre correzioni di bug

Correzioni di bug open source

Correzioni di bug TEZ

Correzioni di bug Hive

Problemi noti

Data di rilascio: 03/06/2022

Principali caratteristiche della versione

Ambari

Correzioni di bug TEZ

Correzioni di bug di HBase

Correzioni di bug Hive

Data di rilascio: 10/03/2022

Spark 3.1 è ora disponibile a livello generale

Kafka 2.4 è ora disponibile a livello generale

Il tipo di dati mappa in HWC è ora supportato in HDInsight 4.0

Nuove aree

Modifiche al backport del sistema operativo

Di seguito sono riportati gli apache JIRA di OSS di cui è stato eseguito il backporting per questa versione:

Avvisi di deprecazione

Azure set di scalabilità di macchine virtuali in HDInsight

Il ridimensionamento dei carichi di lavoro HBase di Azure HDInsight sarà ora supportato solo usando la scalabilità manuale

Data di rilascio: 27/12/2021

Data di rilascio: 27/07/2021

Nuove funzionalità

Il supporto di Azure HDInsight per la connettività pubblica con restrizioni è disponibile a livello generale il 15 ottobre 2021

Il supporto di Azure HDInsight per collegamento privato di Azure è disponibile a livello generale il 15 ottobre 2021

Nuova esperienza di integrazione di Monitoraggio di Azure (anteprima)

Deprecazione

Modifiche del comportamento

HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione

Modifiche imminenti

Il componente LLAP predefinito nel cluster ESP Spark verrà rimosso

Nuova area

Modifica della versione dei componenti

Back ported JIRAs

Correzione dei prezzi per HDInsight Dv2 Macchine virtuali

Data di rilascio: 02/06/2021

Nuove funzionalità

Aggiornamento della versione del sistema operativo

Correzione dei prezzi per HDInsight `Dv2` Macchine virtuali

`Eav4`Supporto di serie

Le dimensioni predefinite delle macchine virtuali del cluster vengono modificate in `Ev3`-series

Le dimensioni predefinite della macchina virtuale del cluster vengono cambiate in `Ev3`-series