Note sulla versione archiviate
Riepilogo
Azure HDInsight è uno dei servizi più diffusi fra i clienti enterprise per analisi open source in Azure. Sottoscrivere le note sulla versione di HDInsight per informazioni aggiornate su HDInsight e su tutte le versioni di HDInsight.
Per eseguire la sottoscrizione, fare clic sul pulsante "Espressione di controllo" nel banner ed esaminare le versioni di HDInsight.
Informazioni sulla versione
Data di rilascio: 15 aprile 2024
Questa nota sulla versione si applica a HDInsight 5.1 versione.
La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa nota sulla versione è applicabile per il numero di immagine 2403290825. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Nota
Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team linux di Azure per Azure HDInsight di luglio 2023, versione successiva.
Per le versioni specifiche del carico di lavoro, vedere Versioni dei componenti HDInsight 5.x.
Problemi risolti
- Correzioni di bug per Ambari DB, Hive Warehouse Controller (HWC), Spark, HDFS
- Correzioni di bug per il modulo Log Analytics per HDInsightSparkLogs
- CVE Correzioni per il provider di risorse HDInsight.
Prossimamente
- Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
- Notifiche di ritiro per HDInsight 4.0 e HDInsight 5.0.
Per altre domande, contattare il supporto tecnico di Azure.
È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Microsoft Q&A.
Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli : HDInsight Ideas e seguici per altri aggiornamenti nella community di AzureHDInsight.
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Data di rilascio: 15 febbraio 2024
Questa versione si applica alle versioni di HDInsight 4.x e 5.x. La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2401250802. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Nota
Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team linux di Azure per Azure HDInsight di luglio 2023, versione successiva.
Per le versioni specifiche del carico di lavoro, vedere
Nuove funzionalità
- Supporto di Apache Ranger per Spark SQL in Spark 3.3.0 (HDInsight versione 5.1) con il pacchetto di sicurezza Enterprise. Per altre informazioni, vedere qui.
Problemi risolti
- Correzioni di sicurezza dai componenti di Ambari e Oozie
Prossimamente
- Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Per altre domande, contattare il supporto tecnico di Azure.
È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft
Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli - Idee su HDInsight e seguirci per altri aggiornamenti sulla community di AzureHDInsight
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Passaggi successivi
- Azure HDInsight: domande frequenti
- Configurare una pianificazione dell'applicazione di patch al sistema operativo per i cluster di HDInsight basati su Linux
- Nota sulla versione precedente
Azure HDInsight è uno dei servizi più diffusi fra i clienti enterprise per analisi open source in Azure. Se si vuole sottoscrivere le note sulla versione, guardare le versioni in questo repository GitHub.
Data di rilascio: 10 gennaio 2024
Questa versione dell'hotfix si applica alle versioni di HDInsight 4.x e 5.x. La versione di HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2401030422. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Nota
Ubuntu 18.04 è supportato in Manutenzione della sicurezza estesa (ESM) dal team linux di Azure per Azure HDInsight di luglio 2023, versione successiva.
Per le versioni specifiche del carico di lavoro, vedere
Problemi risolti
- Correzioni di sicurezza dai componenti di Ambari e Oozie
Prossimamente
- Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Per altre domande, contattare il supporto tecnico di Azure.
È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft
Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli - Idee su HDInsight e seguirci per altri aggiornamenti sulla community di AzureHDInsight
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Data di rilascio: 26 ottobre 2023
Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2310140056. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Per le versioni specifiche del carico di lavoro, vedere
Novità
HDInsight annuncia la disponibilità generale di HDInsight 5.1 a partire dal 1° novembre 2023. Questa versione introduce un aggiornamento completo dello stack per i componenti open source e le integrazioni di Microsoft.
- Versioni open source più recenti: HDInsight 5.1 include la versione open source stabile più recente disponibile. I clienti possono trarre vantaggio da tutte le funzionalità open source più recenti, dai miglioramenti delle prestazioni Microsoft e dalle correzioni di bug.
- Sicuro: le versioni più recenti sono dotate delle correzioni di sicurezza più recenti, sia delle correzioni di sicurezza open source che dei miglioramenti della sicurezza di Microsoft.
- TCO inferiore: con miglioramenti delle prestazioni i clienti possono ridurre il costo operativo, insieme a una scalabilità automatica avanzata.
Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se un canale sicuro deve essere usato per i nodi del cluster HDInsight per connettere l'account di archiviazione.
Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
Microsoft Network/virtualNetworks/subnets/join/action
eseguire operazioni di creazione. Se questo controllo non è abilitato, il cliente potrebbe riscontrare errori di creazione.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- I cluster ABFS non ESP limitano gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica migliora il comportamento di sicurezza del cluster.
Aggiornamento della quota in linea.
- È ora possibile richiedere l'aumento della quota direttamente dalla pagina Quota personale, con la chiamata API diretta molto più veloce. Nel caso in cui la chiamata API non riesca, è possibile creare una nuova richiesta di supporto per l'aumento della quota.
Prossimamente
La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. Questa modifica verrà implementata in tutte le aree a partire dalla versione futura.
Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD).
- Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
Per altre domande, contattare il supporto tecnico di Azure.
È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft
Siamo in ascolto: è possibile aggiungere altre idee e altri argomenti qui e votarli - Idee su HDInsight e seguirci per altri aggiornamenti sulla community di AzureHDInsight
Nota
Questa versione risolve i seguenti CVE rilasciati da MSRC il 12 settembre 2023. L'azione consiste nell'aggiornare l'immagine più recente 2308221128 o 2310140056. I clienti sono invitati a pianificare di conseguenza.
CVE | Gravità | Titolo CVE | Commento |
---|---|---|---|
CVE-2023-38156 | Importante | Altitudine Apache Ambari per Azure HDInsight di vulnerabilità del privilegio | Incluso nell'immagine 2308221128 o 2310140056 |
CVE-2023-36419 | Importante | Altitudine dell'Utilità di pianificazione del flusso di lavoro Apache Oozie per Azure HDInsight di vulnerabilità del privilegio | Applicare l'azione Script nei cluster o eseguire l'aggiornamento all'immagine 2310140056 |
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Data di rilascio: 7 settembre 2023
Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2308221128. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Per le versioni specifiche del carico di lavoro, vedere
Importante
Questa versione risolve i seguenti CVE rilasciati da MSRC il 12 settembre 2023. L'azione consiste nell'aggiornare l'immagine più recente 2308221128. I clienti sono invitati a pianificare di conseguenza.
CVE | Gravità | Titolo CVE | Commento |
---|---|---|---|
CVE-2023-38156 | Importante | Altitudine Apache Ambari per Azure HDInsight di vulnerabilità del privilegio | Incluso nell'immagine 2308221128 |
CVE-2023-36419 | Importante | Altitudine dell'Utilità di pianificazione del flusso di lavoro Apache Oozie per Azure HDInsight di vulnerabilità del privilegio | Applicare l'azione Script nei cluster |
Presto disponibile
- La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. Questa modifica verrà implementata entro il 30 settembre 2023.
- Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
- Aggiornamento della quota in linea.
- Le quote richieste aumentano direttamente dalla pagina Quota personale, che sarà una chiamata API diretta, che è più veloce. Se la chiamata APdI ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
- Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
Microsoft Network/virtualNetworks/subnets/join/action
eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto questa modifica sarebbe un controllo obbligatorio per evitare errori di creazione del cluster prima del 30 settembre 2023.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
- Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali di serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD). Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
- Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.
Per altre domande, contattare il supporto tecnico di Azure.
È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft
È possibile aggiungere altre proposte e idee e altri argomenti qui e votarli - HDInsight Community (azure.com).
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Data di rilascio: 25 luglio 2023
Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight sarà disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2307201242. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Per le versioni specifiche del carico di lavoro, vedere
Novità
- HDInsight 5.1 è ora supportato con il cluster ESP.
- La versione aggiornata di Ranger 2.3.0 e Oozie 5.2.1 ora fanno parte di HDInsight 5.1
- Il cluster Spark 3.3.1 (HDInsight 5.1) include Hive Warehouse Connector (HWC) 2.1, che funziona insieme al cluster Interactive Query (HDInsight 5.1).
- Ubuntu 18.04 è supportato in ESM(Extended Security Maintenance) dal team Linux di Azure per Azure HDInsight di luglio 2023, versione successiva.
Importante
Questa versione risolve i seguenti CVE rilasciati da MSRC l'8 agosto 2023. L'azione consiste nell'aggiornare l'immagine più recente 2307201242. I clienti sono invitati a pianificare di conseguenza.
CVE | Gravità | Titolo CVE |
---|---|---|
CVE-2023-35393 | Importante | Vulnerabilità spoofing di Apache Hive di Azure |
CVE-2023-35394 | Importante | Vulnerabilità spoofing di Jupyter Notebook di Azure HDInsight |
CVE-2023-36877 | Importante | Vulnerabilità spoofing di Apache Oozie di Azure |
CVE-2023-36881 | Importante | Vulnerabilità spoofing di Apache Ambari di Azure |
CVE-2023-38188 | Importante | Vulnerabilità spoofing di Apache Hadoop di Azure |
Prossimamente
- La lunghezza massima del nome del cluster viene modificata in 45 da 59 caratteri, per migliorare il comportamento di sicurezza dei cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.
- Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
- Aggiornamento della quota in linea.
- Le quote richieste aumentano direttamente dalla pagina Quota personale, che sarà una chiamata API diretta, che è più veloce. Se la chiamata API ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
- Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
Microsoft Network/virtualNetworks/subnets/join/action
eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto questa modifica sarebbe un controllo obbligatorio per evitare errori di creazione del cluster prima del 30 settembre 2023.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
- Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali della serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD). Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
- Cluster ABFS non ESP [Autorizzazioni cluster per Word leggibile]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti prima del 30 settembre 2023.
Per altre domande, contattare il supporto tecnico di Azure.
È sempre possibile chiedere informazioni su HDInsight in Azure HDInsight - Domande e risposte Microsoft
È possibile aggiungere altre proposte e idee e altri argomenti qui e votarli - HDInsight Community (azure.com) e seguirci per altri aggiornamenti su Twitter
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Data di rilascio: 8 maggio 2023
Questa versione si applica alla versione HDInsight 4.x e 5.x HDInsight è disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2304280205. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Per le versioni specifiche del carico di lavoro, vedere
Azure HDInsight 5.1 aggiornato con
- Apache HBase 2.4.11
- Apache Phoenix 5.1.2
- Apache Hive 3.1.2
- Apache Spark 3.3.1
- Apache Tez 0.9.1
- Apache Zeppelin 0.10.1
- Apache Livy 0.5
- Apache Kafka 3.2.0
Nota
- Tutti i componenti sono integrati con Hadoop 3.3.4 & ZK 3.6.3
- Tutti i componenti aggiornati sopra sono ora disponibili in cluster non ESP per l'anteprima pubblica.
Scalabilità automatica avanzata per HDInsight
Azure HDInsight ha apportato notevoli miglioramenti alla stabilità e alla latenza sulla scalabilità automatica. Le modifiche essenziali includono un ciclo di feedback migliorato per le decisioni di ridimensionamento, un miglioramento significativo della latenza per il ridimensionamento e il supporto per il ricommissione dei nodi rimossi, altre informazioni sui miglioramenti, su come configurare e migrare il cluster in modo da migliorare la scalabilità automatica. La funzionalità di scalabilità automatica avanzata è disponibile a partire dal 17 maggio 2023 in tutte le aree supportate.
Azure HDInsight ESP per Apache Kafka 2.4.1 è ora disponibile a livello generale.
Azure HDInsight ESP per Apache Kafka 2.4.1 è disponibile in anteprima pubblica a partire da aprile 2022. Dopo miglioramenti significativi nelle correzioni e nella stabilità CVE, Azure HDInsight ESP Kafka 2.4.1 diventa ora disponibile a livello generale e pronto per i carichi di lavoro di produzione, informazioni dettagliate su come configurare ed eseguire la migrazione.
Gestione delle quote per HDInsight
HDInsight alloca attualmente la quota alle sottoscrizioni dei clienti a livello di area. I core allocati ai clienti sono generici e non classificati a livello di famiglia di macchine virtuali (ad esempio,
Dv2
,Ev3
,Eav4
e così via).HDInsight ha introdotto una visualizzazione migliorata, che fornisce un dettaglio e una classificazione delle quote per le macchine virtuali a livello di famiglia, questa funzionalità consente ai clienti di visualizzare le quote correnti e rimanenti per un'area a livello di famiglia di macchine virtuali. Con la visualizzazione migliorata, i clienti hanno una visibilità più ampia, per la pianificazione delle quote e un'esperienza utente migliore. Questa funzionalità è attualmente disponibile in HDInsight 4.x e 5.x per l'area EUAP Stati Uniti orientali. Altre aree da seguire in un secondo momento.
Per altre informazioni, vedere Pianificazione della capacità del cluster in Azure HDInsight | Microsoft Learn
- Polonia Centrale
- La lunghezza massima del nome del cluster viene modificata a 45 da 59 caratteri per migliorare il comportamento di sicurezza dei cluster.
- Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
- Aggiornamento della quota in linea.
- Le quote delle richieste aumentano direttamente dalla pagina Quota personale, ovvero una chiamata API diretta, che è più veloce. Se la chiamata API ha esito negativo, i clienti devono creare una nuova richiesta di supporto per l'aumento della quota.
- Creazione di cluster HDInsight con reti virtuali personalizzate.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
Microsoft Network/virtualNetworks/subnets/join/action
eseguire operazioni di creazione. I clienti dovranno pianificare di conseguenza in quanto si tratta di un controllo obbligatorio per evitare errori di creazione del cluster.
- Per migliorare il comportamento di sicurezza complessivo dei cluster HDInsight, i cluster HDInsight che usano reti virtuali personalizzate devono assicurarsi che l'utente abbia l'autorizzazione per
- Ritiro delle macchine virtuali serie A Basic e Standard.
- Il 31 agosto 2024 verranno ritirati le macchine virtuali della serie A Basic e Standard. Prima di tale data, è necessario eseguire la migrazione dei carichi di lavoro alle macchine virtuali serie Av2, che offrono una maggiore memoria per vCPU e un'archiviazione più veloce su unità SSD .Before that date, you need to migrate your workloads to Av2-series VMS, that provide more memory per vCPU and faster storage on solid-state drive (SSD). Per evitare interruzioni del servizio, eseguire la migrazione dei carichi di lavoro dalle macchine virtuali serie A Basic e Standard alle macchine virtuali serie Av2 prima del 31 agosto 2024.
- Cluster ABFS non ESP [Autorizzazioni cluster per la lettura globale]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti.
Data di rilascio: 28 febbraio 2023
Questa versione si applica a HDInsight 4.0. e 5.0, 5.1. La versione di HDInsight è disponibile per tutte le aree in diversi giorni. Questa versione è applicabile per il numero di immagine 2302250400. Come controllare il numero di immagine?
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Per le versioni specifiche del carico di lavoro, vedere
Importante
Microsoft ha rilasciato CVE-2023-23408, che è stato risolto nella versione corrente e i clienti sono invitati a aggiornare i cluster all'immagine più recente.
HDInsight 5.1
È stata avviata l'implementazione di una nuova versione di HDInsight 5.1. Tutte le nuove versioni open source aggiunte come versioni incrementali in HDInsight 5.1.
Per altre informazioni, vedere HDInsight 5.1.0 versione
Aggiornamento di Kafka 3.2.0 (anteprima)
- Kafka 3.2.0 include diverse nuove funzionalità/miglioramenti significativi.
- Aggiornamento di Zookeeper alla versione 3.6.3
- Supporto di Kafka Streams
- Garanzie di recapito più avanzate per il producer Kafka abilitato per impostazione predefinita.
log4j
1.x sostituito conreload4j
.- Inviare un suggerimento al leader della partizione per recuperare la partizione.
JoinGroupRequest
eLeaveGroupRequest
hanno un motivo collegato.- Aggiunta delle metriche del conteggio broker8.
- Miglioramenti del mirroring
Maker2
.
Aggiornamento di HBase 2.4.11 (anteprima)
- Questa versione include nuove funzionalità, ad esempio l'aggiunta di nuovi tipi di meccanismo di memorizzazione nella cache dei blocchi, la possibilità di modificare e visualizzare
hbase:meta table
lahbase:meta
tabella dall'interfaccia utente WEB di HBase.
Aggiornamento di Phoenix 5.1.2 (anteprima)
- Versione di Phoenix aggiornata alla versione 5.1.2 in questa versione. Questo aggiornamento include il server di query Phoenix. Phoenix Query Server esegue il proxy del driver JDBC Phoenix standard e fornisce un protocollo di collegamento compatibile con le versioni precedenti per richiamare tale driver JDBC.
Ambari CVEs
- Sono stati corretti più CVE Ambari.
Nota
ESP non è supportato per Kafka e HBase in questa versione.
Fine del supporto per i cluster Azure HDInsight in Spark 2.4 10 febbraio 2024. Per altre informazioni, vedere Versioni di Spark supportate in Azure HDInsight
Passaggi successivi
- Scalabilità automatica
- Scalabilità automatica con una latenza migliorata e diversi miglioramenti
- Limitazione della modifica del nome del cluster
- La lunghezza massima del nome del cluster passa a 45 da 59 in Pubblico, Azure Cina e Azure per enti pubblici.
- Autorizzazioni del cluster per l'archiviazione sicura
- I clienti possono specificare (durante la creazione del cluster) se usare un canale sicuro per i nodi del cluster HDInsight per contattare l'account di archiviazione.
- Cluster ABFS non ESP [Autorizzazioni cluster per la lettura globale]
- Pianificare l'introduzione di una modifica nei cluster ABFS non ESP, che limita gli utenti del gruppo non Hadoop a eseguire comandi Hadoop per le operazioni di archiviazione. Questa modifica consente di migliorare il comportamento di sicurezza del cluster. I clienti devono pianificare gli aggiornamenti.
- Aggiornamenti open source
- Apache Spark 3.3.0 e Hadoop 3.3.4 sono in fase di sviluppo in HDInsight 5.1 e include diverse nuove funzionalità, prestazioni e altri miglioramenti significativi.
Nota
È consigliabile che i clienti usino le versioni più recenti delle immagini HDInsight, perché sfruttano al meglio gli aggiornamenti open source, gli aggiornamenti di Azure e le correzioni per la sicurezza. Per altre informazioni, vedere Procedure consigliate.
Data di rilascio: 12 dicembre 2022
Questa versione si applica a HDInsight 4.0. e la versione 5.0 di HDInsight è resa disponibile per tutte le aree in diversi giorni.
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Versioni del sistema operativo
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Per le versioni specifiche del carico di lavoro, vedere qui.
- Log Analytics : i clienti possono abilitare il monitoraggio classico per ottenere la versione più recente di OMS 14.19. Per rimuovere le versioni precedenti, disabilitare e abilitare il monitoraggio classico.
- Disconnettersi automaticamente dall'interfaccia utente di Ambari a causa dell'inattività. Per altre informazioni, vedere qui
- Spark : in questa versione è inclusa una versione nuova e ottimizzata di Spark 3.1.3. È stato testato Apache Spark 3.1.2(versione precedente) e Apache Spark 3.1.3(versione corrente) usando il benchmark TPC-DS. Il test è stato eseguito usando lo SKU E8 V3, per Apache Spark in un carico di lavoro di 1 TB. Apache Spark 3.1.3 (versione corrente) ha superato le prestazioni di Apache Spark 3.1.2 (versione precedente) del 40% nel runtime di query totale per le query TPC-DS usando le stesse specifiche hardware. Il team di Microsoft Spark ha aggiunto ottimizzazioni disponibili in Azure Synapse con Azure HDInsight. Per altre informazioni, vedere Velocizzare i carichi di lavoro dei dati con gli aggiornamenti delle prestazioni di Apache Spark 3.1.2 in Azure Synapse
- Qatar centrale
- Germania settentrionale
HDInsight è passato da Azul Zulu Java JDK 8 a
Adoptium Temurin JDK 8
, che supporta runtime certificati TCK di alta qualità e la tecnologia associata per l'uso nell'ecosistema Java.HdInsight è stato migrato a
reload4j
. Lelog4j
modifiche sono applicabili a- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix
HDInsight per implementare TLS1.2 in futuro e le versioni precedenti vengono aggiornate nella piattaforma. Se si eseguono applicazioni in HDInsight e usano TLS 1.0 e 1.1, eseguire l'aggiornamento a TLS 1.2 per evitare interruzioni nei servizi.
Per altre informazioni, vedere Come abilitare Transport Layer Security (TLS)
Fine del supporto per i cluster Azure HDInsight in Ubuntu 16.04 LTS dal 30 novembre 2022. HDInsight inizia il rilascio delle immagini del cluster usando Ubuntu 18.04 dal 27 giugno 2021. È consigliabile che i clienti che eseguono cluster che usano Ubuntu 16.04 ricompilano i cluster con le immagini HDInsight più recenti entro il 30 novembre 2022.
Per altre informazioni su come controllare la versione ubuntu del cluster, vedere qui
Eseguire il comando "lsb_release -a" nel terminale.
Se il valore della proprietà "Description" nell'output è "Ubuntu 16.04 LTS", questo aggiornamento è applicabile al cluster.
- Supporto per zone di disponibilità selezione per i cluster Kafka e HBase (accesso in scrittura).
Correzioni di bug open source
Correzioni di bug Hive
Correzioni di bug | Apache JIRA |
---|---|
HIVE-26127 | Errore INSERT OVERWRITE - File non trovato |
HIVE-24957 | Risultati errati quando la sottoquery ha COALESCE nel predicato di correlazione |
HIVE-24999 | HiveSubQueryRemoveRule genera un piano non valido per la sottoquery IN con più correlazioni |
HIVE-24322 | Se è presente un inserimento diretto, l'ID tentativo deve essere controllato quando la lettura del manifesto ha esito negativo |
HIVE-23363 | Aggiornare la dipendenza DataNucleus alla versione 5.2 |
HIVE-26412 | Creare l'interfaccia per recuperare gli slot disponibili e aggiungere il valore predefinito |
HIVE-26173 | Aggiornare il derby alla versione 10.14.2.0 |
HIVE-25920 | Passare Xerce2 alla versione 2.12.2. |
HIVE-26300 | Aggiornare la versione di associazione dati Jackson alla versione 2.12.6.1+ per evitare CVE-2020-36518 |
Data di rilascio: 10/08/2022
Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni.
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Nuova funzionalità
1. Collegare dischi esterni nei cluster Hadoop/Spark HDI
Il cluster HDInsight include spazio su disco predefinito basato sullo SKU. Questo spazio potrebbe non essere sufficiente in scenari di processi di grandi dimensioni.
Questa nuova funzionalità consente di aggiungere altri dischi nel cluster, che vengono usati come directory locale di Gestione nodi. Aggiungere il numero di dischi ai nodi di lavoro durante la creazione di cluster HIVE e Spark, mentre i dischi selezionati fanno parte delle directory locali di Node Manager.
Nota
I dischi aggiunti sono configurati solo per le directory locali di Gestione nodi.
Per altre informazioni, vedere qui
2. Analisi selettiva della registrazione
L'analisi della registrazione selettiva è ora disponibile in tutte le aree per l'anteprima pubblica. È possibile connettere il cluster a un'area di lavoro Log Analytics. Dopo l'abilitazione, è possibile visualizzare i log e le metriche, ad esempio i log di sicurezza di HDInsight, Yarn Resource Manager, le metriche di sistema e così via. È possibile monitorare i carichi di lavoro e vedere come influiscono sulla stabilità del cluster. La registrazione selettiva consente di abilitare/disabilitare tutte le tabelle o di abilitare tabelle selettive nell'area di lavoro Log Analytics. È possibile modificare il tipo di origine per ogni tabella, perché nella nuova versione del monitoraggio di Ginevra una tabella include più origini.
- Il sistema di monitoraggio di Ginevra usa mdsd(MDS daemon) che è un agente di monitoraggio e fluentd per raccogliere i log usando un livello di registrazione unificato.
- La registrazione selettiva usa l'azione script per disabilitare/abilitare le tabelle e i relativi tipi di log. Poiché non apre alcuna nuova porta o modifica alcuna impostazione di sicurezza esistente, non ci sono modifiche alla sicurezza.
- L'azione script viene eseguita in parallelo in tutti i nodi specificati e modifica i file di configurazione per disabilitare/abilitare le tabelle e i relativi tipi di log.
Per altre informazioni, vedere qui
Fisso
Log Analytics
Log Analytics integrato con Azure HDInsight che esegue OMS versione 13 richiede un aggiornamento a OMS versione 14 per applicare gli aggiornamenti della sicurezza più recenti. I clienti che usano la versione precedente del cluster con OMS versione 13 devono installare OMS versione 14 per soddisfare i requisiti di sicurezza. (Come controllare la versione corrente e installare 14)
Come controllare la versione corrente di OMS
- Accedere al cluster tramite SSH.
- Eseguire il comando seguente nel client SSH.
sudo /opt/omi/bin/ominiserver/ --version
Come aggiornare la versione di OMS da 13 a 14
- Accedere al portale di Azure
- Nel gruppo di risorse selezionare la risorsa cluster HDInsight
- Selezionare Azioni script
- Nel pannello Di azione Invia script scegliere Tipo di script come personalizzato
- Incollare il collegamento seguente nella casella URL script Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
- Selezionare i tipi di nodo
- Selezionare Crea.
Verificare la corretta installazione della patch attenendosi alla procedura seguente:
Accedere al cluster tramite SSH.
Eseguire il comando seguente nel client SSH.
sudo /opt/omi/bin/ominiserver/ --version
Altre correzioni di bug
- L'interfaccia della riga di comando del log di Yarn non è riuscita a recuperare i log se sono
TFile
danneggiati o vuoti. - È stato risolto un errore di dettagli dell'entità servizio non valida durante il recupero del token OAuth da Azure Active Directory.
- Miglioramento dell'affidabilità della creazione del cluster quando sono configurati più di 100 nodi di lavoro.
Correzioni di bug open source
Correzioni di bug TEZ
Correzioni di bug | Apache JIRA |
---|---|
Errore di compilazione tez: FileSaver.js non trovato | TEZ-4411 |
Eccezione FS errata quando il warehouse e scratchdir si trovano in FS diversi |
TEZ-4406 |
TezUtils.createConfFromByteString in Configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream | TEZ-4142 |
TezUtils::createByteStringFromConf deve usare snappy anziché DeflaterOutputStream | TEZ-4113 |
Aggiornare la dipendenza protobuf a 3.x | TEZ-4363 |
Correzioni di bug Hive
Correzioni di bug | Apache JIRA |
---|---|
Ottimizzazioni delle prestazioni nella suddivisione ORC | HIVE-21457 |
Evitare di leggere la tabella come ACID quando il nome della tabella inizia con "delta", ma la tabella non è transazionale e viene usata la strategia di divisione BI | HIVE-22582 |
Rimuovere una chiamata FS#exists da AcidUtils#getLogicalLength | HIVE-23533 |
OrcAcidRowBatchReader.computeOffset vettorializzato e ottimizzazione bucket | HIVE-17917 |
Problemi noti
HDInsight è compatibile con Apache HIVE 3.1.2. A causa di un bug in questa versione, la versione hive viene visualizzata come 3.1.0 nelle interfacce hive. Tuttavia, non c'è alcun impatto sulle funzionalità.
Data di rilascio: 10/08/2022
Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni.
HDInsight usa procedure di distribuzione sicure, che comportano la distribuzione graduale dell'area. Potrebbero essere necessari fino a 10 giorni lavorativi per una nuova versione o una nuova versione in tutte le aree.
Nuova funzionalità
1. Collegare dischi esterni nei cluster Hadoop/Spark HDI
Il cluster HDInsight include spazio su disco predefinito basato sullo SKU. Questo spazio potrebbe non essere sufficiente in scenari di processi di grandi dimensioni.
Questa nuova funzionalità consente di aggiungere altri dischi nel cluster, che verranno usati come directory locale di Gestione nodi. Aggiungere il numero di dischi ai nodi di lavoro durante la creazione di cluster HIVE e Spark, mentre i dischi selezionati fanno parte delle directory locali di Node Manager.
Nota
I dischi aggiunti sono configurati solo per le directory locali di Gestione nodi.
Per altre informazioni, vedere qui
2. Analisi selettiva della registrazione
L'analisi della registrazione selettiva è ora disponibile in tutte le aree per l'anteprima pubblica. È possibile connettere il cluster a un'area di lavoro Log Analytics. Dopo l'abilitazione, è possibile visualizzare i log e le metriche, ad esempio i log di sicurezza di HDInsight, Yarn Resource Manager, le metriche di sistema e così via. È possibile monitorare i carichi di lavoro e vedere come influiscono sulla stabilità del cluster. La registrazione selettiva consente di abilitare/disabilitare tutte le tabelle o di abilitare tabelle selettive nell'area di lavoro Log Analytics. È possibile modificare il tipo di origine per ogni tabella, perché nella nuova versione del monitoraggio di Ginevra una tabella include più origini.
- Il sistema di monitoraggio di Ginevra usa mdsd(MDS daemon) che è un agente di monitoraggio e fluentd per raccogliere i log usando un livello di registrazione unificato.
- La registrazione selettiva usa l'azione script per disabilitare/abilitare le tabelle e i relativi tipi di log. Poiché non apre alcuna nuova porta o modifica alcuna impostazione di sicurezza esistente, non ci sono modifiche alla sicurezza.
- L'azione script viene eseguita in parallelo in tutti i nodi specificati e modifica i file di configurazione per disabilitare/abilitare le tabelle e i relativi tipi di log.
Per altre informazioni, vedere qui
Fisso
Log Analytics
Log Analytics integrato con Azure HDInsight che esegue OMS versione 13 richiede un aggiornamento a OMS versione 14 per applicare gli aggiornamenti della sicurezza più recenti. I clienti che usano la versione precedente del cluster con OMS versione 13 devono installare OMS versione 14 per soddisfare i requisiti di sicurezza. (Come controllare la versione corrente e installare 14)
Come controllare la versione corrente di OMS
- Accedere al cluster tramite SSH.
- Eseguire il comando seguente nel client SSH.
sudo /opt/omi/bin/ominiserver/ --version
Come aggiornare la versione di OMS da 13 a 14
- Accedere al portale di Azure
- Nel gruppo di risorse selezionare la risorsa cluster HDInsight
- Selezionare Azioni script
- Nel pannello Di azione Invia script scegliere Tipo di script come personalizzato
- Incollare il collegamento seguente nella casella URL script Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
- Selezionare i tipi di nodo
- Selezionare Crea.
Verificare la corretta installazione della patch attenendosi alla procedura seguente:
Accedere al cluster tramite SSH.
Eseguire il comando seguente nel client SSH.
sudo /opt/omi/bin/ominiserver/ --version
Altre correzioni di bug
- L'interfaccia della riga di comando del log di Yarn non è riuscita a recuperare i log se sono
TFile
danneggiati o vuoti. - È stato risolto un errore di dettagli dell'entità servizio non valida durante il recupero del token OAuth da Azure Active Directory.
- Miglioramento dell'affidabilità della creazione del cluster quando sono configurati più di 100 nodi di lavoro.
Correzioni di bug open source
Correzioni di bug TEZ
Correzioni di bug | Apache JIRA |
---|---|
Errore di compilazione tez: FileSaver.js non trovato | TEZ-4411 |
Eccezione FS errata quando il warehouse e scratchdir si trovano in FS diversi |
TEZ-4406 |
TezUtils.createConfFromByteString in Configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream | TEZ-4142 |
TezUtils::createByteStringFromConf deve usare snappy anziché DeflaterOutputStream | TEZ-4113 |
Aggiornare la dipendenza protobuf a 3.x | TEZ-4363 |
Correzioni di bug Hive
Correzioni di bug | Apache JIRA |
---|---|
Ottimizzazioni delle prestazioni nella suddivisione ORC | HIVE-21457 |
Evitare di leggere la tabella come ACID quando il nome della tabella inizia con "delta", ma la tabella non è transazionale e viene usata la strategia di divisione BI | HIVE-22582 |
Rimuovere una chiamata FS#exists da AcidUtils#getLogicalLength | HIVE-23533 |
OrcAcidRowBatchReader.computeOffset vettorializzato e ottimizzazione bucket | HIVE-17917 |
Problemi noti
HDInsight è compatibile con Apache HIVE 3.1.2. A causa di un bug in questa versione, la versione hive viene visualizzata come 3.1.0 nelle interfacce hive. Tuttavia, non c'è alcun impatto sulle funzionalità.
Data di rilascio: 03/06/2022
Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area in diversi giorni.
Principali caratteristiche della versione
Hive Warehouse Connector (HWC) in Spark v3.1.2
Hive Warehouse Connector (HWC) consente di sfruttare le funzionalità uniche di Hive e Spark per creare potenti applicazioni Big Data. HWC è attualmente supportato solo per Spark v2.4. Questa funzionalità aggiunge valore aziendale consentendo transazioni ACID nelle tabelle Hive tramite Spark. Questa funzionalità è utile per i clienti che usano Hive e Spark nel proprio patrimonio di dati. Per altre informazioni, vedere Apache Spark & Hive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs
Ambari
- Modifiche al ridimensionamento e al provisioning
- Hive HDI è ora compatibile con OSS versione 3.1.2
La versione Hive 3.1 di HDI viene aggiornata a OSS Hive 3.1.2. Questa versione include tutte le correzioni e le funzionalità disponibili nella versione Open Source Hive 3.1.2.
Nota
Spark
- Se si usa l'interfaccia utente di Azure per creare un cluster Spark per HDInsight, verrà visualizzato nell'elenco a discesa un'altra versione di Spark 3.1. (HDI 5.0) insieme alle versioni precedenti. Questa versione è una versione rinominata di Spark 3.1. (HDI 4.0). Si tratta solo di una modifica a livello di interfaccia utente, che non influisce su nulla per gli utenti e gli utenti esistenti che usano già il modello di Resource Manager.
Nota
Interactive Query
- Se si crea un cluster Interactive Query, nell'elenco a discesa verrà visualizzata un'altra versione come Interactive Query 3.1 (HDI 5.0).
- Se si intende usare Spark 3.1 versione insieme a Hive che richiedono il supporto ACID, è necessario selezionare questa versione Interactive Query 3.1 (HDI 5.0).
Correzioni di bug TEZ
Correzioni di bug | Apache JIRA |
---|---|
TezUtils.createConfFromByteString in Configurazione più grande di 32 MB genera l'eccezione com.google.protobuf.CodedInputStream | TEZ-4142 |
TezUtils createByteStringFromConf deve usare snappy anziché DeflaterOutputStream | TEZ-4113 |
Correzioni di bug di HBase
Correzioni di bug | Apache JIRA |
---|---|
TableSnapshotInputFormat deve usare ReadType.STREAM per l'analisi HFiles |
HBASE-26273 |
Aggiungere l'opzione per disabilitare scanMetrics in TableSnapshotInputFormat | HBASE-26330 |
Correzione per ArrayIndexOutOfBoundsException quando viene eseguito il servizio di bilanciamento | HBASE-22739 |
Correzioni di bug Hive
Correzioni di bug | Apache JIRA |
---|---|
NpE durante l'inserimento di dati con clausola 'distribute by' con ottimizzazione dell'ordinamento dynpart | HIVE-18284 |
Il comando MSCK REPAIR con filtro delle partizioni ha esito negativo durante l'eliminazione delle partizioni | HIVE-23851 |
Eccezione errata generata se capacity<=0 | HIVE-25446 |
Supporto del caricamento parallelo per HastTables - Interfacce | HIVE-25583 |
Includi MultiDelimitSerDe in HiveServer2 per impostazione predefinita | HIVE-20619 |
Rimuovere le classi glassfish.jersey e mssql-jdbc da jdbc-standalone jar | HIVE-22134 |
Eccezione del puntatore Null in caso di compattazione in esecuzione su una tabella MM. | HIVE-21280 |
Query Hive con dimensioni elevate tramite knox errore con errore scrittura pipe interrotta |
HIVE-22231 |
Aggiunta della possibilità per l'utente di impostare l'associazione utente | HIVE-21009 |
Implementare la funzione definita dall'utente per interpretare data/timestamp usando la relativa rappresentazione interna e il calendario ibrido gregoriano-julian | HIVE-22241 |
Opzione Beeline per visualizzare/non visualizzare il report di esecuzione | HIVE-22204 |
Tez: SplitGenerator tenta di cercare i file di piano, che non esistono per Tez | HIVE-22169 |
Rimuovere la registrazione costosa dalla cache LLAP hotpath |
HIVE-22168 |
Funzione definita dall'utente: FunctionRegistry sincronizza la classe org.apache.hadoop.hive.ql.udf.UDFType | HIVE-22161 |
Impedire la creazione dell'appender di routing delle query se la proprietà è impostata su false | HIVE-22115 |
Rimuovere la sincronizzazione tra query per partition-eval | HIVE-22106 |
Ignorare la configurazione di hive scratch dir durante la pianificazione | HIVE-21182 |
Ignorare la creazione di scratch dirs per tez se RPC è attivo | HIVE-21171 |
impostare funzioni definite dall'utente Hive per l'uso del Re2J motore regex |
HIVE-19661 |
Le tabelle cluster di cui è stata eseguita la migrazione con bucketing_version 1 in hive 3 usano bucketing_version 2 per gli inserimenti | HIVE-22429 |
Bucketing: il bucket versione 1 esegue erroneamente il partizionamento dei dati | HIVE-21167 |
Aggiunta dell'intestazione della licenza ASF al file appena aggiunto | HIVE-22498 |
Miglioramenti dello strumento dello schema per supportare mergeCatalog | HIVE-22498 |
Hive con TEZ UNION ALL e UDTF comporta la perdita di dati | HIVE-21915 |
Dividere i file di testo anche se esiste un'intestazione o un piè di pagina | HIVE-21924 |
MultiDelimitSerDe restituisce risultati errati nell'ultima colonna quando il file caricato contiene più colonne di quelle presenti nello schema della tabella | HIVE-22360 |
Client esterno LLAP - È necessario ridurre il footprint LlapBaseInputFormat#getSplits() | HIVE-22221 |
Il nome della colonna con parola chiave riservata non esegue il escape quando la query inclusa l'aggiunta alla tabella con la colonna mask viene riscritta (Zoltan Matyus tramite Zoltan Haindrich) | HIVE-22208 |
Impedire l'arresto LLAP in AMReporter RuntimeException correlato |
HIVE-22113 |
Il driver del servizio di stato LLAP potrebbe rimanere bloccato con l'ID app Yarn errato | HIVE-21866 |
OperationManager.queryIdOperation non pulisce correttamente più id query | HIVE-22275 |
Portare un gestore di nodi inattivo blocchi di riavvio del servizio LLAP | HIVE-22219 |
StackOverflowError quando si eliminano un numero elevato di partizioni | HIVE-15956 |
Controllo di accesso non riuscito quando viene rimossa una directory temporanea | HIVE-22273 |
Correzione di risultati errati/eccezione ArrayOutOfBound nei join di mapping esterni a sinistra in condizioni limite specifiche | HIVE-22120 |
Rimuovere il tag di gestione della distribuzione da pom.xml | HIVE-19667 |
Il tempo di analisi può essere elevato se sono presenti sottoquery annidate in modo approfondito | HIVE-21980 |
Per ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); TBL_TYPE modifiche dell'attributo che non riflettono per i caps non |
HIVE-20057 |
JDBC: interfacce shades log4j HiveConnection |
HIVE-18874 |
Aggiornare gli URL del repository in poms - Versione 3.1 del ramo |
HIVE-21786 |
DBInstall test interrotti su master e branch-3.1 |
HIVE-21758 |
Il caricamento dei dati in una tabella in bucket ignora le specifiche delle partizioni e carica i dati nella partizione predefinita | HIVE-21564 |
Le query con condizione di join con timestamp o timestamp con valore letterale fuso orario locale generano SemanticException | HIVE-21613 |
Analizzare le statistiche di calcolo per la colonna lasciare il dir di staging in HDFS | HIVE-21342 |
Modifica incompatibile nel calcolo del bucket Hive | HIVE-21376 |
Fornire un autorizzatore di fallback quando nessun altro autorizzatore è in uso | HIVE-20420 |
Alcune chiamate alterPartitions generano 'NumberFormatException: null' | HIVE-18767 |
HiveServer2: l'oggetto preautenticato per il trasporto HTTP non viene conservato per tutta la durata della comunicazione HTTP in alcuni casi | HIVE-20555 |
Data di rilascio: 10/03/2022
Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area in diversi giorni.
Le versioni del sistema operativo per questa versione sono:
- HDInsight 4.0: Ubuntu 18.04.5
Spark 3.1 è ora disponibile a livello generale
Spark 3.1 è ora disponibile a livello generale nella versione HDInsight 4.0. Questa versione include
- Esecuzione di query adattive,
- Convertire l'unione di ordinamento in broadcast hash join,
- Spark Catalyst Optimizer,
- Eliminazione dinamica delle partizioni,
- I clienti potranno creare nuovi cluster Spark 3.1 e non cluster Spark 3.0 (anteprima).
Per altre informazioni, vedere Apache Spark 3.1 è ora disponibile a livello generale in HDInsight - Microsoft Tech Community.
Per un elenco completo dei miglioramenti, vedere le note sulla versione di Apache Spark 3.1.
Per altre informazioni sulla migrazione, vedere la guida alla migrazione.
Kafka 2.4 è ora disponibile a livello generale
Kafka 2.4.1 è ora disponibile a livello generale. Per altre informazioni, vedere Note sulla versione di Kafka 2.4.1. Altre funzionalità includono la disponibilità di MirrorMaker 2, la nuova categoria di metriche partizione dell'argomento AtMinIsr, il tempo di avvio migliorato del broker per lazy su richiesta mmap
di file di indice, altre metriche consumer per osservare il comportamento del polling degli utenti.
Il tipo di dati mappa in HWC è ora supportato in HDInsight 4.0
Questa versione include il supporto map datatype per HWC 1.0 (Spark 2.4) tramite l'applicazione spark-shell e tutti gli altri client Spark supportati da HWC. I miglioramenti seguenti sono inclusi come qualsiasi altro tipo di dati:
Un utente può
- Creare una tabella Hive con qualsiasi colonna contenente il tipo di dati Map, inserire i dati e leggerne i risultati.
- Creare un dataframe Apache Spark con tipo di mappa ed eseguire operazioni di lettura e scrittura batch/flusso.
Nuove aree
HDInsight ha ora ampliato la propria presenza geografica a due nuove aree: Cina orientale 3 e Cina settentrionale 3.
Modifiche al backport del sistema operativo
Backport OSS inclusi in Hive, tra cui HWC 1.0 (Spark 2.4) che supporta il tipo di dati Map.
Di seguito sono riportati gli apache JIRA di OSS di cui è stato eseguito il backporting per questa versione:
Funzionalità interessata | Apache JIRA |
---|---|
Le query SQL dirette del metastore con IN/(NOT IN) devono essere suddivise in base ai parametri massimi consentiti dal database SQL | HIVE-25659 |
Aggiornamento log4j dalla versione 2.16.0 alla versione 2.17.0 |
HIVE-25825 |
Aggiornare la Flatbuffer versione |
HIVE-22827 |
Supportare il tipo di dati mappa in modo nativo in formato freccia | HIVE-25553 |
Client esterno LLAP: gestire i valori annidati quando lo struct padre è Null | HIVE-25243 |
Aggiornare la versione della freccia alla versione 0.11.0 | HIVE-23987 |
Avvisi di deprecazione
Azure set di scalabilità di macchine virtuali in HDInsight
HDInsight non userà più Azure set di scalabilità di macchine virtuali per effettuare il provisioning dei cluster, non è prevista alcuna modifica di rilievo. I cluster HDInsight esistenti nei set di scalabilità di macchine virtuali non hanno alcun impatto, i nuovi cluster nelle immagini più recenti non useranno più set di scalabilità di macchine virtuali.
Il ridimensionamento dei carichi di lavoro HBase di Azure HDInsight sarà ora supportato solo usando la scalabilità manuale
A partire dal 01 marzo 2022, HDInsight supporterà solo la scalabilità manuale per HBase, senza alcun impatto sull'esecuzione dei cluster. I nuovi cluster HBase non saranno in grado di abilitare la scalabilità automatica basata sulla pianificazione. Per altre informazioni su come ridimensionare manualmente il cluster HBase, vedere la documentazione relativa al ridimensionamento manuale dei cluster Azure HDInsight
Data di rilascio: 27/12/2021
Questa versione si applica a HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area in diversi giorni.
Le versioni del sistema operativo per questa versione sono:
- HDInsight 4.0: Ubuntu 18.04.5 LTS
L'immagine HDInsight 4.0 è stata aggiornata per attenuare la Log4j
vulnerabilità, come descritto in Risposta di Microsoft a CVE-2021-44228 Apache Log4j 2.
Nota
- Tutti i cluster HDI 4.0 creati dopo il 27 dicembre 2021 00:00 UTC vengono creati con una versione aggiornata dell'immagine che attenua le
log4j
vulnerabilità. Di conseguenza, i clienti non devono applicare patch o riavviare questi cluster. - Per i nuovi cluster HDInsight 4.0 creati tra il 16 dicembre 2021 alle 01:15 UTC e il 27 dicembre 2021 00:00 UTC, HDInsight 3.6 o nelle sottoscrizioni aggiunte dopo il 16 dicembre 2021 la patch viene applicata automaticamente entro l'ora in cui viene creato il cluster, tuttavia i clienti devono riavviare i nodi per il completamento dell'applicazione delle patch (ad eccezione dei nodi di gestione Kafka, che vengono riavviati automaticamente).
Data di rilascio: 27/07/2021
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Le versioni del sistema operativo per questa versione sono:
- HDInsight 3.6: Ubuntu 16.04.7 LTS
- HDInsight 4.0: Ubuntu 18.04.5 LTS
Nuove funzionalità
Il supporto di Azure HDInsight per la connettività pubblica con restrizioni è disponibile a livello generale il 15 ottobre 2021
Azure HDInsight supporta ora la connettività pubblica con restrizioni in tutte le aree. Di seguito sono riportate alcune delle principali caratteristiche di questa funzionalità:
- Possibilità di invertire la comunicazione tra provider di risorse e cluster in modo che sia in uscita dal cluster al provider di risorse
- Supporto per l'uso di risorse abilitate per il proprio collegamento privato (ad esempio, archiviazione, SQL, insieme di credenziali delle chiavi) per il cluster HDInsight per accedere alle risorse solo tramite rete privata
- Non viene effettuato il provisioning di indirizzi IP pubblici
Usando questa nuova funzionalità, è anche possibile ignorare le regole dei tag del servizio del gruppo di sicurezza di rete in ingresso (NSG) per gli INDIRIZZI IP di gestione di HDInsight. Altre informazioni sulla limitazione della connettività pubblica
Il supporto di Azure HDInsight per collegamento privato di Azure è disponibile a livello generale il 15 ottobre 2021
È ora possibile usare endpoint privati per connettersi ai cluster HDInsight tramite collegamento privato. Il collegamento privato può essere usato in scenari tra reti virtuali in cui il peering reti virtuali non è disponibile o abilitato.
Collegamento privato di Azure consente di accedere ai servizi PaaS di Azure, ad esempio Archiviazione di Azure e Database SQL, nonché ai servizi di proprietà di clienti/partner ospitati in Azure tramite un endpoint privato nella rete virtuale.
Il traffico tra la rete virtuale e il servizio attraversa la rete del backbone Microsoft. L'esposizione del servizio sulla rete Internet pubblica non è più necessaria.
Per altre informazioni, abilitare il collegamento privato.
Nuova esperienza di integrazione di Monitoraggio di Azure (anteprima)
La nuova esperienza di integrazione di Monitoraggio di Azure sarà disponibile in anteprima negli Stati Uniti orientali e nell'Europa occidentale con questa versione. Altre informazioni dettagliate sulla nuova esperienza di Monitoraggio di Azure sono disponibili qui.
Deprecazione
La versione di HDInsight 3.6 è deprecata a partire dal 01 ottobre 2022.
Modifiche del comportamento
HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione
Man mano che gli scenari dei clienti crescono più maturi e diversificati, sono state identificate alcune limitazioni con la scalabilità automatica basata su caricamento di Interactive Query (LLAP). Queste limitazioni sono causate dalla natura delle dinamiche delle query LLAP, dai problemi futuri di accuratezza della stima del carico e dai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando la scalabilità automatica è abilitata. L'effetto sulle prestazioni può superare i vantaggi dei costi della scalabilità automatica.
A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica basata sul carico nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.
Microsoft consiglia di passare a una scalabilità automatica basata su pianificazione per LLAP. È possibile analizzare il modello di utilizzo corrente del cluster tramite il dashboard di Grafana Hive. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.
Modifiche imminenti
Le modifiche seguenti si verificano nelle prossime versioni.
Il componente LLAP predefinito nel cluster ESP Spark verrà rimosso
Il cluster HDInsight 4.0 ESP Spark include componenti LLAP predefiniti in esecuzione in entrambi i nodi head. I componenti LLAP nel cluster ESP Spark sono stati originariamente aggiunti per HDInsight 3.6 ESP Spark, ma non ha un caso utente reale per HDInsight 4.0 ESP Spark. Nella prossima versione pianificata a settembre 2021, HDInsight rimuoverà il componente LLAP predefinito dal cluster HDInsight 4.0 ESP Spark. Questa modifica consente di eseguire l'offload del carico di lavoro del nodo head ed evitare confusione tra il tipo di cluster ESP Spark ed ESP Interactive Hive.
Nuova area
- Stati Uniti occidentali 3
Jio
India occidentale- Australia centrale
Modifica della versione dei componenti
La versione del componente seguente è stata modificata con questa versione:
- Versione ORC dalla 1.5.1 alla versione 1.5.9
In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Back ported JIRAs
Di seguito sono riportati i back porting di Apache JIRAs per questa versione:
Funzionalità interessata | Apache JIRA |
---|---|
Data/Timestamp | HIVE-25104 |
HIVE-24074 | |
HIVE-22840 | |
HIVE-22589 | |
HIVE-22405 | |
HIVE-21729 | |
HIVE-21291 | |
HIVE-21290 | |
Funzione definita dall'utente | HIVE-25268 |
HIVE-25093 | |
HIVE-22099 | |
HIVE-24113 | |
HIVE-22170 | |
HIVE-22331 | |
ORC | HIVE-21991 |
HIVE-21815 | |
HIVE-21862 | |
Schema tabella | HIVE-20437 |
HIVE-22941 | |
HIVE-21784 | |
HIVE-21714 | |
HIVE-18702 | |
HIVE-21799 | |
HIVE-21296 | |
Gestione del carico di lavoro | HIVE-24201 |
Compattamento | HIVE-24882 |
HIVE-23058 | |
HIVE-23046 | |
Vista materializzata | HIVE-22566 |
Correzione dei prezzi per HDInsight Dv2
Macchine virtuali
È stato corretto un errore relativo ai prezzi il 25 aprile 2021 per la Dv2
serie di macchine virtuali in HDInsight. L'errore relativo ai prezzi ha generato un addebito ridotto sulle fatture di alcuni clienti prima del 25 aprile e con la correzione, i prezzi corrispondono ora a quelli annunciati nella pagina dei prezzi di HDInsight e nel calcolatore dei prezzi di HDInsight. L'errore relativo ai prezzi ha interessato i clienti nelle aree seguenti che hanno usato Dv2
le macchine virtuali:
- Canada centrale
- Canada orientale
- Asia orientale
- Sudafrica settentrionale
- Asia sud-orientale
- Emirati Arabi Uniti centrali
A partire dal 25 aprile 2021, l'importo corretto per le Dv2
macchine virtuali sarà sul tuo account. Le notifiche dei clienti sono state inviate ai proprietari delle sottoscrizioni prima della modifica. È possibile usare il calcolatore prezzi, la pagina prezzi di HDInsight o il pannello Crea cluster HDInsight nel portale di Azure per visualizzare i costi corretti per Dv2
le macchine virtuali nell'area.
Non sono necessarie altre azioni da parte dell'utente. La correzione dei prezzi verrà applicata solo per l'utilizzo il 25 aprile 2021 nelle aree specificate e non per alcun utilizzo prima di questa data. Per assicurarsi di avere la soluzione più efficiente e conveniente, è consigliabile esaminare i prezzi, la VCPU e la RAM per i Dv2
cluster e confrontare le Dv2
specifiche con le macchine virtuali per verificare se la Ev3
soluzione trarrà vantaggio dall'uso di una delle serie di macchine virtuali più recenti.
Data di rilascio: 02/06/2021
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Le versioni del sistema operativo per questa versione sono:
- HDInsight 3.6: Ubuntu 16.04.7 LTS
- HDInsight 4.0: Ubuntu 18.04.5 LTS
Nuove funzionalità
Aggiornamento della versione del sistema operativo
Come indicato nel ciclo di rilascio di Ubuntu, il kernel Ubuntu 16.04 raggiunge la fine della vita (EOL) nell'aprile 2021. È stata avviata l'implementazione della nuova immagine del cluster HDInsight 4.0 in esecuzione in Ubuntu 18.04 con questa versione. I cluster HDInsight 4.0 appena creati vengono eseguiti in Ubuntu 18.04 per impostazione predefinita una volta disponibili. I cluster esistenti in Ubuntu 16.04 vengono eseguiti così come sono con il supporto completo.
HDInsight 3.6 continuerà a essere eseguito in Ubuntu 16.04. Passerà al supporto Basic (dal supporto Standard) a partire dal 1° luglio 2021. Per altre informazioni sulle date e sulle opzioni di supporto, vedere Versioni di Azure HDInsight. Ubuntu 18.04 non sarà supportato per HDInsight 3.6. Se si vuole usare Ubuntu 18.04, è necessario eseguire la migrazione dei cluster a HDInsight 4.0.
È necessario eliminare e ricreare i cluster se si vuole spostare i cluster HDInsight 4.0 esistenti in Ubuntu 18.04. Pianificare la creazione o la ricreazione dei cluster dopo che il supporto di Ubuntu 18.04 diventa disponibile.
Dopo aver creato il nuovo cluster, è possibile connettersi tramite SSH al cluster ed eseguire sudo lsb_release -a
per verificare che venga eseguito in Ubuntu 18.04. È consigliabile testare le applicazioni nelle sottoscrizioni di test prima di passare all'ambiente di produzione.
Ottimizzazioni del ridimensionamento nei cluster di scrittura accelerati di HBase
HDInsight ha apportato alcuni miglioramenti e ottimizzazioni sul ridimensionamento per i cluster abilitati per la scrittura accelerata di HBase. Altre informazioni sulla scrittura accelerata di HBase.
Deprecazione
Nessuna deprecazione in questa versione.
Modifiche del comportamento
Disabilitare le dimensioni Stardard_A5 macchina virtuale come nodo head per HDInsight 4.0
Il nodo head del cluster HDInsight è responsabile dell'inizializzazione e della gestione del cluster. Standard_A5 dimensioni delle macchine virtuali presenta problemi di affidabilità come nodo head per HDInsight 4.0. A partire da questa versione, i clienti non potranno creare nuovi cluster con dimensioni Standard_A5 macchina virtuale come nodo head. È possibile usare altre macchine virtuali a due core, ad esempio E2_v3 o E2s_v3. I cluster esistenti verranno eseguiti così come sono. È consigliabile usare una macchina virtuale a quattro core per head node per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight di produzione.
Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure
HDInsight esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Le interfacce di rete per le macchine virtuali non sono più visibili ai clienti per i cluster che usano set di scalabilità di macchine virtuali di Azure.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione
Man mano che gli scenari dei clienti crescono più maturi e diversificati, sono state identificate alcune limitazioni con la scalabilità automatica basata su caricamento di Interactive Query (LLAP). Queste limitazioni sono causate dalla natura delle dinamiche delle query LLAP, dai problemi futuri di accuratezza della stima del carico e dai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando la scalabilità automatica è abilitata. L'effetto sulle prestazioni può superare i vantaggi dei costi della scalabilità automatica.
A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.
Microsoft consiglia di passare a una scalabilità automatica basata su pianificazione per LLAP. È possibile analizzare il modello di utilizzo corrente del cluster tramite il dashboard di Grafana Hive. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.
La denominazione dell'host della macchina virtuale verrà modificata il 1° luglio 2021
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Questa migrazione modificherà il formato del nome FQDN del nome host del cluster e i numeri nel nome host non saranno garantiti in sequenza. Per ottenere i nomi FQDN per ogni nodo, vedere Trovare i nomi host dei nodi del cluster.
Passare ai set di scalabilità di macchine virtuali di Azure
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Data di rilascio: 24/03/2021
Nuove funzionalità
Anteprima di Spark 3.0
HDInsight ha aggiunto il supporto di Spark 3.0.0 a HDInsight 4.0 come funzionalità di anteprima.
Anteprima di Kafka 2.4
HDInsight ha aggiunto il supporto kafka 2.4.1 a HDInsight 4.0 come funzionalità di anteprima.
Eav4
Supporto di serie
In questa versione è stato aggiunto Eav4
il supporto della serie -series.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Deprecazione
Nessuna deprecazione in questa versione.
Modifiche del comportamento
La versione predefinita del cluster viene modificata in 4.0
La versione predefinita del cluster HDInsight viene modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere versioni disponibili. Altre informazioni sulle novità di HDInsight 4.0.
Le dimensioni predefinite delle macchine virtuali del cluster vengono modificate in Ev3
-series
Le dimensioni predefinite delle macchine virtuali del cluster vengono modificate da serie D a Ev3
serie -. Questa modifica si applica ai nodi head e ai nodi di lavoro. Per evitare che questa modifica influisca sui flussi di lavoro testati, specificare le dimensioni della macchina virtuale da usare nel modello di Resource Manager.
Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure
HDInsight esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Le interfacce di rete per le macchine virtuali non sono più visibili ai clienti per i cluster che usano set di scalabilità di macchine virtuali di Azure.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
HDInsight Interactive Query supporta solo la scalabilità automatica basata su pianificazione
Man mano che gli scenari dei clienti crescono più maturi e diversificati, sono state identificate alcune limitazioni con la scalabilità automatica basata su caricamento di Interactive Query (LLAP). Queste limitazioni sono causate dalla natura delle dinamiche delle query LLAP, dai problemi futuri di accuratezza della stima del carico e dai problemi nella ridistribuzione delle attività dell'utilità di pianificazione LLAP. A causa di queste limitazioni, gli utenti potrebbero vedere che le query vengono eseguite più lentamente nei cluster LLAP quando la scalabilità automatica è abilitata. L'impatto sulle prestazioni può superare i vantaggi dei costi della scalabilità automatica.
A partire da luglio 2021, il carico di lavoro Interactive Query in HDInsight supporta solo la scalabilità automatica basata su pianificazione. Non è più possibile abilitare la scalabilità automatica nei nuovi cluster Interactive Query. I cluster in esecuzione esistenti possono continuare a essere eseguiti con le limitazioni note descritte in precedenza.
Microsoft consiglia di passare a una scalabilità automatica basata su pianificazione per LLAP. È possibile analizzare il modello di utilizzo corrente del cluster tramite il dashboard di Grafana Hive. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.
Aggiornamento della versione del sistema operativo
I cluster HDInsight sono attualmente in esecuzione in Ubuntu 16.04 LTS. Come indicato nel ciclo di rilascio di Ubuntu, il kernel Ubuntu 16.04 raggiungerà la fine della vita (EOL) nell'aprile 2021. Si inizierà a implementare la nuova immagine del cluster HDInsight 4.0 in esecuzione in Ubuntu 18.04 a maggio 2021. I cluster HDInsight 4.0 appena creati verranno eseguiti in Ubuntu 18.04 per impostazione predefinita, una volta disponibili. I cluster esistenti in Ubuntu 16.04 verranno eseguiti così come sono con supporto completo.
HDInsight 3.6 continuerà a essere eseguito in Ubuntu 16.04. Raggiungerà la fine del supporto standard entro il 30 giugno 2021 e passerà al supporto Basic a partire dal 1° luglio 2021. Per altre informazioni sulle date e sulle opzioni di supporto, vedere Versioni di Azure HDInsight. Ubuntu 18.04 non sarà supportato per HDInsight 3.6. Se si vuole usare Ubuntu 18.04, è necessario eseguire la migrazione dei cluster a HDInsight 4.0.
È necessario eliminare e ricreare i cluster se si vuole spostare i cluster esistenti in Ubuntu 18.04. Pianificare la creazione o la ricreazione del cluster dopo la disponibilità del supporto di Ubuntu 18.04. Verrà inviata un'altra notifica dopo che la nuova immagine diventa disponibile in tutte le aree.
È consigliabile testare in anticipo le azioni script e le applicazioni personalizzate distribuite nei nodi perimetrali in una macchina virtuale Ubuntu 18.04. È possibile creare una macchina virtuale Ubuntu Linux nella versione 18.04-LTS, quindi creare e usare una coppia di chiavi SSH (Secure Shell) nella macchina virtuale per eseguire e testare le azioni script e le applicazioni personalizzate distribuite nei nodi perimetrali.
Disabilitare le dimensioni Stardard_A5 macchina virtuale come nodo head per HDInsight 4.0
Il nodo head del cluster HDInsight è responsabile dell'inizializzazione e della gestione del cluster. Standard_A5 dimensioni delle macchine virtuali presenta problemi di affidabilità come nodo head per HDInsight 4.0. A partire dalla versione successiva di maggio 2021, i clienti non potranno creare nuovi cluster con dimensioni Standard_A5 macchina virtuale come nodo head. È possibile usare altre macchine virtuali a 2 core, ad esempio E2_v3 o E2s_v3. I cluster esistenti verranno eseguiti così come sono. È consigliabile usare una macchina virtuale a 4 core per il nodo head per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight di produzione.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
Aggiunta del supporto per Spark 3.0.0 e Kafka 2.4.1 come anteprima. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 05/02/2021
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Supporto della serie Dav4
HdInsight ha aggiunto il supporto della serie Dav4 in questa versione. Altre informazioni sulla serie Dav4 sono disponibili qui.
Disponibilità generale del proxy REST Kafka
Il proxy REST Kafka consente di interagire con il cluster Kafka tramite un'API REST tramite HTTPS. Il proxy REST Kafka è disponibile a partire da questa versione. Altre informazioni sul proxy REST Kafka sono disponibili qui.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Il servizio esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Deprecazione
Dimensioni delle macchine virtuali disabilitate
A partire dal 9 gennaio 2021, HDInsight bloccherà tutti i clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.
Modifiche del comportamento
Le dimensioni predefinite della macchina virtuale del cluster vengono cambiate in Ev3
-series
Le dimensioni predefinite delle macchine virtuali del cluster verranno modificate da serie D a Ev3
serie -. Questa modifica si applica ai nodi head e ai nodi di lavoro. Per evitare che questa modifica influisca sui flussi di lavoro testati, specificare le dimensioni della macchina virtuale da usare nel modello di Resource Manager.
Risorsa dell'interfaccia di rete non visibile per i cluster in esecuzione nei set di scalabilità di macchine virtuali di Azure
HDInsight esegue gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. Le interfacce di rete per le macchine virtuali non sono più visibili ai clienti per i cluster che usano set di scalabilità di macchine virtuali di Azure.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
La versione predefinita del cluster verrà modificata in 4.0
A partire da febbraio 2021, la versione predefinita del cluster HDInsight verrà modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere versioni disponibili. Altre informazioni sulle novità di HDInsight 4.0.
Aggiornamento della versione del sistema operativo
HDInsight sta aggiornando la versione del sistema operativo da Ubuntu 16.04 a 18.04. L'aggiornamento verrà completato prima di aprile 2021.
Fine del supporto di HDInsight 3.6 il 30 giugno 2021
HDInsight 3.6 terminerà il supporto. A partire dal 30 giugno 2021, i clienti non possono creare nuovi cluster HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 18/11/2020
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Rotazione automatica delle chiavi per la crittografia dei dati inattivi della chiave gestita dal cliente
A partire da questa versione, i clienti possono usare gli URL delle chiavi di crittografia senza versione di Azure KeyValut per la crittografia dei dati inattivi della chiave gestita dal cliente. HDInsight ruota automaticamente le chiavi in base alla scadenza o alla sostituzione con le nuove versioni. Altre informazioni sono disponibili qui.
Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services
HDInsight in precedenza non supportava la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito è A2_v2/A2 dimensioni delle macchine virtuali, che vengono fornite gratuitamente. In questa versione è possibile selezionare una dimensione di macchina virtuale Zookeeper più appropriata per lo scenario. Verranno addebitati i nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2. A2_v2 e le macchine virtuali A2 sono ancora disponibili gratuitamente.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da questa versione, il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Deprecazione
Deprecazione del cluster HDInsight 3.6 ML Services
Il tipo di cluster HDInsight 3.6 ML Services terminerà entro il 31 dicembre 2020. I clienti non potranno creare nuovi cluster ml services 3.6 dopo il 31 dicembre 2020. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.
Dimensioni delle macchine virtuali disabilitate
A partire dal 16 novembre 2020, HDInsight bloccherà i nuovi clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I clienti esistenti che hanno usato queste dimensioni delle macchine virtuali negli ultimi tre mesi non saranno interessati. A partire dal 9 gennaio 2021, HDInsight bloccherà tutti i clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.
Modifiche del comportamento
Aggiungere il controllo delle regole del gruppo di sicurezza di rete prima dell'operazione di ridimensionamento
HDInsight ha aggiunto gruppi di sicurezza di rete (NSG) e route definite dall'utente controllando con l'operazione di ridimensionamento. La stessa convalida viene eseguita per il ridimensionamento del cluster oltre alla creazione del cluster. Questa convalida consente di evitare errori imprevedibili. Se la convalida non viene superata, il ridimensionamento ha esito negativo. Altre informazioni su come configurare correttamente gruppi di sicurezza di rete e route definite dall'utente, vedere Indirizzi IP di gestione di HDInsight.
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 09/11/2020
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
HDInsight Identity Broker (HIB) è ora disponibile a livello generale
HDInsight Identity Broker (HIB) che abilita l'autenticazione OAuth per i cluster ESP è ora disponibile a livello generale con questa versione. I cluster HIB creati dopo questa versione avranno le funzionalità HIB più recenti:
- Disponibilità elevata
- Supporto per l'autenticazione a più fattori (MFA)
- Gli utenti federati accedono senza sincronizzazione dell'hash delle password ad AAD-DS Per altre informazioni, vedere la documentazione di HIB.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da questa versione, il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Deprecazione
Deprecazione del cluster HDInsight 3.6 ML Services
Il tipo di cluster HDInsight 3.6 ML Services terminerà entro il 31 dicembre 2020. I clienti non creerà nuovi cluster ml services 3.6 dopo il 31 dicembre 2020. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.
Dimensioni delle macchine virtuali disabilitate
A partire dal 16 novembre 2020, HDInsight bloccherà i nuovi clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I clienti esistenti che hanno usato queste dimensioni delle macchine virtuali negli ultimi tre mesi non saranno interessati. A partire dal 9 gennaio 2021, HDInsight bloccherà tutti i clienti che creano cluster usando standand_A8, standand_A9, standand_A10 e standand_A11 dimensioni delle macchine virtuali. I cluster esistenti verranno eseguiti così come sono. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.
Modifiche del comportamento
Nessuna modifica del comportamento per questa versione.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services
HDInsight attualmente non supporta la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito è A2_v2/A2 dimensioni delle macchine virtuali, che vengono fornite gratuitamente. Nella prossima versione è possibile selezionare le dimensioni di una macchina virtuale Zookeeper più appropriata per lo scenario in uso. Verranno addebitati i nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2. A2_v2 e le macchine virtuali A2 sono ancora disponibili gratuitamente.
La versione predefinita del cluster verrà modificata in 4.0
A partire da febbraio 2021, la versione predefinita del cluster HDInsight verrà modificata da 3.6 a 4.0. Per altre informazioni sulle versioni disponibili, vedere Versioni supportate. Altre informazioni sulle novità di HDInsight 4.0
Fine del supporto di HDInsight 3.6 il 30 giugno 2021
HDInsight 3.6 terminerà il supporto. A partire dal 30 giugno 2021, i clienti non possono creare nuovi cluster HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Prendere in considerazione il passaggio a HDInsight 4.0 per evitare potenziali interruzioni di sistema/supporto.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Correzione del problema per il riavvio delle macchine virtuali nel cluster
Il problema per il riavvio delle macchine virtuali nel cluster è stato risolto, è possibile usare PowerShell o l'API REST per riavviare i nodi nel cluster .
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 08/10/2020
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Cluster privati HDInsight senza indirizzo IP pubblico e collegamento privato (anteprima)
HDInsight supporta ora la creazione di cluster senza ip pubblico e accesso al collegamento privato ai cluster in anteprima. I clienti possono usare le nuove impostazioni di rete avanzate per creare un cluster completamente isolato senza ip pubblico e usare i propri endpoint privati per accedere al cluster.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da questa versione, il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Deprecazione
Deprecazione del cluster HDInsight 3.6 ML Services
Il tipo di cluster HDInsight 3.6 ML Services terminerà il supporto entro il 31 dicembre 2020. I clienti non creerà nuovi cluster ML Services 3.6 dopo questo. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Controllare la scadenza del supporto per le versioni e i tipi di cluster HDInsight qui.
Modifiche del comportamento
Nessuna modifica del comportamento per questa versione.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
Possibilità di selezionare diverse dimensioni di macchine virtuali Zookeeper per Spark, Hadoop e ML Services
HDInsight attualmente non supporta la personalizzazione delle dimensioni dei nodi Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Il valore predefinito è A2_v2/A2 dimensioni delle macchine virtuali, che vengono fornite gratuitamente. Nella prossima versione è possibile selezionare le dimensioni di una macchina virtuale Zookeeper più appropriata per lo scenario in uso. Verranno addebitati i nodi Zookeeper con dimensioni della macchina virtuale diverse da A2_v2/A2. A2_v2 e le macchine virtuali A2 sono ancora disponibili gratuitamente.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 28/09/2020
Questa versione si applica sia per HDInsight 3.6 che per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
La scalabilità automatica per Interactive Query con HDInsight 4.0 è ora disponibile a livello generale
La scalabilità automatica per il tipo di cluster Interactive Query è ora disponibile a livello generale per HDInsight 4.0. Tutti i cluster Interactive Query 4.0 creati dopo il 27 agosto 2020 avranno il supporto ga per la scalabilità automatica.
Il cluster HBase supporta AdLS Gen2 Premium
HDInsight supporta ora ADLS Gen2 Premium come account di archiviazione primario per cluster HDInsight HBase 3.6 e 4.0. Insieme alle scritture accelerate, è possibile ottenere prestazioni migliori per i cluster HBase.
Distribuzione delle partizioni Kafka nei domini di errore di Azure
Un dominio di errore è un raggruppamento logico dell'hardware sottostante in un data center di Azure. Ogni dominio di errore condivide una fonte di alimentazione e un commutatore di rete comuni. Prima che HDInsight Kafka archivii tutte le repliche di partizione nello stesso dominio di errore. A partire da questa versione, HDInsight supporta ora la distribuzione automatica delle partizioni Kafka in base ai domini di errore di Azure.
Crittografia dei dati in transito
I clienti possono abilitare la crittografia in transito tra i nodi del cluster usando la crittografia IPSec con chiavi gestite dalla piattaforma. Questa opzione può essere abilitata al momento della creazione del cluster. Vedere altri dettagli su come abilitare la crittografia in transito.
Crittografia a livello di host
Quando si abilita la crittografia nell'host, i dati archiviati nell'host della macchina virtuale vengono crittografati inattivi e i flussi crittografati nel servizio di archiviazione. In questa versione è possibile abilitare la crittografia nell'host nel disco dati temporaneo durante la creazione del cluster. La crittografia nell'host è supportata solo in determinati SKU di macchine virtuali in aree limitate. HDInsight supporta la configurazione del nodo e gli SKU seguenti. Vedere altri dettagli su come abilitare la crittografia nell'host.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da questa versione, il servizio eseguirà gradualmente la migrazione ai set di scalabilità di macchine virtuali di Azure. L'intero processo potrebbe richiedere mesi. Dopo la migrazione delle aree e delle sottoscrizioni, i cluster HDInsight appena creati verranno eseguiti nei set di scalabilità di macchine virtuali senza azioni dei clienti. Non è prevista alcuna modifica di rilievo.
Deprecazione
Nessuna deprecazione per questa versione.
Modifiche del comportamento
Nessuna modifica del comportamento per questa versione.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
Possibilità di selezionare diversi SKU Zookeeper per Spark, Hadoop e ML Services
HDInsight attualmente non supporta la modifica dello SKU Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Usa A2_v2/A2 SKU per i nodi Zookeeper e i clienti non vengono addebitati i costi. Nella versione futura i clienti possono modificare lo SKU Zookeeper per Spark, Hadoop e ML Services in base alle esigenze. Verranno addebitati i nodi Zookeeper con SKU diversi da A2_v2/A2. Lo SKU predefinito sarà comunque A2_V2/A2 e gratuito.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 09/08/2020
Questa versione si applica solo per HDInsight 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Supporto per SparkCruise
SparkCruise è un sistema di riutilizzo automatico del calcolo per Spark. Seleziona sottoespressioni comuni da materializzare in base al carico di lavoro della query precedente. SparkCruise materializza queste sottoespressioni durante l'elaborazione delle query e il riutilizzo del calcolo vengono applicate automaticamente in background. È possibile trarre vantaggio da SparkCruise senza alcuna modifica al codice Spark.
Supporto della vista Hive per HDInsight 4.0
Apache Ambari Hive View è progettato per creare, ottimizzare ed eseguire query Hive dal Web browser. La vista Hive è supportata in modo nativo per i cluster HDInsight 4.0 a partire da questa versione. Non si applica ai cluster esistenti. È necessario eliminare e ricreare il cluster per ottenere la visualizzazione Hive predefinita.
Supporto della visualizzazione Tez per HDInsight 4.0
La vista Apache Tez viene usata per tenere traccia ed eseguire il debug dell'esecuzione del processo Hive Tez. La visualizzazione Tez è supportata in modo nativo per HDInsight 4.0 a partire da questa versione. Non si applica ai cluster esistenti. È necessario eliminare e ricreare il cluster per ottenere la visualizzazione Tez predefinita.
Deprecazione
Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6
A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Kafka con Kafka 1.1 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Kafka 2.1 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Modifiche del comportamento
Modifica della versione dello stack Ambari
In questa versione, la versione di Ambari cambia da 2.x.x.x a 4.1. È possibile verificare la versione dello stack (HDInsight 4.1) in Ambari: Versioni utente > di Ambari>.
Modifiche imminenti
Nessuna modifica di rilievo imminente a cui è necessario prestare attenzione.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Di seguito vengono restituite le funzioni JIRA per Hive:
Di seguito vengono restituiti jiRA per HBase:
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Problemi noti
È stato risolto un problema nella portale di Azure, in cui gli utenti riscontravano un errore durante la creazione di un cluster Azure HDInsight usando un tipo di autenticazione SSH di chiave pubblica. Quando gli utenti hanno fatto clic su Rivedi e crea, riceveranno l'errore "Non deve contenere tre caratteri consecutivi dal nome utente SSH". Questo problema è stato risolto, ma potrebbe essere necessario aggiornare la cache del browser premendo CTRL+F5 per caricare la visualizzazione corretta. La soluzione alternativa a questo problema consiste nel creare un cluster con un modello di Resource Manager.
Data di rilascio: 13/07/2020
Questa versione è valida per HDInsight 3.6 e 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Supporto per Customer Lockbox per Microsoft Azure
Azure HDInsight supporta ora Customer Lockbox di Azure. Fornisce un'interfaccia che consente ai clienti di esaminare e approvare o rifiutare le richieste di accesso ai dati dei clienti. Viene usato quando il tecnico Microsoft deve accedere ai dati dei clienti durante una richiesta di supporto. Per altre informazioni, vedere Customer Lockbox per Microsoft Azure.
Criteri degli endpoint di servizio per l'archiviazione
I clienti possono ora usare i criteri degli endpoint di servizio (SEP) nella subnet del cluster HDInsight. Altre informazioni sui criteri degli endpoint di servizio di Azure.
Deprecazione
Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6
A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Kafka con Kafka 1.1 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Kafka 2.1 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Modifiche del comportamento
Nessuna modifica del comportamento a cui è necessario prestare attenzione.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
Possibilità di selezionare diversi SKU Zookeeper per Spark, Hadoop e ML Services
HDInsight attualmente non supporta la modifica dello SKU Zookeeper per i tipi di cluster Spark, Hadoop e ML Services. Usa A2_v2/A2 SKU per i nodi Zookeeper e i clienti non vengono addebitati i costi. Nella prossima versione i clienti potranno modificare lo SKU Zookeeper per Spark, Hadoop e ML Services in base alle esigenze. Verranno addebitati i nodi Zookeeper con SKU diversi da A2_v2/A2. Lo SKU predefinito sarà comunque A2_V2/A2 e gratuito.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Correzione del problema del connettore Hive Warehouse
Si è verificato un problema per l'usabilità del connettore Hive Warehouse nella versione precedente. Il problema è stato risolto.
Correzione del problema relativo agli zeri iniziali troncati dal notebook Zeppelin
Zeppelin tronca erroneamente gli zeri iniziali nell'output della tabella per formato stringa. Questo problema è stato risolto in questa versione.
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. In questo documento sono disponibili le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6.
Data di rilascio: 11/06/2020
Questa versione è valida per HDInsight 3.6 e 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa macchine virtuali di Azure per effettuare il provisioning del cluster. Da questa versione, i cluster HDInsight creati iniziano a usare il set di scalabilità di macchine virtuali di Azure. La modifica viene implementata gradualmente. Non ci si dovrebbe aspettare alcuna modifica che causa un'interruzione. Vedere altre informazioni sui set di scalabilità di macchine virtuali di Azure.
Riavviare le macchine virtuali nel cluster HDInsight
In questa versione è supportato il riavvio delle macchine virtuali nel cluster HDInsight per riavviare i nodi che non rispondono. Attualmente è possibile farlo solo tramite l'API, il supporto di PowerShell e dell'interfaccia della riga di comando è in corso. Per altre informazioni sull'API, vedere questo documento.
Deprecazione
Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6
A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non possono creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Kafka con Kafka 1.1 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Kafka 2.1 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Modifiche del comportamento
Modifica delle dimensioni del nodo head del cluster Spark ESP
La dimensione minima consentita del nodo head per il cluster ESP Spark viene modificata in Standard_D13_V2. Le macchine virtuali con core bassi e memoria come nodo head potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. A partire dal rilascio, usare SKU superiori a Standard_D13_V2 e Standard_E16_V3 come nodo head per i cluster SPARK ESP.
Per il nodo Head è necessaria una macchina virtuale con almeno 4 core
Per il nodo Head è necessaria una macchina virtuale con almeno 4 core per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight. A partire dal 6 aprile 2020, i clienti possono scegliere solo macchine virtuali con 4 core o più come nodo head per i nuovi cluster HDInsight. I cluster esistenti continueranno a funzionare come previsto.
Modifica del provisioning del nodo di lavoro del cluster
Quando l'80% dei nodi di lavoro è pronto, il cluster entra in fase operativa . In questa fase, i clienti possono eseguire tutte le operazioni del piano dati, ad esempio l'esecuzione di script e processi. Tuttavia, i clienti non possono eseguire alcuna operazione del piano di controllo, ad esempio l'aumento/riduzione. È supportata solo l'eliminazione.
Dopo la fase operativa , il cluster attende altri 60 minuti per i nodi di lavoro rimanenti del 20%. Alla fine di questo periodo di 60 minuti, il cluster passa alla fase di esecuzione , anche se tutti i nodi di lavoro non sono ancora disponibili. Quando un cluster entra nella fase di esecuzione , è possibile usarlo come di consueto. Entrambe le operazioni del piano di controllo, ad esempio l'aumento/riduzione delle prestazioni, e le operazioni del piano dati, come l'esecuzione di script e processi, vengono accettate. Se alcuni dei nodi di lavoro richiesti non sono disponibili, il cluster verrà contrassegnato come esito positivo parziale. Vengono addebitati i costi per i nodi distribuiti correttamente.
Creare una nuova entità servizio tramite HDInsight
In precedenza, con la creazione del cluster, i clienti possono creare una nuova entità servizio per accedere all'account ADLS Gen 1 connesso in portale di Azure. A partire dal 15 giugno 2020, la creazione di una nuova entità servizio non è possibile nel flusso di lavoro di creazione di HDInsight, è supportata solo l'entità servizio esistente. Vedere Creare un'entità servizio e certificati con Azure Active Directory.
Timeout per le azioni script con la creazione del cluster
HDInsight supporta l'esecuzione di azioni script con la creazione del cluster. Da questa versione, tutte le azioni script con la creazione del cluster devono essere completate entro 60 minuti o si timeout. Le azioni script inviate ai cluster in esecuzione non sono interessate. Altre informazioni sono disponibili qui.
Modifiche imminenti
Nessuna modifica di rilievo imminente a cui è necessario prestare attenzione.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
HBase da 2.0 a 2.1.6
La versione di HBase viene aggiornata dalla versione 2.0 alla versione 2.1.6.
Spark da 2.4.0 a 2.4.4
La versione di Spark viene aggiornata dalla versione 2.4.0 alla versione 2.4.4.
Kafka da 2.1.0 a 2.1.1
La versione di Kafka viene aggiornata dalla versione 2.1.0 alla versione 2.1.1.
In questo documento sono disponibili le versioni correnti dei componenti per HDInsight 4.0 ad HDInsight 3.6
Problemi noti
Problema del connettore Hive Warehouse
In questa versione si è verificato un problema per Hive Warehouse Connector. La correzione verrà inclusa nella versione successiva. I cluster esistenti creati prima di questa versione non sono interessati. Evitare di eliminare e ricreare il cluster, se possibile. Aprire il ticket di supporto se è necessaria ulteriore assistenza.
Data di rilascio: 09/01/2020
Questa versione è valida per HDInsight 3.6 e 4.0. La versione di HDInsight è resa disponibile per tutte le aree in diversi giorni. La data di release riportata indica la data di rilascio di release della prima area. Se non vengono visualizzate le modifiche seguenti, attendere che il rilascio sia attivo nell'area geografica in diversi giorni.
Nuove funzionalità
Imposizione di TLS 1.2
Transport Layer Security (TLS) e Secure Sockets Layer (SSL) sono protocolli di crittografia che consentono di proteggere le comunicazioni su una rete di computer. Altre informazioni su TLS. HDInsight usa TLS 1.2 sugli endpoint HTTP pubblici, ma TLS 1.1 è ancora supportato per la compatibilità con le versioni precedenti.
Con questa versione, i clienti possono scegliere TLS 1.2 solo per tutte le connessioni tramite l'endpoint del cluster pubblico. Per supportare questa operazione, è stata introdotta la nuova proprietà minSupportedTlsVersion, che può essere specificata durante la creazione del cluster. Se la proprietà non è impostata, il cluster supporta ancora TLS 1.0, 1.1 e 1.2, che corrisponde al comportamento odierno. I clienti possono impostare il valore di questa proprietà su "1.2", il che significa che il cluster supporterà solo TLS 1.2 e versioni successive. Per altre informazioni, vedere Transport Layer Security.
Bring your own key per la crittografia su disco
Tutti i dischi gestiti in HDInsight sono protetti con Crittografia del servizio di archiviazione di Azure. Per impostazione predefinita, i dati su tali dischi vengono crittografati usando chiavi gestite da Microsoft. A partire da questa versione, è possibile usare Bring Your Own Key (BYOK) per la crittografia del disco e gestirla con Azure Key Vault. La crittografia BYOK è una configurazione in un unico passaggio durante la creazione del cluster senza altri costi. È sufficiente registrare HDInsight come identità gestita con Azure Key Vault e aggiungere la chiave di crittografia quando si crea il cluster. Per altre informazioni, vedere Crittografia dischi con chiavi gestite dal cliente.
Deprecazione
Nessuna deprecazione per questa versione. Per prepararsi a deprecazioni future, vedere Prossime modifiche.
Modifiche del comportamento
Nessuna modifica del comportamento per questa versione. Per prepararsi a modifiche future, vedere Prossime modifiche.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
Deprecazione di Spark 2.1 e 2.2 in un cluster Spark HDInsight 3.6
A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Spark con Spark 2.1 e 2.2 in HDInsight 3.6. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.3 in HDInsight 3.6 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Spark 2.3 nel cluster Spark HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Spark con Spark 2.3 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Spark 2.4 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto.
Deprecazione di Kafka 1.1 nel cluster Kafka di HDInsight 4.0
A partire dal 1° luglio 2020, i clienti non potranno creare nuovi cluster Kafka con Kafka 1.1 in HDInsight 4.0. I cluster esistenti verranno eseguiti così come sono, senza il supporto di Microsoft. Valutare il passaggio a Kafka 2.1 in HDInsight 4.0 entro il 30 giugno 2020 per evitare potenziali interruzioni del sistema o del supporto. Per altre informazioni, vedere Eseguire la migrazione di carichi di lavoro di Apache Kafka ad Azure HDInsight 4.0.
HBase da 2.0 a 2.1.6
Nella prossima release di HDInsight 4.0, la versione di HBase verrà aggiornata dalla 2.0 alla 2.1.6
Spark da 2.4.0 a 2.4.4
Nella prossima release di HDInsight 4.0, la versione di Spark verrà aggiornata dalla 2.4.0 alla 2.4.4
Kafka da 2.1.0 a 2.1.1
Nella prossima release di HDInsight 4.0, la versione di Kafka verrà aggiornata dalla 2.1.0 alla 2.1.1
Per il nodo Head è necessaria una macchina virtuale con almeno 4 core
Per il nodo Head è necessaria una macchina virtuale con almeno 4 core per garantire la disponibilità elevata e l'affidabilità dei cluster HDInsight. A partire dal 6 aprile 2020, i clienti possono scegliere solo macchine virtuali con 4 core o più come nodo head per i nuovi cluster HDInsight. I cluster esistenti continueranno a funzionare come previsto.
Modifica delle dimensioni del nodo del cluster ESP Spark
Nella prossima release, le dimensioni minime del nodo consentite per il cluster ESP Spark verranno modificate in Standard_D13_V2. Le macchine virtuali della serie A possono causare problemi con il cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. Le macchine virtuali della serie A saranno deprecate per la creazione di nuovi cluster ESP.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. Nella prossima release, HDInsight userà invece set di scalabilità di macchine virtuali di Azure. Altre informazioni sui set di scalabilità di macchine virtuali di Azure.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
Questa release non prevede alcuna modifica della versione dei componenti. Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono consultabili qui.
Data di rilascio: 17/12/2019
Questa versione è valida per HDInsight 3.6 e 4.0.
Nuove funzionalità
Tag di servizio
I tag di servizio semplificano la sicurezza per le macchine virtuali di Azure e le reti virtuali di Azure, consentendo di limitare facilmente l'accesso di rete ai servizi di Azure. È possibile usare i tag di servizio nelle regole del gruppo di sicurezza di rete (NSG) per consentire o negare il traffico verso un servizio di Azure specifico a livello globale o per area di Azure. Azure fornisce la manutenzione degli indirizzi IP sottostanti ogni tag. I tag del servizio HDInsight per i gruppi di sicurezza di rete (NSG) sono gruppi di indirizzi IP per i servizi di integrità e gestione. Questi gruppi consentono di ridurre al minimo la complessità per la creazione di regole di sicurezza. I clienti di HDInsight possono abilitare il tag di servizio tramite portale di Azure, PowerShell e API REST. Per altre informazioni, vedere Tag del servizio del gruppo di sicurezza di rete (NSG) per Azure HDInsight.
Database Ambari personalizzato
HDInsight consente ora di usare il proprio database SQL per Apache Ambari. È possibile configurare questo database Ambari personalizzato dal portale di Azure o tramite il modello di Resource Manager. Questa funzionalità consente di scegliere il database SQL appropriato per le esigenze di elaborazione e capacità. È anche possibile eseguire facilmente l'aggiornamento per soddisfare i requisiti di crescita aziendale. Per altre informazioni, vedere Configurare cluster HDInsight con un database Ambari personalizzato.
Deprecazione
Nessuna deprecazione per questa versione. Per prepararsi a deprecazioni future, vedere Prossime modifiche.
Modifiche del comportamento
Nessuna modifica del comportamento per questa versione. Per prepararsi alle modifiche di comportamento imminenti, vedere Modifiche imminenti.
Modifiche imminenti
Nelle versioni future verranno apportate le modifiche seguenti.
Imposizione di Transport Layer Security (TLS) 1.2
Transport Layer Security (TLS) e Secure Sockets Layer (SSL) sono protocolli di crittografia che consentono di proteggere le comunicazioni su una rete di computer. Per altre informazioni, vedere Transport Layer Security. Mentre i cluster Azure HDInsight accettano connessioni TLS 1.2 su endpoint HTTPS pubblici, TLS 1.1 è ancora supportato per la compatibilità con le versioni precedenti con i client meno recenti.
A partire dalla versione successiva, sarà possibile acconsentire esplicitamente e configurare i nuovi cluster HDInsight in modo da accettare solo connessioni TLS 1.2.
Più avanti nell'anno, a partire dal 30/6/2020, Azure HDInsight applicheranno TLS 1.2 o versioni successive per tutte le connessioni HTTPS. Ti consigliamo di assicurarti che tutti i client siano pronti per gestire TLS 1.2 o versioni successive.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da febbraio 2020 (data esatta verrà comunicata in un secondo momento), HDInsight userà invece i set di scalabilità di macchine virtuali di Azure. Vedere altre informazioni sui set di scalabilità di macchine virtuali di Azure.
Modifica delle dimensioni del nodo del cluster ESP Spark
Nella prossima versione:
- Le dimensioni minime consentite del nodo per il cluster ESP Spark verranno modificate in Standard_D13_V2.
- Le macchine virtuali serie A saranno deprecate per la creazione di nuovi cluster ESP, perché le macchine virtuali serie A potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa.
Da HBase 2.0 a 2.1
Nella prossima versione di HDInsight 4.0, la versione di HBase verrà aggiornata dalla versione 2.0 alla 2.1.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
Il supporto di HDInsight 3.6 è stato esteso al 31 dicembre 2020. Per altri dettagli, vedere Versioni supportate di HDInsight.
Nessuna modifica della versione del componente per HDInsight 4.0.
Apache Zeppelin in HDInsight 3.6: 0.7.0-->0.7.3.
In questo documento sono disponibili le versioni dei componenti più aggiornate.
Nuove aree
Emirati Arabi Uniti settentrionali
Gli INDIRIZZI IP di gestione degli Emirati Arabi Uniti settentrionali sono: 65.52.252.96
e 65.52.252.97
.
Data di rilascio: 07/11/2019
Questa versione è valida per HDInsight 3.6 e 4.0.
Nuove funzionalità
HDInsight Identity Broker (HIB) (anteprima)
HDInsight Identity Broker (HIB) consente agli utenti di accedere ad Apache Ambari usando l'autenticazione a più fattori (MFA) e ottenere i ticket Kerberos necessari senza che siano necessari hash delle password in Azure Dominio di Active Directory Services (AAD-DS). Attualmente HIB è disponibile solo per i cluster distribuiti tramite un modello di Azure Resource Management (ARM).
Proxy API REST Kafka (anteprima)
Il proxy dell'API REST Kafka offre una distribuzione con un clic del proxy REST a disponibilità elevata con il cluster Kafka tramite l'autorizzazione di Azure AD protetta e il protocollo OAuth.
Scalabilità automatica
La scalabilità automatica per Azure HDInsight è ora disponibile a livello generale in tutte le aree per i tipi di cluster Apache Spark e Hadoop. Questa funzionalità consente di gestire i carichi di lavoro di analisi dei Big Data in modo più conveniente e produttivo. È ora possibile ottimizzare l'uso dei cluster HDInsight e pagare solo le risorse necessarie.
In base ai requisiti specifici, puoi scegliere tra la scalabilità automatica basata su carico e basata su pianificazione. La scalabilità automatica basata sul carico può aumentare e ridurre le dimensioni del cluster in base alle esigenze correnti delle risorse, mentre la scalabilità automatica basata sulla pianificazione può modificare le dimensioni del cluster in base a una pianificazione predefinita.
Anche il supporto della scalabilità automatica per il carico di lavoro HBase e LLAP è disponibile in anteprima pubblica. Per altre informazioni, vedere Ridimensionare automaticamente i cluster Azure HDInsight.
Scritture accelerate di HDInsight per Apache HBase
Le scritture accelerate usano dischi SSD gestiti Premium di Azure per migliorare le prestazioni del log WAL di Apache HBase. Per altre informazioni, vedere Scritture accelerate di Azure HDInsight per Apache HBase.
Database Ambari personalizzato
HDInsight offre ora una nuova capacità per consentire ai clienti di usare il proprio database SQL per Ambari. Ora i clienti possono scegliere il database SQL appropriato per Ambari e aggiornarlo facilmente in base al proprio requisito di crescita aziendale. La distribuzione viene eseguita con un modello di Azure Resource Manager. Per altre informazioni, vedere Configurare cluster HDInsight con un database Ambari personalizzato.
Le macchine virtuali serie F sono ora disponibili con HDInsight
Le macchine virtuali serie F (VM) sono una buona scelta per iniziare a usare HDInsight con requisiti di elaborazione leggera. Con un prezzo di listino inferiore all'ora, la serie F è il miglior valore delle prestazioni di prezzo nel portfolio di Azure in base all'unità di calcolo di Azure (ACU) per vCPU. Per altre informazioni, vedere Selezione delle dimensioni della macchina virtuale appropriate per il cluster Azure HDInsight.
Deprecazione
Deprecazione della macchina virtuale serie G
Da questa versione, le macchine virtuali serie G non sono più disponibili in HDInsight.
Dv1
deprecazione della macchina virtuale
Da questa versione, l'uso di Dv1
macchine virtuali con HDInsight è deprecato. Qualsiasi richiesta cliente per Dv1
verrà servita Dv2
automaticamente. Non esiste alcuna differenza di prezzo tra Dv1
le macchine virtuali e Dv2
.
Modifiche del comportamento
Modifica delle dimensioni del disco gestito del cluster
HDInsight offre spazio su disco gestito con il cluster. Da questa versione, le dimensioni del disco gestito di ogni nodo del nuovo cluster creato vengono modificate in 128 GB.
Modifiche imminenti
Nelle prossime versioni verranno apportate le modifiche seguenti.
Passaggio a set di scalabilità di macchine virtuali
HDInsight usa ora macchine virtuali di Azure per eseguire il provisioning del cluster. A partire da dicembre, HDInsight userà invece set di scalabilità di macchine virtuali di Azure. Vedere altre informazioni sui set di scalabilità di macchine virtuali di Azure.
Da HBase 2.0 a 2.1
Nella prossima versione di HDInsight 4.0, la versione di HBase verrà aggiornata dalla versione 2.0 alla 2.1.
Deprecazione di una macchina virtuale serie per il cluster ESP
Le macchine virtuali serie A potrebbero causare problemi del cluster ESP a causa di una capacità di CPU e memoria relativamente bassa. Nella prossima versione, le macchine virtuali serie A saranno deprecate per la creazione di nuovi cluster ESP.
Correzioni di bug
HDInsight continua a migliorare l'affidabilità e le prestazioni del cluster.
Modifica della versione dei componenti
Non sono state apportate modifiche alla versione del componente per questa versione. Le versioni dei componenti correnti per HDInsight 4.0 e HDInsight 3.6 sono disponibili qui.
Data di rilascio: 07/08/2019
Versioni dei componenti
Di seguito sono riportate le versioni ufficiali di Apache di tutti i componenti HDInsight 4.0. I componenti elencati sono versioni delle versioni stabili più recenti disponibili.
- Apache Ambari 2.7.1
- Apache Hadoop 3.1.1
- Apache HBase 2.0.0
- Apache Hive 3.1.0
- Apache Kafka 1.1.1, 2.1.0
- Apache Mahout 0.9.0+
- Apache Oozie 4.2.0
- Apache Phoenix 4.7.0
- Apache Pig 0.16.0
- Apache Ranger 0.7.0
- Apache Slider 0.92.0
- Apache Spark 2.3.1, 2.4.0
- Apache Sqoop 1.4.7
- Apache TEZ 0.9.1
- Apache Zeppelin 0.8.0
- Apache ZooKeeper 3.4.6
Le versioni successive dei componenti Apache vengono talvolta raggruppate nella distribuzione HDP oltre alle versioni elencate in precedenza. In questo caso, queste versioni successive sono elencate nella tabella Technical Previews e non devono sostituire le versioni dei componenti Apache dell'elenco precedente in un ambiente di produzione.
Informazioni sulle patch di Apache
Per altre informazioni sulle patch disponibili in HDInsight 4.0, vedere l'elenco delle patch per ogni prodotto nella tabella seguente.
Nome prodotto | Informazioni sulla patch |
---|---|
Ambari | Informazioni sulla patch di Ambari |
Hadoop | Informazioni sulla patch hadoop |
HBase | Informazioni sulla patch HBase |
Hive | Questa versione fornisce Hive 3.1.0 senza più patch Apache. |
Kafka | Questa versione fornisce Kafka 1.1.1 senza più patch Apache. |
Oozie | Informazioni sulla patch di Oozie |
Phoenix | Informazioni sulla patch phoenix |
Pig | Informazioni sulla patch Pig |
Ranger | Informazioni sulla patch ranger |
Spark | Informazioni sulla patch Spark |
Sqoop | Questa versione fornisce Sqoop 1.4.7 senza più patch Apache. |
Tez | Questa versione fornisce Tez 0.9.1 senza più patch Apache. |
Zeppelin | Questa versione fornisce Zeppelin 0.8.0 senza altre patch Apache. |
Zookeeper | Informazioni sulle patch zookeeper |
Vulnerabilità comuni ed esposizioni risolte
Per altre informazioni sui problemi di sicurezza risolti in questa versione, vedere Vulnerabilità comuni e esposizione comuni di Hortonworks per HDP 3.0.1.
Problemi noti
La replica viene interrotta per Secure HBase con l'installazione predefinita
Per HDInsight 4.0, seguire questa procedura:
Abilitare la comunicazione tra cluster.
Accedere al nodo head attivo.
Scaricare uno script per abilitare la replica con il comando seguente:
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
Digitare il comando
sudo kinit <domainuser>
.Digitare il comando seguente per eseguire lo script:
sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
Per HDInsight 3.6
Accedere a HMaster ZK attivo.
Scaricare uno script per abilitare la replica con il comando seguente:
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
Digitare il comando
sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>
.Digitare il comando seguente:
sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
Phoenix Sqlline smette di funzionare dopo la migrazione del cluster HBase a HDInsight 4.0
Effettua i passaggi seguenti:
- Eliminare le tabelle Phoenix seguenti:
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
SYSTEM.MUTEX
SYSTEM.CATALOG
- Se non è possibile eliminare alcuna delle tabelle, riavviare HBase per cancellare le connessioni alle tabelle.
- Eseguire di nuovo
sqlline.py
. Phoenix creerà di nuovo tutte le tabelle eliminate nel passaggio 1. - Rigenerare tabelle e viste Phoenix per i dati HBase.
Phoenix Sqlline smette di funzionare dopo la replica dei metadati HBase Phoenix da HDInsight 3.6 a 4.0
Effettua i passaggi seguenti:
- Prima di eseguire la replica, passare al cluster 4.0 di destinazione ed eseguire
sqlline.py
. Questo comando genererà tabelle Phoenix comeSYSTEM.MUTEX
eSYSTEM.LOG
che esistono solo nella versione 4.0. - Eliminare le tabelle seguenti:
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
SYSTEM.CATALOG
- Avviare la replica HBase
Deprecazione
I servizi Apache Storm e ML non sono disponibili in HDInsight 4.0.
Data di rilascio: 14/04/2019
Nuove funzionalità
Le funzionalità e i nuovi aggiornamenti rientrano nelle seguenti categorie:
Aggiornamento di Hadoop e altri progetti open source: oltre alla correzione di più di un migliaio di bug in oltre 20 progetti open source, questo aggiornamento contiene una nuova versione di Spark, la 2.3, e di Kafka, la 1.0.
Aggiornamento di R Server 9.1 a Machine Learning Services 9.3 : con questa versione, forniamo ai data scientist e ai tecnici il meglio dell'open source migliorato con innovazioni algoritmiche e facilità di operazionalizzazione, tutte disponibili nel linguaggio preferito con la velocità di Apache Spark. Questa versione amplia le funzionalità offerte da R Server con supporto aggiuntivo per Python, con conseguente modifica del nome del cluster da R Server a Machine Learning Services.
Supporto per l'archiviazione di Azure Data Lake Gen2: HDInsight supporterà la versione di anteprima dell'archiviazione di Azure Data Lake Gen2. Nelle aree disponibili i clienti potranno scegliere un account di ADLS Gen2 come archivio Primario o Secondario per i cluster HDInsight.
Aggiornamenti di HDInsight Enterprise Security Package (anteprima): (anteprima) Rete virtuale supporto degli endpoint di servizio per Archiviazione BLOB di Azure, ADLS Gen1, Azure Cosmos DB e Azure DB.
Versioni dei componenti
Di seguito sono elencate le versioni Apache ufficiali di tutti i componenti di HDInsight 3.6. Tutti i componenti elencati di seguito sono le versioni stabili ufficiali più recenti disponibili di Apache.
Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ-0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6
Le versioni successive di alcuni componenti di Apache vengono talvolta aggregate nella distribuzione HDP in aggiunta alle versioni elencate in precedenza. In questo caso, queste versioni successive sono elencate nella tabella Technical Previews e non devono sostituire le versioni dei componenti Apache dell'elenco precedente in un ambiente di produzione.
Informazioni sulle patch di Apache
Hadoop
Questa versione fornisce Hadoop Common 2.7.3 e le patch di Apache seguenti:
HADOOP-13190: riferimento a LoadBalancingKMSClientProvider nella documentazione del server di gestione delle chiavi a disponibilità elevata.
HADOOP-13227: AsyncCallHandler deve usare un'architettura basata sugli eventi per gestire le chiamate asincrone.
HADOOP-14104: il client deve richiedere sempre namenode per il percorso del provider del server di gestione delle chiavi.
HADOOP-14799: aggiornamento di nimbus-jose-jwt alla versione 4.41.1.
HADOOP-14814: correzione modifica API non compatibile su FsServerDefaults in HADOOP-14104.
HADOOP-14903: aggiunto json-smart in modo esplicito a POM.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() può restituire un valore negativo quando numberOfPagesRemaining è 0.
HADOOP-15255: supporto per la conversione maiuscole/minuscole per i nomi dei gruppi in LdapGroupsMapping.
HADOOP-15265: esclusione in modo esplicito di json-smart da hadoop-auth pom.xm.
HDFS-7922: ShortCircuitCache#close non rilascia ScheduledThreadPoolExecutors.
HDFS-8496: la chiamata a stopWriter() con il blocco FSDatasetImpl potrebbe bloccare altri thread (cmccabe).
HDFS-10267: extra "synchronized" in FsDatasetImpl#recoverAppend e FsDatasetImpl#recoverClose.
HDFS 10489: impostazione come deprecato di dfs.encryption.key.provider.uri per le zone di crittografia di Hadoop Distributed File System.
HDFS 11384: aggiunta dell'opzione del bilanciamento per distribuire le chiamate getBlocks per evitare picchi rpc.CallQueueLength di NameNode.
HDFS-11689: nuova eccezione generata da
DFSClient%isHDFSEncryptionEnabled
codice Hive interrottohacky
.HDFS-11711: DN non deve eliminare il blocco "Troppi file aperti" Eccezione.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay ha spesso esito negativo.
HDFS-12781: dopo
Datanode
il basso, nellaNamenode
scheda interfaccia utenteDatanode
viene generato un messaggio di avviso.HDFS-13054: gestione di PathIsNotEmptyDirectoryException nella
DFSClient
chiamata di eliminazione.HDFS 13120: l'aread diff di snapshot potrebbe venire danneggiata dopo la concatenazione.
YARN-3742: YARN RM verrà arrestato se
ZKClient
si verifica il timeout della creazione.YARN 6061: aggiunta di UncaughtExceptionHandler per thread critici in RM.
YARN 7558: il comando per i log YARN non è in grado di ottenere i log per i contenitori in esecuzione se è abilitata l'autenticazione dell'interfaccia utente.
YARN 7697: il recupero dei log per l'applicazione terminata ha esito negativo anche se l'aggregazione dei log è stata completata.
HDP 2.6.4 ha fornito Hadoop Common 2.7.3 e le patch di Apache seguenti:
HADOOP-13700: rimuovere unthrown
IOException
da TrashPolicy#inizializzare e #getInstance firme.HADOOP-13709: possibilità di eseguire la pulizia dei sotto processi generati da Shell quando il processo viene chiuso.
HADOOP-14059: errore di digitazione nel
s3a
messaggio di errore rename(self, subdir).HADOOP-14542: aggiunta di IOUtils.cleanupWithLogger che accetta l'API logger slf4j.
HDFS 9887: i timeout del socket WebHdfs devono essere configurabili.
HDFS 9914: correzione del timeout configurabile di connessione/lettura WebhDFS.
MAPREDUCE 6698: aumento del timeout su TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN 4550: alcuni test in TestContainerLanch hanno esito negativo in un ambiente di impostazioni locali non in lingua inglese.
YARN 4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir ha esito negativo in modo intermittente a causa di IllegalArgumentException dalla pulizia.
YARN 5042: montaggio di /sys/fs/cgroup nei contenitori Docker come montaggio di sola lettura.
YARN-5318: correzione dell'errore intermittente di test di TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN 5641: il localizzatore lascia i file tarball dopo il completamento del contenitore.
YARN-6004: eseguire il refactoring di TestResourceLocalizationService#testDownloadingResourcesOnContainer in modo che sia inferiore a 150 righe.
YARN 6078: contenitori bloccati in stato Localizzazione.
YARN-6805: NPE in LinuxContainerExecutor a causa di un codice di uscita PrivilegedOperationException nullo.
HBase
Questa versione fornisce HBase 1.1.2 e le patch di Apache seguenti.
HBASE-13376: miglioramenti al bilanciamento del carico Stochastic.
HBASE-13716: interruzione dell'uso di FSConstants di Hadoop.
HBASE-13848: password di accesso SSL a InfoServer tramite l'API del provider di credenziali.
HBASE-13947: uso di MasterServices invece di Server in AssignmentManager.
HBASE-14135: backup/ripristino fase 3 HBase: unione delle immagini di backup.
HBASE-14473: calcolo in parallelo della località della regione.
HBASE-14517: mostra
regionserver's
la versione nella pagina dello stato master.HBASE-14606: timeout dei test TestSecureLoadIncrementalHFiles nella compilazione trunk su Apache.
HBASE-15210: annullamento della registrazione aggressiva del bilanciamento del carico in decine di righe al millisecondo.
HBASE-15515: miglioramento di LocalityBasedCandidateGenerator nel bilanciamento.
HBASE-15615: tempo di sospensione errato quando
RegionServerCallable
è necessario riprovare.HBASE-16135: PeerClusterZnode in rs of removed peer potrebbe non essere mai eliminato.
HBASE-16570: calcolo in parallelo della località della regione all'avvio.
HBASE-16810: HBase Balancer genera ArrayIndexOutOfBoundsException quando
regionservers
si trovano in /hbase/draining znode e scaricati.HBASE-16852: TestDefaultCompactSelection non riuscito nel ramo 1.3.
HBASE-17387: riduzione dell'overhead del report delle eccezioni in RegionActionResult per multi ().
HBASE-17850: utility di backup di ripristino del sistema.
HBASE-17931: assegnazione delle tabelle di sistema ai server con la versione più recente.
HBASE-18083: rende il numero di thread di pulizia dei file di grandi/piccole dimensioni configurabile in HFileCleaner.
HBASE-18084: migliorare CleanerChore per eseguire la pulizia dalla directory, che utilizza più spazio su disco.
HBASE-18164: funzione di costo località e generatore di candidati più veloci.
HBASE-18212: in modalità autonoma con il file system locale HBase registra il messaggio di avviso: impossibile richiamare il metodo 'unbuffer' nella classe org.apache.hadoop.fs.FSDataInputStream.
HBASE-18808: check-inefficace della configurazione BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer dovrebbe riconoscere la classe CellComparatorImpl in branch-1.x.
HBASE-19065: HRegion#bulkLoadHFiles() deve attendere il completamento di Region#flush() simultaneo.
HBASE-19285: aggiunta di istogrammi di latenza per tabella.
HBASE-19393: head HTTP 413 FULL durante l'accesso all'interfaccia utente di HBase con SSL.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting ha esito negativo con NPE.
HBASE-19421:-branch-1 non viene compilato in base a Hadoop 3.0.0.
HBASE-19934: HBaseSnapshotException quando è abilitata la replica in lettura e viene eseguito uno snapshot online dopo la suddivisione di un'area.
HBASE-20008: [backport] NullPointerException durante il ripristino di uno snapshot dopo la divisione di un'area.
Hive
Questa versione fornisce Hive 1.2.1 e Hive 2.1.0 oltre alle patch seguenti:
Patch Hive 1.2.1 Apache:
HIVE-10697: ObjectInspectorConvertors#UnionConvertor esegue una conversione errata.
HIVE-11266: conteggio(*) risultato errato in base alle statistiche della tabella per le tabelle esterne.
HIVE-12245: commenti della colonna Supporto per una tabella di backup HBase.
HIVE-12315: correzione della doppia divisione per zero vettorizzata.
HIVE-12360: ricerca non riuscita in ORC non compressi con la distribuzione dinamica del predicato.
HIVE-12378: eccezione nel campo binario HBaseSerDe.serialize.
HIVE-12785: visualizzazione con tipo di unione e UDF alla struttura interrotta.
HIVE-14013: la tabella di descrizione non mostra i caratteri Unicode in modo corretto.
HIVE-14205: Hive non supporta il tipo di unione con il formato di file AVRO.
HIVE-14421: FS.deleteOnExit contiene riferimenti ai file di _tmp_space.db.
HIVE-15563: ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
HIVE-15680: risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query, in modalità MR.
HIVE-15883: la tabella mappata HBase in Hive insert non riesce per il decimale.
HIVE-16232: supporta il calcolo delle statistiche per le colonne in QuotedIdentifier.
HIVE-16828: quando l'ottimizzazione basata sui costi è abilitata, la query nelle viste partizionate genera IndexOutOfBoundException.
HIVE-17013: elimina una richiesta con una sottoquery basata sulla selezione su una visualizzazione.
HIVE-17063: l'inserimento di una partizione di sovrascrittura in una tabella esterna ha esito negativo quando si rilascia prima la partizione.
HIVE-17259: Hive JDBC non riconosce le colonne UNIONTYPE.
HIVE-17419: il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate.
HIVE-17530: ClassCastException durante la conversione di
uniontype
.HIVE-17621: le impostazioni Hive-site vengono ignorate durante il calcolo della divisione HCatInputFormat.
HIVE-17636: aggiungere multiple_agg.q test per
blobstores
.HIVE-17729: aggiunta di test Database ed Explain correlati dell'archivio BLOB.
HIVE-17731: aggiungere un'opzione all'indietro
compat
per gli utenti esterni a HIVE-11985.HIVE-17803: con Pig multi-query due scritture HCatStorers nella stessa tabella sovrascriveranno i rispettivi output.
HIVE-17829: ArrayIndexOutOfBoundsException - Tabelle supportate da HBASE con schema Avro in
Hive2
.HIVE-17845: l'inserimento non riesce se le colonne della tabella non sono in lettere minuscole.
HIVE-17900: l'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con una colonna di partizione >.
HIVE-18026: ottimizzazione della configurazione dell'entità Hive Webhcat.
HIVE-18031: supporto della replica per l'operazione Alter Database.
HIVE-18090: acid heartbeat non riesce quando metastore è connesso tramite le credenziali di hadoop.
HIVE-18189: query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true.
HIVE-18258: vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata.
HIVE-18293: Hive non riesce a compattare le tabelle contenute all'interno di una cartella non di proprietà dell'identità che esegue HiveMetaStore.
HIVE-18327: rimuove la dipendenza HiveConf non necessaria per MiniHiveKdc.
HIVE-18341: aggiunge il supporto per il caricamento Repl per l'aggiunta di uno spazio dei nomi "non elaborato" per TDE con le stesse chiavi di crittografia.
HIVE-18352: introduce un'opzione METADATAONLY durante l'esecuzione REPL DUMP per consentire le integrazioni di altri strumenti.
HIVE-18353: CompactorMR deve chiamare jobclient.close() per attivare la pulizia.
HIVE-18390: IndexOutOfBoundsException quando si esegue una query su una vista partizionata in ColumnPruner.
HIVE-18429: compattazione di dati deve gestire un caso quando non viene prodotto alcun output.
HIVE-18447: JDBC: fornisce agli utenti JDBC un modo per trasmettere informazioni sui cookie tramite una stringa di connessione.
HIVE-18460: Compactor non trasmette le proprietà della tabella al writer Orc.
HIVE-18467: supporto di eventi whole warehouse dump / load + create/drop database (Anishek Agarwal, esaminato da Sankar Hariappan).
HIVE-18551: vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace.
HIVE-18587: l'evento DML di inserimento potrebbe tentare di calcolare un checksum nelle directory.
HIVE-18613: estensione di JsonSerDe per supportare il tipo BINARY.
HIVE-18626: la clausola "with" del caricamento Repl non invia la configurazione alle attività.
HIVE-18660: PCR non distingue tra colonne di partizione e colonne virtuali.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18788: pulizia degli input in JDBC PreparedStatement.
HIVE-18794: la clausola "with" del caricamento Repl non invia la configurazione alle attività per le tabelle non di partizione.
HIVE-18808: rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo.
HIVE-18817: eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
HIVE-18833: l'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile).
HIVE-18879: elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath.
HIVE-18907: creazione di utilità per risolvere il problema di indice di chiave acid da HIVE 18817.
Patch Hive 2.1.0 Apache:
HIVE-14013: la tabella di descrizione non mostra i caratteri Unicode in modo corretto.
HIVE-14205: Hive non supporta il tipo di unione con il formato di file AVRO.
HIVE-15563: ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale.
HIVE-15680: risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query, in modalità MR.
HIVE-15883: la tabella mappata HBase in Hive insert non riesce per il decimale.
HIVE-16757: rimuove le chiamate a AbstractRelNode.getRows deprecato.
HIVE-16828: quando l'ottimizzazione basata sui costi è abilitata, la query nelle viste partizionate genera IndexOutOfBoundException.
HIVE-17063: l'inserimento di una partizione di sovrascrittura in una tabella esterna ha esito negativo quando si rilascia prima la partizione.
HIVE-17259: Hive JDBC non riconosce le colonne UNIONTYPE.
HIVE-17530: ClassCastException durante la conversione di
uniontype
.HIVE-17600: rende configurabile dall'utente enforceBufferSize di OrcFile.
HIVE-17601: migliora la gestione degli errori in LlapServiceDriver.
HIVE-17613: rimuove i pool di oggetti per le allocazioni brevi dello stesso thread.
HIVE-17617: il rollup di un set di risultati vuoto deve contenere il raggruppamento del set di raggruppamento vuoto.
HIVE-17621: le impostazioni Hive-site vengono ignorate durante il calcolo della divisione HCatInputFormat.
HIVE-17629: CachedStore: avere una configurazione approvata/non approvata per consentire la memorizzazione selettiva nella cache di tabelle/partizioni e consentire la lettura durante la prewarming.
HIVE-17636: aggiungere multiple_agg.q test per
blobstores
.HIVE-17702: gestione isRepeating non corretta nel lettore dei numeri decimali in ORC.
HIVE-17729: aggiunta di test Database ed Explain correlati dell'archivio BLOB.
HIVE-17731: aggiungere un'opzione all'indietro
compat
per gli utenti esterni a HIVE-11985.HIVE-17803: con Pig multi-query due scritture HCatStorers nella stessa tabella sovrascriveranno i rispettivi output.
HIVE-17845: l'inserimento non riesce se le colonne della tabella non sono in lettere minuscole.
HIVE-17900: l'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con una colonna di partizione >.
HIVE-18006: ottimizzazione del footprint della memoria di HLLDenseRegister.
HIVE-18026: ottimizzazione della configurazione dell'entità Hive Webhcat.
HIVE-18031: supporto della replica per l'operazione Alter Database.
HIVE-18090: acid heartbeat non riesce quando metastore è connesso tramite le credenziali di hadoop.
HIVE-18189: l'ordine per posizione non funziona quando
cbo
è disabilitato.HIVE-18258: vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata.
HIVE-18269: LLAP: io veloce
llap
con pipeline di elaborazione lenta può portare a OOM.HIVE-18293: Hive non riesce a compattare le tabelle contenute all'interno di una cartella non di proprietà dell'identità che esegue HiveMetaStore.
HIVE-18318: il lettore dei record LLAP deve verificare l'interrupt anche quando non causa un blocco.
HIVE-18326: utilità di pianificazione Tez LLAP - può dare la precedenza alle attività solo se esiste una dipendenza tra di esse.
HIVE-18327: rimuove la dipendenza HiveConf non necessaria per MiniHiveKdc.
HIVE-18331: aggiungere la riconlogin alla scadenza del TGT e alcune registrazioni/lambda.
HIVE-18341: aggiunge il supporto per il caricamento Repl per l'aggiunta di uno spazio dei nomi "non elaborato" per TDE con le stesse chiavi di crittografia.
HIVE-18352: introduce un'opzione METADATAONLY durante l'esecuzione REPL DUMP per consentire le integrazioni di altri strumenti.
HIVE-18353: CompactorMR deve chiamare jobclient.close() per attivare la pulizia.
HIVE-18384: ConcurrentModificationException nella
log4j2.x
libreria.HIVE-18390: IndexOutOfBoundsException quando si esegue una query su una vista partizionata in ColumnPruner.
HIVE-18447: JDBC: fornisce agli utenti JDBC un modo per trasmettere informazioni sui cookie tramite una stringa di connessione.
HIVE-18460: Compactor non trasmette le proprietà della tabella al writer Orc.
HIVE-18462: (spiegazione formattazione per query con Map join con columnExprMap con nome di colonna non formattato).
HIVE-18467: supporto di eventi whole warehouse dump / load + create/drop database.
HIVE-18488: i lettori LLAP ORC non hanno alcuni controlli null.
HIVE-18490: una query con EXISTS e NOT EXISTS con predicato non-equi può produrre un risultato errato.
HIVE-18506: LlapBaseInputFormat - indice di matrice negativo.
HIVE-18517: vettorializzazione: correggere VectorMapOperator per accettare VRB e controllare correttamente il flag vettorializzato affinché supporti la memorizzazione nella cache LLAP.
HIVE-18523: corregge la riga di riepilogo nel caso in cui non siano presenti input.
HIVE-18528: le statistiche di aggregazione in ObjectStore hanno un risultato errato.
HIVE-18530: la replica deve ignorare la tabella MM (per il momento).
HIVE-18548: correzione dell'importazione
log4j
.HIVE-18551: vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace.
HIVE-18577: SemanticAnalyzer.validate ha alcune chiamate metastore inutili.
HIVE-18587: l'evento DML di inserimento potrebbe tentare di calcolare un checksum nelle directory.
HIVE-18597: LLAP: creare sempre il pacchetto jar dell'API
log4j2
perorg.apache.log4j
.HIVE-18613: estensione di JsonSerDe per supportare il tipo BINARY.
HIVE-18626: la clausola "with" del caricamento Repl non invia la configurazione alle attività.
HIVE-18643: non controlla le partizioni archiviate per le operazioni ACID.
HIVE-18660: PCR non distingue tra colonne di partizione e colonne virtuali.
HIVE-18754: REPL STATUS deve supportare la clausola 'with'.
HIVE-18788: pulizia degli input in JDBC PreparedStatement.
HIVE-18794: la clausola "with" del caricamento Repl non invia la configurazione alle attività per le tabelle non di partizione.
HIVE-18808: rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo.
HIVE-18815: rimuove le funzionalità inutilizzate in HPL/SQL.
HIVE-18817: eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID.
HIVE-18833: l'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile).
HIVE-18879: elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath.
HIVE-18944: la posizione dei set di raggruppamenti viene impostata in modo non corretto durante il DPP.
Kafka
Questa versione fornisce Kafka 1.0.0 e le patch di Apache seguenti.
KAFKA-4827: connessione Kafka: errore con i caratteri speciali nel nome del connettore.
KAFKA-6118: errore temporaneo in kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter non è in grado di gestire i percorsi di directory stile Windows.
KAFKA-6164: i thread ClientQuotaManager impediscono l'arresto quando viene rilevato un errore durante il caricamento dei log.
KAFKA-6167: il timestamp nella directory dei flussi contiene un segno di due punti, che è un carattere non valido.
KAFKA-6179: RecordQueue.clear() non effettua la cancellazione dell'elenco gestito di MinTimestampTracker.
KAFKA-6185: perdita di memoria del selettore con alta probabilità di OOM se è presente una conversione inattiva.
KAFKA-6190: GlobalKTable non completa il ripristino quando si usano i messaggi transazionali.
KAFKA-6210: IllegalArgumentException se 1.0.0 viene usato per inter.broker.protocol.version o log.message.format.version.
KAFKA-6214: l'uso delle repliche Standby con un archivio di stati in memoria causa l'arresto anomalo di Streams.
KAFKA-6215: KafkaStreamsTest causa errori nel trunk.
KAFKA-6238: problemi di versione del protocollo quando si applica un aggiornamento in sequenza a 1.0.0.
KAFKA-6260: AbstractCoordinator non gestisce in modo chiaro l'eccezione NULL.
KAFKA-6261: la registrazione delle richiesta genera un'eccezione se acks=0.
KAFKA-6274: migliorare i
KTable
nomi generati automaticamente dall'archivio stati di origine.
Mahout
In HDP 2.3.x e 2.4.x, invece del rilascio di una specifica versione Apache di Mahout, è stata effettuata la sincronizzazione su un punto di revisione specifico sul trunk di Apache Mahout. Questo punto di revisione è successivo alla versione 0.9.0 ma precedente alla versione 0.10.0. Ciò consente un numero elevato di correzioni di bug e miglioramenti funzionali nella versione 0.9.0, ma fornisce una versione stabile della funzionalità di Mahout prima della conversione completa al nuovo Mahout basato su Spark nella versione 0.10.0.
Il punto di revisione scelto per Mahout in HDP 2.3.x e 2.4.x proviene dal ramo "mahout-0.10.x" di Apache Mahout, a partire dal 19 dicembre 2014, revisione 0f037cb03e77c096 in GitHub.
In HDP 2.5.x e 2.6 la libreria "commons-httpclient" è stata rimossa da Mahout perché è ritenuta una libreria obsoleta, con possibili problemi di sicurezza ed è stato eseguito l'aggiornamento del Client Hadoop in Mahout alla versione 2.7.3, la stessa usata in HDP-2.5. Di conseguenza:
I processi Mahout compilati in precedenza dovranno essere ricompilati in ambiente HDP 2.5 o 2.6.
Esiste una piccola possibilità che alcuni processi Mahout possano riscontrare errori "ClassNotFoundException" o "non è stato possibile caricare la classe" correlati a "org.apache.commons.httpclient", "net.java.dev.jets3t" o ai prefissi dei nomi di classe correlati. Se si verificano questi errori, è possibile valutare se installare manualmente i file JAR necessari nel classpath per il processo, se il rischio di problemi di sicurezza nella libreria obsoleta è accettabile nell'ambiente in uso.
C'è una possibilità ancora più piccola che alcuni processi Mahout potrebbero riscontrare arresti anomali nelle chiamate di codice hbase-client di Mahout alle librerie hadoop-common, a causa di problemi di compatibilità binaria. Purtroppo, non è possibile risolvere questo problema, ad eccezione del ripristino della versione HDP-2.4.2 di Mahout, che potrebbe avere problemi di sicurezza. Anche in questo caso, questo dovrebbe essere insolito ed è improbabile che si verifichi in una determinata suite di processi Mahout.
Oozie
Questa versione fornisce Oozie 4.2.0 e le patch di Apache seguenti.
OOZIE-2571: aggiunge una proprietà Maven spark.scala.binary.version in modo che sia possibile usare Scala 2.11.
OOZIE-2606: imposta spark.yarn.jars per correggere Spark 2.0 con Oozie.
OOZIE-2658:-driver-class-path può sovrascrivere il percorso di classe in SparkMain.
OOZIE-2787: Oozie distribuisce l'applicazione jar due volte causando un errore del processo spark.
OOZIE-2792:
Hive2
l'azione non analizza correttamente l'ID applicazione Spark dal file di log quando Hive è in Spark.OOZIE-2799: impostazione del percorso del log per spark sql su hive.
OOZIE-2802: errore dell'azione Spark in Spark 2.1.0 a causa di un duplicato
sharelibs
.OOZIE-2923: miglioramento dell'analisi delle opzioni Spark.
OOZIE-3109: SCA: Scripting intersito: riflesso.
OOZIE-3139: Oozie convalida il flusso di lavoro in modo non corretto.
OOZIE-3167: aggiornamento della versione di Tomcat sul ramo di Oozie 4.3.
Phoenix
Questa versione fornisce Phoenix 4.7.0 e le patch di Apache seguenti:
PHOENIX-1751: esecuzione di aggregazioni, ordinamento e così via in preScannerNext anziché in postScannerOpen.
PHOENIX-2714: stima corretta dei byte in BaseResultIterators ed esposizione come interfaccia.
PHOENIX-2724: l'esecuzione di query con un numero elevato di indicatori risulta più lenta rispetto a query senza statistiche.
PHOENIX-2855: soluzione alternativa per l'incremento di TimeRange non serializzata per HBase 1.2.
PHOENIX-3023: prestazioni lente quando le query di limite vengono eseguite in parallelo per impostazione predefinita.
PHOENIX-3040: non vengono usati indicatori per l'esecuzione di query in modo seriale.
PHOENIX-3112: analisi di righe parziale non gestita correttamente.
PHOENIX-3240: ClassCastException dal caricatore Pig.
PHOENIX-3452: NULLS FIRST/NULL LAST non deve influire sul mantenimento dell'ordine di GROUP BY.
PHOENIX 3469: ordinamento errato per la chiave primaria DESC per NULLS LAST/NULLS FIRST.
PHOENIX-3789: esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably.
PHOENIX-3865: IS NULL non restituisce risultati corretti quando la prima famiglia di colonne non viene filtrata.
PHOENIX 4290: scansione completa della tabella eseguita per DELETE con la tabella che contiene indici non modificabili.
PHOENIX-4373: chiave di lunghezza variabile di indice locale può avere i valori null finali durante l'operazione di upserting.
PHOENIX-4466: java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricamento dei dati.
PHOENIX-4489: perdita di connessione HBase nei processi di MR Phoenix.
PHOENIX-4525: overflow numero intero nell'esecuzione GroupBy.
PHOENIX-4560: ORDER BY con GROUP BY non funziona se è presente WHERE nella
pk
colonna.PHOENIX-4586: UPSERT SELECT non considera gli operatori di confronto per le sottoquery.
PHOENIX-4588: clonare l'espressione anche se i relativi elementi figlio hanno Determinism.PER_INVOCATION.
Pig
Questa versione fornisce Pig 0.16.0 e le patch di Apache seguenti.
PIG-5159: correzione di Pig che non salva la cronologia grunt.
PIG-5175: aggiornamento
jruby
alla versione 1.7.26.
Ranger
Questa versione fornisce Ranger 0.7.0 e le patch di Apache seguenti:
RANGER-1805: miglioramento del codice per seguire le procedure consigliate in js.
RANGER-1960: considerare il nome della tabella dello snapshot per l'eliminazione.
RANGER-1982: miglioramento degli errori per Analytics Metric di Ranger Admin e per il Server di gestione delle chiavi Ranger.
RANGER-1984: i record del log di controllo HBase potrebbero non mostrare tutti i tag associati alla colonna a cui si accede.
RANGER-1988: correzione della casualità non sicura.
RANGER-1990: aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin.
RANGER-2006: correzione dei problemi rilevati dall'analisi statica del codice in ranger
usersync
perldap
l'origine di sincronizzazione.RANGER-2008: la valutazione dei criteri non riesce per le condizioni dei criteri su più righe.
Dispositivo di scorrimento
Questa versione fornisce Slider 0.92.0 senza più patch Apache.
Spark
Questa versione fornisce Spark 2.3.0 e le patch di Apache seguenti:
SPARK-13587: supporto virtualenv in pyspark.
SPARK-19964: evita la lettura dai repository remoti in SparkSubmitSuite.
SPARK-22882: test di Machine Learning per lo streaming strutturato: ml.classification.
SPARK-22915: test di flusso per spark.ml.feature, da N a Z.
SPARK-23020: corregge un altro race nel test dell'utilità di avvio in-process.
SPARK-23040: restituisce l'iteratore interrompibile per il lettore casuale.
SPARK-23173: evita la creazione di file con estensione parquet danneggiati durante il caricamento dei dati da JSON.
SPARK-23264: corregge scala.MatchError in literals.sql.out.
SPARK-23288: corregge le metriche di output con sink parquet.
SPARK-23329: corregge la documentazione delle funzioni trigonometriche.
SPARK-23406: Abilita i self-join stream-stream per il ramo-2.3.
SPARK-23434: Spark non dovrebbe avvisare la "directory dei metadati" per un percorso di file HDFS.
SPARK-23436: dedurre la partizione come Data solo se è possibile eseguirne il cast in Data.
SPARK-23457: registrazione come prima cosa dei listener di completamento delle attività in ParquetFileFormat.
SPARK-23462: miglioramento del messaggio di errore del campo mancante in 'StructType'.
SPARK-23490: controllo di storage.locationUri con la tabella esistente in CreateTable.
SPARK-23524: i blocchi casuali locali di grandi dimensioni non devono essere verificati per il danneggiamento.
SPARK-23525: supporto ALTER TABLE CHANGE COLUMN COMMENT per la tabella hive esterna.
SPARK-23553: i test non devono presupporre il valore predefinito "spark.sql.sources.default".
SPARK-23569: consente a pandas_udf di usare funzioni con annotazioni di tipo Python3.
SPARK-23570: aggiunta di Spark 2.3.0 in HiveExternalCatalogVersionsSuite.
SPARK-23598: rendere pubblici i metodi in BufferedRowIterator per evitare errori di runtime in una query di grandi dimensioni.
SPARK-23599: aggiungere un generatore di UUID da Pseudo-Random Numbers.
SPARK-23599: uso di RandomUUIDGenerator nell'espressione Uuid.
SPARK-23601: rimuovere i
.md5
file dalla versione.SPARK-23608: aggiunta della sincronizzazione in SHS tra le funzioni attachSparkUI e detachSparkUI per evitare il problema di modifiche simultanee ai gestori di Jetty.
SPARK-23614: correzione dello scambio non corretto del riutilizzo quando viene usata la memorizzazione nella cache.
SPARK-23623: evita l'uso simultaneo di consumer memorizzati nella cache in CachedKafkaConsumer (ramo-2.3).
SPARK-23624: riesame della documentazione del metodo pushFilters in Datasource V2.
SPARK-23628: calculateParamLength non deve restituire 1 + num delle espressioni.
SPARK-23630: Consente di rendere effettive le personalizzazioni conf Hadoop dell'utente.
SPARK-23635: la variabile di ambiente dell'executor Spark viene sovrascritta dalla variabile di ambiente AM con lo stesso nome.
SPARK-23637: Yarn può allocare più risorse se lo stesso esecutore viene terminato più volte.
SPARK-23639: ottenere i token prima del client init metastore nella CLI SparkSQL.
SPARK-23642: sottoclasse AnalyzerV2 isZero
scaladoc
fix.SPARK-23644: Usa il percorso assoluto per la chiamata REST in SHS.
SPARK-23645: aggiungere docs RE 'pandas_udf' con argomenti di parola chiave.
SPARK-23649: ignora i caratteri non consentiti in UTF-8.
SPARK-23658: InProcessAppHandle usa una classe errata in getLogger.
SPARK-23660: correzione eccezione in modalità cluster yarn quando l'applicazione termina rapidamente.
SPARK-23670: correzione di perdita di memoria su SparkPlanGraphWrapper.
SPARK-23671: correzione della condizione per abilitare il pool di thread SHS.
SPARK-23691: usare sql_conf util nei test PySpark, laddove possibile.
SPARK-23695: correzione del messaggio di errore per i test di streaming di Kinesis.
SPARK-23706: spark.conf.get(value, default=None) deve produrre None in PySpark.
SPARK-23728: correzione dei test ML con le eccezioni previste nell'esecuzione dei test di streaming.
SPARK-23729: rispetto della frammentazione URI durante le risoluzione dei glob.
SPARK-23759: Impossibile eseguire l'associazione dell'interfaccia utente di Spark al nome host / IP specifico.
SPARK-23760: CodegenContext.withSubExprEliminationExprs deve salvare/ripristinare lo stato CSE in modo corretto.
SPARK-23769: rimuovere i commenti che disabilitano
Scalastyle
inutilmente il controllo.SPARK-23788: correzione di race in StreamingQuerySuite.
SPARK-23802: PropagateEmptyRelation può lasciare il piano di query in uno stato non risolto.
SPARK-23806: Broadcast.unpersist può causare un'eccezione irreversibile quando usato con l'allocazione dinamica.
SPARK-23808: impostare la sessione Spark predefinita nelle sessioni Spark a solo scopo di test.
SPARK-23809: SparkSession attivo deve essere impostato da getOrCreate.
SPARK-23816: le attività terminate devono ignorare FetchFailures.
SPARK-23822: miglioramento del messaggio di errore di mancata corrispondenza dello schema Parquet.
SPARK-23823: mantiene l'origine in transformExpression.
SPARK-23827: StreamingJoinExec deve assicurare che i dati di input siano partizionati in un numero specifico di partizioni.
SPARK-23838: l'esecuzione della query SQL viene visualizzata come "completata" nella scheda SQL.
SPARK-23881: correzione del test inattendibile JobCancellationSuite."interruptible iterator of shuffle reader".
Sqoop
Questa versione fornisce Sqoop 1.4.6 senza più patch Apache.
Storm
Questa versione fornisce Storm 1.1.1 e le patch di Apache seguenti:
STORM-2652: eccezione generata nel metodo Open JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT ha esito negativo con NullPointerException.
STORM-2854: esporre IEventLogger per rendere collegabile il registro eventi.
STORM-2870: FileBasedEventLogger perde executorService non daemon, che impedisce il completamento del processo.
STORM-2960: sottolineare l'importanza dell'impostazione appropriata di un account del sistema operativo per i processi Storm.
Tez
Questa versione fornisce Tez 0.7.0 e le patch di Apache seguenti:
- TEZ-1526: LoadingCache per TezTaskID rallentata per i processi di grandi dimensioni.
Zeppelin
Questa versione fornisce Zeppelin 0.7.3 senza altre patch Apache.
ZEPPELIN-3072: l'interfaccia utente di Zeppelin si rallenta/non risponde se sono presenti troppi notebook.
ZEPPELIN-3129: l'interfaccia utente di Zeppelin non si disconnette in Internet Explorer.
ZEPPELIN-903: sostituire CXF con
Jersey2
.
ZooKeeper
Questa versione fornisce ZooKeeper 3.4.6 e le patch di Apache seguenti:
ZOOKEEPER-1256: ClientPortBindTest ha esito negativo in macOS X.
ZOOKEEPER-1901: [JDK8] Ordinare gli elementi figlio per il confronto nei test AsyncOps.
ZOOKEEPER-2423: aggiornamento della versione Netty a causa di vulnerabilità di sicurezza (CVE-2014-3488).
ZOOKEEPER-2693: attacco DOS su parole di quattro lettere wchp/wchc (4lw).
ZOOKEEPER-2726: Patch introduce una potenziale race condition.
Vulnerabilità comuni ed esposizioni risolte
Questa sezione descrive tutte le CVE (Common Vulnerabilities and Exposures) che vengono risolte in questa versione.
CVE-2017-7676
Riepilogo: la valutazione dei criteri di Apache Ranger ignora i caratteri dopo il carattere jolly '*' |
---|
Gravità: Critica |
Fornitore: Hortonworks |
Versioni interessate: versioni di HDInsight 3.6 incluse le versioni 0.5.x/0.6.x/0.7.0 di Apache Ranger |
Utenti interessati: ambienti che usano criteri Ranger con caratteri dopo il carattere jolly '*', ad esempio my*test, test*.txt |
Impatto: il matcher delle risorse dei criteri ignora i caratteri dopo il carattere jolly '*', che può comportare un comportamento imprevisto. |
Dettaglio della correzione: il matcher della risorsa criteri Ranger è stato aggiornato per gestire correttamente le corrispondenze con i caratteri jolly. |
Azione consigliata: eseguire l'aggiornamento a HDI 3.6 (con Apache Ranger 0.7.1+). |
CVE-2017-7677
Riepilogo: Apache Ranger Hive Authorizer deve controllare l'autorizzazione RWX quando viene specificato un percorso esterno |
---|
Gravità: Critica |
Fornitore: Hortonworks |
Versioni interessate: versioni di HDInsight 3.6 incluse le versioni 0.5.x/0.6.x/0.7.0 di Apache Ranger |
Utenti interessati: ambienti che usano una posizione esterna per le tabelle hive |
Impatto: negli ambienti che usano la posizione esterna per le tabelle hive, Apache Ranger Hive Authorizer deve controllare l'autorizzazione per il percorso esterno specificato per creare una tabella. |
Dettaglio della correzione: Ranger Hive Authorizer è stato aggiornato per poter gestire correttamente il controllo delle autorizzazioni con la posizione esterna. |
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDI 3.6 (con Apache Ranger 0.7.1+). |
CVE-2017-9799
Riepilogo: potenziale esecuzione di codice come utente non corretto in Apache Storm |
---|
Gravità: Importante |
Fornitore: Hortonworks |
Versioni interessate: HDP 2.4.0, HDP 2.5.0, HDP 2.6.0 |
Utenti interessati: gli utenti che usano Storm in modalità protetta e usano l'archivio BLOB per distribuire elementi basati sulla topologia o che usano l'archivio BLOB per distribuire le risorse di topologia. |
Impatto: in alcune situazioni e configurazioni di tempesta è teoricamente possibile per il proprietario di una topologia ingannare il supervisore a avviare un ruolo di lavoro come utente diverso, non radice. Nel peggiore dei casi, questo potrebbe causare la compromissione delle credenziali protette dell'altro utente. Questa vulnerabilità si applica solo alle installazioni di Apache Storm con la sicurezza abilitata. |
Mitigazione dei rischi: eseguire l'aggiornamento a HDP 2.6.2.1 in quanto non esistono attualmente soluzioni. |
CVE-2016-4970
Riepilogo: gestore/ssl/OpenSslEngine.java in Netty 4.0.x prima della versione 4.0.37. Finale e 4.1.x prima della versione 4.1.1. Final consente agli utenti malintenzionati remoti di causare un attacco Denial of Service (ciclo infinito) |
---|
Gravità: Moderata |
Fornitore: Hortonworks |
Versioni interessate: HDP 2.x.x dopo 2.3.x |
Utenti interessati: tutti gli utenti che usano HDFS. |
Impatto: impatto basso poiché Hortonworks non usa OpenSslEngine.java direttamente nella codebase di Hadoop. |
Azione consigliata: eseguire l'aggiornamento a HDP 2.6.3. |
CVE-2016-8746
Riepilogo: problema di corrispondenza percorso Apache Ranger nella valutazione dei criteri |
---|
Gravità: Normale |
Fornitore: Hortonworks |
Versioni interessate: tutte le versioni di HDP 2.5 incluse le versioni 0.6.0/0.6.1/0.6.2 di Apache Ranger |
Utenti interessati: tutti gli utenti dello strumento di amministrazione di criteri di Ranger. |
Impatto: il motore dei criteri di Ranger mette in corrispondenza in modo non corretto i percorsi in determinate condizioni quando un criterio contiene caratteri jolly e flag ricorsivi. |
Dettaglio della correzione: corretta la logica di valutazione dei criteri |
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDP 2.5.4+ (con Apache Ranger 0.6.3+) o a HDP 2.6+ (con Apache Ranger 0.7.0+) |
CVE-2016-8751
Riepilogo: problema di Apache Ranger di scripting archiviato tra siti |
---|
Gravità: Normale |
Fornitore: Hortonworks |
Versioni interessate: tutte le versioni di HDP 2.3/2.4/2.5 incluse le versioni 0.5.x/0.6.0/0.6.1/0.6.2 di Apache Ranger |
Utenti interessati: tutti gli utenti dello strumento di amministrazione di criteri di Ranger. |
Impatto: Apache Ranger è vulnerabile a uno scripting archiviato tra siti quando si immettono le condizioni dei criteri personalizzati. Gli utenti amministratori possono archiviare codice JavaScript arbitrario eseguito quando gli utenti normali eseguono l'accesso e i criteri di accesso. |
Dettaglio della correzione: aggiunta di logica per purificare l'input dell'utente. |
Azione consigliata: gli utenti devono eseguire l'aggiornamento a HDP 2.5.4+ (con Apache Ranger 0.6.3+) o a HDP 2.6+ (con Apache Ranger 0.7.0+) |
Problemi risolti per il supporto
I problemi risolti rappresentano problemi selezionati registrati in precedenza tramite il supporto di Hortonworks, ma che sono ora risolti nella versione corrente. Questi problemi potrebbero essere stati segnalati nelle versioni precedenti all'interno della sezione Problemi noti; significa che sono stati segnalati dai clienti o identificati dal team di Hortonworks Quality Engineering.
Risultati non corretti
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100019 | YARN-8145 | yarn rmadmin - getGroups non restituisce i gruppi aggiornati per l'utente |
BUG-100058 | PHOENIX-2645 | I caratteri jolly non corrispondono a caratteri di nuova riga |
BUG-100266 | PHOENIX-3521, PHOENIX-4190 | Risultati errati con gli indici locali |
BUG-88774 | HIVE-17617, HIVE-18413, HIVE-18523 | Errore query36, mancata corrispondenza del numero di riga |
BUG-89765 | HIVE-17702 | gestione isRepeating non corretta nel lettore dei numeri decimali in ORC |
BUG-92293 | HADOOP-15042 | Azure PageBlobInputStream.skip() può restituire un valore negativo quando numberOfPagesRemaining è 0 |
BUG-92345 | ATLAS-2285 | Interfaccia utente: ricerca salvata rinominata con l'attributo date. |
BUG-92563 | HIVE-17495, HIVE-18528 | Le statistiche di aggregazione in ObjectStore hanno un risultato errato |
BUG-92957 | HIVE-11266 | count(*) risultato errato in base alle statistiche della tabella per le tabelle esterne |
BUG-93097 | RANGER-1944 | Il filtro delle azioni per Il controllo amministratore non funziona |
BUG-93335 | HIVE-12315 | vectorization_short_regress.q presenta un problema di risultato errato per un calcolo doppio |
BUG-93415 | HIVE-18258, HIVE-18310 | Vettorializzazione: Reduce-Side GROUP BY MERGEPARTIAL con colonne duplicate è danneggiata |
BUG-93939 | ATLAS-2294 | Parametro aggiuntivo "description" aggiunto durante la creazione di un tipo |
BUG-94007 | PHOENIX-1751, PHOENIX-3112 | Phoenix Queries restituisce i valori Null a causa di righe HBase Partial |
BUG-94266 | HIVE-12505 | Insert overwrite nella stessa area crittografata non riesce automaticamente a rimuovere alcuni file esistenti |
BUG-94414 | HIVE-15680 | Risultati non corretti quando hive.optimize.index.filter=true e viene fatto riferimento due volte alla stessa tabella ORC nella query |
BUG-95048 | HIVE-18490 | Una query con EXISTS e NOT EXISTS con predicato non-equi può produrre un risultato errato |
BUG-95053 | PHOENIX-3865 | IS NULL non restituisce risultati corretti quando la prima famiglia di colonne non viene filtrata |
BUG-95476 | RANGER-1966 | L'inizializzazione del motore dei criteri non crea in alcuni casi enricher di contesto |
BUG-95566 | SPARK-23281 | La query produce risultati in ordine non corretto quando una clausola order by composta fa riferimento a colonne originali e agli alias |
BUG-95907 | PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560 | Risoluzione dei problemi con ORDER BY ASC quando la query include le aggregazioni |
BUG-96389 | PHOENIX-4586 | UPSERT SELECT non considera gli operatori di confronto per le sottoquery. |
BUG-96602 | HIVE-18660 | PCR non distingue tra colonne di partizione e colonne virtuali |
BUG-97686 | ATLAS-2468 | [Ricerca di base] Problema con i casi OR quando si usa NEQ con tipi numerici |
BUG-97708 | HIVE-18817 | Eccezione ArrayIndexOutOfBounds durante la lettura della tabella ACID. |
BUG-97864 | HIVE-18833 | L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile) |
BUG-97889 | RANGER-2008 | La valutazione dei criteri non riesce per le condizioni dei criteri su più righe. |
BUG-98655 | RANGER-2066 | L'accesso alla famiglia di colonne HBase è autorizzato da una colonna contrassegnata nella famiglia di colonne |
BUG-99883 | HIVE-19073, HIVE-19145 | StatsOptimizer potrebbe creare un mangle di colonne costanti |
Altro
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100267 | HBASE-17170 | HBase ripete anche il tentativo DoNotRetryIOException a causa delle differenze del caricatore di classe. |
BUG-92367 | YARN-7558 | Il comando "yarn logs" non riesce a ottenere i log dei contenitori in esecuzione se è abilitata l'autenticazione dell'interfaccia utente. |
BUG-93159 | OOZIE-3139 | Oozie convalida il flusso di lavoro in modo non corretto |
BUG-93936 | ATLAS-2289 | Il codice di avvio/arresto server kafka/zookeeper incorporato deve essere spostato fuori dall'implementazione KafkaNotification |
BUG-93942 | ATLAS-2312 | Usare oggetti ThreadLocal DateFormat per evitare l'uso simultaneo da più thread |
BUG-93946 | ATLAS-2319 | Interfaccia utente: l'eliminazione di un tag, che in corrispondenza della posizione 25+ nell'elenco di tag nella struttura flat e tree richiede un aggiornamento per rimuovere il tag dall'elenco. |
BUG-94618 | YARN-5037, YARN-7274 | Possibilità di disabilitare l'elasticità al livello foglia della coda |
BUG-94901 | HBASE-19285 | Aggiunta di istogrammi di latenza per tabella |
BUG-95259 | HADOOP-15185, HADOOP-15186 | Aggiornare adls il connettore per usare la versione corrente di ADLS SDK |
BUG-95619 | HIVE-18551 | Vettorializzazione: VectorMapOperator tenta di scrivere troppe colonne di vettori per Hybrid Grace |
BUG-97223 | SPARK-23434 | Spark non dovrebbe avvisare la "directory dei metadati" per un percorso di file HDFS |
Prestazioni
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-83282 | HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164 | Calcolo veloce località del bilanciamento |
BUG-91300 | HBASE-17387 | Riduzione dell'overhead del report delle eccezioni in RegionActionResult per multi () |
BUG-91804 | TEZ-1526 | LoadingCache per TezTaskID rallentata per i processi di grandi dimensioni |
BUG-92760 | ACCUMULO-4578 | L'annullamento dell'operazione di compattazione FATE non rilascia il blocco dello spazio dei nomi |
BUG-93577 | RANGER-1938 | Solr per l'installazione di Audit non usa in modo efficace DocValues |
BUG-93910 | HIVE-18293 | Hive non riesce a compattare le tabelle contenute all'interno di una cartella che non è di proprietà dell'identità che esegue HiveMetaStore |
BUG-94345 | HIVE-18429 | La compattazione deve gestire un caso quando non viene prodotto alcun output |
BUG-94381 | HADOOP-13227, HDFS-13054 | Gestione dell'ordine RequestHedgingProxyProvider RetryAction: FAIL < RETRY < FAILOVER_AND_RETRY. |
BUG-94432 | HIVE-18353 | CompactorMR deve chiamare jobclient.close() per attivare la pulizia |
BUG-94869 | PHOENIX-4290, PHOENIX-4373 | Riga richiesta non compreso nell'intervallo per Get on HRegion per la tabella phoenix con salting indicizzata locale. |
BUG-94928 | HDFS-11078 | Correggere NPE in LazyPersistFileScrubber |
BUG-94964 | HIVE-18269, HIVE-18318, HIVE-18326 | Correzioni LLAP multiple |
BUG-95669 | HIVE-18577, HIVE-18643 | Quando si esegue una query di aggiornamento/eliminazione nella tabella partizionata ACID, HS2 legge tutte le partizioni. |
BUG-96390 | HDFS-10453 | Il thread ReplicationMonitor potrebbe essere bloccato per molto tempo a causa della corsa tra la replica ed eliminare lo stesso file in un cluster di grandi dimensioni. |
BUG-96625 | HIVE-16110 | Ripristinare "Vectorization: Support 2 Value CASE WHEN invece di fallback in VectorUDFAdaptor" |
BUG-97109 | HIVE-16757 | Uso di getRows() deprecati anziché di estimateRowCount(RelMetadataQuery...) ha un impatto grave sulle prestazioni |
BUG-97110 | PHOENIX-3789 | Esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably |
BUG-98833 | YARN-6797 | TimelineWriter non usa completamente la risposta POST |
BUG-98931 | ATLAS-2491 | Aggiornare l'hook di Hive per usare le notifiche Atlas v2 |
Potenziale perdita di dati
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-95613 | HBASE-18808 | Archiviazione configurazione inefficace BackupLogCleaner#getDeletableFiles() |
BUG-97051 | HIVE-17403 | Concatenazione non riuscita delle tabelle non gestite e transazionali |
BUG-97787 | HIVE-18460 | Compactor non trasmette le proprietà della tabella al writer Orc |
BUG-97788 | HIVE-18613 | Estensione di JsonSerDe per supportare il tipo BINARY |
Errore di query
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100180 | CALCITE-2232 | Errore di asserzione in AggregatePullUpConstantsRule durante la regolazione degli indici di aggregazione |
BUG-100422 | HIVE-19085 | FastHiveDecimal abs(0) imposta il segno su +ve |
BUG-100834 | PHOENIX-4658 | IllegalStateException: requestSeek non può essere chiamato su ReversedKeyValueHeap |
BUG-102078 | HIVE-17978 | Le query TPCDS 58 e 83 generano eccezioni nella vettorializzazione. |
BUG-92483 | HIVE-17900 | L'analisi delle statistiche sulle colonne attivate da Compactor genera SQL malformato con > 1 colonna di partizione |
BUG-93135 | HIVE-15874, HIVE-18189 | Query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true |
BUG-93136 | HIVE-18189 | L'ordine in base alla posizione non funziona quando cbo è disabilitato |
BUG-93595 | HIVE-12378, HIVE-15883 | La tabella mappata HBase in Hive insert non riesce per le colonne binarie e decimali |
BUG-94007 | PHOENIX-1751, PHOENIX-3112 | Phoenix Queries restituisce i valori Null a causa di righe HBase Partial |
BUG-94144 | HIVE-17063 | l'inserimento di una partizione sovrascrittura in una tabella esterna ha esito negativo quando si rilascia prima la partizione |
BUG-94280 | HIVE-12785 | Visualizzazione con il tipo di unione e la funzione definita dall'utente per 'cast' lo struct è interrotto |
BUG-94505 | PHOENIX-4525 | Overflow numero intero nell'esecuzione GroupBy |
BUG-95618 | HIVE-18506 | LlapBaseInputFormat - indice di matrice negativo |
BUG-95644 | HIVE-9152 | CombineHiveInputFormat: la query Hive ha esito negativo in Tez con l'eccezione java.lang.IllegalArgumentException |
BUG-96762 | PHOENIX-4588 | Clonare l'espressione anche se i relativi elementi figlio hanno Determinism.PER_INVOCATION |
BUG-97145 | HIVE-12245, HIVE-17829 | Commenti della colonna Supporto per una tabella di backup HBase |
BUG-97741 | HIVE-18944 | La posizione dei set di raggruppamenti viene impostata in modo non corretto durante il DPP |
BUG-98082 | HIVE-18597 | LLAP: creare sempre il pacchetto jar dell'API log4j2 per org.apache.log4j |
BUG-99849 | N/D | La creazione di una nuova tabella da una procedura guidata file tenta di usare il database predefinito |
Sicurezza
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100436 | RANGER-2060 | Knox proxy con knox-sso non funziona per ranger |
BUG-101038 | SPARK-24062 | Errore "Connection refused" dell'interprete Zeppelin %Spark, errore"A secret key must be specified..." in HiveThriftServer |
BUG-101359 | ACCUMULO-4056 | Aggiornare alla versione della raccolta di commons 3.2.2 al momento del rilascio |
BUG-54240 | HIVE-18879 | Elimina la necessità di un elemento incorporato in UDFXPathUtil di funzionare se xercesImpl.jar si trova in classpath |
BUG-79059 | OOZIE-3109 | Caratteri di escape di log specifici HTML dello streaming |
BUG-90041 | OOZIE-2723 | La licenza JSON.org è ora CatX |
BUG-93754 | RANGER-1943 | L'autorizzazione Ranger Solr viene ignorata quando la raccolta è vuota o null |
BUG-93804 | HIVE-17419 | Il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate |
BUG-94276 | ZEPPELIN-3129 | L'interfaccia utente di Zeppelin non si disconnette in Internet Explorer |
BUG-95349 | ZOOKEEPER-1256, ZOOKEEPER-1901 | Aggiornamento Netty |
BUG-95483 | N/D | Correzione per CVE-2017-15713 |
BUG-95646 | OOZIE-3167 | Aggiornamento della versione di Tomcat sul ramo di Oozie 4.3 |
BUG-95823 | N/D | Knox :Aggiornamento Beanutils |
BUG-95908 | RANGER-1960 | Auth HBase non prende in considerazione lo spazio dei nomi di tabella per l'eliminazione di snapshot |
BUG-96191 | FALCON-2322, FALCON-2323 | Aggiornare le versioni Jackson e Spring per evitare le vulnerabilità di sicurezza |
BUG-96502 | RANGER-1990 | Aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin |
BUG-96712 | FLUME-3194 | Eseguire l'aggiornamento alla versione più recente (1.14.1.0) di derby |
BUG-96713 | FLUME-2678 | Eseguire l'aggiornamento xalan alla versione 2.7.2 per la vulnerabilità CVE-2014-0107 |
BUG-96714 | FLUME-2050 | Eseguire l'aggiornamento a log4j2 (quando disponibile a livello generale) |
BUG-96737 | N/D | Usare i metodi del file system io Java per accedere ai file locali |
BUG-96925 | N/D | Aggiornamento di Tomcat da 6.0.48 a 6.0.53 in Hadoop |
BUG-96977 | FLUME-3132 | Aggiornare le dipendenze della libreria tomcat jasper |
BUG-97022 | HADOOP-14799, HADOOP-14903, HADOOP-15265 | Aggiornamento della libreria Nimbus-JOSE-JWT con la versione precedente a 4.39 |
BUG-97101 | RANGER-1988 | Correzione della casualità non sicura |
BUG-97178 | ATLAS-2467 | Aggiornamento delle dipendenze per Spring e nimbus-jose-jwt |
BUG-97180 | N/D | Aggiornamento Nimbus jose-jwt |
BUG-98038 | HIVE-18788 | Pulizia degli input in JDBC PreparedStatement |
BUG-98353 | HADOOP-13707 | Ripristinare "Se kerberos è abilitato mentre SPNEGO HTTP non è configurato, non è possibile accedere ad alcuni collegamenti" |
BUG-98372 | HBASE-13848 | Password di accesso SSL a InfoServer tramite l'API del provider di credenziali |
BUG-98385 | ATLAS-2500 | Aggiungere altre intestazioni alla risposta atlas. |
BUG-98564 | HADOOP-14651 | Aggiornare alla versione okhttp 2.7.5 |
BUG-99440 | RANGER-2045 | La colonne della tabella Hive senza un criterio di ammissione esplicito sono elencate con il comando 'desc table' |
BUG-99803 | N/D | Oozie deve disabilitare il caricamento della classe dinamica HBase |
Stabilità
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100040 | ATLAS-2536 | NPE nell'Hook Hive Atlas |
BUG-100057 | HIVE-19251 | ObjectStore.getNextNotification con LIMIT deve usare meno memoria |
BUG-100072 | HIVE-19130 | NPE viene generata quando REPL LOAD è applicato all'evento di rilascio partizione. |
BUG-100073 | N/D | Troppe connessioni close_wait da hiveserver a nodo dati |
BUG-100319 | HIVE-19248 | REPL LOAD non genera errori se si verifica un errore di copia dei file. |
BUG-100352 | N/D | CLONE - la logica di eliminazione RM analizza /registry znode troppo di frequente |
BUG-100427 | HIVE-19249 | Replica: la clausola WITH non passa correttamente la configurazione a Task in tutti i casi |
BUG-100430 | HIVE-14483 | java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays |
BUG-100432 | HIVE-19219 | REPL DUMP incrementale deve generare l'errore se gli eventi richiesti vengono puliti. |
BUG-100448 | SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881 | Aggiornamento Spark2 alla versione 2.3.0+ (4/11) |
BUG-100740 | HIVE-16107 | JDBC: HttpClient deve riprovare ancora una volta su NoHttpResponseException |
BUG-100810 | HIVE-19054 | Si verifica un errore di replica di funzioni Hive |
BUG-100937 | MAPREDUCE-6889 | Aggiungere l'API Job#close per arrestare i servizi client MR. |
BUG-101065 | ATLAS-2587 | Impostare ACL di lettura per /apache_atlas/active_server_info znode nella disponibilità elevata per la Knox lettura del proxy. |
BUG-101093 | STORM-2993 | Il bolt Storm HDFS genera ClosedChannelException quando viene usato il criterio di rotazione Time |
BUG-101181 | N/D | PhoenixStorageHandler non gestisce AND nel predicato correttamente |
BUG-101266 | PHOENIX-4635 | Perdita di connessione HBase in org.apache.phoenix.hive.mapreduce.PhoenixInputFormat |
BUG-101458 | HIVE-11464 | Informazioni di derivazione mancanti se sono presenti più output |
BUG-101485 | N/D | L'API thrift di metastore Hive è lenta e causa il timeout del client |
BUG-101628 | HIVE-19331 | Non è riuscita la replica incrementale Hive nel cloud. |
BUG-102048 | HIVE-19381 | La replica di funzione hive al cloud ha esito negativo con FunctionTask |
BUG-102064 | N/D | I test di replica \[ onprem to onprem \] Hive non sono riusciti in ReplCopyTask |
BUG-102137 | HIVE-19423 | I test di replica \[ Onprem to Cloud \] Hive non sono riusciti in ReplCopyTask |
BUG-102305 | HIVE-19430 | Dump di memoria insufficiente di HS2 e Hive metastore |
BUG-102361 | N/D | più risultati di inserimento in un singolo inserimento replicato nel cluster Hive di destinazione ( onprem - s3 ) |
BUG-87624 | N/D | L'abilitazione della registrazione eventi storm blocca in continuazione i ruoli di lavoro |
BUG-88929 | HBASE-15615 | Periodo di inattività non corretto quando RegionServerCallable richiede un altro tentativo |
BUG-89628 | HIVE-17613 | Rimuove i pool di oggetti per le allocazioni brevi dello stesso thread |
BUG-89813 | N/D | SCA: correttezza del codice: il metodo non sincronizzato esegue l'override del metodo sincronizzato |
BUG-90437 | ZEPPELIN-3072 | L'interfaccia utente di Zeppelin si rallenta/non risponde se sono presenti troppi notebook |
BUG-90640 | HBASE-19065 | HRegion#bulkLoadHFiles() deve attendere il completamento di Region#flush() simultaneo |
BUG-91202 | HIVE-17013 | Elimina una richiesta con una sottoquery basata sulla selezione su una visualizzazione |
BUG-91350 | KNOX-1108 | NiFiHaDispatch non esegue il failover |
BUG-92054 | HIVE-13120 | Propagazione doAs quando si generano le divisioni ORC |
BUG-92373 | FALCON-2314 | Passare la versione TestNG alla 6.13.1 per evitare dipendenze BeanShell |
BUG-92381 | N/D | Errore testContainerLogsWithNewAPI e testContainerLogsWithOldAPI UT |
BUG-92389 | STORM-2841 | testNoAcksIfFlushFails UT ha esito negativo con NullPointerException |
BUG-92586 | SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095 | Aggiornamento Spark2 aggiornato alla versione 2.2.1 (16 gennaio) |
BUG-92680 | ATLAS-2288 | Eccezione NoClassDefFoundError durante l'esecuzione dello script hive di importazione quando viene creata la tabella hbase tramite Hive |
BUG-92760 | ACCUMULO-4578 | L'annullamento dell'operazione di compattazione FATE non rilascia il blocco dello spazio dei nomi |
BUG-92797 | HDFS-10267, HDFS-8496 | Ridurre i conflitti di blocco datanode in determinati casi d'uso |
BUG-92813 | FLUME-2973 | Deadlock nel sink hdfs |
BUG-92957 | HIVE-11266 | count(*) risultato errato in base alle statistiche della tabella per le tabelle esterne |
BUG-93018 | ATLAS-2310 | In disponibilità elevata, il nodo passivo reindirizza la richiesta con codifica URL errata |
BUG-93116 | RANGER-1957 | Ranger Usersync non sincronizza periodicamente utenti o gruppi quando è abilitata la sincronizzazione incrementale. |
BUG-93361 | HIVE-12360 | Ricerca non riuscita in ORC non compressi con la distribuzione dinamica del predicato |
BUG-93426 | CALCITE-2086 | HTTP/413 in determinate circostanze a causa di intestazioni di autorizzazione di grandi dimensioni |
BUG-93429 | PHOENIX-3240 | ClassCastException dal caricatore Pig |
BUG-93485 | N/D | Impossibile ottenere la tabella mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: Tabella non trovata durante l'esecuzione della tabella di analisi nelle colonne in LLAP |
BUG-93512 | PHOENIX-4466 | java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricare i dati |
BUG-93550 | N/D | Zeppelin %spark.r non funziona con spark1 a causa della mancata corrispondenza di versione di Scala |
BUG-93910 | HIVE-18293 | Hive non riesce a compattare le tabelle contenute all'interno di una cartella che non è di proprietà dell'identità che esegue HiveMetaStore |
BUG-93926 | ZEPPELIN-3114 | I notebook e gli interpreti non vengono salvati in zeppelin dopo >i test di stress 1d |
BUG-93932 | ATLAS-2320 | la classificazione "*" con query genera 500 eccezioni del server interno. |
BUG-93948 | YARN-7697 | NM si arresta con OOM a causa della perdita di dati nell'aggregazione dei log (parte 1) |
BUG-93965 | ATLAS-2229 | Ricerca DSL: l'attributo non di stringa orderby genera eccezioni |
BUG-93986 | YARN-7697 | NM si arresta con OOM a causa della perdita di dati nell'aggregazione dei log (parte 2) |
BUG-94030 | ATLAS-2332 | Creazione del tipo con attributi con tipo di dati di raccolta annidati ha esito negativo |
BUG-94080 | YARN-3742, YARN-6061 | Entrambi gli RM sono in modalità standby nel cluster protetto |
BUG-94081 | HIVE-18384 | ConcurrentModificationException nella log4j2.x libreria |
BUG-94168 | N/D | Yarn RM smette di funzionare con l'errore di registro di sistema del servizio in stato non valido |
BUG-94330 | HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689 | HDFS deve supportare più KMS Uris |
BUG-94345 | HIVE-18429 | La compattazione deve gestire un caso quando non viene prodotto alcun output |
BUG-94372 | ATLAS-2229 | Query DSL: hive_table name = ["t1","t2"] genera un'eccezione di query DSL non valida |
BUG-94381 | HADOOP-13227, HDFS-13054 | Gestione dell'ordine RequestHedgingProxyProvider RetryAction: FAIL < RETRY < FAILOVER_AND_RETRY. |
BUG-94432 | HIVE-18353 | CompactorMR deve chiamare jobclient.close() per attivare la pulizia |
BUG-94575 | SPARK-22587 | Il processo Spark non riesce se fs.defaultFS e l'applicazione jar sono in URL diversi |
BUG-94791 | SPARK-22793 | Perdita di memoria nel Server Spark Thrift |
BUG-94928 | HDFS-11078 | Correggere NPE in LazyPersistFileScrubber |
BUG-95013 | HIVE-18488 | I lettori LLAP ORC non hanno alcuni controlli null |
BUG-95077 | HIVE-14205 | Hive non supporta il tipo di unione con il formato di file AVRO |
BUG-95200 | HDFS-13061 | SaslDataTransferClient#checkTrustAndSend non deve considerare attendibile un canale parzialmente attendibile |
BUG-95201 | HDFS-13060 | Aggiunta di BlacklistBasedTrustedChannelResolver per TrustedChannelResolver |
BUG-95284 | HBASE-19395 | [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting ha esito negativo con NPE |
BUG-95301 | HIVE-18517 | Vettorializzazione: correggere VectorMapOperator per accettare VRB e controllare correttamente il flag vettorializzato affinché supporti la memorizzazione nella cache LLAP |
BUG-95542 | HBASE-16135 | PeerClusterZnode in rs del peer rimosso potrebbe non essere mai eliminato |
BUG-95595 | HIVE-15563 | Ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale. |
BUG-95596 | YARN-4126, YARN-5750 | TestClientRMService ha esito negativo |
BUG-96019 | HIVE-18548 | Correzione dell'importazione log4j |
BUG-96196 | HDFS-13120 | L'aread diff di snapshot potrebbe venire danneggiata dopo la concatenazione |
BUG-96289 | HDFS-11701 | NPE dall'host non risolto causa errori di DFSInputStream permanenti |
BUG-96291 | STORM-2652 | Eccezione generata nel metodo Open JmsSpout |
BUG-96363 | HIVE-18959 | Evitare di creare pool extra di thread all'interno di LLAP |
BUG-96390 | HDFS-10453 | Il thread di ReplicationMonitor thread può restare bloccato per molto tempo a causa di race tra la replica e la cancellazione dello stesso file in un cluster di grandi dimensioni. |
BUG-96454 | YARN-4593 | Deadlock nell'AbstractService.getConfig() |
BUG-96704 | FALCON-2322 | ClassCastException durante il feed submitAndSchedule |
BUG-96720 | SLIDER-1262 | I functest dispositivo di scorrimento hanno esito negativo nell'ambiente Kerberized |
BUG-96931 | SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391 | Aggiornamento Spark2 aggiornato (19 febbraio) |
BUG-97067 | HIVE-10697 | ObjectInspectorConvertors#UnionConvertor esegue una conversione non corretta |
BUG-97244 | KNOX-1083 | Il timeout predefinito HttpClient deve essere un valore ragionevole |
BUG-97459 | ZEPPELIN-3271 | Opzione per la disabilitazione dell'utilità di pianificazione |
BUG-97511 | KNOX-1197 | AnonymousAuthFilter non viene aggiunto quando authentication=Anonymous nel servizio |
BUG-97601 | HIVE-17479 | Le directory di gestione temporanea non vengono ripulite dalle query di aggiornamento/eliminazione |
BUG-97605 | HIVE-18858 | Proprietà di sistema nella configurazione del processo non risolte durante l'invio del processo MR |
BUG-97674 | OOZIE-3186 | Oozie non è in grado di usare la configurazione collegata con jceks://file/... |
BUG-97743 | N/D | eccezione java.lang.NoClassDefFoundError durante la distribuzione della topologia storm |
BUG-97756 | PHOENIX-4576 | Correzione dell'esito negativo dei test LocalIndexSplitMergeIT |
BUG-97771 | HDFS-11711 | Il nome di dominio non dovrebbe eliminare il blocco sull'eccezione "Too many open files" |
BUG-97869 | KNOX-1190 | Knox Il supporto SSO per Google OIDC è interrotto. |
BUG-97879 | PHOENIX-4489 | Perdita di connessione HBase nei processi di MR Phoenix |
BUG-98392 | RANGER-2007 | Il ticket Kerberos del Ranger-tagsync non riesce a rinnovarsi |
BUG-98484 | N/D | La replica incrementale Hive nel cloud non funziona |
BUG-98533 | HBASE-19934, HBASE-20008 | Il ripristino dello snapshot HBase non riesce a causa di un'eccezione del puntatore Null |
BUG-98555 | PHOENIX-4662 | NullPointerException in TableResultIterator.java su reinvio della cache |
BUG-98579 | HBASE-13716 | Non usare FSConstants di Hadoop |
BUG-98705 | KNOX-1230 | Molte richieste simultanee a Knox causa del mangling url |
BUG-98983 | KNOX-1108 | NiFiHaDispatch non esegue il failover |
BUG-99107 | HIVE-19054 | La replica della funzione deve usare "hive.repl.replica.functions.root.dir" come radice |
BUG-99145 | RANGER-2035 | Errori di accesso a servicedefs con implClass vuota con back-end Oracle |
BUG-99160 | SLIDER-1259 | Slider non funziona in ambienti multi-homed |
BUG-99239 | ATLAS-2462 | L'importazione Sqoop per tutte le tabelle genera NPE per nessuna tabella fornita nel comando |
BUG-99301 | ATLAS-2530 | Nuova riga all'inizio dell'attributo name di un hive_process e hive_column_lineage |
BUG-99453 | HIVE-19065 | La verifica della compatibilità del client metastore deve includere syncMetaStoreClient |
BUG-99521 | N/D | ServerCache per HashJoin non viene ricreato quando vengono reintanti gli iteratori |
BUG-99590 | PHOENIX-3518 | Perdita di memoria in RenewLeaseTask |
BUG-99618 | SPARK-23599, SPARK-23806 | Aggiornamento Spark2 alla versione 2.3.0+ (3/28) |
BUG-99672 | ATLAS-2524 | Hook Hive con notifiche V2 - gestione non corretta dell'operazione 'alter view as' |
BUG-99809 | HBASE-20375 | Non usare getCurrentUserCredentials nel modulo hbase-spark |
Supporto
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-87343 | HIVE-18031 | Supporto della replica per l'operazione Alter Database. |
BUG-91293 | RANGER-2060 | Knox proxy con knox-sso non funziona per ranger |
BUG-93116 | RANGER-1957 | Ranger Usersync non sincronizza periodicamente utenti o gruppi quando è abilitata la sincronizzazione incrementale. |
BUG-93577 | RANGER-1938 | Solr per l'installazione di Audit non usa in modo efficace DocValues |
BUG-96082 | RANGER-1982 | Miglioramento degli errori per la metrica di Analisi di Ranger Admin e Ranger Kms |
BUG-96479 | HDFS-12781 | Dopo Datanode il basso, nella Namenode scheda dell'interfaccia utente Datanode viene generato un messaggio di avviso. |
BUG-97864 | HIVE-18833 | L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile) |
BUG-98814 | HDFS-13314 | NameNode deve facoltativamente chiudersi in caso di danneggiamento di FsImage |
Aggiorna
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100134 | SPARK-22919 | Ripristino di "Bump Apache httpclient versions" |
BUG-95823 | N/D | Knox :Aggiornamento Beanutils |
BUG-96751 | KNOX-1076 | Aggiornamento di nimbus-jose-jwt alla versione 4.41.2 |
BUG-97864 | HIVE-18833 | L'unione automatica non riesce con il comando "insert into directory as orcfile" (Inserimento nella directory come ORCfile) |
BUG-99056 | HADOOP-13556 | Modifica di Configuration.getPropsWithPrefix per usare getProps invece dell'iteratore |
BUG-99378 | ATLAS-2461, ATLAS-2554 | Utilità di migrazione per esportare i dati di Atlas nel grafico Titan DB |
Usabilità
Bug ID | Apache JIRA | Riepilogo |
---|---|---|
BUG-100045 | HIVE-19056 | IllegalArgumentException in FixAcidKeyIndex quando il file ORC ha zero righe |
BUG-100139 | KNOX-1243 | Normalizzare i DN necessari configurati nel KnoxToken servizio |
BUG-100570 | ATLAS-2557 | Correzione per consentire ai lookup gruppi hadoop ldap quando sono gruppi di UGI impostati in modo errato o non sono vuoti |
BUG-100646 | ATLAS-2102 | Miglioramenti dell'interfaccia utente Atlas: pagina dei risultati della ricerca |
BUG-100737 | HIVE-19049 | Aggiunta del supporto per Alter table aggiunta di colonne per Druid |
BUG-100750 | KNOX-1246 | Aggiornare la configurazione del servizio in Knox per supportare le configurazioni più recenti per Ranger. |
BUG-100965 | ATLAS-2581 | Regressione con le notifiche Hook Hive V2: spostamento della tabella in un altro database |
BUG-84413 | ATLAS-1964 | Interfaccia utente: supporto per ordinare le colonne nella tabella di ricerca |
BUG-90570 | HDFS-11384, HDFS-12347 | Aggiunta dell'opzione del bilanciamento per distribuire le chiamate getBlocks per evitare picchi rpc.CallQueueLength di NameNode |
BUG-90584 | HBASE-19052 | FixedFileTrailer dovrebbe riconoscere la classe CellComparatorImpl in branch-1.x |
BUG-90979 | KNOX-1224 | Knox Proxy HADispatcher per supportare Atlas nella disponibilità elevata. |
BUG-91293 | RANGER-2060 | Knox proxy con knox-sso non funziona per ranger |
BUG-92236 | ATLAS-2281 | Salvataggio delle query di filtro di attributo Tag/Type con i filtri null/not null. |
BUG-92238 | ATLAS-2282 | La ricerca salvata preferita viene visualizzata solo dopo l'operazione di aggiornamento dopo la creazione quando sono presenti più di 25 ricerche preferite. |
BUG-92333 | ATLAS-2286 | Il tipo predefinito 'kafka_topic' non deve dichiarare l'attributo 'topic' come univoco |
BUG-92678 | ATLAS-2276 | Il valore del percorso per hdfs_path'entità di tipo è impostato su lettere minuscole da hive-bridge. |
BUG-93097 | RANGER-1944 | Il filtro delle azioni per Il controllo amministratore non funziona |
BUG-93135 | HIVE-15874, HIVE-18189 | Query di Hive che restituisce risultati errati se hive.groupby.orderby.position.alias viene impostato su true |
BUG-93136 | HIVE-18189 | L'ordine in base alla posizione non funziona quando cbo è disabilitato |
BUG-93387 | HIVE-17600 | Rendere configurabile dall'utente enforceBufferSize di OrcFile. |
BUG-93495 | RANGER-1937 | Ranger tagsync deve elaborare ENTITY_CREATE notifica per supportare la funzionalità di importazione di Atlas |
BUG-93512 | PHOENIX-4466 | java.lang.RuntimeException: codice di risposta 500 - esecuzione di un processo spark per la connessione a un server di query Phoenix e caricare i dati |
BUG-93801 | HBASE-19393 | Head HTTP 413 FULL durante l'accesso all'interfaccia utente di HBase con SSL. |
BUG-93804 | HIVE-17419 | Il comando ANALYZE TABLE...COMPUTE STATISTICS FOR COLUMNS mostra le statistiche calcolate per le tabelle mascherate |
BUG-93932 | ATLAS-2320 | la classificazione "*" con query genera 500 eccezioni del server interno. |
BUG-93933 | ATLAS-2286 | Il tipo predefinito 'kafka_topic' non deve dichiarare l'attributo 'topic' come univoco |
BUG-93938 | ATLAS-2283, ATLAS-2295 | Aggiornamenti dell'interfaccia utente per le classificazioni |
BUG-93941 | ATLAS-2296, ATLAS-2307 | Miglioramento della ricerca di base per escludere facoltativamente entità sottotipi e sottotipi di classificazione |
BUG-93944 | ATLAS-2318 | Interfaccia utente: quando si fa clic due volte sul tag figlio, viene selezionato il tag padre |
BUG-93946 | ATLAS-2319 | Interfaccia utente: l'eliminazione di un tag, che in corrispondenza della posizione 25+ nell'elenco di tag nella struttura flat e tree richiede un aggiornamento per rimuovere il tag dall'elenco. |
BUG-93977 | HIVE-16232 | Supporta il calcolo delle statistiche per le colonne in QuotedIdentifier |
BUG-94030 | ATLAS-2332 | Creazione del tipo con attributi con tipo di dati di raccolta annidati ha esito negativo |
BUG-94099 | ATLAS-2352 | Il server Atlas deve fornire una configurazione per specificare la validità di DelegationToken Kerberos |
BUG-94280 | HIVE-12785 | Visualizzazione con il tipo di unione e la funzione definita dall'utente per 'cast' lo struct è interrotto |
BUG-94332 | SQOOP-2930 | L'esecuzione del processo Sqoop non esegue l'override delle proprietà generiche del processo salvate |
BUG-94428 | N/D | Dataplane Supporto dell'API Knox REST dell'agente profiler |
BUG-94514 | ATLAS-2339 | Interfaccia utente: le modifiche in "columns" nella visualizzazione dei risultati della ricerca di base influisce anche su DSL. |
BUG-94515 | ATLAS-2169 | La richiesta di eliminazione ha esito negativo quando è configurata l'eliminazione definitiva |
BUG-94518 | ATLAS-2329 | Se l'utente fa clic su un altro tag non corretto, vengono visualizzati più passaggi al passaggio del mouse sull'interfaccia utente di Atlas |
BUG-94519 | ATLAS-2272 | Salvare lo stato delle colonne trascinate con l'API delle ricerche salvate. |
BUG-94627 | HIVE-17731 | aggiungere un'opzione all'indietro compat per gli utenti esterni a HIVE-11985 |
BUG-94786 | HIVE-6091 | I file vuoti pipeout vengono creati per la creazione/chiusura della connessione |
BUG-94793 | HIVE-14013 | La tabella di descrizione non mostra i caratteri Unicode in modo corretto |
BUG-94900 | OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802 | Impostare spark.yarn.jars per correggere Spark 2.0 con Oozie |
BUG-94901 | HBASE-19285 | Aggiunta di istogrammi di latenza per tabella |
BUG-94908 | ATLAS-1921 | Interfaccia utente: Eseguire la ricerca usando gli attributi di entità e dei tratti: l'interfaccia utente non esegue la verifica di intervallo e consente di fornire valori fuori dai limiti per tipi di dati integrali e float. |
BUG-95086 | RANGER-1953 | Miglioramento nell'elenco della pagina del gruppo di utenti |
BUG-95193 | SLIDER-1252 | L'agente di scorrimento ha esito negativo con errori di convalida SSL con Python 2.7.5-58 |
BUG-95314 | YARN-7699 | queueUsagePercentage è in arrivo come INF per getApp la chiamata api REST |
BUG-95315 | HBASE-13947, HBASE-14517, HBASE-17931 | Assegnazione delle tabelle di sistema ai server con la versione più recente |
BUG-95392 | ATLAS-2421 | Aggiornamenti di notifica per il supporto delle strutture di dati V2 |
BUG-95476 | RANGER-1966 | L'inizializzazione del motore dei criteri non crea in alcuni casi enricher di contesto |
BUG-95512 | HIVE-18467 | Supporto di eventi whole warehouse dump / load + create/drop database |
BUG-95593 | N/D | Estendere le utilità di Oozie DB per supportare Spark2 sharelib la creazione |
BUG-95595 | HIVE-15563 | Ignora l'eccezione di transizione di stato operazione non ammessa in SQLOperation.runQuery per esporre l'eccezione reale. |
BUG-95685 | ATLAS-2422 | Esportazione: esportazione basata sul tipo di supporto |
BUG-95798 | PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040 | Non vengono usati indicatori per l'esecuzione di query in modo seriale |
BUG-95969 | HIVE-16828, HIVE-17063, HIVE-18390 | La vista partizionata ha esito negativo con FAILED: IndexOutOfBoundsException Index: 1, Size: 1 |
BUG-96019 | HIVE-18548 | Correzione dell'importazione log4j |
BUG-96288 | HBASE-14123, HBASE-14135, HBASE-17850 | Backup/ripristino di HBase backport 2.0 |
BUG-96313 | KNOX-1119 | Pac4J L'entità OAuth/OpenID deve essere configurabile |
BUG-96365 | ATLAS-2442 | L'utente con autorizzazione di sola lettura nella risorsa di entità non è in grado di eseguire la ricerca di base |
BUG-96479 | HDFS-12781 | Dopo Datanode il basso, nella Namenode scheda dell'interfaccia utente Datanode viene generato un messaggio di avviso. |
BUG-96502 | RANGER-1990 | Aggiunta del supporto unidirezionale SSL MySQL in Ranger Admin |
BUG-96718 | ATLAS-2439 | Aggiornamento dell'hook di Sqoop per usare le notifiche versione 2 |
BUG-96748 | HIVE-18587 | L'evento insert DML potrebbe tentare di calcolare un checksum nelle directory |
BUG-96821 | HBASE-18212 | In modalità autonoma con file system locale HBase registra il messaggio di avviso: Impossibile richiamare il metodo 'unbuffer' nella classe org.apache.hadoop.fs.FSDataInputStream |
BUG-96847 | HIVE-18754 | REPL STATUS deve supportare la clausola 'with' |
BUG-96873 | ATLAS-2443 | Acquisire gli attributi di entità necessari nei messaggi DELETE in uscita |
BUG-96880 | SPARK-23230 | Quando hive.default.fileformat è di altri tipi di file, creare una textfile tabella genera un serde errore |
BUG-96911 | OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923 | Miglioramento dell'analisi delle opzioni Spark |
BUG-97100 | RANGER-1984 | I record del log di controllo HBase potrebbero non visualizzare tutti i tag associati alla colonna a cui si accede |
BUG-97110 | PHOENIX-3789 | Esegue le chiamate di manutenzione dell'indice tra aree in postBatchMutateIndispensably |
BUG-97145 | HIVE-12245, HIVE-17829 | Commenti della colonna Supporto per una tabella di backup HBase |
BUG-97409 | HADOOP-15255 | Supporto per la conversione maiuscole/minuscole per i nomi dei gruppi in LdapGroupsMapping |
BUG-97535 | HIVE-18710 | estensione di inheritPerms ad ACID in Hive 2.X |
BUG-97742 | OOZIE-1624 | Modello di esclusione per sharelib i file JAR |
BUG-97744 | PHOENIX-3994 | La priorità dell'indice RPC dipende ancora dalla proprietà controller factory in hbase-site.xml |
BUG-97787 | HIVE-18460 | Compactor non trasmette le proprietà della tabella al writer Orc |
BUG-97788 | HIVE-18613 | Estensione di JsonSerDe per supportare il tipo BINARY |
BUG-97899 | HIVE-18808 | Rende la compattazione più solida quando l'aggiornamento delle statistiche ha esito negativo |
BUG-98038 | HIVE-18788 | Pulizia degli input in JDBC PreparedStatement |
BUG-98383 | HIVE-18907 | Creazione di utilità per risolvere il problema di indice di chiave acid da HIVE-18817 |
BUG-98388 | RANGER-1828 | Procedura consigliata per l'aggiunta di altre intestazioni in ranger |
BUG-98392 | RANGER-2007 | Il ticket Kerberos del Ranger-tagsync non riesce a rinnovarsi |
BUG-98533 | HBASE-19934, HBASE-20008 | Il ripristino dello snapshot HBase non riesce a causa di un'eccezione del puntatore Null |
BUG-98552 | HBASE-18083, HBASE-18084 | Rende il numero di thread di pulizia dei file di grandi/piccole dimensioni configurabile in HFileCleaner |
BUG-98705 | KNOX-1230 | Molte richieste simultanee a Knox causa del mangling url |
BUG-98711 | N/D | L'invio NiFi non può usare l'SSL bidirezionale senza modifiche a service.xml |
BUG-98880 | OOZIE-3199 | Rendere configurabili le restrizioni delle proprietà di sistema |
BUG-98931 | ATLAS-2491 | Aggiornare l'hook di Hive per usare le notifiche Atlas v2 |
BUG-98983 | KNOX-1108 | NiFiHaDispatch non esegue il failover |
BUG-99088 | ATLAS-2511 | Fornire opzioni per l'importazione selettiva del database/tabelle da Hive in Atlas |
BUG-99154 | OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885 | Query di Spark non riuscita con l'eccezione "java.io.FileNotFoundException: hive-site.xml (Permission denied)" |
BUG-99239 | ATLAS-2462 | L'importazione Sqoop per tutte le tabelle genera NPE per nessuna tabella fornita nel comando |
BUG-99636 | KNOX-1238 | Correzione delle impostazioni Truststore personalizzate per il gateway |
BUG-99650 | KNOX-1223 | Il proxy di Knox Zeppelin non reindirizza /api/ticket come previsto |
BUG-99804 | OOZIE-2858 | HiveMain, ShellMain e SparkMain non devono sovrascrivere le proprietà e i file di configurazione localmente |
BUG-99805 | OOZIE-2885 | L'esecuzione delle azioni di Spark non necessita di Hive in classpath |
BUG-99806 | OOZIE-2845 | Sostituire il codice basato su reflection, che imposta la variabile in HiveConf |
BUG-99807 | OOZIE-2844 | Aumentare la stabilità delle azioni Oozie quando log4j le proprietà sono mancanti o non leggibili |
RMP-9995 | AMBARI-22222 | Passaggio a Druid per usare la directory /var/druid invece di /apps/druid sul disco locale |
Modifiche comportamentali
Componente Apache | Apache JIRA | Riepilogo | Dettagli |
---|---|---|---|
Spark 2.3 | N/D | Modifiche come documentato nelle Note sulla versione di Apache Spark | - È disponibile un documento "Deprecation" e una guida "Modifica del comportamento", https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Per la parte SQL, è disponibile un'altra guida dettagliata "Migrazione" (da 2.2 a 2.3), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23| |
Spark | HIVE-12505 | Il processo Spark viene completato correttamente, ma si verifica un errore completo della quota del disco HDFS | Scenario: esecuzione di insert overwrite quando è impostata una quota nella cartella Cestino dell'utente che esegue il comando. Comportamento precedente: il processo ha esito positivo anche se non riesce a spostare i dati nel Cestino. Il risultato può erroneamente contenere alcuni dei dati presenti in precedenza nella tabella. Nuovo comportamento: quando il trasferimento nella cartella Cestino ha esito negativo, i file vengono eliminati definitivamente. |
Kafka 1.0 | N/D | Modifiche come documentato nelle Note sulla versione di Apache Spark | https://kafka.apache.org/10/documentation.html#upgrade_100_notable |
Hive / Ranger | Altri criteri hive ranger necessari per INSERT OVERWRITE | Scenario: altri criteri Hive ranger necessari per INSERT OVERWRITE Comportamento precedente: le query INSERT OVERWRITE Hive completate correttamente come di consueto. Nuovo comportamento: le query INSERT OVERWRITE Hive hanno esito negativo in modo imprevisto dopo l'aggiornamento a HDP 2.6 con l'errore: Errore durante la compilazione dell'istruzione: FAILED: HiveAccessControlException Permission denied: user jdoe does not have WRITE privilege on /tmp/*(state=42000,code=40000) A partire da HDP-2.6.0, le query INSERT OVERWRITE Hive richiedono un criterio URI Ranger per consentire operazioni di scrittura, anche se l'utente dispone del privilegio di scrittura concesso tramite il criterio HDFS. Soluzione alternativa/Azione prevista del cliente: 1. Creare un nuovo criterio nel repository Hive. 2. Nell'elenco a discesa in cui viene visualizzato Database selezionare URI. 3. Aggiornare il percorso (esempio: /tmp/*) 4. Aggiungere gli utenti e il gruppo e salvare. 5. Ripetere la query di inserimento. |
|
HDFS | N/D | HDFS deve supportare più KMS Uris |
Comportamento precedente: la proprietà dfs.encryption.key.provider.uri era usata per configurare il percorso del provider del Server di gestione delle chiavi. Nuovo comportamento: la proprietà dfs.encryption.key.provider.uri è deprecata a favore di hadoop.security.key.provider.path per la configurazione del percorso del provider del Server di gestione delle chiavi. |
Zeppelin | ZEPPELIN-3271 | Opzione per la disabilitazione dell'utilità di pianificazione | Componente interessato: Server Zeppelin Comportamento precedente: nelle versioni precedenti di Zeppelin, non era presente alcuna opzione per la disabilitazione dell'utilità di pianificazione. Nuovo comportamento: per impostazione predefinita, gli utenti non vedranno più l'utilità di pianificazione, perché è disabilitata per impostazione predefinita. Soluzione alternativa/Azione prevista del cliente: se si desidera abilitare l'utilità di pianificazione, è necessario aggiungere azeppelin.notebook.cron.enable con valore true nel sito Zeppelin personalizzato nelle impostazioni di Zeppelin da Ambari. |
Problemi noti
Integrazione di HDInsight con ADLS Gen 2 I cluster ESP HDInsight che usano Azure Data Lake Storage Gen 2 con autorizzazioni e directory utente presentano due problemi:
Le home directory per gli utenti non vengono create nel nodo head 1. Come soluzione alternativa, creare manualmente le directory e modificare la proprietà dell'UPN dell'utente corrispondente.
Le autorizzazioni per la directory /hdp non sono attualmente impostate su 751. È necessario impostare i valori seguenti:
chmod 751 /hdp chmod –R 755 /hdp/apps
Spark 2.3
[SPARK-23523][SQL] Risultato errato causato dalla regola OptimizeMetadataOnlyQuery
[SPARK-23406] Bug nei self-join di flusso di flusso
I notebook di esempio Spark non sono disponibili quando Azure Data Lake Storage (Gen2) è l'archiviazione predefinita del cluster.
Enterprise Security Package
- Spark Thrift Server non accetta connessioni da client ODBC.
Passaggi per la soluzione alternativa:
- Attendere circa 15 minuti dopo la creazione del cluster.
- Controllare l'interfaccia utente Ranger per verificare l'esistenza di hivesampletable_policy.
- Riavviare il servizio Spark. A questo punto la connessione del servizio token di sicurezza dovrebbe funzionare.
- Spark Thrift Server non accetta connessioni da client ODBC.
Passaggi per la soluzione alternativa:
Soluzione alternativa per l'errore del controllo del servizio Ranger
RANGER-1607: soluzione alternativa per l'errore del controllo del servizio Ranger durante l'aggiornamento a HDP 2.6.2 dalle precedenti versioni HDP.
Nota
Solo quando Ranger è abilitato per SSL.
Questo problema si verifica quando si prova a eseguire l'aggiornamento a HDP 2.6.1 dalle precedenti versioni HDP tramite Ambari. Ambari usa una chiamata Curl eseguire una verifica del servizio Ranger in Ambari. Se la versione JDK usata da Ambari è JDK 1.7, la chiamata Curl avrà esito negativo con l'errore seguente:
curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure
Il motivo di questo errore è la versione tomcat usata in Ranger è Tomcat-7.0.7*. L'uso di JDK-1.7 è in conflitto con le crittografie predefinite fornite in Tomcat-7.0.7*.
È possibile risolvere questo problema in due modi:
Aggiornare il pacchetto JDK usato in Ambari di JDK 1.7 a JDK 1.8 (vedere la sezione Change the JDK Version (modificare la versione di JDK) nella Guida di riferimento di Ambari).
Se si desidera continuare a supportare un ambiente JDK 1.7:
Aggiungere la proprietà ranger.tomcat.ciphers nella sezione ranger-admin-site nella configurazione Ambari Ranger con il valore seguente:
SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Se l'ambiente è configurato per il Server di gestione delle chiavi Ranger, aggiungere la proprietà ranger.tomcat.ciphers nella sezione theranger-kms-site nella configurazione di Ambari Ranger con il valore seguente:
SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Nota
I valori indicati sono esempi funzionanti e potrebbero non essere indicativi dell'ambiente in uso. Assicurarsi che il modo in cui si impostano queste proprietà corrisponda al modo in cui è configurato l'ambiente.
RangerUI: Escape del testo della condizione dei criteri immesso nel modulo criteri
Componente interessato: Ranger
Descrizione del problema
Se un utente vuole creare criteri con condizioni di criteri personalizzate e l'espressione o il testo contiene caratteri speciali, l'applicazione dei criteri non funzionerà. I caratteri speciali vengono convertiti in caratteri ASCII prima di salvare il criterio nel database.
Caratteri speciali: & <> " ' '
Ad esempio, i tag della condizione.attributes['type']='abc' verranno convertiti nel codice seguente dopo il salvataggio del criterio.
tags.attds[' dsds'] =' cssdfs'
È possibile visualizzare la condizione del criterio con questi caratteri aprendo il criterio in modalità di modifica.
Soluzione alternativa
Opzione 1: Creare/aggiornare i criteri tramite l'API REST di Ranger
URL REST: http://<host>:6080/service/plugins/policies
Creazione di criteri con condizioni:
L'esempio seguente creerà criteri con tag come "tags-test" e lo assegnerà al gruppo "public" con condizione di criteri astags.attr['type']=='abc' selezionando tutte le autorizzazioni dei componenti hive, ad esempio select, update, create, drop, alter, index, lock, all.
Esempio:
curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
Aggiornamento di criteri esistenti con condizioni:
L'esempio seguente aggiornerà i criteri con tag come "tags-test" e lo assegnerà al gruppo "public" con condizione di criteri astags.attr['type']=='abc' selezionando tutte le autorizzazioni del componente Hive come select, update, create, drop, alter, index, lock, all.
URL REST: http://<host-name>:6080/service/plugins/policies/<policy-id>
Esempio:
curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
Opzione 2: Applicare le modifiche javaScript
Passaggi per aggiornare il file JS:
Trovare il file PermissionList.js in /usr/hdp/current/ranger-admin
Informazioni sulla definizione della funzione renderPolicyCondtion (riga no: 404).
Rimuovere la riga seguente da tale funzione, ad esempio in funzione di visualizzazione (riga no: 434)
val = _.escape(val);//Line No:460
Dopo aver rimosso la riga precedente, l'interfaccia utente di Ranger consentirà di creare criteri con condizione che possano contenere caratteri speciali e la valutazione del criterio sarà corretta.
Integrazione di HDInsight con ADLS Gen 2: problemi di directory utente e autorizzazioni con i cluster ESP 1. Le home directory per gli utenti non vengono create nel nodo head 1. La soluzione alternativa consiste nel creare queste proprietà manualmente e modificare la proprietà dell'UPN dell'utente corrispondente. 2. Le autorizzazioni per /hdp non sono attualmente impostate su 751. Deve essere impostato su un. chmod 751 /hdp b. chmod –R 755 /hdp/apps
Deprecazione
Portale di OMS: è stato rimosso il collegamento dalla pagina delle risorse HDInsight che puntava al portale di OMS. I log di Monitoraggio di Azure hanno inizialmente usato il proprio portale denominato portale di OMS per gestire la configurazione e analizzare i dati raccolti. Tutte le funzionalità di questo portale sono state spostate al portale di Azure in cui continueranno a essere sviluppate. HDInsight ha deprecato il supporto per il portale di OMS. I clienti useranno l'integrazione dei log di Monitoraggio di Azure in HDInsight in portale di Azure.
Spark 2.3:Spark Release 2.3.0 deprecations
Estensione
Tutte queste funzionalità sono disponibili in HDInsight 3.6. Per ottenere la versione più recente di Spark, Kafka e R Server (Machine Learning Services), scegliere la versione spark, Kafka, ML Services quando si crea un cluster HDInsight 3.6. Per ottenere il supporto per ADLS, è possibile scegliere il tipo di archiviazione ADLS come un'opzione. I cluster esistenti non verranno aggiornati automaticamente a queste versioni.
Tutti i nuovi cluster creati dopo giugno 2018 otterranno automaticamente le correzioni di bug 1000+ in tutti i progetti open source. Seguire questa guida per le procedure consigliate per l'aggiornamento a una versione più recente di HDInsight.
Commenti e suggerimenti
https://aka.ms/ContentUserFeedback.
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedereInvia e visualizza il feedback per