Archivované poznámky k verzi

Článek
10/29/2024

Shrnutí

Azure HDInsight je jednou z nejoblíbenějších služeb mezi podnikovými zákazníky pro opensourcové analýzy v Azure. Přihlaste se k odběru poznámek k verzi SLUŽBY HDInsight, kde najdete aktuální informace o HDInsightu a všech verzích HDInsight.

Pokud se chcete přihlásit k odběru, klikněte na tlačítko "kukátku" v banneru a podívejte se na vydané verze HDInsight.

Informace o verzi

Datum vydání: 30. 30. 2024

Poznámka:

Toto je oprava hotfix / verze údržby pro poskytovatele prostředků. Další informace najdete v poskytovateli prostředků.

Azure HDInsight pravidelně vydává aktualizace údržby pro poskytování oprav chyb, vylepšení výkonu a oprav zabezpečení, které zajišťují, abyste s těmito aktualizacemi zůstali v aktualizovaném stavu, zaručuje optimální výkon a spolehlivost.

Tato zpráva k vydání verze se vztahuje na

VERZE HDInsight 5.1

Verze HDInsight 5.0

Verze HDInsight 4.0

Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato zpráva k vydání verze se vztahuje na číslo obrázku 2407260448. Jak zkontrolovat číslo image?

HDInsight používá postupy bezpečného nasazení, které zahrnují postupné nasazování oblastí. Může trvat až 10 pracovních dnů, než bude nová verze nebo nová verze dostupná ve všech oblastech.

Verze operačního systému

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu Verze komponent HDInsight 5.x.

Opravili jsme problém.

Oprava výchozí chyby databáze

Již brzy

Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.
Oznámení o vyřazení pro HDInsight 4.0 a HDInsight 5.0

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A.

Nasloucháme: Tady můžete přidat další nápady a další témata a hlasovat pro ně – HDInsight Ideas a sledovat nás, abyste získali další aktualizace v komunitě AzureHDInsight.

Poznámka:

Doporučujeme zákazníkům používat nejnovější verze imagí HDInsight, protože přinášejí nejlepší open source aktualizace, aktualizace Azure a opravy zabezpečení. Další informace najdete v tématu Osvědčené postupy.

Datum vydání: 9. 9. 2024

Tato zpráva k vydání verze se vztahuje na

VERZE HDInsight 5.1

Verze HDInsight 5.0

Verze HDInsight 4.0

Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato zpráva k vydání verze se vztahuje na číslo obrázku 2407260448. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu Verze komponent HDInsight 5.x.

Aktualizace

Přidání agenta Azure Monitoru pro Log Analytics ve službě HDInsight

Přidání a automatizovaného SystemMSI DCR pro Log Analytics vzhledem k vyřazení nového prostředí služby Azure Monitor (Preview)

Poznámka:

Efektivní číslo image 2407260448, zákazníci, kteří používají portál pro log analytics, budou mít výchozí prostředí agenta služby Azure Monitor. V případě, že chcete přepnout do prostředí služby Azure Monitor (Preview), můžete clustery připnout na staré image vytvořením žádosti o podporu.

Datum vydání: 5. července 2024

Poznámka:

Toto je oprava hotfix / verze údržby pro poskytovatele prostředků. Další informace najdete v tématu Poskytovatel prostředků.

Opravené problémy

Značky HOBO přepíší uživatelské značky.
- Značky HOBO přepíší značky uživatelů v dílčích prostředcích při vytváření clusteru HDInsight.

Datum vydání: 19. června 2024

Tato zpráva k vydání verze se vztahuje na

VERZE HDInsight 5.1

Verze HDInsight 5.0

Verze HDInsight 4.0

Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato zpráva k vydání verze se vztahuje na číslo obrázku 2406180258. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu Verze komponent HDInsight 5.x.

Opravené problémy

Vylepšení zabezpečení
- Vylepšení používání značek pro clustery v souladu s požadavky SFI
- Vylepšení skriptů sond podle požadavků SFI
Vylepšení služby HDInsight Log Analytics s podporou systémové spravované identity pro poskytovatele prostředků HDInsight.
Přidání nové aktivity pro upgrade verze agenta mdsd pro starou image (vytvořenou před 2024)
Povolení MISE v bráně v rámci pokračování vylepšení migrace MSAL
Začlenit Spark Thrift Server Httpheader hiveConf do Jetty HTTP ConnectionFactory.
Vrátit RANGER-3753 a RANGER-3593.

Implementace setOwnerUser uvedená ve verzi Ranger 2.3.0 má kritický regresní problém při použití Hive. V Ranger 2.3.0, když Se HiveServer2 pokusí vyhodnotit zásady, Ranger Client se pokusí získat vlastníka tabulky hive voláním Metastore ve funkci setOwnerUser, která v podstatě volá úložiště pro kontrolu přístupu pro tuto tabulku. Tento problém způsobí, že dotazy poběží pomalu, když Hive běží na 2.3.0 Ranger.

Již brzy

Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.
Oznámení o vyřazení pro HDInsight 4.0 a HDInsight 5.0

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A.

Nasloucháme: Tady můžete přidat další nápady a další témata a hlasovat pro ně – HDInsight Ideas a sledovat nás, abyste získali další aktualizace v komunitě AzureHDInsight.

Poznámka:

Datum vydání: 16. května 2024

Tato zpráva k vydání verze se vztahuje na

Verze HDInsight 5.0

Verze HDInsight 4.0

Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato zpráva k vydání verze se vztahuje na číslo obrázku 2405081840. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu Verze komponent HDInsight 5.x.

Opravené problémy

Do brány jsme přidali rozhraní API pro získání tokenu pro Keyvault v rámci iniciativy SFI.
V nové tabulce monitorování HDInsightSparkLogs protokolů chybí některá pole pro typ SparkDriverLogprotokolu. Například LogLevel & Message. Tato verze přidá chybějící pole do schémat a pevné formátování pro SparkDriverLog.
Protokoly Livy nejsou v tabulce monitorování SparkDriverLog Log Analytics dostupné, což bylo kvůli problému se zdrojovou cestou protokolu Livy a parsováním regulárních výrazů v SparkLivyLog konfiguracích.
Jakýkoli cluster HDInsight, který jako primární účet úložiště používá ADLS Gen2, může využívat přístup založený na MSI k libovolnému prostředku Azure (například SQL, Keyvaults), který se používá v kódu aplikace.

Již brzy

Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.
Oznámení o vyřazení pro HDInsight 4.0 a HDInsight 5.0

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A.

Nasloucháme: Tady můžete přidat další nápady a další témata a hlasovat pro ně – HDInsight Ideas a sledovat nás, abyste získali další aktualizace v komunitě AzureHDInsight.

Poznámka:

Datum vydání: 15. dubna 2024

Tato zpráva k vydání verze se vztahuje na verzi HDInsight 5.1.

Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato zpráva k vydání verze se vztahuje na číslo obrázku 2403290825. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu Verze komponent HDInsight 5.x.

Opravené problémy

Opravy chyb pro Ambari DB, kontroler skladu Hive (HWC), Spark, HDFS
Opravy chyb pro modul Log Analytics pro HDInsightSparkLogs
Opravy CVE pro poskytovatele prostředků HDInsight

Již brzy

Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.
Oznámení o vyřazení pro HDInsight 4.0 a HDInsight 5.0

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A.

Nasloucháme: Tady můžete přidat další nápady a další témata a hlasovat pro ně – HDInsight Ideas a sledovat nás, abyste získali další aktualizace v komunitě AzureHDInsight.

Poznámka:

Datum vydání: 15. února 2024

Tato verze platí pro verze HDInsight 4.x a 5.x. Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato verze se vztahuje na číslo obrázku 2401250802. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Nové funkce

Podpora Apache Rangeru pro Spark SQL ve Sparku 3.3.0 (HDInsight verze 5.1) s balíčkem zabezpečení Enterprise Další informace najdete tady.

Opravené problémy

Opravy zabezpečení z komponent Ambari a Oozie

Již brzy

Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A

Nasloucháme: Zde můžete přidat další nápady a další témata a hlasovat pro ně – NÁVRHY HDInsight a sledovat nás o dalších aktualizacích v komunitě AzureHDInsight

Poznámka:

Další kroky

Azure HDInsight je jednou z nejoblíbenějších služeb mezi podnikovými zákazníky pro opensourcové analýzy v Azure. Pokud se chcete přihlásit k odběru poznámek k verzi, podívejte se na vydané verze v tomto úložišti GitHubu.

Datum vydání: 10. ledna 2024

Tato verze opravy hotfix se vztahuje na verze HDInsight 4.x a 5.x. Verze HDInsight bude dostupná pro všechny oblasti za několik dní. Tato verze se vztahuje na číslo obrázku 2401030422. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Poznámka:

Ubuntu 18.04 je podporováno v rámci rozšířené údržby zabezpečení (ESM) týmu Azure Linuxu pro Azure HDInsight z července 2023.

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Opravené problémy

Opravy zabezpečení z komponent Ambari a Oozie

Již brzy

Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A

Nasloucháme: Zde můžete přidat další nápady a další témata a hlasovat pro ně – NÁVRHY HDInsight a sledovat nás o dalších aktualizacích v komunitě AzureHDInsight

Poznámka:

Datum vydání: 26. října 2023

Tato verze platí pro verzi HDInsight 4.x a 5.x HDInsight, která bude dostupná pro všechny oblasti za několik dnů. Tato verze se vztahuje na číslo obrázku 2310140056. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Co je nového

HDInsight oznamuje obecnou dostupnost SLUŽBY HDInsight 5.1 od 1. listopadu 2023. Tato verze přináší úplnou aktualizaci zásobníku do opensourcových komponent a integrací od Microsoftu.
- Nejnovější opensourcové verze – HDInsight 5.1 je k dispozici nejnovější stabilní opensourcová verze . Zákazníci můžou využívat všechny nejnovější opensourcové funkce, vylepšení výkonu Microsoftu a opravy chyb.
- Zabezpečení – Nejnovější verze mají nejnovější opravy zabezpečení, a to jak opravy opensourcového zabezpečení, tak vylepšení zabezpečení od Microsoftu.
- Nižší náklady na vlastnictví – Díky vylepšením výkonu můžou zákazníci snížit provozní náklady spolu s vylepšeným automatickým škálováním.
Oprávnění clusteru pro zabezpečené úložiště
- Zákazníci můžou zadat (během vytváření clusteru), jestli se má pro uzly clusteru HDInsight použít zabezpečený kanál pro připojení účtu úložiště.
Vytvoření clusteru HDInsight s vlastními virtuálními sítěmi
- Aby se zlepšil celkový stav zabezpečení clusterů HDInsight, musí clustery HDInsight pomocí vlastních virtuálních sítí zajistit, aby uživatel musel mít oprávnění k Microsoft Network/virtualNetworks/subnets/join/action provádění operací vytváření. Zákazník může čelit selháním vytváření, pokud tato kontrola není povolená.
Clustery ABFS jiného než ESP [Oprávnění clusteru pro čitelný soubor Word]
- Clustery ABFS mimo ESP omezují uživatele skupin bez Hadoopu spouštění příkazů Systému Hadoop pro operace úložiště. Tato změna zlepšuje stav zabezpečení clusteru.
Aktualizace v souladu s kvótou
- Teď můžete požádat o navýšení kvóty přímo ze stránky Moje kvóta a přímé volání rozhraní API je mnohem rychlejší. V případě selhání volání rozhraní API můžete vytvořit novou žádost o podporu pro navýšení kvóty.

Již brzy

Maximální délka názvu clusteru se změní na 45 z 59 znaků, aby se zlepšil stav zabezpečení clusterů. Tato změna se nasadí do všech oblastí, které se budou spouštět v nadcházející verzi.
Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače basicu a řady Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive).
- Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A

Nasloucháme: Zde můžete přidat další nápady a další témata a hlasovat pro ně – NÁVRHY HDInsight a sledovat nás o dalších aktualizacích v komunitě AzureHDInsight

Poznámka:

Tato verze řeší následující CVE vydané msRC 12. září 2023. Akce je aktualizovat na nejnovější image 2308221128 nebo 2310140056. Zákazníkům se doporučuje, aby plánovali odpovídajícím způsobem.

CVE	Závažnost	Název CVE	Poznámka
CVE-2023-38156	Důležité	Ohrožení zabezpečení spočívající ve zvýšení oprávnění v Azure HDInsight Apache Ambari	Součástí image 2308221128 nebo 2310140056
CVE-2023-36419	Důležité	Ohrožení zabezpečení kvůli zvýšenému oprávnění plánovače pracovního postupu Azure HDInsight Apache Oozie	Použijte akci Skript na clusterech nebo proveďte aktualizaci na image 2310140056

Poznámka:

Datum vydání: 7. září 2023

Tato verze platí pro verzi HDInsight 4.x a 5.x HDInsight, která bude dostupná pro všechny oblasti za několik dnů. Tato verze se vztahuje na číslo image 2308221128. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Důležité

Tato verze řeší následující CVE vydané msRC 12. září 2023. Akce je aktualizovat na nejnovější image 2308221128. Zákazníkům se doporučuje, aby plánovali odpovídajícím způsobem.

CVE	Závažnost	Název CVE	Poznámka
CVE-2023-38156	Důležité	Ohrožení zabezpečení spočívající ve zvýšení oprávnění v Azure HDInsight Apache Ambari	Obrázek zahrnutý v 2308221128
CVE-2023-36419	Důležité	Ohrožení zabezpečení kvůli zvýšenému oprávnění plánovače pracovního postupu Azure HDInsight Apache Oozie	Použití akce skriptů v clusterech

Již brzy

Maximální délka názvu clusteru se změní na 45 z 59 znaků, aby se zlepšil stav zabezpečení clusterů. Tato změna bude implementována do 30. září 2023.
Oprávnění clusteru pro zabezpečené úložiště
- Zákazníci můžou zadat (během vytváření clusteru), jestli se má pro uzly clusteru HDInsight použít zabezpečený kanál pro kontaktování účtu úložiště.
Aktualizace v souladu s kvótou
- Kvóty požadavků se zvyšují přímo ze stránky Moje kvóta, což bude přímé volání rozhraní API, což je rychlejší. Pokud volání APdI selže, zákazníci musí vytvořit novou žádost o podporu pro navýšení kvóty.
Vytvoření clusteru HDInsight s vlastními virtuálními sítěmi
- Aby se zlepšil celkový stav zabezpečení clusterů HDInsight, musí clustery HDInsight pomocí vlastních virtuálních sítí zajistit, aby uživatel musel mít oprávnění k Microsoft Network/virtualNetworks/subnets/join/action provádění operací vytváření. Zákazníci by museli odpovídajícím způsobem plánovat, protože tato změna by byla povinná kontrola, aby se zabránilo selháním vytváření clusterů před 30. zářím 2023. 
Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive). Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 před 31. srpnem 2024.
Clustery ABFS jiného než ESP [Oprávnění clusteru pro čitelné aplikace Word]
- Plánte zavést změnu v clusterech ABFS mimo ESP, což omezuje uživatele skupin, kteří nejsou hadoopem, aby spouštěli příkazy Hadoopu pro operace úložiště. Touto změnou zlepšíte stav zabezpečení clusteru. Zákazníci musí naplánovat aktualizace před 30. zářím 2023.

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A

Zde můžete přidat další návrhy a nápady a další témata a hlasovat pro ně – komunita HDInsight (azure.com).

Poznámka:

Datum vydání: 25. července 2023

Tato verze platí pro verzi HDInsight 4.x a 5.x HDInsight, která bude dostupná pro všechny oblasti za několik dnů. Tato verze se vztahuje na číslo obrázku 2307201242. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Co je nového

Cluster ESP teď podporuje HDInsight 5.1.
Upgradovaná verze Ranger 2.3.0 a Oozie 5.2.1 jsou nyní součástí HDInsight 5.1.
Cluster Spark 3.3.1 (HDInsight 5.1) se dodává s konektorem Hive Warehouse (HWC) 2.1, který spolupracuje s clusterem Interactive Query (HDInsight 5.1).
Ubuntu 18.04 je podporováno v rámci ESM (Rozšířená údržba zabezpečení) týmem Azure Linux pro Azure HDInsight z července 2023.

Důležité

Tato verze řeší následující CVE vydané msRC 8. srpna 2023. Akce je aktualizovat na nejnovější image 2307201242. Zákazníkům se doporučuje, aby plánovali odpovídajícím způsobem.

CVE	Závažnost	Název CVE
CVE-2023-35393	Důležité	Ohrožení zabezpečení z hlediska falšování identity v Azure Apache Hivu
CVE-2023-35394	Důležité	Ohrožení zabezpečení z hlediska falšování identity ve službě Azure HDInsight Jupyter Notebook
CVE-2023-36877	Důležité	Ohrožení zabezpečení z hlediska falšování identity v Azure Apache Oozie
CVE-2023-36881	Důležité	Ohrožení zabezpečení z hlediska falšování identity v Azure Apache Ambari
CVE-2023-38188	Důležité	Ohrožení zabezpečení z hlediska falšování identity v Azure Apache Hadoop

Již brzy

Maximální délka názvu clusteru se změní na 45 z 59 znaků, aby se zlepšil stav zabezpečení clusterů. Zákazníci musí naplánovat aktualizace před 30. zářím 2023.
Oprávnění clusteru pro zabezpečené úložiště
- Zákazníci můžou zadat (během vytváření clusteru), jestli se má pro uzly clusteru HDInsight použít zabezpečený kanál pro kontaktování účtu úložiště.
Aktualizace v souladu s kvótou
- Kvóty požadavků se zvyšují přímo ze stránky Moje kvóta, což bude přímé volání rozhraní API, což je rychlejší. Pokud volání rozhraní API selže, zákazníci musí vytvořit novou žádost o podporu pro navýšení kvóty.
Vytvoření clusteru HDInsight s vlastními virtuálními sítěmi
- Aby se zlepšil celkový stav zabezpečení clusterů HDInsight, musí clustery HDInsight pomocí vlastních virtuálních sítí zajistit, aby uživatel musel mít oprávnění k Microsoft Network/virtualNetworks/subnets/join/action provádění operací vytváření. Zákazníci by museli odpovídajícím způsobem plánovat, protože tato změna by byla povinná kontrola, aby se zabránilo selháním vytváření clusterů před 30. zářím 2023. 
Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive). Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-series na virtuální počítače řady Av2 do 31. srpna 2024.
Clustery ABFS jiného než ESP [Oprávnění clusteru pro čitelné aplikace Word]
- Plánte zavést změnu v clusterech ABFS mimo ESP, což omezuje uživatele skupin, kteří nejsou hadoopem, aby spouštěli příkazy Hadoopu pro operace úložiště. Touto změnou zlepšíte stav zabezpečení clusteru. Zákazníci musí naplánovat aktualizace před 30. zářím 2023.

Pokud máte další dotazy, obraťte se na podporu Azure.

Kdykoli se nás můžete zeptat na HDInsight ve službě Azure HDInsight – Microsoft Q&A

Můžete zde přidat další návrhy a nápady a další témata a hlasovat pro ně – komunita HDInsight (azure.com) a sledovat nás, abychom získali další aktualizace o X.

Poznámka:

Datum vydání: 8. května 2023

Tato verze se vztahuje na verzi HDInsight 4.x a 5.x HDInsight je dostupná pro všechny oblasti za několik dnů. Tato verze se vztahuje na číslo obrázku 2304280205. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Aktualizace Azure HDInsight 5.1 pomocí
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Poznámka:
- Všechny komponenty jsou integrovány s Hadoop 3.3.4 a ZK 3.6.3
- Všechny výše upgradované komponenty jsou nyní k dispozici v clusterech mimo ESP pro verzi Public Preview.

Vylepšené automatické škálování pro HDInsight

Azure HDInsight provedl významné vylepšení stability a latence automatického škálování. Mezi zásadní změny patří vylepšená smyčka zpětné vazby pro rozhodování o škálování, významné zlepšení latence škálování a podpora opětovného uvedení vyřazených uzlů do provozu, další informace o vylepšeních, o vlastních konfiguracích a migraci clusteru na vylepšené automatické škálování. Vylepšené možnosti automatického škálování jsou dostupné 17. května 2023 ve všech podporovaných oblastech.
Azure HDInsight ESP pro Apache Kafka 2.4.1 je teď obecně dostupný.

Azure HDInsight ESP pro Apache Kafka 2.4.1 je ve verzi Public Preview od dubna 2022. Po důležitá vylepšení oprav a stability CVE se teď azure HDInsight ESP Kafka 2.4.1 stává obecně dostupným a připraveným pro produkční úlohy, přečtěte si podrobnosti o konfiguraci a migraci.
Správa kvót pro HDInsight

HDInsight v současné době přiděluje kvótu zákaznickým předplatným na regionální úrovni. Jádra přidělená zákazníkům jsou obecná a nejsou klasifikována na úrovni rodiny virtuálních počítačů (například Dv2, Ev3, atd Eav4.).

SLUŽBA HDInsight zavedla vylepšené zobrazení, které poskytuje podrobné a klasifikační kvóty pro virtuální počítače na úrovni rodiny. Tato funkce umožňuje zákazníkům zobrazit aktuální a zbývající kvóty pro oblast na úrovni rodiny virtuálních počítačů. Díky vylepšenému zobrazení mají zákazníci lepší viditelnost, pro plánování kvót a lepší uživatelské prostředí. Tato funkce je aktuálně dostupná ve službě HDInsight 4.x a 5.x pro oblast EUAP usa – východ. Další oblasti, které chcete sledovat později.

Další informace najdete v tématu Plánování kapacity clusteru ve službě Azure HDInsight | Microsoft Learn

Střední Polsko

Maximální délka názvu clusteru se změní na 45 z 59 znaků, aby se zlepšil stav zabezpečení clusterů.
Oprávnění clusteru pro zabezpečené úložiště
- Zákazníci můžou zadat (během vytváření clusteru), jestli se má pro uzly clusteru HDInsight použít zabezpečený kanál pro kontaktování účtu úložiště.
Aktualizace v souladu s kvótou
- Kvóty požadavků se zvyšují přímo ze stránky Moje kvóta, což je přímé volání rozhraní API, což je rychlejší. Pokud volání rozhraní API selže, zákazníci musí vytvořit novou žádost o podporu pro navýšení kvóty.
Vytvoření clusteru HDInsight s vlastními virtuálními sítěmi
- Aby se zlepšil celkový stav zabezpečení clusterů HDInsight, musí clustery HDInsight pomocí vlastních virtuálních sítí zajistit, aby uživatel musel mít oprávnění k Microsoft Network/virtualNetworks/subnets/join/action provádění operací vytváření. Zákazníci by museli odpovídajícím způsobem plánovat, protože by to byla povinná kontrola, aby se zabránilo selháním vytváření clusteru.
Vyřazení virtuálníchpočítačůch
- 31. srpna 2024 vyřadíme virtuální počítače Basic a Standard A-series. Před tímto datem je potřeba migrovat úlohy na virtuální počítače řady Av2, které poskytují více paměti na virtuální procesor a rychlejší úložiště na jednotkách SSD (Solid-State Drive). Abyste se vyhnuli přerušení služeb, migrujte úlohy z virtuálních počítačů Basic a Standard A-Series na virtuální počítače řady Av2 do 31. srpna 2024.
Clustery ABFS bez ESP [Oprávnění clusteru pro svět čitelný]
- Plánte zavést změnu v clusterech ABFS mimo ESP, což omezuje uživatele skupin, kteří nejsou hadoopem, aby spouštěli příkazy Hadoopu pro operace úložiště. Touto změnou zlepšíte stav zabezpečení clusteru. Zákazníci musí naplánovat aktualizace.

Datum vydání: 28. února 2023

Tato verze platí pro HDInsight 4.0. a 5.0, 5.1. Verze HDInsight je dostupná pro všechny oblasti za několik dní. Tato verze se vztahuje na číslo obrázku 2302250400. Jak zkontrolovat číslo image?

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Informace o konkrétních verzích úloh najdete v tématu

Verze komponent HDInsight 5.x

Důležité

Společnost Microsoft vydala CVE-2023-23408, která je opravena v aktuální verzi a zákazníkům doporučujeme upgradovat clustery na nejnovější image.

HDInsight 5.1

Začali jsme zavádět novou verzi HDInsight 5.1. Všechny nové opensourcové verze přidané jako přírůstkové verze ve službě HDInsight 5.1.

Další informace najdete ve verzi HDInsight 5.1.0.

Upgrade Kafka 3.2.0 (Preview)

Kafka 3.2.0 obsahuje několik důležitých nových funkcí a vylepšení.
- Upgrade zookeeperu na verzi 3.6.3
- Podpora streamů Kafka
- Silnější záruky doručování pro producenta Kafka povoleného ve výchozím nastavení.
- log4j 1.x nahrazeno znakem reload4j.
- Odešlete nápovědu vedoucímu oddílu, aby se oddíl obnovil.
- JoinGroupRequest a LeaveGroupRequest máte důvod.
- Přidání metrik počtu zprostředkovatelů8
- Vylepšení zrcadla Maker2 .

Upgrade HBase 2.4.11 (Preview)

Tato verze obsahuje nové funkce, jako je přidání nových typů mechanismu ukládání do mezipaměti pro blokovou mezipaměť, možnost měnit hbase:meta table a zobrazit hbase:meta tabulku z webového uživatelského rozhraní HBase.

Upgrade Phoenix 5.1.2 (Preview)

Phoenix verze byla v této verzi upgradována na verzi 5.1.2. Tento upgrade zahrnuje Phoenix Query Server. Proxy serveru Phoenix Query Server poskytuje standardní ovladač Phoenix JDBC a poskytuje zpětně kompatibilní wire protokol pro vyvolání ovladače JDBC.

Ambari CVEs

Opravili jsme několik cves Ambari.

Poznámka:

ESP není v této verzi podporováno pro Kafka a HBase.

Co bude dál

Automatické škálování
- Automatické škálování s vylepšenou latencí a několika vylepšeními
Omezení změny názvu clusteru
- Maximální délka názvu clusteru se změní na 45 z 59 ve veřejných verzích, Azure China a Azure Government.
Oprávnění clusteru pro zabezpečené úložiště
- Zákazníci můžou zadat (během vytváření clusteru), jestli se má pro uzly clusteru HDInsight použít zabezpečený kanál pro kontaktování účtu úložiště.
Clustery ABFS bez ESP [Oprávnění clusteru pro svět čitelný]
- Plánte zavést změnu v clusterech ABFS mimo ESP, což omezuje uživatele skupin, kteří nejsou hadoopem, aby spouštěli příkazy Hadoopu pro operace úložiště. Touto změnou zlepšíte stav zabezpečení clusteru. Zákazníci musí naplánovat aktualizace.
Opensourcové upgrady
- Apache Spark 3.3.0 a Hadoop 3.3.4 jsou ve vývoji ve službě HDInsight 5.1 a zahrnují několik důležitých nových funkcí, výkonu a dalších vylepšení.

Poznámka:

Datum vydání: 12. prosince 2022

Tato verze platí pro HDInsight 4.0. Verze HDInsight 5.0 je dostupná pro všechny oblasti za několik dní.

Verze operačního systému

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Log Analytics – Zákazníci můžou povolit klasické monitorování, aby získali nejnovější verzi OMS 14.19. Pokud chcete odebrat staré verze, zakažte a povolte klasické monitorování.
Automatické odhlášení uživatele Ambari z důvodu nečinnosti Další informace najdete tady.
Spark – Nová a optimalizovaná verze Sparku 3.1.3 je součástí této verze. Otestovali jsme Apache Spark 3.1.2 (předchozí verze) a Apache Spark 3.1.3 (aktuální verze) pomocí srovnávacího testu TPC-DS. Test byl proveden pomocí skladové položky E8 V3 pro Apache Spark v úloze 1 TB. Apache Spark 3.1.3 (aktuální verze) překročil výkon Apache Sparku 3.1.2 (předchozí verze) o více než 40 % v celkovém modulu runtime dotazů pro dotazy TPC-DS pomocí stejných specifikací hardwaru. Tým Microsoft Sparku přidal optimalizace dostupné ve službě Azure Synapse se službou Azure HDInsight. Další informace najdete v tématu Zrychlení datových úloh s aktualizacemi výkonu Apache Sparku 3.1.2 ve službě Azure Synapse.

Střední Katar
Německo – sever

HDInsight se přesunul z Azul Zulu Java JDK 8, do Adoptium Temurin JDK 8kterého podporuje vysoce kvalitní certifikované moduly runtime TCK a související technologie pro použití v ekosystému Java.
Služba HDInsight se migrovala do reload4jslužby . Změny log4j platí pro
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

HDInsight pro implementaci protokolu TLS1.2 v budoucnu a starší verze se aktualizují na platformě. Pokud používáte jakékoli aplikace nad HDInsight a používají protokol TLS 1.0 a 1.1, upgradujte na protokol TLS 1.2, abyste se vyhnuli přerušení služeb.

Další informace najdete v tématu Povolení protokolu TLS (Transport Layer Security)

Ukončení podpory clusterů Azure HDInsight na Ubuntu 16.04 LTS od 30. listopadu 2022. HDInsight začne vydávat image clusteru pomocí Ubuntu 18.04 od 27. června 2021. Doporučujeme, aby naši zákazníci, kteří používají clustery s Ubuntu 16.04, znovu vytvořili clustery s nejnovějšími imagemi HDInsight do 30. listopadu 2022.

Další informace o kontrole verze clusteru Ubuntu najdete tady.

V terminálu spusťte příkaz "lsb_release -a".
Pokud je hodnota vlastnosti Description ve výstupu Ubuntu 16.04 LTS, tato aktualizace se vztahuje na cluster.

Podpora Zóny dostupnosti výběru pro clustery Kafka a HBase (přístup k zápisu).

Opravy chyb open source

Opravy chyb Hivu

Opravy chyb	Apache JIRA
HIVE-26127	Chyba INSERT OVERWRITE – Soubor nebyl nalezen
HIVE-24957	Nesprávné výsledky, pokud má poddotaz COALESCE v predikátu korelace
HIVE-24999	HiveSubQueryRemoveRule generuje neplatný plán pro poddotaz IN s více korelacemi.
HIVE-24322	Pokud je k dispozici přímé vložení, při čtení manifestu se musí zkontrolovat ID pokusu.
HIVE-23363	Upgrade závislosti DataNucleus na verzi 5.2
HIVE-26412	Vytvoření rozhraní pro načtení dostupných slotů a přidání výchozího nastavení
HIVE-26173	Upgrade derby na verzi 10.14.2.0
HIVE-25920	Náraz `Xerce2` na 2.12.2.
HIVE-26300	Upgrade verze vazby dat Jackson na verzi 2.12.6.1 nebo novější, abyste se vyhnuli CVE-2020-36518

Datum vydání: 10. 8. 2022

Tato verze platí pro HDInsight 4.0. Verze HDInsight je dostupná pro všechny oblasti za několik dní.

Nová funkce

1. Připojení externích disků v clusterech HDI Hadoop/Spark

Cluster HDInsight se dodává s předdefinovaným místem na disku na základě skladové položky. Tento prostor nemusí být dostatečný ve velkých scénářích úloh.

Tato nová funkce umožňuje přidat do clusteru další disky, které se používají jako místní adresář správce uzlů. Během vytváření clusteru HIVE a Spark přidejte počet disků do pracovních uzlů, zatímco vybrané disky jsou součástí místních adresářů správce uzlů.

Poznámka:

Přidané disky jsou nakonfigurovány pouze pro místní adresáře správce uzlů.

Další informace najdete tady.

2. Selektivní analýza protokolování

Selektivní analýza protokolování je teď dostupná ve všech oblastech pro verzi Public Preview. Cluster můžete připojit k pracovnímu prostoru služby Log Analytics. Po povolení můžete zobrazit protokoly a metriky, jako jsou protokoly zabezpečení SLUŽBY HDInsight, Resource Manager Yarn, systémové metriky atd. Můžete monitorovat úlohy a zjistit, jak ovlivňují stabilitu clusteru. Selektivní protokolování umožňuje povolit nebo zakázat všechny tabulky nebo povolit selektivní tabulky v pracovním prostoru služby Log Analytics. Typ zdroje pro každou tabulku můžete upravit, protože v nové verzi Ženevy monitoruje jedna tabulka více zdrojů.

Systém monitorování Ženevy používá mdsd (démon MDS), což je monitorovací agent a fluentd pro shromažďování protokolů pomocí sjednocené vrstvy protokolování.
Selektivní protokolování používá akci skriptu k zakázání nebo povolení tabulek a jejich typů protokolů. Vzhledem k tomu, že neotevře žádné nové porty ani nezmění žádné existující nastavení zabezpečení, neexistují žádné změny zabezpečení.
Akce skriptu se spouští paralelně na všech zadaných uzlech a mění konfigurační soubory pro zakázání nebo povolení tabulek a jejich typů protokolů.

Další informace najdete tady.

Pevný

Log Analytics

Služba Log Analytics integrovaná se službou Azure HDInsight s OMS verze 13 vyžaduje upgrade na OMS verze 14, aby bylo nutné použít nejnovější aktualizace zabezpečení. Zákazníci používající starší verzi clusteru s OMS verze 13 musí nainstalovat OMS verze 14, aby splnili požadavky na zabezpečení. (Jak zkontrolovat aktuální verzi a nainstalovat 14)

Jak zkontrolovat aktuální verzi OMS

Přihlaste se ke clusteru pomocí SSH.
V klientovi SSH spusťte následující příkaz.

sudo /opt/omi/bin/ominiserver/ --version

Snímek obrazovky znázorňující, jak zkontrolovat upgrade OMS

Postup upgradu verze OMS z verze 13 na 14

Přihlaste se k portálu Azure Portal.
Ve skupině prostředků vyberte prostředek clusteru HDInsight.
Výběr akcí skriptu
Na panelu akcí Odeslat skript zvolte jako vlastní typ skriptu.
Vložte následující odkaz do pole Adresa URL skriptu Bash. https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Výběr typů uzlů
Vyberte příkaz Vytvořit.

Snímek obrazovky znázorňující, jak provést upgrade OMS

Pomocí následujících kroků ověřte úspěšnou instalaci opravy:
Přihlaste se ke clusteru pomocí SSH.
V klientovi SSH spusťte následující příkaz.

sudo /opt/omi/bin/ominiserver/ --version

Další opravy chyb

Rozhraní příkazového řádku protokolu Yarn se nepovedlo načíst protokoly, pokud je nějaká TFile poškozená nebo prázdná.
Vyřešili jsme chybu s neplatnými podrobnostmi o instančním objektu při získávání tokenu OAuth z Azure Active Directory.
Vylepšili jsme spolehlivost vytváření clusterů při konfiguraci 100 nebo více pracovních uzlů.

Opravy chyb open source

Opravy chyb TEZ

Opravy chyb	Apache JIRA
Chyba sestavení Tez: FileSaver.js nenalezena	TEZ-4411
Chybná výjimka FS v případech, kdy je sklad a `scratchdir` nachází se v jiné službě FS	TEZ-4406
TezUtils.createConfFromByteString v konfiguraci větší než 32 MB vyvolá com.google.protobuf.CodedInputStream výjimka	TEZ-4142
TezUtils::createByteStringFromConf by měl místo DeflaterOutputStream používat snappy.	TEZ-4113
Aktualizace závislosti protobuf na verzi 3.x	TEZ-4363

Opravy chyb Hivu

Opravy chyb	Apache JIRA
Optimalizace výkonu v dělení ORC	HIVE-21457
Vyhněte se čtení tabulky jako ACID, pokud název tabulky začíná na "delta", ale tabulka není transakční a strategie rozdělení BI se používá.	HIVE-22582
Odebrání volání FS#exists z AcidUtils#getLogicalLength	HIVE-23533
Vectorized OrcAcidRowBatchReader.computeOffset a optimalizace kbelíku	HIVE-17917

Známé problémy

HDInsight je kompatibilní s Apache HIVE 3.1.2. Vzhledem k chybě v této verzi se verze Hive zobrazí jako verze 3.1.0 v rozhraních Hive. Na funkčnost ale nemá žádný vliv.

Datum vydání: 10. 8. 2022

Tato verze platí pro HDInsight 4.0. Verze HDInsight je dostupná pro všechny oblasti za několik dní.

Nová funkce

1. Připojení externích disků v clusterech HDI Hadoop/Spark

Cluster HDInsight se dodává s předdefinovaným místem na disku na základě skladové položky. Tento prostor nemusí být dostatečný ve velkých scénářích úloh.

Tato nová funkce umožňuje přidat do clusteru další disky, které se použijí jako místní adresář správce uzlů. Během vytváření clusteru HIVE a Spark přidejte počet disků do pracovních uzlů, zatímco vybrané disky jsou součástí místních adresářů správce uzlů.

Poznámka:

Přidané disky jsou nakonfigurovány pouze pro místní adresáře správce uzlů.

Další informace najdete tady.

2. Selektivní analýza protokolování

Systém monitorování Ženevy používá mdsd (démon MDS), což je monitorovací agent a fluentd pro shromažďování protokolů pomocí sjednocené vrstvy protokolování.
Selektivní protokolování používá akci skriptu k zakázání nebo povolení tabulek a jejich typů protokolů. Vzhledem k tomu, že neotevře žádné nové porty ani nezmění žádné existující nastavení zabezpečení, neexistují žádné změny zabezpečení.
Akce skriptu se spouští paralelně na všech zadaných uzlech a mění konfigurační soubory pro zakázání nebo povolení tabulek a jejich typů protokolů.

Další informace najdete tady.

Pevný

Log Analytics

Jak zkontrolovat aktuální verzi OMS

Přihlaste se ke clusteru pomocí SSH.
V klientovi SSH spusťte následující příkaz.

sudo /opt/omi/bin/ominiserver/ --version

Snímek obrazovky znázorňující, jak zkontrolovat upgrade OMS

Postup upgradu verze OMS z verze 13 na 14

Přihlaste se k portálu Azure Portal.
Ve skupině prostředků vyberte prostředek clusteru HDInsight.
Výběr akcí skriptu
Na panelu akcí Odeslat skript zvolte jako vlastní typ skriptu.
Vložte následující odkaz do pole Adresa URL skriptu Bash. https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Výběr typů uzlů
Vyberte příkaz Vytvořit.

Snímek obrazovky znázorňující, jak provést upgrade OMS

Pomocí následujících kroků ověřte úspěšnou instalaci opravy:
Přihlaste se ke clusteru pomocí SSH.
V klientovi SSH spusťte následující příkaz.

sudo /opt/omi/bin/ominiserver/ --version

Další opravy chyb

Rozhraní příkazového řádku protokolu Yarn se nepovedlo načíst protokoly, pokud je nějaká TFile poškozená nebo prázdná.
Vyřešili jsme chybu s neplatnými podrobnostmi o instančním objektu při získávání tokenu OAuth z Azure Active Directory.
Vylepšili jsme spolehlivost vytváření clusterů při konfiguraci 100 nebo více pracovních uzlů.

Opravy chyb open source

Opravy chyb TEZ

Opravy chyb	Apache JIRA
Chyba sestavení Tez: FileSaver.js nenalezena	TEZ-4411
Chybná výjimka FS v případech, kdy je sklad a `scratchdir` nachází se v jiné službě FS	TEZ-4406
TezUtils.createConfFromByteString v konfiguraci větší než 32 MB vyvolá com.google.protobuf.CodedInputStream výjimka	TEZ-4142
TezUtils::createByteStringFromConf by měl místo DeflaterOutputStream používat snappy.	TEZ-4113
Aktualizace závislosti protobuf na verzi 3.x	TEZ-4363

Opravy chyb Hivu

Opravy chyb	Apache JIRA
Optimalizace výkonu v dělení ORC	HIVE-21457
Vyhněte se čtení tabulky jako ACID, pokud název tabulky začíná na "delta", ale tabulka není transakční a strategie rozdělení BI se používá.	HIVE-22582
Odebrání volání FS#exists z AcidUtils#getLogicalLength	HIVE-23533
Vectorized OrcAcidRowBatchReader.computeOffset a optimalizace kbelíku	HIVE-17917

Známé problémy

HDInsight je kompatibilní s Apache HIVE 3.1.2. Vzhledem k chybě v této verzi se verze Hive zobrazí jako verze 3.1.0 v rozhraních Hive. Na funkčnost ale nemá žádný vliv.

Datum vydání: 3. 6. 2022

Tato verze platí pro HDInsight 4.0. Verze HDInsight je dostupná pro všechny oblasti za několik dní. Zde uvedené datum vydání označuje datum vydání první oblasti. Pokud se vám nezobrazují následující změny, počkejte, až bude vydaná verze aktivní ve vaší oblasti za několik dní.

Hlavní informace k vydání

Konektor Hive Warehouse (HWC) ve Sparku v3.1.2

Konektor Hive Warehouse (HWC) umožňuje využívat jedinečné funkce Hive a Sparku k vytváření výkonných aplikací pro velké objemy dat. HWC je aktuálně podporován pouze pro Spark verze 2.4. Tato funkce přidává obchodní hodnotu povolením transakcí ACID v tabulkách Hive pomocí Sparku. Tato funkce je užitečná pro zákazníky, kteří ve svých datových aktivech používají Hive i Spark. Další informace najdete v tématu Apache Spark a Hive – Konektor Hive Warehouse – Azure HDInsight | Microsoft Docs

Ambari

Změny vylepšení škálování a zřizování
Hive HDI je teď kompatibilní s operačním systémem verze 3.1.2

Verze HDI Hive 3.1 se upgraduje na OSS Hive 3.1.2. Tato verze obsahuje všechny opravy a funkce dostupné ve opensourcové verzi Hive 3.1.2.

Poznámka:

Spark

Pokud k vytvoření clusteru Spark pro HDInsight používáte uživatelské rozhraní Azure, zobrazí se v rozevíracím seznamu jiná verze Spark 3.1. (HDI 5.0) spolu se staršími verzemi. Tato verze je přejmenovaná verze Sparku 3.1. (HDI 4.0). Jedná se pouze o změnu na úrovni uživatelského rozhraní, která nemá vliv na nic pro stávající uživatele a uživatele, kteří už šablonu ARM používají.

Screenshot_of Spark 3.1 pro HDI 5.0.

Poznámka:

Interaktivní dotaz

Pokud vytváříte interaktivní cluster dotazů, uvidíte z rozevíracího seznamu jinou verzi interaktivního dotazu 3.1 (HDI 5.0).
Pokud budete používat verzi Spark 3.1 spolu s Hivem, která vyžaduje podporu ACID, musíte vybrat tuto verzi Interactive Query 3.1 (HDI 5.0).

Screenshot_of interaktivní dotaz 3.1 pro HDI 5.0.

Opravy chyb TEZ

Opravy chyb	Apache JIRA
TezUtils.createConfFromByteString v konfiguraci větší než 32 MB vyvolá com.google.protobuf.CodedInputStream výjimka	TEZ-4142
TezUtils createByteStringFromConf by měl místo DeflaterOutputStream používat snappy.	TEZ-4113

Opravy chyb HBase

Opravy chyb	Apache JIRA
TableSnapshotInputFormat by měl ke skenování použít ReadType.STREAM. `HFiles`	HBASE-26273
Přidání možnosti pro zakázání scanMetrics v TabulceSnapshotInputFormat	HBASE-26330
Oprava pro ArrayIndexOutOfBoundsException při spuštění nástroje pro vyrovnávání	HBASE-22739

Opravy chyb Hivu

Opravy chyb	Apache JIRA
NPE při vkládání dat s klauzulí "distribute by" s optimalizací řazení dynpart	HIVE-18284
Příkaz MSCK REPAIR s filtrováním oddílů selže při odstraňování oddílů	HIVE-23851
Při kapacitě =0 došlo k nesprávné výjimce<.	HIVE-25446
Podpora paralelního načítání pro HastTables – rozhraní	HIVE-25583
Zahrnout MultiDelimitSerDe ve výchozím nastavení HiveServer2	HIVE-20619
Odebrání glassfish.jersey a mssql-jdbc třídy z jdbc-standalone jar	HIVE-22134
Výjimka nulového ukazatele při spuštění komprimace v tabulce MM	HIVE-21280
Dotaz Hive s velkou velikostí prostřednictvím `knox` selhání s chybou selhání zápisu přerušeného kanálu	HIVE-22231
Přidání možnosti nastavení uživatele vazby	HIVE-21009
Implementace UDF pro interpretaci data a časového razítka pomocí interní reprezentace a hybridního kalendáře Gregorian-Julian	HIVE-22241
Možnost Beeline zobrazit nebo nezobrazovat sestavu spuštění	HIVE-22204
Tez: SplitGenerator se pokusí vyhledat soubory plánu, které neexistují pro Tez	HIVE-22169
Odebrání nákladného protokolování z mezipaměti LLAP `hotpath`	HIVE-22168
UDF: FunctionRegistry synchronizuje na org.apache.hadoop.hive.ql.udf.UDFType – třída	HIVE-22161
Zabránění vytvoření přidávacího modulu směrování dotazů, pokud je vlastnost nastavená na false	HIVE-22115
Odebrání synchronizace křížového dotazu pro dělenou val	HIVE-22106
Přeskočení nastavení pomocného diru Hive během plánování	HIVE-21182
Přeskočte vytváření pomocných dirů pro tez, pokud je rpc zapnutý	HIVE-21171
Přepnutí uživatelem definovaných funkcí Hivu pro použití `Re2J` modulu regulárních výrazů	HIVE-19661
Migrované clusterované tabulky pomocí bucketing_version 1 v Hive 3 používá pro vložení bucketing_version 2.	HIVE-22429
Dělení na kontejnery: Kontejnery verze 1 nesprávně rozdělují data	HIVE-21167
Přidání hlavičky licence ASF do nově přidaného souboru	HIVE-22498
Vylepšení nástrojů schémat pro podporu mergeCatalog	HIVE-22498
Hive s TEZ UNION ALL a UDTF vede ke ztrátě dat	HIVE-21915
Rozdělení textových souborů i v případě, že existuje záhlaví nebo zápatí	HIVE-21924
Funkce MultiDelimitSerDe vrátí nesprávné výsledky v posledním sloupci, pokud má načtený soubor více sloupců, než je v tabulkovém schématu.	HIVE-22360
Externí klient LLAP – Potřeba snížit nároky llapBaseInputFormat#getSplits()	HIVE-22221
Název sloupce s vyhrazeným klíčovým slovem se nepředloží, když se přepíše dotaz, včetně spojení v tabulce s maskou (Zoltan Matyus přes Zoltan Haindrich).	HIVE-22208
Zabránění vypnutí LLAP u `AMReporter` souvisejícího modulu RuntimeException	HIVE-22113
Ovladač stavové služby LLAP se může zaseknout s nesprávným ID aplikace Yarn	HIVE-21866
OperationManager.queryIdOperation nevyčistí správně více ID dotazů	HIVE-22275
Přenesení správce uzlů dolů blokuje restartování služby LLAP	HIVE-22219
StackOverflowError při zahazování velkého počtu oddílů	HIVE-15956
Kontrola přístupu se nezdařila, když se odebere dočasný adresář.	HIVE-22273
Oprava chybných výsledků / výjimka ArrayOutOfBound v levých vnějších mapových spojeních v konkrétních podmínkách hranic	HIVE-22120
Odebrání značky správy distribuce z pom.xml	HIVE-19667
Doba analýzy může být vysoká, pokud existují hluboko vnořené poddotazy.	HIVE-21980
Pro ALTER TABLE není NASTAVEN TBLPROPERTIES ('EXTERNAL'='TRUE'); `TBL_TYPE` změny atributu, které se nezobrazují pro jiné než CAPS	HIVE-20057
JDBC: Rozhraní HiveConnection odstínů `log4j`	HIVE-18874
Aktualizace adres URL úložiště ve `poms` větvi 3.1	HIVE-21786
`DBInstall` testy v hlavní větvi a větvi 3.1 byly přerušeny.	HIVE-21758
Načtení dat do kontejnerové tabulky ignoruje specifikace oddílů a načte data do výchozího oddílu.	HIVE-21564
Dotazy s podmínkou spojení s časovým razítkem nebo časovým razítkem s literálem místního časového pásma vyvolá výjimku SemanticException	HIVE-21613
Analýza výpočetních statistik pro sloupec, který ponechá přípravný dir v HDFS	HIVE-21342
Nekompatibilní změna v výpočtu kbelíku Hive	HIVE-21376
Poskytnutí náhradního autorizátoru, pokud se nepoužívá žádný jiný autorizaci	HIVE-20420
Některé vyvolání alterPartitions vyvolá výjimku NumberFormatException: null	HIVE-18767
HiveServer2: Předovězené předměty pro přenos http se v některých případech neuchovávají po celou dobu trvání komunikace http.	HIVE-20555

Datum vydání: 10. 3. 2022

Verze operačního systému pro tuto verzi jsou:

HDInsight 4.0: Ubuntu 18.04.5

Spark 3.1 je teď obecně dostupný

Spark 3.1 je teď obecně dostupný ve verzi HDInsight 4.0. Tato verze zahrnuje

Adaptivní spouštění dotazů,
Převod spojení sloučení řazení na všesměrové spojení hash,
Optimalizátor Spark Catalyst,
Dynamické vyřezávání oddílů
Zákazníci budou moct vytvářet nové clustery Spark 3.1, a ne clustery Spark 3.0 (Preview).

Další informace najdete v tématu Apache Spark 3.1 , který je nyní obecně dostupný ve službě HDInsight – Microsoft Tech Community.

Úplný seznam vylepšení najdete v poznámkách k verzi Apache Spark 3.1.

Další informace o migraci najdete v průvodci migrací.

Kafka 2.4 je teď obecně dostupný

Kafka 2.4.1 je teď obecně dostupný. Další informace najdete v poznámkách k verzi Kafka 2.4.1. Mezi další funkce patří dostupnost MirrorMakeru 2, nová kategorie metrik AtMinIsr téma oddílu, vylepšený čas spuštění zprostředkovatele opožděný na vyžádání mmap indexových souborů, další metriky příjemců sledovat chování dotazování uživatelů.

Datový typ mapování v HWC se teď podporuje ve službě HDInsight 4.0.

Tato verze zahrnuje podporu datových typů map pro HWC 1.0 (Spark 2.4) Prostřednictvím aplikace spark-shell a všech ostatních klientů Spark, které HWC podporuje. Následující vylepšení jsou zahrnutá stejně jako jiné datové typy:

Uživatel může

Vytvořte tabulku Hive s libovolnými sloupci obsahujícími datový typ Mapy, vložte do ní data a načtěte výsledky z ní.
Vytvořte datový rámec Apache Sparku s mapovým typem a proveďte dávkové/streamové čtení a zápisy.

Nové oblasti

HDInsight nyní rozšířil svou geografickou přítomnost na dvě nové oblasti: Čína – východ 3 a Čína – sever 3.

Změny backportu operačního systému

Backporty OSS, které jsou součástí Hivu, včetně HWC 1.0 (Spark 2.4), které podporují datový typ Mapy.

Tady jsou backportované apache JIRA operačního systému pro tuto verzi:

Ovlivněná funkce	Apache JIRA
Dotazy SQL s přímým úložištěm SQL s in/(NOT IN) by se měly rozdělit na základě maximálních parametrů povolených službou SQL DB.	HIVE-25659
Upgrade `log4j` verze 2.16.0 na verzi 2.17.0	HIVE-25825
Aktualizace `Flatbuffer` verze	HIVE-22827
Podpora datového typu Mapy nativně ve formátu Šipka	HIVE-25553
Externí klient LLAP – Zpracování vnořených hodnot, pokud nadřazená struktura má hodnotu null	HIVE-25243
Upgrade verze šipky na 0.11.0	HIVE-23987

Oznámení o vyřazení

Škálovací sady virtuálních počítačů Azure ve službě HDInsight

HDInsight už nebude ke zřizování clusterů používat škálovací sady virtuálních počítačů Azure, neočekává se žádná zásadní změna. Stávající clustery HDInsight ve škálovacích sadách virtuálních počítačů nemají žádný vliv. Žádné nové clustery na nejnovějších imagích už nebudou používat škálovací sady virtuálních počítačů.

Škálování úloh Azure HDInsight HBase se teď bude podporovat jenom pomocí ručního škálování.

Od 1. března 2022 bude HDInsight podporovat pouze ruční škálování pro HBase, nemá žádný vliv na spuštěné clustery. Nové clustery HBase nebudou moct povolit automatické škálování na základě plánu. Další informace o ručním škálování clusteru HBase najdete v naší dokumentaci k ručnímu škálování clusterů Azure HDInsight.

Datum vydání: 27. 12. 2021

Verze operačního systému pro tuto verzi jsou:

HDInsight 4.0: Ubuntu 18.04.5 LTS

Image HDInsight 4.0 byla aktualizována, aby se zmírnit Log4j ohrožení zabezpečení, jak je popsáno v odpovědi Společnosti Microsoft na CVE-2021-44228 Apache Log4j 2.

Poznámka:

Všechny clustery HDI 4.0 vytvořené po 27. prosince 2021 00:00 UTC se vytvoří s aktualizovanou verzí image, která snižuje log4j ohrožení zabezpečení. Zákazníci proto tyto clustery nemusí opravovat nebo restartovat.
Pro nové clustery HDInsight 4.0 vytvořené mezi 16. prosincem 2021 v 01:15 UTC a 27. prosince 2021 00:00 UTC, HDInsight 3.6 nebo v připnutých předplatných po 16. prosinci 2021 se oprava automaticky použije během hodiny, ve které se cluster vytvoří, ale zákazníci musí restartovat uzly, aby se opravy dokončily (s výjimkou uzlů pro správu Kafka, které se automaticky restartují).

Datum vydání: 27. 7. 2021

Tato verze platí pro HDInsight 3.6 i HDInsight 4.0. Verze HDInsight je dostupná pro všechny oblasti za několik dní. Zde uvedené datum vydání označuje datum vydání první oblasti. Pokud se vám nezobrazují následující změny, počkejte, až bude verze v dané oblasti aktivní za několik dní.

Verze operačního systému pro tuto verzi jsou:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Nové funkce

Podpora azure HDInsight pro omezené veřejné připojení je obecně dostupná 15. října 2021

Azure HDInsight teď podporuje omezené veřejné připojení ve všech oblastech. Níže jsou uvedeny některé z klíčových nejdůležitějších bodů této funkce:

Schopnost obrátit poskytovatele prostředků na komunikaci clusteru tak, aby byla odchozí z clusteru na poskytovatele prostředků
Podpora pro přenesení vlastních prostředků s podporou služby Private Link (například úložiště, SQL, trezor klíčů) pro cluster HDInsight pro přístup k prostředkům pouze přes privátní síť
Nejsou zřízeny žádné veřejné IP adresy.

Pomocí této nové funkce můžete také přeskočit pravidla značek příchozí skupiny zabezpečení sítě (NSG) pro IP adresy pro správu SLUŽBY HDInsight. Další informace o omezení veřejného připojení

Podpora služby Azure HDInsight pro Azure Private Link je obecně dostupná 15. října 2021

K připojení ke clusterům HDInsight přes privátní propojení teď můžete použít privátní koncové body. Privátní propojení je možné použít ve scénářích mezi virtuálními sítěmi, ve kterých není partnerský vztah virtuálních sítí dostupný nebo povolený.

Azure Private Link umožňuje přístup ke službám Azure PaaS (například Azure Storage a SQL Database) a službám Hostovaným zákazníkem nebo partnerským službám Azure přes privátní koncový bod ve vaší virtuální síti.

Provoz mezi vaší virtuální sítí a službou prochází páteřní sítí Microsoftu. Vystavení služby veřejnému internetu už není nutné.

Další informace o povolení privátního propojení 

Nové prostředí integrace služby Azure Monitor (Preview)

V této verzi bude nové prostředí integrace služby Azure Monitor ve verzi Preview v oblasti USA – východ a Západní Evropa. Další informace o novém prostředí služby Azure Monitor najdete tady.

Vyřazení z provozu

Verze HDInsight 3.6 je zastaralá od 1. října 2022.

Změny chování

HDInsight Interactive Query podporuje pouze automatické škálování založené na plánu.

Vzhledem k tomu, že scénáře zákazníků rostou vyspělejší a různorodější, zjistili jsme určitá omezení při automatickém škálování založeném na zatížení interaktivních dotazů (LLAP). Tato omezení jsou způsobená povahou dynamics dotazů LLAP, problémy s přesností budoucích předpovědí zatížení a problémy s redistribucí úloh plánovače LLAP. Vzhledem k těmto omezením můžou uživatelé v clusterech LLAP při povolení automatického škálování vidět pomalejší dotazy. Vliv na výkon může převažovat nad nákladové výhody automatického škálování.

Od července 2021 podporuje úloha Interactive Query v HDInsight pouze automatické škálování založené na plánu. U nových clusterů Interactive Query už nemůžete povolit automatické škálování založené na zatížení. Stávající spuštěné clustery můžou dál běžet se známými omezeními popsanými výše.

Microsoft doporučuje přejít na automatické škálování založené na plánu pro LLAP. Aktuální vzor využití clusteru můžete analyzovat prostřednictvím řídicího panelu Grafana Hive. Další informace najdete v tématu Automatické škálování clusterů Azure HDInsight.

Nadcházející změny

V nadcházejících verzích probíhají následující změny.

Odebere se integrovaná komponenta LLAP v clusteru ESP Spark.

Cluster HDInsight 4.0 ESP Spark má integrované komponenty LLAP spuštěné na obou hlavních uzlech. Komponenty LLAP v clusteru ESP Spark byly původně přidány pro HDInsight 3.6 ESP Spark, ale nemá žádný skutečný uživatelský případ pro HDInsight 4.0 ESP Spark. V příští vydané verzi naplánované v sep 2021 odebere HDInsight integrovanou komponentu LLAP z clusteru HDInsight 4.0 ESP Spark. Tato změna pomáhá přesměrovat úlohy hlavního uzlu a vyhnout se nejasnostem mezi typem clusteru ESP Spark a ESP Interactive Hive.

Nová oblast

USA – západ 3
Jio Indie – západ
Austrálie – střed

Změna verze komponenty

V této verzi byla změněna následující verze komponenty:

Verze ORC od 1.5.1 do 1.5.9

Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Back ported JIRA

Tady jsou back portované apache JIRA pro tuto verzi:

Ovlivněná funkce	Apache JIRA
Datum a časové razítko	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
Definovaná funkce definovaná uživatelem	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
Schéma tabulky	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
Správa úloh	HIVE-24201
Stlačení	HIVE-24882
	HIVE-23058
	HIVE-23046
Materializované zobrazení	HIVE-22566

Oprava cen pro virtuální počítače HDInsight `Dv2`

25. dubna 2021 byla opravena chyba s cenami pro Dv2 řadu virtuálních počítačů ve službě HDInsight. Chyba s cenami způsobila snížení poplatků na faktuře některých zákazníků před 25. dubnem a s opravou se ceny teď shodují s tím, co se inzerovalo na stránce s cenami SLUŽBY HDInsight, a cenovou kalkulačkou HDInsight. Chyba cen ovlivnila zákazníky v následujících oblastech, které používaly Dv2 virtuální počítače:

Střední Kanada
Kanada – východ
Východní Asie
Jižní Afrika – sever
Southeast Asia
Spojené arabské emiráty – střed

Od 25. dubna 2021 bude na vašem účtu opravená částka pro Dv2 virtuální počítače. Oznámení zákazníků se před změnou odeslala vlastníkům předplatného. K zobrazení správných nákladů na Dv2 virtuálních počítačích ve vaší oblasti můžete použít cenovou kalkulačku, stránku s cenami SLUŽBY HDInsight nebo okno Vytvořit cluster HDInsight na webu Azure Portal.

Od vás není potřeba žádná jiná akce. Oprava ceny bude platit pouze pro využití dne 25. dubna 2021 v zadaných oblastech, a ne na využití před tímto datem. Abyste měli jistotu, že máte nejvýkonnější a nákladově efektivní řešení, doporučujeme zkontrolovat ceny, VCPU a RAM pro vaše Dv2 clustery a porovnat Dv2 specifikace s Ev3 virtuálními počítači, abyste zjistili, jestli by vaše řešení mohlo těžit z využití některé z novějších řad virtuálních počítačů.

Datum vydání: 2. 6. 2021

Verze operačního systému pro tuto verzi jsou:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Nové funkce

Upgrade verze operačního systému

Jak je uvedeno v cyklu vydání Ubuntu, jádro Ubuntu 16.04 dosáhne konce životnosti (EOL) v dubnu 2021. V této verzi jsme začali zavádět novou image clusteru HDInsight 4.0 běžící na Ubuntu 18.04. Nově vytvořené clustery HDInsight 4.0 běží ve výchozím nastavení na Ubuntu 18.04 jednou k dispozici. Existující clustery na Ubuntu 16.04 běží stejně jako u plné podpory.

HDInsight 3.6 bude dál běžet na Ubuntu 16.04. Od 1. července 2021 se změní na základní podporu (ze standardní podpory). Další informace odatech Ubuntu 18.04 nebude podporováno pro HDInsight 3.6. Pokud chcete používat Ubuntu 18.04, budete muset své clustery migrovat do HDInsight 4.0.

Pokud chcete přesunout existující clustery HDInsight 4.0 do Ubuntu 18.04, musíte clustery odstranit a znovu vytvořit. Po zpřístupnění podpory Ubuntu 18.04 můžete clustery vytvořit nebo znovu vytvořit.

Po vytvoření nového clusteru můžete SSH do clusteru spustit a ověřit sudo lsb_release -a , že běží na Ubuntu 18.04. Před přechodem do produkčního prostředí doporučujeme nejprve otestovat své aplikace v testovacích předplatných.

Optimalizace škálování v clusterech s akcelerovanými zápisy HBase

HDInsight provedl některá vylepšení a optimalizace škálování pro clustery s podporou zrychleného zápisu HBase. Přečtěte si další informace o akcelerovaném zápisu HBase.

Vyřazení z provozu

V této verzi nedochází k žádnému vyřazení.

Změny chování

Zakázání Stardard_A5 velikosti virtuálního počítače jako hlavního uzlu pro HDInsight 4.0

Hlavní uzel clusteru HDInsight zodpovídá za inicializaci a správu clusteru. Standard_A5 velikost virtuálního počítače má problémy se spolehlivostí jako hlavní uzel pro HDInsight 4.0. Od této verze zákazníci nebudou moct vytvářet nové clustery s velikostí virtuálního počítače Standard_A5 jako hlavní uzel. Můžete použít další dva základní virtuální počítače, jako jsou E2_v3 nebo E2s_v3. Existující clustery se budou spouštět tak, jak jsou. Pro hlavní uzel se důrazně doporučuje čtyřjádrový virtuální počítač, který zajistí vysokou dostupnost a spolehlivost produkčních clusterů HDInsight.

Prostředek síťového rozhraní není viditelný pro clustery spuštěné ve škálovacích sadách virtuálních počítačů Azure

HDInsight se postupně migruje do škálovacích sad virtuálních počítačů Azure. Síťová rozhraní pro virtuální počítače už nejsou viditelná pro zákazníky pro clustery, které používají škálovací sady virtuálních počítačů Azure.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

HDInsight Interactive Query podporuje pouze automatické škálování založené na plánu.

Od července 2021 podporuje úloha Interactive Query v HDInsight pouze automatické škálování založené na plánu. U nových clusterů Interactive Query už nemůžete povolit automatické škálování. Stávající spuštěné clustery můžou dál běžet se známými omezeními popsanými výše.

Pojmenování hostitele virtuálního počítače se změní 1. července 2021.

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. Služba se postupně migruje do škálovacích sad virtuálních počítačů Azure. Tato migrace změní formát názvu plně kvalifikovaného názvu domény hostitele clusteru a čísla v názvu hostitele nebudou v posloupnosti zaručená. Pokud chcete získat názvy plně kvalifikovaných názvů domén pro každý uzel, vyhledejte názvy hostitelů uzlů clusteru.

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. Služba bude postupně migrovat do škálovacích sad virtuálních počítačů Azure. Celý proces může trvat měsíce. Po migraci oblastí a předplatných se nově vytvořené clustery HDInsight budou spouštět ve škálovacích sadách virtuálních počítačů bez akcí zákazníka. Neočekává se žádná změna způsobující chybu.

Datum vydání: 24. 3. 2021

Nové funkce

Spark 3.0 Preview

HDInsight přidal podporu Sparku 3.0.0 do HDInsight 4.0 jako funkci Preview.

Kafka 2.4 Preview

HDInsight přidala podporu Kafka 2.4.1 do HDInsight 4.0 jako funkce Preview.

`Eav4`-series support

HDInsight přidal Eav4v této verzi podporu -series.

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. Služba se postupně migruje do škálovacích sad virtuálních počítačů Azure. Celý proces může trvat měsíce. Po migraci oblastí a předplatných se nově vytvořené clustery HDInsight budou spouštět ve škálovacích sadách virtuálních počítačů bez akcí zákazníka. Neočekává se žádná změna způsobující chybu.

Vyřazení z provozu

V této verzi nedochází k žádnému vyřazení.

Změny chování

Výchozí verze clusteru se změní na 4.0.

Výchozí verze clusteru HDInsight se změní z verze 3.6 na 4.0. Další informace o dostupných verzích najdete v tématu Dostupné verze. Přečtěte si další informace o novinkách ve službě HDInsight 4.0.

Výchozí velikosti virtuálních počítačů clusteru se změní na `Ev3`-series.

Výchozí velikosti virtuálních počítačů clusteru se mění z D-series na Ev3-series. Tato změna platí pro hlavní uzly a pracovní uzly. Pokud se chcete této změně vyhnout, které mají vliv na testované pracovní postupy, zadejte velikosti virtuálních počítačů, které chcete použít v šabloně ARM.

Prostředek síťového rozhraní není viditelný pro clustery spuštěné ve škálovacích sadách virtuálních počítačů Azure

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

HDInsight Interactive Query podporuje pouze automatické škálování založené na plánu.

Vzhledem k tomu, že scénáře zákazníků rostou vyspělejší a různorodější, zjistili jsme určitá omezení při automatickém škálování založeném na zatížení interaktivních dotazů (LLAP). Tato omezení jsou způsobená povahou dynamics dotazů LLAP, problémy s přesností budoucích předpovědí zatížení a problémy s redistribucí úloh plánovače LLAP. Vzhledem k těmto omezením můžou uživatelé v clusterech LLAP při povolení automatického škálování vidět pomalejší dotazy. Dopad na výkon může převažovat nad nákladové výhody automatického škálování.

Od července 2021 podporuje úloha Interactive Query v HDInsight pouze automatické škálování založené na plánu. U nových clusterů Interactive Query už nemůžete povolit automatické škálování. Stávající spuštěné clustery můžou dál běžet se známými omezeními popsanými výše.

Upgrade verze operačního systému

Clustery HDInsight aktuálně běží na Ubuntu 16.04 LTS. Jak je uvedeno v cyklu vydání Ubuntu, jádro Ubuntu 16.04 dosáhne konce životnosti (EOL) v dubnu 2021. V květnu 2021 začneme zavádět novou image clusteru HDInsight 4.0 běžící na Ubuntu 18.04. Nově vytvořené clustery HDInsight 4.0 poběží ve výchozím nastavení na Ubuntu 18.04. Existující clustery na Ubuntu 16.04 budou fungovat stejně jako v plné podpoře.

HDInsight 3.6 bude dál běžet na Ubuntu 16.04. Do 30. června 2021 skončí standardní podpora a od 1. července 2021 se změní na základní podporu. Další informace odatech Ubuntu 18.04 nebude podporováno pro HDInsight 3.6. Pokud chcete používat Ubuntu 18.04, budete muset své clustery migrovat do HDInsight 4.0.

Pokud chcete přesunout existující clustery do Ubuntu 18.04, musíte clustery odstranit a znovu vytvořit. Jakmile bude podpora Ubuntu 18.04 k dispozici, naplánujte vytvoření nebo opětovné vytvoření clusteru. Po zpřístupnění nové image ve všech oblastech pošleme další oznámení.

Důrazně doporučujeme předem otestovat akce skriptů a vlastní aplikace nasazené na hraničních uzlech na virtuálním počítači s Ubuntu 18.04. Virtuální počítač s Ubuntu Linuxem můžete vytvořit na 18.04-LTS a pak vytvořit a použít pár klíčů SSH (Secure Shell) na virtuálním počítači ke spuštění a otestování akcí skriptů a vlastních aplikací nasazených na hraničních uzlech.

Zakázání Stardard_A5 velikosti virtuálního počítače jako hlavního uzlu pro HDInsight 4.0

Hlavní uzel clusteru HDInsight zodpovídá za inicializaci a správu clusteru. Standard_A5 velikost virtuálního počítače má problémy se spolehlivostí jako hlavní uzel pro HDInsight 4.0. Od příští verze v květnu 2021 zákazníci nebudou moct vytvářet nové clustery s velikostí Standard_A5 virtuálních počítačů jako hlavní uzel. Můžete použít i další 2jádrový virtuální počítače, jako jsou E2_v3 nebo E2s_v3. Existující clustery se budou spouštět tak, jak jsou. Virtuální počítač se 4 jádry důrazně doporučuje pro hlavní uzel, aby se zajistila vysoká dostupnost a spolehlivost produkčních clusterů HDInsight.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

Přidání podpory pro Spark 3.0.0 a Kafka 2.4.1 ve verzi Preview Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 2. 5. 2021

Nové funkce

Podpora řady Dav4

HDInsight v této verzi přidal podporu řady Dav4. Další informace o řady Dav4 najdete tady.

Obecná dostupnost proxy proxy serveru Kafka

Proxy server REST Kafka umožňuje interakci s clusterem Kafka prostřednictvím rozhraní REST API přes HTTPS. Proxy rest Kafka je od této verze obecně dostupné. Další informace o proxy serveru REST Kafka najdete tady.

Přechod na škálovací sady virtuálních počítačů Azure

Vyřazení z provozu

Zakázané velikosti virtuálních počítačů

Od 9. ledna 2021 bude HDInsight blokovat všechny zákazníky, kteří vytvářejí clustery pomocí standand_A8, standand_A9, standand_A10 a velikosti virtuálních počítačů standand_A11. Existující clustery se budou spouštět tak, jak jsou. Zvažte přechod na HDInsight 4.0, abyste se vyhnuli potenciálnímu přerušení systému nebo podpory.

Změny chování

Výchozí velikost virtuálního počítače clusteru se změní na `Ev3`-series

Výchozí velikosti virtuálních počítačů clusteru se změní z D-series na Ev3-series. Tato změna platí pro hlavní uzly a pracovní uzly. Pokud se chcete této změně vyhnout, které mají vliv na testované pracovní postupy, zadejte velikosti virtuálních počítačů, které chcete použít v šabloně ARM.

Prostředek síťového rozhraní není viditelný pro clustery spuštěné ve škálovacích sadách virtuálních počítačů Azure

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Výchozí verze clusteru se změní na 4.0.

Od února 2021 se výchozí verze clusteru HDInsight změní z verze 3.6 na 4.0. Další informace o dostupných verzích najdete v tématu Dostupné verze. Přečtěte si další informace o novinkách ve službě HDInsight 4.0.

Upgrade verze operačního systému

HDInsight upgraduje verzi operačního systému z Ubuntu 16.04 na verzi 18.04. Upgrade bude dokončen před dubnem 2021.

Konec podpory HDInsight 3.6 30. června 2021

HdInsight 3.6 bude ukončena podpora. Od 30. června 2021 nemůžou zákazníci vytvářet nové clustery HDInsight 3.6. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Zvažte přechod na HDInsight 4.0, abyste se vyhnuli potenciálnímu přerušení systému nebo podpory.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 11.18.2020

Nové funkce

Automatická obměně klíčů pro šifrování neaktivních uložených klíčů spravovaných zákazníkem

Od této verze můžou zákazníci pro šifrování neaktivních uložených klíčů spravovaných zákazníkem používat adresy URL šifrovacích klíčů bez verze Azure KeyValut. HDInsight klíče automaticky otočí, jakmile vyprší jejich platnost nebo se nahradí novými verzemi. Další podrobnosti najdete tady.

Možnost výběru různých velikostí virtuálních počítačů Zookeeper pro Spark, Hadoop a ML Services

HDInsight dříve nepodporuje přizpůsobení velikosti uzlu Zookeeper pro typy clusterů Spark, Hadoop a ML Services. Ve výchozím nastavení se A2_v2/A2 velikosti virtuálních počítačů, které jsou poskytovány zdarma. V této verzi můžete vybrat velikost virtuálního počítače Zookeeper, která je nejvhodnější pro váš scénář. Uzly Zookeeper s jinou velikostí virtuálního počítače než A2_v2/A2 se budou účtovat. virtuální počítače A2_v2 a A2 se stále účtují zdarma.

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. Od této verze bude služba postupně migrovat do škálovacích sad virtuálních počítačů Azure. Celý proces může trvat měsíce. Po migraci oblastí a předplatných se nově vytvořené clustery HDInsight budou spouštět ve škálovacích sadách virtuálních počítačů bez akcí zákazníka. Neočekává se žádná změna způsobující chybu.

Vyřazení z provozu

Vyřazení clusteru HDInsight 3.6 ML Services

Typ clusteru HDInsight 3.6 ML Services bude ukončen do 31. prosince 2020. Zákazníci nebudou moct po 31. prosinci 2020 vytvářet nové clustery 3.6 ML Services. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Tady zkontrolujte vypršení platnosti podpory pro verze HDInsight a typy clusterů.

Zakázané velikosti virtuálních počítačů

Od 16. listopadu 2020 zablokuje HDInsight novým zákazníkům vytváření clusterů pomocí standand_A8, standand_A9, standand_A10 a velikosti virtuálních počítačů standand_A11. Stávající zákazníci, kteří tyto velikosti virtuálních počítačů použili za poslední tři měsíce, nebudou ovlivněni. Od 9. ledna 2021 bude HDInsight blokovat všechny zákazníky, kteří vytvářejí clustery pomocí standand_A8, standand_A9, standand_A10 a velikosti virtuálních počítačů standand_A11. Existující clustery se budou spouštět tak, jak jsou. Zvažte přechod na HDInsight 4.0, abyste se vyhnuli potenciálnímu přerušení systému nebo podpory.

Změny chování

Přidání kontroly pravidel NSG před operací škálování

SLUŽBA HDInsight přidala skupiny zabezpečení sítě (NSG) a uživatelem definované trasy (UDR) při kontrole operace škálování. Stejné ověřování se provádí pro škálování clusteru kromě vytvoření clusteru. Toto ověřování pomáhá zabránit nepředvídatelným chybám. Pokud ověření neprojde, škálování selže. Další informace o tom, jak správně nakonfigurovat skupiny zabezpečení sítě a trasy definované uživatelem, najdete v tématu IP adresy pro správu služby HDInsight.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 11.9.2020

Nové funkce

HdInsight Identity Broker (HIB) je teď obecně dostupný.

Služba HDInsight Identity Broker (HIB), která umožňuje ověřování OAuth pro clustery ESP, je teď v této verzi obecně dostupná. Clustery HIB vytvořené po této verzi budou mít nejnovější funkce HIB:

Vysoká dostupnost
Podpora vícefaktorového ověřování (MFA)
Federovaní uživatelé se přihlašují bez synchronizace hodnot hash hesel do AAD-DS. Další informace najdete v dokumentaci HIB.

Přechod na škálovací sady virtuálních počítačů Azure

Vyřazení z provozu

Vyřazení clusteru HDInsight 3.6 ML Services

Typ clusteru HDInsight 3.6 ML Services bude ukončen do 31. prosince 2020. Zákazníci nebudou po 31. prosinci 2020 vytvářet nové clustery 3.6 ML Services. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Tady zkontrolujte vypršení platnosti podpory pro verze HDInsight a typy clusterů.

Zakázané velikosti virtuálních počítačů

Změny chování

V této verzi se nemění žádné chování.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Možnost výběru různých velikostí virtuálních počítačů Zookeeper pro Spark, Hadoop a ML Services

HDInsight dnes nepodporuje přizpůsobení velikosti uzlu Zookeeper pro typy clusterů Spark, Hadoop a ML Services. Ve výchozím nastavení se A2_v2/A2 velikosti virtuálních počítačů, které jsou poskytovány zdarma. V nadcházející verzi můžete vybrat velikost virtuálního počítače Zookeeper, která je pro váš scénář nejvhodnější. Uzly Zookeeper s jinou velikostí virtuálního počítače než A2_v2/A2 se budou účtovat. virtuální počítače A2_v2 a A2 se stále účtují zdarma.

Výchozí verze clusteru se změní na 4.0.

Od února 2021 se výchozí verze clusteru HDInsight změní z verze 3.6 na 4.0. Další informace o dostupných verzích najdete v podporovaných verzích. Další informace o novinkách ve službě HDInsight 4.0

Konec podpory HDInsight 3.6 30. června 2021

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Oprava potíží s restartováním virtuálních počítačů v clusteru

Problém s restartováním virtuálních počítačů v clusteru je opravený. K opětovnému restartování uzlů v clusteru můžete použít PowerShell nebo rozhraní REST API.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 10.8.2020

Nové funkce

Privátní clustery HDInsight bez veřejné IP adresy a privátního propojení (Preview)

HDInsight teď podporuje vytváření clusterů bez veřejné IP adresy a přístupu privátního propojení ke clusterům ve verzi Preview. Zákazníci můžou použít nové pokročilé nastavení sítě k vytvoření plně izolovaného clusteru bez veřejné IP adresy a použití vlastních privátních koncových bodů pro přístup ke clusteru.

Přechod na škálovací sady virtuálních počítačů Azure

Vyřazení z provozu

Vyřazení clusteru HDInsight 3.6 ML Services

Typ clusteru HDInsight 3.6 ML Services bude ukončen do 31. prosince 2020. Zákazníci po tom nebudou vytvářet nové clustery 3.6 ML Services. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Tady zkontrolujte vypršení platnosti podpory pro verze HDInsight a typy clusterů.

Změny chování

V této verzi se nemění žádné chování.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Možnost výběru různých velikostí virtuálních počítačů Zookeeper pro Spark, Hadoop a ML Services

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 28. 9. 2020

Nové funkce

Automatické škálování interaktivního dotazu s HDInsight 4.0 je teď obecně dostupné.

Automatické škálování pro typ clusteru Interactive Query je nyní obecné dostupné (GA) pro HDInsight 4.0. Všechny clustery Interactive Query 4.0 vytvořené po 27. srpnu 2020 budou mít podporu ga pro automatické škálování.

Cluster HBase podporuje Premium ADLS Gen2

HDInsight teď podporuje Premium ADLS Gen2 jako primární účet úložiště pro clustery HDInsight HBase 3.6 a 4.0. Společně s akcelerovanými zápisy můžete dosáhnout lepšího výkonu pro clustery HBase.

Distribuce oddílů Kafka v doménách selhání Azure

Doména selhání je logické seskupení základního hardwaru v datovém centru Azure. Všechny domény selhání sdílí společný zdroje napájení a síťový přepínač. Než hdInsight Kafka může ukládat všechny repliky oddílů do stejné domény selhání. Od této verze teď HDInsight podporuje automatickou distribuci oddílů Kafka na základě domén selhání Azure.

Šifrování během přenosu

Zákazníci můžou povolit šifrování při přenosu mezi uzly clusteru pomocí šifrování IPSec s klíči spravovanými platformou. Tuto možnost je možné povolit při vytváření clusteru. Další podrobnosti o tom, jak povolit šifrování během přenosu.

Šifrování na hostiteli

Když povolíte šifrování na hostiteli, data uložená na hostiteli virtuálního počítače se šifrují v klidovém stavu a toky zašifrované do služby úložiště. V této verzi můžete při vytváření clusteru povolit šifrování v hostiteli na dočasném datovém disku . Šifrování v hostiteli se podporuje jenom u určitých skladových položek virtuálních počítačů v omezených oblastech. HDInsight podporuje následující konfiguraci uzlů a skladové položky. Další podrobnosti o tom, jak povolit šifrování na hostiteli.

Přechod na škálovací sady virtuálních počítačů Azure

Vyřazení z provozu

Pro tuto verzi není žádné vyřazení.

Změny chování

V této verzi se nemění žádné chování.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Možnost výběru jiné skladové položky Zookeeper pro Spark, Hadoop a ML Services

HDInsight dnes nepodporuje změnu skladové položky Zookeeper pro typy clusterů Spark, Hadoop a ML Services. Používá skladovou položku A2_v2/A2 pro uzly Zookeeper a zákazníci se za ně neúčtují. V nadcházející verzi můžou zákazníci podle potřeby změnit skladovou položku Zookeeper pro Spark, Hadoop a ML Services. Uzly Zookeeper s jinou skladovou jednotkou než A2_v2/A2 se budou účtovat. Výchozí skladová položka bude i nadále A2_V2/A2 a bez poplatků.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 9. 8. 2020

Tato verze platí jenom pro HDInsight 4.0. Verze HDInsight je dostupná pro všechny oblasti za několik dní. Zde uvedené datum vydání označuje datum vydání první oblasti. Pokud se vám nezobrazují následující změny, počkejte, až bude verze v dané oblasti aktivní za několik dní.

Nové funkce

Podpora SparkCruise

SparkCruise je systém automatického opakovaného použití výpočtů pro Spark. Vybere běžné dílčí výrazy, které se mají materializovat na základě předchozí úlohy dotazu. SparkCruise materializuje tyto dílčí výrazy jako součást zpracování dotazů a opakovaného použití výpočtů se automaticky použije na pozadí. SparkCruise můžete využívat bez jakýchkoli úprav kódu Sparku.

Podpora zobrazení Hive pro HDInsight 4.0

Apache Ambari Hive View je navržený tak, aby vám pomohl vytvářet, optimalizovat a spouštět dotazy Hive z webového prohlížeče. Zobrazení Hive se nativně podporuje pro clustery HDInsight 4.0 počínaje touto verzí. Nevztahuje se na existující clustery. Abyste získali integrované zobrazení Hive, potřebujete cluster odstranit a vytvořit ho znovu.

Podpora zobrazení Tez pro HDInsight 4.0

Apache Tez View se používá ke sledování a ladění provádění úlohy Hive Tez. Tez View se od této verze nativně podporuje pro HDInsight 4.0. Nevztahuje se na existující clustery. Abyste získali integrované zobrazení Tez, musíte cluster odstranit a znovu vytvořit.

Vyřazení z provozu

Ukončení podpory Sparku 2.1 a 2.2 v clusteru HDInsight 3.6 Spark

Od 1. července 2020 nemůžou zákazníci vytvářet nové clustery Spark s Sparkem 2.1 a 2.2 ve službě HDInsight 3.6. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Zvažte přechod na Spark 2.3 ve službě HDInsight 3.6 do 30. června 2020, abyste se vyhnuli potenciálnímu přerušení systému nebo podpory.

Ukončení podpory Sparku 2.3 v clusteru HDInsight 4.0 Spark

Od 1. července 2020 nemůžou zákazníci vytvářet nové clustery Spark se Sparkem 2.3 ve službě HDInsight 4.0. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Zvažte přechod na Spark 2.4 v HDInsight 4.0 nejpozději do 30. června 2020, abyste se vyhnuli možnému přerušení služeb nebo podpory.

Ukončení podpory Kafka 1.1 v clusteru HDInsight 4.0 Kafka

Od 1. července 2020 zákazníci nebudou moct vytvářet nové clustery Kafka se systémem Kafka 1.1 ve službě HDInsight 4.0. Existující clustery budou fungovat stejně jako bez podpory od Microsoftu. Zvažte přechod na Kafka 2.1 v HDInsight 4.0 nejpozději do 30. června 2020, abyste se vyhnuli možnému přerušení služeb nebo podpory.

Změny chování

Změna verze zásobníku Ambari

V této verzi se verze Ambari změní z verze 2.x.x.x na 4.1. Verzi zásobníku (HDInsight 4.1) můžete ověřit v Ambari: Uživatelské > verze Ambari>.

Nadcházející změny

Žádné nadcházející zásadní změny, na které je potřeba věnovat pozornost.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Pod jiRA se pro Hive znovu portují:

Níže uvedené autority JIRA se pro HBase pře portují:

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Známé problémy

Na webu Azure Portal jsme opravili problém, kdy se uživatelům při vytváření clusteru Azure HDInsight s využitím typu ověřování SSH veřejného klíče zobrazovala chyba. Když uživatelé klikli na Zkontrolovat a vytvořit, zobrazila se jim chyba Nesmí obsahovat žádné tři po sobě jdoucí znaky z uživatelského jména SSH. Tento problém je opravený, ale může vyžadovat, abyste aktualizovali mezipaměť prohlížeče stisknutím kombinace kláves CTRL + F5, aby se načetlo opravené zobrazení. Alternativním řešením tohoto problému je vytvořit cluster pomocí šablony ARM.

Datum vydání: 13. 7. 2020

Tato verze platí pro HDInsight 3.6 i 4.0. Verze HDInsight je dostupná pro všechny oblasti za několik dní. Zde uvedené datum vydání označuje datum vydání první oblasti. Pokud se vám nezobrazují následující změny, počkejte, až bude verze v dané oblasti aktivní za několik dní.

Nové funkce

Podpora customer Lockboxu pro Microsoft Azure

Azure HDInsight teď podporuje Azure Customer Lockbox. Poskytuje rozhraní, které zákazníkům umožňuje kontrolovat a schvalovat nebo odmítat žádosti o přístup k datům zákazníků. Používá se, když technik Microsoftu potřebuje získat přístup k zákaznickým datům během žádosti o podporu. Další informace najdete v tématu Customer Lockbox pro Microsoft Azure.

Zásady koncového bodu služby pro úložiště

Zákazníci teď můžou v podsíti clusteru HDInsight používat zásady koncového bodu služby (SEP). Přečtěte si další informace o zásadách koncových bodů služby Azure.

Vyřazení z provozu

Ukončení podpory Sparku 2.1 a 2.2 v clusteru HDInsight 3.6 Spark

Ukončení podpory Sparku 2.3 v clusteru HDInsight 4.0 Spark

Ukončení podpory Kafka 1.1 v clusteru HDInsight 4.0 Kafka

Změny chování

Nemusíte věnovat pozornost žádným změnám chování.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Možnost výběru jiné skladové položky Zookeeper pro Spark, Hadoop a ML Services

HDInsight dnes nepodporuje změnu skladové položky Zookeeper pro typy clusterů Spark, Hadoop a ML Services. Používá skladovou položku A2_v2/A2 pro uzly Zookeeper a zákazníci se za ně neúčtují. V nadcházející verzi budou zákazníci moct podle potřeby změnit skladovou položku Zookeeper pro Spark, Hadoop a ML Services. Uzly Zookeeper s jinou skladovou jednotkou než A2_v2/A2 se budou účtovat. Výchozí skladová položka bude i nadále A2_V2/A2 a bez poplatků.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Oprava problému s konektorem Hive Warehouse

V předchozí verzi došlo k problému s použitelností konektoru Hive Warehouse. Tento problém je opravený.

Oprava potíží s zkrácením úvodních nul poznámkového bloku Zeppelin

Zeppelin nesprávně zkrátil úvodní nuly ve výstupu tabulky pro formát String. Tento problém jsme vyřešili v této verzi.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Datum vydání: 11. 6. 2020

Nové funkce

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. V této verzi začnou nově vytvořené clustery HDInsight používat škálovací sadu virtuálních počítačů Azure. Změna se postupně zavádí. Neměli byste očekávat žádnou zásadní změnu. Další informace o škálovacích sadách virtuálních počítačů Azure

Restartování virtuálních počítačů v clusteru HDInsight

V této verzi podporujeme restartování virtuálních počítačů v clusteru HDInsight za účelem restartování nereagujících uzlů. V současné době ho můžete provádět jenom prostřednictvím rozhraní API, podpory PowerShellu a rozhraní příkazového řádku. Další informace o rozhraní API najdete v tomto dokumentu.

Vyřazení z provozu

Ukončení podpory Sparku 2.1 a 2.2 v clusteru HDInsight 3.6 Spark

Ukončení podpory Sparku 2.3 v clusteru HDInsight 4.0 Spark

Ukončení podpory Kafka 1.1 v clusteru HDInsight 4.0 Kafka

Změny chování

Změna velikosti hlavního uzlu clusteru ESP Spark

Minimální povolená velikost hlavního uzlu pro cluster ESP Spark se změní na Standard_D13_V2. Virtuální počítače s nízkými jádry a pamětí, protože hlavní uzel může způsobit problémy s clusterem ESP kvůli relativně nízké kapacitě procesoru a paměti. Od verze používejte skladové položky vyšší než Standard_D13_V2 a Standard_E16_V3 jako hlavní uzel pro clustery ESP Spark.

Pro hlavní uzel se vyžaduje minimálně 4jádrový virtuální počítač.

Pro hlavní uzel se vyžaduje minimálně 4jádrový virtuální počítač, aby se zajistila vysoká dostupnost a spolehlivost clusterů HDInsight. Od 6. dubna 2020 můžou zákazníci jako hlavní uzel pro nové clustery HDInsight zvolit pouze 4 jádra nebo vyšší virtuální počítač. Existující clustery budou i nadále fungovat podle očekávání.

Změna zřizování pracovních uzlů clusteru

Jakmile je připraveno 80 % pracovních uzlů, cluster přejde do provozní fáze. V této fázi můžou zákazníci provádět všechny operace roviny dat, jako jsou spouštění skriptů a úloh. Zákazníci ale nemůžou provádět žádnou operaci řídicí roviny, jako je vertikální navýšení nebo snížení kapacity. Podporuje se pouze odstranění.

Po provozní fázi cluster počká dalších 60 minut na zbývajících 20% pracovních uzlů. Na konci tohoto 60minutového období se cluster přesune do spuštěné fáze, i když všechny pracovní uzly nejsou stále dostupné. Jakmile cluster přejde do spuštěné fáze, můžete ho použít jako normální. Akce řídicího plánu, jako je vertikální navýšení/snížení kapacity, a operace datového plánu, jako jsou spuštěné skripty a úlohy, se přijímají. Pokud některé požadované pracovní uzly nejsou k dispozici, cluster se označí jako částečný úspěch. Za uzly, které byly úspěšně nasazeny, se vám účtují poplatky.

Vytvoření nového instančního objektu prostřednictvím SLUŽBY HDInsight

Dříve s vytvářením clusteru můžou zákazníci vytvořit nový instanční objekt pro přístup k připojenému účtu ADLS Gen1 na webu Azure Portal. Od 15. června 2020 není vytváření nového instančního objektu v pracovním postupu vytváření HDInsight možné, podporuje se pouze existující instanční objekt. Viz Vytvoření instančního objektu a certifikátů pomocí Azure Active Directory.

Vypršení časového limitu pro akce skriptu s vytvořením clusteru

HDInsight podporuje spouštění akcí skriptů při vytváření clusteru. Od této verze musí všechny akce skriptů s vytvářením clusteru dokončit do 60 minut nebo vyprší jejich časový limit. Akce skriptu odeslané do spuštěných clusterů nemají vliv. Další podrobnosti najdete tady.

Nadcházející změny

Žádné nadcházející zásadní změny, na které je potřeba věnovat pozornost.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

HBase 2.0 až 2.1.6

Verze HBase se upgraduje z verze 2.0 na 2.1.6.

Spark 2.4.0 až 2.4.4

Verze Sparku se upgraduje z verze 2.4.0 na 2.4.4.

Kafka 2.1.0 až 2.1.1

Verze Kafka se upgraduje z verze 2.1.0 na 2.1.1.

Aktuální verze komponent pro HDInsight 4.0 ad HDInsight 3.6 najdete v tomto dokumentu.

Známé problémy

Problém s konektorem Hive Warehouse

V této verzi došlo k problému s konektorem Hive Warehouse. Oprava bude zahrnuta v příští verzi. Stávající clustery vytvořené před touto verzí nejsou ovlivněny. Pokud je to možné, vyhněte se vyřazování a opětovnému vytvoření clusteru. Pokud potřebujete další pomoc, otevřete lístek podpory.

Datum vydání: 9. 9. 2020

Nové funkce

Vynucení protokolu TLS 1.2

Protokoly TLS (Transport Layer Security) a SSL (Secure Sockets Layer) jsou kryptografické protokoly, které zajišťují zabezpečení komunikace v počítačové síti. Přečtěte si další informace o protokolu TLS. HDInsight používá protokol TLS 1.2 na veřejných koncových bodech HTTP, ale protokol TLS 1.1 je stále podporovaný kvůli zpětné kompatibilitě.

V této verzi se zákazníci můžou přihlásit k protokolu TLS 1.2 pouze pro všechna připojení prostřednictvím koncového bodu veřejného clusteru. Pro podporu tohoto problému se zavádí nová vlastnost minSupportedTlsVersion a lze ji zadat během vytváření clusteru. Pokud vlastnost není nastavená, cluster stále podporuje protokol TLS 1.0, 1.1 a 1.2, což je stejné jako dnešní chování. Zákazníci můžou nastavit hodnotu této vlastnosti na 1.2, což znamená, že cluster podporuje pouze protokol TLS 1.2 a vyšší. Další informace naleznete v tématu Transport Layer Security.

Používání vlastního klíče pro šifrování disků

Všechny spravované disky v HDInsight jsou chráněné šifrováním služby Azure Storage (SSE). Data na těchto discích jsou ve výchozím nastavení šifrovaná klíči spravovanými Microsoftem. Od této verze můžete použít byOK (Bring Your Own Key) pro šifrování disků a spravovat ho pomocí služby Azure Key Vault. Šifrování BYOK je konfigurace jednoho kroku během vytváření clusteru bez dalších nákladů. Stačí zaregistrovat HDInsight jako spravovanou identitu ve službě Azure Key Vault a přidat šifrovací klíč při vytváření clusteru. Další informace najdete v tématu Šifrování disku spravovaného zákazníkem.

Vyřazení z provozu

Žádné vyřazení pro tuto verzi. Pokud se chcete připravit na nadcházející vyřazení, podívejte se na nadcházející změny.

Změny chování

V této verzi se nemění žádné chování. Pokud se chcete připravit na nadcházející změny, podívejte se na nadcházející změny.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Ukončení podpory Sparku 2.1 a 2.2 v clusteru HDInsight 3.6 Spark

Od 1. července 2020 zákazníci nebudou moct vytvářet nové clustery Spark se Sparkem 2.1 a 2.2 ve službě HDInsight 3.6. Stávající clustery budou fungovat beze změny, jen bez podpory Microsoftu. Zvažte přechod na Spark 2.3 v HDInsight 3.6 nejpozději do 30. června 2020, abyste se vyhnuli možnému přerušení služeb nebo podpory.

Ukončení podpory Sparku 2.3 v clusteru HDInsight 4.0 Spark

Od 1. července 2020 zákazníci nebudou moct vytvářet nové clustery Spark se Sparkem 2.3 ve službě HDInsight 4.0. Stávající clustery budou fungovat beze změny, jen bez podpory Microsoftu. Zvažte přechod na Spark 2.4 v HDInsight 4.0 nejpozději do 30. června 2020, abyste se vyhnuli možnému přerušení služeb nebo podpory.

Ukončení podpory Kafka 1.1 v clusteru HDInsight 4.0 Kafka

Od 1. července 2020 zákazníci nebudou moct vytvářet nové clustery Kafka se systémem Kafka 1.1 ve službě HDInsight 4.0. Stávající clustery budou fungovat beze změny, jen bez podpory Microsoftu. Zvažte přechod na Kafka 2.1 v HDInsight 4.0 nejpozději do 30. června 2020, abyste se vyhnuli možnému přerušení služeb nebo podpory. Další informace najdete v tématu Migrace úloh Apache Kafka do služby Azure HDInsight 4.0.

HBase 2.0 až 2.1.6

V nadcházející verzi HDInsight 4.0 se upgraduje verze HBase z verze 2.0 na 2.1.6.

Spark 2.4.0 až 2.4.4

V nadcházející verzi HDInsight 4.0 se upgraduje verze Sparku z verze 2.4.0 na 2.4.4.

Kafka 2.1.0 až 2.1.1

V nadcházející verzi HDInsight 4.0 se upgraduje verze Kafka z verze 2.1.0 na 2.1.1.

Pro hlavní uzel se vyžaduje minimálně 4jádrový virtuální počítač.

Změna velikosti uzlu clusteru ESP Spark

V nadcházející verzi se minimální povolená velikost uzlu pro cluster ESP Spark změní na Standard_D13_V2. Virtuální počítače řady A-Series můžou způsobit problémy s clusterem ESP kvůli relativně nízké kapacitě procesoru a paměti. Virtuální počítače řady A-Series budou zastaralé pro vytváření nových clusterů ESP.

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. V nadcházející verzi bude HDInsight místo toho používat škálovací sady virtuálních počítačů Azure. Další informace o škálovacích sadách virtuálních počítačů Azure

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

Žádná změna verze komponenty pro tuto verzi. Aktuální verze komponent pro HDInsight 4.0 ad HDInsight 3.6 najdete tady.

Datum vydání: 12.17.2019

Tato verze platí pro HDInsight 3.6 i 4.0.

Nové funkce

Značky služeb

Značky služeb zjednodušují zabezpečení virtuálních počítačů Azure a virtuálních sítí Azure tím, že umožňují snadno omezit síťový přístup ke službám Azure. Značky služeb v pravidlech skupiny zabezpečení sítě (NSG) můžete použít k povolení nebo zamítnutí provozu do konkrétní služby Azure globálně nebo v jednotlivých oblastech Azure. Azure poskytuje údržbu IP adres podkladových každé značky. Značky služeb HDInsight pro skupiny zabezpečení sítě (NSG) jsou skupiny IP adres pro služby stavu a správy. Tyto skupiny pomáhají minimalizovat složitost vytváření pravidel zabezpečení. Zákazníci HDInsight můžou značky služeb povolit prostřednictvím webu Azure Portal, PowerShellu a rozhraní REST API. Další informace najdete v tématu Značky služeb skupiny zabezpečení sítě (NSG) pro Azure HDInsight.

Vlastní Ambari DB

HDInsight teď umožňuje používat vlastní databázi SQL pro Apache Ambari. Tuto vlastní databázi Ambari můžete nakonfigurovat z webu Azure Portal nebo prostřednictvím šablony Resource Manageru. Tato funkce umožňuje zvolit správnou databázi SQL pro potřeby zpracování a kapacity. Můžete také snadno upgradovat tak, aby odpovídal požadavkům obchodního růstu. Další informace najdete v tématu Nastavení clusterů HDInsight s vlastní databází Ambari.

Vlastní databáze Ambari

Vyřazení z provozu

Žádné vyřazení pro tuto verzi. Pokud se chcete připravit na nadcházející vyřazení, podívejte se na nadcházející změny.

Změny chování

V této verzi se nemění žádné chování. Pokud se chcete připravit na nadcházející změny chování, podívejte se na nadcházející změny.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Vynucení protokolu TLS (Transport Layer Security) 1.2

Protokoly TLS (Transport Layer Security) a SSL (Secure Sockets Layer) jsou kryptografické protokoly, které zajišťují zabezpečení komunikace v počítačové síti. Další informace naleznete v tématu Transport Layer Security. Zatímco clustery Azure HDInsight přijímají připojení TLS 1.2 na veřejných koncových bodech HTTPS, protokol TLS 1.1 se stále podporuje kvůli zpětné kompatibilitě se staršími klienty.

Od příští verze budete moci vyjádřit výslovný souhlas a nakonfigurovat nové clustery HDInsight tak, aby přijímaly pouze připojení TLS 1.2.

Později v roce od 30. 6. 2020 vynutí Azure HDInsight pro všechna připojení HTTPS protokol TLS 1.2 nebo novější verze. Doporučujeme, abyste zajistili, že všichni vaši klienti jsou připravení zvládnout TLS 1.2 nebo novější verze.

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. Od února 2020 (přesné datum bude předáno později), HDInsight místo toho použije škálovací sady virtuálních počítačů Azure. Další informace o škálovacích sadách virtuálních počítačů Azure

Změna velikosti uzlu clusteru ESP Spark

V nadcházející verzi:

Minimální povolená velikost uzlu pro cluster ESP Spark se změní na Standard_D13_V2.
Virtuální počítače řady A-Series budou pro vytváření nových clusterů ESP zastaralé, protože virtuální počítače řady A-series můžou způsobit problémy s clusterem ESP kvůli relativně nízké kapacitě procesoru a paměti.

HBase 2.0 až 2.1

V nadcházející verzi HDInsight 4.0 se upgraduje verze HBase z verze 2.0 na 2.1.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

Rozšířili jsme podporu HDInsight 3.6 na 31. prosince 2020. Další podrobnosti najdete v podporovaných verzích HDInsight.

Žádná změna verze komponenty pro HDInsight 4.0

Apache Zeppelin ve službě HDInsight 3.6: 0.7.0-->0.7.3.

Nejnovější verze komponent najdete v tomto dokumentu.

Nové oblasti

Spojené arabské emiráty – sever

IP adresy správy Spojených arabských emirátů – sever jsou: 65.52.252.96 a 65.52.252.97.

Datum vydání: 11.7.2019

Tato verze platí pro HDInsight 3.6 i 4.0.

Nové funkce

HIB (HDInsight Identity Broker) (Preview)

HdInsight Identity Broker (HIB) umožňuje uživatelům přihlásit se k Apache Ambari pomocí vícefaktorového ověřování (MFA) a získat požadované lístky Kerberos, aniž by potřebovali hodnoty hash hesel ve službě Azure Doména služby Active Directory Services (AAD-DS). V současné době je HIB dostupný jenom pro clustery nasazené prostřednictvím šablony Azure Resource Management (ARM).

Proxy rozhraní REST API Kafka (Preview)

Proxy rozhraní KAFKA REST API poskytuje nasazení vysoce dostupného proxy serveru REST s clusterem Kafka prostřednictvím zabezpečené autorizace Azure AD a protokolu OAuth.

Automatické škálování

Automatické škálování pro Azure HDInsight je teď obecně dostupné ve všech oblastech pro typy clusterů Apache Spark a Hadoop. Tato funkce umožňuje spravovat úlohy analýzy velkých objemů dat nákladově efektivnějším a produktivním způsobem. Teď můžete optimalizovat využití clusterů HDInsight a platit jenom za to, co potřebujete.

V závislosti na vašich požadavcích můžete volit mezi automatickým škálováním na základě zatížení, nebo na základě plánu. Automatické škálování na základě zatížení může vertikálně navýšit a snížit velikost clusteru na základě aktuálních potřeb prostředků, zatímco automatické škálování založené na plánu může změnit velikost clusteru na základě předdefinovaného plánu.

Podpora automatického škálování pro úlohy HBase a LLAP je také veřejná verze Preview. Další informace najdete v tématu Automatické škálování clusterů Azure HDInsight.

Zrychlené zápisy HDInsight pro Apache HBase

Zrychlené zápisy s využitím spravovaných disků Azure SSD úrovně Premium zvyšují výkon dopředného protokolování Apache HBase. Další informace najdete v tématu Zrychlené zápisy služby Azure HDInsight pro Apache HBase.

Vlastní Ambari DB

HDInsight teď nabízí novou kapacitu, která zákazníkům umožní používat vlastní databázi SQL pro Ambari. Zákazníci si teď můžou zvolit správnou databázi SQL pro Ambari a snadno ji upgradovat na základě vlastního požadavku na obchodní růst. Nasazení se provádí pomocí šablony Azure Resource Manageru. Další informace najdete v tématu Nastavení clusterů HDInsight s vlastní databází Ambari.

Virtuální počítače řady F-series jsou nyní k dispozici ve službě HDInsight.

Virtuální počítače řady F-series jsou dobrou volbou pro zahájení práce se službou HDInsight s požadavky na zpracování světla. Za nižší cenu ceníku za hodinu jsou řada F-series nejlepší hodnotou v cenovém výkonu v portfoliu Azure na základě výpočetní jednotky Azure (ACU) na vCPU. Další informace najdete v tématu Výběr správné velikosti virtuálního počítače pro váš cluster Azure HDInsight.

Vyřazení z provozu

Vyřazení virtuálního počítače řady G

Od této verze se virtuální počítače řady G-series už ve službě HDInsight nenabízí.

`Dv1` Vyřazení virtuálního počítače

V této verzi je použití virtuálních Dv1 počítačů se službou HDInsight zastaralé. Každá žádost o Dv1 zákazníka se bude obsluhovat Dv2 automaticky. Mezi virtuálními počítači Dv2 není žádný rozdíl v Dv1 cenách.

Změny chování

Změna velikosti spravovaného disku clusteru

HDInsight poskytuje spravované místo na disku clusteru. V této verzi se velikost spravovaného disku každého uzlu v novém vytvořeném clusteru změní na 128 GB.

Nadcházející změny

V nadcházejících verzích budou probíhat následující změny.

Přechod na škálovací sady virtuálních počítačů Azure

HDInsight teď ke zřízení clusteru používá virtuální počítače Azure. Od prosince bude HDInsight místo toho používat škálovací sady virtuálních počítačů Azure. Další informace o škálovacích sadách virtuálních počítačů Azure

HBase 2.0 až 2.1

V nadcházející verzi HDInsight 4.0 se upgraduje verze HBase z verze 2.0 na 2.1.

Vyřazení virtuálního počítače řady A-Series pro cluster ESP

Virtuální počítače řady A-Series můžou způsobit problémy s clusterem ESP kvůli relativně nízké kapacitě procesoru a paměti. V nadcházející verzi budou virtuální počítače řady A-series zastaralé pro vytváření nových clusterů ESP.

Opravy chyb

HDInsight nadále vylepšuje spolehlivost a výkon clusteru.

Změna verze komponenty

V této verzi není žádná změna verze komponenty. Aktuální verze komponent pro HDInsight 4.0 a HDInsight 3.6 najdete tady.

Datum vydání: 7. 8. 2019

Verze komponent

Níže jsou uvedeny oficiální verze Apache všech komponent HDInsight 4.0. Uvedené komponenty jsou verze nejnovějších stabilních verzí, které jsou k dispozici.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Novější verze komponent Apache jsou někdy součástí distribuce HDP kromě výše uvedených verzí. V tomto případě jsou tyto novější verze uvedené v tabulce Technical Previews a neměly by nahradit verze součástí Apache výše uvedeného seznamu v produkčním prostředí.

Informace o opravách Apache

Další informace o opravách dostupných v HDInsight 4.0 najdete v seznamu oprav pro každý produkt v následující tabulce.

Název produktu	Informace o opravách
Ambari	Informace o opravách Ambari
Hadoop	Informace o opravách Hadoopu
HBase	Informace o opravách HBase
Hive	Tato verze poskytuje Hive 3.1.0 bez dalších oprav Apache.
Kafka	Tato verze poskytuje Platformu Kafka 1.1.1 bez dalších oprav Apache.
Oozie	Informace o opravách Oozie
Phoenix	Phoenix patch information
Pig	Informace o opravě pigu
Ranger	Informace o opravách Rangeru
Spark	Informace o opravách Sparku
Sqoop	Tato verze poskytuje Sqoop 1.4.7 bez dalších oprav Apache.
Tez	Tato verze poskytuje Tez 0.9.1 bez dalších oprav Apache.
Zeppelin	Tato verze poskytuje Zeppelin 0.8.0 bez dalších oprav Apache.
Zookeeper	Informace o opravách Zookeeperu

Oprava běžných ohrožení zabezpečení a ohrožení zabezpečení

Další informace o problémech se zabezpečením vyřešených v této verzi najdete v tématu Hortonworks Opravená běžná ohrožení zabezpečení a expozice HDP 3.0.1.

Známé problémy

Replikace je pro Secure HBase poškozená s výchozí instalací

Pro HDInsight 4.0 proveďte následující kroky:

Povolte komunikaci mezi clustery.
Přihlaste se k aktivnímu hlavnímu uzlu.

Stáhněte skript, který povolí replikaci pomocí následujícího příkazu:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Zadejte příkaz sudo kinit <domainuser>.

Zadáním následujícího příkazu spusťte skript:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Pro HDInsight 3.6

Přihlaste se k aktivnímu HMaster ZK.

Stáhněte skript, který povolí replikaci pomocí následujícího příkazu:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Zadejte příkaz sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Zadejte následující příkaz:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

Phoenix Sqlline přestane fungovat po migraci clusteru HBase do HDInsight 4.0

Proveďte následující kroky:

Odstraňte následující tabulky Phoenix:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Pokud nemůžete odstranit žádnou z tabulek, restartujte HBase a vymažte všechna připojení k tabulkám.
Spusťte sqlline.py znovu. Phoenix znovu vytvoří všechny tabulky, které byly odstraněny v kroku 1.
Znovu vygenerujte tabulky a zobrazení Phoenixu pro data HBase.

Phoenix Sqlline přestane fungovat po replikaci metadat HBase Phoenix ze služby HDInsight 3.6 na 4.0

Proveďte následující kroky:

Než provedete replikaci, přejděte do cílového clusteru 4.0 a spusťte sqlline.py. Tento příkaz vygeneruje tabulky Phoenix, jako SYSTEM.MUTEX SYSTEM.LOG jsou tabulky, které existují pouze ve verzi 4.0.
Odstraňte následující tabulky:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
Spuštění replikace HBase

Vyřazení z provozu

Ve službě HDInsight 4.0 nejsou dostupné služby Apache Storm a ML.

Datum vydání: 14. 4. 2019

Nové funkce

Nové aktualizace a možnosti spadají do následujících kategorií:

Aktualizace Hadoopu a dalších opensourcových projektů – kromě 1000 a dalších oprav chyb v rámci 20 opensourcových projektů obsahuje tato aktualizace novou verzi Sparku (2.3) a Kafka (1.0).

a. Nové funkce v Apache Sparku 2.3

b. Nové funkce v Apache Kafka 1.0
Aktualizace R Serveru 9.1 na Machine Learning Services 9.3 – V této verzi poskytujeme datovým vědcům a inženýrům to nejlepší z opensourcových technologií vylepšených algoritmickými inovacemi a jednoduchostí zprovoznění, a to vše dostupné v jejich preferovaném jazyce s rychlostí Apache Sparku. Tato verze rozšiřuje možnosti nabízené v R Serveru s přidanou podporou Pythonu, což vede ke změně názvu clusteru z R Serveru na SLUŽBU ML Services.
Podpora pro Azure Data Lake Storage Gen2 – HDInsight bude podporovat verzi Preview služby Azure Data Lake Storage Gen2. V dostupných oblastech si zákazníci budou moct zvolit účet ADLS Gen2 jako primární nebo sekundární úložiště pro své clustery HDInsight.
Aktualizace balíčků zabezpečení služby HDInsight Enterprise (Preview) – (Preview) – podpora koncových bodů služeb virtuální sítě pro Azure Blob Storage, ADLS Gen1, Azure Cosmos DB a Azure DB.

Verze komponent

Oficiální verze Apache všech komponent HDInsight 3.6 jsou uvedené níže. Všechny zde uvedené komponenty jsou oficiální verze Apache nejnovějších stabilních verzí, které jsou k dispozici.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Novější verze několika komponent Apache jsou někdy součástí distribuce HDP kromě výše uvedených verzí. V tomto případě jsou tyto novější verze uvedené v tabulce Technical Previews a neměly by nahradit verze součástí Apache výše uvedeného seznamu v produkčním prostředí.

Informace o opravách Apache

Hadoop

Tato verze poskytuje Hadoop Common 2.7.3 a následující opravy Apache:

HADOOP-13190: Zmiňte LoadBalancingKMSClientProvider v dokumentaci ke službě KMS HA.
HADOOP-13227: AsyncCallHandler by měl ke zpracování asynchronních volání použít architekturu řízenou událostmi.
HADOOP-14104: Klient by měl vždy požádat názvový uzel na cestu poskytovatele kms.
HADOOP-14799: Aktualizujte nimbus-jose-jwt na verzi 4.41.1.
HADOOP-14814: Oprava nekompatibilní změny rozhraní API na FsServerDefaults na HADOOP-14104
HADOOP-14903: Explicitně přidejte json-smart do pom.xml.
HADOOP-15042: Azure PageBlobInputStream.skip() může vrátit zápornou hodnotu, pokud je numberOfPagesRemaining 0.
HADOOP-15255: Podpora převodu velkých a malých písmen pro názvy skupin v LdapGroupsMapping.
HADOOP-15265: Vylučte z pom.xml hadoop-auth explicitně json-smart.
HDFS-7922: ShortCircuitCache#close neuvolní ScheduledThreadPoolExecutors.
HDFS-8496: Volání stopWriter() se zámkem FSDatasetImpl může blokovat další vlákna (cmccabe).
HDFS-10267: Extra "synchronizováno" na FsDatasetImpl#recoverAppend a FsDatasetImpl#recoverClose.
HDFS-10489: Vyřazení dfs.encryption.key.provider.uri pro zóny šifrování HDFS
HDFS-11384: Přidejte možnost pro nástroj pro vyrovnávání, která mají rozptylovat volání getBlocks, aby se zabránilo rpc uzlu NameNode. CallQueueLength špička.
HDFS-11689: Nová výjimka vyvolaná kódem hacky DFSClient%isHDFSEncryptionEnabled Hive.
HDFS-11711: Dn by neměl odstranit blok Při výjimce Příliš mnoho otevřených souborů.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay často selže.
HDFS-12781: Po Datanode vypnutí Namenode se na kartě Uživatelského rozhraní Datanode zobrazuje zpráva s upozorněním.
HDFS-13054: Zpracování PathIsNotEmptyDirectoryException při DFSClient volání delete.
HDFS-13120: Rozdíl snímků může být po zřetězení poškozen.
YARN-3742: RM YARN se vypne, pokud ZKClient vyprší časový limit vytváření.
YARN-6061: Přidejte uncaughtExceptionHandler pro kritická vlákna v RM.
YARN-7558: Příkaz protokolů yarn nedokáže získat protokoly pro spouštění kontejnerů, pokud je povolené ověřování uživatelského rozhraní.
YARN-7697: Načtení protokolů pro dokončenou aplikaci selže, i když je agregace protokolu dokončena.

HDP 2.6.4 poskytl Hadoop Common 2.7.3 a následující opravy Apache:

HADOOP-13700: Odeberte unthrown IOException z TrashPolicy#initialize a #getInstance podpisy.
HADOOP-13709: Schopnost vyčistit podprocesy vytvářené prostředím při ukončení procesu
HADOOP-14059: překlep při s3a přejmenování (self, poddir) chybová zpráva.
HADOOP-14542: Přidejte ioUtils.cleanupWithLogger, který přijímá rozhraní API protokolovacího nástroje slf4j.
HDFS-9887: Časové limity soketů WebHdfs by měly být konfigurovatelné.
HDFS-9914: Oprava konfigurovatelného časového limitu připojení a čtení webhDFS
MAPREDUCE-6698: Zvyšte časový limit pro TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN-4550: Některé testy v testContainerLanch selžou v prostředí jiného než anglického národního prostředí.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir přerušovaně kvůli IllegalArgumentException z vyčištění.
YARN-5042: Připojte /sys/fs/cgroup do kontejnerů Dockeru jako připojení jen pro čtení.
YARN-5318: Oprava přerušovaného testu selhání TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN-5641: Lokalizátor po dokončení kontejneru opustí tarbally.
YARN-6004: Refaktoring TestResourceLocalizationService#testDownloadingResourcesOnContainer tak, aby byl menší než 150 řádků.
YARN-6078: Kontejnery se zasekli ve stavu lokalizace.
YARN-6805: NPE v LinuxContainerExecutor kvůli null PrivilegedOperationException ukončovací kód.

HBase

Tato verze poskytuje HBase 1.1.2 a následující opravy Apache.

HBASE-13376: Vylepšení stochastického nástroje pro vyrovnávání zatížení
HBASE-13716: Přestaňte používat fsConstants systému Hadoop.
HBASE-13848: Přístup k heslům SSL infoserveru prostřednictvím rozhraní API zprostředkovatele přihlašovacích údajů
HBASE-13947: Místo serveru použijte hlavní služby ve správci AssignmentManager.
HBASE-14135: Fáze zálohování/obnovení HBase 3: Sloučení záložních imagí
HBASE-14473: Lokalita výpočetní oblasti paralelně
HBASE-14517: Zobrazí regionserver's verzi na stránce stavu předlohy.
HBASE-14606: Testy TestSecureLoadIncrementalHFiles vypršely v sestavení kmene na apache.
HBASE-15210: Vrácení agresivního protokolování nástroje pro vyrovnávání zatížení v desítkách řádků na milisekundu
HBASE-15515: Zlepšení localityBasedCandidateGenerator in Balancer.
HBASE-15615: Chybný čas spánku v případě RegionServerCallable potřeby opakování.
HBASE-16135: PeerClusterZnode pod rs odebraného partnerského uzlu nemusí být nikdy odstraněn.
HBASE-16570: Lokalita výpočetní oblasti paralelně při spuštění
HBASE-16810: HBase Balancer vyvolá výjimku ArrayIndexOutOfBoundsException, pokud regionservers jsou v /hbase/vyprazdňování znode a uvolněny.
HBASE-16852: TestDefaultCompactSelection selhal ve větvi 1.3.
HBASE-17387: Snižte režii sestavy výjimek v RegionActionResult pro více().
HBASE-17850: Nástroj pro opravu systému zálohování.
HBASE-17931: Přiřaďte systémové tabulky serverům s nejvyšší verzí.
HBASE-18083: V HFileCleaner můžete nastavit velké nebo malé číslo vlákna čisté.
HBASE-18084: Vylepšete CleanerChore pro vyčištění z adresáře, který spotřebovává více místa na disku.
HBASE-18164: Mnohem rychlejší funkce nákladů na lokalitu a kandidátní generátor.
HBASE-18212: V samostatném režimu s upozorněním protokolu HBase místního systému souborů: V třídě org.apache.hadoop.fs.FSDataInputStream se nezdařilo vyvolání metody unbuffer.
HBASE-18808: Neefektivní kontrola konfigurace BackupLogCleaner#getDeletableFiles().
HBASE-19052: FixedFileTrailer by měl rozpoznat Třídu CellComparatorImpl ve větvi 1.x.
HBASE-19065: HRegion#bulkLoadHFiles() by měl čekat na dokončení souběžné funkce Region#flush().
HBASE-19285: Přidání histogramů latence pro jednotlivé tabulky
HBASE-19393: HTTP 413 FULL head při přístupu k uživatelskému rozhraní HBase pomocí SSL.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting selže s NPE.
HBASE-19421: branch-1 se nekompiluje proti Hadoopu 3.0.0.
HBASE-19934: HBaseSnapshotException při povolení replik pro čtení a pořízení online snímku po rozdělení oblasti.
HBASE-20008: [backport] NullPointerException při obnovování snímku po rozdělení oblasti.

Hive

Tato verze kromě následujících oprav poskytuje Hive 1.2.1 a Hive 2.1.0:

Opravy Apache Hive 1.2.1:

HIVE-10697: ObjectInspectorConvertors#UnionConvertor provede vadný převod.
HIVE-11266: count(*) nesprávný výsledek na základě statistik tabulky pro externí tabulky.
HIVE-12245: Podporuje komentáře sloupců pro tabulku s podporou HBase.
HIVE-12315: Oprava vektorizovaného dvojitého dělení nulou
HIVE-12360: Chybný hledání v nekomprimované ORC s predikáte pushdown.
HIVE-12378: Výjimka v binárním poli HBaseSerDe.serialize
HIVE-12785: Zobrazení se sjednocovacího typu a uživatelem definovaného objektu do struktury je přerušeno.
HIVE-14013: Popis tabulky nezobrazuje správně unicode.
HIVE-14205: Hive nepodporuje sjednocovací typ ve formátu souboru AVRO.
HIVE-14421: FS.deleteOnExit obsahuje odkazy na soubory _tmp_space.db.
HIVE-15563: Ignorovat výjimku přechodu stavu neplatné operace v SQLOperation.runQuery k zveřejnění skutečné výjimky.
HIVE-15680: Nesprávné výsledky, pokud hive.optimize.index.filter=true a stejná tabulka ORC se v dotazu odkazuje dvakrát v režimu MR.
HIVE-15883: HBase namapovaná tabulka v Vložení Hive selže pro desetinné číslo.
HIVE-16232: Podporuje výpočty statistik pro sloupce v quotedIdentifier.
HIVE-16828: Pokud je povolený CBO, dotaz na dělené zobrazení vyvolá výjimku IndexOutOfBoundException.
HIVE-17013: Odstraňte požadavek s poddotazem na základě výběru v zobrazení.
HIVE-17063: Vložení přepsání oddílu do externí tabulky selže při prvním přetažení oddílu.
HIVE-17259: Hive JDBC nerozpozná sloupce UNIONTYPE.
HIVE-17419: ANALYZOVAT TABULKU... Příkaz COMPUTE STATISTICS FOR COLUMNS zobrazuje vypočítané statistiky pro maskované tabulky.
HIVE-17530: ClassCastException při převodu uniontype.
HIVE-17621: Nastavení Hive-site se během rozdělení HCatInputFormat ignoruje.
HIVE-17636: Přidejte test multiple_agg.q pro blobstores.
HIVE-17729: Přidání databáze a vysvětlení souvisejících testů úložiště objektů blob
HIVE-17731: Přidání zpětné compat možnosti pro externí uživatele do HIVE-11985
HIVE-17803: S více dotazy Pig, 2 HCatStorers zapisují do stejné tabulky navzájem výstupy.
HIVE-17829: ArrayIndexOutOfBoundsException – tabulky založené na HBASE se schématem Avro v Hive2.
HIVE-17845: Vložení selže, pokud cílové sloupce tabulky nejsou malými písmeny.
HIVE-17900: Analýza statistik ve sloupcích aktivovaných nástrojem Compactor generuje poškozený SQL se sloupcem > oddílu 1.
HIVE-18026: Optimalizace konfigurace instančního objektu Hive webhcat
HIVE-18031: Podpora replikace pro operaci Alter Database
HIVE-18090: Prezenční signál kyseliny selže, když je metastor připojený prostřednictvím přihlašovacích údajů hadoop.
HIVE-18189: Dotaz Hive vrací nesprávné výsledky při nastavení hive.groupby.orderby.position.alias na true.
HIVE-18258: Vektorizace: Redukční SKUPINA BY MERGEPARTIAL s duplicitními sloupci je přerušena.
HIVE-18293: Hive se nedaří komprimovat tabulky obsažené ve složce, která není vlastněna identitou spuštěnou HiveMetaStore.
HIVE-18327: Odeberte nepotřebnou závislost HiveConf pro MiniHiveKdc.
HIVE-18341: Přidání podpory načítání repl pro přidání "nezpracovaného" oboru názvů pro transparentní šifrování dat se stejnými šifrovacími klíči.
HIVE-18352: Zavedení možnosti METADATAONLY při provádění výpisu paměti REPL umožňující integraci jiných nástrojů.
HIVE-18353: CompactorMR by měl volat jobclient.close() pro aktivaci vyčištění.
HIVE-18390: IndexOutOfBoundsException při dotazování na dělené zobrazení ve ColumnPruneru.
HIVE-18429: Komprimace by měla zpracovat případ, když produkuje žádný výstup.
HIVE-18447: JDBC: Poskytnout způsob, jak uživatelům JDBC předávat informace o souborech cookie prostřednictvím připojovací řetězec.
HIVE-18460: Komprimátor nepředává vlastnosti tabulky zapisovači Orc.
HIVE-18467: podpora výpisu paměti celého skladu / načtení + vytvoření/vyřazení databázových událostí (Anishek Agarwal, zkontrolováno Sankarem Hariappanem).
HIVE-18551: Vektorizace: VectorMapOperator se pokusí napsat příliš mnoho vektorových sloupců pro Hybrid Grace.
HIVE-18587: Vložení události DML se může pokusit vypočítat kontrolní součet u adresářů.
HIVE-18613: Rozšíření JsonSerDe pro podporu binárního typu
HIVE-18626: Načtení repl klauzule with nepředává konfiguraci úkolům.
HIVE-18660: PCR nerozlišuje mezi oddíly a virtuálními sloupci.
HIVE-18754: STAV REPL by měl podporovat klauzuli with.
HIVE-18754: STAV REPL by měl podporovat klauzuli with.
HIVE-18788: Vyčistěte vstupy v JDBC PreparedStatement.
HIVE-18794: Načtení repl klauzule "with" nepředává konfiguraci úkolům pro tabulky, které nejsou oddíly.
HIVE-18808: Zkomprimování je robustnější, když dojde k selhání aktualizace statistik.
HIVE-18817: Výjimka ArrayIndexOutOfBounds při čtení tabulky ACID
HIVE-18833: Automatické sloučení selže při vložení do adresáře jako orcfile.
HIVE-18879: Nepovolit vložený prvek v nástroji UDFXPathUtil musí fungovat, pokud xercesImpl.jar v cestě ke třídě.
HIVE-18907: Vytvořte nástroj pro opravu problému indexu acid key z HIVE-18817.

Opravy Apache Hive 2.1.0:

HIVE-14013: Popis tabulky nezobrazuje správně unicode.
HIVE-14205: Hive nepodporuje sjednocovací typ ve formátu souboru AVRO.
HIVE-15563: Ignorovat výjimku přechodu stavu neplatné operace v SQLOperation.runQuery k zveřejnění skutečné výjimky.
HIVE-15680: Nesprávné výsledky, pokud hive.optimize.index.filter=true a stejná tabulka ORC se v dotazu odkazuje dvakrát v režimu MR.
HIVE-15883: HBase namapovaná tabulka v Vložení Hive selže pro desetinné číslo.
HIVE-16757: Odeberte volání zastaralá AbstraktníRelNode.getRows.
HIVE-16828: Pokud je povolený CBO, dotaz na dělené zobrazení vyvolá výjimku IndexOutOfBoundException.
HIVE-17063: Vložení přepsání oddílu do externí tabulky selže při prvním přetažení oddílu.
HIVE-17259: Hive JDBC nerozpozná sloupce UNIONTYPE.
HIVE-17530: ClassCastException při převodu uniontype.
HIVE-17600: Nastavení orcFile jako vynuceníBufferSize uživatele settable.
HIVE-17601: Vylepšete zpracování chyb v llapServiceDriver.
HIVE-17613: Odeberte fondy objektů pro krátké přidělení stejných vláken.
HIVE-17617: Souhrn prázdné sady výsledků by měl obsahovat seskupení prázdné sady seskupení.
HIVE-17621: Nastavení Hive-site se během rozdělení HCatInputFormat ignoruje.
HIVE-17629: CachedStore: Mít schválenou nebo neschválenou konfiguraci, která umožňuje selektivní ukládání tabulek nebo oddílů do mezipaměti a povolit čtení při předběžném vytváření.
HIVE-17636: Přidejte test multiple_agg.q pro blobstores.
HIVE-17702: Nesprávné zpracování funkce isRepeating v desítkové čtečce v ORC.
HIVE-17729: Přidání databáze a vysvětlení souvisejících testů úložiště objektů blob
HIVE-17731: Přidání zpětné compat možnosti pro externí uživatele do HIVE-11985
HIVE-17803: S více dotazy Pig, 2 HCatStorers zapisují do stejné tabulky navzájem výstupy.
HIVE-17845: Vložení selže, pokud cílové sloupce tabulky nejsou malými písmeny.
HIVE-17900: Analýza statistik ve sloupcích aktivovaných nástrojem Compactor generuje poškozený SQL se sloupcem > oddílu 1.
HIVE-18006: Optimalizujte nároky na paměť HLLDenseRegister.
HIVE-18026: Optimalizace konfigurace instančního objektu Hive webhcat
HIVE-18031: Podpora replikace pro operaci Alter Database
HIVE-18090: Prezenční signál kyseliny selže, když je metastor připojený prostřednictvím přihlašovacích údajů hadoop.
HIVE-18189: Pořadí podle pozice nefunguje, pokud cbo je zakázaná.
HIVE-18258: Vektorizace: Redukční SKUPINA BY MERGEPARTIAL s duplicitními sloupci je přerušena.
HIVE-18269: LLAP: Rychlý llap vstupně-výstupní operace s kanálem pomalého zpracování může vést k OOM.
HIVE-18293: Hive se nedaří komprimovat tabulky obsažené ve složce, která není vlastněna identitou spuštěnou HiveMetaStore.
HIVE-18318: Čtečka záznamů LLAP by měla kontrolovat přerušení, i když neblokuje.
HIVE-18326: PLÁNOVAČ LLAP Tez – pouze předběžné úkoly, pokud mezi nimi existuje závislost.
HIVE-18327: Odeberte nepotřebnou závislost HiveConf pro MiniHiveKdc.
HIVE-18331: Přidejte relogin, když vyprší platnost TGT a některé protokolování /lambda.
HIVE-18341: Přidání podpory načítání repl pro přidání "nezpracovaného" oboru názvů pro transparentní šifrování dat se stejnými šifrovacími klíči.
HIVE-18352: Zavedení možnosti METADATAONLY při provádění výpisu paměti REPL umožňující integraci jiných nástrojů.
HIVE-18353: CompactorMR by měl volat jobclient.close() pro aktivaci vyčištění.
HIVE-18384: ConcurrentModificationException v log4j2.x knihovně.
HIVE-18390: IndexOutOfBoundsException při dotazování na dělené zobrazení ve ColumnPruneru.
HIVE-18447: JDBC: Poskytnout způsob, jak uživatelům JDBC předávat informace o souborech cookie prostřednictvím připojovací řetězec.
HIVE-18460: Komprimátor nepředává vlastnosti tabulky zapisovači Orc.
HIVE-18462: (Vysvětlení formátování pro dotazy s mapovým spojením obsahuje columnExprMap s neformátovaným názvem sloupce).
HIVE-18467: Podporuje výpis paměti celého skladu / načtení + vytvoření/odstranění databázových událostí.
HIVE-18488: U čteček LLAP ORC chybí některé kontroly null.
HIVE-18490: Dotaz s existencí existuje a NEEXISTUJE s predikátem non-equi může způsobit nesprávný výsledek.
HIVE-18506: LlapBaseInputFormat – záporný index pole.
HIVE-18517: Vektorizace: Oprava VectorMapOperator pro příjem VRB a kontrola vektorizovaného příznaku správně pro podporu UKLÁDÁNÍ DO MEZIPAMĚTI LLAP).
HIVE-18523: Oprava souhrnného řádku v případě, že neexistují žádné vstupy.
HIVE-18528: Agregované statistiky v ObjectStore získají nesprávný výsledek.
HIVE-18530: Replikace by měla přeskočit tabulku MM (prozatím).
HIVE-18548: Oprava log4j importu
HIVE-18551: Vektorizace: VectorMapOperator se pokusí napsat příliš mnoho vektorových sloupců pro Hybrid Grace.
HIVE-18577: SémanticAnalyzer.validate má několik bezvýznamných volání metastoru.
HIVE-18587: Vložení události DML se může pokusit vypočítat kontrolní součet u adresářů.
HIVE-18597: LLAP: Vždy zabalte log4j2 soubor JAR rozhraní API pro org.apache.log4j.
HIVE-18613: Rozšíření JsonSerDe pro podporu binárního typu
HIVE-18626: Načtení repl klauzule with nepředává konfiguraci úkolům.
HIVE-18643: Nekontrolujte archivované oddíly operací ACID.
HIVE-18660: PCR nerozlišuje mezi oddíly a virtuálními sloupci.
HIVE-18754: STAV REPL by měl podporovat klauzuli with.
HIVE-18788: Vyčistěte vstupy v JDBC PreparedStatement.
HIVE-18794: Načtení repl klauzule "with" nepředává konfiguraci úkolům pro tabulky, které nejsou oddíly.
HIVE-18808: Zkomprimování je robustnější, když dojde k selhání aktualizace statistik.
HIVE-18815: Odeberte nepoužívané funkce v PROSTŘEDÍ HPL/SQL.
HIVE-18817: Výjimka ArrayIndexOutOfBounds při čtení tabulky ACID
HIVE-18833: Automatické sloučení selže při vložení do adresáře jako orcfile.
HIVE-18879: Nepovolit vložený prvek v nástroji UDFXPathUtil musí fungovat, pokud xercesImpl.jar v cestě ke třídě.
HIVE-18944: Pozice seskupovacích sad je nesprávně nastavena během DPP.

Kafka

Tato verze poskytuje Kafka 1.0.0 a následující opravy Apache.

KAFKA-4827: Připojení Kafka: chyba se speciálními znaky v názvu konektoru
KAFKA-6118: Přechodná chyba v kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: JmxReporter nemůže zpracovat cesty adresářů stylu windows.
KAFKA-6164: Vlákna ClientQuotaManager brání vypnutí při načítání protokolů chyb.
KAFKA-6167: Časové razítko v adresáři streams obsahuje dvojtečku, což je neplatný znak.
KAFKA-6179: RecordQueue.clear() nevymazá seznam udržovaných objektů MinTimestampTracker.
KAFKA-6185: Nevracení paměti selektorem s vysokou pravděpodobností OOM, pokud dojde k výpadku převodu.
KAFKA-6190: GlobalKTable nikdy nedokončí obnovení při využívání transakčních zpráv.
KAFKA-6210: IllegalArgumentException, pokud se pro inter.broker.protocol.version nebo log.message.format.version používá 1.0.0.
KAFKA-6214: Použití pohotovostních replik s úložištěm stavu paměti způsobí chybové ukončení datových proudů.
KAFKA-6215: KafkaStreamsTest v kufru selže.
KAFKA-6238: Problémy s verzí protokolu při použití postupného upgradu na verzi 1.0.0
KAFKA-6260: AbstractCoordinator jasně nezpracuje výjimku NULL.
KAFKA-6261: Protokolování požadavku vyvolá výjimku, pokud acks=0.
KAFKA-6274: Vylepšete KTable automaticky generované názvy úložiště zdrojového stavu.

Mahout

V HDP-2.3.x a 2.4.x místo odeslání konkrétní verze Apache Mahout jsme synchronizovali s konkrétním revizním bodem v kufru Apache Mahout. Tento bod revize je po vydání verze 0.9.0, ale před vydáním verze 0.10.0. To poskytuje velké množství oprav chyb a funkčních vylepšení ve verzi 0.9.0, ale poskytuje stabilní verzi funkce Mahout před dokončením převodu na nový Mahout založený na Sparku ve verzi 0.10.0.

Bod revize zvolený pro Mahout v HDP 2.3.x a 2.4.x je z větve mahout-0.10.x Apache Mahout od 19. prosince 2014, revize 0f037cb03e77c096 v GitHubu.

V HDP-2.5.x a 2.6.x jsme odebrali knihovnu commons-httpclient z Mahoutu, protože ji zobrazujeme jako zastaralou knihovnu s možnými problémy se zabezpečením a upgradovali Hadoop-Client v Mahoutu na verzi 2.7.3, stejnou verzi používanou v HDP-2.5. Výsledek:

V prostředí HDP-2.5 nebo 2.6 bude potřeba překompilovat dříve zkompilované úlohy Mahoutu.
Existuje malá možnost, že některé úlohy Mahoutu můžou narazit na chyby ClassNotFoundException nebo "nelze načíst třídu" související s předponami názvů "org.apache.commons.httpclient", "net.java.dev.jets3t" nebo souvisejících předpon názvů tříd. Pokud k těmto chybám dojde, můžete zvážit, jestli chcete ručně nainstalovat potřebné soubory JAR do cesty ke třídě pro úlohu, pokud je ve vašem prostředí přijatelné riziko problémů se zabezpečením v zastaralé knihovně.
Existuje ještě menší možnost, že některé úlohy Mahoutu mohou narazit na chybové ukončení volání kódu klienta Mahout do knihoven hadoop-common kvůli problémům s binární kompatibilitou. Bohužel neexistuje způsob, jak tento problém vyřešit s výjimkou návratu k HDP-2.4.2 verze Mahoutu, která by mohla mít problémy se zabezpečením. Opět by to mělo být neobvyklé a není pravděpodobné, že by se vyskytla v jakékoli dané sadě pracovních míst Mahout.

Oozie

Tato verze poskytuje Oozie 4.2.0 s následujícími opravami Apache.

OOZIE-2571: Přidejte vlastnost Maven spark.scala.binary.version, aby bylo možné použít Scala 2.11.
OOZIE-2606: Nastavte spark.yarn.jars pro opravu Sparku 2.0 s Oozie.
OOZIE-2658: --driver-class-path může přepsat cestu třídy v SparkMain.
OOZIE-2787: Oozie distribuuje soubor JAR aplikace dvakrát, aby úloha Sparku selhala.
OOZIE-2792: Hive2 Akce neanalyzuje ID aplikace Spark ze souboru protokolu správně, pokud je Hive ve Sparku.
OOZIE-2799: Nastavení umístění protokolu pro Spark SQL v hive.
OOZIE-2802: Selhání akce Sparku ve Sparku 2.1.0 kvůli duplikaci sharelibs.
OOZIE-2923: Vylepšení parsování možností Sparku
OOZIE-3109: SCA: Skriptování mezi weby: Odraz.
OOZIE-3139: Oozie ověřuje pracovní postup nesprávně.
OOZIE-3167: Upgradujte verzi tomcat na větvi Oozie 4.3.

Phoenix

Tato verze poskytuje Phoenix 4.7.0 a následující opravy Apache:

PHOENIX-1751: Proveďte agregace, řazení atd., v preScannerNext místo postScannerOpen.
PHOENIX-2714: Oprava odhadu bajtů v BaseResultIterators a zveřejnění jako rozhraní.
PHOENIX-2724: Dotaz s velkým počtem vodicích příspěvků je pomalejší v porovnání s žádnými statistikami.
PHOENIX-2855: Alternativní řešení Increment TimeRange není serializován pro HBase 1.2.
PHOENIX-3023: Nízký výkon při paralelním spouštění dotazů limitu.
PHOENIX-3040: Nepoužívejte vodicí příspěvky pro provádění dotazů sériově.
PHOENIX-3112: Částečná kontrola řádků není zpracována správně.
PHOENIX-3240: TřídaCastException z zavaděče pig.
PHOENIX-3452: HODNOTY NULL FIRST/NULL LAST by neměly mít vliv na zachování pořadí funkce GROUP BY.
PHOENIX-3469: Nesprávné pořadí řazení primárního klíče DESC pro NULLS LAST/NULLS FIRST.
PHOENIX-3789: Provádění volání údržby indexu napříč oblastmi v postBatchMutateIndispensly.
PHOENIX-3865: HODNOTA IS NULL nevrací správné výsledky, pokud se nefiltruje první řada sloupců.
PHOENIX-4290: Úplné prohledávání tabulky provedené pro delete s tabulkou s neměnnými indexy.
PHOENIX-4373: Klíč délky proměnné místního indexu může mít při přenesení koncové hodnoty null.
PHOENIX-4466: java.lang.RuntimeException: kód odpovědi 500 – Spuštění úlohy Spark pro připojení k phoenix query serveru a načtení dat.
PHOENIX-4489: Únik připojení HBase v Phoenix MR Jobs.
PHOENIX-4525: Celé číslo přetečení v provedení GroupBy.
PHOENIX-4560: ORDER BY with GROUP BY nefunguje, pokud je ve pk sloupci WHERE.
PHOENIX-4586: UPSERT SELECT nezohledňuje operátory porovnání účtů pro poddotazy.
PHOENIX-4588: Klonovací výraz také v případě, že jeho děti mají Determinism.PER_INVOCATION.

Pig

Tato verze poskytuje Pig 0.16.0 s následujícími opravami Apache.

PIG-5159: Oprava Pig neušetří grunt historii.
PIG-5175: Upgradujte jruby na verzi 1.7.26.

Ranger

Tato verze poskytuje Ranger 0.7.0 a následující opravy Apache:

RANGER-1805: Vylepšení kódu pro sledování osvědčených postupů v js.
RANGER-1960: Zvažte odstranění názvu tabulky pořízení snímku.
RANGER-1982: Vylepšení chyb pro metriku analýzy správy Rangeru a Služby správy rangeru
RANGER-1984: Záznamy protokolu auditu HBase nemusí zobrazovat všechny značky přidružené ke sloupci s přístupem.
RANGER-1988: Oprava nezabezpečené náhodnosti
RANGER-1990: Přidání jednosměrné podpory SSL MySQL v Ranger Admin.
RANGER-2006: Oprava problémů zjištěných statickou analýzou kódu v rangeru usersync pro ldap zdroj synchronizace
RANGER-2008: Vyhodnocení zásad selhává u podmínek víceřádkových zásad.

Posuvník

Tato verze poskytuje posuvník 0.92.0 bez dalších oprav Apache.

Spark

Tato verze poskytuje Spark 2.3.0 a následující opravy Apache:

SPARK-13587: Podpora virtualenv v pyspark.
SPARK-19964: Vyhněte se čtení ze vzdálených úložišť ve SparkSubmitSuite.
SPARK-22882: Test ML pro strukturované streamování: ml.classification.
SPARK-22915: Streamování testů pro spark.ml.feature, od N do Z.
SPARK-23020: Opravte další závod v testu spouštěče v procesu.
SPARK-23040: Vrátí přerušitelný iterátor pro čtečku náhodného prohazování.
SPARK-23173: Vyhněte se vytváření poškozených souborů parquet při načítání dat z JSON.
SPARK-23264: Oprava scaly MatchError in literals.sql.out.
SPARK-23288: Oprava výstupních metrik pomocí jímky parquet
SPARK-23329: Oprava dokumentace k trigonometrickým funkcím
SPARK-23406: Povolení samoobslužných spojení stream-stream pro větev-2.3
SPARK-23434: Spark by neměl varovat adresář metadat pro cestu k souboru HDFS.
SPARK-23436: Odvodit oddíl jako datum pouze v případě, že ho lze přetypovat na datum.
SPARK-23457: Nejprve zaregistrujte naslouchací procesy dokončení úkolů v ParquetFileFormat.
SPARK-23462: Vylepšete chybovou zprávu chybějícího pole ve vlastnosti StructType.
SPARK-23490: Zkontrolujte storage.locationUri s existující tabulkou v createtable.
SPARK-23524: Velké místní bloky náhodného prohazování by se neměly kontrolovat kvůli poškození.
SPARK-23525: Podpora ALTER TABLE CHANGE COLUMN COMMENT pro externí tabulku Hive.
SPARK-23553: Testy by neměly předpokládat výchozí hodnotu spark.sql.sources.default.
SPARK-23569: Povolte pandas_udf pracovat s funkcemi typu a poznámkami ve stylu Python3.
SPARK-23570: Přidejte Spark 2.3.0 v HiveExternalCatalogVersionsSuite.
SPARK-23598: Vytvořte metody ve vyrovnávací pamětiRowIterator veřejné, abyste zabránili chybám za běhu pro velký dotaz.
SPARK-23599: Přidejte generátor UUID z pseudonáhodných čísel.
SPARK-23599: Ve výrazu Uuid použijte RandomUUIDGenerator.
SPARK-23601: Odeberte .md5 soubory z verze.
SPARK-23608: Přidejte synchronizaci v SHS mezi funkce attachSparkUI a detachSparkUI, aby nedocházelo k souběžným úpravám problémů s obslužnými rutinami Jetty.
SPARK-23614: Oprava nesprávné opakované výměny při použití mezipaměti
SPARK-23623: Vyhněte se souběžnému použití příjemců uložených v mezipaměti v CachedKafkaConsumer (branch-2.3).
SPARK-23624: Reviduje dokumentaci metod pushFilters v Datasource V2.
SPARK-23628: calculateParamLength by neměl vracet 1 + číslo výrazů.
SPARK-23630: Umožňuje, aby se projevilo přizpůsobení hadoop conf uživatele.
SPARK-23635: Proměnná env exekutoru Sparku se přepíše stejným názvem jako proměnná env AM.
SPARK-23637: Yarn může přidělit více prostředků, pokud se stejný exekutor ukončí vícekrát.
SPARK-23639: Získejte token před klientem inicializačního metastoru v rozhraní příkazového řádku SparkSQL.
SPARK-23642: Podtřída akumulátoruV2 je opravazero scaladoc .
SPARK-23644: Pro volání REST v SHS použijte absolutní cestu.
SPARK-23645: Přidejte docs RE 'pandas_udf' s klíčovými slovy args.
SPARK-23649: Vynechání znaků nepovolené v UTF-8
SPARK-23658: InProcessAppHandle používá nesprávnou třídu v getLoggeru.
SPARK-23660: Oprava výjimky v režimu clusteru yarn při rychlém ukončení aplikace
SPARK-23670: Oprava nevracení paměti ve SparkPlanGraphWrapperu
SPARK-23671: Oprava podmínky pro povolení fondu vláken SHS
SPARK-23691: Pokud je to možné, použijte sql_conf nástroj v testech PySpark.
SPARK-23695: Opravte chybovou zprávu pro testy streamování Kinesis.
Spark-23706: spark.conf.get(hodnota, default=None) by měl v PySparku vytvořit hodnotu None.
SPARK-23728: Oprava testů ML s očekávanými výjimkami při spouštění testů streamování
SPARK-23729: Při překladu globů respektuj fragment identifikátoru URI.
SPARK-23759: Nejde vytvořit vazbu uživatelského rozhraní Sparku na konkrétní název hostitele nebo IP adresu.
SPARK-23760: CodegenContext.withSubExprEliminationExprs by měl správně uložit nebo obnovit stav csE.
SPARK-23769: Odeberte komentáře, které zbytečně zakazují Scalastyle kontrolu.
SPARK-23788: Oprava závodu v StreamingQuerySuite.
SPARK-23802: RozšířeníMptyRelation může ponechat plán dotazu v nevyřešeném stavu.
SPARK-23806: Broadcast.unpersist může způsobit závažnou výjimku při použití s dynamickým přidělením.
SPARK-23808: Nastavte výchozí relaci Sparku v relacích Sparku jen pro testování.
SPARK-23809: Aktivní SparkSession by měl být nastaven pomocí getOrCreate.
SPARK-23816: Zabité úkoly by měly ignorovat FetchFailures.
SPARK-23822: Vylepšete chybovou zprávu pro neshody schématu Parquet.
SPARK-23823: Zachování původu v transformExpression
SPARK-23827: StreamingJoinExec by se měl ujistit, že vstupní data jsou rozdělena do konkrétního počtu oddílů.
SPARK-23838: Spuštění dotazu SQL se na kartě SQL zobrazí jako dokončené.
SPARK-23881: Oprava flaky test JobCancellationSuite." přerušitelný iterátor čtečky prohazování".

Sqoop

Tato verze poskytuje Sqoop 1.4.6 bez dalších oprav Apache.

Storm

Tato verze poskytuje Storm 1.1.1 a následující opravy Apache:

STORM-2652: Výjimka vyvolaná v otevřené metodě JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT selže s nullPointerException.
STORM-2854: Zpřístupňte IEventLogger, aby byl protokol událostí připojitelný.
STORM-2870: FileBasedEventLogger nedochází k úniku dat bez démona ExecutorService, který brání dokončení procesu.
STORM-2960: Lepší je zdůraznit důležitost nastavení správného účtu operačního systému pro procesy Storm.

Tez

Tato verze poskytuje Tez 0.7.0 a následující opravy Apache:

TEZ-1526: NačítáníCache pro TezTaskID pomalé pro velké úlohy.

Zeppelin

Tato verze poskytuje Zeppelin 0.7.3 bez dalších oprav Apache.

ZEPPELIN-3072: Uživatelské rozhraní Zeppelin přestane reagovat, pokud existuje příliš mnoho poznámkových bloků.
ZEPPELIN-3129: Uživatelské rozhraní Zeppelin se v Internet Exploreru neodhlásí.
ZEPPELIN-903: Nahraďte CXF Jersey2.

ZooKeeper

Tato verze poskytuje ZooKeeper 3.4.6 a následující opravy Apache:

ZOOKEEPER-1256: ClientPortBindTest v systému macOS X selhává.
ZOOKEEPER-1901: [JDK8] Seřaďte podřízené položky pro porovnání v testech AsyncOps.
ZOOKEEPER-2423: Upgrade verze Netty kvůli ohrožení zabezpečení (CVE-2014-3488).
ZOOKEEPER-2693: DOS útok na wchp/wchc čtyři písmena (4lw).
ZOOKEEPER-2726: Oprava představuje potenciální stav závodu.

Oprava běžných ohrožení zabezpečení a ohrožení zabezpečení

Tato část se věnuje všem běžným ohrožením zabezpečení a ohrožením zabezpečení (CVE), které jsou vyřešené v této verzi.

CVE-2017-7676

Shrnutí: Vyhodnocení zásad Apache Ranger ignoruje znaky za zástupným znakem *.
Závažnost: Kritická
Dodavatel: Hortonworks
Ovlivněné verze: VERZE HDInsight 3.6 včetně Apache Ranger verze 0.5.x/0.6.x/0.7.0
Ovlivnění uživatelé: Prostředí, která používají zásady Ranger se znaky za zástupným znakem , jako je můjtest, test*.txt
Dopad: Nástroj pro porovnávání prostředků zásad ignoruje znaky za zástupným znakem *, což může vést k neočekávanému chování.
Oprava podrobností: Analyzátor shody prostředků zásad Ranger byl aktualizován tak, aby správně zpracovával shody se zástupnými cardy.
Doporučená akce: Upgrade na HDI 3.6 (s Apache Ranger 0.7.1+).

CVE-2017-7677

Shrnutí: Autorizační nástroj Apache Ranger Hive by měl při zadání externího umístění zkontrolovat oprávnění RWX.
Závažnost: Kritická
Dodavatel: Hortonworks
Ovlivněné verze: VERZE HDInsight 3.6 včetně Apache Ranger verze 0.5.x/0.6.x/0.7.0
Ovlivnění uživatelé: Prostředí, která používají externí umístění pro tabulky Hive
Dopad: V prostředích, která používají externí umístění pro tabulky Hive, by měl Apache Ranger Hive Authorizer zkontrolovat oprávnění RWX pro externí umístění určené pro vytvoření tabulky.
Oprava podrobností: Autorizační nástroj Ranger Hive byl aktualizován tak, aby správně zpracovával kontrolu oprávnění s externím umístěním.
Doporučená akce: Uživatelé by měli upgradovat na HDI 3.6 (s Apache Ranger 0.7.1+).

CVE-2017-9799

Shrnutí: Potenciální spuštění kódu jako nesprávného uživatele v Apache Stormu
Závažnost: Důležité
Dodavatel: Hortonworks
Ovlivněné verze: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Ovlivnění uživatelé: Uživatelé, kteří používají Storm v zabezpečeném režimu a používají úložiště objektů blob k distribuci artefaktů založených na topologii nebo k distribuci prostředků topologie pomocí úložiště objektů blob.
Dopad: V některých situacích a konfiguracích stormu je teoreticky možné, aby vlastník topologie oklamat nadřízeného spuštění pracovního procesu jako jiného uživatele, který není root. V nejhorším případě to může vést k ohrožení zabezpečení přihlašovacích údajů druhého uživatele. Toto ohrožení zabezpečení platí jenom pro instalace Apache Storm s povoleným zabezpečením.
Omezení rizik: Upgradujte na HDP-2.6.2.1, protože v současné době neexistují žádná alternativní řešení.

CVE-2016-4970

Shrnutí: obslužná rutina/ssl/OpenSslEngine.java v Netty 4.0.x před 4.0.37. Konečné a 4.1.x před 4.1.1. Final umožňuje vzdáleným útočníkům způsobit odepření služby (nekonečné smyčky).
Závažnost: Střední
Dodavatel: Hortonworks
Ovlivněné verze: HDP 2.x.x od verze 2.3.x
Ovlivnění uživatelé: Všichni uživatelé, kteří používají HDFS.
Dopad: Dopad je nízký, protože Hortonworks nepoužívá OpenSslEngine.java přímo v základu kódu Hadoop.
Doporučená akce: Upgrade na HDP 2.6.3

CVE-2016-8746

Shrnutí: Problém s odpovídající cestou Apache Ranger v vyhodnocení zásad
Závažnost: Normální
Dodavatel: Hortonworks
Ovlivněné verze: Všechny verze HDP 2.5 včetně Apache Ranger verze 0.6.0/0.6.1/0.6.2
Ovlivnění uživatelé: Všichni uživatelé nástroje pro správu zásad rangeru.
Dopad: Modul zásad Ranger nesprávně odpovídá cestám v určitých podmínkách, pokud zásada obsahuje zástupné znaménky a rekurzivní příznaky.
Oprava podrobností: Logika vyhodnocení pevných zásad
Doporučená akce: Uživatelé by měli upgradovat na HDP 2.5.4+ (s Apache Ranger 0.6.3+) nebo HDP 2.6+ (s Apache Ranger 0.7.0+)

CVE-2016-8751

Shrnutí: Problém se skriptováním mezi weby uložený apache Ranger
Závažnost: Normální
Dodavatel: Hortonworks
Ovlivněné verze: Všechny verze HDP 2.3/2.4/2.5 včetně Apache Ranger verze 0.5.x/0.6.0/0.6.1/0.6.2
Ovlivnění uživatelé: Všichni uživatelé nástroje pro správu zásad rangeru.
Dopad: Apache Ranger je při zadávání vlastních podmínek zásad zranitelný vůči uloženému skriptování mezi weby. Uživatelé s oprávněními správce můžou uložit libovolný kód JavaScriptu, když se normální uživatelé přihlašují a přistupují.
Oprava podrobností: Přidání logiky pro sanitizaci vstupu uživatele
Doporučená akce: Uživatelé by měli upgradovat na HDP 2.5.4+ (s Apache Ranger 0.6.3+) nebo HDP 2.6+ (s Apache Ranger 0.7.0+)

Opravené problémy s podporou

Opravené problémy představují vybrané problémy, které byly dříve protokolovány prostřednictvím podpory Hortonworks, ale řeší se v aktuální verzi. Tyto problémy mohly být hlášeny v předchozích verzích v části Známé problémy; což znamená, že byli hlášeni zákazníky nebo identifikováni týmem Hortonworks Quality Engineering.

Nesprávné výsledky

ID chyby	Apache JIRA	Souhrn
BUG-100019	YARN-8145	yarn rmadmin -getGroups nevrací aktualizované skupiny pro uživatele
BUG-100058	PHOENIX-2645	Zástupné znaky neodpovídají znakům nového řádku
CHYBA-100266	PHOENIX-3521, PHOENIX-4190	Výsledky jsou chybné s místními indexy.
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	Dotaz36 selhává, neshoda počtu řádků
CHYBA-89765	HIVE-17702	nesprávné zpracování funkce isRepeating v desítkové čtečce v ORC
BUG-92293	HADOOP-15042	Azure PageBlobInputStream.skip() může vrátit zápornou hodnotu, pokud je numberOfPagesRemaining 0.
CHYBA-92345	ATLAS-2285	Uživatelské rozhraní: Přejmenované uložené vyhledávání s atributem data.
CHYBA-92563	HIVE-17495, HIVE-18528	Agregované statistiky v ObjectStore získají nesprávný výsledek.
CHYBA-92957	HIVE-11266	počet(*) nesprávný výsledek na základě statistiky tabulky pro externí tabulky
BUG-93097	RANGER-1944	Filtr akcí pro audit správce nefunguje
CHYBA-93335	HIVE-12315	vectorization_short_regress.q má chybný problém s výsledkem pro dvojitý výpočet
CHYBA-93415	HIVE-18258, HIVE-18310	Vektorizace: Funkce GROUP BY MERGEPARTIAL na straně redukce s duplicitními sloupci je poškozena.
BUG-93939	ATLAS-2294	Přidání dalšího parametru "description" při vytváření typu
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Queries vrací hodnoty Null kvůli částečným řádkům HBase.
CHYBA-94266	HIVE-12505	Vložení přepsání ve stejné zašifrované zóně bezobslužně neodebere některé existující soubory
CHYBA-94414	HIVE-15680	Nesprávné výsledky, pokud se v dotazu odkazuje dvakrát na hive.optimize.index.filter=true a stejná tabulka ORC
BUG-95048	HIVE-18490	Dotaz s predikátem EXISTUJE a NEEXISTUJE s predikátem bez equi může způsobit nesprávný výsledek.
CHYBA-95053	PHOENIX-3865	Hodnota IS NULL nevrací správné výsledky, pokud se nefiltruje první řada sloupců.
CHYBA-95476	RANGER-1966	Inicializace modulu zásad nevytvoří v některých případech kontextové rozšiřování.
CHYBA-95566	SPARK-23281	Dotaz vytvoří výsledky v nesprávném pořadí, pokud složené pořadí podle klauzule odkazuje na původní sloupce i aliasy.
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Řešení problémů s funkcí ORDER BY ASC při agregaci dotazu
BUG-96389	PHOENIX-4586	UPSERT SELECT nebere v relačních operátorech účtů pro poddotazy.
CHYBA-96602	HIVE-18660	PCR nerozlišuje mezi oddíly a virtuálními sloupci
CHYBA-97686	ATLAS-2468	[Základní hledání] Problém s případy NEBO, kdy se neQ používá s číselnými typy
BUG-97708	HIVE-18817	Výjimka ArrayIndexOutOfBounds při čtení tabulky ACID
CHYBA-97864	HIVE-18833	Automatické sloučení selže při vložení do adresáře jako orcfile
BUG-97889	RANGER-2008	Vyhodnocení zásad selhává u podmínek víceřádkových zásad.
BUG-98655	RANGER-2066	Přístup k rodině sloupců HBase je autorizovaný označeným sloupcem v rodině sloupců.
BUG-99883	HIVE-19073, HIVE-19145	StatsOptimizer může mangle konstantní sloupce

Další

ID chyby	Apache JIRA	Souhrn
BUG-100267	HBASE-17170	HBase také opakuje opakování DoNotRetryIOException kvůli rozdílům zavaděče tříd.
CHYBA-92367	YARN-7558	Příkaz yarn logs se nepodaří získat protokoly pro spouštění kontejnerů, pokud je povolené ověřování uživatelského rozhraní.
BUG-93159	OOZIE-3139	Oozie ověřuje pracovní postup nesprávně.
CHYBA-93936	ATLAS-2289	Vložený kód kafka/zookeeper server start/stop, který se má přesunout z implementace KafkaNotification
CHYBA-93942	ATLAS-2312	Použití objektů ThreadLocal DateFormat k zabránění souběžnému použití z více vláken
CHYBA-93946	ATLAS-2319	Uživatelské rozhraní: Odstranění značky, která na 25+ pozici v seznamu značek v ploché i stromové struktuře potřebuje aktualizaci, aby se značka ze seznamu odebrala.
CHYBA-94618	YARN-5037, YARN-7274	Možnost zakázat elasticitu na úrovni fronty typu list
BUG-94901	HBASE-19285	Přidání histogramů latence jednotlivých tabulek
CHYBA-95259	HADOOP-15185, HADOOP-15186	Aktualizace `adls` konektoru pro použití aktuální verze sady ADLS SDK
CHYBA-95619	HIVE-18551	Vektorizace: VectorMapOperator se pokusí napsat příliš mnoho vektorových sloupců pro Hybrid Grace
CHYBA-97223	SPARK-23434	Spark by neměl varovat adresář metadat pro cestu k souboru HDFS.

Výkon

ID chyby	Apache JIRA	Souhrn
CHYBA-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Rychlé výpočty lokalit v nástroji pro vyrovnávání
BUG-91300	HBASE-17387	Snížení režijních nákladů na sestavu výjimek v RegionActionResult pro více()
BUG-91804	TEZ-1526	NačítáníCache pro TezTaskID pomalé pro velké úlohy
CHYBA-92760	ACCUMULO-4578	Zrušení operace komprimace FATE neuvolní zámek oboru názvů
CHYBA-93577	RANGER-1938	Solr pro nastavení auditu efektivně nepoužívá DocValues
BUG-93910	HIVE-18293	Hive selhává komprimovat tabulky obsažené ve složce, která není vlastněna identitou spuštěnou hiveMetaStore
CHYBA-94345	HIVE-18429	Komprimace by měla zpracovávat případ, když nevygeneruje žádný výstup.
BUG-94381	HADOOP-13227, HDFS-13054	Zpracování objednávky RequestHedgingProxyProvider RetryAction: FAIL < RETRY < FAILOVER_AND_RETRY.
CHYBA-94432	HIVE-18353	CompactorMR by měl volat jobclient.close() pro aktivaci vyčištění.
BUG-94869	PHOENIX-4290, PHOENIX-4373	Požadovaný řádek mimo rozsah pro Get on `HRegion` pro místní indexované slané phoenix tabulky.
BUG-94928	HDFS-11078	Oprava NPE v LazyPersistFileScrubber
CHYBA-94964	HIVE-18269, HIVE-18318, HIVE-18326	Několik oprav LLAP
CHYBA-95669	HIVE-18577, HIVE-18643	Při spuštění aktualizačního nebo odstraňovacího dotazu v tabulce s oddíly ACID přečte HS2 všechny oddíly.
BUG-96390	HDFS-10453	Vlákno ReplicationMonitor může být dlouho zablokované kvůli běhu mezi replikací a odstranění stejného souboru ve velkém clusteru.
CHYBA-96625	HIVE-16110	Návrat k vektorizaci: Podpora 2 hodnot CASE WHEN místo náhradního vektoru VectorUDFAdaptor
BUG-97109	HIVE-16757	Použití zastaralého getRows() místo nového odhaduRowCount(RelMetadataQuery...) má závažný dopad na výkon.
BUG-97110	PHOENIX-3789	Provádění volání údržby indexu napříč oblastmi v postBatchMutateIndispensly
BUG-98833	YARN-6797	TimelineWriter plně nevyužívají odpověď POST.
BUG-98931	ATLAS-2491	Aktualizace háku Hive tak, aby používala oznámení Atlasu v2

Potenciální ztráta dat

ID chyby	Apache JIRA	Souhrn
CHYBA-95613	HBASE-18808	Neefektivní kontrola konfigurace BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	Selhání zřetězení pro nespravované a transakční tabulky
BUG-97787	HIVE-18460	Komprimátor nepředává vlastnosti tabulky zapisovači Orc.
BUG-97788	HIVE-18613	Rozšíření JsonSerDe pro podporu binárního typu

Selhání dotazu

ID chyby	Apache JIRA	Souhrn
BUG-100180	CALCITE-2232	Chyba kontrolního výrazu u AggregatePullUpConstantsRule při úpravě agregačních indexů
BUG-100422	HIVE-19085	FastHiveDecimal abs(0) nastaví znaménko na `+ve`
CHYBA-100834	PHOENIX-4658	IllegalStateException: requestSeek nejde volat v ReversedKeyValueHeap
BUG-102078	HIVE-17978	Dotazy TPCDS 58 a 83 generují výjimky vektorizace.
CHYBA-92483	HIVE-17900	Analýza statistik ve sloupcích aktivovaných nástrojem Compactor vygeneruje poškozený SQL se sloupcem > oddílu 1.
CHYBA-93135	HIVE-15874, HIVE-18189	Dotaz Hive vracející nesprávné výsledky při nastavení hive.groupby.orderby.position.alias na true
CHYBA-93136	HIVE-18189	Pořadí podle pozice nefunguje, když `cbo` je zakázaná
CHYBA-93595	HIVE-12378, HIVE-15883	U desítkových a binárních sloupců selžou namapované tabulky HBase v Hive.
BUG-94007	PHOENIX-1751, PHOENIX-3112	Phoenix Queries vrací hodnoty Null kvůli částečným řádkům HBase.
CHYBA-94144	HIVE-17063	Vložení přepsání oddílu do externí tabulky selže při prvním přetažení oddílu
BUG-94280	HIVE-12785	Zobrazení s typem sjednocení a uživatelem definovaným uživatelem na přetypování struktury je přerušeno.
CHYBA-94505	PHOENIX-4525	Integer overflow in GroupBy execution
CHYBA-95618	HIVE-18506	LlapBaseInputFormat – záporný index pole
CHYBA-95644	HIVE-9152	CombineHiveInputFormat: V Tez dochází k selhání dotazu Hive s výjimkou java.lang.IllegalArgumentException
CHYBA-96762	PHOENIX-4588	Klonovací výraz také v případě, že jeho podřízené položky mají Determinism.PER_INVOCATION
CHYBA-97145	HIVE-12245, HIVE-17829	Podpora komentářů ke sloupcům pro zálohovanou tabulku HBase
CHYBA-97741	HIVE-18944	Umístění sad seskupení je nesprávně nastaveno během DPP.
BUG-98082	HIVE-18597	LLAP: Vždy zabalte `log4j2` soubor JAR rozhraní API pro `org.apache.log4j`
BUG-99849	–	Vytvoření nové tabulky z průvodce souborem se pokusí použít výchozí databázi.

Zabezpečení

ID chyby	Apache JIRA	Souhrn
CHYBA-100436	RANGER-2060	`Knox` proxy server s `knox-sso` nefunguje pro ranger
BUG-101038	SPARK-24062	Chyba interpretu Zeppelin %Spark "Připojení odmítnuto", musí být zadán tajný klíč... chyba v HiveThriftServer
CHYBA-101359	ACCUMULO-4056	Aktualizace verze commons-collection na verzi 3.2.2 po vydání
CHYBA-54240	HIVE-18879	Zakázat vložený element v UDFXPathUtil musí fungovat, pokud xercesImpl.jar v cestě ke třídě
BUG-79059	OOZIE-3109	Řídicí znaky streamování protokolu HTML
BUG-90041	OOZIE-2723	JSON.org licence je teď CatX
CHYBA-93754	RANGER-1943	Autorizace Ranger Solr se přeskočí, když je kolekce prázdná nebo null
BUG-93804	HIVE-17419	ANALYZOVAT TABULKU... Příkaz COMPUTE STATISTICS FOR COLUMNS zobrazuje vypočítané statistiky pro maskované tabulky.
CHYBA-94276	ZEPPELIN-3129	Uživatelské rozhraní Zeppelin se v Internet Exploreru neodhlásí
CHYBA-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Upgrade netty
BUG-95483	–	Oprava pro CVE-2017-15713
CHYBA-95646	OOZIE-3167	Upgrade verze tomcat ve větvi Oozie 4.3
CHYBA-95823	–	`Knox`:Upgrade `Beanutils`
BUG-95908	RANGER-1960	Ověřování HBase nebere v úvahu obor názvů tabulky při odstraňování snímku.
BUG-96191	FALCON-2322, FALCON-2323	Upgrade verzí Jackson a Spring, abyste se vyhnuli ohrožením zabezpečení
CHYBA-96502	RANGER-1990	Přidání podpory one-way SSL MySQL ve správci Rangeru
CHYBA-96712	FLUME-3194	upgrade derby na nejnovější verzi (1.14.1.0)
CHYBA-96713	FLUME-2678	Upgradujte xalan na verzi 2.7.2, abyste se postarali o ohrožení zabezpečení CVE-2014-0107.
CHYBA-96714	FLUME-2050	Upgrade na `log4j2` (ve verzi GA)
CHYBA-96737	–	Použití metod systému souborů Io v Javě pro přístup k místním souborům
CHYBA-96925	–	Upgrade Tomcatu z verze 6.0.48 na verzi 6.0.53 v Hadoopu
CHYBA-96977	FLUME-3132	Upgrade závislostí knihovny tomcat `jasper`
CHYBA-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	Upgrade knihovny Nimbus-JOSE-JWT s verzí vyšší než 4.39
BUG-97101	RANGER-1988	Oprava nezabezpečené náhodnosti
BUG-97178	ATLAS-2467	Upgrade závislostí pro Spring a nimbus-jose-jwt
BUG-97180	–	Upgrade Nimbus-jose-jwt
BUG-98038	HIVE-18788	Vyčištění vstupů v JDBC PreparedStatement
CHYBA-98353	HADOOP-13707	Vraťte se k možnosti "Pokud je protokol Kerberos povolený, když není nakonfigurovaný protokol HTTP SPNEGO, některé odkazy se nedají získat přístup"
BUG-98372	HBASE-13848	Přístup k heslům SSL infoserveru prostřednictvím rozhraní API zprostředkovatele přihlašovacích údajů
BUG-98385	ATLAS-2500	Přidejte do odpovědi Atlas další hlavičky.
BUG-98564	HADOOP-14651	Aktualizace verze okhttp na verzi 2.7.5
CHYBA-99440	RANGER-2045	Sloupce tabulky Hive bez explicitního povolení jsou uvedené pomocí příkazu desc table
BUG-99803	–	Oozie by měla zakázat načítání dynamické třídy HBase

Stabilita

ID chyby	Apache JIRA	Souhrn
BUG-100040	ATLAS-2536	NPE v Atlas Hive Hook
BUG-100057	HIVE-19251	ObjectStore.getNextNotification s limitem by měl používat méně paměti.
BUG-100072	HIVE-19130	NPE se vyvolá, když se při načítání REPL použila událost vyřazení oddílu.
BUG-100073	–	Příliš mnoho připojení close_wait z `hiveserver` datového uzlu
BUG-100319	HIVE-19248	NAČTENÍ REPL vyvolá chybu, pokud kopírování souboru selže.
CHYBA-100352	–	CLONE – Logika vymazání RM kontroluje /registry znode příliš často
CHYBA-100427	HIVE-19249	Replikace: Klauzule WITH nepředává konfiguraci správně do úlohy ve všech případech.
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	Pokud se požadované události vyčistí, měly by výpis výpisu přírůstkového výpisu REPL vyvolat chybu.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	Aktualizace `Spark2` na verzi 2.3.0+ (4/11)
BUG-100740	HIVE-16107	JDBC: HttpClient by měl opakovat ještě jednou na NoHttpResponseException
BUG-100810	HIVE-19054	Selhání replikace Služby Hive Functions
BUG-100937	MAPREDUCE-6889	Přidejte rozhraní API pro zavření klienta Job#close.
CHYBA-101065	ATLAS-2587	Nastavte seznam ACL pro čtení pro /apache_atlas/active_server_info znode v ha pro `Knox` čtení proxy serveru.
BUG-101093	STORM-2993	Bolt Storm HDFS vyvolá výjimku ClosedChannelException při použití zásad obměny času
BUG-101181	–	PhoenixStorageHandler nezpracuje správně a v predikátu
CHYBA-101266	PHOENIX-4635	Únik připojení HBase v org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	HIVE-11464	Chybějící informace o rodokmenu, pokud existuje více výstupů
BUG-101485	–	Rozhraní API metastoru hive je pomalé a způsobuje vypršení časového limitu klienta
CHYBA-101628	HIVE-19331	Přírůstková replikace Hivu do cloudu selhala.
BUG-102048	HIVE-19381	Replikace funkcí Hive do cloudu selže s funkcí FunctionTask
CHYBA-102064	–	Testy replikace `\[ onprem to onprem \]` Hive selhaly v ReplCopyTask
BUG-102137	HIVE-19423	Testy replikace `\[ Onprem to Cloud \]` Hive selhaly v ReplCopyTask
CHYBA-102305	HIVE-19430	Výpisy paměti OOM metastoru HS2 a Hive
CHYBA-102361	–	více výsledků vložení v jednom vložení replikovaném do cílového clusteru Hive ( `onprem - s3` )
CHYBA-87624	–	Povolení protokolování událostí storm způsobí, že pracovní procesy budou neustále zemřít.
BUG-88929	HBASE-15615	Chybný čas spánku, kdy regionServerCallable potřebuje zopakovat
CHYBA-89628	HIVE-17613	odebrání fondů objektů pro krátké přidělení stejných vláken
BUG-89813	–	SCA: Správnost kódu: Nesynchronní metoda přepisuje synchronizovanou metodu
BUG-90437	ZEPPELIN-3072	Uživatelské rozhraní Zeppelin se zpomalí nebo přestane reagovat, pokud existuje příliš mnoho poznámkových bloků
BUG-90640	HBASE-19065	HRegion#bulkLoadHFiles() by měl čekat na dokončení souběžné funkce Region#flush()
CHYBA-91202	HIVE-17013	Odstranění požadavku s poddotazem na základě výběru v zobrazení
CHYBA-91350	KNOX-1108	NiFiHaDispatch nepřebílá služby při selhání
CHYBA-92054	HIVE-13120	rozšíření objektů doA při generování rozdělení ORC
CHYBA-92373	FALCON-2314	Zvýšení verze TestNG na verzi 6.13.1, abyste se vyhnuli závislostem BeanShellu
BUG-92381	–	testContainerLogsWithNewAPI a testContainerLogsWithOldAPI UT selže
BUG-92389	STORM-2841	testNoAcksIfFlushFails UT selže s nullPointerException
CHYBA-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	Aktuální aktualizace `Spark2` na verzi 2.2.1 (16. ledna)
CHYBA-92680	ATLAS-2288	Výjimka NoClassDefFoundError při spuštění skriptu import-hive při vytvoření tabulky hbase prostřednictvím Hive
CHYBA-92760	ACCUMULO-4578	Zrušení operace komprimace FATE neuvolní zámek oboru názvů
BUG-92797	HDFS-10267, HDFS-8496	Omezení kolizí zámků datového uzlu v určitých případech použití
BUG-92813	FLUME-2973	Zablokování v hdfs jímce
CHYBA-92957	HIVE-11266	počet(*) nesprávný výsledek na základě statistiky tabulky pro externí tabulky
BUG-93018	ATLAS-2310	Pasivní uzel v případě vysoké dostupnosti přesměruje požadavek s nesprávným kódováním adresy URL.
CHYBA-93116	RANGER-1957	Ranger Usersync nesynchronizuje uživatele nebo skupiny pravidelně, když je povolená přírůstková synchronizace.
CHYBA-93361	HIVE-12360	Chybný hledání v nekomprimované ORC s predikáte pushdown
CHYBA-93426	CALCITE-2086	HTTP/413 za určitých okolností kvůli velkým hlavičkám autorizace
CHYBA-93429	PHOENIX-3240	TřídaCastException z zavaděče Pig
BUG-93485	–	Nelze získat tabulku mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: Při spuštění tabulky ve sloupcích LLAP nebyla nalezena tabulka.
CHYBA-93512	PHOENIX-4466	java.lang.RuntimeException: kód odpovědi 500 – Spuštění úlohy Sparku pro připojení k phoenix query serveru a načtení dat
CHYBA-93550	–	Zeppelin %spark.r nefunguje se spark1 kvůli neshodě verzí scala
BUG-93910	HIVE-18293	Hive selhává komprimovat tabulky obsažené ve složce, která není vlastněna identitou spuštěnou hiveMetaStore
CHYBA-93926	ZEPPELIN-3114	Poznámkové bloky a interprety se po 1d zátěžovém testování neukládají do zeppelinu >
CHYBA-93932	ATLAS-2320	klasifikace "*" s dotazem vyvolá výjimku 500 Interní server.
CHYBA-93948	YARN-7697	NM klesá s OOM kvůli úniku v agregaci protokolů (část č. 1)
CHYBA-93965	ATLAS-2229	Vyhledávání DSL: atribut orderby bez řetězce vyvolá výjimku
BUG-93986	YARN-7697	NM s OOM nefunguje kvůli úniku v agregaci protokolů (část č. 2)
BUG-94030	ATLAS-2332	Vytvoření typu s atributy s vnořeným datovým typem kolekce selže
BUG-94080	YARN-3742, YARN-6061	Oba RM jsou v pohotovostním režimu v zabezpečeném clusteru.
BUG-94081	HIVE-18384	ConcurrentModificationException v `log4j2.x` knihovně
CHYBA-94168	–	Yarn RM nefunguje s registrem služeb ve špatném stavu CHYBA
CHYBA-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	SYSTÉM HDFS by měl podporovat více `KMS Uris`
CHYBA-94345	HIVE-18429	Komprimace by měla zpracovávat případ, když nevygeneruje žádný výstup.
CHYBA-94372	ATLAS-2229	Dotaz DSL: hive_table název = ["t1";"t2"] vyvolá neplatnou výjimku dotazu DSL.
BUG-94381	HADOOP-13227, HDFS-13054	Zpracování objednávky RequestHedgingProxyProvider RetryAction: FAIL < RETRY < FAILOVER_AND_RETRY.
CHYBA-94432	HIVE-18353	CompactorMR by měl volat jobclient.close() pro aktivaci vyčištění.
CHYBA-94575	SPARK-22587	Úloha Sparku selže, pokud se fs.defaultFS a soubor JAR aplikace liší adresou URL
BUG-94791	SPARK-22793	Nevracení paměti na serveru Spark Thrift
BUG-94928	HDFS-11078	Oprava NPE v LazyPersistFileScrubber
BUG-95013	HIVE-18488	U čteček LLAP ORC chybí některé kontroly null.
BUG-95077	HIVE-14205	Hive nepodporuje sjednocovací typ ve formátu souboru AVRO.
BUG-95200	HDFS-13061	SaslDataTransferClient#checkTrustAndSend by neměl důvěřovat částečně důvěryhodnému kanálu.
CHYBA-95201	HDFS-13060	Přidání blacklistBasedTrustedChannelResolver pro TrustedChannelResolver
CHYBA-95284	HBASE-19395	[větev-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting selže s NPE
CHYBA-95301	HIVE-18517	Vektorizace: Oprava VectorMapOperatoru pro přijetí VRB a správné kontrole vektorizovaného příznaku pro podporu ukládání do mezipaměti LLAP
CHYBA-95542	HBASE-16135	PeerClusterZnode pod rs odebraného partnerského uzlu se nemusí nikdy odstranit.
CHYBA-95595	HIVE-15563	Ignorovat výjimku přechodu stavu neplatné operace v SQLOperation.runQuery k zveřejnění skutečné výjimky.
CHYBA-95596	YARN-4126, YARN-5750	TestClientRMService selže
BUG-96019	HIVE-18548	Oprava `log4j` importu
BUG-96196	HDFS-13120	Rozdíl snímků může být po zřetězení poškozen.
BUG-96289	HDFS-11701	NpE z nevyřešeného hostitele způsobí trvalé selhání DFSInputStream
CHYBA-96291	STORM-2652	Výjimka vyvolaná v otevřené metodě JmsSpout
CHYBA-96363	HIVE-18959	Vyhněte se vytváření dalšího fondu vláken v rámci LLAP
BUG-96390	HDFS-10453	Vlákno ReplicationMonitor může být dlouho zablokované kvůli závodu mezi replikací a odstraněním stejného souboru ve velkém clusteru.
CHYBA-96454	YARN-4593	Vzájemné zablokování v AbstractService.getConfig()
CHYBA-96704	FALCON-2322	ClassCastException while submitAndSchedule feed
CHYBA-96720	POSUVNÍK-1262	V prostředí dochází k `Kerberized` selhání trystestů posuvníku
CHYBA-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	Aktualizace `Spark2` aktuálního stavu (19. února)
BUG-97067	HIVE-10697	ObjectInspectorConvertors#UnionConvertor provede vadný převod
BUG-97244	KNOX-1083	Výchozí časový limit HttpClient by měl být rozumnou hodnotou.
CHYBA-97459	ZEPPELIN-3271	Možnost zakázání plánovače
BUG-97511	KNOX-1197	Funkce AnonymousAuthFilter se nepřidá, když authentication=Anonymní ve službě
BUG-97601	HIVE-17479	Přípravné adresáře se nevyčistí kvůli dotazům pro aktualizace nebo odstranění
CHYBA-97605	HIVE-18858	Systémové vlastnosti v konfiguraci úlohy se při odesílání úlohy MR nevyřeší
CHYBA-97674	OOZIE-3186	Oozie nemůže použít konfiguraci propojenou pomocí jceks://file/...
BUG-97743	–	java.lang.NoClassDefFoundError – výjimka při nasazování topologie storm
BUG-97756	PHOENIX-4576	Oprava selhání testů LocalIndexSplitMergeIT
BUG-97771	HDFS-11711	Dn by nemělo odstranit blok Při výjimce Příliš mnoho otevřených souborů
BUG-97869	KNOX-1190	`Knox` Podpora jednotného přihlašování pro Google OIDC je přerušená.
BUG-97879	PHOENIX-4489	Únik připojení HBase v úlohách Phoenix MR
BUG-98392	RANGER-2007	Prodloužení platnosti lístku Kerberos ranger-tagsync
BUG-98484	–	Přírůstková replikace Hive do cloudu nefunguje
CHYBA-98533	HBASE-19934, HBASE-20008	Obnovení snímku HBase selhává kvůli výjimce ukazatele null
BUG-98555	PHOENIX-4662	NullPointerException v TableResultIterator.java při opětovném odeslání mezipaměti
BUG-98579	HBASE-13716	Ukončení používání prostředků FSConstants systému Hadoop
BUG-98705	KNOX-1230	Mnoho souběžných požadavků, které `Knox` způsobují mangling adresy URL
BUG-98983	KNOX-1108	NiFiHaDispatch nepřebílá služby při selhání
BUG-99107	HIVE-19054	Replikace funkcí musí jako kořen používat hive.repl.replica.functions.root.dir.
BUG-99145	RANGER-2035	Chyby při přístupu k servicedefům s prázdnou třídou implClass s back-endem Oracle
BUG-99160	POSUVNÍK-1259	Posuvník nefunguje v prostředích s více domovy
BUG-99239	ATLAS-2462	Import Sqoopu pro všechny tabulky vyvolá NPE pro žádnou tabulku uvedenou v příkazu
BUG-99301	ATLAS-2530	Nový řádek na začátku atributu názvu hive_process a hive_column_lineage
CHYBA-99453	HIVE-19065	Kontrola kompatibility klienta metastoru by měla zahrnovat syncMetaStoreClient.
BUG-99521	–	ServerCache pro hashjoin se při opětovném vytvoření iterátorů znovu nevytvořil
BUG-99590	PHOENIX-3518	Nevracení paměti v renewLeaseTask
BUG-99618	SPARK-23599, SPARK-23806	Aktualizace `Spark2` na verzi 2.3.0+ (3/28)
CHYBA-99672	ATLAS-2524	Háček Hive s oznámeními V2 – nesprávné zpracování operace alter view as
BUG-99809	HBASE-20375	Odebrání použití getCurrentUserCredentials v modulu hbase-spark

Podpora

ID chyby	Apache JIRA	Souhrn
CHYBA-87343	HIVE-18031	Podpora replikace pro operaci Alter Database.
BUG-91293	RANGER-2060	`Knox` proxy server s `knox-sso` nefunguje pro ranger
CHYBA-93116	RANGER-1957	Ranger Usersync nesynchronizuje uživatele nebo skupiny pravidelně, když je povolená přírůstková synchronizace.
CHYBA-93577	RANGER-1938	Solr pro nastavení auditu efektivně nepoužívá DocValues
CHYBA-96082	RANGER-1982	Vylepšení chyb pro metriku analýzy správce Rangeru a Rangeru `Kms`
CHYBA-96479	HDFS-12781	Po `Datanode` vypnutí `Namenode` se na kartě Uživatelského rozhraní `Datanode` zobrazí zpráva s upozorněním.
CHYBA-97864	HIVE-18833	Automatické sloučení selže při vložení do adresáře jako orcfile
BUG-98814	HDFS-13314	Uzel NameNode by se měl volitelně ukončit, pokud zjistí poškození fsImage.

Upgradovat

ID chyby	Apache JIRA	Souhrn
BUG-100134	SPARK-22919	Vrácení verze "Bump Apache httpclient"
CHYBA-95823	–	`Knox`:Upgrade `Beanutils`
CHYBA-96751	KNOX-1076	Aktualizace nimbus-jose-jwt na 4.41.2
CHYBA-97864	HIVE-18833	Automatické sloučení selže při vložení do adresáře jako orcfile
BUG-99056	HADOOP-13556	Změna configuration.getPropsWithPrefix pro použití getProps místo iterátoru
BUG-99378	ATLAS-2461, ATLAS-2554	Nástroj pro migraci pro export dat Atlasu v databázi Titan Graph DB

Použitelnost

ID chyby	Apache JIRA	Souhrn
CHYBA-100045	HIVE-19056	IllegalArgumentException v fixAcidKeyIndex, pokud má soubor ORC 0 řádků
BUG-100139	KNOX-1243	Normalizace požadovaných sítí DN nakonfigurovaných ve `KnoxToken` službě
CHYBA-100570	ATLAS-2557	Oprava povolení `lookup` hadoopových `ldap` skupin, pokud jsou skupiny z UGI nesprávně nastavené nebo nejsou prázdné
CHYBA-100646	ATLAS-2102	Vylepšení uživatelského rozhraní Atlas: Stránka výsledků hledání
BUG-100737	HIVE-19049	Přidání podpory pro přidání sloupců pro Alter table pro Druid
BUG-100750	KNOX-1246	Aktualizujte konfiguraci `Knox` služby, aby podporovala nejnovější konfigurace pro Ranger.
BUG-100965	ATLAS-2581	Regrese s oznámeními háku Hive V2: Přesun tabulky do jiné databáze
CHYBA-84413	ATLAS-1964	Uživatelské rozhraní: Podpora řazení sloupců v tabulce výsledků hledání
BUG-90570	HDFS-11384, HDFS-12347	Přidání možnosti pro nástroj pro vyrovnávání rozptýlení volání getBlocks, aby se zabránilo rpc uzlu NameNode. Zásobník CallQueueLength
BUG-90584	HBASE-19052	FixedFileTrailer by měl rozpoznat třídu CellComparatorImpl ve větvi 1.x
BUG-90979	KNOX-1224	`Knox` Proxy pro `HADispatcher` podporu Atlasu v HA.
BUG-91293	RANGER-2060	`Knox` proxy server s knox-sso nefunguje pro ranger
CHYBA-92236	ATLAS-2281	Ukládání dotazů filtru atributů Tag/Type s filtry null/not null
CHYBA-92238	ATLAS-2282	Uložené oblíbené hledání se zobrazí pouze při aktualizaci po vytvoření, pokud existuje 25 nebo více oblíbených hledání.
CHYBA-92333	ATLAS-2286	Předdefinovaný typ "kafka_topic" by neměl deklarovat atribut topic jako jedinečný.
CHYBA-92678	ATLAS-2276	Hodnota cesty pro entitu typu hdfs_path je nastavená na malá písmena z hive-bridge.
BUG-93097	RANGER-1944	Filtr akcí pro audit správce nefunguje
CHYBA-93135	HIVE-15874, HIVE-18189	Dotaz Hive vracející nesprávné výsledky při nastavení hive.groupby.orderby.position.alias na true
CHYBA-93136	HIVE-18189	Pořadí podle pozice nefunguje, když `cbo` je zakázaná
CHYBA-93387	HIVE-17600	Nastavit vlastnost "enforceBufferSize" souboru OrcFile uživatelem settable.
BUG-93495	RANGER-1937	Ranger `tagsync` by měl zpracovávat ENTITY_CREATE oznámení, aby podporoval funkci importu Atlasu.
CHYBA-93512	PHOENIX-4466	java.lang.RuntimeException: kód odpovědi 500 – Spuštění úlohy Sparku pro připojení k phoenix query serveru a načtení dat
BUG-93801	HBASE-19393	HTTP 413 FULL head při přístupu k uživatelskému rozhraní HBase pomocí SSL.
BUG-93804	HIVE-17419	ANALYZOVAT TABULKU... Příkaz COMPUTE STATISTICS FOR COLUMNS zobrazuje vypočítané statistiky pro maskované tabulky.
CHYBA-93932	ATLAS-2320	klasifikace "*" s dotazem vyvolá výjimku 500 Interní server.
CHYBA-93933	ATLAS-2286	Předdefinovaný typ "kafka_topic" by neměl deklarovat atribut topic jako jedinečný.
BUG-93938	ATLAS-2283, ATLAS-2295	Aktualizace uživatelského rozhraní pro klasifikace
BUG-93941	ATLAS-2296, ATLAS-2307	Základní vylepšení vyhledávání pro volitelné vyloučení entit podtypu a podtříděných typů
CHYBA-93944	ATLAS-2318	Uživatelské rozhraní: Když dvakrát kliknete na podřízenou značku, vybere se nadřazená značka.
CHYBA-93946	ATLAS-2319	Uživatelské rozhraní: Odstranění značky, která na 25+ pozici v seznamu značek v ploché i stromové struktuře potřebuje aktualizaci, aby se značka ze seznamu odebrala.
BUG-93977	HIVE-16232	Podpora výpočtů statistik pro sloupec v QuotedIdentifier
BUG-94030	ATLAS-2332	Vytvoření typu s atributy s vnořeným datovým typem kolekce selže
BUG-94099	ATLAS-2352	Server Atlas by měl poskytovat konfiguraci pro určení platnosti delegování KerberosTokenu.
BUG-94280	HIVE-12785	Zobrazení s typem sjednocení a uživatelem definovaným uživatelem na přetypování struktury je přerušeno.
CHYBA-94332	SQOOP-2930	Úloha Sqoop exec nepřepíše obecné vlastnosti uložené úlohy
CHYBA-94428	–	`Dataplane` Podpora rozhraní REST API `Knox` agenta profileru
CHYBA-94514	ATLAS-2339	Uživatelské rozhraní: Změny ve sloupcích v základním zobrazení výsledků hledání mají vliv také na DSL.
CHYBA-94515	ATLAS-2169	Požadavek na odstranění selže při konfiguraci pevného odstranění
CHYBA-94518	ATLAS-2329	Pokud uživatel klikne na jinou značku, která je nesprávná, zobrazí se více najetí myší uživatelského rozhraní Atlas
BUG-94519	ATLAS-2272	Pomocí rozhraní API pro vyhledávání pro ukládání uložte stav přetažených sloupců.
CHYBA-94627	HIVE-17731	Přidání zpětné `compat` možnosti pro externí uživatele do HIVE-11985
CHYBA-94786	HIVE-6091	Vytvoří se prázdné `pipeout` soubory pro vytvoření nebo zavření připojení.
CHYBA-94793	HIVE-14013	Popis tabulky nezobrazuje správně unicode
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	Nastavení spark.yarn.jars pro opravu Sparku 2.0 pomocí Oozie
BUG-94901	HBASE-19285	Přidání histogramů latence jednotlivých tabulek
BUG-94908	ATLAS-1921	Uživatelské rozhraní: Vyhledávání pomocí atributů entit a vlastností: Uživatelské rozhraní neprovádí kontrolu rozsahu a umožňuje poskytovat hodnoty mimo hranice pro celočíselné a plovoucí datové typy.
BUG-95086	RANGER-1953	vylepšení na stránce skupiny uživatelů
CHYBA-95193	POSUVNÍK-1252	Agent posuvníku selže s chybami ověření SSL v Pythonu 2.7.5-58
CHYBA-95314	YARN-7699	queueUsagePercentage přichází jako INF pro `getApp` volání rozhraní REST API
CHYBA-95315	HBASE-13947, HBASE-14517, HBASE-17931	Přiřazení systémových tabulek k serverům s nejvyšší verzí
CHYBA-95392	ATLAS-2421	Aktualizace oznámení pro podporu datových struktur V2
CHYBA-95476	RANGER-1966	Inicializace modulu zásad nevytvoří v některých případech kontextové rozšiřování.
CHYBA-95512	HIVE-18467	podpora výpisu paměti celého skladu / načtení + vytvoření/ odstranění databázových událostí
CHYBA-95593	–	Rozšíření nástrojů pro Oozie DB za účelem podpory `Spark2` `sharelib` vytváření
CHYBA-95595	HIVE-15563	Ignorovat výjimku přechodu stavu neplatné operace v SQLOperation.runQuery k zveřejnění skutečné výjimky.
CHYBA-95685	ATLAS-2422	Export: Podpora exportu založeného na typu
CHYBA-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Nepoužívejte vodicí příspěvky pro provádění dotazů sériově.
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	Dělené zobrazení selže s chybou FAILED: IndexOutOfBoundsException Index: 1, Velikost: 1
BUG-96019	HIVE-18548	Oprava `log4j` importu
CHYBA-96288	HBASE-14123, HBASE-14135, HBASE-17850	Zálohování nebo obnovení HBase backportu 2.0
CHYBA-96313	KNOX-1119	`Pac4J` Je potřeba nakonfigurovat objekt zabezpečení OAuth/OpenID.
CHYBA-96365	ATLAS-2442	Uživatel s oprávněním jen pro čtení u prostředku entity nemůže provádět základní vyhledávání
CHYBA-96479	HDFS-12781	Po `Datanode` vypnutí `Namenode` se na kartě Uživatelského rozhraní `Datanode` zobrazí zpráva s upozorněním.
CHYBA-96502	RANGER-1990	Přidání podpory one-way SSL MySQL ve správci Rangeru
BUG-96718	ATLAS-2439	Aktualizace háku Sqoop tak, aby používala oznámení V2
CHYBA-96748	HIVE-18587	Událost insert DML se může pokusit vypočítat kontrolní součet u adresářů.
CHYBA-96821	HBASE-18212	V samostatném režimu s upozorněním protokolu HBase místního systému souborů: Volání metody unbuffer ve třídě org.apache.hadoop.fs.FSDataInputStream se nezdařilo.
CHYBA-96847	HIVE-18754	REPL STATUS by měla podporovat klauzuli with
BUG-96873	ATLAS-2443	Zachycení požadovaných atributů entity v odchozích zprávách DELETE
BUG-96880	SPARK-23230	Pokud je podregistre.default.fileformat další typy typů souborů, vytvoření `textfile` tabulky způsobí `serde` chybu.
CHYBA-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Vylepšení parsování možností Sparku
BUG-97100	RANGER-1984	Záznamy protokolu auditu HBase nemusí zobrazovat všechny značky přidružené k přístupnému sloupci.
BUG-97110	PHOENIX-3789	Provádění volání údržby indexu napříč oblastmi v postBatchMutateIndispensly
CHYBA-97145	HIVE-12245, HIVE-17829	Podpora komentářů ke sloupcům pro zálohovanou tabulku HBase
BUG-97409	HADOOP-15255	Podpora převodu velkých a malých písmen pro názvy skupin v LdapGroupsMapping
CHYBA-97535	HIVE-18710	rozšíření inheritPerms na ACID v Hive 2.X
CHYBA-97742	OOZIE-1624	Model vyloučení pro žádosti o `sharelib` přijetí změn
BUG-97744	PHOENIX-3994	Priorita protokolu RPC indexu stále závisí na vlastnosti objektu pro vytváření kontroleru v hbase-site.xml
BUG-97787	HIVE-18460	Komprimátor nepředává vlastnosti tabulky zapisovači Orc.
BUG-97788	HIVE-18613	Rozšíření JsonSerDe pro podporu binárního typu
BUG-97899	HIVE-18808	Zajištění robustnější komprimace v případě selhání aktualizace statistik
BUG-98038	HIVE-18788	Vyčištění vstupů v JDBC PreparedStatement
BUG-98383	HIVE-18907	Vytvoření nástroje pro opravu problému s indexem acid key z HIVE-18817
BUG-98388	RANGER-1828	Osvědčené postupy kódování – přidání dalších hlaviček v rangeru
BUG-98392	RANGER-2007	Prodloužení platnosti lístku Kerberos ranger-tagsync
CHYBA-98533	HBASE-19934, HBASE-20008	Obnovení snímku HBase selhává kvůli výjimce ukazatele null
BUG-98552	HBASE-18083, HBASE-18084	Nastavení velkého nebo malého souboru jako čistého čísla vlákna v HFileCleaneru
BUG-98705	KNOX-1230	Mnoho souběžných požadavků, které `Knox` způsobují mangling adresy URL
BUG-98711	–	Odesílání NiFi nemůže používat obousměrný protokol SSL bez service.xml úprav.
BUG-98880	OOZIE-3199	Povolit konfigurovatelné omezení vlastností systému
BUG-98931	ATLAS-2491	Aktualizace háku Hive tak, aby používala oznámení Atlasu v2
BUG-98983	KNOX-1108	NiFiHaDispatch nepřebílá služby při selhání
BUG-99088	ATLAS-2511	Poskytnutí možností selektivního importu databáze nebo tabulek z Hivu do Atlasu
CHYBA-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	Dotaz Sparku selhal s výjimkou java.io.FileNotFoundException: hive-site.xml (oprávnění odepřeno)"
BUG-99239	ATLAS-2462	Import Sqoopu pro všechny tabulky vyvolá NPE pro žádnou tabulku uvedenou v příkazu
CHYBA-99636	KNOX-1238	Oprava vlastních nastavení úložiště důvěryhodnosti pro bránu
BUG-99650	KNOX-1223	Proxy server Zeppelinu `Knox` nepřesměruje /api/ticket podle očekávání
BUG-99804	OOZIE-2858	HiveMain, ShellMain a SparkMain by neměly přepsat vlastnosti a konfigurační soubory místně.
BUG-99805	OOZIE-2885	Spouštění akcí Sparku by nemělo v cestě ke třídě potřebovat Hive.
BUG-99806	OOZIE-2845	Nahrazení kódu založeného na reflexi, který nastavuje proměnnou v HiveConf
BUG-99807	OOZIE-2844	Zvýšení stability akcí Oozie v případech, kdy `log4j`chybí nebo nejsou čitelné vlastnosti
RMP-9995	AMBARI-22222	Přepněte druid tak, aby místo adresáře /apps/druid na místním disku používal adresář /var/druid.

Změny chování

Komponenta Apache	Apache JIRA	Souhrn	Podrobnosti
Spark 2.3	–	Změny popsané v poznámkách k verzi Apache Sparku	- K dispozici je dokument "Vyřazení" a průvodce změnou chování, https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Pro část SQL je k dispozici další podrobný průvodce migrací (od 2.2 do 2.3), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	Úloha Sparku se úspěšně dokončila, ale došlo k úplné chybě kvóty disku HDFS.	Scénář: Spuštění příkazu insert přepíše, pokud je kvóta nastavena ve složce Koš uživatele, který příkaz spustí. Předchozí chování: Úloha bude úspěšná, i když se nepodaří přesunout data do koše. Výsledek může nesprávně obsahovat některá data, která byla v tabulce dříve přítomna. Nové chování: Když se přesun do složky Koš nezdaří, soubory se trvale odstraní.
Kafka 1.0	–	Změny popsané v poznámkách k verzi Apache Sparku	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/ Ranger		Další zásady hivu rangeru vyžadované pro INSERT OVERWRITE	Scénář: Další zásady hive rangeru vyžadované pro INSERT OVERWRITE Předchozí chování: Dotazy Hive INSERT OVERWRITE jsou úspěšné jako obvykle. Nové chování: Dotazy Hive INSERT OVERWRITE neočekávaně selhávají po upgradu na HDP-2.6.x s chybou: Chyba při kompilaci příkazu: FAILED: HiveAccessControlException Permission denied: user jdoe nemá oprávnění k zápisu na /tmp/(state=42000,code=40000) Od HDP-2.6.0 vyžadují dotazy Hive INSERT OVERWRITE* zásadu Ranger URI, která umožňuje operace zápisu, i když má uživatel udělené oprávnění k zápisu prostřednictvím zásad HDFS. Alternativní řešení nebo očekávaná akce zákazníka: 1. Vytvořte novou zásadu v úložišti Hive. 2. V rozevíracím seznamu, kde se zobrazí Databáze, vyberte identifikátor URI. 3. Aktualizujte cestu (příklad: /tmp/*) 4. Přidejte uživatele a skupinu a uložte. 5. Zkuste vložit dotaz znovu.
HDFS	–	SYSTÉM HDFS by měl podporovat více `KMS Uris`	Předchozí chování: vlastnost dfs.encryption.key.provider.uri byla použita ke konfiguraci cesty zprostředkovatele Služby správy klíčů. Nové chování: dfs.encryption.key.provider.uri je nyní zastaralý ve prospěch hadoop.security.key.provider.path ke konfiguraci cesty zprostředkovatele Služby správy klíčů.
Vzducholoď	ZEPPELIN-3271	Možnost zakázání plánovače	Ovlivněná komponenta: Zeppelin-Server Předchozí chování: V předchozích verzích Zeppelinu nebyla k dispozici žádná možnost zakázání plánovače. Nové chování: Ve výchozím nastavení už uživatelé neuvidí plánovač, protože je ve výchozím nastavení zakázaný. Alternativní řešení/očekávaná akce zákazníka: Pokud chcete povolit plánovač, budete muset přidat azeppelin.notebook.cron.enable s hodnotou true v nastavení vlastní zeppelin v nastavení Zeppelin z Ambari.

Známé problémy

Integrace HDInsightu s ADLS Gen2 : V clusterech HDInsight ESP s využitím Azure Data Lake Storage Gen2 s uživatelskými adresáři a oprávněními existují dva problémy:
1. Domovské adresáře pro uživatele se nevytvoří na hlavním uzlu 1. Jako alternativní řešení vytvořte adresáře ručně a změníte vlastnictví hlavního názvu uživatele (UPN) příslušného uživatele.
2. Oprávnění k adresáři /hdp nejsou aktuálně nastavená na hodnotu 751. To je potřeba nastavit na
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] Nesprávný výsledek způsobený pravidlem OptimizeMetadataOnlyQuery
- [SPARK-23406] Chyby v samoobslužných spojeních streamu
- Ukázkové poznámkové bloky Sparku nejsou dostupné, pokud je výchozím úložištěm clusteru Azure Data Lake Storage (Gen2).
Balíček zabezpečení podniku
- Spark Thrift Server nepřijímá připojení z klientů ODBC. Postup alternativního řešení:
  1. Počkejte asi 15 minut po vytvoření clusteru.
  2. Zkontrolujte, jestli uživatelské rozhraní rangeru neexistuje hivesampletable_policy.
  3. Restartujte službu Spark. Připojení služby STS by teď mělo fungovat.
Alternativní řešení selhání kontroly služby Ranger
- RANGER-1607: Alternativní řešení chyby kontroly služby Ranger při upgradu na HDP 2.6.2 z předchozích verzí HDP.
  
  Poznámka:
  
  Pouze pokud je Ranger povolený PROTOKOL SSL.
K tomuto problému dochází při pokusu o upgrade na HDP-2.6.1 z předchozích verzí HDP prostřednictvím Ambari. Ambari používá volání curl ke kontrole služby Ranger ve službě Ambari. Pokud je verze sady JDK používaná Ambari JDK-1.7, volání curl selže s následující chybou:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Důvodem této chyby je verze tomcat, která se používá v Rangeru, je Tomcat-7.0.7*. Použití sady JDK-1.7 koliduje s výchozími šiframi zadanými v Tomcat-7.0.7*.

Tento problém můžete vyřešit dvěma způsoby:
- Aktualizujte sadu JDK používanou v Ambari z JDK-1.7 na JDK-1.8 (viz část Změna verze sady JDK v referenční příručce Ambari).
- Pokud chcete pokračovat v podpoře prostředí JDK-1.7:
  1. Do části ranger-admin-site ranger.tomcat.ciphers přidejte v konfiguraci Ambari Ranger následující hodnotu:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Pokud je vaše prostředí nakonfigurované pro Ranger-KMS, přidejte do oddílu aranger-kms-site v konfiguraci Ambari Ranger následující hodnotu:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Poznámka:

Uvedené hodnoty fungují jako příklady a nemusí to značit vaše prostředí. Ujistěte se, že způsob nastavení těchto vlastností odpovídá konfiguraci vašeho prostředí.
RangerUI: Únik textu podmínky zásady zadaný ve formuláři zásady

Ovlivněná komponenta: Ranger

Popis problému

Pokud chce uživatel vytvořit zásadu s vlastními podmínkami zásad a výraz nebo text obsahuje speciální znaky, nebude vynucení zásad fungovat. Speciální znaky se před uložením zásad do databáze převedou na ASCII.

Speciální znaky: & <> " ' '

Například značky podmínky.attributes['type']='abc' se po uložení zásady převedou na následující.

tags.attds[' dsds']=' cssdfs'

Podmínku zásad s těmito znaky můžete zobrazit tak, že zásadu otevřete v režimu úprav.

Alternativní řešení
- Možnost č. 1: Vytvoření nebo aktualizace zásad prostřednictvím rozhraní REST API Rangeru
  
  Adresa URL REST: http://< host>:6080/service/plugins/policies
  
  Vytváření zásad s podmínkou zásad:
  
  Následující příklad vytvoří zásadu se značkami jako tags-test a přiřadí ji skupině public s podmínkou zásad astags.attr['type']=='abc' tak, že vybere všechna oprávnění komponent Hive, jako je výběr, aktualizace, vytvoření, přetažení, změna, index, zámek, vše.
  
  Příklad:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Aktualizace existujících zásad pomocí podmínky zásad:
  
  Následující příklad aktualizuje zásady značkami jako tags-test a přiřadí ji skupině public s podmínkou zásad astags.attr['type']=='abc' tak, že vybere všechna oprávnění ke komponentě Hive, jako je výběr, aktualizace, vytvoření, přetažení, změna, index, zámek, vše.
  
  Adresa URL REST: http://< host-name>:6080/service/plugins/policies/<policy-id>
  
  Příklad:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- Možnost č. 2: Použití změn JavaScriptu
  
  Postup aktualizace souboru JS:
  1. Zjištění PermissionList.js souboru v části /usr/hdp/current/ranger-admin
  2. Zjistěte definici funkce renderPolicyCondtion (řádek č. 404).
  3. Odeberte z této funkce následující řádek, tj. pod zobrazovanou funkcí (řádek č.: 434).
    
    val = _.escape(val);/řádek č:460
    
    Po odebrání výše uvedeného řádku vám uživatelské rozhraní Ranger umožní vytvořit zásady s podmínkou zásad, která může obsahovat speciální znaky a vyhodnocení zásad bude úspěšné pro stejnou zásadu.

Integrace SLUŽBY HDInsight s ADLS Gen2: Problémy s uživatelskými adresáři a oprávněními u clusterů ESP 1 Domovské adresáře pro uživatele se nevytvoří na hlavním uzlu 1. Alternativním řešením je vytvořit tyto ručně a změnit vlastnictví hlavního názvu uživatele (UPN) příslušného uživatele. 2. Oprávnění pro /hdp nejsou aktuálně nastavena na hodnotu 751. Musí být nastavena na hodnotu chmod 751 /hdp b. chmod –R 755 /hdp/apps.

Vyřazení z provozu

Portál OMS: Odebrali jsme odkaz ze stránky prostředků HDInsight odkazující na portál OMS. Protokoly služby Azure Monitor původně používaly vlastní portál označovaný jako portál OMS ke správě konfigurace a analýze shromážděných dat. Všechny funkce z tohoto portálu byly přesunuty na web Azure Portal, kde se bude dále vyvíjet. SLUŽBA HDInsight přestala podporovat portál OMS. Zákazníci budou používat integraci protokolů služby HDInsight Azure Monitor na webu Azure Portal.
Spark 2.3: Vyřazení Verze Sparku 2.3.0

Zlepšení

Všechny tyto funkce jsou k dispozici ve službě HDInsight 3.6. Pokud chcete získat nejnovější verzi Sparku, Kafka a R Serveru (Machine Learning Services), při vytváření clusteru HDInsight 3.6 zvolte verzi Sparku, Kafka a ML Services. Pokud chcete získat podporu pro ADLS, můžete jako možnost zvolit typ úložiště ADLS. Stávající clustery se automaticky neupgradují na tyto verze.

Všechny nové clustery vytvořené po červnu 2018 se automaticky dostanou přes 1 000 a více oprav chyb ve všech opensourcových projektech. Při upgradu na novější verzi HDInsight postupujte podle této příručky.

Sdílet prostřednictvím

Archivované poznámky k verzi

Shrnutí

Informace o verzi

Datum vydání: 30. 30. 2024

Opravili jsme problém.

Již brzy

Datum vydání: 9. 9. 2024

Aktualizace

Datum vydání: 5. července 2024

Opravené problémy

Datum vydání: 19. června 2024

Opravené problémy

Datum vydání: 16. května 2024

Datum vydání: 15. dubna 2024

Datum vydání: 15. února 2024

Nové funkce

Již brzy

Další kroky

Datum vydání: 10. ledna 2024

Opravené problémy

Již brzy

Datum vydání: 26. října 2023

Co je nového

Již brzy

Datum vydání: 7. září 2023

Již brzy

Datum vydání: 25. července 2023

Co je nového

Již brzy

Datum vydání: 8. května 2023

Datum vydání: 28. února 2023

Co bude dál

Datum vydání: 12. prosince 2022

Opravy chyb open source

Datum vydání: 10. 8. 2022

Nová funkce

Pevný

Log Analytics

Další opravy chyb

Opravy chyb open source

Opravy chyb TEZ

Opravy chyb Hivu

Známé problémy

Datum vydání: 10. 8. 2022

Nová funkce

Pevný

Log Analytics

Další opravy chyb

Opravy chyb open source

Opravy chyb TEZ

Opravy chyb Hivu

Známé problémy

Datum vydání: 3. 6. 2022

Hlavní informace k vydání

Ambari

Opravy chyb TEZ

Opravy chyb HBase

Opravy chyb Hivu

Datum vydání: 10. 3. 2022

Spark 3.1 je teď obecně dostupný

Kafka 2.4 je teď obecně dostupný

Datový typ mapování v HWC se teď podporuje ve službě HDInsight 4.0.

Nové oblasti

Změny backportu operačního systému

Tady jsou backportované apache JIRA operačního systému pro tuto verzi:

Oznámení o vyřazení

Škálovací sady virtuálních počítačů Azure ve službě HDInsight

Škálování úloh Azure HDInsight HBase se teď bude podporovat jenom pomocí ručního škálování.

Datum vydání: 27. 12. 2021

Datum vydání: 27. 7. 2021

Nové funkce

Podpora azure HDInsight pro omezené veřejné připojení je obecně dostupná 15. října 2021

Podpora služby Azure HDInsight pro Azure Private Link je obecně dostupná 15. října 2021

Nové prostředí integrace služby Azure Monitor (Preview)

Vyřazení z provozu

Změny chování

HDInsight Interactive Query podporuje pouze automatické škálování založené na plánu.

Nadcházející změny

Odebere se integrovaná komponenta LLAP v clusteru ESP Spark.

Oprava cen pro virtuální počítače HDInsight `Dv2`

`Eav4`-series support

Výchozí velikosti virtuálních počítačů clusteru se změní na `Ev3`-series.

Výchozí velikost virtuálního počítače clusteru se změní na `Ev3`-series