Archivált kibocsátási megjegyzések

Cikk
05/27/2024

Összegzés

Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Iratkozzon fel a HDInsight kibocsátási megjegyzéseire a HDInsight és az összes HDInsight-verzió naprakész információiért.

A feliratkozáshoz kattintson a szalagcím "watch" gombjára, és figyelje meg a HDInsight-kiadásokat.

Kiadási információk

Kiadás dátuma: 2024. április 15.

Ez a kibocsátási megjegyzés a HDInsight 5.1-es verziójára vonatkozik.

A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2403290825 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Feljegyzés

Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.

A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.

Megoldott problémák

Az Ambari DB, a Hive Warehouse Controller (HWC), a Spark és a HDFS hibajavításai
Hibajavítások a HDInsightSparkLogs-hez készült Log Analytics-modulhoz
A HDInsight erőforrás-szolgáltató CVE-javításai.

Hamarosan

Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Kiadás dátuma: 2024. február 15.

Ez a kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401250802 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Feljegyzés

Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.

A számítási feladatokhoz tartozó verziókért lásd:

Új funkciók

Apache Ranger-támogatás a Spark SQL-hez a Spark 3.3.0-s (HDInsight 5.1-es verziójában) vállalati biztonsági csomaggal. További információt itt találhat.

Megoldott problémák

Az Ambari és az Oozie összetevőinek biztonsági javításai

Hamarosan

Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Feljegyzés

Következő lépések

Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Ha a kibocsátási megjegyzésekre szeretne előfizetni, tekintse meg a GitHub-adattár kiadásait.

Kiadás dátuma: 2024. január 10.

Ez a gyorsjavítás-kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401030422 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Feljegyzés

Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.

A számítási feladatokhoz tartozó verziókért lásd:

Megoldott problémák

Az Ambari és az Oozie összetevőinek biztonsági javításai

Hamarosan

Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Feljegyzés

Kiadás dátuma: 2023. október 26.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2310140056 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Újdonságok

A HDInsight 2023. november 1-től jelenti be a HDInsight 5.1 általános elérhetőségét. Ez a kiadás teljes veremfrissítést biztosít az nyílt forráskód összetevőkre és a Microsoft integrációira.
- Legújabb nyílt forráskódú verziók – A HDInsight 5.1 a legújabb stabil nyílt forráskódú verzióval rendelkezik. Az ügyfelek élvezhetik a legújabb nyílt forráskód funkciókat, a Microsoft teljesítménybeli fejlesztéseit és a hibajavításokat.
- Biztonságos – A legújabb verziókban a legújabb biztonsági javítások, a nyílt forráskódú biztonsági javítások és a Microsoft által végzett biztonsági fejlesztések is elérhetőek.
- Alacsonyabb TCO – A teljesítménybeli fejlesztések révén az ügyfelek csökkenthetik az üzemeltetési költségeket, valamint a továbbfejlesztett automatikus skálázást.
Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiók csatlakoztatásához.
HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfél létrehozási hibákba ütközhet, ha ez az ellenőrzés nincs engedélyezve.
Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
- A nem ESP ABFS-fürtök korlátozzák, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtanak végre a tárolási műveletekhez. Ez a módosítás javítja a fürt biztonsági helyzetét.
In-line kvótafrissítés.
- Most közvetlenül a Saját kvóta oldalról kérheti a kvótanövelést, és a közvetlen API-hívás sokkal gyorsabb. Ha az API-hívás meghiúsul, létrehozhat egy új támogatási kérést a kvótanöveléshez.

Hamarosan

A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást minden régióban bevezetjük a közelgő kiadástól kezdve.
Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Feljegyzés

Ez a kiadás az MSRC által 2023. szeptember 12-én kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerkép-2308221128 vagy 2310140056 frissítése. Az ügyfeleknek ennek megfelelően kell tervezni.

CVE	Súlyosság	CVE cím	Megjegyzés
CVE-2023-38156	Fontos	Azure HDInsight Apache Ambari jogosultsági rés növelése	A 2308221128 vagy a 2310140056 oldalon található képen szerepel
CVE-2023-36419	Fontos	Azure HDInsight Apache Oozie munkafolyamat-ütemező Jogosultsági rés növelése	Alkalmazza a szkript műveletet a klasztereken, vagy frissítse a 2310140056 képre

Feljegyzés

Kiadás dátuma: 2023. szeptember 7.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2308221128 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Fontos

Ez a kiadás az MSRC által 2023. szeptember 12-én kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerkép-2308221128 frissítése. Az ügyfeleknek ennek megfelelően kell tervezni.

CVE	Súlyosság	CVE cím	Megjegyzés
CVE-2023-38156	Fontos	Azure HDInsight Apache Ambari jogosultsági rés növelése	2308221128 kép része
CVE-2023-36419	Fontos	Azure HDInsight Apache Oozie munkafolyamat-ütemező Jogosultsági rés növelése	Szkriptművelet alkalmazása fürtökön

Hamarosan

A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást 2023. szeptember 30-ig hajtjuk végre.
Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
In-line kvótafrissítés.
- A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az APdI-hívás meghiúsul, az ügyfeleknek új támogatási kérelmet kell létrehozniuk a kvótanöveléshez.
HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtti hibáinak elkerülése érdekében. 
Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt végre kell hajtaniuk a frissítéseket.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Itt további javaslatokat, ötleteket és egyéb témákat adhat hozzá, és szavazhat rájuk – HDInsight Community (azure.com).

Feljegyzés

Kiadás dátuma: 2023. július 25.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2307201242 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Mi újság

A HDInsight 5.1 mostantól esp-fürttel is támogatott.
A Ranger 2.3.0 és az Oozie 5.2.1 frissített verziója mostantól a HDInsight 5.1 része
A Spark 3.3.1 (HDInsight 5.1) fürt a Hive Warehouse Connector (HWC) 2.1-et tartalmazza, amely együttműködik az Interaktív lekérdezési (HDInsight 5.1) fürttel.
Az Ubuntu 18.04-et a 2023. júliusi Azure HDInsighthoz készült Azure Linux-csapat támogatja az ESM (kiterjesztett biztonsági karbantartás) keretében.

Fontos

Ez a kiadás az MSRC által 2023. augusztus 8-án kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerképre való frissítés 2307201242. Az ügyfeleknek ennek megfelelően kell tervezni.

CVE	Súlyosság	CVE cím
CVE-2023-35393	Fontos	Az Azure Apache Hive hamisítási biztonsági rése
CVE-2023-35394	Fontos	Az Azure HDInsight Jupyter notebook hamisítási biztonsági rése
CVE-2023-36877	Fontos	Azure Apache Oozie hamisítási biztonsági rés
CVE-2023-36881	Fontos	Azure Apache Ambari hamisítási biztonsági rés
CVE-2023-38188	Fontos	Az Azure Apache Hadoop hamisítási biztonsági rése

Hamarosan

A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket.
Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
In-line kvótafrissítés.
- A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtt bekövetkező hibáinak elkerülése érdekében. 
Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Szívesen ad további javaslatokat és ötleteket és más témákat itt, és szavazzon rájuk - HDInsight Közösség (azure.com), és kövessen minket további frissítések twitter

Feljegyzés

Kiadás dátuma: 2023. május 08.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető. Ez a kiadás a 2304280205 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Az Azure HDInsight 5.1 frissítése
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
Feljegyzés
- Minden összetevő integrálva van a Hadoop 3.3.4 > ZK 3.6.3
- A fenti frissített összetevők mostantól nyilvános előzetes verziójú, nem ESP-fürtökben is elérhetők.

Továbbfejlesztett automatikus skálázás a HDInsighthoz

Az Azure HDInsight jelentős fejlesztéseket hajtott végre az automatikus skálázás stabilitásán és késésén. Az alapvető változások közé tartozik a jobb visszajelzési ciklus a skálázási döntésekhez, a skálázási késés jelentős javulása és a leszerelt csomópontok újrakommissziójának támogatása. További információ a fejlesztésekről, a fürt egyéni konfigurálásáról és a továbbfejlesztett automatikus skálázásra való migrálásáról. A továbbfejlesztett automatikus skálázási funkció 2023. május 17-én érhető el az összes támogatott régióban.
Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP mostantól általánosan elérhető.

Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP 2022 áprilisa óta nyilvános előzetes verzióban érhető el. A CVE javításainak és stabilitásának jelentős fejlesztései után az Azure HDInsight ESP Kafka 2.4.1 általánosan elérhetővé válik, és készen áll az éles számítási feladatokra, és megismerkedhet a konfigurálás és a migrálás módjával.
A HDInsight kvótakezelése

A HDInsight jelenleg regionális szinten foglalja le a kvótát az ügyfél-előfizetésekhez. Az ügyfeleknek kiosztott magok általánosak, és nem virtuálisgép-családi szinten vannak besorolva (például, Dv2, Ev3, Eav4stb.).

A HDInsight továbbfejlesztett nézetet vezetett be, amely részletes és besorolást biztosít a családi szintű virtuális gépek kvótáihoz. Ez a funkció lehetővé teszi, hogy az ügyfelek a virtuális gép családi szintjén tekinthetik meg a régió aktuális és fennmaradó kvótáit. A továbbfejlesztett nézettel az ügyfelek gazdagabb láthatóságot, kvóták tervezését és jobb felhasználói élményt biztosítanak. Ez a funkció jelenleg az USA keleti régiójához tartozó HDInsight 4.x és 5.x rendszeren érhető el. További követendő régiók.

További információ: Fürtkapacitás-tervezés az Azure HDInsightban | Microsoft Learn

Közép-Lengyelország

A fürtnév maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében.
Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
In-line kvótafrissítés.
- A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás, amely gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezni, mivel ez kötelező ellenőrzés lenne a fürtlétrehozás hibáinak elkerülése érdekében.
Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.

Kiadás dátuma: 2023. február 28.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. és 5.0, 5.1. A HDInsight-kiadás több napon keresztül minden régióban elérhető. Ez a kiadás a 2302250400 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Fontos

A Microsoft kiadta a CVE-2023-23408-at, amely az aktuális kiadásban van javítva, és az ügyfeleknek javasoljuk, hogy frissítsenek fürtöiket a legújabb lemezképre.

HDInsight 5.1

Elindítottuk a HDInsight 5.1 új verzióját. Minden új nyílt forráskódú kiadás növekményes kiadásként hozzáadva a HDInsight 5.1-es verziójához.

További információ: HDInsight 5.1.0-s verzió

Kafka 3.2.0 frissítés (előzetes verzió)

A Kafka 3.2.0 számos jelentős új funkciót/fejlesztést tartalmaz.
- Frissített Zookeeper 3.6.3-ra
- A Kafka Streams támogatása
- A Kafka-gyártó számára alapértelmezés szerint engedélyezett erősebb kézbesítési garanciák.
- log4j 1.x helyett reload4j.
- Küldjön egy tippet a partícióvezetőnek a partíció helyreállításához.
- JoinGroupRequest és LeaveGroupRequest van egy ok csatolva.
- Hozzáadva a közvetítők számának metrikái8.
- Tükrözési Maker2 fejlesztések.

HBase 2.4.11 frissítés (előzetes verzió)

Ez a verzió olyan új funkciókkal rendelkezik, mint például a blokkgyorsítótár új gyorsítótárazási mechanizmusainak hozzáadása, a táblázat módosításának hbase:meta table és megtekintésének lehetősége a hbase:meta HBase WEB felhasználói felületén.

Phoenix 5.1.2 frissítés (előzetes verzió)

A Phoenix verziója ebben a kiadásban az 5.1.2-es verzióra frissült. Ez a frissítés tartalmazza a Phoenix Query Servert is. A Phoenix Query Server a szabványos Phoenix JDBC-illesztőt proxyzja, és egy visszafelé kompatibilis vezetékes protokollt biztosít a JDBC-illesztőprogram meghívásához.

Ambari CV-k

Több Ambari CV-t is kijavítottunk.

Feljegyzés

Ebben a kiadásban a Kafka és a HBase nem támogatja az ESP-t.

Megszűnik az Azure HDInsight-fürtök támogatása a Spark 2.4-ben 2024. február 10-én. További információ: Az Azure HDInsight által támogatott Spark-verziók

A következő lépések

Automatikus skálázás
- Automatikus skálázás továbbfejlesztett késéssel és számos fejlesztéssel
Fürtnévváltoztatás korlátozása
- A fürtnév maximális hossza 45-ről 59-re változik a nyilvános, az Azure China és az Azure Government esetében.
Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.
Nyílt forráskódú frissítések
- Az Apache Spark 3.3.0 és a Hadoop 3.3.4 fejlesztés alatt áll a HDInsight 5.1-ben, és számos jelentős új funkciót, teljesítményt és egyéb fejlesztést tartalmaz.

Feljegyzés

Kiadás dátuma: 2022. december 12.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. és az 5.0 HDInsight kiadás több napon keresztül minden régió számára elérhetővé válik.

Operációsrendszer-verziók

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókról itt olvashat .

Log Analytics – Az ügyfelek engedélyezhetik a klasszikus monitorozást az OMS legújabb 14.19-es verziójának beszerzéséhez. A régi verziók eltávolításához tiltsa le és engedélyezze a klasszikus monitorozást.
Az Ambari felhasználói automatikus felhasználói felülete inaktivitás miatt kijelentkezik. További információ:
Spark – A Spark 3.1.3 új és optimalizált verziója szerepel ebben a kiadásban. Teszteltük az Apache Spark 3.1.2(korábbi verzió) és az Apache Spark 3.1.3 (jelenlegi verzió) verzióját a TPC-DS benchmark használatával. A tesztet az Apache Spark 1 TB-os számítási feladathoz készült E8 V3 termékváltozatával végezték el. Az Apache Spark 3.1.3 (jelenlegi verzió) több mint 40%-kal felülmúlta az Apache Spark 3.1.2-t (korábbi verzió) a TPC-DS-lekérdezések teljes lekérdezési futásidejében ugyanazokkal a hardveres specifikációkkal. A Microsoft Spark csapata optimalizálásokat adott hozzá az Azure Synapse-ban az Azure HDInsighttal. További információ: Adatterhelések felgyorsítása az Apache Spark 3.1.2 teljesítményfrissítéseivel az Azure Synapse-ben

Közép-Katar
Észak-Németország

A HDInsight átlépett az Azul Zulu Java JDK 8-ról Adoptium Temurin JDK 8, amely támogatja a kiváló minőségű TCK-tanúsítvánnyal rendelkező futtatókörnyezeteket és a kapcsolódó technológiákat a Java-ökoszisztémában való használathoz.
A HDInsight át lett migrálva.reload4j A log4j módosítások a következőre vonatkoznak:
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

A TLS1.2 implementálásához szükséges HDInsight előrehaladtával a korábbi verziók frissülnek a platformon. Ha bármilyen alkalmazást futtat a HDInsighton, és a TLS 1.0 és 1.1 rendszert használják, frissítsen a TLS 1.2-re a szolgáltatások megszakadásának elkerülése érdekében.

További információ: A Transport Layer Security (TLS) engedélyezése

2022. november 30-tól megszűnik az Azure HDInsight-fürtök támogatása az Ubuntu 16.04 LTS-en. A HDInsight 2021. június 27-től megkezdi a fürtlemezképek kiadását az Ubuntu 18.04-es verziójával. Azt javasoljuk ügyfeleinknek, hogy az Ubuntu 16.04 használatával fürtöket futtató ügyfeleink 2022. november 30-ig a legújabb HDInsight-lemezképekkel építsék újra a fürtöket.

A fürt Ubuntu-verziójának ellenőrzéséről itt talál további információt

Hajtsa végre az "lsb_release -a" parancsot a terminálban.
Ha a kimenet "Description" tulajdonságának értéke "Ubuntu 16.04 LTS", akkor ez a frissítés a fürtre vonatkozik.

A Rendelkezésre állási zónák kafka- és HBase-fürtökhöz (írási hozzáférés) való kiválasztásának támogatása.

Nyílt forráskódú hibajavítások

Hive hibajavítások

Hibajavítások	Apache JIRA
HIVE-26127	INSERT OVERWRITE hiba – A fájl nem található
HIVE-24957	Helytelen eredmények, ha a subqueryben a COALESCE szerepel a korrelációs predikátumban
HIVE-24999	A HiveSubQueryRemoveRule érvénytelen tervet hoz létre az IN-allekérdezéshez több korrelációval
HIVE-24322	Közvetlen beszúrás esetén a kísérletazonosítót ellenőrizni kell, ha a jegyzékfájl olvasása meghiúsul
HIVE-23363	DataNucleus-függőség frissítése 5.2-re
HIVE-26412	Interfész létrehozása az elérhető pontok beolvasásához és az alapértelmezett beállítás hozzáadásához
HIVE-26173	Frissítés a 10.14.2.0-s verzióra
HIVE-25920	Dudor `Xerce2` a 2.12.2-hez.
HIVE-26300	A CVE-2020-36518 elkerülése érdekében frissítse a Jackson adatkötési verzióját a 2.12.6.1+-ra

Kiadás dátuma: 2022. 08. 10.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.

Új funkció

1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben

A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.

Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként szolgálnak. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.

Feljegyzés

A hozzáadott lemezek csak a csomópontkezelő helyi könyvtáraihoz vannak konfigurálva.

További információ:

2. Szelektív naplózási elemzés

A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.

A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.

További információ:

Rögzített méretű lemez

Log analytics

Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)

Az OMS aktuális verziójának ellenőrzése

Jelentkezzen be a fürtbe az SSH használatával.
Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Képernyőkép az OMS-frissítés ellenőrzéséről.

Az OMS-verzió frissítése 13-ról 14-re

Jelentkezzen be az Azure Portalra
Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
Szkriptműveletek kiválasztása
A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Csomóponttípus(ok) kiválasztása
Válassza a Létrehozás elemet

Képernyőkép az OMS-frissítésről.

Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:
Jelentkezzen be a fürtbe az SSH használatával.
Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Egyéb hibajavítások

A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik TFile sérült vagy üres.
Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.

Nyílt forráskódú hibajavítások

TEZ hibajavítások

Hibajavítások	Apache JIRA
Tez buildelési hibája: FileSaver.js nem található	TEZ-4411
Hibás FS-kivétel, ha a raktár és `scratchdir` a különböző FS-en van	TEZ-4406
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel	TEZ-4142
TezUtils::createByteStringFromConf kell használni snappy helyett DeflaterOutputStream	TEZ-4113
Protobuf-függőség frissítése 3.x-ra	TEZ-4363

Hive hibajavítások

Hibajavítások	Apache JIRA
Perf-optimalizálások az ORC felosztási generációjában	HIVE-21457
Kerülje a tábla ACID-ként való olvasását, ha a tábla neve "delta" névvel kezdődik, de a tábla nem tranzakciós, és a BI felosztási stratégiát használja	HIVE-22582
FS#exists hívás eltávolítása az AcidUtils#getLogicalLength szolgáltatásból	HIVE-23533
Vektorizált OrcAcidRowBatchReader.computeOffset és gyűjtőoptimalizálás	HIVE-17917

Ismert problémák

A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.

Kiadás dátuma: 2022. 08. 10.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.

Új funkció

1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben

A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.

Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként lesznek használva. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.

Feljegyzés

A hozzáadott lemezek csak a csomópontkezelő helyi könyvtáraihoz vannak konfigurálva.

További információ:

2. Szelektív naplózási elemzés

A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.

További információ:

Rögzített méretű lemez

Log analytics

Az OMS aktuális verziójának ellenőrzése

Jelentkezzen be a fürtbe az SSH használatával.
Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Képernyőkép az OMS-frissítés ellenőrzéséről.

Az OMS-verzió frissítése 13-ról 14-re

Jelentkezzen be az Azure Portalra
Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
Szkriptműveletek kiválasztása
A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
Csomóponttípus(ok) kiválasztása
Válassza a Létrehozás elemet

Képernyőkép az OMS-frissítésről.

Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:
Jelentkezzen be a fürtbe az SSH használatával.
Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Egyéb hibajavítások

A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik TFile sérült vagy üres.
Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.

Nyílt forráskódú hibajavítások

TEZ hibajavítások

Hibajavítások	Apache JIRA
Tez buildelési hibája: FileSaver.js nem található	TEZ-4411
Hibás FS-kivétel, ha a raktár és `scratchdir` a különböző FS-en van	TEZ-4406
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel	TEZ-4142
TezUtils::createByteStringFromConf kell használni snappy helyett DeflaterOutputStream	TEZ-4113
Protobuf-függőség frissítése 3.x-ra	TEZ-4363

Hive hibajavítások

Hibajavítások	Apache JIRA
Perf-optimalizálások az ORC felosztási generációjában	HIVE-21457
Kerülje a tábla ACID-ként való olvasását, ha a tábla neve "delta" névvel kezdődik, de a tábla nem tranzakciós, és a BI felosztási stratégiát használja	HIVE-22582
FS#exists hívás eltávolítása az AcidUtils#getLogicalLength szolgáltatásból	HIVE-23533
Vektorizált OrcAcidRowBatchReader.computeOffset és gyűjtőoptimalizálás	HIVE-17917

Ismert problémák

A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.

Kiadás dátuma: 2022.03.06.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

Kiadási kiemelések

A Hive Warehouse-összekötő (HWC) a Spark 3.1.2-ben

A Hive Warehouse Connector (HWC) lehetővé teszi, hogy kihasználja a Hive és a Spark egyedi funkcióit a nagy teljesítményű big data-alkalmazások létrehozásához. A HWC jelenleg csak a Spark 2.4-ben támogatott. Ez a funkció üzleti értéket ad hozzá azáltal, hogy engedélyezi az ACID-tranzakciókat a Hive-táblákon a Spark használatával. Ez a funkció olyan ügyfelek számára hasznos, akik a Hive-t és a Sparkot is használják az adattulajdonukban. További információ: Apache Spark > Hive – Hive Warehouse Connector – Azure HDInsight | Microsoft Docs

Ambari

Skálázási és kiépítési fejlesztések változásai
A HDI-hive mostantól kompatibilis az OSS 3.1.2-es verziójával

A HDI Hive 3.1-es verziója az OSS Hive 3.1.2-re frissül. Ez a verzió az nyílt forráskód Hive 3.1.2-es verziójában elérhető összes javítást és funkciót tartalmazza.

Feljegyzés

Spark

Ha azure-beli felhasználói felületet használ a HdInsighthoz készült Spark-fürt létrehozásához, a legördülő listából egy másik Spark 3.1-es verzió jelenik meg. (HDI 5.0) és a régebbi verziók. Ez a verzió a Spark 3.1 átnevezett verziója. (HDI 4.0). Ez csak egy felhasználói felületi szintű változás, amely semmit sem érint az ARM-sablont már használó meglévő felhasználókra és felhasználókra.

Screenshot_of SPARK 3.1 for HDI 5.0.

Feljegyzés

Interaktív lekérdezés

Ha interaktív lekérdezésfürtöt hoz létre, a legördülő listában megjelenik egy másik verzió, mint Interaktív lekérdezés 3.1 (HDI 5.0).
Ha a Spark 3.1-es verzióját és az ACID-támogatást igénylő Hive-t fogja használni, akkor ezt a verziót kell kiválasztania az Interactive Query 3.1 (HDI 5.0).

Screenshot_of HDI 5.0-hoz készült interaktív 3.1-lekérdezést.

TEZ hibajavítások

Hibajavítások	Apache JIRA
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel	TEZ-4142
A TezUtils createByteStringFromConf beépülő modult kell használnia a DeflaterOutputStream helyett	TEZ-4113

HBase-hibajavítások

Hibajavítások	Apache JIRA
A TableSnapshotInputFormat a ReadType.STREAM-et használja a vizsgálathoz `HFiles`	HBASE-26273
A scanMetrics letiltására használható beállítás hozzáadása a TableSnapshotInputFormat alkalmazásban	HBASE-26330
A ArrayIndexOutOfBoundsException javítása a kiegyensúlyozó végrehajtásakor	HBASE-22739

Hive hibajavítások

Hibajavítások	Apache JIRA
NPE az adatok "distribute by" záradékkal való beszúrásakor a dynpart rendezési optimalizálással	HIVE-18284
Az MSCK REPAIR parancs partíciószűréssel meghiúsul a partíciók elvetése közben	HIVE-23851
Hibás kivétel történt, ha kapacitás<=0	HIVE-25446
Párhuzamos terhelés támogatása HastTables esetén – Interfészek	HIVE-25583
MultiDelimitSerDe alapértelmezés szerint belefoglalása a HiveServer2-be	HIVE-20619
Távolítsa el a glassfish.jersey és mssql-jdbc osztályokat a jdbc-standalone jar-ból	HIVE-22134
Null mutató kivétele mm-tábla tömörítésének futtatása esetén.	HIVE-21280
Nagy méretű `knox` hive-lekérdezés meghiúsult a hibás cső írása miatt	HIVE-22231
A felhasználó kötési felhasználó beállítási lehetőségének hozzáadása	HIVE-21009
Az UDF implementálása a dátum/időbélyeg belső ábrázolása és a Gergely-Julián hibrid naptár használatával történő értelmezéséhez	HIVE-22241
Beeline beállítás végrehajtási jelentés megjelenítésére/megjelenítésére	HIVE-22204
Tez: A SplitGenerator megpróbálja megkeresni a tervfájlokat, amelyek nem léteznek a Tez számára	HIVE-22169
Költséges naplózás eltávolítása az LLAP-gyorsítótárból `hotpath`	HIVE-22168
UDF: A FunctionRegistry szinkronizálja az org.apache.hadoop.hive.ql.udf.UDFType osztályt	HIVE-22161
A lekérdezés-útválasztási hozzáfűző létrehozásának megakadályozása, ha a tulajdonság értéke hamis	HIVE-22115
A partíció-eval keresztlekérdezés szinkronizálásának eltávolítása	HIVE-22106
A hive scratch dir beállításának kihagyása a tervezés során	HIVE-21182
Ha az RPC be van kapcsolva, hagyja ki a karcnaplók létrehozását a tezhez	HIVE-21171
a Hive UDF-ek váltása regex motor használatára `Re2J`	HIVE-19661
A hive 3-on az 1. bucketing_version használatával migrált fürtözött táblák bucketing_version 2-et használnak a beszúrásokhoz	HIVE-22429
Gyűjtőzés: Az 1. verzió gyűjtőbe helyezése helytelenül particionál adatokat	HIVE-21167
ASF-licenc fejlécének hozzáadása az újonnan hozzáadott fájlhoz	HIVE-22498
Sémaeszköz fejlesztései a mergeCatalog támogatásához	HIVE-22498
A TEZ UNION ALL és az UDTF használatával végzett hive adatvesztést eredményez	HIVE-21915
Szövegfájlok felosztása akkor is, ha élőfej/élőláb létezik	HIVE-21924
A MultiDelimitSerDe helytelen eredményeket ad vissza az utolsó oszlopban, ha a betöltött fájl több oszlopot tartalmaz, mint a táblasémában.	HIVE-22360
LLAP külső ügyfél – Csökkenteni kell a LlapBaseInputFormat#getSplits() lábnyomát	HIVE-22221
A fenntartott kulcsszóval rendelkező oszlopnév nem lesz eltávolítva, ha a lekérdezés, beleértve a maszkoszlopot tartalmazó táblához való csatlakozást is (Matyus Zoltán haindrich Zoltánon keresztül)	HIVE-22208
LLAP-leállítás megakadályozása kapcsolódó RuntimeException esetén `AMReporter`	HIVE-22113
Előfordulhat, hogy az LLAP állapotszolgáltatás-illesztőprogramja hibás Yarn-alkalmazásazonosítóval elakad	HIVE-21866
Az OperationManager.queryIdOperation nem törli megfelelően a több lekérdezésazonosítót	HIVE-22275
A csomópontkezelő leállása blokkolja az LLAP szolgáltatás újraindítását	HIVE-22219
StackOverflowError sok partíció elvetésekor	HIVE-15956
A hozzáférés-ellenőrzés sikertelen, ha egy ideiglenes könyvtárat eltávolítanak	HIVE-22273
Hibás eredmények kijavítása/ArrayOutOfBound kivétel a bal oldali külső térképcsatlakozásokban adott határfeltételeken	HIVE-22120
Terjesztési felügyeleti címke eltávolítása a pom.xml	HIVE-19667
Az elemzési idő magas lehet, ha mélyen beágyazott al lekérdezések vannak	HIVE-21980
Az ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); `TBL_TYPE` nem CAPS-hez nem tükröző attribútummódosítások	HIVE-20057
JDBC: A HiveConnection árnyékolja az `log4j` interfészeket	HIVE-18874
Adattár URL-címeinek frissítése a 3.1-es ág verziójában `poms`	HIVE-21786
`DBInstall` a főkiszolgálón és a branch-3.1-en megszakadt tesztek	HIVE-21758
Az adatok gyűjtőbe való betöltése figyelmen kívül hagyja a partíciók specifikációit, és betölti az adatokat az alapértelmezett partícióba	HIVE-21564
Olyan lekérdezések, amelyekhez az illesztési feltétel időbélyeggel vagy időbélyeggel rendelkezik a helyi időzóna literális dobása SzemanticException használatával	HIVE-21613
A HDFS-en futó átmeneti dir mögött hagyott oszlopok számítási statisztikáinak elemzése	HIVE-21342
Inkompatibilis változás a Hive-gyűjtő számításában	HIVE-21376
Tartalék engedélyező megadása, ha nincs használatban más engedélyező	HIVE-20420
Néhány alterPartitions invocations throw "NumberFormatException: null"	HIVE-18767
HiveServer2: Bizonyos esetekben a http-átvitel előhitelesített tárgya nem marad meg a HTTP-kommunikáció teljes időtartama alatt	HIVE-20555

Kiadás dátuma: 2022.03.10.

A kiadás operációsrendszer-verziói a következők:

HDInsight 4.0: Ubuntu 18.04.5

Általánosan elérhető a Spark 3.1

A Spark 3.1 mostantól általánosan elérhető a HDInsight 4.0-s kiadásában. Ez a kiadás tartalmazza a

Adaptív lekérdezés végrehajtása,
Rendezési egyesítési illesztés átalakítása szórásos kivonatos illesztéssé,
Spark Catalyst Optimizer,
Dinamikus partíciómetszet,
Az ügyfelek új Spark 3.1-fürtöket hozhatnak létre, és nem Spark 3.0-s (előzetes verziójú) fürtöket.

További információ: Az Apache Spark 3.1 mostantól általánosan elérhető a HDInsighton – Microsoft Tech Community.

A fejlesztések teljes listáját az Apache Spark 3.1 kibocsátási megjegyzéseiben találja.

A migrálással kapcsolatos további információkért tekintse meg a migrálási útmutatót .

A Kafka 2.4 már általánosan elérhető

A Kafka 2.4.1 mostantól általánosan elérhető. További információ: Kafka 2.4.1 Kibocsátási megjegyzések. További funkciók: MirrorMaker 2 rendelkezésre állás, új metrikakategória AtMinIsr témakörpartíció, továbbfejlesztett közvetítő indítási ideje lusta igény szerint mmap indexfájlok, további fogyasztói metrikák a felhasználói szavazás viselkedésének megfigyeléséhez.

A HWC adattípusának leképezése mostantól támogatott a HDInsight 4.0-ban

Ez a kiadás tartalmazza a Map Datatype támogatást a HWC 1.0-hoz (Spark 2.4) a Spark-shell alkalmazáson keresztül, és minden más spark-ügyfelet, amelyet a HWC támogat. Az alábbi fejlesztések a többi adattípushoz hasonlóan az alábbiakat tartalmazzák:

A felhasználó

Hozzon létre egy Hive-táblát a Map adattípust tartalmazó oszlop(ok)ból, szúrjon be adatokat, és olvassa el az eredményeket.
Hozzon létre egy Apache Spark-adatkeretet térképtípussal, és végezze el a köteg/stream olvasását és írását.

Új régiók

A HDInsight mostantól két új régióra bővítette földrajzi jelenlétét: Kína keleti régiója 3. és Kína északi régiója 3.

OSS-háttérjelentés változásai

A Hive-ben található OSS-háttérjelentések, beleértve a HWC 1.0-t (Spark 2.4), amely támogatja a Térkép adattípust.

A jelen kiadáshoz az OSS által támogatott Apache JIRA-k tartoznak:

Érintett funkció	Apache JIRA
Az IN/(NOT IN) metaadattár közvetlen SQL-lekérdezéseit az SQL DB által megengedett maximális paraméterek alapján kell felosztani	HIVE-25659
Frissítés `log4j` 2.16.0-ra 2.17.0-ra	HIVE-25825
Verzió frissítése `Flatbuffer`	HIVE-22827
Az adattípus natív leképezésének támogatása Nyíl formátumban	HIVE-25553
LLAP külső ügyfél – Beágyazott értékek kezelése null értékű szülőstruktúra esetén	HIVE-25243
A nyílverzió frissítése a 0.11.0-ra	HIVE-23987

Elavulással kapcsolatos közlemények

Azure-beli virtuálisgép-méretezési csoportok a HDInsighton

A HDInsight a továbbiakban nem fogja használni az Azure Virtual Machine Scale Setset a fürtök kiépítéséhez, nem várható kompatibilitástörő változás. A virtuálisgép-méretezési csoportok meglévő HDInsight-fürtjeinek nincs hatása, a legújabb rendszerképeken lévő új fürtök már nem fogják használni a virtuálisgép-méretezési csoportokat.

Az Azure HDInsight HBase számítási feladatainak skálázása mostantól csak manuális méretezéssel támogatott

2022. március 01-től a HDInsight csak a HBase manuális méretezését támogatja, nincs hatással a futó fürtökre. Az új HBase-fürtök nem fogják tudni engedélyezni az ütemezésalapú automatikus skálázást. A HBase-fürt manuális méretezéséről további információt az Azure HDInsight-fürtök manuális skálázásával kapcsolatos dokumentációnkban talál.

Kiadás dátuma: 2021. 12. 27.

A kiadás operációsrendszer-verziói a következők:

HDInsight 4.0: Ubuntu 18.04.5 LTS

A HDInsight 4.0-s rendszerképe frissült, hogy enyhítse Log4j a biztonsági réseket a Microsoft CVE-2021-44228 Apache Log4j 2-re adott válaszában leírtak szerint.

Feljegyzés

A 2021. december 27. 00:00 (UTC) után létrehozott HDI 4.0-fürtök a rendszerkép frissített verziójával jönnek létre, amely csökkenti a log4j biztonsági réseket. Ezért az ügyfeleknek nem kell kijavítani/újraindítani ezeket a fürtöket.
Az új HDInsight 4.0-fürtök esetében, amelyeket 2021. december 16., 01:15 (UTC) és 2021. december 27. 00:00 (UTC) között hoztak létre, HDInsight 3.6 vagy rögzített előfizetésekben 2021. december 16. után a rendszer automatikusan alkalmazza a javítást a fürt létrehozásának egy órájában, azonban az ügyfeleknek újra kell indítaniuk a csomópontokat a javítás befejezéséhez (kivéve a Kafka Management-csomópontokat, automatikusan újraindulnak).

Kiadás dátuma: 2021. 07. 27.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A kiadás operációsrendszer-verziói a következők:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Új funkciók

Az Azure HDInsight korlátozott nyilvános kapcsolatok támogatása 2021. október 15-én általánosan elérhető

Az Azure HDInsight mostantól minden régióban támogatja a korlátozott nyilvános kapcsolatot. Az alábbiakban bemutatjuk a képesség főbb főbb jellemzőit:

Lehetőség az erőforrás-szolgáltató fürtkommunikációra való megfordítására, hogy az a fürtről az erőforrás-szolgáltató felé irányuló kimenő forgalomra legyen képes
Saját Private Link-kompatibilis erőforrások (például tárolás, SQL, kulcstartó) HDInsight-fürthöz való elérésének támogatása az erőforrások csak magánhálózaton keresztüli eléréséhez
Nincs kiépített nyilvános IP-cím

Ezzel az új funkcióval kihagyhatja a HDInsight felügyeleti IP-címeinek bejövő hálózati biztonsági csoport (NSG) szolgáltatáscímkéinek szabályait is. További információ a nyilvános kapcsolatok korlátozásáról

Az Azure HDInsight támogatása az Azure Private Linkhez 2021. október 15-én általánosan elérhető

Mostantól privát végpontokkal is csatlakozhat a HDInsight-fürtökhöz privát kapcsolaton keresztül. A privát kapcsolat olyan virtuális hálózatok közötti forgatókönyvekben használható, ahol a virtuális hálózatok közötti társviszony-létesítés nem érhető el vagy engedélyezve van.

Az Azure Private Link lehetővé teszi az Azure PaaS-szolgáltatások (például az Azure Storage és az SQL Database) és az Azure által üzemeltetett ügyfél-/partnerszolgáltatások elérését a virtuális hálózat egy privát végpontján keresztül.

A virtuális hálózat és a szolgáltatás közötti forgalom a Microsoft gerinchálózatán halad át. Ezáltal kiküszöbölhető a szolgáltatás nyilvános internetes kitettsége.

Engedélyezze a privát kapcsolat engedélyezését. 

Új Azure Monitor-integrációs felület (előzetes verzió)

Az új Azure Monitor-integrációs felület az USA keleti régiójában és Nyugat-Európában jelenik meg ezzel a kiadással. Az új Azure Monitor-felületről itt talál további információt.

Elavulás

A HDInsight 3.6-os verziója 2022. október 01-én elavult.

Viselkedésbeli változások

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az új interaktív lekérdezésfürtökön már nem engedélyezheti a terhelésalapú automatikus skálázást. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

Közelgő változások

A következő változások a közelgő kiadásokban történnek.

Az ESP Spark-fürt beépített LLAP-összetevője el lesz távolítva

A HDInsight 4.0 ESP Spark-fürt beépített LLAP-összetevőkkel rendelkezik, és mindkét fejcsomóponton fut. Az ESP Spark-fürt LLAP-összetevői eredetileg a HDInsight 3.6 ESP Sparkhoz lettek hozzáadva, de a HDInsight 4.0 ESP Sparkhoz nincs valós felhasználói esete. A következő, 2021 szeptemberében ütemezett kiadásban a HDInsight eltávolítja a beépített LLAP-összetevőt a HDInsight 4.0 ESP Spark-fürtből. Ez a módosítás segít kiépíteni a csomópontok számítási feladatait, és elkerülheti az ESP Spark és az ESP Interaktív Hive-fürttípus közötti félreértéseket.

Új régió

USA 3. nyugati régiója
Jio Nyugat-India
Ausztrália középső régiója

Összetevő verzióváltozása

Ezzel a kiadással a következő összetevőverzió módosult:

ORC-verzió 1.5.1-től 1.5.9-es verzióig

Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Visszahordott JIRA-k

A kiadáshoz a háttérportolt Apache JIRA-k a következők:

Érintett funkció	Apache JIRA
Dátum/időbélyeg	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
UDF	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORK	HIVE-21991
	HIVE-21815
	HIVE-21862
Táblaséma	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
Számítási feladatok kezelése	HIVE-24201
Tömörítés	HIVE-24882
	HIVE-23058
	HIVE-23046
Tényleges táblán alapuló nézet	HIVE-22566

HDInsight `Dv2` virtuális gépek árkorrekciója

2021. április 25-én kijavítottunk egy díjszabási hibát a Dv2 HDInsight virtuálisgép-sorozatában. A díjszabási hiba miatt április 25-e előtt néhány ügyfél számláinak díja csökkent, és a javítással az árak most már megegyeznek a HDInsight díjszabási oldalán és a HDInsight díjszabási kalkulátorban meghirdetett árakkalkulátorral. A díjszabási hiba a következő régiókban lévő, virtuális gépeket használó Dv2 ügyfeleket érintette:

Közép-Kanada
Kelet-Kanada
Kelet-Ázsia
Dél-Afrika északi régiója
Délkelet-Ázsia
Egyesült Arab Emírségek középső régiója

2021. április 25-től a virtuális gépek korrigált összege Dv2 az Ön fiókjában lesz. Az ügyfélértesítéseket a rendszer a módosítás előtt elküldte az előfizetés-tulajdonosoknak. A tarifakalkulátor, a HDInsight díjszabási lapja vagy a HDInsight-fürt létrehozása panel az Azure Portalon a régióban lévő virtuális gépek korrigált költségeinek Dv2 megtekintéséhez használható.

Nincs szükség más műveletre. Az árkorrekció csak a megadott régiókban 2021. április 25-én vagy azt követően érvényes használatra vonatkozik, az ezen időpontot megelőző használatra nem. Annak érdekében, hogy a legeredményesebb és legköltséghatékonyabb megoldással rendelkezzen, javasoljuk, hogy tekintse át a fürtök díjszabását, a VCPU-t és a RAM-ot Dv2 , és hasonlítsa össze a Dv2 specifikációkat a Ev3 virtuális gépekkel, és ellenőrizze, hogy a megoldás kihasználná-e az újabb virtuálisgép-sorozatok egyikét.

Kiadás dátuma: 2021. 02. 06.

A kiadás operációsrendszer-verziói a következők:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

Új funkciók

Operációs rendszer verziófrissítése

Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Ezzel a kiadással elindítottuk az Ubuntu 18.04-en futó új HDInsight 4.0-fürtrendszerképet. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.

A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. július 1-től alapszintű támogatásra vált (a Standard támogatástól kezdve). A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.

Ha meglévő HDInsight 4.0-fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürtök létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után.

Az új fürt létrehozása után SSH-t adhat a fürthöz, és futtathatja sudo lsb_release -a annak ellenőrzéséhez, hogy az Ubuntu 18.04-es rendszeren fut-e. Javasoljuk, hogy az éles környezetbe való áttérés előtt tesztelje az alkalmazásokat a teszt-előfizetésekben.

A HBase gyorsított írási fürtöinek skálázási optimalizálása

A HDInsight továbbfejlesztette és optimalizálta a HBase által gyorsított írásvédett fürtök skálázását. További információ a HBase gyorsított írásáról.

Elavulás

Ebben a kiadásban nincs elavulás.

Viselkedésbeli változások

A HDInsight 4.0 főcsomópontjaként Stardard_A5 virtuális gép méretének letiltása

A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. Ettől a kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-mérettel főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. A head node-hoz erősen ajánlott négymagos virtuális gép, amely biztosítja az éles HDInsight-fürtök magas rendelkezésre állását és megbízhatóságát.

A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A virtuálisgép-gazdagép elnevezése 2021. július 1-jén módosul

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. Ez az áttelepítés megváltoztatja a fürt gazdagépének teljes tartományneve névformátumát, és az állomásnévben szereplő számok nem lesznek garantálva egymás után. Ha az egyes csomópontok teljes tartományneveit szeretné lekérni, tekintse meg a fürtcsomópontok gazdagépneveit.

Váltás azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Kiadás dátuma: 2021. 03. 24.

Új funkciók

Spark 3.0 előzetes verzió

A HDInsight a Spark 3.0.0 támogatását hozzáadta a HDInsight 4.0-hoz előzetes verziójú funkcióként.

Kafka 2.4 előzetes verzió

A HDInsight hozzáadta a Kafka 2.4.1-támogatást a HDInsight 4.0-hoz előzetes verziójú funkcióként.

`Eav4`-sorozat támogatása

Ebben a kiadásban a HDInsight -series támogatást adott hozzá Eav4.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

Elavulás

Ebben a kiadásban nincs elavulás.

Viselkedésbeli változások

A fürt alapértelmezett verziója 4.0-ra módosul

A HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.

Az alapértelmezett fürt virtuálisgép-méretei -series értékre változnak `Ev3`

A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.

A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás meghaladja az automatikus skálázás költségelőnyét.

Operációs rendszer verziófrissítése

A HDInsight-fürtök jelenleg az Ubuntu 16.04 LTS-en futnak. Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Az Ubuntu 18.04-en futó új HDInsight 4.0-s fürtrendszerképet 2021 májusában fogjuk elindítani. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.

A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. június 30-ig megszűnik a standard támogatás, és 2021. július 1-től alapszintű támogatásra változik. A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.

Ha meglévő fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürt létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után. Egy újabb értesítést küldünk, miután az új rendszerkép minden régióban elérhetővé válik.

Erősen ajánlott, hogy előre tesztelje a szkriptműveleteket és a peremcsomópontokon üzembe helyezett egyéni alkalmazásokat egy Ubuntu 18.04 virtuális gépen (VM). Létrehozhat Ubuntu Linux rendszerű virtuális gépet a 18.04-LTS-en, majd létrehozhat és használhat egy biztonságos rendszerhéj-(SSH-) kulcspárt a virtuális gépen a szkriptműveletek és a peremcsomópontokon üzembe helyezett egyéni alkalmazások futtatásához és teszteléséhez.

A HDInsight 4.0 főcsomópontjaként Stardard_A5 virtuális gép méretének letiltása

A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. A következő, 2021. májusi kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-méretet főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. Az éles HDInsight-fürtök magas rendelkezésre állása és megbízhatósága érdekében a head node-hoz erősen ajánlott egy négymagos virtuális gép.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

A Spark 3.0.0 és a Kafka 2.4.1 előzetes verziója is támogatott. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2021.05.02.

Új funkciók

Dav4-sorozat támogatása

A HDInsight ebben a kiadásban dav4-sorozatú támogatást adott hozzá. További információ a Dav4-sorozatról itt.

Kafka REST Proxy GA

A Kafka REST Proxy lehetővé teszi a Kafka-fürttel való interakciót EGY REST API-n keresztül HTTPS-en keresztül. A Kafka REST Proxy a jelen kiadástól kezdve általánosan elérhető. További információ a Kafka REST Proxyról itt.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

Elavulás

Letiltott virtuálisgép-méretek

2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

A fürt virtuális gépének alapértelmezett mérete -series értékre változik `Ev3`

A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A fürt alapértelmezett verziója 4.0-ra módosul

2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.

Operációs rendszer verziófrissítése

A HDInsight az operációs rendszer verzióját Ubuntu 16.04-ről 18.04-re frissíti. A frissítés 2021 áprilisa előtt fejeződik be.

A HDInsight 3.6 támogatásának megszűnése 2021. június 30-án

A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020. 11. 18.

Új funkciók

Automatikus kulcsváltás az ügyfél által felügyelt kulcstitkosításhoz inaktív állapotban

Ettől a kiadástól kezdve az ügyfelek használhatják az Azure KeyValut verzió nélküli titkosítási kulcs URL-címeit az ügyfelek által kezelt kulcsok inaktív állapotban történő titkosításához. A HDInsight automatikusan elforgatja a kulcsokat, amint lejárnak vagy új verziókra cserélik őket. További részletek itt olvashatók.

A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében

A HDInsight korábban nem támogatta a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. Ebben a kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuális gépméretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

A HDInsight 3.6 ML Services-fürt elavultsága

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hozhatnak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

Letiltott virtuálisgép-méretek

2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

NSG-szabályellenőrzés hozzáadása a skálázási művelet előtt

A HDInsight hálózati biztonsági csoportokat (NSG-ket) és felhasználó által megadott útvonalakat (UDR-eket) adott hozzá a skálázási művelettel való ellenőrzéshez. Ugyanez az ellenőrzés a fürtlétrehozás mellett a fürt skálázására is megtörténik. Ez az ellenőrzés segít megelőzni a kiszámíthatatlan hibákat. Ha az ellenőrzés nem sikerül, a skálázás meghiúsul. További információ az NSG-k és az UDR-ek helyes konfigurálásáról, tekintse meg a HDInsight felügyeleti IP-címeit.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020.09.11.

Új funkciók

A HDInsight Identity Broker (HIB) mostantól ga

Ezzel a kiadással általánosan elérhető a HDInsight Identity Broker (HIB), amely engedélyezi az OAuth-hitelesítést ESP-fürtökhöz. A kiadás után létrehozott HIB-fürtök a legújabb HIB-funkciókkal rendelkeznek:

Magas rendelkezésre állás (HA)
Többtényezős hitelesítés (MFA) támogatása
Az összevont felhasználók jelszókivonat-szinkronizálás nélkül jelentkeznek be az AAD-DS szolgáltatásba. További információt a HIB dokumentációjában talál.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

Elavulás

A HDInsight 3.6 ML Services-fürt elavultsága

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

Letiltott virtuálisgép-méretek

Viselkedésbeli változások

A kiadás viselkedése nem változik.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében

A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

A fürt alapértelmezett verziója 4.0-ra módosul

2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókról további információt a támogatott verziókban talál. További információ a HDInsight 4.0 újdonságairól

A HDInsight 3.6 támogatásának megszűnése 2021. június 30-án

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

A fürtben lévő virtuális gépek újraindításával kapcsolatos probléma megoldása

Kijavítottuk a fürtben lévő virtuális gépek újraindításával kapcsolatos problémát, a PowerShell vagy a REST API használatával újraindulhatnak a fürt csomópontjai.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020.08.10.

Új funkciók

HDInsight privát fürtök nyilvános IP-cím és privát kapcsolat nélkül (előzetes verzió)

A HDInsight mostantól támogatja az előzetes verzióban nyilvános IP- és privát kapcsolat nélküli fürtök létrehozását. Az ügyfelek az új speciális hálózati beállítások használatával hozhatnak létre egy teljesen izolált fürtöt nyilvános IP-cím nélkül, és saját privát végpontjaik használatával érhetik el a fürtöt.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

Elavulás

A HDInsight 3.6 ML Services-fürt elavultsága

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek ezután nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

Viselkedésbeli változások

A kiadás viselkedése nem változik.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020. 09. 28.

Új funkciók

Mostantól általánosan elérhető az interaktív lekérdezés automatikus méretezése a HDInsight 4.0-val

Az Interaktív lekérdezésfürt típus automatikus méretezése mostantól általánosan elérhető a HDInsight 4.0-hoz. A 2020. augusztus 27. után létrehozott összes Interaktív lekérdezés 4.0-fürt rendelkezik ga-támogatással az automatikus skálázáshoz.

A HBase-fürt támogatja a Prémium ADLS Gen2-t

A HDInsight mostantól támogatja a Prémium ADLS Gen2-t a HDInsight HBase 3.6 és 4.0 fürtök elsődleges tárfiókjaként. A gyorsított írásokkal együtt jobb teljesítményt érhet el a HBase-fürtök számára.

Kafka-partícióelosztás azure-beli tartalék tartományokon

A tartalék tartomány az alapul szolgáló hardver logikai csoportosítása egy Azure-adatközpontban. Mindegyik tartalék tartomány közös áramforrással és hálózati kapcsolóval rendelkezik. Mielőtt a HDInsight Kafka az összes partícióreplikát ugyanabban a tartalék tartományban tárolhatná. Ettől a kiadástól kezdve a HDInsight mostantól támogatja a Kafka-partíciók azure-beli tartalék tartományokon alapuló automatikus elosztását.

Titkosítás az átvitel során

Az ügyfelek ipSec-titkosítással, platform által felügyelt kulcsokkal engedélyezhetik a fürtcsomópontok közötti átvitel titkosítását. Ez a beállítás a fürt létrehozásakor engedélyezhető. További információ a titkosítás átvitel közbeni engedélyezéséről.

Titkosítás a gazdagépen

Ha engedélyezi a titkosítást a gazdagépen, a virtuálisgép-gazdagépen tárolt adatok inaktív állapotban lesznek titkosítva, és a tárolási szolgáltatásba titkosított folyamatok lesznek titkosítva. Ebből a kiadásból engedélyezheti a titkosítást a gazdagépen a ideiglenes adatlemezen a fürt létrehozásakor. A gazdagépen a titkosítás csak bizonyos virtuálisgép-termékváltozatokon támogatott korlátozott régiókban. A HDInsight a következő csomópontkonfigurációt és termékváltozatokat támogatja. További részletek a gazdagépen történő titkosítás engedélyezéséről.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

Elavulás

Nincs elavulás ehhez a kiadáshoz.

Viselkedésbeli változások

A kiadás viselkedése nem változik.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Spark, Hadoop és ML Services különböző Zookeeper-termékváltozatának kiválasztása

A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML Serviceshez. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020.09.08.

Ez a kiadás csak a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A SparkCruise támogatása

A SparkCruise egy automatikus számítási újrahasználati rendszer a Spark számára. A korábbi lekérdezési számítási feladatok alapján történő materializáláshoz gyakran használt alkifejezéseket választ ki. A SparkCruise ezeket az alkifejezéseket a lekérdezésfeldolgozás részeként materializálja, és a számítási újrahasználat automatikusan a háttérben lesz alkalmazva. A Spark-kód módosítása nélkül is élvezheti a SparkCruise előnyeit.

A HDInsight 4.0 hive nézetének támogatása

Az Apache Ambari Hive View úgy lett kialakítva, hogy segítsen Hive-lekérdezéseket létrehozni, optimalizálni és végrehajtani a webböngészőből. A Hive View natív módon támogatott a HDInsight 4.0-fürtökhöz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Hive-nézet beszerzéséhez el kell helyeznie és újra létre kell hoznia a fürtöt.

A HDInsight 4.0 Tez nézetének támogatása

Az Apache Tez View a Hive Tez-feladat végrehajtásának nyomon követésére és hibakeresésére szolgál. A Tez View natív módon támogatott a HDInsight 4.0-hoz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Tez nézet beszerzéséhez el kell dobnia és újra létre kell hoznia a fürtöt.

Elavulás

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

Az Ambari-verem verzióváltozása

Ebben a kiadásban az Ambari verziója 2.x.x.x.x-ről 4.1-esre változik. Az Ambari: Ambari > felhasználói > verzióiban ellenőrizheti a verem verzióját (HDInsight 4.1).

Közelgő változások

Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Az alábbi JIRA-k a Hive-hez vannak visszahordva:

Az alábbi JIRA-k a HBase-hez vannak visszahordva:

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ismert problémák

Kijavítottunk egy hibát az Azure Portalon, ahol a felhasználók hibát tapasztaltak, amikor SSH-hitelesítési típusú nyilvános kulcs használatával hoztak létre Egy Azure HDInsight-fürtöt. Amikor a felhasználók a Véleményezés + Létrehozás gombra kattintanak, a következő hibaüzenet jelenik meg: "Nem tartalmazhat három egymást követő karaktert az SSH-felhasználónévből". Ez a probléma már ki lett javítva, de előfordulhat, hogy frissítenie kell a böngésző gyorsítótárát a CTRL + F5 billentyűkombináció lenyomásával a javított nézet betöltéséhez. A probléma megkerülő megoldása a fürt ARM-sablonnal történő létrehozása volt.

Kiadás dátuma: 2020. 07. 13.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A Microsoft Azure-hoz készült Customer Lockbox támogatása

Az Azure HDInsight mostantól támogatja az Azure Customer Lockboxot. Lehetővé teszi, hogy az ügyfelek áttekinthessék és jóváhagyják vagy elutasítsák az ügyféladat-hozzáférési kérelmeket. Ezt akkor használják, ha a Microsoft mérnökének hozzá kell férnie az ügyféladatokhoz egy támogatási kérelem során. További információ: Customer Lockbox for Microsoft Azure.

Szolgáltatásvégpont-házirendek a tároláshoz

Az ügyfelek mostantól használhatják a SZOLGÁLTATÁSvégpont-szabályzatokat (SEP) a HDInsight-fürt alhálózatán. További információ az Azure szolgáltatásvégpont-szabályzatáról.

Elavulás

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

Viselkedésbeli változások

Nincs olyan viselkedésbeli változás, amelyre figyelmet kell fordítania.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Spark, Hadoop és ML Services különböző Zookeeper-termékváltozatának kiválasztása

A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML-szolgáltatásokhoz. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Kijavítottuk a Hive Warehouse-összekötő problémáját

Az előző kiadásban hiba történt a Hive Warehouse-összekötő használhatóságára vonatkozóan. A probléma már ki lett javítva.

Kijavítottuk a Zeppelin-jegyzetfüzet kezdő nullákkal kapcsolatos problémáját

A Zeppelin helytelenül csonkolt bevezető nullákat a karakterlánc formátumú táblakimenetben. Ebben a kiadásban kijavítottuk ezt a problémát.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020. 06. 11.

Új funkciók

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight azure-beli virtuális gépeket használ a fürt üzembe helyezéséhez. Ebből a kiadásból az újonnan létrehozott HDInsight-fürtök az Azure-beli virtuálisgép-méretezési csoportot használják. A változás fokozatosan halad. Nem kell kompatibilitástörő változásra számítania. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

Virtuális gépek újraindítása a HDInsight-fürtben

Ebben a kiadásban támogatjuk a HDInsight-fürtben lévő virtuális gépek újraindítását a nem válaszoló csomópontok újraindításához. Jelenleg csak API-n keresztül teheti meg, a PowerShell és a CLI támogatása folyamatban van. Az API-val kapcsolatos további információkért tekintse meg ezt a dokumentumot.

Elavulás

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

Viselkedésbeli változások

ESP Spark-fürtfejcsomópont méretének módosítása

Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. A fő csomópontként alacsony maggal és memóriával rendelkező virtuális gépek az ESP-fürttel kapcsolatos problémákat okozhatnak viszonylag alacsony processzor- és memóriakapacitás miatt. A kiadástól kezdve használja a Standard_D13_V2-nál magasabb termékváltozatokat, és Standard_E16_V3 az ESP Spark-fürtök fő csomópontjaként.

A fejcsomóponthoz legalább 4 magos virtuális gép szükséges

A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.

Fürtmunkacsomópont kiépítési módosítása

Amikor a feldolgozó csomópontok 80%-a készen áll, a fürt működési szakaszba lép. Ebben a szakaszban az ügyfelek minden adatsík-műveletet elvégezhetnek, például szkripteket és feladatokat futtathatnak. Az ügyfelek azonban nem végezhetnek semmilyen vezérlősík-műveletet, például fel- és leskálázást. Csak a törlés támogatott.

Az üzemeltetési szakasz után a fürt további 60 percet vár a fennmaradó 20%-os munkavégző csomópontokra. A 60 perces időszak végén a fürt a futó fázisba kerül, még akkor is, ha az összes feldolgozó csomópont még mindig nem érhető el. Ha egy fürt belép a futó fázisba, használhatja a szokásos módon. A rendszer a szabályozási terv olyan műveleteit is elfogadja, mint a vertikális fel- és leskálázás, valamint az olyan adatterv-műveletek, mint a szkriptek és feladatok futtatása. Ha a kért munkavégző csomópontok némelyike nem érhető el, a fürt részleges sikerként lesz megjelölve. A sikeresen üzembe helyezett csomópontokért díjat számítunk fel.

Új szolgáltatásnév létrehozása a HDInsighton keresztül

Korábban a fürt létrehozásakor az ügyfelek létrehozhatnak egy új szolgáltatásnevet a csatlakoztatott ADLS Gen 1-fiók eléréséhez az Azure Portalon. 2020. június 15-től az új szolgáltatásnév létrehozása nem lehetséges a HDInsight létrehozási munkafolyamatában, csak a meglévő szolgáltatásnév támogatott. Lásd: Szolgáltatásnév és tanúsítványok létrehozása az Azure Active Directory használatával.

Időtúllépés a fürtlétrehozással végzett szkriptműveletek esetében

A HDInsight támogatja a szkriptműveletek fürtlétrehozással való futtatását. Ebből a kiadásból a fürtlétrehozással kapcsolatos összes szkriptműveletnek 60 percen belül be kell fejeződnie, vagy időtúllépést kell végrehajtania. A futó fürtökre küldött szkriptműveletek nem lesznek hatással. További részletek itt olvashatók.

Közelgő változások

Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

HBase 2.0–2.1.6

A HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül.

Spark 2.4.0–2.4.4

A Spark verziója a 2.4.0-s verzióról a 2.4.4-es verzióra frissül.

Kafka 2.1.0–2.1.1

A Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül.

Ebben a dokumentumban megtalálja a HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit

Ismert problémák

Hive Warehouse Connector-probléma

Ebben a kiadásban probléma merült fel a Hive Warehouse Connector esetében. A javítás a következő kiadásban fog szerepelni. A kiadás előtt létrehozott meglévő fürtökre nincs hatással. Ha lehetséges, kerülje a fürt elvetését és újrakészítését. Ha további segítségre van szüksége ehhez, nyissa meg a támogatási jegyet.

Kiadás dátuma: 2020.09.01.

Új funkciók

A TLS 1.2 kényszerítése

A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ a TLS-ről. A HDInsight a TLS 1.2-t használja a nyilvános HTTP-végpontokon, de a TLS 1.1 továbbra is támogatott a visszamenőleges kompatibilitás érdekében.

Ezzel a kiadással az ügyfelek csak a nyilvános fürtvégponton keresztüli összes kapcsolat esetében választhatják a TLS 1.2-t. Ennek támogatásához megjelenik az új minSupportedTlsVersion tulajdonság, amely a fürt létrehozásakor adható meg. Ha a tulajdonság nincs beállítva, a fürt továbbra is támogatja a TLS 1.0, 1.1 és 1.2 elemet, ami megegyezik a mai működésével. Az ügyfelek ennek a tulajdonságnak az értékét "1.2" értékre állíthatják, ami azt jelenti, hogy a fürt csak a TLS 1.2-t és újabb verziót támogatja. További információ: Transport Layer Security.

Saját kulcs használata lemeztitkosításhoz

A HDInsight összes felügyelt lemeze azure Storage Service Encryption (SSE) védelemmel rendelkezik. Az ezeken a lemezeken lévő adatokat alapértelmezés szerint a Microsoft által felügyelt kulcsok titkosítják. Ettől a kiadástól kezdve használhatja a saját kulcsát (BYOK) a lemeztitkosításhoz, és kezelheti azt az Azure Key Vault használatával. A BYOK-titkosítás egy egylépéses konfiguráció a fürt létrehozása során, más költségek nélkül. Csak regisztrálja a HDInsightot felügyelt identitásként az Azure Key Vaultban, és adja hozzá a titkosítási kulcsot a fürt létrehozásakor. További információ: Ügyfél által felügyelt kulcslemez titkosítása.

Elavulás

Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Viselkedésbeli változások

Ennek a kiadásnak a viselkedése nem változik. A közelgő változásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2 használatával. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 3.6-ban átvált a Spark 2.3-ra 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HDInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében. További információ: Apache Kafka számítási feladatok migrálása az Azure HDInsight 4.0-ba.

HBase 2.0–2.1.6

A közelgő HDInsight 4.0-s kiadásban a HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül

Spark 2.4.0–2.4.4

A HDInsight 4.0 közelgő kiadásában a Spark verziója a 2.4.0-s verzióról 2.4.4-es verzióra frissül

Kafka 2.1.0–2.1.1

A HDInsight 4.0 közelgő kiadásában a Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül

A fejcsomóponthoz legalább 4 magos virtuális gép szükséges

ESP Spark-fürtcsomópont méretének módosítása

A közelgő kiadásban az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. Az A-sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A következő kiadásban a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. A HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit itt találja.

Kiadás dátuma: 2019. 12. 17.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.

Új funkciók

Szolgáltatáscímkék

A szolgáltatáscímkék leegyszerűsítik az Azure-beli virtuális gépek és az Azure-beli virtuális hálózatok biztonságát azáltal, hogy lehetővé teszik az Azure-szolgáltatásokhoz való hálózati hozzáférés egyszerű korlátozását. A hálózati biztonsági csoport (NSG) szabályaiban szolgáltatáscímkéket használhat egy adott Azure-szolgáltatás globális vagy Azure-régiónkénti forgalmának engedélyezéséhez vagy letiltásához. Az Azure biztosítja az egyes címkék alapjául szolgáló IP-címek karbantartását. A hálózati biztonsági csoportok (NSG-k) HDInsight-szolgáltatáscímkék az állapot- és felügyeleti szolgáltatások IP-címeinek csoportjai. Ezek a csoportok segítenek minimalizálni a biztonsági szabályok létrehozásának összetettségét. A HDInsight-ügyfelek az Azure Portalon, a PowerShellen és a REST API-on keresztül engedélyezhetik a szolgáltatáscímkét. További információ: Hálózati biztonsági csoport (NSG) szolgáltatáscímkék az Azure HDInsighthoz.

Egyéni Ambari-adatbázis

A HDInsight mostantól lehetővé teszi, hogy saját SQL DB-t használjon az Apache Ambarihoz. Ezt az egyéni Ambari DB-t az Azure Portalon vagy Resource Manager-sablonon keresztül konfigurálhatja. Ez a funkció lehetővé teszi a megfelelő SQL DB kiválasztását a feldolgozási és kapacitási igényekhez. Az üzleti növekedési követelményeknek megfelelően egyszerűen frissíthet is. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.

Egyéni Ambari DB.

Elavulás

Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Viselkedésbeli változások

Ennek a kiadásnak a viselkedése nem változik. A közelgő viselkedésváltozásokra való felkészüléshez tekintse meg a közelgő változásokat.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

Transport Layer Security (TLS) 1.2-es kényszerítése

A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ: Transport Layer Security. Bár az Azure HDInsight-fürtök TLS 1.2-kapcsolatokat fogadnak el nyilvános HTTPS-végpontokon, a TLS 1.1 továbbra is támogatott a régebbi ügyfelekkel való visszamenőleges kompatibilitás érdekében.

A következő kiadástól kezdve az új HDInsight-fürtöket csak TLS 1.2-kapcsolatok elfogadására használhatja és konfigurálhatja.

Az év későbbi részében, 2020. 06. 30-tól kezdődően az Azure HDInsight minden HTTPS-kapcsolat esetében kikényszeríti a TLS 1.2-es vagy újabb verzióit. Javasoljuk, hogy minden ügyfélt készítsen fel a TLS 1.2-es vagy újabb verzióinak kezelésére.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. 2020 februárjától (a pontos dátumot később közöljük) a HDInsight ehelyett Azure-beli virtuálisgép-méretezési csoportokat fog használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

ESP Spark-fürtcsomópont méretének módosítása

A következő kiadásban:

Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz.
Az A sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához, mivel az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak.

HBase 2.0–2.1

A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

2020. december 31-ig kiterjesztettük a HDInsight 3.6 támogatását. További részleteket a támogatott HDInsight-verziókban talál.

A HDInsight 4.0 összetevőverziója nem változik.

Apache Zeppelin a HDInsight 3.6-on: 0.7.0-->0.7.3.

A dokumentumból megtalálhatja a legújabb összetevők verzióit.

Új régiók

Egyesült Arab Emírségek északi régiója

Az Egyesült Arab Emírségek északi régióinak felügyeleti IP-címei a következők: 65.52.252.96 és 65.52.252.97.

Kiadás dátuma: 2019. 07. 11.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.

Új funkciók

HDInsight Identity Broker (HIB) (előzetes verzió)

A HDInsight Identity Broker (HIB) lehetővé teszi, hogy a felhasználók többtényezős hitelesítéssel (MFA) jelentkezzenek be az Apache Ambariba, és a szükséges Kerberos-jegyeket jelszókivonatok nélkül szerezzék be az Azure Active Directory tartományi szolgáltatások (AAD-DS). A HIB jelenleg csak az Azure Resource Management (ARM) sablonon keresztül üzembe helyezett fürtök esetében érhető el.

Kafka REST API-proxy (előzetes verzió)

A Kafka REST API-proxy egykattintásos üzembe helyezést biztosít a magas rendelkezésre állású REST-proxyhoz a Kafka-fürttel biztonságos Azure AD-engedélyezési és OAuth-protokollon keresztül.

Automatikus méretezés

Az Azure HDInsight automatikus skálázása mostantól általánosan elérhető minden régióban az Apache Spark- és Hadoop-fürttípusokhoz. Ez a funkció lehetővé teszi a big data-elemzési számítási feladatok költséghatékonyabb és hatékonyabb kezelését. Mostantól optimalizálhatja a HDInsight-fürtök használatát, és csak azért fizethet, amire szüksége van.

A követelményektől függően választhat a terhelésalapú és az ütemezésalapú automatikus skálázás között. A terhelésalapú automatikus skálázás fel- és leskálázhatja a fürtméretet az aktuális erőforrásigények alapján, míg az ütemezésalapú automatikus skálázás előre meghatározott ütemezés alapján módosíthatja a fürt méretét.

A HBase és az LLAP számítási feladatok automatikus skálázási támogatása szintén nyilvános előzetes verzió. További információ: Azure HDInsight-fürtök automatikus méretezése.

HDInsight gyorsított írások az Apache HBase-hez

A Gyorsított írási műveletek az Azure prémium szintű felügyelt SSD lemezeit használja az Apache HBase Előre írt napló (WAL) szolgáltatásához. További információ: Azure HDInsight-beli gyorsított írási műveletek Apache HBase-hez

Egyéni Ambari-adatbázis

A HDInsight most egy új kapacitást kínál, amely lehetővé teszi az ügyfelek számára, hogy saját SQL DB-t használjanak az Ambarihoz. Most az ügyfelek kiválaszthatják a megfelelő SQL DB-t az Ambarihoz, és egyszerűen frissíthetik azt saját üzleti növekedési igényeik alapján. Az üzembe helyezés egy Azure Resource Manager-sablonnal történik. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.

Az F sorozatú virtuális gépek már elérhetők a HDInsighttal

Az F sorozatú virtuális gépek (VM-ek) jó választás a HDInsight könnyű feldolgozási követelményekkel való használatának megkezdéséhez. Alacsonyabb óránkénti listaár esetén az F sorozat a legjobb ár-teljesítmény érték az Azure-portfólióban az Azure Compute Unit (ACU) alapján vCPU-nként. További információ: Az Azure HDInsight-fürt megfelelő virtuálisgép-méretének kiválasztása.

Elavulás

G sorozatú virtuális gépek elavulása

Ebből a kiadásból a G-sorozatú virtuális gépek már nem érhetők el a HDInsightban.

`Dv1` virtuális gépek elavulása

Ebből a kiadásból a HDInsighttal rendelkező virtuális gépek használata Dv1 elavult. Minden ügyfélkérelmet Dv1 automatikusan kézbesítünk Dv2 . Nincs árkülönbség a virtuális gépek között Dv1Dv2 .

Viselkedésbeli változások

Fürt által felügyelt lemez méretének módosítása

A HDInsight felügyelt lemezterületet biztosít a fürthöz. Ebből a kiadásból az új létrehozott fürt egyes csomópontjainak felügyelt lemezmérete 128 GB-ra módosul.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Decembertől a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

HBase 2.0–2.1

A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.

A sorozatú virtuális gépek elavulása ESP-fürt esetén

Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. A következő kiadásban az A-sorozatú virtuális gépek elavultak lesznek új ESP-fürtök létrehozásához.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevők verziójában. A HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit itt találja.

Kiadás dátuma: 2019.07.08.

Összetevők verziói

Az összes HDInsight 4.0 összetevő hivatalos Apache-verzióit alább találja. A felsorolt összetevők a legújabb elérhető stabil verziók kiadásai.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

Az Apache-összetevők későbbi verziói néha a HDP-disztribúcióban vannak csomagolva a fent felsorolt verziók mellett. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.

Apache-javítás adatai

A HDInsight 4.0-s verzióban elérhető javításokkal kapcsolatos további információkért tekintse meg az egyes termékek javításlistáit az alábbi táblázatban.

Terméknév	Javítással kapcsolatos információk
Ambari	Az Ambari-javítás adatai
Hadoop	Hadoop-javítás adatai
A HBase	A HBase-javítás adatai
Hive	Ez a kiadás a Hive 3.1.0-s verziójához biztosít több Apache-javítást.
Kafka	Ez a kiadás a Kafka 1.1.1-et biztosítja, és nincs több Apache-javítás.
Oozie	Oozie-javítás adatai
Phoenix	A Phoenix-javítás adatai
Pig	Sertés-javítás adatai
Ranger	Ranger-javítás adatai
Spark	Spark-javítás adatai
Sqoop	Ez a kiadás a Sqoop 1.4.7-et biztosítja, és nincs több Apache-javítás.
Tez	Ez a kiadás a Tez 0.9.1-et biztosítja több Apache-javítás nélkül.
Zeppelin	Ez a kiadás a Zeppelin 0.8.0-s verziójához biztosít több Apache-javítást.
Zookeeper	A Zookeeper-javítás adatai

Kijavítottuk a gyakori biztonsági réseket és kitettségeket

Az ebben a kiadásban megoldott biztonsági problémákról további információt a Hortonworks Rögzített gyakori biztonsági rései és kitettségei a HDP 3.0.1-es verziójában talál.

Ismert problémák

Az alapértelmezett telepítéssel rendelkező biztonságos HBase replikációja megszakadt

A HDInsight 4.0 esetén hajtsa végre a következő lépéseket:

Fürtközi kommunikáció engedélyezése.
Jelentkezzen be az aktív átjárócsomópontba.

Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Írja be a parancsot sudo kinit <domainuser>.

Írja be a következő parancsot a szkript futtatásához:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

HDInsight 3.6 esetén

Jelentkezzen be az aktív HMaster ZK-ba.

Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:

sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh

Írja be a parancsot sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

Írja be a következő parancsot:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

A Phoenix Sqlline leáll a HBase-fürt HDInsight 4.0-ra való migrálása után

Hajtsa végre a következő lépéseket:

A következő Phoenix-táblák elvetése:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
Ha egyik táblát sem tudja törölni, indítsa újra a HBase-t a táblákhoz való kapcsolatok törléséhez.
Futtassa ismét az sqlline.py parancsot. A Phoenix újra létrehozza az 1. lépésben törölt összes táblát.
Phoenix-táblák és -nézetek újragenerálása a HBase-adatokhoz.

A Phoenix Sqlline leáll, miután replikálta a HBase Phoenix metaadatait a HDInsight 3.6-ról 4.0-ra

Hajtsa végre a következő lépéseket:

A replikáció végrehajtása előtt lépjen a cél 4.0-s fürtre, és hajtsa végre sqlline.py. Ez a parancs phoenix-táblákat hoz létre, amelyek SYSTEM.MUTEXSYSTEM.LOG csak a 4.0-s verzióban léteznek.
A következő táblák elvetése:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
A HBase-replikáció indítása

Elavulás

Az Apache Storm és az ML-szolgáltatások nem érhetők el a HDInsight 4.0-ban.

Kiadás dátuma: 2019. 04. 14.

Új funkciók

Az új frissítések és képességek a következő kategóriákba sorolhatók:

A Hadoop és más nyílt forráskódú projektek frissítése – A több mint 20 nyílt forráskódú projekt 1000+ hibajavítása mellett ez a frissítés a Spark (2.3) és a Kafka (1.0) új verzióját is tartalmazza.

a. Az Apache Spark 2.3 új funkciói

b. Az Apache Kafka 1.0 új funkciói
Az R Server 9.1 frissítése a Machine Learning Services 9.3-ra – Ezzel a kiadással az adattudósok és mérnökök számára biztosítjuk a legjobb nyílt forráskód az algoritmikus innovációkkal és a könnyű üzembe helyezéssel, amelyek mindegyike elérhető az előnyben részesített nyelven az Apache Spark sebességével. Ez a kiadás kibővíti az R Serverben kínált képességeket a Python hozzáadott támogatásával, ami a fürt nevének R Serverről ML-szolgáltatásokra való változásához vezet.
Az Azure Data Lake Storage Gen2 – HDInsight támogatása támogatja az Azure Data Lake Storage Gen2 előzetes kiadását. Az elérhető régiókban az ügyfelek választhatnak egy ADLS Gen2-fiókot elsődleges vagy másodlagos tárolóként a HDInsight-fürtöikhez.
HDInsight Enterprise biztonsági csomagfrissítések (előzetes verzió) – (előzetes verzió) Virtuális hálózati szolgáltatásvégpontok támogatása az Azure Blob Storage, az ADLS Gen1, az Azure Cosmos DB és az Azure DB számára.

Összetevők verziói

Az összes HDInsight 3.6-összetevő hivatalos Apache-verziói az alábbiakban láthatók. Az itt felsorolt összetevők a legújabb stabil verziók hivatalos Apache-kiadásai.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

Néhány Apache-összetevő későbbi verziói néha a FENT felsorolt verziók mellett a HDP-disztribúcióban vannak csomagolva. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.

Apache-javítás adatai

Hadoop

Ez a kiadás a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosítja:

HADOOP-13190: A LoadBalancingKMSClientProvider említése a KMS HA dokumentációjában.
HADOOP-13227: Az AsyncCallHandlernek eseményvezérelt architektúrát kell használnia az aszinkron hívások kezeléséhez.
HADOOP-14104: Az ügyfélnek mindig meg kell kérdeznie a névcsomópontot a kms-szolgáltató elérési útjára.
HADOOP-14799: Update nimbus-jose-jwt to 4.41.1.
HADOOP-14814: Az FsServerDefaults inkompatibilis API-változásainak kijavítása HADOOP-14104-ra.
HADOOP-14903: Json-smart hozzáadása kifejezetten a pom.xml.
HADOOP-15042: Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0.
HADOOP-15255: Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez.
HADOOP-15265: a json-smart explicit kizárása a hadoop-auth pom.xml.
HDFS-7922: A ShortCircuitCache#close nem adja ki az ScheduledThreadPoolExecutorst.
HDFS-8496: A stopWriter() meghívása FSDatasetImpl zárral blokkolhat más szálakat (cmccabe).
HDFS-10267: Extra "szinkronizálva" az FsDatasetImpl#recoverAppend és az FsDatasetImpl#recoverClose rendszeren.
HDFS-10489: Elavult dfs.encryption.key.provider.uri HDFS titkosítási zónákhoz.
HDFS-11384: Adjon hozzá egy lehetőséget a kiegyensúlyozó számára a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs.
HDFS-11689: Új kivételt eredményezett a hive kód feltörése DFSClient%isHDFSEncryptionEnabledhacky .
HDFS-11711: A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkját.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay gyakran sikertelen.
HDFS-12781: Miután Datanode leállt, a Namenode felhasználói felületen Datanode figyelmeztető üzenet jelenik meg.
HDFS-13054: PathIsNotEmptyDirectoryException kezelése törlési hívásban DFSClient .
HDFS-13120: Összefűzés után a pillanatkép-diff sérült lehet.
YARN-3742: A YARN RM leáll, ha ZKClient a létrehozás túllépi az időkorlátot.
YARN-6061: UncaughtExceptionHandler hozzáadása kritikus szálakhoz az RM-ben.
YARN-7558: A yarn logs parancs nem tud naplókat lekérni a tárolók futtatásához, ha a felhasználói felület hitelesítése engedélyezve van.
YARN-7697: A naplók lekérése a kész alkalmazáshoz sikertelen, annak ellenére, hogy a naplóösszesítés befejeződött.

A HDP 2.6.4 a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosította:

HADOOP-13700: Távolítsa el a sikertelenségeket IOException a TrashPolicy#inicializálásából és #getInstance aláírásokból.
HADOOP-13709: A Shell által létrehozott alfolyamatok megtisztítása a folyamat kilépésekor.
HADOOP-14059: elírás az átnevezés (self, subdir) hibaüzenetben s3a .
HADOOP-14542: Az Slf4j Logger API-t elfogadó IOUtils.cleanupWithLogger hozzáadása.
HDFS-9887: A WebHdfs szoftvercsatorna időtúllépéseinek konfigurálhatóknak kell lenniük.
HDFS-9914: A konfigurálható WebhDFS kapcsolódási/olvasási időtúllépésének javítása.
MAPREDUCE-6698: Időtúllépés növelése a TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser rendszeren.
YARN-4550: A TestContainerLanch egyes tesztjei nem angol nyelvű területi környezetben sikertelenek.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir időnként meghiúsul, mert IllegalArgumentException törlődik.
YARN-5042: A /sys/fs/cgroup csatlakoztatása a Docker-tárolókba egyszerű csatlakoztatásként.
YARN-5318: A TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider időszakos teszthibájának javítása.
YARN-5641: A Localizer a tároló befejezése után hátrahagyja a tarballokat.
YARN-6004: Refactor TestResourceLocalizationService#testDownloadingResourcesOnContainer, hogy kevesebb mint 150 sor legyen.
YARN-6078: A tárolók honosítási állapotban elakadtak.
YARN-6805: NPE LinuxContainerExecutor rendszerben null PrivilegedOperationException kilépési kód miatt.

A HBase

Ez a kiadás a HBase 1.1.2-t és az alábbi Apache-javításokat biztosítja.

HBASE-13376: A sztochasztikus terheléselosztó fejlesztései.
HBASE-13716: A Hadoop FSConstants használatának leállítása.
HBASE-13848: InfoServer SSL-jelszavak elérése hitelesítőadat-szolgáltató API-val.
HBASE-13947: A MasterServices használata kiszolgáló helyett a AssignmentManagerben.
HBASE-14135: HBase biztonsági mentés/visszaállítás 3. fázis: Biztonsági mentési lemezképek egyesítése.
HBASE-14473: Számítási régió területi beállítása párhuzamosan.
HBASE-14517: Verzió megjelenítése regionserver's a fő állapotlapon.
HBASE-14606: TestSecureLoadIncrementalHFiles tesztek időtúllépése a csomagtartó buildben az Apache-on.
HBASE-15210: Az agresszív terheléselosztó naplózásának visszavonása ezredmásodpercenként több tíz sornál.
HBASE-15515: A LocalityBasedCandidateGenerator fejlesztése a Balancerben.
HBASE-15615: Helytelen alvási idő, amikor RegionServerCallable újra kell próbálkoznia.
HBASE-16135: Előfordulhat, hogy a PeerClusterZnode az eltávolított társ rs alatt soha nem lesz törölve.
HBASE-16570: Számítási régió területi beállítása párhuzamosan indításkor.
HBASE-16810: A HBase Balancer a ArrayIndexOutOfBoundsException parancsot dobja, amikor regionservers a /hbase/draining znode-ban van, és ki van ürítve.
HBASE-16852: A TestDefaultCompactSelection nem sikerült az 1.3 ágon.
HBASE-17387: Csökkentse a kivételjelentés többletterhelését a RegionActionResult for multi() fájlban.
HBASE-17850: Backup system repair segédprogram.
HBASE-17931: Rendszertáblák hozzárendelése a legmagasabb verziójú kiszolgálókhoz.
HBASE-18083: A nagy/kis méretű fájlok tiszta szálszámának konfigurálása a HFileCleanerben.
HBASE-18084: A CleanerChore javítása a címtárból való tisztításhoz, amely több lemezterületet használ fel.
HBASE-18164: Sokkal gyorsabb területi költségfüggvény és jelöltgenerátor.
HBASE-18212: Önálló módban a helyi fájlrendszer HBase-naplóival Figyelmeztető üzenet: Nem sikerült meghívni a "unbuffer" metódust az org.apache.hadoop.fs.FSDataInputStream osztályban.
HBASE-18808: A backuplogCleaner#getDeletableFiles() sikertelen konfigurációs beadása.
HBASE-19052: A FixedFileTrailernek fel kell ismernie a CellComparatorImpl osztályt az 1.x ágban.
HBASE-19065: A HRegion#bulkLoadHFiles() függvénynek várnia kell, amíg az egyidejű régió#flush() befejeződik.
HBASE-19285: Táblázatonkénti késési hisztogramok hozzáadása.
HBASE-19393: HTTP 413 FULL head, miközben SSL használatával fér hozzá a HBase felhasználói felületéhez.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting sikertelen NPE-vel.
HBASE-19421: branch-1 nem fordítja le a Hadoop 3.0.0-ra.
HBASE-19934: HBaseSnapshotException, ha engedélyezve van az olvasási replikák, és online pillanatkép készül a régió felosztása után.
HBASE-20008: [backport] NullPointerException, amikor visszaállít egy pillanatképet egy régió felosztása után.

Hive

Ez a kiadás a Következő javítások mellett a Hive 1.2.1 és a Hive 2.1.0 verziót is tartalmazza:

Hive 1.2.1 Apache-javítások:

HIVE-10697: Az ObjectInspectorConvertors#UnionConvertor hibás átalakítást végez.
HIVE-11266: a külső táblák táblázatstatisztikái alapján helytelen eredmény(*) számít(*).
HIVE-12245: A HBase által támogatott táblák oszlop megjegyzéseinek támogatása.
HIVE-12315: Vektorizált kettős osztás javítása nullával.
HIVE-12360: Rossz keresés tömörítetlen ORC predikátum leküldéssel.
HIVE-12378: Kivétel a HBaseSerDe.szerializálja a bináris mezőt.
HIVE-12785: Az egyesítő típusú nézet és a struktúrához tartozó UDF nem működik.
HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.
HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.
HIVE-14421: Az FS.deleteOnExit _tmp_space.db fájlokra mutató hivatkozásokat tartalmaz.
HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.
HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.
HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.
HIVE-16232: Támogatja a quotedIdentifier oszlopainak statisztikai számítását.
HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.
HIVE-17013: A kérelem törlése egy alqueryvel a nézeten való kijelölés alapján.
HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.
HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.
HIVE-17419: TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg.
HIVE-17530: ClassCastException konvertáláskor uniontype.
HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.
HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz blobstores: .
HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.
HIVE-17731: adjon hozzá egy visszamenőleges compat beállítást a külső felhasználók számára a HIVE-11985-höz.
HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.
HIVE-17829: ArrayIndexOutOfBoundsException – HBASE által támogatott táblák Avro-sémával.Hive2
HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.
HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .
HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.
HIVE-18031: Az Alter Database-művelet replikációjának támogatása.
HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.
HIVE-18189: A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értékét igazra állítja.
HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.
HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.
HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.
HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.
HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.
HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.
HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.
HIVE-18429: A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet.
HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.
HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.
HIVE-18467: támogatja a teljes raktári memóriaképet / terhelést + adatbázisesemények létrehozását/elvetést (Anishek Agarwal, Sankar Hariappan véleményezve).
HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.
HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.
HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.
HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.
HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.
HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.
HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.
HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.
HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.
HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.
HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.
HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".
HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.
HIVE-18907: Hozzon létre segédprogramot a hive-18817 savas kulcs indexével kapcsolatos probléma megoldásához.

Hive 2.1.0 Apache-javítások:

HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.
HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.
HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.
HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.
HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.
HIVE-16757: Távolítsa el az elavult AbstractRelNode.getRows hívásait.
HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.
HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.
HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.
HIVE-17530: ClassCastException konvertáláskor uniontype.
HIVE-17600: Az OrcFile kényszerítéseBufferSize felhasználó-settable.
HIVE-17601: a LlapServiceDriver hibakezelésének javítása.
HIVE-17613: Távolítsa el az objektumkészleteket a rövid, azonos szálú foglalásokhoz.
HIVE-17617: Az üres eredményhalmaz összesítésének tartalmaznia kell az üres csoportosítási csoport csoportosítását.
HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.
HIVE-17629: CachedStore: Jóváhagyott/nem jóváhagyott konfigurációval rendelkezik, amely lehetővé teszi a táblák/partíciók szelektív gyorsítótárazását, és engedélyezi az olvasást az előzetes használat során.
HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz blobstores: .
HIVE-17702: helytelen isRepeating kezelés decimális olvasóban az ORC-ban.
HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.
HIVE-17731: adjon hozzá egy visszamenőleges compat beállítást a külső felhasználók számára a HIVE-11985-höz.
HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.
HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.
HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .
HIVE-18006: A HLLDenseRegister memóriaigényének optimalizálása.
HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.
HIVE-18031: Az Alter Database-művelet replikációjának támogatása.
HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.
HIVE-18189: A pozíció szerinti sorrend nem működik, ha cbo le van tiltva.
HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.
HIVE-18269: LLAP: A lassú feldolgozási folyamattal rendelkező gyors llap io OOM-hoz vezethet.
HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.
HIVE-18318: Az LLAP rekordolvasónak akkor is ellenőriznie kell a megszakítást, ha nem blokkolja.
HIVE-18326: LLAP Tez scheduler – csak előzetes feladatok, ha függőség van közöttük.
HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.
HIVE-18331: A TGT lejárata után adja hozzá a relogin-t, és néhány naplózást/lambdát.
HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.
HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.
HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.
HIVE-18384: ConcurrentModificationException a könyvtárban log4j2.x .
HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.
HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.
HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.
HIVE-18462: (A térképillesztéssel rendelkező lekérdezések magyarázata oszlopexprMap oszlopa formázatlan oszlopnévvel).
HIVE-18467: teljes raktári memóriakép/ terhelés támogatása + adatbázisesemények létrehozása/elvetése.
HIVE-18488: Az LLAP ORC-olvasók hiányoznak néhány null értékű ellenőrzésből.
HIVE-18490: A EXISTS és a NOT EXISTS lekérdezés nem egyenlő predikátummal helytelen eredményt eredményezhet.
HIVE-18506: LlapBaseInputFormat – negatív tömbindex.
HIVE-18517: Vektorizálás: Javítsa ki a VectorMapOperatort a VRB-k elfogadásához, és ellenőrizze a vektorizált jelzőt helyesen az LLAP gyorsítótárazásának támogatásához).
HIVE-18523: Az összegző sor javítása, ha nincsenek bemenetek.
HIVE-18528: Az ObjectStore összesítő statisztikái hibás eredményt kapnak.
HIVE-18530: A replikációnak kihagynia kell az MM-táblát (egyelőre).
HIVE-18548: Az importálás javítása log4j .
HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.
HIVE-18577: SzemanticAnalyzer.validate van néhány értelmetlen metaadattár-hívások.
HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.
HIVE-18597: LLAP: Mindig csomagolja be az log4j2 API jar for org.apache.log4j.
HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.
HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.
HIVE-18643: ne ellenőrizze az ACID-műveletek archivált partícióit.
HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.
HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.
HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.
HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.
HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.
HIVE-18815: Távolítsa el a nem használt funkciót a HPL/SQL-ben.
HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.
HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".
HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.
HIVE-18944: A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során.

Kafka

Ez a kiadás a Kafka 1.0.0-s és az alábbi Apache-javításokat tartalmazza.

KAFKA-4827: Kafka connect: hiba speciális karakterekkel az összekötő nevében.
KAFKA-6118: Átmeneti hiba a kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials fájlban.
KAFKA-6156: A JmxReporter nem tudja kezelni a windows stílusú címtár elérési útjait.
KAFKA-6164: A ClientQuotaManager szálak megakadályozzák a leállítást, amikor hiba történik a naplók betöltésekor.
KAFKA-6167: A streamek könyvtárának időbélyege kettőspontot tartalmaz, amely egy illegális karakter.
A KAFKA-6179: RecordQueue.clear() nem törli a MinTimestampTracker által fenntartott listát.
KAFKA-6185: Kiválasztó memória kiszivárgása nagy valószínűséggel OOM, ha van egy lekonvertálás.
KAFKA-6190: A GlobalKTable soha nem fejezi be a visszaállítást tranzakciós üzenetek használatakor.
KAFKA-6210: IllegalArgumentException, ha az 1.0.0 az inter.broker.protocol.version vagy log.message.format.version verzióhoz használatos.
KAFKA-6214: A készenléti replikák memóriaállapot-tárolóval való használata miatt a Streamek összeomlanak.
KAFKA-6215: A KafkaStreamsTest meghibásodik a csomagtartóban.
KAFKA-6238: A protokollverzióval kapcsolatos problémák az 1.0.0-s verzióra való frissítéskor.
KAFKA-6260: Az AbstractCoordinator nem kezeli egyértelműen a NULL-kivételt.
KAFKA-6261: A kérelemnaplózás kivételt eredményez, ha acks=0.
KAFKA-6274: A forrásállapot-tároló automatikusan létrehozott neveinek javítása KTable .

Mahout

A HDP-2.3.x és a 2.4.x verzióban aHelyett, hogy a Mahout adott Apache-kiadását szállítanánk, szinkronizáltunk egy adott változatpontra az Apache Mahout-csomagtartón. Ez a változat a 0.9.0-s kiadás után, de a 0.10.0-s kiadás előtt van. Ez számos hibajavítást és funkcionális fejlesztést biztosít a 0.9.0-s kiadáshoz, de a Mahout funkció stabil kiadását biztosítja a 0.10.0-s verzióban az új Spark-alapú Mahoutra való teljes átalakítás előtt.

A HDP 2.3.x és 2.4.x verzióban a Mahouthoz választott korrektúrapont az Apache Mahout "mahout-0.10.x" ágából származik, 2014. december 19-én, a GitHub 0f037cb03e77c096-os verziójából.

A HDP-2.5.x és a 2.6.x verzióban eltávolítottuk a "commons-httpclient" kódtárat a Mahoutból, mert elavult kódtárként tekintünk rá, és biztonsági problémákat tapasztalhatunk, és a Mahout Hadoop-Client-t a HDP-2.5-ben használt 2.7.3-as verzióra frissítettük. Ennek eredménye:

A korábban lefordított Mahout-feladatokat újra kell fordítani a HDP-2.5 vagy 2.6 környezetben.
Előfordulhat, hogy egyes Mahout-feladatok "ClassNotFoundException" vagy "nem tölthetők be osztály" hibába ütközhetnek az "org.apache.commons.httpclient", "net.java.dev.jets3t" vagy a kapcsolódó osztálynév-előtagokkal kapcsolatban. Ha ezek a hibák történnek, megfontolhatja, hogy manuálisan kell-e telepíteni a feladathoz szükséges jarokat az osztályútvonalon, ha az elavult kódtár biztonsági problémáinak kockázata elfogadható a környezetben.
Még kisebb eséllyel előfordulhat, hogy egyes Mahout-feladatok összeomlanak a Mahout hbase-client kódhívásaiban a hadoop-gyakori kódtárakhoz a bináris kompatibilitási problémák miatt. Sajnos nincs mód a probléma megoldására, kivéve a Mahout HDP-2.4.2-es verziójára való visszaállítást, amely biztonsági problémákat eredményezhet. Ez ismét szokatlannak kell lennie, és nem valószínű, hogy egy adott Mahout-feladatcsomagban fordul elő.

Oozie

Ez a kiadás az Oozie 4.2.0-t a következő Apache-javításokkal biztosítja.

OOZIE-2571: Spark.scala.binary.version Maven tulajdonság hozzáadása a Scala 2.11 használatához.
OOZIE-2606: Állítsa be a spark.yarn.jars-t a Spark 2.0 Oozie-val való javításához.
OOZIE-2658: --driver-class-path felülírhatja az osztályútvonalat a SparkMainban.
OOZIE-2787: Az Oozie kétszer terjeszti az alkalmazás jart, így a Spark-feladat meghiúsul.
OOZIE-2792: Hive2 a művelet nem elemzi megfelelően a Spark-alkalmazás azonosítóját a naplófájlból, ha a Hive a Sparkon van.
OOZIE-2799: A Spark SQL helyének beállítása a hive-en.
OOZIE-2802: Spark-művelet meghiúsul a Spark 2.1.0-n duplikáció sharelibsmiatt.
OOZIE-2923: A Spark-beállítások elemzésének javítása.
OOZIE-3109: SCA: Helyek közötti szkriptelés: Tükrözve.
OOZIE-3139: Az Oozie helytelenül ellenőrzi a munkafolyamatot.
OOZIE-3167: Tomcat verzió frissítése az Oozie 4.3 ágon.

Phoenix

Ez a kiadás a Phoenix 4.7.0-s verziót és a következő Apache-javításokat tartalmazza:

PHOENIX-1751: Aggregációk, rendezés stb. végrehajtása a preScannerNextben a postScannerOpen helyett.
PHOENIX-2714: Helyes bájtbecslés a BaseResultIteratorsban, és interfészként elérhetővé tehető.
PHOENIX-2724: A nagy számú segédoszlopot tartalmazó lekérdezés lassabb, mint a statisztikák.
PHOENIX-2855: Megkerülő megoldás: A Növekményes timeRange nincs szerializálva a HBase 1.2-hez.
PHOENIX-3023: Lassú teljesítmény, ha alapértelmezés szerint a korlát lekérdezések párhuzamosan futnak.
PHOENIX-3040: Ne használjon útmutatókat a lekérdezések soros végrehajtásához.
PHOENIX-3112: A részleges sorvizsgálat nem megfelelően van kezelve.
PHOENIX-3240: ClassCastException a Pig loader.
PHOENIX-3452: A NULLS FIRST/NULL LAST nem befolyásolhatja, hogy a GROUP BY a sorrend megőrzése.
PHOENIX-3469: HELYTELEN rendezési sorrend a DESC elsődleges kulcsához a NULLS LAST/NULLS FIRST értékhez.
PHOENIX-3789: Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably nyelven.
PHOENIX-3865: AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt.
PHOENIX-4290: A DELETE teljes táblázatvizsgálata nem módosítható indexekkel rendelkező táblával.
PHOENIX-4373: A helyi indexváltozó hosszkulcsa záró null értékekkel rendelkezhet az upserting során.
PHOENIX-4466: java.lang.RuntimeException: válaszkód 500 – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez.
PHOENIX-4489: HBase-kapcsolati szivárgás a Phoenix MR Jobsban.
PHOENIX-4525: Egész szám túlcsordulás a GroupBy-végrehajtásban.
PHOENIX-4560: AZ ORDER BY és a GROUP BY nem működik, ha a WHERE oszlopban pk van.
PHOENIX-4586: A UPSERT SELECT nem veszi figyelembe az allekérdezések összehasonlító operátorait.
PHOENIX-4588: Klónozás kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION.

Pig

Ez a kiadás a Pig 0.16.0-t a következő Apache-javításokkal biztosítja.

PIG-5159: Fix Pig nem menti a morcos előzményeket.
PIG-5175: Frissítés jruby 1.7.26-ra.

Ranger

Ez a kiadás a Ranger 0.7.0-s és az alábbi Apache-javításokat biztosítja:

RANGER-1805: Kódfejlesztés a js ajánlott eljárásainak követéséhez.
RANGER-1960: Vegye figyelembe a pillanatkép táblanevét a törlésnél.
RANGER-1982: Hibajavítás a Ranger-rendszergazda és a Ranger KMS elemzési metrikájához.
RANGER-1984: A HBase naplórekordjai nem feltétlenül jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét.
RANGER-1988: Javítsa ki a nem biztonságos véletlenszerűséget.
RANGER-1990: Egyirányú SSL MySQL-támogatás hozzáadása a Ranger-rendszergazdához.
RANGER-2006: A statikus kódelemzés által észlelt problémák megoldása a rangerben usersync a szinkronizálási forráshoz ldap .
RANGER-2008: A szabályzatok kiértékelése többsoros szabályzatfeltételek esetén sikertelen.

Csúszka

Ez a kiadás a Slider 0.92.0-s verziójával rendelkezik, és nincs több Apache-javítás.

Spark

Ez a kiadás a Spark 2.3.0-t és a következő Apache-javításokat biztosítja:

SPARK-13587: A virtualenv támogatása a Pysparkban.
SPARK-19964: A SparkSubmitSuite távoli adattáraiból való olvasás elkerülése.
SPARK-22882: ML-teszt strukturált streameléshez: ml.classification.
SPARK-22915: Streamelési tesztek a spark.ml.feature-hez N-től Z-ig.
SPARK-23020: Kijavítottunk egy másik versenyt a folyamatindító tesztben.
SPARK-23040: Megszakítható iterátort ad vissza a shuffle olvasóhoz.
SPARK-23173: Ne hozzon létre sérült parquet-fájlokat, amikor adatokat tölt be A JSON-ból.
SPARK-23264: A scala javítása. MatchError a literals.sql.out fájlban.
SPARK-23288: Kimeneti metrikák javítása parketta-fogadóval.
SPARK-23329: A trigonometriai függvények dokumentációjának javítása.
SPARK-23406: Stream-stream öncsatlakozások engedélyezése a branch-2.3-hoz.
SPARK-23434: A Spark nem figyelmezteti a "metaadat-könyvtárat" egy HDFS-fájl elérési útjára.
SPARK-23436: Csak akkor következtethet dátumként partícióra, ha a dátumra vethető.
SPARK-23457: Feladatvégző figyelők regisztrálása először a ParquetFileFormatban.
SPARK-23462: Javítsa a hiányzó mező hibaüzenetét a StructType-ban.
SPARK-23490: Ellenőrizze a storage.locationUri függvényt a CreateTable meglévő táblájával.
SPARK-23524: A nagy helyi shuffle blokkokat nem szabad ellenőrizni a sérülés miatt.
SPARK-23525: Az ALTER TABLE CHANGE COLUMN COMMENT támogatása külső hive-táblához.
SPARK-23553: A tesztek nem feltételezik a "spark.sql.sources.default" alapértelmezett értékét.
SPARK-23569: Lehetővé teszi, hogy pandas_udf python3 stílusú, szövegjegyzetes függvényekkel működjön.
SPARK-23570: Spark 2.3.0 hozzáadása a HiveExternalCatalogVersionsSuite-ban.
SPARK-23598: A BufferedRowIterator metódusainak nyilvánossá tétele a nagy lekérdezések futásidejű hibáinak elkerülése érdekében.
SPARK-23599: Adjon hozzá egy UUID-generátort pszeudo-véletlenszerű számokból.
SPARK-23599: A RandomUUIDGenerator használata uuid kifejezésben.
SPARK-23601: Fájlok eltávolítása .md5 a kiadásból.
SPARK-23608: Szinkronizálás hozzáadása SHS-ben az attachSparkUI és a detachSparkUI függvények között, hogy elkerülje a Jetty Handlers egyidejű módosítási problémáját.
SPARK-23614: A gyorsítótárazás használatakor a helytelen újrahasználati csere javítása.
SPARK-23623: Kerülje a gyorsítótárazott fogyasztók egyidejű használatát a CachedKafkaConsumerben (branch-2.3).
SPARK-23624: A pushFilters metódus dokumentumának módosítása a Datasource V2-ben.
SPARK-23628: calculateParamLength nem ad vissza 1 + num kifejezéseket.
SPARK-23630: Lehetővé teszi, hogy a felhasználó hadoop-conf testreszabásai érvénybe lépjenek.
SPARK-23635: A Spark végrehajtói env változóját ugyanaz a név am env változó írja felül.
SPARK-23637: A Yarn több erőforrást is lefoglalhat, ha ugyanazt a végrehajtót többször is megölik.
SPARK-23639: Jogkivonat beszerzése az init metaadattár-ügyfél előtt a SparkSQL CLI-ben.
SPARK-23642: AccumulatorV2 alosztály isZero scaladoc javítás.
SPARK-23644: Használja az abszolút elérési utat a REST-híváshoz az SHS-ben.
SPARK-23645: Docs RE "pandas_udf" hozzáadása kulcsszó arg-ekkel.
SPARK-23649: Az UTF-8-ban nem engedélyezett karakter kihagyása.
SPARK-23658: Az InProcessAppHandle helytelen osztályt használ a getLoggerben.
SPARK-23660: A yarnfürt módban lévő kivétel kijavítása, ha az alkalmazás gyorsan véget ért.
SPARK-23670: Memóriaszivárgás javítása a SparkPlanGraphWrapperen.
SPARK-23671: Az SHS-szálkészlet engedélyezésének feltétele.
SPARK-23691: Ha lehetséges, használja sql_conf util-t a PySpark-tesztekben.
SPARK-23695: Kinesis-streamelési tesztek hibaüzenetének javítása.
SPARK-23706: spark.conf.get(value, default=None) a PySparkban a None értéket kell előállítania.
SPARK-23728: Az ML-tesztek javítása a streamelési teszteket futtató várt kivételekkel.
SPARK-23729: URI-töredék tiszteletben tartása a globok feloldásakor.
SPARK-23759: Nem lehet a Spark felhasználói felületét egy adott gazdagépnévhez/ IP-címhez kötni.
SPARK-23760: CodegenContext.withSubExprEliminationExprs a CSE állapotát helyesen kell menteni/visszaállítani.
SPARK-23769: Távolítsa el az ellenőrzést szükségtelenül letiltó Scalastyle megjegyzéseket.
SPARK-23788: A Verseny javítása a StreamingQuerySuite-ban.
SPARK-23802: A PropagálásEmptyRelation feloldatlan állapotban hagyhatja a lekérdezéstervet.
SPARK-23806: A Broadcast.unpersist végzetes kivételt okozhat dinamikus lefoglalás esetén.
SPARK-23808: Alapértelmezett Spark-munkamenet beállítása csak tesztalapú Spark-munkamenetekben.
SPARK-23809: Az aktív SparkSession-t a getOrCreate-nak kell beállítania.
SPARK-23816: A törölt tevékenységeknek figyelmen kívül kell hagyniuk a FetchFailures parancsokat.
SPARK-23822: A Parquet-sémaeltérések hibaüzenetének javítása.
SPARK-23823: A forrás megőrzése a transformExpressionban.
SPARK-23827: A StreamingJoinExecnek biztosítania kell, hogy a bemeneti adatok meghatározott számú partícióra legyenek particionálva.
SPARK-23838: Az SQL-lekérdezés futtatása "befejezettként" jelenik meg az SQL lapon.
SPARK-23881: Javítás pelyhes teszt JobCancellationSuite." a shuffle olvasó megszakítható iterátora".

Sqoop

Ez a kiadás a Sqoop 1.4.6-ot biztosítja több Apache-javítás nélkül.

Storm

Ez a kiadás a Storm 1.1.1-et és a következő Apache-javításokat biztosítja:

STORM-2652: A JmsSpout nyílt metódusban kidobott kivétel.
STORM-2841: testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul.
STORM-2854: Az IEventLogger elérhetővé tétele az eseménynapló csatlakoztathatóvá tétele érdekében.
STORM-2870: A FileBasedEventLogger kiszivárog a nem démoni ExecutorService szolgáltatásból, ami megakadályozza a folyamat befejezését.
STORM-2960: Jobban hangsúlyozni fontos, hogy megfelelő operációsrendszer-fiókot állítson be a Storm-folyamatokhoz.

Tez

Ez a kiadás a Tez 0.7.0-s és a következő Apache-javításokat tartalmazza:

TEZ-1526: LoadingCache for TezTaskID slow for large jobs.

Zeppelin

Ez a kiadás a Zeppelin 0.7.3-at biztosítja, és nincs több Apache-javítás.

ZEPPELIN-3072: A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van.
ZEPPELIN-3129: A Zeppelin felhasználói felülete nem jelentkezik ki az Internet Explorerben.
ZEPPELIN-903: Cserélje le a CXF-et a következőre Jersey2: .

ZooKeeper

Ez a kiadás a ZooKeeper 3.4.6-ot és a következő Apache-javításokat biztosítja:

ZOOKEEPER-1256: A ClientPortBindTest sikertelen macOS X rendszeren.
ZOOKEEPER-1901: [JDK8] Gyermekek rendezése összehasonlításhoz az AsyncOps-tesztekben.
ZOOKEEPER-2423: A Netty verzió frissítése biztonsági rés miatt (CVE-2014-3488).
ZOOKEEPER-2693: DOS támadás wchp/wchc négy betűs szavak (4lw).
ZOOKEEPER-2726: Patch vezet be egy potenciális versenyfeltétel.

Kijavítottuk a gyakori biztonsági réseket és kitettségeket

Ez a szakasz az ebben a kiadásban kezelt összes gyakori biztonsági rést és kitettséget (CVE) ismerteti.

CVE-2017-7676

Összefoglalás: Az Apache Ranger-szabályzat kiértékelése figyelmen kívül hagyja a karaktereket a *karakter után
Súlyosság: Kritikus
Szállító: Hortonworks
Érintett verziók: HDInsight 3.6-os verziók, beleértve az Apache Ranger 0.5.x/0.6.x/0.7.0-s verzióját
Érintett felhasználók: A Ranger-szabályzatokat használó környezetek "" helyettesítő karakter után karakterekkel – például sajátteszt, teszt*.txt
Hatás: A szabályzat erőforrás-egyeztetője figyelmen kívül hagyja a karaktereket a "*" helyettesítő karakter után, ami nem szándékos viselkedést eredményezhet.
Javítás részletei: A Ranger-szabályzat erőforrás-egyeztetője frissült a helyettesítő karakterek megfelelő kezelése érdekében.
Javasolt művelet: Frissítés HDI 3.6-ra (Apache Ranger 0.7.1+).

CVE-2017-7677

Összefoglalás: Az Apache Ranger Hive-engedélyezőnek RWX-engedélyt kell keresnie külső hely megadásakor
Súlyosság: Kritikus
Szállító: Hortonworks
Érintett verziók: HDInsight 3.6-os verziók, beleértve az Apache Ranger 0.5.x/0.6.x/0.7.0-s verzióját
Érintett felhasználók: A hive-táblákhoz külső helyet használó környezetek
Hatás: A hive-táblákhoz külső helyet használó környezetekben az Apache Ranger Hive Authorizernek RWX-engedélyt kell keresnie a tábla létrehozásához megadott külső helyhez.
Javítás részletei: A Ranger Hive-engedélyező frissítve lett, hogy megfelelően kezelje a külső hely engedélyellenőrzését.
Ajánlott művelet: A felhasználóknak frissíteni kell a HDI 3.6-ra (Apache Ranger 0.7.1+).

CVE-2017-9799

Összefoglalás: A kód nem megfelelő felhasználóként való lehetséges végrehajtása az Apache Stormban
Súlyosság: Fontos
Szállító: Hortonworks
Érintett verziók: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Érintett felhasználók: Azok a felhasználók, akik biztonságos módban használják a Stormot, és blobstore-t használnak topológiaalapú összetevők terjesztésére, vagy a blobstore használatával terjesztik a topológia-erőforrásokat.
Hatás: Bizonyos helyzetekben és a vihar konfigurációiban elméletileg lehetséges, hogy a topológia tulajdonosa becsapja a felügyelőt, hogy egy másik, nem gyökérfelhasználóként indítsa el a feldolgozót. A legrosszabb esetben ez a másik felhasználó hitelesítő adatainak biztonságossá tételéhez vezethet. Ez a biztonsági rés csak olyan Apache Storm-telepítésekre vonatkozik, amelyeken engedélyezve van a biztonság.
Megoldás: Frissítsen a HDP-2.6.2.1 verzióra, mivel jelenleg nincsenek áthidaló megoldások.

CVE-2016-4970

Összefoglalás: kezelő/ssl/OpenSslEngine.java a Netty 4.0.x-ben 4.0.37 előtt. Végleges és 4.1.x előtt 4.1.1. A Final lehetővé teszi, hogy a távoli támadók szolgáltatásmegtagadást okozzanak (végtelen ciklus)
Súlyosság: Közepes
Szállító: Hortonworks
Érintett verziók: HDP 2.x.x 2.3.x óta
Érintett felhasználók: A HDFS-t használó összes felhasználó.
Hatás: Az hatás alacsony, mivel a Hortonworks nem használja OpenSslEngine.java közvetlenül a Hadoop-kódbázisban.
Ajánlott művelet: Frissítsen a HDP 2.6.3-ra.

CVE-2016-8746

Összefoglalás: Az Apache Ranger elérési útjának egyeztetésével kapcsolatos probléma a szabályzatértékelésben
Súlyosság: Normál
Szállító: Hortonworks
Érintett verziók: Minden HDP 2.5-ös verzió, beleértve az Apache Ranger 0.6.0/0.6.1/0.6.2-et
Érintett felhasználók: A ranger házirend-felügyeleti eszköz minden felhasználója.
Hatás: A Ranger szabályzatmotorja helytelenül egyezik meg bizonyos feltételek elérési útjaival, ha egy szabályzat helyettesítő karaktereket és rekurzív jelzőket tartalmaz.
Javítás részletei: Kijavítottuk a szabályzat-kiértékelési logikát
Ajánlott művelet: A felhasználóknak a HDP 2.5.4+-ra (Apache Ranger 0.6.3+) vagy a HDP 2.6+-ra kell frissíteni (Az Apache Ranger 0.7.0+-val)

CVE-2016-8751

Összefoglalás: Az Apache Ranger webhelyközi parancsfájl-készítési problémát észlelt
Súlyosság: Normál
Szállító: Hortonworks
Érintett verziók: Minden HDP 2.3/2.4/2.5 verzió, beleértve az Apache Ranger 0.5.x/0.6.0/0.6.1/0.6.2 verzióját
Érintett felhasználók: A ranger házirend-felügyeleti eszköz minden felhasználója.
Hatás: Az Apache Ranger sebezhető a tárolt helyek közötti szkripteléssel szemben egyéni szabályzatfeltételek megadásakor. A rendszergazdai felhasználók tetszőleges JavaScript-kódot tárolhatnak, amikor a normál felhasználók bejelentkeznek és házirendeket érnek el.
Részletes javítás: Hozzáadott logika a felhasználói bemenet megtisztításához.
Ajánlott művelet: A felhasználóknak a HDP 2.5.4+-ra (Apache Ranger 0.6.3+) vagy a HDP 2.6+-ra kell frissíteni (Az Apache Ranger 0.7.0+-val)

Kijavítottuk a támogatással kapcsolatos problémákat

A kijavított problémák olyan kiválasztott problémákat jelölnek, amelyeket korábban a Hortonworks támogatási szolgálata naplózott, de az aktuális kiadásban már megoldódott. Előfordulhat, hogy ezeket a problémákat a korábbi verziókban jelentették az Ismert problémák szakaszban; azt jelenti, hogy az ügyfelek jelentették őket, vagy a Hortonworks Quality Engineering csapata azonosította őket.

Helytelen eredmények

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100019	YARN-8145	yarn rmadmin -getGroups nem ad vissza frissített csoportokat a felhasználó számára
BUG-100058	PHOENIX-2645	A helyettesítő karakterek nem egyeznek az új karakterekkel
BUG-100266	PHOENIX-3521, PHOENIX-4190	A helyi indexekkel kapcsolatos eredmények hibásak
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	a lekérdezés36 sikertelen, a sorok száma nem egyezik
BUG-89765	HIVE-17702	helytelen isRepeating handling in decimal reader in ORC
BUG-92293	HADOOP-15042	Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0
BUG-92345	ATLAS-2285	Felhasználói felület: Átnevezett mentett keresés dátumattribútummal.
BUG-92563	HIVE-17495, HIVE-18528	Az ObjectStore statisztikáinak összesítése helytelen eredményt kap
BUG-92957	HIVE-11266	count(*) helytelen eredmény a külső táblák táblázatstatisztikái alapján
BUG-93097	RANGER-1944	A felügyeleti naplózás műveletszűrője nem működik
BUG-93335	HIVE-12315	vectorization_short_regress.q nem megfelelő eredményproblémával rendelkezik a kettős számításhoz
BUG-93415	HIVE-18258, HIVE-18310	Vektorizálás: A MERGEPARTIAL által a duplikált oszlopokkal rendelkező csökkentési oldalcsoport nem működik
BUG-93939	ATLAS-2294	Egy típus létrehozásakor hozzáadott "leírás" extra paraméter
BUG-94007	PHOENIX-1751, PHOENIX-3112	A Phoenix-lekérdezések null értékeket ad vissza a HBase részleges sorai miatt
BUG-94266	HIVE-12505	Az felülírás beszúrása ugyanabban a titkosított zónában csendesen nem távolít el néhány meglévő fájlt
BUG-94414	HIVE-15680	Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC-tábla kétszer hivatkozik a lekérdezésben
BUG-95048	HIVE-18490	A EXISTS és a NOT EXISTS argumentummal nem egyenlő predikátummal rendelkező lekérdezés helytelen eredményt eredményezhet
BUG-95053	PHOENIX-3865	AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt
BUG-95476	RANGER-1966	A házirendmotor inicializálása bizonyos esetekben nem hoz létre környezetnövelőket
BUG-95566	SPARK-23281	A lekérdezés helytelen sorrendbe állítja az eredményeket, ha egy összetett sorrend záradék szerint az eredeti oszlopokra és aliasokra is hivatkozik
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	Az ORDER BY ASC-vel kapcsolatos problémák elhárítása a lekérdezés összesítésekor
BUG-96389	PHOENIX-4586	A UPSERT SELECT nem veszi figyelembe az allekérdezések összehasonlító operátorait.
BUG-96602	HIVE-18660	A PCR nem tesz különbséget a partíció és a virtuális oszlopok között
BUG-97686	ATLAS-2468	[Alapszintű keresés] A NEQ numerikus típusokkal való használatakor az OR-esetekkel kapcsolatos probléma
BUG-97708	HIVE-18817	ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.
BUG-97864	HIVE-18833	Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként"
BUG-97889	RANGER-2008	A szabályzat kiértékelése többsoros szabályzatfeltételek esetén sikertelen.
BUG-98655	RANGER-2066	A HBase-oszlopcsalád elérését az oszlopcsalád címkézett oszlopa engedélyezi
BUG-99883	HIVE-19073, HIVE-19145	A StatsOptimizer állandó oszlopokat zsugoríthat

Egyéb

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100267	HBASE-17170	A HBase a DoNotRetryIOException újrapróbálkozását is megkísérli az osztálybetöltők eltérései miatt.
BUG-92367	YARN-7558	A "yarn logs" parancs nem tudja lekérni a tárolók futtatásához szükséges naplókat, ha a felhasználói felület hitelesítése engedélyezve van.
BUG-93159	OOZIE-3139	Az Oozie helytelenül ellenőrzi a munkafolyamatot
BUG-93936	ATLAS-2289	A KafkaNotification implementációból áthelyezendő beágyazott kafka/zookeeper-kiszolgáló start/stop kódja
BUG-93942	ATLAS-2312	Több szál egyidejű használatának elkerülése a ThreadLocal DateFormat objektumokkal
BUG-93946	ATLAS-2319	Felhasználói felület: Ha töröl egy címkét, amely a címkelista 25- vagy annál 25-nél is több pozíciójában van a Lapos és a Fa szerkezetben, frissítenie kell a címkét a listáról.
BUG-94618	YARN-5037, YARN-7274	Rugalmasság letiltása levélsor szintjén
BUG-94901	HBASE-19285	Táblázatonkénti késési hisztogramok hozzáadása
BUG-95259	HADOOP-15185, HADOOP-15186	Összekötő frissítése `adls` az ADLS SDK aktuális verziójának használatához
BUG-95619	HIVE-18551	Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál meg írni a hibrid grace-hez
BUG-97223	SPARK-23434	A Spark nem figyelmezteti a "metaadat-könyvtárat" EGY HDFS-fájl elérési útjára

Teljesítmény

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	Gyors helyszámítás a balancerben
BUG-91300	HBASE-17387	A több() kivételjelentés többletterhelésének csökkentése a RegionActionResult alkalmazásban
BUG-91804	TEZ-1526	A TezTaskID lassú loadingCache-fájlja nagy feladatokhoz
BUG-92760	ACCUMULO-4578	A TÖMÖRÍTÉS MEGSZAKÍTÁSA SORS művelet nem oldja fel a névtér zárolását
BUG-93577	RANGER-1938	A Solr for Audit beállítása nem használja hatékonyan a DocValues-t
BUG-93910	HIVE-18293	A Hive nem tudja tömöríteni a HiveMetaStore-t futtató identitással nem rendelkező mappában lévő táblákat
BUG-94345	HIVE-18429	A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet
BUG-94381	HADOOP-13227, HDFS-13054	RequestHedgingProxyProvider RetryAction sorrend kezelése: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához
BUG-94869	PHOENIX-4290, PHOENIX-4373	A helyi indexelt sózott főnix tábla beolvasásához `HRegion` a tartományon kívülre kért sor.
BUG-94928	HDFS-11078	NPE javítása a LazyPersistFileScrubberben
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	Több LLAP-javítás
BUG-95669	HIVE-18577, HIVE-18643	Amikor frissítési/törlési lekérdezést futtat az ACID particionált táblán, a HS2 beolvassa az összes partíciót.
BUG-96390	HDFS-10453	A Replikációmonitor-szál hosszú ideig elakadhat a replikáció közötti verseny miatt, és törölheti ugyanazt a fájlt egy nagy fürtben.
BUG-96625	HIVE-16110	A "Vectorization: Support 2 Value CASE WHEN ahelyett, hogy tartalék a VectorUDFAdaptor"
BUG-97109	HIVE-16757	Az elavult getRows() használata az új becslés helyettRowCount(RelMetadataQuery...) komoly teljesítménybeli hatással van
BUG-97110	PHOENIX-3789	Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably
BUG-98833	YARN-6797	A TimelineWriter nem használja fel teljes mértékben a POST-választ
BUG-98931	ATLAS-2491	A Hive hook frissítése az Atlas v2-értesítések használatára

Lehetséges adatvesztés

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-95613	HBASE-18808	Nem hatékony konfigurációs bejelentkezési BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	Nem felügyelt és tranzakciós táblák sikertelen összefűzése
BUG-97787	HIVE-18460	A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak
BUG-97788	HIVE-18613	A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához

Lekérdezési hiba

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100180	CALCITE-2232	Assertion error on AggregatePullUpConstantsRule and adjusting Aggregate indexes
BUG-100422	HIVE-19085	A FastHiveDecimal abs(0) a `+ve`
BUG-100834	PHOENIX-4658	IllegalStateException: a requestSeek nem hívható meg a ReversedKeyValueHeap rendszeren
BUG-102078	HIVE-17978	A TPCDS-lekérdezések 58-ban és 83-ban kivételeket hoznak létre a vektorizálás során.
BUG-92483	HIVE-17900	a Compactor által aktivált oszlopok statisztikáinak elemzése hibás SQL-t hoz létre 1 partícióoszloptal >
BUG-93135	HIVE-15874, HIVE-18189	A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értéket true értékre állítja
BUG-93136	HIVE-18189	A pozíció szerinti sorrend nem működik, ha `cbo` le van tiltva
BUG-93595	HIVE-12378, HIVE-15883	A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális és bináris oszlopoknak
BUG-94007	PHOENIX-1751, PHOENIX-3112	A Phoenix-lekérdezések null értékeket ad vissza a HBase részleges sorai miatt
BUG-94144	HIVE-17063	a partíció felülírása külső táblába való beszúrása meghiúsul, amikor először elveti a partíciót
BUG-94280	HIVE-12785	Nézet egyesítő típussal és UDF-lel, hogy "leadja" a szerkezet hibás
BUG-94505	PHOENIX-4525	Egész szám túlcsordulása a GroupBy-végrehajtásban
BUG-95618	HIVE-18506	LlapBaseInputFormat – negatív tömbindex
BUG-95644	HIVE-9152	CombineHiveInputFormat: A Hive-lekérdezés sikertelen a Tezben java.lang.IllegalArgumentException kivétellel
BUG-96762	PHOENIX-4588	Klónozási kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION
BUG-97145	HIVE-12245, HIVE-17829	A HBase által támogatott táblák oszlop megjegyzéseinek támogatása
BUG-97741	HIVE-18944	A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során
BUG-98082	HIVE-18597	LLAP: Mindig csomagolja be az `log4j2` API-jart a következőhöz: `org.apache.log4j`
BUG-99849	n/a	Új tábla létrehozása fájlvarázslóból az alapértelmezett adatbázis használatával

Biztonság

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100436	RANGER-2060	`Knox` a proxy nem `knox-sso` működik a rangerhez
BUG-101038	SPARK-24062	Zeppelin %Spark-értelmező "A kapcsolat megtagadva" hibaüzenet jelenik meg: "Titkos kulcsot kell megadni..." hiba a HiveThriftServerben
BUG-101359	ACCUMULO-4056	Kiadáskor frissítse a commons-collection verzióját a 3.2.2-es verzióra
BUG-54240	HIVE-18879	Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban
BUG-79059	OOZIE-3109	A naplóstreamelés HTML-specifikus karakterei
BUG-90041	OOZIE-2723	JSON.org licenc mostantól CatX
BUG-93754	RANGER-1943	A Ranger Solr-engedélyezés kihagyva, ha a gyűjtemény üres vagy null értékű
BUG-93804	HIVE-17419	TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg
BUG-94276	ZEPPELIN-3129	A Zeppelin felhasználói felülete nem jelentkezik ki az Internet Explorerben
BUG-95349	ZOOKEEPER-1256, ZOOKEEPER-1901	Frissítési háló
BUG-95483	n/a	Javítás a CVE-2017-15713-hoz
BUG-95646	OOZIE-3167	Tomcat-verzió frissítése az Oozie 4.3-ágon
BUG-95823	n/a	`Knox`:Feljavít `Beanutils`
BUG-95908	RANGER-1960	A HBase-hitelesítés nem veszi figyelembe a táblanévteret a pillanatképek törlésekor
BUG-96191	FALCON-2322, FALCON-2323	A Jackson- és Spring-verziók frissítése a biztonsági rések elkerülése érdekében
BUG-96502	RANGER-1990	Egyirányú SSL MySQL-támogatás hozzáadása a Ranger rendszergazdájához
BUG-96712	FLUME-3194	frissítés a legújabb (1.14.1.0-s) verzióra
BUG-96713	FLUME-2678	Frissítse a xalant a 2.7.2-re a CVE-2014-0107 biztonsági rés elhárításához
BUG-96714	FLUME-2050	Frissítés a (ga) verzióra `log4j2`
BUG-96737	n/a	Helyi fájlok elérése Java io fájlrendszer-metódusokkal
BUG-96925	n/a	A Tomcat frissítése a 6.0.48-ról 6.0.53-ra a Hadoopban
BUG-96977	FLUME-3132	Tomcat-kódtár-függőségek `jasper` frissítése
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	A Nimbus-JOSE-JWT kódtár frissítése a 4.39-es verziónál nagyobb verzióval
BUG-97101	RANGER-1988	A nem biztonságos véletlenszerűség javítása
BUG-97178	ATLAS-2467	A Spring és a nimbus-jose-jwt függőségeinek frissítése
BUG-97180	n/a	A Nimbus-jose-jwt frissítése
BUG-98038	HIVE-18788	Bemenetek törlése a JDBC PreparedStatementben
BUG-98353	HADOOP-13707	"Ha a kerberos engedélyezve van, miközben a HTTP SPNEGO nincs konfigurálva, néhány hivatkozás nem érhető el"
BUG-98372	HBASE-13848	InfoServer SSL-jelszavak elérése hitelesítőadat-szolgáltató API-val
BUG-98385	ATLAS-2500	További fejlécek hozzáadása az Atlas-válaszhoz.
BUG-98564	HADOOP-14651	Az OKhttp verzió frissítése a 2.7.5-ös verzióra
BUG-99440	RANGER-2045	Az explicit engedélyezési házirend nélküli Hive-táblaoszlopok a "desc table" paranccsal jelennek meg
BUG-99803	n/a	Az Oozie-nak le kell tiltania a HBase dinamikus osztálybetöltését

Stabilitás

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100040	ATLAS-2536	NPE az Atlas Hive Hookban
BUG-100057	HIVE-19251	Az ObjectStore.getNextNotification with LIMIT kevesebb memóriát használ
BUG-100072	HIVE-19130	Az NPE a REPL LOAD alkalmazott drop partition eseményekor lesz eldobva.
BUG-100073	n/a	túl sok close_wait kapcsolat az adatcsomóponthoz `hiveserver`
BUG-100319	HIVE-19248	A REPL LOAD nem jelez hibát, ha a fájl másolása sikertelen.
BUG-100352	n/a	CLONE – Rm purging logic scans /registry znode túl gyakran
BUG-100427	HIVE-19249	Replikáció: A WITH záradék nem adja át a konfigurációt a Feladatnak minden esetben
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	A növekményes REPL DUMP hibajelzést ad, ha a kért események törlődnek.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	Frissítés `Spark2` a 2.3.0+-ra (4/11)
BUG-100740	HIVE-16107	JDBC: A HttpClientnek újra kell próbálkoznia még egyszer a NoHttpResponseException beállítással
BUG-100810	HIVE-19054	A Hive Functions replikációja sikertelen
BUG-100937	MAPREDUCE-6889	Adja hozzá a Job#close API-t az MR-ügyfélszolgáltatások leállításához.
BUG-101065	ATLAS-2587	Állítsa be a /apache_atlas/active_server_info znode olvasási ACL-ét a HA-ban a proxy olvasásához `Knox` .
BUG-101093	STORM-2993	A Storm HDFS-csavar bezárja a ClosedChannelExceptiont az időforgatási szabályzat használatakor
BUG-101181	n/a	A PhoenixStorageHandler nem kezeli megfelelően és predikátumban
BUG-101266	PHOENIX-4635	HBase-kapcsolat kiszivárgása a org.apache.phoenix.hive.mapreduce.PhoenixInputFormat webhelyen
BUG-101458	HIVE-11464	több kimenet esetén hiányzik az adatsor adatai
BUG-101485	n/a	a hive metaadattár thrift API lassú, és időtúllépést okoz az ügyfél számára
BUG-101628	HIVE-19331	A hive növekményes replikációja nem sikerült a felhőbe.
BUG-102048	HIVE-19381	A Hive-függvény felhőbe történő replikációja meghiúsul a FunctionTask használatával
BUG-102064	n/a	A Hive replikációs `\[ onprem to onprem \]` tesztjei sikertelenek a ReplCopyTaskban
BUG-102137	HIVE-19423	A Hive replikációs `\[ Onprem to Cloud \]` tesztjei sikertelenek a ReplCopyTaskban
BUG-102305	HIVE-19430	HS2 és hive metaadattár OOM-memóriaképei
BUG-102361	n/a	több beszúrási eredmény a cél hive-fürtre replikált egyetlen beszúrásban ( `onprem - s3` )
BUG-87624	n/a	A viharesemények naplózásának engedélyezése miatt a dolgozók folyamatosan meghalnak
BUG-88929	HBASE-15615	Helytelen alvási idő, amikor a RegionServerCallable újrapróbálkozik
BUG-89628	HIVE-17613	objektumkészletek eltávolítása rövid, azonos szálú foglalásokhoz
BUG-89813	n/a	SCA: Kód helyessége: Nem szinkronizált metódus felülírja a szinkronizált metódust
BUG-90437	ZEPPELIN-3072	A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van
BUG-90640	HBASE-19065	A HRegion#bulkLoadHFiles() függvénynek várnia kell, amíg az egyidejű régió#flush() befejeződik
BUG-91202	HIVE-17013	Kérelem törlése egy alqueryvel a nézeten való kijelölés alapján
BUG-91350	KNOX-1108	A NiFiHaDispatch nem működik át
BUG-92054	HIVE-13120	a doA-k propagálása ORC-felosztások létrehozásakor
BUG-92373	SÓLYOM-2314	A TestNG 6.13.1-es verziójával elkerülheti a BeanShell-függőséget
BUG-92381	n/a	a testContainerLogsWithNewAPI és a testContainerLogsWithOldAPI UT sikertelen
BUG-92389	STORM-2841	testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul
BUG-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	Frissítés `Spark2` a 2.2.1-re (január 16.)
BUG-92680	ATLAS-2288	NoClassDefFoundError kivétel importálási hive-szkript futtatásakor, ha a hbase-tábla Hive-en keresztül jön létre
BUG-92760	ACCUMULO-4578	A TÖMÖRÍTÉS MEGSZAKÍTÁSA SORS művelet nem oldja fel a névtér zárolását
BUG-92797	HDFS-10267, HDFS-8496	Az adatcsomópont zárolási versengésének csökkentése bizonyos használati esetekben
BUG-92813	FLUME-2973	Holtpont a hdfs fogadóban
BUG-92957	HIVE-11266	count(*) helytelen eredmény a külső táblák táblázatstatisztikái alapján
BUG-93018	ATLAS-2310	A HA-ban a passzív csomópont rossz URL-kódolással irányítja át a kérést
BUG-93116	RANGER-1957	A Ranger Usersync nem szinkronizálja rendszeresen a felhasználókat vagy csoportokat, ha a növekményes szinkronizálás engedélyezve van.
BUG-93361	HIVE-12360	Hibás keresés tömörítetlen ORC-ben predikátum leküldéses leküldéssel
BUG-93426	CALCITE-2086	HTTP/413 bizonyos körülmények között nagy engedélyezési fejlécek miatt
BUG-93429	PHOENIX-3240	ClassCastException a Pig loaderből
BUG-93485	n/a	Nem olvasható be a table mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: A tábla nem található, amikor elemzési táblázatot futtat az LLAP oszlopaiban
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: 500-os válaszkód – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez
BUG-93550	n/a	A Zeppelin %spark.r nem működik a spark1-zel a scala-verzió eltérése miatt
BUG-93910	HIVE-18293	A Hive nem tudja tömöríteni a HiveMetaStore-t futtató identitással nem rendelkező mappában lévő táblákat
BUG-93926	ZEPPELIN-3114	A jegyzetfüzeteket és az értelmezőket nem menti a zeppelin az 1d stressztesztelés után >
BUG-93932	ATLAS-2320	"*" besorolás lekérdezéssel 500 belső kiszolgálói kivételt eredményez.
BUG-93948	YARN-7697	Az NM leáll az OOM-jal a naplóösszesítés szivárgása miatt (1. rész)
BUG-93965	ATLAS-2229	DSL-keresés: a nem sztring attribútum kivételt eredményez
BUG-93986	YARN-7697	Az NM leáll az OOM-jal a naplóösszesítés szivárgása miatt (2. rész)
BUG-94030	ATLAS-2332	A beágyazott gyűjtemény adattípusát tartalmazó attribútumokkal rendelkező típus létrehozása sikertelen
BUG-94080	YARN-3742, YARN-6061	Mindkét RM készenléti állapotban van a biztonságos fürtben
BUG-94081	HIVE-18384	ConcurrentModificationException a könyvtárban `log4j2.x`
BUG-94168	n/a	A Yarn RM szolgáltatásregisztrációs adatbázisa hibás állapotban van
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	A HDFS-nek több `KMS Uris`
BUG-94345	HIVE-18429	A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet
BUG-94372	ATLAS-2229	DSL-lekérdezés: hive_table név = ["t1","t2"] érvénytelen DSL-lekérdezési kivételt eredményez
BUG-94381	HADOOP-13227, HDFS-13054	RequestHedgingProxyProvider RetryAction sorrend kezelése: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához
BUG-94575	SPARK-22587	A Spark-feladat meghiúsul, ha az fs.defaultFS és az application jar url-címe eltérő
BUG-94791	SPARK-22793	Memóriavesztés a Spark Thrift Serverben
BUG-94928	HDFS-11078	NPE javítása a LazyPersistFileScrubberben
BUG-95013	HIVE-18488	Az LLAP ORC-olvasóknak hiányzik néhány null értékű ellenőrzés
BUG-95077	HIVE-14205	A Hive nem támogatja az AVRO fájlformátumú egyesítő típust
BUG-95200	HDFS-13061	A SaslDataTransferClient#checkTrustAndSend nem megbízható egy részben megbízható csatornában
BUG-95201	HDFS-13060	BlacklistBasedTrustedChannelResolver hozzáadása a TrustedChannelResolverhez
BUG-95284	HBASE-19395	[ág-1] A TestEndToEndSplitTransaction.testMasterOpsWhileSplitting sikertelen NPE-vel
BUG-95301	HIVE-18517	Vektorizálás: A VectorMapOperator javítása a VRB-k elfogadásához és a vektorizált jelző helyes ellenőrzéséhez az LLAP gyorsítótárazásának támogatásához
BUG-95542	HBASE-16135	Előfordulhat, hogy a PeerClusterZnode az eltávolított társ rs alatt soha nem lesz törölve
BUG-95595	HIVE-15563	A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery érvénytelen műveletállapot-áttűnési kivételét.
BUG-95596	YARN-4126, YARN-5750	A TestClientRMService sikertelen
BUG-96019	HIVE-18548	Importálás javítása `log4j`
BUG-96196	HDFS-13120	A pillanatkép-diffet az összefűzés után lehet sérült
BUG-96289	HDFS-11701	A nem oldott gazdagép NPE-je állandó DFSInputStream-hibákat okoz
BUG-96291	STORM-2652	A JmsSpout nyílt metódusban kidobott kivétel
BUG-96363	HIVE-18959	Ne hozzon létre további szálkészletet az LLAP-ben
BUG-96390	HDFS-10453	A ReplicationMonitor-szál hosszú ideig elakadhat, mivel egy nagy fürtben ugyanazon fájl replikációja és törlése közötti verseny van.
BUG-96454	YARN-4593	Holtpont az AbstractService.getConfig() alkalmazásban
BUG-96704	SÓLYOM-2322	ClassCastException azAndSchedule-hírcsatorna elküldése közben
BUG-96720	SLIDER-1262	A csúszka-funktestek hibásak a `Kerberized` környezetben
BUG-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	Naprakész frissítés `Spark2` (február 19.)
BUG-97067	HIVE-10697	Az ObjectInspectorConvertors#UnionConvertor hibás konverziót végez
BUG-97244	KNOX-1083	A HttpClient alapértelmezett időtúllépésének ésszerű értéknek kell lennie
BUG-97459	ZEPPELIN-3271	Az ütemező letiltására szolgáló lehetőség
BUG-97511	KNOX-1197	Az AnonymousAuthFilter nem lesz hozzáadva, ha hitelesítés=Névtelen a szolgáltatásban
BUG-97601	HIVE-17479	Az átmeneti címtárak nem törlődnek a frissítési/törlési lekérdezésekhez
BUG-97605	HIVE-18858	Az MR-feladat elküldésekor a feladatkonfiguráció rendszertulajdonságai nem oldódnak fel
BUG-97674	OOZIE-3186	Oozie nem tudja használni a jceks://file/ használatával csatolt konfigurációt...
BUG-97743	n/a	java.lang.NoClassDefFoundError kivétel a storm topológia telepítésekor
BUG-97756	PHOENIX-4576	Sikertelen LocalIndexSplitMergeIT-tesztek javítása
BUG-97771	HDFS-11711	A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkot
BUG-97869	KNOX-1190	`Knox` A Google OIDC egyszeri bejelentkezés támogatása megszakadt.
BUG-97879	PHOENIX-4489	HBase-kapcsolat szivárgása a Phoenix MR Jobsban
BUG-98392	RANGER-2007	A ranger-tagsync Kerberos-jegye nem újul meg
BUG-98484	n/a	Nem működik a Hive növekményes replikációja a felhőbe
BUG-98533	HBASE-19934, HBASE-20008	A HBase pillanatképének visszaállítása null mutató kivétel miatt meghiúsul
BUG-98555	PHOENIX-4662	NullPointerException a gyorsítótár újraküldése TableResultIterator.java
BUG-98579	HBASE-13716	A Hadoop FSConstants használatának leállítása
BUG-98705	KNOX-1230	Számos egyidejű kérés url-címkezelést `Knox` okoz
BUG-98983	KNOX-1108	A NiFiHaDispatch nem működik át
BUG-99107	HIVE-19054	A függvényreplikációs művelet gyökérként a "hive.repl.replica.functions.root.dir" függvényt használja
BUG-99145	RANGER-2035	Az üres implClass és oracle háttérrendszerrel rendelkező servicedefs elérésekor felmerülő hibák
BUG-99160	SLIDER-1259	A csúszka nem működik több otthonos környezetben
BUG-99239	ATLAS-2462	Az összes tábla Sqoop-importálása NPE-t eredményez a parancsban megadott tábla nélkül
BUG-99301	ATLAS-2530	Új sor egy hive_process és hive_column_lineage névattribútumának elején
BUG-99453	HIVE-19065	A metaadattár ügyfélkompatibilitási ellenőrzésének tartalmaznia kell a syncMetaStoreClient szolgáltatást
BUG-99521	n/a	A ServerCache for HashJoin nem jön létre újra az iterátorok újbóli létrehozásakor
BUG-99590	PHOENIX-3518	Memóriavesztés a RenewLeaseTask-ban
BUG-99618	SPARK-23599, SPARK-23806	Frissítés `Spark2` a 2.3.0+ verzióra (3/28)
BUG-99672	ATLAS-2524	Hive hook v2-értesítésekkel – az "alter view as" művelet helytelen kezelése
BUG-99809	HBASE-20375	GetCurrentUserCredentials használatának eltávolítása a hbase-spark modulban

Támogatási lehetőségek

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-87343	HIVE-18031	Az Alter Database-művelet replikációjának támogatása.
BUG-91293	RANGER-2060	`Knox` a proxy nem `knox-sso` működik a rangerhez
BUG-93116	RANGER-1957	A Ranger Usersync nem szinkronizálja rendszeresen a felhasználókat vagy csoportokat, ha a növekményes szinkronizálás engedélyezve van.
BUG-93577	RANGER-1938	A Solr for Audit beállítása nem használja hatékonyan a DocValues-t
BUG-96082	RANGER-1982	Hibajavítás a Ranger-rendszergazda és a Ranger elemzési metrikájához `Kms`
BUG-96479	HDFS-12781	A leállás után `Datanode` a `Namenode` Felhasználói felület `Datanode` lapon figyelmeztető üzenet jelenik meg.
BUG-97864	HIVE-18833	Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként"
BUG-98814	HDFS-13314	A NameNode-nak opcionálisan ki kell lépnie, ha FsImage sérülést észlel

Frissítés

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100134	SPARK-22919	A "Bump Apache httpclient verziók" visszaállítása
BUG-95823	n/a	`Knox`:Feljavít `Beanutils`
BUG-96751	KNOX-1076	A nimbus-jose-jwt frissítése a 4.41.2-hez
BUG-97864	HIVE-18833	Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként"
BUG-99056	HADOOP-13556	A Configuration.getPropsWithPrefix módosítása a getProps iterátor helyett való használatára
BUG-99378	ATLAS-2461, ATLAS-2554	Migrálási segédprogram atlaszadatok exportálásához a Titan graph DB-ben

Használhatóság

Hibaazonosító	Apache JIRA	Összefoglalás
BUG-100045	HIVE-19056	IllegalArgumentException a FixAcidKeyIndexben, ha az ORC-fájl 0 sorból áll
BUG-100139	KNOX-1243	A szolgáltatásban `KnoxToken` konfigurált szükséges DN-k normalizálása
BUG-100570	ATLAS-2557	Javítás a hadoop-csoportok `ldap` engedélyezéséhez`lookup`, ha az UGI-ból származó csoportok helytelenül vannak beállítva, vagy nem üresek
BUG-100646	ATLAS-2102	Az Atlas felhasználói felület fejlesztései: Keresési eredmények lap
BUG-100737	HIVE-19049	Az Alter table add columns for Druid támogatásának hozzáadása
BUG-100750	KNOX-1246	Frissítse a szolgáltatáskonfigurációt a `Knox` Ranger legújabb konfigurációinak támogatásához.
BUG-100965	ATLAS-2581	Regresszió v2 Hive-horogértesítésekkel: Tábla áthelyezése másik adatbázisba
BUG-84413	ATLAS-1964	Felhasználói felület: Oszlopok rendelésének támogatása a Keresési táblázatban
BUG-90570	HDFS-11384, HDFS-12347	Adjon hozzá egy lehetőséget a kiegyensúlyozóhoz a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs
BUG-90584	HBASE-19052	A FixedFileTrailernek fel kell ismernie a CellComparatorImpl osztályt az 1.x ágban
BUG-90979	KNOX-1224	`Knox` Proxy `HADispatcher` az Atlas ha-ban való támogatásához.
BUG-91293	RANGER-2060	`Knox` a knox-sso-val rendelkező proxy nem működik a rangerhez
BUG-92236	ATLAS-2281	Címke-/típusattribútum-szűrő lekérdezések mentése null/nem null szűrőkkel.
BUG-92238	ATLAS-2282	A mentett kedvenc keresés csak a létrehozás utáni frissítéskor jelenik meg, ha több mint 25 kedvenc keresés van.
BUG-92333	ATLAS-2286	Az előre elkészített "kafka_topic" típus nem deklarálhatja a "topic" attribútumot egyediként
BUG-92678	ATLAS-2276	Az hdfs_path típusú entitás elérési útja a hive-bridge kisbetűs értékére van beállítva.
BUG-93097	RANGER-1944	A felügyeleti naplózás műveletszűrője nem működik
BUG-93135	HIVE-15874, HIVE-18189	A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értéket true értékre állítja
BUG-93136	HIVE-18189	A pozíció szerinti sorrend nem működik, ha `cbo` le van tiltva
BUG-93387	HIVE-17600	Állítsa be az OrcFile "enforceBufferSize" felhasználóbeállítását.
BUG-93495	RANGER-1937	A Rangernek `tagsync` ENTITY_CREATE értesítést kell feldolgoznia az Atlas importálási funkció támogatásához
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: 500-os válaszkód – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez
BUG-93801	HBASE-19393	HTTP 413 FULL head, miközben ssl használatával fér hozzá a HBase felhasználói felületéhez.
BUG-93804	HIVE-17419	TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg
BUG-93932	ATLAS-2320	"*" besorolás lekérdezéssel 500 belső kiszolgálói kivételt eredményez.
BUG-93933	ATLAS-2286	Az előre elkészített "kafka_topic" típus nem deklarálhatja a "topic" attribútumot egyediként
BUG-93938	ATLAS-2283, ATLAS-2295	A besorolások felhasználói felületének frissítései
BUG-93941	ATLAS-2296, ATLAS-2307	Alapszintű keresési fejlesztés az altípus-entitások és alosztályozási típusok opcionális kizárásához
BUG-93944	ATLAS-2318	Felhasználói felület: Ha kétszer kattint a gyermekcímkére, a szülőcímke ki van jelölve
BUG-93946	ATLAS-2319	Felhasználói felület: Ha töröl egy címkét, amely a címkelista 25- vagy annál 25-nél is több pozíciójában van a Lapos és a Fa szerkezetben, frissítenie kell a címkét a listáról.
BUG-93977	HIVE-16232	Az QuotedIdentifier oszlopainak statisztikáinak támogatása
BUG-94030	ATLAS-2332	A beágyazott gyűjtemény adattípusát tartalmazó attribútumokkal rendelkező típus létrehozása sikertelen
BUG-94099	ATLAS-2352	Az Atlas-kiszolgálónak konfigurálnia kell a Kerberos DelegationToken érvényességét
BUG-94280	HIVE-12785	Nézet egyesítő típussal és UDF-lel, hogy "leadja" a szerkezet hibás
BUG-94332	SQOOP-2930	A Sqoop-feladat exec nem bírálja felül a mentett feladat általános tulajdonságait
BUG-94428	n/a	`Dataplane`Profiler-ügynök REST API-támogatása `Knox`
BUG-94514	ATLAS-2339	Felhasználói felület: Az "oszlopok" módosításai az Alapszintű keresési eredmény nézetben a DSL-t is érintik.
BUG-94515	ATLAS-2169	A törlési kérés sikertelen, ha a kemény törlés konfigurálva van
BUG-94518	ATLAS-2329	Atlas UI Több rámutatás jelenik meg, ha a felhasználó egy másik, helytelen címkére kattint
BUG-94519	ATLAS-2272	Mentse a húzott oszlopok állapotát a Save Search API használatával.
BUG-94627	HIVE-17731	külső felhasználók visszalépési `compat` lehetőségének hozzáadása a HIVE-11985-höz
BUG-94786	HIVE-6091	Üres `pipeout` fájlok jönnek létre a kapcsolat létrehozásához/bezárásához
BUG-94793	HIVE-14013	A táblázat leírása nem jeleníti meg megfelelően a Unicode-t
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	A spark.yarn.jars beállítása a Spark 2.0 Oozie-val való javításához
BUG-94901	HBASE-19285	Táblázatonkénti késési hisztogramok hozzáadása
BUG-94908	ATLAS-1921	Felhasználói felület: Entitás- és tulajdonságattribútumok használatával végzett keresés: A felhasználói felület nem végez tartományellenőrzést, és lehetővé teszi az integrál- és lebegőpontos adattípusok határértéken kívüli értékeinek megadását.
BUG-95086	RANGER-1953	fejlesztés a felhasználói csoport laplistáin
BUG-95193	SLIDER-1252	A csúszkaügynök SSL-érvényesítési hibákkal meghiúsul a Python 2.7.5-58-nal
BUG-95314	YARN-7699	a queueUsagePercentage INF for `getApp` REST API-hívásként érkezik
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	Rendszertáblák hozzárendelése a legmagasabb verziójú kiszolgálókhoz
BUG-95392	ATLAS-2421	Értesítési frissítések a V2 adatstruktúrák támogatásához
BUG-95476	RANGER-1966	A házirendmotor inicializálása bizonyos esetekben nem hoz létre környezetnövelőket
BUG-95512	HIVE-18467	teljes raktári memóriakép/terhelés támogatása + adatbázisesemények létrehozása/elvetése
BUG-95593	n/a	Oozie DB utils kiterjesztése a létrehozás támogatásához `Spark2sharelib`
BUG-95595	HIVE-15563	A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery érvénytelen műveletállapot-áttűnési kivételét.
BUG-95685	ATLAS-2422	Exportálás: Típusalapú exportálás támogatása
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	Ne használjon útmutatókat a lekérdezések soros végrehajtásához
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	A particionált nézet sikertelen: IndexOutOfBoundsException Index: 1, Méret: 1
BUG-96019	HIVE-18548	Importálás javítása `log4j`
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	Backport HBase backup/restore 2.0
BUG-96313	KNOX-1119	`Pac4J` Az OAuth/OpenID-tagnak konfigurálhatónak kell lennie
BUG-96365	ATLAS-2442	Az entitáserőforrás írásvédett engedélyével rendelkező felhasználó nem tudja elvégezni az alapszintű keresést
BUG-96479	HDFS-12781	A leállás után `Datanode` a `Namenode` Felhasználói felület `Datanode` lapon figyelmeztető üzenet jelenik meg.
BUG-96502	RANGER-1990	Egyirányú SSL MySQL-támogatás hozzáadása a Ranger rendszergazdájához
BUG-96718	ATLAS-2439	A Sqoop-horog frissítése v2-értesítések használatára
BUG-96748	HIVE-18587	DML-esemény beszúrása megkísérlheti a könyvtárak ellenőrzőösszegének kiszámítását
BUG-96821	HBASE-18212	Önálló módban a helyi fájlrendszer HBase-naplóival Figyelmeztető üzenet: Nem sikerült meghívni a "unbuffer" metódust az org.apache.hadoop.fs.FSDataInputStream osztályban
BUG-96847	HIVE-18754	A REPL STATUS-nek támogatnia kell a "with" záradékot
BUG-96873	ATLAS-2443	Kötelező entitásattribútumok rögzítése kimenő DELETE-üzenetekben
BUG-96880	SPARK-23230	Ha a hive.default.fileformat más típusú fájltípus, a tábla létrehozása `textfile` hibát okoz `serde`
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	Spark-beállítások elemzésének javítása
BUG-97100	RANGER-1984	Előfordulhat, hogy a HBase naplórekordjai nem jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét
BUG-97110	PHOENIX-3789	Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably
BUG-97145	HIVE-12245, HIVE-17829	A HBase által támogatott táblák oszlop megjegyzéseinek támogatása
BUG-97409	HADOOP-15255	Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez
BUG-97535	HIVE-18710	inheritPerms kiterjesztése ACID-ra a Hive 2.X-ben
BUG-97742	OOZIE-1624	A JAR-ek kizárási `sharelib` mintája
BUG-97744	PHOENIX-3994	Az index RPC-prioritása továbbra is a vezérlő gyári tulajdonságától függ a hbase-site.xml
BUG-97787	HIVE-18460	A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak
BUG-97788	HIVE-18613	A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához
BUG-97899	HIVE-18808	A tömörítés robusztusabbá tétele a statisztikafrissítés meghiúsulása esetén
BUG-98038	HIVE-18788	Bemenetek törlése a JDBC PreparedStatementben
BUG-98383	HIVE-18907	Segédprogram létrehozása a HIVE-18817 savkulcs-indexével kapcsolatos probléma megoldásához
BUG-98388	RANGER-1828	Jó kódolási gyakorlat – további fejlécek hozzáadása a rangerben
BUG-98392	RANGER-2007	A ranger-tagsync Kerberos-jegye nem újul meg
BUG-98533	HBASE-19934, HBASE-20008	A HBase pillanatképének visszaállítása null mutató kivétel miatt meghiúsul
BUG-98552	HBASE-18083, HBASE-18084	Nagy/kis méretű fájlok tiszta szálszámának konfigurálása a HFileCleanerben
BUG-98705	KNOX-1230	Számos egyidejű kérés url-címkezelést `Knox` okoz
BUG-98711	n/a	A NiFi-diszpécser nem használhat kétirányú SSL-t service.xml módosítások nélkül
BUG-98880	OOZIE-3199	Konfigurálható a rendszertulajdonság-korlátozás
BUG-98931	ATLAS-2491	A Hive hook frissítése az Atlas v2-értesítések használatára
BUG-98983	KNOX-1108	A NiFiHaDispatch nem működik át
BUG-99088	ATLAS-2511	Adja meg az adatbázis/táblák szelektív importálásának lehetőségeit a Hive-ből az Atlasba
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	A Spark-lekérdezés a "java.io.FileNotFoundException: hive-site.xml (Engedély megtagadva)" kivétellel meghiúsult
BUG-99239	ATLAS-2462	Az összes tábla Sqoop-importálása NPE-t eredményez a parancsban megadott tábla nélkül
BUG-99636	KNOX-1238	Az átjáró egyéni megbízhatóságiadattár-beállításainak javítása
BUG-99650	KNOX-1223	Zeppelin proxyja `Knox` nem a várt módon irányítja át az /api/ticket parancsot
BUG-99804	OOZIE-2858	A HiveMain, a ShellMain és a SparkMain nem írhatja felül a tulajdonságokat és a konfigurációs fájlokat helyileg
BUG-99805	OOZIE-2885	A Spark-műveletek futtatásához nem szükséges a Hive az osztályúton
BUG-99806	OOZIE-2845	Tükrözésalapú kód cseréje, amely beállítja a változót a HiveConf-ben
BUG-99807	OOZIE-2844	Az Oozie-műveletek stabilitásának növelése, ha `log4j`a .properties hiányzik vagy nem olvasható
RMP-9995	AMBARI-22222	A druid kapcsolója a /var/druid könyvtár használatára a /apps/druid helyett a helyi lemezen

Működésbeli változások

Apache-összetevő	Apache JIRA	Összefoglalás	Részletek
Spark 2.3	N/A	Az Apache Spark kibocsátási megjegyzéseiben dokumentált módosítások	- Van egy "Elavult" dokumentum és egy "Viselkedésváltozás" útmutató, https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Az SQL-részhez egy másik részletes migrálási útmutató is található (2.2-től 2.3-ra), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	A Spark-feladat sikeresen befejeződött, de a HDFS-lemezkvóta teljes hibája van	Forgatókönyv: A beszúrás felülírásának futtatása, ha a parancsot futtató felhasználó Kuka mappájában kvóta van beállítva. Előző viselkedés: A feladat akkor is sikeres, ha nem helyezi át az adatokat a Kukába. Az eredmény hibásan tartalmazhat a táblában korábban szereplő adatok egy részét. Új viselkedés: Ha a Kuka mappába való áthelyezés meghiúsul, a fájlok véglegesen törlődnek.
Kafka 1.0	N/A	Az Apache Spark kibocsátási megjegyzéseiben dokumentált módosítások	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/ Ranger		Az INSERT OVERWRITE-hez szükséges másik ranger hive-szabályzatok	Forgatókönyv: Az INSERT OVERWRITE-hez szükséges másik ranger hive-szabályzat Előző viselkedés: A Hive INSERT OVERWRITE lekérdezések a szokásos módon sikeresek. Új viselkedés: A HIVE INSERT OVERWRITE-lekérdezések váratlanul meghiúsulnak a HDP-2.6.x verzióra való frissítés után a következő hibával: Hiba az utasítás összeállítása közben: FAILED: HiveAccessControlException Engedély megtagadva: a felhasználói jdoe nem rendelkezik ÍRÁSI jogosultsággal a /tmp/(state=42000,code=40000) A HDP-2.6.0-s verziójától kezdve a Hive INSERT OVERWRITE* lekérdezésekhez Ranger URI-szabályzat szükséges az írási műveletek engedélyezéséhez, még akkor is, ha a felhasználó HDFS-szabályzaton keresztüli írási jogosultsággal rendelkezik. Megkerülő megoldás/Várt ügyfélművelet: 1. Hozzon létre egy új szabályzatot a Hive-adattárban. 2. Az adatbázist jelölő legördülő listában válassza az URI elemet. 3. Frissítse az elérési utat (példa: /tmp/*) 4. Adja hozzá a felhasználókat és a csoportot, és mentse őket. 5. Próbálkozzon újra a lekérdezés beszúrásával.
HDFS	N/A	A HDFS-nek több `KMS Uris`	Előző viselkedés: dfs.encryption.key.provider.uri tulajdonság használatával konfigurálták a KMS-szolgáltató elérési útját. Új viselkedés: a dfs.encryption.key.provider.uri mostantól elavult a hadoop.security.key.provider.path mellett a KMS-szolgáltató elérési útjának konfigurálásához.
Zeppelin	ZEPPELIN-3271	Az ütemező letiltására szolgáló lehetőség	Érintett összetevő: Zeppelin-Server Előző viselkedés: A Zeppelin korábbi kiadásaiban nem volt lehetőség az ütemező letiltására. Új viselkedés: Alapértelmezés szerint a felhasználók nem látják az ütemezőt, mivel alapértelmezés szerint le van tiltva. Megkerülő megoldás/Várt ügyfélművelet: Ha engedélyezni szeretné az ütemezőt, az azeppelin.notebook.cron.enable értéket kell hozzáadnia igaz értékkel az Ambari zeppelin beállításaiban lévő egyéni Zeppelin-webhelyen.

Ismert problémák

HDInsight-integráció az ADLS Gen 2-vel Két probléma merült fel a HDInsight ESP-fürtökön az Azure Data Lake Storage Gen 2 felhasználói címtárakkal és engedélyekkel:
1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Áthidaló megoldásként manuálisan hozza létre a címtárakat, és módosítsa a tulajdonosi viszonyt az adott felhasználó UPN-jével.
2. A /hdp könyvtár engedélyei jelenleg nem 751-nek vannak beállítva. Ezt úgy kell beállítani, hogy
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] Az OptimizeMetadataOnlyQuery szabály által okozott helytelen eredmény
- [SPARK-23406] Hibák a stream-stream öncsatlakozásokban
- A Spark-mintajegyzetfüzetek nem érhetők el, ha az Azure Data Lake Storage (Gen2) a fürt alapértelmezett tárolója.
Enterprise Security Package
- A Spark Thrift Server nem fogadja el az ODBC-ügyfelek kapcsolatait. Megkerülő lépések:
  1. Várjon körülbelül 15 percet a fürt létrehozása után.
  2. Ellenőrizze a ranger felhasználói felületét, hogy létezik-e hivesampletable_policy.
  3. Indítsa újra a Spark szolgáltatást. Az STS-kapcsolatnak most már működnie kell.
Megkerülő megoldás a Ranger szolgáltatás ellenőrzési hibájára
- RANGER-1607: Megkerülő megoldás a Ranger szolgáltatásellenőrzési hibájára, miközben a korábbi HDP-verziókból a HDP 2.6.2-re frissít.
  
  Feljegyzés
  
  Csak akkor, ha a Ranger ssl-kompatibilis.
Ez a probléma akkor merül fel, ha a korábbi HDP-verziókból az Ambarin keresztül próbál meg a HDP-2.6.1-re frissíteni. Az Ambari curl-hívással végez szolgáltatásellenőrzést az Ambari Ranger szolgáltatásában. Ha az Ambari által használt JDK-verzió JDK-1.7, a curl-hívás az alábbi hibával meghiúsul:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

A hiba oka a Rangerben használt tomcat-verzió, a Tomcat-7.0.7*. A JDK-1.7 használata ütközik a Tomcat-7.0.7*-ban megadott alapértelmezett rejtjelekkel.

A probléma kétféleképpen oldható meg:
- Frissítse az Ambariban használt JDK-t JDK-1.7-ről JDK-1.8-ra (lásd az Ambari referencia-útmutató JDK-verziójának módosítása című szakaszt).
- Ha továbbra is támogatni szeretné a JDK-1.7-környezetet:
  1. Adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfiguráció ranger-admin-site szakaszában az alábbi értékkel:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. Ha a környezete a Ranger-KMS-hez van konfigurálva, adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfigurációban lévő távolságmérő-kms-hely szakaszban az alábbi értékkel:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Feljegyzés

A feljegyzett értékek működő példák, és lehet, hogy nem a környezetére utalnak. Győződjön meg arról, hogy a tulajdonságok beállításának módja megegyezik a környezet konfigurálásának módjával.
RangerUI: A szabályzat űrlapon megadott szabályzatfeltétel szövegének feloldása

Érintett összetevő: Ranger

A probléma leírása

Ha egy felhasználó egyéni szabályzatfeltételekkel szeretne szabályzatot létrehozni, és a kifejezés vagy szöveg speciális karaktereket tartalmaz, akkor a szabályzatkényszerítés nem fog működni. A speciális karakterek ASCII-vé alakulnak, mielőtt a szabályzatot az adatbázisba mentené.

Speciális karakterek: > <> ' '

A tags.attributes[type]='abc' feltétel például a szabályzat mentése után a következőre lesz konvertálva.

tags.attds[' dsds'] =' cssdfs'

Ezekkel a karakterekkel láthatja a házirend feltételét, ha szerkesztési módban nyitja meg a szabályzatot.

Áthidaló megoldás
- 1. lehetőség: Szabályzat létrehozása/frissítése a Ranger REST API-n keresztül
  
  REST URL-cím: http://< host>:6080/service/plugins/policies
  
  Szabályzat létrehozása szabályzatfeltételekkel:
  
  Az alábbi példa címkékkel rendelkező szabályzatot hoz létre "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz az astags.attr[type]=='abc' szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással, mind.
  
  Példa:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  Meglévő szabályzat frissítése szabályzatfeltételekkel:
  
  Az alábbi példa a szabályzatot címkékkel frissíti "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz astags.attr['type']=='abc" szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással.
  
  REST URL-cím: http://< host-name>:6080/service/plugins/policies/<policy-id>
  
  Példa:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- 2. lehetőség: JavaScript-módosítások alkalmazása
  
  A JS-fájl frissítésének lépései:
  1. További információ PermissionList.js fájlról a /usr/hdp/current/ranger-admin területen
  2. Keresse meg a renderPolicyCondtion függvény definícióját (sorszám: 404).
  3. Távolítsa el a következő sort a függvényből, azaz a megjelenítési függvény alatt (sorszám: 434)
    
    val = _.escape(val);//Line No:460
    
    A fenti sor eltávolítása után a Ranger felhasználói felülete lehetővé teszi, hogy olyan szabályzatokat hozzon létre, amelyek speciális karaktereket tartalmazhatnak, és a szabályzat kiértékelése sikeres lesz ugyanahhoz a szabályzathoz.

HDInsight-integráció az ADLS Gen 2-vel: Felhasználói könyvtárakkal és engedélyekkel kapcsolatos probléma az ESP-fürtökkel 1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Megkerülő megoldás, ha manuálisan hozza létre ezeket, és módosítja a tulajdonosi viszonyt az adott felhasználó UPN-jének. 2. A /hdp-alapú engedélyek jelenleg nem 751-nek vannak beállítva. Ezt a. chmod 751 /hdp b. chmod –R 755 /hdp/apps értékre kell állítani

Elavulás

OMS-portál: Eltávolítottuk a HDInsight erőforráslapjáról az OMS-portálra mutató hivatkozást. Az Azure Monitor naplói kezdetben az OMS-portál nevű saját portált használták a konfiguráció kezeléséhez és az összegyűjtött adatok elemzéséhez. A portál összes funkciója át lett helyezve az Azure Portalra, ahol tovább fejlesztik. A HDInsight elavulttá tette az OMS-portál támogatását. Az ügyfelek a HDInsight Azure Monitor-naplók integrációját fogják használni az Azure Portalon.
Spark 2.3:Spark Release 2.3.0 elavulások

Korszerűsítés

Ezek a funkciók a HDInsight 3.6-ban érhetők el. A Spark, a Kafka és az R Server (Machine Learning Services) legújabb verziójának beszerzéséhez válassza a Spark, a Kafka és az ML Services verziót HDInsight 3.6-fürt létrehozásakor. Ha támogatást szeretne kapni az ADLS-hez, választhatja az ADLS-tárolótípust. A meglévő fürtök nem frissülnek automatikusan ezekre a verziókra.

A 2018 júniusa után létrehozott összes új fürt automatikusan át fog jutni az 1000-nél több hibajavításon az összes nyílt forráskódú projektben. Kövesse ezt az útmutatót az ajánlott eljárásokért az újabb HDInsight-verzióra való frissítéssel kapcsolatban.

Megosztás a következőn keresztül:

Archivált kibocsátási megjegyzések

Összegzés

Kiadási információk

Kiadás dátuma: 2024. április 15.

Megoldott problémák

Hamarosan

Kiadás dátuma: 2024. február 15.

Új funkciók

Megoldott problémák

Hamarosan

Következő lépések

Kiadás dátuma: 2024. január 10.

Megoldott problémák

Hamarosan

Kiadás dátuma: 2023. október 26.

Újdonságok

Hamarosan

Kiadás dátuma: 2023. szeptember 7.

Hamarosan

Kiadás dátuma: 2023. július 25.

Mi újság

Hamarosan

Kiadás dátuma: 2023. május 08.

Kiadás dátuma: 2023. február 28.

A következő lépések

Kiadás dátuma: 2022. december 12.

Nyílt forráskódú hibajavítások

Kiadás dátuma: 2022. 08. 10.

Új funkció

Rögzített méretű lemez

Log analytics

Egyéb hibajavítások

Nyílt forráskódú hibajavítások

TEZ hibajavítások

Hive hibajavítások

Ismert problémák

Kiadás dátuma: 2022. 08. 10.

Új funkció

Rögzített méretű lemez

Log analytics

Egyéb hibajavítások

Nyílt forráskódú hibajavítások

TEZ hibajavítások

Hive hibajavítások

Ismert problémák

Kiadás dátuma: 2022.03.06.

Kiadási kiemelések

Ambari

TEZ hibajavítások

HBase-hibajavítások

Hive hibajavítások

Kiadás dátuma: 2022.03.10.

Általánosan elérhető a Spark 3.1

A Kafka 2.4 már általánosan elérhető

A HWC adattípusának leképezése mostantól támogatott a HDInsight 4.0-ban

Új régiók

OSS-háttérjelentés változásai

A jelen kiadáshoz az OSS által támogatott Apache JIRA-k tartoznak:

Elavulással kapcsolatos közlemények

Azure-beli virtuálisgép-méretezési csoportok a HDInsighton

Az Azure HDInsight HBase számítási feladatainak skálázása mostantól csak manuális méretezéssel támogatott

Kiadás dátuma: 2021. 12. 27.

Kiadás dátuma: 2021. 07. 27.

Új funkciók

Az Azure HDInsight korlátozott nyilvános kapcsolatok támogatása 2021. október 15-én általánosan elérhető

Az Azure HDInsight támogatása az Azure Private Linkhez 2021. október 15-én általánosan elérhető

Új Azure Monitor-integrációs felület (előzetes verzió)

Elavulás

Viselkedésbeli változások

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

Közelgő változások

Az ESP Spark-fürt beépített LLAP-összetevője el lesz távolítva

Új régió

Összetevő verzióváltozása

Visszahordott JIRA-k

HDInsight Dv2 virtuális gépek árkorrekciója

Kiadás dátuma: 2021. 02. 06.

Új funkciók

Operációs rendszer verziófrissítése

HDInsight `Dv2` virtuális gépek árkorrekciója

`Eav4`-sorozat támogatása

Az alapértelmezett fürt virtuálisgép-méretei -series értékre változnak `Ev3`

A fürt virtuális gépének alapértelmezett mérete -series értékre változik `Ev3`