Archivált kibocsátási megjegyzések
Összegzés
Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Iratkozzon fel a HDInsight kibocsátási megjegyzéseire a HDInsight és az összes HDInsight-verzió naprakész információiért.
A feliratkozáshoz kattintson a szalagcím "watch" gombjára, és figyelje meg a HDInsight-kiadásokat.
Kiadási információk
Kiadás dátuma: 2024. április 15.
Ez a kibocsátási megjegyzés a HDInsight 5.1-es verziójára vonatkozik.
A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kibocsátási megjegyzés a 2403290825 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Feljegyzés
Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.
A számítási feladatokhoz tartozó verziókért lásd a HDInsight 5.x összetevőverzióit.
Megoldott problémák
- Az Ambari DB, a Hive Warehouse Controller (HWC), a Spark és a HDFS hibajavításai
- Hibajavítások a HDInsightSparkLogs-hez készült Log Analytics-modulhoz
- A HDInsight erőforrás-szolgáltató CVE-javításai.
Hamarosan
- Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
- A HDInsight 4.0 és a HDInsight 5.0 kivonási értesítései.
Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.
A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A.
Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről.
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Kiadás dátuma: 2024. február 15.
Ez a kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401250802 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Feljegyzés
Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.
A számítási feladatokhoz tartozó verziókért lásd:
Új funkciók
- Apache Ranger-támogatás a Spark SQL-hez a Spark 3.3.0-s (HDInsight 5.1-es verziójában) vállalati biztonsági csomaggal. További információt itt találhat.
Megoldott problémák
- Az Ambari és az Oozie összetevőinek biztonsági javításai
Hamarosan
- Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.
A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A
Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Következő lépések
- Azure HDInsight: Gyakori kérdések
- Az operációs rendszer javítási ütemtervének beállítása Linux-alapú HDInsight fürtökhöz
- Előző kibocsátási megjegyzés
Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Ha a kibocsátási megjegyzésekre szeretne előfizetni, tekintse meg a GitHub-adattár kiadásait.
Kiadás dátuma: 2024. január 10.
Ez a gyorsjavítás-kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401030422 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
Feljegyzés
Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.
A számítási feladatokhoz tartozó verziókért lásd:
Megoldott problémák
- Az Ambari és az Oozie összetevőinek biztonsági javításai
Hamarosan
- Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.
A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A
Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Kiadás dátuma: 2023. október 26.
Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2310140056 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
A számítási feladatokhoz tartozó verziókért lásd:
Újdonságok
A HDInsight 2023. november 1-től jelenti be a HDInsight 5.1 általános elérhetőségét. Ez a kiadás teljes veremfrissítést biztosít az nyílt forráskód összetevőkre és a Microsoft integrációira.
- Legújabb nyílt forráskódú verziók – A HDInsight 5.1 a legújabb stabil nyílt forráskódú verzióval rendelkezik. Az ügyfelek élvezhetik a legújabb nyílt forráskód funkciókat, a Microsoft teljesítménybeli fejlesztéseit és a hibajavításokat.
- Biztonságos – A legújabb verziókban a legújabb biztonsági javítások, a nyílt forráskódú biztonsági javítások és a Microsoft által végzett biztonsági fejlesztések is elérhetőek.
- Alacsonyabb TCO – A teljesítménybeli fejlesztések révén az ügyfelek csökkenthetik az üzemeltetési költségeket, valamint a továbbfejlesztett automatikus skálázást.
Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiók csatlakoztatásához.
HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
Microsoft Network/virtualNetworks/subnets/join/action
. Az ügyfél létrehozási hibákba ütközhet, ha ez az ellenőrzés nincs engedélyezve.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
- A nem ESP ABFS-fürtök korlátozzák, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtanak végre a tárolási műveletekhez. Ez a módosítás javítja a fürt biztonsági helyzetét.
In-line kvótafrissítés.
- Most közvetlenül a Saját kvóta oldalról kérheti a kvótanövelést, és a közvetlen API-hívás sokkal gyorsabb. Ha az API-hívás meghiúsul, létrehozhat egy új támogatási kérést a kvótanöveléshez.
Hamarosan
A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást minden régióban bevezetjük a közelgő kiadástól kezdve.
Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
- A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.
A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A
Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről
Feljegyzés
Ez a kiadás az MSRC által 2023. szeptember 12-én kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerkép-2308221128 vagy 2310140056 frissítése. Az ügyfeleknek ennek megfelelően kell tervezni.
CVE | Súlyosság | CVE cím | Megjegyzés |
---|---|---|---|
CVE-2023-38156 | Fontos | Azure HDInsight Apache Ambari jogosultsági rés növelése | A 2308221128 vagy a 2310140056 oldalon található képen szerepel |
CVE-2023-36419 | Fontos | Azure HDInsight Apache Oozie munkafolyamat-ütemező Jogosultsági rés növelése | Alkalmazza a szkript műveletet a klasztereken, vagy frissítse a 2310140056 képre |
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Kiadás dátuma: 2023. szeptember 7.
Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2308221128 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
A számítási feladatokhoz tartozó verziókért lásd:
Fontos
Ez a kiadás az MSRC által 2023. szeptember 12-én kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerkép-2308221128 frissítése. Az ügyfeleknek ennek megfelelően kell tervezni.
CVE | Súlyosság | CVE cím | Megjegyzés |
---|---|---|---|
CVE-2023-38156 | Fontos | Azure HDInsight Apache Ambari jogosultsági rés növelése | 2308221128 kép része |
CVE-2023-36419 | Fontos | Azure HDInsight Apache Oozie munkafolyamat-ütemező Jogosultsági rés növelése | Szkriptművelet alkalmazása fürtökön |
Hamarosan
- A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást 2023. szeptember 30-ig hajtjuk végre.
- Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
- In-line kvótafrissítés.
- A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az APdI-hívás meghiúsul, az ügyfeleknek új támogatási kérelmet kell létrehozniuk a kvótanöveléshez.
- HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
Microsoft Network/virtualNetworks/subnets/join/action
. Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtti hibáinak elkerülése érdekében.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
- Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
- Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt végre kell hajtaniuk a frissítéseket.
Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.
A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A
Itt további javaslatokat, ötleteket és egyéb témákat adhat hozzá, és szavazhat rájuk – HDInsight Community (azure.com).
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Kiadás dátuma: 2023. július 25.
Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2307201242 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
A számítási feladatokhoz tartozó verziókért lásd:
Mi újság
- A HDInsight 5.1 mostantól esp-fürttel is támogatott.
- A Ranger 2.3.0 és az Oozie 5.2.1 frissített verziója mostantól a HDInsight 5.1 része
- A Spark 3.3.1 (HDInsight 5.1) fürt a Hive Warehouse Connector (HWC) 2.1-et tartalmazza, amely együttműködik az Interaktív lekérdezési (HDInsight 5.1) fürttel.
- Az Ubuntu 18.04-et a 2023. júliusi Azure HDInsighthoz készült Azure Linux-csapat támogatja az ESM (kiterjesztett biztonsági karbantartás) keretében.
Fontos
Ez a kiadás az MSRC által 2023. augusztus 8-án kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerképre való frissítés 2307201242. Az ügyfeleknek ennek megfelelően kell tervezni.
CVE | Súlyosság | CVE cím |
---|---|---|
CVE-2023-35393 | Fontos | Az Azure Apache Hive hamisítási biztonsági rése |
CVE-2023-35394 | Fontos | Az Azure HDInsight Jupyter notebook hamisítási biztonsági rése |
CVE-2023-36877 | Fontos | Azure Apache Oozie hamisítási biztonsági rés |
CVE-2023-36881 | Fontos | Azure Apache Ambari hamisítási biztonsági rés |
CVE-2023-38188 | Fontos | Az Azure Apache Hadoop hamisítási biztonsági rése |
Hamarosan
- A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket.
- Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
- In-line kvótafrissítés.
- A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
- HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
Microsoft Network/virtualNetworks/subnets/join/action
. Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtt bekövetkező hibáinak elkerülése érdekében.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
- Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
- Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket.
Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.
A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A
Szívesen ad további javaslatokat és ötleteket és más témákat itt, és szavazzon rájuk - HDInsight Közösség (azure.com), és kövessen minket további frissítések twitter
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Kiadás dátuma: 2023. május 08.
Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető. Ez a kiadás a 2304280205 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
A számítási feladatokhoz tartozó verziókért lásd:
Az Azure HDInsight 5.1 frissítése
- Apache HBase 2.4.11
- Apache Phoenix 5.1.2
- Apache Hive 3.1.2
- Apache Spark 3.3.1
- Apache Tez 0.9.1
- Apache Zeppelin 0.10.1
- Apache Livy 0.5
- Apache Kafka 3.2.0
Feljegyzés
- Minden összetevő integrálva van a Hadoop 3.3.4 > ZK 3.6.3
- A fenti frissített összetevők mostantól nyilvános előzetes verziójú, nem ESP-fürtökben is elérhetők.
Továbbfejlesztett automatikus skálázás a HDInsighthoz
Az Azure HDInsight jelentős fejlesztéseket hajtott végre az automatikus skálázás stabilitásán és késésén. Az alapvető változások közé tartozik a jobb visszajelzési ciklus a skálázási döntésekhez, a skálázási késés jelentős javulása és a leszerelt csomópontok újrakommissziójának támogatása. További információ a fejlesztésekről, a fürt egyéni konfigurálásáról és a továbbfejlesztett automatikus skálázásra való migrálásáról. A továbbfejlesztett automatikus skálázási funkció 2023. május 17-én érhető el az összes támogatott régióban.
Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP mostantól általánosan elérhető.
Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP 2022 áprilisa óta nyilvános előzetes verzióban érhető el. A CVE javításainak és stabilitásának jelentős fejlesztései után az Azure HDInsight ESP Kafka 2.4.1 általánosan elérhetővé válik, és készen áll az éles számítási feladatokra, és megismerkedhet a konfigurálás és a migrálás módjával.
A HDInsight kvótakezelése
A HDInsight jelenleg regionális szinten foglalja le a kvótát az ügyfél-előfizetésekhez. Az ügyfeleknek kiosztott magok általánosak, és nem virtuálisgép-családi szinten vannak besorolva (például,
Dv2
,Ev3
,Eav4
stb.).A HDInsight továbbfejlesztett nézetet vezetett be, amely részletes és besorolást biztosít a családi szintű virtuális gépek kvótáihoz. Ez a funkció lehetővé teszi, hogy az ügyfelek a virtuális gép családi szintjén tekinthetik meg a régió aktuális és fennmaradó kvótáit. A továbbfejlesztett nézettel az ügyfelek gazdagabb láthatóságot, kvóták tervezését és jobb felhasználói élményt biztosítanak. Ez a funkció jelenleg az USA keleti régiójához tartozó HDInsight 4.x és 5.x rendszeren érhető el. További követendő régiók.
További információ: Fürtkapacitás-tervezés az Azure HDInsightban | Microsoft Learn
- Közép-Lengyelország
- A fürtnév maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében.
- Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
- In-line kvótafrissítés.
- A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás, amely gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
- HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
Microsoft Network/virtualNetworks/subnets/join/action
. Az ügyfeleknek ennek megfelelően kell tervezni, mivel ez kötelező ellenőrzés lenne a fürtlétrehozás hibáinak elkerülése érdekében.
- A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához
- Alapszintű és standard A sorozatú virtuális gépek kivonása.
- 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
- Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.
Kiadás dátuma: 2023. február 28.
Ez a kiadás a HDInsight 4.0-ra vonatkozik. és 5.0, 5.1. A HDInsight-kiadás több napon keresztül minden régióban elérhető. Ez a kiadás a 2302250400 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
A számítási feladatokhoz tartozó verziókért lásd:
Fontos
A Microsoft kiadta a CVE-2023-23408-at, amely az aktuális kiadásban van javítva, és az ügyfeleknek javasoljuk, hogy frissítsenek fürtöiket a legújabb lemezképre.
HDInsight 5.1
Elindítottuk a HDInsight 5.1 új verzióját. Minden új nyílt forráskódú kiadás növekményes kiadásként hozzáadva a HDInsight 5.1-es verziójához.
További információ: HDInsight 5.1.0-s verzió
Kafka 3.2.0 frissítés (előzetes verzió)
- A Kafka 3.2.0 számos jelentős új funkciót/fejlesztést tartalmaz.
- Frissített Zookeeper 3.6.3-ra
- A Kafka Streams támogatása
- A Kafka-gyártó számára alapértelmezés szerint engedélyezett erősebb kézbesítési garanciák.
log4j
1.x helyettreload4j
.- Küldjön egy tippet a partícióvezetőnek a partíció helyreállításához.
JoinGroupRequest
ésLeaveGroupRequest
van egy ok csatolva.- Hozzáadva a közvetítők számának metrikái8.
- Tükrözési
Maker2
fejlesztések.
HBase 2.4.11 frissítés (előzetes verzió)
- Ez a verzió olyan új funkciókkal rendelkezik, mint például a blokkgyorsítótár új gyorsítótárazási mechanizmusainak hozzáadása, a táblázat módosításának
hbase:meta table
és megtekintésének lehetősége ahbase:meta
HBase WEB felhasználói felületén.
Phoenix 5.1.2 frissítés (előzetes verzió)
- A Phoenix verziója ebben a kiadásban az 5.1.2-es verzióra frissült. Ez a frissítés tartalmazza a Phoenix Query Servert is. A Phoenix Query Server a szabványos Phoenix JDBC-illesztőt proxyzja, és egy visszafelé kompatibilis vezetékes protokollt biztosít a JDBC-illesztőprogram meghívásához.
Ambari CV-k
- Több Ambari CV-t is kijavítottunk.
Feljegyzés
Ebben a kiadásban a Kafka és a HBase nem támogatja az ESP-t.
Megszűnik az Azure HDInsight-fürtök támogatása a Spark 2.4-ben 2024. február 10-én. További információ: Az Azure HDInsight által támogatott Spark-verziók
A következő lépések
- Automatikus skálázás
- Automatikus skálázás továbbfejlesztett késéssel és számos fejlesztéssel
- Fürtnévváltoztatás korlátozása
- A fürtnév maximális hossza 45-ről 59-re változik a nyilvános, az Azure China és az Azure Government esetében.
- Fürtengedélyek a biztonságos tároláshoz
- Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
- Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
- Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.
- Nyílt forráskódú frissítések
- Az Apache Spark 3.3.0 és a Hadoop 3.3.4 fejlesztés alatt áll a HDInsight 5.1-ben, és számos jelentős új funkciót, teljesítményt és egyéb fejlesztést tartalmaz.
Feljegyzés
Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.
Kiadás dátuma: 2022. december 12.
Ez a kiadás a HDInsight 4.0-ra vonatkozik. és az 5.0 HDInsight kiadás több napon keresztül minden régió számára elérhetővé válik.
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Operációsrendszer-verziók
- HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
- HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
A számítási feladatokhoz tartozó verziókról itt olvashat .
- Log Analytics – Az ügyfelek engedélyezhetik a klasszikus monitorozást az OMS legújabb 14.19-es verziójának beszerzéséhez. A régi verziók eltávolításához tiltsa le és engedélyezze a klasszikus monitorozást.
- Az Ambari felhasználói automatikus felhasználói felülete inaktivitás miatt kijelentkezik. További információ:
- Spark – A Spark 3.1.3 új és optimalizált verziója szerepel ebben a kiadásban. Teszteltük az Apache Spark 3.1.2(korábbi verzió) és az Apache Spark 3.1.3 (jelenlegi verzió) verzióját a TPC-DS benchmark használatával. A tesztet az Apache Spark 1 TB-os számítási feladathoz készült E8 V3 termékváltozatával végezték el. Az Apache Spark 3.1.3 (jelenlegi verzió) több mint 40%-kal felülmúlta az Apache Spark 3.1.2-t (korábbi verzió) a TPC-DS-lekérdezések teljes lekérdezési futásidejében ugyanazokkal a hardveres specifikációkkal. A Microsoft Spark csapata optimalizálásokat adott hozzá az Azure Synapse-ban az Azure HDInsighttal. További információ: Adatterhelések felgyorsítása az Apache Spark 3.1.2 teljesítményfrissítéseivel az Azure Synapse-ben
- Közép-Katar
- Észak-Németország
A HDInsight átlépett az Azul Zulu Java JDK 8-ról
Adoptium Temurin JDK 8
, amely támogatja a kiváló minőségű TCK-tanúsítvánnyal rendelkező futtatókörnyezeteket és a kapcsolódó technológiákat a Java-ökoszisztémában való használathoz.A HDInsight át lett migrálva.
reload4j
Alog4j
módosítások a következőre vonatkoznak:- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix
A TLS1.2 implementálásához szükséges HDInsight előrehaladtával a korábbi verziók frissülnek a platformon. Ha bármilyen alkalmazást futtat a HDInsighton, és a TLS 1.0 és 1.1 rendszert használják, frissítsen a TLS 1.2-re a szolgáltatások megszakadásának elkerülése érdekében.
További információ: A Transport Layer Security (TLS) engedélyezése
2022. november 30-tól megszűnik az Azure HDInsight-fürtök támogatása az Ubuntu 16.04 LTS-en. A HDInsight 2021. június 27-től megkezdi a fürtlemezképek kiadását az Ubuntu 18.04-es verziójával. Azt javasoljuk ügyfeleinknek, hogy az Ubuntu 16.04 használatával fürtöket futtató ügyfeleink 2022. november 30-ig a legújabb HDInsight-lemezképekkel építsék újra a fürtöket.
A fürt Ubuntu-verziójának ellenőrzéséről itt talál további információt
Hajtsa végre az "lsb_release -a" parancsot a terminálban.
Ha a kimenet "Description" tulajdonságának értéke "Ubuntu 16.04 LTS", akkor ez a frissítés a fürtre vonatkozik.
- A Rendelkezésre állási zónák kafka- és HBase-fürtökhöz (írási hozzáférés) való kiválasztásának támogatása.
Nyílt forráskódú hibajavítások
Hive hibajavítások
Hibajavítások | Apache JIRA |
---|---|
HIVE-26127 | INSERT OVERWRITE hiba – A fájl nem található |
HIVE-24957 | Helytelen eredmények, ha a subqueryben a COALESCE szerepel a korrelációs predikátumban |
HIVE-24999 | A HiveSubQueryRemoveRule érvénytelen tervet hoz létre az IN-allekérdezéshez több korrelációval |
HIVE-24322 | Közvetlen beszúrás esetén a kísérletazonosítót ellenőrizni kell, ha a jegyzékfájl olvasása meghiúsul |
HIVE-23363 | DataNucleus-függőség frissítése 5.2-re |
HIVE-26412 | Interfész létrehozása az elérhető pontok beolvasásához és az alapértelmezett beállítás hozzáadásához |
HIVE-26173 | Frissítés a 10.14.2.0-s verzióra |
HIVE-25920 | Dudor Xerce2 a 2.12.2-hez. |
HIVE-26300 | A CVE-2020-36518 elkerülése érdekében frissítse a Jackson adatkötési verzióját a 2.12.6.1+-ra |
Kiadás dátuma: 2022. 08. 10.
Ez a kiadás a HDInsight 4.0-ra vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Új funkció
1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben
A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.
Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként szolgálnak. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.
Feljegyzés
A hozzáadott lemezek csak a csomópontkezelő helyi könyvtáraihoz vannak konfigurálva.
2. Szelektív naplózási elemzés
A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.
- A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
- A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
- A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.
Rögzített méretű lemez
Log analytics
Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)
Az OMS aktuális verziójának ellenőrzése
- Jelentkezzen be a fürtbe az SSH használatával.
- Futtassa az alábbi parancsot az SSH-ügyfélben.
sudo /opt/omi/bin/ominiserver/ --version
Az OMS-verzió frissítése 13-ról 14-re
- Jelentkezzen be az Azure Portalra
- Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
- Szkriptműveletek kiválasztása
- A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
- Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
- Csomóponttípus(ok) kiválasztása
- Válassza a Létrehozás elemet
Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:
Jelentkezzen be a fürtbe az SSH használatával.
Futtassa az alábbi parancsot az SSH-ügyfélben.
sudo /opt/omi/bin/ominiserver/ --version
Egyéb hibajavítások
- A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik
TFile
sérült vagy üres. - Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
- Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.
Nyílt forráskódú hibajavítások
TEZ hibajavítások
Hibajavítások | Apache JIRA |
---|---|
Tez buildelési hibája: FileSaver.js nem található | TEZ-4411 |
Hibás FS-kivétel, ha a raktár és scratchdir a különböző FS-en van |
TEZ-4406 |
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel | TEZ-4142 |
TezUtils::createByteStringFromConf kell használni snappy helyett DeflaterOutputStream | TEZ-4113 |
Protobuf-függőség frissítése 3.x-ra | TEZ-4363 |
Hive hibajavítások
Hibajavítások | Apache JIRA |
---|---|
Perf-optimalizálások az ORC felosztási generációjában | HIVE-21457 |
Kerülje a tábla ACID-ként való olvasását, ha a tábla neve "delta" névvel kezdődik, de a tábla nem tranzakciós, és a BI felosztási stratégiát használja | HIVE-22582 |
FS#exists hívás eltávolítása az AcidUtils#getLogicalLength szolgáltatásból | HIVE-23533 |
Vektorizált OrcAcidRowBatchReader.computeOffset és gyűjtőoptimalizálás | HIVE-17917 |
Ismert problémák
A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.
Kiadás dátuma: 2022. 08. 10.
Ez a kiadás a HDInsight 4.0-ra vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.
A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.
Új funkció
1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben
A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.
Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként lesznek használva. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.
Feljegyzés
A hozzáadott lemezek csak a csomópontkezelő helyi könyvtáraihoz vannak konfigurálva.
2. Szelektív naplózási elemzés
A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.
- A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
- A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
- A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.
Rögzített méretű lemez
Log analytics
Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)
Az OMS aktuális verziójának ellenőrzése
- Jelentkezzen be a fürtbe az SSH használatával.
- Futtassa az alábbi parancsot az SSH-ügyfélben.
sudo /opt/omi/bin/ominiserver/ --version
Az OMS-verzió frissítése 13-ról 14-re
- Jelentkezzen be az Azure Portalra
- Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
- Szkriptműveletek kiválasztása
- A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
- Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
- Csomóponttípus(ok) kiválasztása
- Válassza a Létrehozás elemet
Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:
Jelentkezzen be a fürtbe az SSH használatával.
Futtassa az alábbi parancsot az SSH-ügyfélben.
sudo /opt/omi/bin/ominiserver/ --version
Egyéb hibajavítások
- A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik
TFile
sérült vagy üres. - Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
- Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.
Nyílt forráskódú hibajavítások
TEZ hibajavítások
Hibajavítások | Apache JIRA |
---|---|
Tez buildelési hibája: FileSaver.js nem található | TEZ-4411 |
Hibás FS-kivétel, ha a raktár és scratchdir a különböző FS-en van |
TEZ-4406 |
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel | TEZ-4142 |
TezUtils::createByteStringFromConf kell használni snappy helyett DeflaterOutputStream | TEZ-4113 |
Protobuf-függőség frissítése 3.x-ra | TEZ-4363 |
Hive hibajavítások
Hibajavítások | Apache JIRA |
---|---|
Perf-optimalizálások az ORC felosztási generációjában | HIVE-21457 |
Kerülje a tábla ACID-ként való olvasását, ha a tábla neve "delta" névvel kezdődik, de a tábla nem tranzakciós, és a BI felosztási stratégiát használja | HIVE-22582 |
FS#exists hívás eltávolítása az AcidUtils#getLogicalLength szolgáltatásból | HIVE-23533 |
Vektorizált OrcAcidRowBatchReader.computeOffset és gyűjtőoptimalizálás | HIVE-17917 |
Ismert problémák
A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.
Kiadás dátuma: 2022.03.06.
Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.
Kiadási kiemelések
A Hive Warehouse-összekötő (HWC) a Spark 3.1.2-ben
A Hive Warehouse Connector (HWC) lehetővé teszi, hogy kihasználja a Hive és a Spark egyedi funkcióit a nagy teljesítményű big data-alkalmazások létrehozásához. A HWC jelenleg csak a Spark 2.4-ben támogatott. Ez a funkció üzleti értéket ad hozzá azáltal, hogy engedélyezi az ACID-tranzakciókat a Hive-táblákon a Spark használatával. Ez a funkció olyan ügyfelek számára hasznos, akik a Hive-t és a Sparkot is használják az adattulajdonukban. További információ: Apache Spark > Hive – Hive Warehouse Connector – Azure HDInsight | Microsoft Docs
Ambari
- Skálázási és kiépítési fejlesztések változásai
- A HDI-hive mostantól kompatibilis az OSS 3.1.2-es verziójával
A HDI Hive 3.1-es verziója az OSS Hive 3.1.2-re frissül. Ez a verzió az nyílt forráskód Hive 3.1.2-es verziójában elérhető összes javítást és funkciót tartalmazza.
Feljegyzés
Spark
- Ha azure-beli felhasználói felületet használ a HdInsighthoz készült Spark-fürt létrehozásához, a legördülő listából egy másik Spark 3.1-es verzió jelenik meg. (HDI 5.0) és a régebbi verziók. Ez a verzió a Spark 3.1 átnevezett verziója. (HDI 4.0). Ez csak egy felhasználói felületi szintű változás, amely semmit sem érint az ARM-sablont már használó meglévő felhasználókra és felhasználókra.
Feljegyzés
Interaktív lekérdezés
- Ha interaktív lekérdezésfürtöt hoz létre, a legördülő listában megjelenik egy másik verzió, mint Interaktív lekérdezés 3.1 (HDI 5.0).
- Ha a Spark 3.1-es verzióját és az ACID-támogatást igénylő Hive-t fogja használni, akkor ezt a verziót kell kiválasztania az Interactive Query 3.1 (HDI 5.0).
TEZ hibajavítások
Hibajavítások | Apache JIRA |
---|---|
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel | TEZ-4142 |
A TezUtils createByteStringFromConf beépülő modult kell használnia a DeflaterOutputStream helyett | TEZ-4113 |
HBase-hibajavítások
Hibajavítások | Apache JIRA |
---|---|
A TableSnapshotInputFormat a ReadType.STREAM-et használja a vizsgálathoz HFiles |
HBASE-26273 |
A scanMetrics letiltására használható beállítás hozzáadása a TableSnapshotInputFormat alkalmazásban | HBASE-26330 |
A ArrayIndexOutOfBoundsException javítása a kiegyensúlyozó végrehajtásakor | HBASE-22739 |
Hive hibajavítások
Hibajavítások | Apache JIRA |
---|---|
NPE az adatok "distribute by" záradékkal való beszúrásakor a dynpart rendezési optimalizálással | HIVE-18284 |
Az MSCK REPAIR parancs partíciószűréssel meghiúsul a partíciók elvetése közben | HIVE-23851 |
Hibás kivétel történt, ha kapacitás<=0 | HIVE-25446 |
Párhuzamos terhelés támogatása HastTables esetén – Interfészek | HIVE-25583 |
MultiDelimitSerDe alapértelmezés szerint belefoglalása a HiveServer2-be | HIVE-20619 |
Távolítsa el a glassfish.jersey és mssql-jdbc osztályokat a jdbc-standalone jar-ból | HIVE-22134 |
Null mutató kivétele mm-tábla tömörítésének futtatása esetén. | HIVE-21280 |
Nagy méretű knox hive-lekérdezés meghiúsult a hibás cső írása miatt |
HIVE-22231 |
A felhasználó kötési felhasználó beállítási lehetőségének hozzáadása | HIVE-21009 |
Az UDF implementálása a dátum/időbélyeg belső ábrázolása és a Gergely-Julián hibrid naptár használatával történő értelmezéséhez | HIVE-22241 |
Beeline beállítás végrehajtási jelentés megjelenítésére/megjelenítésére | HIVE-22204 |
Tez: A SplitGenerator megpróbálja megkeresni a tervfájlokat, amelyek nem léteznek a Tez számára | HIVE-22169 |
Költséges naplózás eltávolítása az LLAP-gyorsítótárból hotpath |
HIVE-22168 |
UDF: A FunctionRegistry szinkronizálja az org.apache.hadoop.hive.ql.udf.UDFType osztályt | HIVE-22161 |
A lekérdezés-útválasztási hozzáfűző létrehozásának megakadályozása, ha a tulajdonság értéke hamis | HIVE-22115 |
A partíció-eval keresztlekérdezés szinkronizálásának eltávolítása | HIVE-22106 |
A hive scratch dir beállításának kihagyása a tervezés során | HIVE-21182 |
Ha az RPC be van kapcsolva, hagyja ki a karcnaplók létrehozását a tezhez | HIVE-21171 |
a Hive UDF-ek váltása regex motor használatára Re2J |
HIVE-19661 |
A hive 3-on az 1. bucketing_version használatával migrált fürtözött táblák bucketing_version 2-et használnak a beszúrásokhoz | HIVE-22429 |
Gyűjtőzés: Az 1. verzió gyűjtőbe helyezése helytelenül particionál adatokat | HIVE-21167 |
ASF-licenc fejlécének hozzáadása az újonnan hozzáadott fájlhoz | HIVE-22498 |
Sémaeszköz fejlesztései a mergeCatalog támogatásához | HIVE-22498 |
A TEZ UNION ALL és az UDTF használatával végzett hive adatvesztést eredményez | HIVE-21915 |
Szövegfájlok felosztása akkor is, ha élőfej/élőláb létezik | HIVE-21924 |
A MultiDelimitSerDe helytelen eredményeket ad vissza az utolsó oszlopban, ha a betöltött fájl több oszlopot tartalmaz, mint a táblasémában. | HIVE-22360 |
LLAP külső ügyfél – Csökkenteni kell a LlapBaseInputFormat#getSplits() lábnyomát | HIVE-22221 |
A fenntartott kulcsszóval rendelkező oszlopnév nem lesz eltávolítva, ha a lekérdezés, beleértve a maszkoszlopot tartalmazó táblához való csatlakozást is (Matyus Zoltán haindrich Zoltánon keresztül) | HIVE-22208 |
LLAP-leállítás megakadályozása kapcsolódó RuntimeException esetén AMReporter |
HIVE-22113 |
Előfordulhat, hogy az LLAP állapotszolgáltatás-illesztőprogramja hibás Yarn-alkalmazásazonosítóval elakad | HIVE-21866 |
Az OperationManager.queryIdOperation nem törli megfelelően a több lekérdezésazonosítót | HIVE-22275 |
A csomópontkezelő leállása blokkolja az LLAP szolgáltatás újraindítását | HIVE-22219 |
StackOverflowError sok partíció elvetésekor | HIVE-15956 |
A hozzáférés-ellenőrzés sikertelen, ha egy ideiglenes könyvtárat eltávolítanak | HIVE-22273 |
Hibás eredmények kijavítása/ArrayOutOfBound kivétel a bal oldali külső térképcsatlakozásokban adott határfeltételeken | HIVE-22120 |
Terjesztési felügyeleti címke eltávolítása a pom.xml | HIVE-19667 |
Az elemzési idő magas lehet, ha mélyen beágyazott al lekérdezések vannak | HIVE-21980 |
Az ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE'); TBL_TYPE nem CAPS-hez nem tükröző attribútummódosítások |
HIVE-20057 |
JDBC: A HiveConnection árnyékolja az log4j interfészeket |
HIVE-18874 |
Adattár URL-címeinek frissítése a 3.1-es ág verziójában poms |
HIVE-21786 |
DBInstall a főkiszolgálón és a branch-3.1-en megszakadt tesztek |
HIVE-21758 |
Az adatok gyűjtőbe való betöltése figyelmen kívül hagyja a partíciók specifikációit, és betölti az adatokat az alapértelmezett partícióba | HIVE-21564 |
Olyan lekérdezések, amelyekhez az illesztési feltétel időbélyeggel vagy időbélyeggel rendelkezik a helyi időzóna literális dobása SzemanticException használatával | HIVE-21613 |
A HDFS-en futó átmeneti dir mögött hagyott oszlopok számítási statisztikáinak elemzése | HIVE-21342 |
Inkompatibilis változás a Hive-gyűjtő számításában | HIVE-21376 |
Tartalék engedélyező megadása, ha nincs használatban más engedélyező | HIVE-20420 |
Néhány alterPartitions invocations throw "NumberFormatException: null" | HIVE-18767 |
HiveServer2: Bizonyos esetekben a http-átvitel előhitelesített tárgya nem marad meg a HTTP-kommunikáció teljes időtartama alatt | HIVE-20555 |
Kiadás dátuma: 2022.03.10.
Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.
A kiadás operációsrendszer-verziói a következők:
- HDInsight 4.0: Ubuntu 18.04.5
Általánosan elérhető a Spark 3.1
A Spark 3.1 mostantól általánosan elérhető a HDInsight 4.0-s kiadásában. Ez a kiadás tartalmazza a
- Adaptív lekérdezés végrehajtása,
- Rendezési egyesítési illesztés átalakítása szórásos kivonatos illesztéssé,
- Spark Catalyst Optimizer,
- Dinamikus partíciómetszet,
- Az ügyfelek új Spark 3.1-fürtöket hozhatnak létre, és nem Spark 3.0-s (előzetes verziójú) fürtöket.
További információ: Az Apache Spark 3.1 mostantól általánosan elérhető a HDInsighton – Microsoft Tech Community.
A fejlesztések teljes listáját az Apache Spark 3.1 kibocsátási megjegyzéseiben találja.
A migrálással kapcsolatos további információkért tekintse meg a migrálási útmutatót .
A Kafka 2.4 már általánosan elérhető
A Kafka 2.4.1 mostantól általánosan elérhető. További információ: Kafka 2.4.1 Kibocsátási megjegyzések. További funkciók: MirrorMaker 2 rendelkezésre állás, új metrikakategória AtMinIsr témakörpartíció, továbbfejlesztett közvetítő indítási ideje lusta igény szerint mmap
indexfájlok, további fogyasztói metrikák a felhasználói szavazás viselkedésének megfigyeléséhez.
A HWC adattípusának leképezése mostantól támogatott a HDInsight 4.0-ban
Ez a kiadás tartalmazza a Map Datatype támogatást a HWC 1.0-hoz (Spark 2.4) a Spark-shell alkalmazáson keresztül, és minden más spark-ügyfelet, amelyet a HWC támogat. Az alábbi fejlesztések a többi adattípushoz hasonlóan az alábbiakat tartalmazzák:
A felhasználó
- Hozzon létre egy Hive-táblát a Map adattípust tartalmazó oszlop(ok)ból, szúrjon be adatokat, és olvassa el az eredményeket.
- Hozzon létre egy Apache Spark-adatkeretet térképtípussal, és végezze el a köteg/stream olvasását és írását.
Új régiók
A HDInsight mostantól két új régióra bővítette földrajzi jelenlétét: Kína keleti régiója 3. és Kína északi régiója 3.
OSS-háttérjelentés változásai
A Hive-ben található OSS-háttérjelentések, beleértve a HWC 1.0-t (Spark 2.4), amely támogatja a Térkép adattípust.
A jelen kiadáshoz az OSS által támogatott Apache JIRA-k tartoznak:
Érintett funkció | Apache JIRA |
---|---|
Az IN/(NOT IN) metaadattár közvetlen SQL-lekérdezéseit az SQL DB által megengedett maximális paraméterek alapján kell felosztani | HIVE-25659 |
Frissítés log4j 2.16.0-ra 2.17.0-ra |
HIVE-25825 |
Verzió frissítése Flatbuffer |
HIVE-22827 |
Az adattípus natív leképezésének támogatása Nyíl formátumban | HIVE-25553 |
LLAP külső ügyfél – Beágyazott értékek kezelése null értékű szülőstruktúra esetén | HIVE-25243 |
A nyílverzió frissítése a 0.11.0-ra | HIVE-23987 |
Elavulással kapcsolatos közlemények
Azure-beli virtuálisgép-méretezési csoportok a HDInsighton
A HDInsight a továbbiakban nem fogja használni az Azure Virtual Machine Scale Setset a fürtök kiépítéséhez, nem várható kompatibilitástörő változás. A virtuálisgép-méretezési csoportok meglévő HDInsight-fürtjeinek nincs hatása, a legújabb rendszerképeken lévő új fürtök már nem fogják használni a virtuálisgép-méretezési csoportokat.
Az Azure HDInsight HBase számítási feladatainak skálázása mostantól csak manuális méretezéssel támogatott
2022. március 01-től a HDInsight csak a HBase manuális méretezését támogatja, nincs hatással a futó fürtökre. Az új HBase-fürtök nem fogják tudni engedélyezni az ütemezésalapú automatikus skálázást. A HBase-fürt manuális méretezéséről további információt az Azure HDInsight-fürtök manuális skálázásával kapcsolatos dokumentációnkban talál.
Kiadás dátuma: 2021. 12. 27.
Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.
A kiadás operációsrendszer-verziói a következők:
- HDInsight 4.0: Ubuntu 18.04.5 LTS
A HDInsight 4.0-s rendszerképe frissült, hogy enyhítse Log4j
a biztonsági réseket a Microsoft CVE-2021-44228 Apache Log4j 2-re adott válaszában leírtak szerint.
Feljegyzés
- A 2021. december 27. 00:00 (UTC) után létrehozott HDI 4.0-fürtök a rendszerkép frissített verziójával jönnek létre, amely csökkenti a
log4j
biztonsági réseket. Ezért az ügyfeleknek nem kell kijavítani/újraindítani ezeket a fürtöket. - Az új HDInsight 4.0-fürtök esetében, amelyeket 2021. december 16., 01:15 (UTC) és 2021. december 27. 00:00 (UTC) között hoztak létre, HDInsight 3.6 vagy rögzített előfizetésekben 2021. december 16. után a rendszer automatikusan alkalmazza a javítást a fürt létrehozásának egy órájában, azonban az ügyfeleknek újra kell indítaniuk a csomópontokat a javítás befejezéséhez (kivéve a Kafka Management-csomópontokat, automatikusan újraindulnak).
Kiadás dátuma: 2021. 07. 27.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
A kiadás operációsrendszer-verziói a következők:
- HDInsight 3.6: Ubuntu 16.04.7 LTS
- HDInsight 4.0: Ubuntu 18.04.5 LTS
Új funkciók
Az Azure HDInsight korlátozott nyilvános kapcsolatok támogatása 2021. október 15-én általánosan elérhető
Az Azure HDInsight mostantól minden régióban támogatja a korlátozott nyilvános kapcsolatot. Az alábbiakban bemutatjuk a képesség főbb főbb jellemzőit:
- Lehetőség az erőforrás-szolgáltató fürtkommunikációra való megfordítására, hogy az a fürtről az erőforrás-szolgáltató felé irányuló kimenő forgalomra legyen képes
- Saját Private Link-kompatibilis erőforrások (például tárolás, SQL, kulcstartó) HDInsight-fürthöz való elérésének támogatása az erőforrások csak magánhálózaton keresztüli eléréséhez
- Nincs kiépített nyilvános IP-cím
Ezzel az új funkcióval kihagyhatja a HDInsight felügyeleti IP-címeinek bejövő hálózati biztonsági csoport (NSG) szolgáltatáscímkéinek szabályait is. További információ a nyilvános kapcsolatok korlátozásáról
Az Azure HDInsight támogatása az Azure Private Linkhez 2021. október 15-én általánosan elérhető
Mostantól privát végpontokkal is csatlakozhat a HDInsight-fürtökhöz privát kapcsolaton keresztül. A privát kapcsolat olyan virtuális hálózatok közötti forgatókönyvekben használható, ahol a virtuális hálózatok közötti társviszony-létesítés nem érhető el vagy engedélyezve van.
Az Azure Private Link lehetővé teszi az Azure PaaS-szolgáltatások (például az Azure Storage és az SQL Database) és az Azure által üzemeltetett ügyfél-/partnerszolgáltatások elérését a virtuális hálózat egy privát végpontján keresztül.
A virtuális hálózat és a szolgáltatás közötti forgalom a Microsoft gerinchálózatán halad át. Ezáltal kiküszöbölhető a szolgáltatás nyilvános internetes kitettsége.
Engedélyezze a privát kapcsolat engedélyezését.
Új Azure Monitor-integrációs felület (előzetes verzió)
Az új Azure Monitor-integrációs felület az USA keleti régiójában és Nyugat-Európában jelenik meg ezzel a kiadással. Az új Azure Monitor-felületről itt talál további információt.
Elavulás
A HDInsight 3.6-os verziója 2022. október 01-én elavult.
Viselkedésbeli változások
A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja
Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.
2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az új interaktív lekérdezésfürtökön már nem engedélyezheti a terhelésalapú automatikus skálázást. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.
A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.
Közelgő változások
A következő változások a közelgő kiadásokban történnek.
Az ESP Spark-fürt beépített LLAP-összetevője el lesz távolítva
A HDInsight 4.0 ESP Spark-fürt beépített LLAP-összetevőkkel rendelkezik, és mindkét fejcsomóponton fut. Az ESP Spark-fürt LLAP-összetevői eredetileg a HDInsight 3.6 ESP Sparkhoz lettek hozzáadva, de a HDInsight 4.0 ESP Sparkhoz nincs valós felhasználói esete. A következő, 2021 szeptemberében ütemezett kiadásban a HDInsight eltávolítja a beépített LLAP-összetevőt a HDInsight 4.0 ESP Spark-fürtből. Ez a módosítás segít kiépíteni a csomópontok számítási feladatait, és elkerülheti az ESP Spark és az ESP Interaktív Hive-fürttípus közötti félreértéseket.
Új régió
- USA 3. nyugati régiója
Jio
Nyugat-India- Ausztrália középső régiója
Összetevő verzióváltozása
Ezzel a kiadással a következő összetevőverzió módosult:
- ORC-verzió 1.5.1-től 1.5.9-es verzióig
Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Visszahordott JIRA-k
A kiadáshoz a háttérportolt Apache JIRA-k a következők:
Érintett funkció | Apache JIRA |
---|---|
Dátum/időbélyeg | HIVE-25104 |
HIVE-24074 | |
HIVE-22840 | |
HIVE-22589 | |
HIVE-22405 | |
HIVE-21729 | |
HIVE-21291 | |
HIVE-21290 | |
UDF | HIVE-25268 |
HIVE-25093 | |
HIVE-22099 | |
HIVE-24113 | |
HIVE-22170 | |
HIVE-22331 | |
ORK | HIVE-21991 |
HIVE-21815 | |
HIVE-21862 | |
Táblaséma | HIVE-20437 |
HIVE-22941 | |
HIVE-21784 | |
HIVE-21714 | |
HIVE-18702 | |
HIVE-21799 | |
HIVE-21296 | |
Számítási feladatok kezelése | HIVE-24201 |
Tömörítés | HIVE-24882 |
HIVE-23058 | |
HIVE-23046 | |
Tényleges táblán alapuló nézet | HIVE-22566 |
HDInsight Dv2
virtuális gépek árkorrekciója
2021. április 25-én kijavítottunk egy díjszabási hibát a Dv2
HDInsight virtuálisgép-sorozatában. A díjszabási hiba miatt április 25-e előtt néhány ügyfél számláinak díja csökkent, és a javítással az árak most már megegyeznek a HDInsight díjszabási oldalán és a HDInsight díjszabási kalkulátorban meghirdetett árakkalkulátorral. A díjszabási hiba a következő régiókban lévő, virtuális gépeket használó Dv2
ügyfeleket érintette:
- Közép-Kanada
- Kelet-Kanada
- Kelet-Ázsia
- Dél-Afrika északi régiója
- Délkelet-Ázsia
- Egyesült Arab Emírségek középső régiója
2021. április 25-től a virtuális gépek korrigált összege Dv2
az Ön fiókjában lesz. Az ügyfélértesítéseket a rendszer a módosítás előtt elküldte az előfizetés-tulajdonosoknak. A tarifakalkulátor, a HDInsight díjszabási lapja vagy a HDInsight-fürt létrehozása panel az Azure Portalon a régióban lévő virtuális gépek korrigált költségeinek Dv2
megtekintéséhez használható.
Nincs szükség más műveletre. Az árkorrekció csak a megadott régiókban 2021. április 25-én vagy azt követően érvényes használatra vonatkozik, az ezen időpontot megelőző használatra nem. Annak érdekében, hogy a legeredményesebb és legköltséghatékonyabb megoldással rendelkezzen, javasoljuk, hogy tekintse át a fürtök díjszabását, a VCPU-t és a RAM-ot Dv2
, és hasonlítsa össze a Dv2
specifikációkat a Ev3
virtuális gépekkel, és ellenőrizze, hogy a megoldás kihasználná-e az újabb virtuálisgép-sorozatok egyikét.
Kiadás dátuma: 2021. 02. 06.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
A kiadás operációsrendszer-verziói a következők:
- HDInsight 3.6: Ubuntu 16.04.7 LTS
- HDInsight 4.0: Ubuntu 18.04.5 LTS
Új funkciók
Operációs rendszer verziófrissítése
Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Ezzel a kiadással elindítottuk az Ubuntu 18.04-en futó új HDInsight 4.0-fürtrendszerképet. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.
A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. július 1-től alapszintű támogatásra vált (a Standard támogatástól kezdve). A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.
Ha meglévő HDInsight 4.0-fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürtök létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után.
Az új fürt létrehozása után SSH-t adhat a fürthöz, és futtathatja sudo lsb_release -a
annak ellenőrzéséhez, hogy az Ubuntu 18.04-es rendszeren fut-e. Javasoljuk, hogy az éles környezetbe való áttérés előtt tesztelje az alkalmazásokat a teszt-előfizetésekben.
A HBase gyorsított írási fürtöinek skálázási optimalizálása
A HDInsight továbbfejlesztette és optimalizálta a HBase által gyorsított írásvédett fürtök skálázását. További információ a HBase gyorsított írásáról.
Elavulás
Ebben a kiadásban nincs elavulás.
Viselkedésbeli változások
A HDInsight 4.0 főcsomópontjaként Stardard_A5 virtuális gép méretének letiltása
A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. Ettől a kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-mérettel főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. A head node-hoz erősen ajánlott négymagos virtuális gép, amely biztosítja az éles HDInsight-fürtök magas rendelkezésre állását és megbízhatóságát.
A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében
A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja
Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.
2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.
A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.
A virtuálisgép-gazdagép elnevezése 2021. július 1-jén módosul
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. Ez az áttelepítés megváltoztatja a fürt gazdagépének teljes tartományneve névformátumát, és az állomásnévben szereplő számok nem lesznek garantálva egymás után. Ha az egyes csomópontok teljes tartományneveit szeretné lekérni, tekintse meg a fürtcsomópontok gazdagépneveit.
Váltás azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Kiadás dátuma: 2021. 03. 24.
Új funkciók
Spark 3.0 előzetes verzió
A HDInsight a Spark 3.0.0 támogatását hozzáadta a HDInsight 4.0-hoz előzetes verziójú funkcióként.
Kafka 2.4 előzetes verzió
A HDInsight hozzáadta a Kafka 2.4.1-támogatást a HDInsight 4.0-hoz előzetes verziójú funkcióként.
Eav4
-sorozat támogatása
Ebben a kiadásban a HDInsight -series támogatást adott hozzá Eav4
.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Elavulás
Ebben a kiadásban nincs elavulás.
Viselkedésbeli változások
A fürt alapértelmezett verziója 4.0-ra módosul
A HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.
Az alapértelmezett fürt virtuálisgép-méretei -series értékre változnak Ev3
A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3
. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.
A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében
A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja
Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás meghaladja az automatikus skálázás költségelőnyét.
2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.
A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.
Operációs rendszer verziófrissítése
A HDInsight-fürtök jelenleg az Ubuntu 16.04 LTS-en futnak. Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Az Ubuntu 18.04-en futó új HDInsight 4.0-s fürtrendszerképet 2021 májusában fogjuk elindítani. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.
A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. június 30-ig megszűnik a standard támogatás, és 2021. július 1-től alapszintű támogatásra változik. A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.
Ha meglévő fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürt létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után. Egy újabb értesítést küldünk, miután az új rendszerkép minden régióban elérhetővé válik.
Erősen ajánlott, hogy előre tesztelje a szkriptműveleteket és a peremcsomópontokon üzembe helyezett egyéni alkalmazásokat egy Ubuntu 18.04 virtuális gépen (VM). Létrehozhat Ubuntu Linux rendszerű virtuális gépet a 18.04-LTS-en, majd létrehozhat és használhat egy biztonságos rendszerhéj-(SSH-) kulcspárt a virtuális gépen a szkriptműveletek és a peremcsomópontokon üzembe helyezett egyéni alkalmazások futtatásához és teszteléséhez.
A HDInsight 4.0 főcsomópontjaként Stardard_A5 virtuális gép méretének letiltása
A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. A következő, 2021. májusi kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-méretet főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. Az éles HDInsight-fürtök magas rendelkezésre állása és megbízhatósága érdekében a head node-hoz erősen ajánlott egy négymagos virtuális gép.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
A Spark 3.0.0 és a Kafka 2.4.1 előzetes verziója is támogatott. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2021.05.02.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
Dav4-sorozat támogatása
A HDInsight ebben a kiadásban dav4-sorozatú támogatást adott hozzá. További információ a Dav4-sorozatról itt.
Kafka REST Proxy GA
A Kafka REST Proxy lehetővé teszi a Kafka-fürttel való interakciót EGY REST API-n keresztül HTTPS-en keresztül. A Kafka REST Proxy a jelen kiadástól kezdve általánosan elérhető. További információ a Kafka REST Proxyról itt.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Elavulás
Letiltott virtuálisgép-méretek
2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
Viselkedésbeli változások
A fürt virtuális gépének alapértelmezett mérete -series értékre változik Ev3
A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3
. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.
A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében
A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A fürt alapértelmezett verziója 4.0-ra módosul
2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.
Operációs rendszer verziófrissítése
A HDInsight az operációs rendszer verzióját Ubuntu 16.04-ről 18.04-re frissíti. A frissítés 2021 áprilisa előtt fejeződik be.
A HDInsight 3.6 támogatásának megszűnése 2021. június 30-án
A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2020. 11. 18.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
Automatikus kulcsváltás az ügyfél által felügyelt kulcstitkosításhoz inaktív állapotban
Ettől a kiadástól kezdve az ügyfelek használhatják az Azure KeyValut verzió nélküli titkosítási kulcs URL-címeit az ügyfelek által kezelt kulcsok inaktív állapotban történő titkosításához. A HDInsight automatikusan elforgatja a kulcsokat, amint lejárnak vagy új verziókra cserélik őket. További részletek itt olvashatók.
A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében
A HDInsight korábban nem támogatta a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. Ebben a kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuális gépméretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Elavulás
A HDInsight 3.6 ML Services-fürt elavultsága
A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hozhatnak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.
Letiltott virtuálisgép-méretek
2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
Viselkedésbeli változások
NSG-szabályellenőrzés hozzáadása a skálázási művelet előtt
A HDInsight hálózati biztonsági csoportokat (NSG-ket) és felhasználó által megadott útvonalakat (UDR-eket) adott hozzá a skálázási művelettel való ellenőrzéshez. Ugyanez az ellenőrzés a fürtlétrehozás mellett a fürt skálázására is megtörténik. Ez az ellenőrzés segít megelőzni a kiszámíthatatlan hibákat. Ha az ellenőrzés nem sikerül, a skálázás meghiúsul. További információ az NSG-k és az UDR-ek helyes konfigurálásáról, tekintse meg a HDInsight felügyeleti IP-címeit.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2020.09.11.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
A HDInsight Identity Broker (HIB) mostantól ga
Ezzel a kiadással általánosan elérhető a HDInsight Identity Broker (HIB), amely engedélyezi az OAuth-hitelesítést ESP-fürtökhöz. A kiadás után létrehozott HIB-fürtök a legújabb HIB-funkciókkal rendelkeznek:
- Magas rendelkezésre állás (HA)
- Többtényezős hitelesítés (MFA) támogatása
- Az összevont felhasználók jelszókivonat-szinkronizálás nélkül jelentkeznek be az AAD-DS szolgáltatásba. További információt a HIB dokumentációjában talál.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Elavulás
A HDInsight 3.6 ML Services-fürt elavultsága
A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.
Letiltott virtuálisgép-méretek
2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
Viselkedésbeli változások
A kiadás viselkedése nem változik.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében
A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.
A fürt alapértelmezett verziója 4.0-ra módosul
2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókról további információt a támogatott verziókban talál. További információ a HDInsight 4.0 újdonságairól
A HDInsight 3.6 támogatásának megszűnése 2021. június 30-án
A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
A fürtben lévő virtuális gépek újraindításával kapcsolatos probléma megoldása
Kijavítottuk a fürtben lévő virtuális gépek újraindításával kapcsolatos problémát, a PowerShell vagy a REST API használatával újraindulhatnak a fürt csomópontjai.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2020.08.10.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
HDInsight privát fürtök nyilvános IP-cím és privát kapcsolat nélkül (előzetes verzió)
A HDInsight mostantól támogatja az előzetes verzióban nyilvános IP- és privát kapcsolat nélküli fürtök létrehozását. Az ügyfelek az új speciális hálózati beállítások használatával hozhatnak létre egy teljesen izolált fürtöt nyilvános IP-cím nélkül, és saját privát végpontjaik használatával érhetik el a fürtöt.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Elavulás
A HDInsight 3.6 ML Services-fürt elavultsága
A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek ezután nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.
Viselkedésbeli változások
A kiadás viselkedése nem változik.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében
A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2020. 09. 28.
Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
Mostantól általánosan elérhető az interaktív lekérdezés automatikus méretezése a HDInsight 4.0-val
Az Interaktív lekérdezésfürt típus automatikus méretezése mostantól általánosan elérhető a HDInsight 4.0-hoz. A 2020. augusztus 27. után létrehozott összes Interaktív lekérdezés 4.0-fürt rendelkezik ga-támogatással az automatikus skálázáshoz.
A HBase-fürt támogatja a Prémium ADLS Gen2-t
A HDInsight mostantól támogatja a Prémium ADLS Gen2-t a HDInsight HBase 3.6 és 4.0 fürtök elsődleges tárfiókjaként. A gyorsított írásokkal együtt jobb teljesítményt érhet el a HBase-fürtök számára.
Kafka-partícióelosztás azure-beli tartalék tartományokon
A tartalék tartomány az alapul szolgáló hardver logikai csoportosítása egy Azure-adatközpontban. Mindegyik tartalék tartomány közös áramforrással és hálózati kapcsolóval rendelkezik. Mielőtt a HDInsight Kafka az összes partícióreplikát ugyanabban a tartalék tartományban tárolhatná. Ettől a kiadástól kezdve a HDInsight mostantól támogatja a Kafka-partíciók azure-beli tartalék tartományokon alapuló automatikus elosztását.
Titkosítás az átvitel során
Az ügyfelek ipSec-titkosítással, platform által felügyelt kulcsokkal engedélyezhetik a fürtcsomópontok közötti átvitel titkosítását. Ez a beállítás a fürt létrehozásakor engedélyezhető. További információ a titkosítás átvitel közbeni engedélyezéséről.
Titkosítás a gazdagépen
Ha engedélyezi a titkosítást a gazdagépen, a virtuálisgép-gazdagépen tárolt adatok inaktív állapotban lesznek titkosítva, és a tárolási szolgáltatásba titkosított folyamatok lesznek titkosítva. Ebből a kiadásból engedélyezheti a titkosítást a gazdagépen a ideiglenes adatlemezen a fürt létrehozásakor. A gazdagépen a titkosítás csak bizonyos virtuálisgép-termékváltozatokon támogatott korlátozott régiókban. A HDInsight a következő csomópontkonfigurációt és termékváltozatokat támogatja. További részletek a gazdagépen történő titkosítás engedélyezéséről.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.
Elavulás
Nincs elavulás ehhez a kiadáshoz.
Viselkedésbeli változások
A kiadás viselkedése nem változik.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A Spark, Hadoop és ML Services különböző Zookeeper-termékváltozatának kiválasztása
A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML Serviceshez. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2020.09.08.
Ez a kiadás csak a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
A SparkCruise támogatása
A SparkCruise egy automatikus számítási újrahasználati rendszer a Spark számára. A korábbi lekérdezési számítási feladatok alapján történő materializáláshoz gyakran használt alkifejezéseket választ ki. A SparkCruise ezeket az alkifejezéseket a lekérdezésfeldolgozás részeként materializálja, és a számítási újrahasználat automatikusan a háttérben lesz alkalmazva. A Spark-kód módosítása nélkül is élvezheti a SparkCruise előnyeit.
A HDInsight 4.0 hive nézetének támogatása
Az Apache Ambari Hive View úgy lett kialakítva, hogy segítsen Hive-lekérdezéseket létrehozni, optimalizálni és végrehajtani a webböngészőből. A Hive View natív módon támogatott a HDInsight 4.0-fürtökhöz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Hive-nézet beszerzéséhez el kell helyeznie és újra létre kell hoznia a fürtöt.
A HDInsight 4.0 Tez nézetének támogatása
Az Apache Tez View a Hive Tez-feladat végrehajtásának nyomon követésére és hibakeresésére szolgál. A Tez View natív módon támogatott a HDInsight 4.0-hoz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Tez nézet beszerzéséhez el kell dobnia és újra létre kell hoznia a fürtöt.
Elavulás
A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
Viselkedésbeli változások
Az Ambari-verem verzióváltozása
Ebben a kiadásban az Ambari verziója 2.x.x.x.x-ről 4.1-esre változik. Az Ambari: Ambari > felhasználói > verzióiban ellenőrizheti a verem verzióját (HDInsight 4.1).
Közelgő változások
Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Az alábbi JIRA-k a Hive-hez vannak visszahordva:
Az alábbi JIRA-k a HBase-hez vannak visszahordva:
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Ismert problémák
Kijavítottunk egy hibát az Azure Portalon, ahol a felhasználók hibát tapasztaltak, amikor SSH-hitelesítési típusú nyilvános kulcs használatával hoztak létre Egy Azure HDInsight-fürtöt. Amikor a felhasználók a Véleményezés + Létrehozás gombra kattintanak, a következő hibaüzenet jelenik meg: "Nem tartalmazhat három egymást követő karaktert az SSH-felhasználónévből". Ez a probléma már ki lett javítva, de előfordulhat, hogy frissítenie kell a böngésző gyorsítótárát a CTRL + F5 billentyűkombináció lenyomásával a javított nézet betöltéséhez. A probléma megkerülő megoldása a fürt ARM-sablonnal történő létrehozása volt.
Kiadás dátuma: 2020. 07. 13.
Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
A Microsoft Azure-hoz készült Customer Lockbox támogatása
Az Azure HDInsight mostantól támogatja az Azure Customer Lockboxot. Lehetővé teszi, hogy az ügyfelek áttekinthessék és jóváhagyják vagy elutasítsák az ügyféladat-hozzáférési kérelmeket. Ezt akkor használják, ha a Microsoft mérnökének hozzá kell férnie az ügyféladatokhoz egy támogatási kérelem során. További információ: Customer Lockbox for Microsoft Azure.
Szolgáltatásvégpont-házirendek a tároláshoz
Az ügyfelek mostantól használhatják a SZOLGÁLTATÁSvégpont-szabályzatokat (SEP) a HDInsight-fürt alhálózatán. További információ az Azure szolgáltatásvégpont-szabályzatáról.
Elavulás
A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
Viselkedésbeli változások
Nincs olyan viselkedésbeli változás, amelyre figyelmet kell fordítania.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A Spark, Hadoop és ML Services különböző Zookeeper-termékváltozatának kiválasztása
A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML-szolgáltatásokhoz. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Kijavítottuk a Hive Warehouse-összekötő problémáját
Az előző kiadásban hiba történt a Hive Warehouse-összekötő használhatóságára vonatkozóan. A probléma már ki lett javítva.
Kijavítottuk a Zeppelin-jegyzetfüzet kezdő nullákkal kapcsolatos problémáját
A Zeppelin helytelenül csonkolt bevezető nullákat a karakterlánc formátumú táblakimenetben. Ebben a kiadásban kijavítottuk ezt a problémát.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.
Kiadás dátuma: 2020. 06. 11.
Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight azure-beli virtuális gépeket használ a fürt üzembe helyezéséhez. Ebből a kiadásból az újonnan létrehozott HDInsight-fürtök az Azure-beli virtuálisgép-méretezési csoportot használják. A változás fokozatosan halad. Nem kell kompatibilitástörő változásra számítania. További információ az Azure-beli virtuálisgép-méretezési csoportokról.
Virtuális gépek újraindítása a HDInsight-fürtben
Ebben a kiadásban támogatjuk a HDInsight-fürtben lévő virtuális gépek újraindítását a nem válaszoló csomópontok újraindításához. Jelenleg csak API-n keresztül teheti meg, a PowerShell és a CLI támogatása folyamatban van. Az API-val kapcsolatos további információkért tekintse meg ezt a dokumentumot.
Elavulás
A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.
A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
Viselkedésbeli változások
ESP Spark-fürtfejcsomópont méretének módosítása
Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. A fő csomópontként alacsony maggal és memóriával rendelkező virtuális gépek az ESP-fürttel kapcsolatos problémákat okozhatnak viszonylag alacsony processzor- és memóriakapacitás miatt. A kiadástól kezdve használja a Standard_D13_V2-nál magasabb termékváltozatokat, és Standard_E16_V3 az ESP Spark-fürtök fő csomópontjaként.
A fejcsomóponthoz legalább 4 magos virtuális gép szükséges
A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.
Fürtmunkacsomópont kiépítési módosítása
Amikor a feldolgozó csomópontok 80%-a készen áll, a fürt működési szakaszba lép. Ebben a szakaszban az ügyfelek minden adatsík-műveletet elvégezhetnek, például szkripteket és feladatokat futtathatnak. Az ügyfelek azonban nem végezhetnek semmilyen vezérlősík-műveletet, például fel- és leskálázást. Csak a törlés támogatott.
Az üzemeltetési szakasz után a fürt további 60 percet vár a fennmaradó 20%-os munkavégző csomópontokra. A 60 perces időszak végén a fürt a futó fázisba kerül, még akkor is, ha az összes feldolgozó csomópont még mindig nem érhető el. Ha egy fürt belép a futó fázisba, használhatja a szokásos módon. A rendszer a szabályozási terv olyan műveleteit is elfogadja, mint a vertikális fel- és leskálázás, valamint az olyan adatterv-műveletek, mint a szkriptek és feladatok futtatása. Ha a kért munkavégző csomópontok némelyike nem érhető el, a fürt részleges sikerként lesz megjelölve. A sikeresen üzembe helyezett csomópontokért díjat számítunk fel.
Új szolgáltatásnév létrehozása a HDInsighton keresztül
Korábban a fürt létrehozásakor az ügyfelek létrehozhatnak egy új szolgáltatásnevet a csatlakoztatott ADLS Gen 1-fiók eléréséhez az Azure Portalon. 2020. június 15-től az új szolgáltatásnév létrehozása nem lehetséges a HDInsight létrehozási munkafolyamatában, csak a meglévő szolgáltatásnév támogatott. Lásd: Szolgáltatásnév és tanúsítványok létrehozása az Azure Active Directory használatával.
Időtúllépés a fürtlétrehozással végzett szkriptműveletek esetében
A HDInsight támogatja a szkriptműveletek fürtlétrehozással való futtatását. Ebből a kiadásból a fürtlétrehozással kapcsolatos összes szkriptműveletnek 60 percen belül be kell fejeződnie, vagy időtúllépést kell végrehajtania. A futó fürtökre küldött szkriptműveletek nem lesznek hatással. További részletek itt olvashatók.
Közelgő változások
Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
HBase 2.0–2.1.6
A HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül.
Spark 2.4.0–2.4.4
A Spark verziója a 2.4.0-s verzióról a 2.4.4-es verzióra frissül.
Kafka 2.1.0–2.1.1
A Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül.
Ebben a dokumentumban megtalálja a HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit
Ismert problémák
Hive Warehouse Connector-probléma
Ebben a kiadásban probléma merült fel a Hive Warehouse Connector esetében. A javítás a következő kiadásban fog szerepelni. A kiadás előtt létrehozott meglévő fürtökre nincs hatással. Ha lehetséges, kerülje a fürt elvetését és újrakészítését. Ha további segítségre van szüksége ehhez, nyissa meg a támogatási jegyet.
Kiadás dátuma: 2020.09.01.
Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.
Új funkciók
A TLS 1.2 kényszerítése
A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ a TLS-ről. A HDInsight a TLS 1.2-t használja a nyilvános HTTP-végpontokon, de a TLS 1.1 továbbra is támogatott a visszamenőleges kompatibilitás érdekében.
Ezzel a kiadással az ügyfelek csak a nyilvános fürtvégponton keresztüli összes kapcsolat esetében választhatják a TLS 1.2-t. Ennek támogatásához megjelenik az új minSupportedTlsVersion tulajdonság, amely a fürt létrehozásakor adható meg. Ha a tulajdonság nincs beállítva, a fürt továbbra is támogatja a TLS 1.0, 1.1 és 1.2 elemet, ami megegyezik a mai működésével. Az ügyfelek ennek a tulajdonságnak az értékét "1.2" értékre állíthatják, ami azt jelenti, hogy a fürt csak a TLS 1.2-t és újabb verziót támogatja. További információ: Transport Layer Security.
Saját kulcs használata lemeztitkosításhoz
A HDInsight összes felügyelt lemeze azure Storage Service Encryption (SSE) védelemmel rendelkezik. Az ezeken a lemezeken lévő adatokat alapértelmezés szerint a Microsoft által felügyelt kulcsok titkosítják. Ettől a kiadástól kezdve használhatja a saját kulcsát (BYOK) a lemeztitkosításhoz, és kezelheti azt az Azure Key Vault használatával. A BYOK-titkosítás egy egylépéses konfiguráció a fürt létrehozása során, más költségek nélkül. Csak regisztrálja a HDInsightot felügyelt identitásként az Azure Key Vaultban, és adja hozzá a titkosítási kulcsot a fürt létrehozásakor. További információ: Ügyfél által felügyelt kulcslemez titkosítása.
Elavulás
Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.
Viselkedésbeli változások
Ennek a kiadásnak a viselkedése nem változik. A közelgő változásokra való felkészüléshez tekintse meg a közelgő módosításokat.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2 használatával. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 3.6-ban átvált a Spark 2.3-ra 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HDInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.
A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein
2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében. További információ: Apache Kafka számítási feladatok migrálása az Azure HDInsight 4.0-ba.
HBase 2.0–2.1.6
A közelgő HDInsight 4.0-s kiadásban a HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül
Spark 2.4.0–2.4.4
A HDInsight 4.0 közelgő kiadásában a Spark verziója a 2.4.0-s verzióról 2.4.4-es verzióra frissül
Kafka 2.1.0–2.1.1
A HDInsight 4.0 közelgő kiadásában a Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül
A fejcsomóponthoz legalább 4 magos virtuális gép szükséges
A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.
ESP Spark-fürtcsomópont méretének módosítása
A közelgő kiadásban az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. Az A-sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A következő kiadásban a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevő verziójában. A HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit itt találja.
Kiadás dátuma: 2019. 12. 17.
Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.
Új funkciók
Szolgáltatáscímkék
A szolgáltatáscímkék leegyszerűsítik az Azure-beli virtuális gépek és az Azure-beli virtuális hálózatok biztonságát azáltal, hogy lehetővé teszik az Azure-szolgáltatásokhoz való hálózati hozzáférés egyszerű korlátozását. A hálózati biztonsági csoport (NSG) szabályaiban szolgáltatáscímkéket használhat egy adott Azure-szolgáltatás globális vagy Azure-régiónkénti forgalmának engedélyezéséhez vagy letiltásához. Az Azure biztosítja az egyes címkék alapjául szolgáló IP-címek karbantartását. A hálózati biztonsági csoportok (NSG-k) HDInsight-szolgáltatáscímkék az állapot- és felügyeleti szolgáltatások IP-címeinek csoportjai. Ezek a csoportok segítenek minimalizálni a biztonsági szabályok létrehozásának összetettségét. A HDInsight-ügyfelek az Azure Portalon, a PowerShellen és a REST API-on keresztül engedélyezhetik a szolgáltatáscímkét. További információ: Hálózati biztonsági csoport (NSG) szolgáltatáscímkék az Azure HDInsighthoz.
Egyéni Ambari-adatbázis
A HDInsight mostantól lehetővé teszi, hogy saját SQL DB-t használjon az Apache Ambarihoz. Ezt az egyéni Ambari DB-t az Azure Portalon vagy Resource Manager-sablonon keresztül konfigurálhatja. Ez a funkció lehetővé teszi a megfelelő SQL DB kiválasztását a feldolgozási és kapacitási igényekhez. Az üzleti növekedési követelményeknek megfelelően egyszerűen frissíthet is. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.
Elavulás
Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.
Viselkedésbeli változások
Ennek a kiadásnak a viselkedése nem változik. A közelgő viselkedésváltozásokra való felkészüléshez tekintse meg a közelgő változásokat.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
Transport Layer Security (TLS) 1.2-es kényszerítése
A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ: Transport Layer Security. Bár az Azure HDInsight-fürtök TLS 1.2-kapcsolatokat fogadnak el nyilvános HTTPS-végpontokon, a TLS 1.1 továbbra is támogatott a régebbi ügyfelekkel való visszamenőleges kompatibilitás érdekében.
A következő kiadástól kezdve az új HDInsight-fürtöket csak TLS 1.2-kapcsolatok elfogadására használhatja és konfigurálhatja.
Az év későbbi részében, 2020. 06. 30-tól kezdődően az Azure HDInsight minden HTTPS-kapcsolat esetében kikényszeríti a TLS 1.2-es vagy újabb verzióit. Javasoljuk, hogy minden ügyfélt készítsen fel a TLS 1.2-es vagy újabb verzióinak kezelésére.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. 2020 februárjától (a pontos dátumot később közöljük) a HDInsight ehelyett Azure-beli virtuálisgép-méretezési csoportokat fog használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.
ESP Spark-fürtcsomópont méretének módosítása
A következő kiadásban:
- Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz.
- Az A sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához, mivel az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak.
HBase 2.0–2.1
A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
2020. december 31-ig kiterjesztettük a HDInsight 3.6 támogatását. További részleteket a támogatott HDInsight-verziókban talál.
A HDInsight 4.0 összetevőverziója nem változik.
Apache Zeppelin a HDInsight 3.6-on: 0.7.0-->0.7.3.
A dokumentumból megtalálhatja a legújabb összetevők verzióit.
Új régiók
Egyesült Arab Emírségek északi régiója
Az Egyesült Arab Emírségek északi régióinak felügyeleti IP-címei a következők: 65.52.252.96
és 65.52.252.97
.
Kiadás dátuma: 2019. 07. 11.
Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.
Új funkciók
HDInsight Identity Broker (HIB) (előzetes verzió)
A HDInsight Identity Broker (HIB) lehetővé teszi, hogy a felhasználók többtényezős hitelesítéssel (MFA) jelentkezzenek be az Apache Ambariba, és a szükséges Kerberos-jegyeket jelszókivonatok nélkül szerezzék be az Azure Active Directory tartományi szolgáltatások (AAD-DS). A HIB jelenleg csak az Azure Resource Management (ARM) sablonon keresztül üzembe helyezett fürtök esetében érhető el.
Kafka REST API-proxy (előzetes verzió)
A Kafka REST API-proxy egykattintásos üzembe helyezést biztosít a magas rendelkezésre állású REST-proxyhoz a Kafka-fürttel biztonságos Azure AD-engedélyezési és OAuth-protokollon keresztül.
Automatikus méretezés
Az Azure HDInsight automatikus skálázása mostantól általánosan elérhető minden régióban az Apache Spark- és Hadoop-fürttípusokhoz. Ez a funkció lehetővé teszi a big data-elemzési számítási feladatok költséghatékonyabb és hatékonyabb kezelését. Mostantól optimalizálhatja a HDInsight-fürtök használatát, és csak azért fizethet, amire szüksége van.
A követelményektől függően választhat a terhelésalapú és az ütemezésalapú automatikus skálázás között. A terhelésalapú automatikus skálázás fel- és leskálázhatja a fürtméretet az aktuális erőforrásigények alapján, míg az ütemezésalapú automatikus skálázás előre meghatározott ütemezés alapján módosíthatja a fürt méretét.
A HBase és az LLAP számítási feladatok automatikus skálázási támogatása szintén nyilvános előzetes verzió. További információ: Azure HDInsight-fürtök automatikus méretezése.
HDInsight gyorsított írások az Apache HBase-hez
A Gyorsított írási műveletek az Azure prémium szintű felügyelt SSD lemezeit használja az Apache HBase Előre írt napló (WAL) szolgáltatásához. További információ: Azure HDInsight-beli gyorsított írási műveletek Apache HBase-hez
Egyéni Ambari-adatbázis
A HDInsight most egy új kapacitást kínál, amely lehetővé teszi az ügyfelek számára, hogy saját SQL DB-t használjanak az Ambarihoz. Most az ügyfelek kiválaszthatják a megfelelő SQL DB-t az Ambarihoz, és egyszerűen frissíthetik azt saját üzleti növekedési igényeik alapján. Az üzembe helyezés egy Azure Resource Manager-sablonnal történik. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.
Az F sorozatú virtuális gépek már elérhetők a HDInsighttal
Az F sorozatú virtuális gépek (VM-ek) jó választás a HDInsight könnyű feldolgozási követelményekkel való használatának megkezdéséhez. Alacsonyabb óránkénti listaár esetén az F sorozat a legjobb ár-teljesítmény érték az Azure-portfólióban az Azure Compute Unit (ACU) alapján vCPU-nként. További információ: Az Azure HDInsight-fürt megfelelő virtuálisgép-méretének kiválasztása.
Elavulás
G sorozatú virtuális gépek elavulása
Ebből a kiadásból a G-sorozatú virtuális gépek már nem érhetők el a HDInsightban.
Dv1
virtuális gépek elavulása
Ebből a kiadásból a HDInsighttal rendelkező virtuális gépek használata Dv1
elavult. Minden ügyfélkérelmet Dv1
automatikusan kézbesítünk Dv2
. Nincs árkülönbség a virtuális gépek között Dv1
Dv2
.
Viselkedésbeli változások
Fürt által felügyelt lemez méretének módosítása
A HDInsight felügyelt lemezterületet biztosít a fürthöz. Ebből a kiadásból az új létrehozott fürt egyes csomópontjainak felügyelt lemezmérete 128 GB-ra módosul.
Közelgő változások
A következő változások a következő kiadásokban fognak történni.
Váltás Azure-beli virtuálisgép-méretezési csoportokra
A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Decembertől a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.
HBase 2.0–2.1
A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.
A sorozatú virtuális gépek elavulása ESP-fürt esetén
Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. A következő kiadásban az A-sorozatú virtuális gépek elavultak lesznek új ESP-fürtök létrehozásához.
Hibajavítások
A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.
Összetevő verzióváltozása
Ebben a kiadásban nincs változás az összetevők verziójában. A HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit itt találja.
Kiadás dátuma: 2019.07.08.
Összetevők verziói
Az összes HDInsight 4.0 összetevő hivatalos Apache-verzióit alább találja. A felsorolt összetevők a legújabb elérhető stabil verziók kiadásai.
- Apache Ambari 2.7.1
- Apache Hadoop 3.1.1
- Apache HBase 2.0.0
- Apache Hive 3.1.0
- Apache Kafka 1.1.1, 2.1.0
- Apache Mahout 0.9.0+
- Apache Oozie 4.2.0
- Apache Phoenix 4.7.0
- Apache Pig 0.16.0
- Apache Ranger 0.7.0
- Apache Slider 0.92.0
- Apache Spark 2.3.1, 2.4.0
- Apache Sqoop 1.4.7
- Apache TEZ 0.9.1
- Apache Zeppelin 0.8.0
- Apache ZooKeeper 3.4.6
Az Apache-összetevők későbbi verziói néha a HDP-disztribúcióban vannak csomagolva a fent felsorolt verziók mellett. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.
Apache-javítás adatai
A HDInsight 4.0-s verzióban elérhető javításokkal kapcsolatos további információkért tekintse meg az egyes termékek javításlistáit az alábbi táblázatban.
Terméknév | Javítással kapcsolatos információk |
---|---|
Ambari | Az Ambari-javítás adatai |
Hadoop | Hadoop-javítás adatai |
A HBase | A HBase-javítás adatai |
Hive | Ez a kiadás a Hive 3.1.0-s verziójához biztosít több Apache-javítást. |
Kafka | Ez a kiadás a Kafka 1.1.1-et biztosítja, és nincs több Apache-javítás. |
Oozie | Oozie-javítás adatai |
Phoenix | A Phoenix-javítás adatai |
Pig | Sertés-javítás adatai |
Ranger | Ranger-javítás adatai |
Spark | Spark-javítás adatai |
Sqoop | Ez a kiadás a Sqoop 1.4.7-et biztosítja, és nincs több Apache-javítás. |
Tez | Ez a kiadás a Tez 0.9.1-et biztosítja több Apache-javítás nélkül. |
Zeppelin | Ez a kiadás a Zeppelin 0.8.0-s verziójához biztosít több Apache-javítást. |
Zookeeper | A Zookeeper-javítás adatai |
Kijavítottuk a gyakori biztonsági réseket és kitettségeket
Az ebben a kiadásban megoldott biztonsági problémákról további információt a Hortonworks Rögzített gyakori biztonsági rései és kitettségei a HDP 3.0.1-es verziójában talál.
Ismert problémák
Az alapértelmezett telepítéssel rendelkező biztonságos HBase replikációja megszakadt
A HDInsight 4.0 esetén hajtsa végre a következő lépéseket:
Fürtközi kommunikáció engedélyezése.
Jelentkezzen be az aktív átjárócsomópontba.
Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
Írja be a parancsot
sudo kinit <domainuser>
.Írja be a következő parancsot a szkript futtatásához:
sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
HDInsight 3.6 esetén
Jelentkezzen be az aktív HMaster ZK-ba.
Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
Írja be a parancsot
sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>
.Írja be a következő parancsot:
sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
A Phoenix Sqlline leáll a HBase-fürt HDInsight 4.0-ra való migrálása után
Hajtsa végre a következő lépéseket:
- A következő Phoenix-táblák elvetése:
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
SYSTEM.MUTEX
SYSTEM.CATALOG
- Ha egyik táblát sem tudja törölni, indítsa újra a HBase-t a táblákhoz való kapcsolatok törléséhez.
- Futtassa ismét az
sqlline.py
parancsot. A Phoenix újra létrehozza az 1. lépésben törölt összes táblát. - Phoenix-táblák és -nézetek újragenerálása a HBase-adatokhoz.
A Phoenix Sqlline leáll, miután replikálta a HBase Phoenix metaadatait a HDInsight 3.6-ról 4.0-ra
Hajtsa végre a következő lépéseket:
- A replikáció végrehajtása előtt lépjen a cél 4.0-s fürtre, és hajtsa végre
sqlline.py
. Ez a parancs phoenix-táblákat hoz létre, amelyekSYSTEM.MUTEX
SYSTEM.LOG
csak a 4.0-s verzióban léteznek. - A következő táblák elvetése:
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
SYSTEM.CATALOG
- A HBase-replikáció indítása
Elavulás
Az Apache Storm és az ML-szolgáltatások nem érhetők el a HDInsight 4.0-ban.
Kiadás dátuma: 2019. 04. 14.
Új funkciók
Az új frissítések és képességek a következő kategóriákba sorolhatók:
A Hadoop és más nyílt forráskódú projektek frissítése – A több mint 20 nyílt forráskódú projekt 1000+ hibajavítása mellett ez a frissítés a Spark (2.3) és a Kafka (1.0) új verzióját is tartalmazza.
Az R Server 9.1 frissítése a Machine Learning Services 9.3-ra – Ezzel a kiadással az adattudósok és mérnökök számára biztosítjuk a legjobb nyílt forráskód az algoritmikus innovációkkal és a könnyű üzembe helyezéssel, amelyek mindegyike elérhető az előnyben részesített nyelven az Apache Spark sebességével. Ez a kiadás kibővíti az R Serverben kínált képességeket a Python hozzáadott támogatásával, ami a fürt nevének R Serverről ML-szolgáltatásokra való változásához vezet.
Az Azure Data Lake Storage Gen2 – HDInsight támogatása támogatja az Azure Data Lake Storage Gen2 előzetes kiadását. Az elérhető régiókban az ügyfelek választhatnak egy ADLS Gen2-fiókot elsődleges vagy másodlagos tárolóként a HDInsight-fürtöikhez.
HDInsight Enterprise biztonsági csomagfrissítések (előzetes verzió) – (előzetes verzió) Virtuális hálózati szolgáltatásvégpontok támogatása az Azure Blob Storage, az ADLS Gen1, az Azure Cosmos DB és az Azure DB számára.
Összetevők verziói
Az összes HDInsight 3.6-összetevő hivatalos Apache-verziói az alábbiakban láthatók. Az itt felsorolt összetevők a legújabb stabil verziók hivatalos Apache-kiadásai.
Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6
Néhány Apache-összetevő későbbi verziói néha a FENT felsorolt verziók mellett a HDP-disztribúcióban vannak csomagolva. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.
Apache-javítás adatai
Hadoop
Ez a kiadás a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosítja:
HADOOP-13190: A LoadBalancingKMSClientProvider említése a KMS HA dokumentációjában.
HADOOP-13227: Az AsyncCallHandlernek eseményvezérelt architektúrát kell használnia az aszinkron hívások kezeléséhez.
HADOOP-14104: Az ügyfélnek mindig meg kell kérdeznie a névcsomópontot a kms-szolgáltató elérési útjára.
HADOOP-14799: Update nimbus-jose-jwt to 4.41.1.
HADOOP-14814: Az FsServerDefaults inkompatibilis API-változásainak kijavítása HADOOP-14104-ra.
HADOOP-14903: Json-smart hozzáadása kifejezetten a pom.xml.
HADOOP-15042: Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0.
HADOOP-15255: Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez.
HADOOP-15265: a json-smart explicit kizárása a hadoop-auth pom.xml.
HDFS-7922: A ShortCircuitCache#close nem adja ki az ScheduledThreadPoolExecutorst.
HDFS-8496: A stopWriter() meghívása FSDatasetImpl zárral blokkolhat más szálakat (cmccabe).
HDFS-10267: Extra "szinkronizálva" az FsDatasetImpl#recoverAppend és az FsDatasetImpl#recoverClose rendszeren.
HDFS-10489: Elavult dfs.encryption.key.provider.uri HDFS titkosítási zónákhoz.
HDFS-11384: Adjon hozzá egy lehetőséget a kiegyensúlyozó számára a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs.
HDFS-11689: Új kivételt eredményezett a hive kód feltörése
DFSClient%isHDFSEncryptionEnabled
hacky
.HDFS-11711: A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkját.
HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay gyakran sikertelen.
HDFS-12781: Miután
Datanode
leállt, aNamenode
felhasználói felületenDatanode
figyelmeztető üzenet jelenik meg.HDFS-13054: PathIsNotEmptyDirectoryException kezelése törlési hívásban
DFSClient
.HDFS-13120: Összefűzés után a pillanatkép-diff sérült lehet.
YARN-3742: A YARN RM leáll, ha
ZKClient
a létrehozás túllépi az időkorlátot.YARN-6061: UncaughtExceptionHandler hozzáadása kritikus szálakhoz az RM-ben.
YARN-7558: A yarn logs parancs nem tud naplókat lekérni a tárolók futtatásához, ha a felhasználói felület hitelesítése engedélyezve van.
YARN-7697: A naplók lekérése a kész alkalmazáshoz sikertelen, annak ellenére, hogy a naplóösszesítés befejeződött.
A HDP 2.6.4 a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosította:
HADOOP-13700: Távolítsa el a sikertelenségeket
IOException
a TrashPolicy#inicializálásából és #getInstance aláírásokból.HADOOP-13709: A Shell által létrehozott alfolyamatok megtisztítása a folyamat kilépésekor.
HADOOP-14059: elírás az átnevezés (self, subdir) hibaüzenetben
s3a
.HADOOP-14542: Az Slf4j Logger API-t elfogadó IOUtils.cleanupWithLogger hozzáadása.
HDFS-9887: A WebHdfs szoftvercsatorna időtúllépéseinek konfigurálhatóknak kell lenniük.
HDFS-9914: A konfigurálható WebhDFS kapcsolódási/olvasási időtúllépésének javítása.
MAPREDUCE-6698: Időtúllépés növelése a TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser rendszeren.
YARN-4550: A TestContainerLanch egyes tesztjei nem angol nyelvű területi környezetben sikertelenek.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir időnként meghiúsul, mert IllegalArgumentException törlődik.
YARN-5042: A /sys/fs/cgroup csatlakoztatása a Docker-tárolókba egyszerű csatlakoztatásként.
YARN-5318: A TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider időszakos teszthibájának javítása.
YARN-5641: A Localizer a tároló befejezése után hátrahagyja a tarballokat.
YARN-6004: Refactor TestResourceLocalizationService#testDownloadingResourcesOnContainer, hogy kevesebb mint 150 sor legyen.
YARN-6078: A tárolók honosítási állapotban elakadtak.
YARN-6805: NPE LinuxContainerExecutor rendszerben null PrivilegedOperationException kilépési kód miatt.
A HBase
Ez a kiadás a HBase 1.1.2-t és az alábbi Apache-javításokat biztosítja.
HBASE-13376: A sztochasztikus terheléselosztó fejlesztései.
HBASE-13716: A Hadoop FSConstants használatának leállítása.
HBASE-13848: InfoServer SSL-jelszavak elérése hitelesítőadat-szolgáltató API-val.
HBASE-13947: A MasterServices használata kiszolgáló helyett a AssignmentManagerben.
HBASE-14135: HBase biztonsági mentés/visszaállítás 3. fázis: Biztonsági mentési lemezképek egyesítése.
HBASE-14473: Számítási régió területi beállítása párhuzamosan.
HBASE-14517: Verzió megjelenítése
regionserver's
a fő állapotlapon.HBASE-14606: TestSecureLoadIncrementalHFiles tesztek időtúllépése a csomagtartó buildben az Apache-on.
HBASE-15210: Az agresszív terheléselosztó naplózásának visszavonása ezredmásodpercenként több tíz sornál.
HBASE-15515: A LocalityBasedCandidateGenerator fejlesztése a Balancerben.
HBASE-15615: Helytelen alvási idő, amikor
RegionServerCallable
újra kell próbálkoznia.HBASE-16135: Előfordulhat, hogy a PeerClusterZnode az eltávolított társ rs alatt soha nem lesz törölve.
HBASE-16570: Számítási régió területi beállítása párhuzamosan indításkor.
HBASE-16810: A HBase Balancer a ArrayIndexOutOfBoundsException parancsot dobja, amikor
regionservers
a /hbase/draining znode-ban van, és ki van ürítve.HBASE-16852: A TestDefaultCompactSelection nem sikerült az 1.3 ágon.
HBASE-17387: Csökkentse a kivételjelentés többletterhelését a RegionActionResult for multi() fájlban.
HBASE-17850: Backup system repair segédprogram.
HBASE-17931: Rendszertáblák hozzárendelése a legmagasabb verziójú kiszolgálókhoz.
HBASE-18083: A nagy/kis méretű fájlok tiszta szálszámának konfigurálása a HFileCleanerben.
HBASE-18084: A CleanerChore javítása a címtárból való tisztításhoz, amely több lemezterületet használ fel.
HBASE-18164: Sokkal gyorsabb területi költségfüggvény és jelöltgenerátor.
HBASE-18212: Önálló módban a helyi fájlrendszer HBase-naplóival Figyelmeztető üzenet: Nem sikerült meghívni a "unbuffer" metódust az org.apache.hadoop.fs.FSDataInputStream osztályban.
HBASE-18808: A backuplogCleaner#getDeletableFiles() sikertelen konfigurációs beadása.
HBASE-19052: A FixedFileTrailernek fel kell ismernie a CellComparatorImpl osztályt az 1.x ágban.
HBASE-19065: A HRegion#bulkLoadHFiles() függvénynek várnia kell, amíg az egyidejű régió#flush() befejeződik.
HBASE-19285: Táblázatonkénti késési hisztogramok hozzáadása.
HBASE-19393: HTTP 413 FULL head, miközben SSL használatával fér hozzá a HBase felhasználói felületéhez.
HBASE-19395: [branch-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting sikertelen NPE-vel.
HBASE-19421: branch-1 nem fordítja le a Hadoop 3.0.0-ra.
HBASE-19934: HBaseSnapshotException, ha engedélyezve van az olvasási replikák, és online pillanatkép készül a régió felosztása után.
HBASE-20008: [backport] NullPointerException, amikor visszaállít egy pillanatképet egy régió felosztása után.
Hive
Ez a kiadás a Következő javítások mellett a Hive 1.2.1 és a Hive 2.1.0 verziót is tartalmazza:
Hive 1.2.1 Apache-javítások:
HIVE-10697: Az ObjectInspectorConvertors#UnionConvertor hibás átalakítást végez.
HIVE-11266: a külső táblák táblázatstatisztikái alapján helytelen eredmény(*) számít(*).
HIVE-12245: A HBase által támogatott táblák oszlop megjegyzéseinek támogatása.
HIVE-12315: Vektorizált kettős osztás javítása nullával.
HIVE-12360: Rossz keresés tömörítetlen ORC predikátum leküldéssel.
HIVE-12378: Kivétel a HBaseSerDe.szerializálja a bináris mezőt.
HIVE-12785: Az egyesítő típusú nézet és a struktúrához tartozó UDF nem működik.
HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.
HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.
HIVE-14421: Az FS.deleteOnExit _tmp_space.db fájlokra mutató hivatkozásokat tartalmaz.
HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.
HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.
HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.
HIVE-16232: Támogatja a quotedIdentifier oszlopainak statisztikai számítását.
HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.
HIVE-17013: A kérelem törlése egy alqueryvel a nézeten való kijelölés alapján.
HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.
HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.
HIVE-17419: TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg.
HIVE-17530: ClassCastException konvertáláskor
uniontype
.HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.
HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz
blobstores
: .HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.
HIVE-17731: adjon hozzá egy visszamenőleges
compat
beállítást a külső felhasználók számára a HIVE-11985-höz.HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.
HIVE-17829: ArrayIndexOutOfBoundsException – HBASE által támogatott táblák Avro-sémával.
Hive2
HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.
HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .
HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.
HIVE-18031: Az Alter Database-művelet replikációjának támogatása.
HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.
HIVE-18189: A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értékét igazra állítja.
HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.
HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.
HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.
HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.
HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.
HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.
HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.
HIVE-18429: A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet.
HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.
HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.
HIVE-18467: támogatja a teljes raktári memóriaképet / terhelést + adatbázisesemények létrehozását/elvetést (Anishek Agarwal, Sankar Hariappan véleményezve).
HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.
HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.
HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.
HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.
HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.
HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.
HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.
HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.
HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.
HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.
HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.
HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".
HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.
HIVE-18907: Hozzon létre segédprogramot a hive-18817 savas kulcs indexével kapcsolatos probléma megoldásához.
Hive 2.1.0 Apache-javítások:
HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.
HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.
HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.
HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.
HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.
HIVE-16757: Távolítsa el az elavult AbstractRelNode.getRows hívásait.
HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.
HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.
HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.
HIVE-17530: ClassCastException konvertáláskor
uniontype
.HIVE-17600: Az OrcFile kényszerítéseBufferSize felhasználó-settable.
HIVE-17601: a LlapServiceDriver hibakezelésének javítása.
HIVE-17613: Távolítsa el az objektumkészleteket a rövid, azonos szálú foglalásokhoz.
HIVE-17617: Az üres eredményhalmaz összesítésének tartalmaznia kell az üres csoportosítási csoport csoportosítását.
HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.
HIVE-17629: CachedStore: Jóváhagyott/nem jóváhagyott konfigurációval rendelkezik, amely lehetővé teszi a táblák/partíciók szelektív gyorsítótárazását, és engedélyezi az olvasást az előzetes használat során.
HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz
blobstores
: .HIVE-17702: helytelen isRepeating kezelés decimális olvasóban az ORC-ban.
HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.
HIVE-17731: adjon hozzá egy visszamenőleges
compat
beállítást a külső felhasználók számára a HIVE-11985-höz.HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.
HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.
HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .
HIVE-18006: A HLLDenseRegister memóriaigényének optimalizálása.
HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.
HIVE-18031: Az Alter Database-művelet replikációjának támogatása.
HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.
HIVE-18189: A pozíció szerinti sorrend nem működik, ha
cbo
le van tiltva.HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.
HIVE-18269: LLAP: A lassú feldolgozási folyamattal rendelkező gyors
llap
io OOM-hoz vezethet.HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.
HIVE-18318: Az LLAP rekordolvasónak akkor is ellenőriznie kell a megszakítást, ha nem blokkolja.
HIVE-18326: LLAP Tez scheduler – csak előzetes feladatok, ha függőség van közöttük.
HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.
HIVE-18331: A TGT lejárata után adja hozzá a relogin-t, és néhány naplózást/lambdát.
HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.
HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.
HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.
HIVE-18384: ConcurrentModificationException a könyvtárban
log4j2.x
.HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.
HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.
HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.
HIVE-18462: (A térképillesztéssel rendelkező lekérdezések magyarázata oszlopexprMap oszlopa formázatlan oszlopnévvel).
HIVE-18467: teljes raktári memóriakép/ terhelés támogatása + adatbázisesemények létrehozása/elvetése.
HIVE-18488: Az LLAP ORC-olvasók hiányoznak néhány null értékű ellenőrzésből.
HIVE-18490: A EXISTS és a NOT EXISTS lekérdezés nem egyenlő predikátummal helytelen eredményt eredményezhet.
HIVE-18506: LlapBaseInputFormat – negatív tömbindex.
HIVE-18517: Vektorizálás: Javítsa ki a VectorMapOperatort a VRB-k elfogadásához, és ellenőrizze a vektorizált jelzőt helyesen az LLAP gyorsítótárazásának támogatásához).
HIVE-18523: Az összegző sor javítása, ha nincsenek bemenetek.
HIVE-18528: Az ObjectStore összesítő statisztikái hibás eredményt kapnak.
HIVE-18530: A replikációnak kihagynia kell az MM-táblát (egyelőre).
HIVE-18548: Az importálás javítása
log4j
.HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.
HIVE-18577: SzemanticAnalyzer.validate van néhány értelmetlen metaadattár-hívások.
HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.
HIVE-18597: LLAP: Mindig csomagolja be az
log4j2
API jar fororg.apache.log4j
.HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.
HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.
HIVE-18643: ne ellenőrizze az ACID-műveletek archivált partícióit.
HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.
HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.
HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.
HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.
HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.
HIVE-18815: Távolítsa el a nem használt funkciót a HPL/SQL-ben.
HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.
HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".
HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.
HIVE-18944: A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során.
Kafka
Ez a kiadás a Kafka 1.0.0-s és az alábbi Apache-javításokat tartalmazza.
KAFKA-4827: Kafka connect: hiba speciális karakterekkel az összekötő nevében.
KAFKA-6118: Átmeneti hiba a kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials fájlban.
KAFKA-6156: A JmxReporter nem tudja kezelni a windows stílusú címtár elérési útjait.
KAFKA-6164: A ClientQuotaManager szálak megakadályozzák a leállítást, amikor hiba történik a naplók betöltésekor.
KAFKA-6167: A streamek könyvtárának időbélyege kettőspontot tartalmaz, amely egy illegális karakter.
A KAFKA-6179: RecordQueue.clear() nem törli a MinTimestampTracker által fenntartott listát.
KAFKA-6185: Kiválasztó memória kiszivárgása nagy valószínűséggel OOM, ha van egy lekonvertálás.
KAFKA-6190: A GlobalKTable soha nem fejezi be a visszaállítást tranzakciós üzenetek használatakor.
KAFKA-6210: IllegalArgumentException, ha az 1.0.0 az inter.broker.protocol.version vagy log.message.format.version verzióhoz használatos.
KAFKA-6214: A készenléti replikák memóriaállapot-tárolóval való használata miatt a Streamek összeomlanak.
KAFKA-6215: A KafkaStreamsTest meghibásodik a csomagtartóban.
KAFKA-6238: A protokollverzióval kapcsolatos problémák az 1.0.0-s verzióra való frissítéskor.
KAFKA-6260: Az AbstractCoordinator nem kezeli egyértelműen a NULL-kivételt.
KAFKA-6261: A kérelemnaplózás kivételt eredményez, ha acks=0.
KAFKA-6274: A forrásállapot-tároló automatikusan létrehozott neveinek javítása
KTable
.
Mahout
A HDP-2.3.x és a 2.4.x verzióban aHelyett, hogy a Mahout adott Apache-kiadását szállítanánk, szinkronizáltunk egy adott változatpontra az Apache Mahout-csomagtartón. Ez a változat a 0.9.0-s kiadás után, de a 0.10.0-s kiadás előtt van. Ez számos hibajavítást és funkcionális fejlesztést biztosít a 0.9.0-s kiadáshoz, de a Mahout funkció stabil kiadását biztosítja a 0.10.0-s verzióban az új Spark-alapú Mahoutra való teljes átalakítás előtt.
A HDP 2.3.x és 2.4.x verzióban a Mahouthoz választott korrektúrapont az Apache Mahout "mahout-0.10.x" ágából származik, 2014. december 19-én, a GitHub 0f037cb03e77c096-os verziójából.
A HDP-2.5.x és a 2.6.x verzióban eltávolítottuk a "commons-httpclient" kódtárat a Mahoutból, mert elavult kódtárként tekintünk rá, és biztonsági problémákat tapasztalhatunk, és a Mahout Hadoop-Client-t a HDP-2.5-ben használt 2.7.3-as verzióra frissítettük. Ennek eredménye:
A korábban lefordított Mahout-feladatokat újra kell fordítani a HDP-2.5 vagy 2.6 környezetben.
Előfordulhat, hogy egyes Mahout-feladatok "ClassNotFoundException" vagy "nem tölthetők be osztály" hibába ütközhetnek az "org.apache.commons.httpclient", "net.java.dev.jets3t" vagy a kapcsolódó osztálynév-előtagokkal kapcsolatban. Ha ezek a hibák történnek, megfontolhatja, hogy manuálisan kell-e telepíteni a feladathoz szükséges jarokat az osztályútvonalon, ha az elavult kódtár biztonsági problémáinak kockázata elfogadható a környezetben.
Még kisebb eséllyel előfordulhat, hogy egyes Mahout-feladatok összeomlanak a Mahout hbase-client kódhívásaiban a hadoop-gyakori kódtárakhoz a bináris kompatibilitási problémák miatt. Sajnos nincs mód a probléma megoldására, kivéve a Mahout HDP-2.4.2-es verziójára való visszaállítást, amely biztonsági problémákat eredményezhet. Ez ismét szokatlannak kell lennie, és nem valószínű, hogy egy adott Mahout-feladatcsomagban fordul elő.
Oozie
Ez a kiadás az Oozie 4.2.0-t a következő Apache-javításokkal biztosítja.
OOZIE-2571: Spark.scala.binary.version Maven tulajdonság hozzáadása a Scala 2.11 használatához.
OOZIE-2606: Állítsa be a spark.yarn.jars-t a Spark 2.0 Oozie-val való javításához.
OOZIE-2658: --driver-class-path felülírhatja az osztályútvonalat a SparkMainban.
OOZIE-2787: Az Oozie kétszer terjeszti az alkalmazás jart, így a Spark-feladat meghiúsul.
OOZIE-2792:
Hive2
a művelet nem elemzi megfelelően a Spark-alkalmazás azonosítóját a naplófájlból, ha a Hive a Sparkon van.OOZIE-2799: A Spark SQL helyének beállítása a hive-en.
OOZIE-2802: Spark-művelet meghiúsul a Spark 2.1.0-n duplikáció
sharelibs
miatt.OOZIE-2923: A Spark-beállítások elemzésének javítása.
OOZIE-3109: SCA: Helyek közötti szkriptelés: Tükrözve.
OOZIE-3139: Az Oozie helytelenül ellenőrzi a munkafolyamatot.
OOZIE-3167: Tomcat verzió frissítése az Oozie 4.3 ágon.
Phoenix
Ez a kiadás a Phoenix 4.7.0-s verziót és a következő Apache-javításokat tartalmazza:
PHOENIX-1751: Aggregációk, rendezés stb. végrehajtása a preScannerNextben a postScannerOpen helyett.
PHOENIX-2714: Helyes bájtbecslés a BaseResultIteratorsban, és interfészként elérhetővé tehető.
PHOENIX-2724: A nagy számú segédoszlopot tartalmazó lekérdezés lassabb, mint a statisztikák.
PHOENIX-2855: Megkerülő megoldás: A Növekményes timeRange nincs szerializálva a HBase 1.2-hez.
PHOENIX-3023: Lassú teljesítmény, ha alapértelmezés szerint a korlát lekérdezések párhuzamosan futnak.
PHOENIX-3040: Ne használjon útmutatókat a lekérdezések soros végrehajtásához.
PHOENIX-3112: A részleges sorvizsgálat nem megfelelően van kezelve.
PHOENIX-3240: ClassCastException a Pig loader.
PHOENIX-3452: A NULLS FIRST/NULL LAST nem befolyásolhatja, hogy a GROUP BY a sorrend megőrzése.
PHOENIX-3469: HELYTELEN rendezési sorrend a DESC elsődleges kulcsához a NULLS LAST/NULLS FIRST értékhez.
PHOENIX-3789: Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably nyelven.
PHOENIX-3865: AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt.
PHOENIX-4290: A DELETE teljes táblázatvizsgálata nem módosítható indexekkel rendelkező táblával.
PHOENIX-4373: A helyi indexváltozó hosszkulcsa záró null értékekkel rendelkezhet az upserting során.
PHOENIX-4466: java.lang.RuntimeException: válaszkód 500 – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez.
PHOENIX-4489: HBase-kapcsolati szivárgás a Phoenix MR Jobsban.
PHOENIX-4525: Egész szám túlcsordulás a GroupBy-végrehajtásban.
PHOENIX-4560: AZ ORDER BY és a GROUP BY nem működik, ha a WHERE oszlopban
pk
van.PHOENIX-4586: A UPSERT SELECT nem veszi figyelembe az allekérdezések összehasonlító operátorait.
PHOENIX-4588: Klónozás kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION.
Pig
Ez a kiadás a Pig 0.16.0-t a következő Apache-javításokkal biztosítja.
Ranger
Ez a kiadás a Ranger 0.7.0-s és az alábbi Apache-javításokat biztosítja:
RANGER-1805: Kódfejlesztés a js ajánlott eljárásainak követéséhez.
RANGER-1960: Vegye figyelembe a pillanatkép táblanevét a törlésnél.
RANGER-1982: Hibajavítás a Ranger-rendszergazda és a Ranger KMS elemzési metrikájához.
RANGER-1984: A HBase naplórekordjai nem feltétlenül jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét.
RANGER-1988: Javítsa ki a nem biztonságos véletlenszerűséget.
RANGER-1990: Egyirányú SSL MySQL-támogatás hozzáadása a Ranger-rendszergazdához.
RANGER-2006: A statikus kódelemzés által észlelt problémák megoldása a rangerben
usersync
a szinkronizálási forráshozldap
.RANGER-2008: A szabályzatok kiértékelése többsoros szabályzatfeltételek esetén sikertelen.
Csúszka
Ez a kiadás a Slider 0.92.0-s verziójával rendelkezik, és nincs több Apache-javítás.
Spark
Ez a kiadás a Spark 2.3.0-t és a következő Apache-javításokat biztosítja:
SPARK-13587: A virtualenv támogatása a Pysparkban.
SPARK-19964: A SparkSubmitSuite távoli adattáraiból való olvasás elkerülése.
SPARK-22882: ML-teszt strukturált streameléshez: ml.classification.
SPARK-22915: Streamelési tesztek a spark.ml.feature-hez N-től Z-ig.
SPARK-23020: Kijavítottunk egy másik versenyt a folyamatindító tesztben.
SPARK-23040: Megszakítható iterátort ad vissza a shuffle olvasóhoz.
SPARK-23173: Ne hozzon létre sérült parquet-fájlokat, amikor adatokat tölt be A JSON-ból.
SPARK-23264: A scala javítása. MatchError a literals.sql.out fájlban.
SPARK-23288: Kimeneti metrikák javítása parketta-fogadóval.
SPARK-23329: A trigonometriai függvények dokumentációjának javítása.
SPARK-23406: Stream-stream öncsatlakozások engedélyezése a branch-2.3-hoz.
SPARK-23434: A Spark nem figyelmezteti a "metaadat-könyvtárat" egy HDFS-fájl elérési útjára.
SPARK-23436: Csak akkor következtethet dátumként partícióra, ha a dátumra vethető.
SPARK-23457: Feladatvégző figyelők regisztrálása először a ParquetFileFormatban.
SPARK-23462: Javítsa a hiányzó mező hibaüzenetét a StructType-ban.
SPARK-23490: Ellenőrizze a storage.locationUri függvényt a CreateTable meglévő táblájával.
SPARK-23524: A nagy helyi shuffle blokkokat nem szabad ellenőrizni a sérülés miatt.
SPARK-23525: Az ALTER TABLE CHANGE COLUMN COMMENT támogatása külső hive-táblához.
SPARK-23553: A tesztek nem feltételezik a "spark.sql.sources.default" alapértelmezett értékét.
SPARK-23569: Lehetővé teszi, hogy pandas_udf python3 stílusú, szövegjegyzetes függvényekkel működjön.
SPARK-23570: Spark 2.3.0 hozzáadása a HiveExternalCatalogVersionsSuite-ban.
SPARK-23598: A BufferedRowIterator metódusainak nyilvánossá tétele a nagy lekérdezések futásidejű hibáinak elkerülése érdekében.
SPARK-23599: Adjon hozzá egy UUID-generátort pszeudo-véletlenszerű számokból.
SPARK-23599: A RandomUUIDGenerator használata uuid kifejezésben.
SPARK-23601: Fájlok eltávolítása
.md5
a kiadásból.SPARK-23608: Szinkronizálás hozzáadása SHS-ben az attachSparkUI és a detachSparkUI függvények között, hogy elkerülje a Jetty Handlers egyidejű módosítási problémáját.
SPARK-23614: A gyorsítótárazás használatakor a helytelen újrahasználati csere javítása.
SPARK-23623: Kerülje a gyorsítótárazott fogyasztók egyidejű használatát a CachedKafkaConsumerben (branch-2.3).
SPARK-23624: A pushFilters metódus dokumentumának módosítása a Datasource V2-ben.
SPARK-23628: calculateParamLength nem ad vissza 1 + num kifejezéseket.
SPARK-23630: Lehetővé teszi, hogy a felhasználó hadoop-conf testreszabásai érvénybe lépjenek.
SPARK-23635: A Spark végrehajtói env változóját ugyanaz a név am env változó írja felül.
SPARK-23637: A Yarn több erőforrást is lefoglalhat, ha ugyanazt a végrehajtót többször is megölik.
SPARK-23639: Jogkivonat beszerzése az init metaadattár-ügyfél előtt a SparkSQL CLI-ben.
SPARK-23642: AccumulatorV2 alosztály isZero
scaladoc
javítás.SPARK-23644: Használja az abszolút elérési utat a REST-híváshoz az SHS-ben.
SPARK-23645: Docs RE "pandas_udf" hozzáadása kulcsszó arg-ekkel.
SPARK-23649: Az UTF-8-ban nem engedélyezett karakter kihagyása.
SPARK-23658: Az InProcessAppHandle helytelen osztályt használ a getLoggerben.
SPARK-23660: A yarnfürt módban lévő kivétel kijavítása, ha az alkalmazás gyorsan véget ért.
SPARK-23670: Memóriaszivárgás javítása a SparkPlanGraphWrapperen.
SPARK-23671: Az SHS-szálkészlet engedélyezésének feltétele.
SPARK-23691: Ha lehetséges, használja sql_conf util-t a PySpark-tesztekben.
SPARK-23695: Kinesis-streamelési tesztek hibaüzenetének javítása.
SPARK-23706: spark.conf.get(value, default=None) a PySparkban a None értéket kell előállítania.
SPARK-23728: Az ML-tesztek javítása a streamelési teszteket futtató várt kivételekkel.
SPARK-23729: URI-töredék tiszteletben tartása a globok feloldásakor.
SPARK-23759: Nem lehet a Spark felhasználói felületét egy adott gazdagépnévhez/ IP-címhez kötni.
SPARK-23760: CodegenContext.withSubExprEliminationExprs a CSE állapotát helyesen kell menteni/visszaállítani.
SPARK-23769: Távolítsa el az ellenőrzést szükségtelenül letiltó
Scalastyle
megjegyzéseket.SPARK-23788: A Verseny javítása a StreamingQuerySuite-ban.
SPARK-23802: A PropagálásEmptyRelation feloldatlan állapotban hagyhatja a lekérdezéstervet.
SPARK-23806: A Broadcast.unpersist végzetes kivételt okozhat dinamikus lefoglalás esetén.
SPARK-23808: Alapértelmezett Spark-munkamenet beállítása csak tesztalapú Spark-munkamenetekben.
SPARK-23809: Az aktív SparkSession-t a getOrCreate-nak kell beállítania.
SPARK-23816: A törölt tevékenységeknek figyelmen kívül kell hagyniuk a FetchFailures parancsokat.
SPARK-23822: A Parquet-sémaeltérések hibaüzenetének javítása.
SPARK-23823: A forrás megőrzése a transformExpressionban.
SPARK-23827: A StreamingJoinExecnek biztosítania kell, hogy a bemeneti adatok meghatározott számú partícióra legyenek particionálva.
SPARK-23838: Az SQL-lekérdezés futtatása "befejezettként" jelenik meg az SQL lapon.
SPARK-23881: Javítás pelyhes teszt JobCancellationSuite." a shuffle olvasó megszakítható iterátora".
Sqoop
Ez a kiadás a Sqoop 1.4.6-ot biztosítja több Apache-javítás nélkül.
Storm
Ez a kiadás a Storm 1.1.1-et és a következő Apache-javításokat biztosítja:
STORM-2652: A JmsSpout nyílt metódusban kidobott kivétel.
STORM-2841: testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul.
STORM-2854: Az IEventLogger elérhetővé tétele az eseménynapló csatlakoztathatóvá tétele érdekében.
STORM-2870: A FileBasedEventLogger kiszivárog a nem démoni ExecutorService szolgáltatásból, ami megakadályozza a folyamat befejezését.
STORM-2960: Jobban hangsúlyozni fontos, hogy megfelelő operációsrendszer-fiókot állítson be a Storm-folyamatokhoz.
Tez
Ez a kiadás a Tez 0.7.0-s és a következő Apache-javításokat tartalmazza:
- TEZ-1526: LoadingCache for TezTaskID slow for large jobs.
Zeppelin
Ez a kiadás a Zeppelin 0.7.3-at biztosítja, és nincs több Apache-javítás.
ZEPPELIN-3072: A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van.
ZEPPELIN-3129: A Zeppelin felhasználói felülete nem jelentkezik ki az Internet Explorerben.
ZEPPELIN-903: Cserélje le a CXF-et a következőre
Jersey2
: .
ZooKeeper
Ez a kiadás a ZooKeeper 3.4.6-ot és a következő Apache-javításokat biztosítja:
ZOOKEEPER-1256: A ClientPortBindTest sikertelen macOS X rendszeren.
ZOOKEEPER-1901: [JDK8] Gyermekek rendezése összehasonlításhoz az AsyncOps-tesztekben.
ZOOKEEPER-2423: A Netty verzió frissítése biztonsági rés miatt (CVE-2014-3488).
ZOOKEEPER-2693: DOS támadás wchp/wchc négy betűs szavak (4lw).
ZOOKEEPER-2726: Patch vezet be egy potenciális versenyfeltétel.
Kijavítottuk a gyakori biztonsági réseket és kitettségeket
Ez a szakasz az ebben a kiadásban kezelt összes gyakori biztonsági rést és kitettséget (CVE) ismerteti.
CVE-2017-7676
Összefoglalás: Az Apache Ranger-szabályzat kiértékelése figyelmen kívül hagyja a karaktereket a *karakter után |
---|
Súlyosság: Kritikus |
Szállító: Hortonworks |
Érintett verziók: HDInsight 3.6-os verziók, beleértve az Apache Ranger 0.5.x/0.6.x/0.7.0-s verzióját |
Érintett felhasználók: A Ranger-szabályzatokat használó környezetek "*" helyettesítő karakter után karakterekkel – például saját*teszt, teszt*.txt |
Hatás: A szabályzat erőforrás-egyeztetője figyelmen kívül hagyja a karaktereket a "*" helyettesítő karakter után, ami nem szándékos viselkedést eredményezhet. |
Javítás részletei: A Ranger-szabályzat erőforrás-egyeztetője frissült a helyettesítő karakterek megfelelő kezelése érdekében. |
Javasolt művelet: Frissítés HDI 3.6-ra (Apache Ranger 0.7.1+). |
CVE-2017-7677
Összefoglalás: Az Apache Ranger Hive-engedélyezőnek RWX-engedélyt kell keresnie külső hely megadásakor |
---|
Súlyosság: Kritikus |
Szállító: Hortonworks |
Érintett verziók: HDInsight 3.6-os verziók, beleértve az Apache Ranger 0.5.x/0.6.x/0.7.0-s verzióját |
Érintett felhasználók: A hive-táblákhoz külső helyet használó környezetek |
Hatás: A hive-táblákhoz külső helyet használó környezetekben az Apache Ranger Hive Authorizernek RWX-engedélyt kell keresnie a tábla létrehozásához megadott külső helyhez. |
Javítás részletei: A Ranger Hive-engedélyező frissítve lett, hogy megfelelően kezelje a külső hely engedélyellenőrzését. |
Ajánlott művelet: A felhasználóknak frissíteni kell a HDI 3.6-ra (Apache Ranger 0.7.1+). |
CVE-2017-9799
Összefoglalás: A kód nem megfelelő felhasználóként való lehetséges végrehajtása az Apache Stormban |
---|
Súlyosság: Fontos |
Szállító: Hortonworks |
Érintett verziók: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0 |
Érintett felhasználók: Azok a felhasználók, akik biztonságos módban használják a Stormot, és blobstore-t használnak topológiaalapú összetevők terjesztésére, vagy a blobstore használatával terjesztik a topológia-erőforrásokat. |
Hatás: Bizonyos helyzetekben és a vihar konfigurációiban elméletileg lehetséges, hogy a topológia tulajdonosa becsapja a felügyelőt, hogy egy másik, nem gyökérfelhasználóként indítsa el a feldolgozót. A legrosszabb esetben ez a másik felhasználó hitelesítő adatainak biztonságossá tételéhez vezethet. Ez a biztonsági rés csak olyan Apache Storm-telepítésekre vonatkozik, amelyeken engedélyezve van a biztonság. |
Megoldás: Frissítsen a HDP-2.6.2.1 verzióra, mivel jelenleg nincsenek áthidaló megoldások. |
CVE-2016-4970
Összefoglalás: kezelő/ssl/OpenSslEngine.java a Netty 4.0.x-ben 4.0.37 előtt. Végleges és 4.1.x előtt 4.1.1. A Final lehetővé teszi, hogy a távoli támadók szolgáltatásmegtagadást okozzanak (végtelen ciklus) |
---|
Súlyosság: Közepes |
Szállító: Hortonworks |
Érintett verziók: HDP 2.x.x 2.3.x óta |
Érintett felhasználók: A HDFS-t használó összes felhasználó. |
Hatás: Az hatás alacsony, mivel a Hortonworks nem használja OpenSslEngine.java közvetlenül a Hadoop-kódbázisban. |
Ajánlott művelet: Frissítsen a HDP 2.6.3-ra. |
CVE-2016-8746
Összefoglalás: Az Apache Ranger elérési útjának egyeztetésével kapcsolatos probléma a szabályzatértékelésben |
---|
Súlyosság: Normál |
Szállító: Hortonworks |
Érintett verziók: Minden HDP 2.5-ös verzió, beleértve az Apache Ranger 0.6.0/0.6.1/0.6.2-et |
Érintett felhasználók: A ranger házirend-felügyeleti eszköz minden felhasználója. |
Hatás: A Ranger szabályzatmotorja helytelenül egyezik meg bizonyos feltételek elérési útjaival, ha egy szabályzat helyettesítő karaktereket és rekurzív jelzőket tartalmaz. |
Javítás részletei: Kijavítottuk a szabályzat-kiértékelési logikát |
Ajánlott művelet: A felhasználóknak a HDP 2.5.4+-ra (Apache Ranger 0.6.3+) vagy a HDP 2.6+-ra kell frissíteni (Az Apache Ranger 0.7.0+-val) |
CVE-2016-8751
Összefoglalás: Az Apache Ranger webhelyközi parancsfájl-készítési problémát észlelt |
---|
Súlyosság: Normál |
Szállító: Hortonworks |
Érintett verziók: Minden HDP 2.3/2.4/2.5 verzió, beleértve az Apache Ranger 0.5.x/0.6.0/0.6.1/0.6.2 verzióját |
Érintett felhasználók: A ranger házirend-felügyeleti eszköz minden felhasználója. |
Hatás: Az Apache Ranger sebezhető a tárolt helyek közötti szkripteléssel szemben egyéni szabályzatfeltételek megadásakor. A rendszergazdai felhasználók tetszőleges JavaScript-kódot tárolhatnak, amikor a normál felhasználók bejelentkeznek és házirendeket érnek el. |
Részletes javítás: Hozzáadott logika a felhasználói bemenet megtisztításához. |
Ajánlott művelet: A felhasználóknak a HDP 2.5.4+-ra (Apache Ranger 0.6.3+) vagy a HDP 2.6+-ra kell frissíteni (Az Apache Ranger 0.7.0+-val) |
Kijavítottuk a támogatással kapcsolatos problémákat
A kijavított problémák olyan kiválasztott problémákat jelölnek, amelyeket korábban a Hortonworks támogatási szolgálata naplózott, de az aktuális kiadásban már megoldódott. Előfordulhat, hogy ezeket a problémákat a korábbi verziókban jelentették az Ismert problémák szakaszban; azt jelenti, hogy az ügyfelek jelentették őket, vagy a Hortonworks Quality Engineering csapata azonosította őket.
Helytelen eredmények
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100019 | YARN-8145 | yarn rmadmin -getGroups nem ad vissza frissített csoportokat a felhasználó számára |
BUG-100058 | PHOENIX-2645 | A helyettesítő karakterek nem egyeznek az új karakterekkel |
BUG-100266 | PHOENIX-3521, PHOENIX-4190 | A helyi indexekkel kapcsolatos eredmények hibásak |
BUG-88774 | HIVE-17617, HIVE-18413, HIVE-18523 | a lekérdezés36 sikertelen, a sorok száma nem egyezik |
BUG-89765 | HIVE-17702 | helytelen isRepeating handling in decimal reader in ORC |
BUG-92293 | HADOOP-15042 | Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0 |
BUG-92345 | ATLAS-2285 | Felhasználói felület: Átnevezett mentett keresés dátumattribútummal. |
BUG-92563 | HIVE-17495, HIVE-18528 | Az ObjectStore statisztikáinak összesítése helytelen eredményt kap |
BUG-92957 | HIVE-11266 | count(*) helytelen eredmény a külső táblák táblázatstatisztikái alapján |
BUG-93097 | RANGER-1944 | A felügyeleti naplózás műveletszűrője nem működik |
BUG-93335 | HIVE-12315 | vectorization_short_regress.q nem megfelelő eredményproblémával rendelkezik a kettős számításhoz |
BUG-93415 | HIVE-18258, HIVE-18310 | Vektorizálás: A MERGEPARTIAL által a duplikált oszlopokkal rendelkező csökkentési oldalcsoport nem működik |
BUG-93939 | ATLAS-2294 | Egy típus létrehozásakor hozzáadott "leírás" extra paraméter |
BUG-94007 | PHOENIX-1751, PHOENIX-3112 | A Phoenix-lekérdezések null értékeket ad vissza a HBase részleges sorai miatt |
BUG-94266 | HIVE-12505 | Az felülírás beszúrása ugyanabban a titkosított zónában csendesen nem távolít el néhány meglévő fájlt |
BUG-94414 | HIVE-15680 | Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC-tábla kétszer hivatkozik a lekérdezésben |
BUG-95048 | HIVE-18490 | A EXISTS és a NOT EXISTS argumentummal nem egyenlő predikátummal rendelkező lekérdezés helytelen eredményt eredményezhet |
BUG-95053 | PHOENIX-3865 | AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt |
BUG-95476 | RANGER-1966 | A házirendmotor inicializálása bizonyos esetekben nem hoz létre környezetnövelőket |
BUG-95566 | SPARK-23281 | A lekérdezés helytelen sorrendbe állítja az eredményeket, ha egy összetett sorrend záradék szerint az eredeti oszlopokra és aliasokra is hivatkozik |
BUG-95907 | PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560 | Az ORDER BY ASC-vel kapcsolatos problémák elhárítása a lekérdezés összesítésekor |
BUG-96389 | PHOENIX-4586 | A UPSERT SELECT nem veszi figyelembe az allekérdezések összehasonlító operátorait. |
BUG-96602 | HIVE-18660 | A PCR nem tesz különbséget a partíció és a virtuális oszlopok között |
BUG-97686 | ATLAS-2468 | [Alapszintű keresés] A NEQ numerikus típusokkal való használatakor az OR-esetekkel kapcsolatos probléma |
BUG-97708 | HIVE-18817 | ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során. |
BUG-97864 | HIVE-18833 | Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként" |
BUG-97889 | RANGER-2008 | A szabályzat kiértékelése többsoros szabályzatfeltételek esetén sikertelen. |
BUG-98655 | RANGER-2066 | A HBase-oszlopcsalád elérését az oszlopcsalád címkézett oszlopa engedélyezi |
BUG-99883 | HIVE-19073, HIVE-19145 | A StatsOptimizer állandó oszlopokat zsugoríthat |
Egyéb
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100267 | HBASE-17170 | A HBase a DoNotRetryIOException újrapróbálkozását is megkísérli az osztálybetöltők eltérései miatt. |
BUG-92367 | YARN-7558 | A "yarn logs" parancs nem tudja lekérni a tárolók futtatásához szükséges naplókat, ha a felhasználói felület hitelesítése engedélyezve van. |
BUG-93159 | OOZIE-3139 | Az Oozie helytelenül ellenőrzi a munkafolyamatot |
BUG-93936 | ATLAS-2289 | A KafkaNotification implementációból áthelyezendő beágyazott kafka/zookeeper-kiszolgáló start/stop kódja |
BUG-93942 | ATLAS-2312 | Több szál egyidejű használatának elkerülése a ThreadLocal DateFormat objektumokkal |
BUG-93946 | ATLAS-2319 | Felhasználói felület: Ha töröl egy címkét, amely a címkelista 25- vagy annál 25-nél is több pozíciójában van a Lapos és a Fa szerkezetben, frissítenie kell a címkét a listáról. |
BUG-94618 | YARN-5037, YARN-7274 | Rugalmasság letiltása levélsor szintjén |
BUG-94901 | HBASE-19285 | Táblázatonkénti késési hisztogramok hozzáadása |
BUG-95259 | HADOOP-15185, HADOOP-15186 | Összekötő frissítése adls az ADLS SDK aktuális verziójának használatához |
BUG-95619 | HIVE-18551 | Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál meg írni a hibrid grace-hez |
BUG-97223 | SPARK-23434 | A Spark nem figyelmezteti a "metaadat-könyvtárat" EGY HDFS-fájl elérési útjára |
Teljesítmény
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-83282 | HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164 | Gyors helyszámítás a balancerben |
BUG-91300 | HBASE-17387 | A több() kivételjelentés többletterhelésének csökkentése a RegionActionResult alkalmazásban |
BUG-91804 | TEZ-1526 | A TezTaskID lassú loadingCache-fájlja nagy feladatokhoz |
BUG-92760 | ACCUMULO-4578 | A TÖMÖRÍTÉS MEGSZAKÍTÁSA SORS művelet nem oldja fel a névtér zárolását |
BUG-93577 | RANGER-1938 | A Solr for Audit beállítása nem használja hatékonyan a DocValues-t |
BUG-93910 | HIVE-18293 | A Hive nem tudja tömöríteni a HiveMetaStore-t futtató identitással nem rendelkező mappában lévő táblákat |
BUG-94345 | HIVE-18429 | A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet |
BUG-94381 | HADOOP-13227, HDFS-13054 | RequestHedgingProxyProvider RetryAction sorrend kezelése: FAIL < RETRY < FAILOVER_AND_RETRY. |
BUG-94432 | HIVE-18353 | A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához |
BUG-94869 | PHOENIX-4290, PHOENIX-4373 | A helyi indexelt sózott főnix tábla beolvasásához HRegion a tartományon kívülre kért sor. |
BUG-94928 | HDFS-11078 | NPE javítása a LazyPersistFileScrubberben |
BUG-94964 | HIVE-18269, HIVE-18318, HIVE-18326 | Több LLAP-javítás |
BUG-95669 | HIVE-18577, HIVE-18643 | Amikor frissítési/törlési lekérdezést futtat az ACID particionált táblán, a HS2 beolvassa az összes partíciót. |
BUG-96390 | HDFS-10453 | A Replikációmonitor-szál hosszú ideig elakadhat a replikáció közötti verseny miatt, és törölheti ugyanazt a fájlt egy nagy fürtben. |
BUG-96625 | HIVE-16110 | A "Vectorization: Support 2 Value CASE WHEN ahelyett, hogy tartalék a VectorUDFAdaptor" |
BUG-97109 | HIVE-16757 | Az elavult getRows() használata az új becslés helyettRowCount(RelMetadataQuery...) komoly teljesítménybeli hatással van |
BUG-97110 | PHOENIX-3789 | Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably |
BUG-98833 | YARN-6797 | A TimelineWriter nem használja fel teljes mértékben a POST-választ |
BUG-98931 | ATLAS-2491 | A Hive hook frissítése az Atlas v2-értesítések használatára |
Lehetséges adatvesztés
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-95613 | HBASE-18808 | Nem hatékony konfigurációs bejelentkezési BackupLogCleaner#getDeletableFiles() |
BUG-97051 | HIVE-17403 | Nem felügyelt és tranzakciós táblák sikertelen összefűzése |
BUG-97787 | HIVE-18460 | A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak |
BUG-97788 | HIVE-18613 | A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához |
Lekérdezési hiba
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100180 | CALCITE-2232 | Assertion error on AggregatePullUpConstantsRule and adjusting Aggregate indexes |
BUG-100422 | HIVE-19085 | A FastHiveDecimal abs(0) a +ve |
BUG-100834 | PHOENIX-4658 | IllegalStateException: a requestSeek nem hívható meg a ReversedKeyValueHeap rendszeren |
BUG-102078 | HIVE-17978 | A TPCDS-lekérdezések 58-ban és 83-ban kivételeket hoznak létre a vektorizálás során. |
BUG-92483 | HIVE-17900 | a Compactor által aktivált oszlopok statisztikáinak elemzése hibás SQL-t hoz létre 1 partícióoszloptal > |
BUG-93135 | HIVE-15874, HIVE-18189 | A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értéket true értékre állítja |
BUG-93136 | HIVE-18189 | A pozíció szerinti sorrend nem működik, ha cbo le van tiltva |
BUG-93595 | HIVE-12378, HIVE-15883 | A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális és bináris oszlopoknak |
BUG-94007 | PHOENIX-1751, PHOENIX-3112 | A Phoenix-lekérdezések null értékeket ad vissza a HBase részleges sorai miatt |
BUG-94144 | HIVE-17063 | a partíció felülírása külső táblába való beszúrása meghiúsul, amikor először elveti a partíciót |
BUG-94280 | HIVE-12785 | Nézet egyesítő típussal és UDF-lel, hogy "leadja" a szerkezet hibás |
BUG-94505 | PHOENIX-4525 | Egész szám túlcsordulása a GroupBy-végrehajtásban |
BUG-95618 | HIVE-18506 | LlapBaseInputFormat – negatív tömbindex |
BUG-95644 | HIVE-9152 | CombineHiveInputFormat: A Hive-lekérdezés sikertelen a Tezben java.lang.IllegalArgumentException kivétellel |
BUG-96762 | PHOENIX-4588 | Klónozási kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION |
BUG-97145 | HIVE-12245, HIVE-17829 | A HBase által támogatott táblák oszlop megjegyzéseinek támogatása |
BUG-97741 | HIVE-18944 | A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során |
BUG-98082 | HIVE-18597 | LLAP: Mindig csomagolja be az log4j2 API-jart a következőhöz: org.apache.log4j |
BUG-99849 | n/a | Új tábla létrehozása fájlvarázslóból az alapértelmezett adatbázis használatával |
Biztonság
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100436 | RANGER-2060 | Knox a proxy nem knox-sso működik a rangerhez |
BUG-101038 | SPARK-24062 | Zeppelin %Spark-értelmező "A kapcsolat megtagadva" hibaüzenet jelenik meg: "Titkos kulcsot kell megadni..." hiba a HiveThriftServerben |
BUG-101359 | ACCUMULO-4056 | Kiadáskor frissítse a commons-collection verzióját a 3.2.2-es verzióra |
BUG-54240 | HIVE-18879 | Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban |
BUG-79059 | OOZIE-3109 | A naplóstreamelés HTML-specifikus karakterei |
BUG-90041 | OOZIE-2723 | JSON.org licenc mostantól CatX |
BUG-93754 | RANGER-1943 | A Ranger Solr-engedélyezés kihagyva, ha a gyűjtemény üres vagy null értékű |
BUG-93804 | HIVE-17419 | TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg |
BUG-94276 | ZEPPELIN-3129 | A Zeppelin felhasználói felülete nem jelentkezik ki az Internet Explorerben |
BUG-95349 | ZOOKEEPER-1256, ZOOKEEPER-1901 | Frissítési háló |
BUG-95483 | n/a | Javítás a CVE-2017-15713-hoz |
BUG-95646 | OOZIE-3167 | Tomcat-verzió frissítése az Oozie 4.3-ágon |
BUG-95823 | n/a | Knox :Feljavít Beanutils |
BUG-95908 | RANGER-1960 | A HBase-hitelesítés nem veszi figyelembe a táblanévteret a pillanatképek törlésekor |
BUG-96191 | FALCON-2322, FALCON-2323 | A Jackson- és Spring-verziók frissítése a biztonsági rések elkerülése érdekében |
BUG-96502 | RANGER-1990 | Egyirányú SSL MySQL-támogatás hozzáadása a Ranger rendszergazdájához |
BUG-96712 | FLUME-3194 | frissítés a legújabb (1.14.1.0-s) verzióra |
BUG-96713 | FLUME-2678 | Frissítse a xalant a 2.7.2-re a CVE-2014-0107 biztonsági rés elhárításához |
BUG-96714 | FLUME-2050 | Frissítés a (ga) verzióra log4j2 |
BUG-96737 | n/a | Helyi fájlok elérése Java io fájlrendszer-metódusokkal |
BUG-96925 | n/a | A Tomcat frissítése a 6.0.48-ról 6.0.53-ra a Hadoopban |
BUG-96977 | FLUME-3132 | Tomcat-kódtár-függőségek jasper frissítése |
BUG-97022 | HADOOP-14799, HADOOP-14903, HADOOP-15265 | A Nimbus-JOSE-JWT kódtár frissítése a 4.39-es verziónál nagyobb verzióval |
BUG-97101 | RANGER-1988 | A nem biztonságos véletlenszerűség javítása |
BUG-97178 | ATLAS-2467 | A Spring és a nimbus-jose-jwt függőségeinek frissítése |
BUG-97180 | n/a | A Nimbus-jose-jwt frissítése |
BUG-98038 | HIVE-18788 | Bemenetek törlése a JDBC PreparedStatementben |
BUG-98353 | HADOOP-13707 | "Ha a kerberos engedélyezve van, miközben a HTTP SPNEGO nincs konfigurálva, néhány hivatkozás nem érhető el" |
BUG-98372 | HBASE-13848 | InfoServer SSL-jelszavak elérése hitelesítőadat-szolgáltató API-val |
BUG-98385 | ATLAS-2500 | További fejlécek hozzáadása az Atlas-válaszhoz. |
BUG-98564 | HADOOP-14651 | Az OKhttp verzió frissítése a 2.7.5-ös verzióra |
BUG-99440 | RANGER-2045 | Az explicit engedélyezési házirend nélküli Hive-táblaoszlopok a "desc table" paranccsal jelennek meg |
BUG-99803 | n/a | Az Oozie-nak le kell tiltania a HBase dinamikus osztálybetöltését |
Stabilitás
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100040 | ATLAS-2536 | NPE az Atlas Hive Hookban |
BUG-100057 | HIVE-19251 | Az ObjectStore.getNextNotification with LIMIT kevesebb memóriát használ |
BUG-100072 | HIVE-19130 | Az NPE a REPL LOAD alkalmazott drop partition eseményekor lesz eldobva. |
BUG-100073 | n/a | túl sok close_wait kapcsolat az adatcsomóponthoz hiveserver |
BUG-100319 | HIVE-19248 | A REPL LOAD nem jelez hibát, ha a fájl másolása sikertelen. |
BUG-100352 | n/a | CLONE – Rm purging logic scans /registry znode túl gyakran |
BUG-100427 | HIVE-19249 | Replikáció: A WITH záradék nem adja át a konfigurációt a Feladatnak minden esetben |
BUG-100430 | HIVE-14483 | java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays |
BUG-100432 | HIVE-19219 | A növekményes REPL DUMP hibajelzést ad, ha a kért események törlődnek. |
BUG-100448 | SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881 | Frissítés Spark2 a 2.3.0+-ra (4/11) |
BUG-100740 | HIVE-16107 | JDBC: A HttpClientnek újra kell próbálkoznia még egyszer a NoHttpResponseException beállítással |
BUG-100810 | HIVE-19054 | A Hive Functions replikációja sikertelen |
BUG-100937 | MAPREDUCE-6889 | Adja hozzá a Job#close API-t az MR-ügyfélszolgáltatások leállításához. |
BUG-101065 | ATLAS-2587 | Állítsa be a /apache_atlas/active_server_info znode olvasási ACL-ét a HA-ban a proxy olvasásához Knox . |
BUG-101093 | STORM-2993 | A Storm HDFS-csavar bezárja a ClosedChannelExceptiont az időforgatási szabályzat használatakor |
BUG-101181 | n/a | A PhoenixStorageHandler nem kezeli megfelelően és predikátumban |
BUG-101266 | PHOENIX-4635 | HBase-kapcsolat kiszivárgása a org.apache.phoenix.hive.mapreduce.PhoenixInputFormat webhelyen |
BUG-101458 | HIVE-11464 | több kimenet esetén hiányzik az adatsor adatai |
BUG-101485 | n/a | a hive metaadattár thrift API lassú, és időtúllépést okoz az ügyfél számára |
BUG-101628 | HIVE-19331 | A hive növekményes replikációja nem sikerült a felhőbe. |
BUG-102048 | HIVE-19381 | A Hive-függvény felhőbe történő replikációja meghiúsul a FunctionTask használatával |
BUG-102064 | n/a | A Hive replikációs \[ onprem to onprem \] tesztjei sikertelenek a ReplCopyTaskban |
BUG-102137 | HIVE-19423 | A Hive replikációs \[ Onprem to Cloud \] tesztjei sikertelenek a ReplCopyTaskban |
BUG-102305 | HIVE-19430 | HS2 és hive metaadattár OOM-memóriaképei |
BUG-102361 | n/a | több beszúrási eredmény a cél hive-fürtre replikált egyetlen beszúrásban ( onprem - s3 ) |
BUG-87624 | n/a | A viharesemények naplózásának engedélyezése miatt a dolgozók folyamatosan meghalnak |
BUG-88929 | HBASE-15615 | Helytelen alvási idő, amikor a RegionServerCallable újrapróbálkozik |
BUG-89628 | HIVE-17613 | objektumkészletek eltávolítása rövid, azonos szálú foglalásokhoz |
BUG-89813 | n/a | SCA: Kód helyessége: Nem szinkronizált metódus felülírja a szinkronizált metódust |
BUG-90437 | ZEPPELIN-3072 | A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van |
BUG-90640 | HBASE-19065 | A HRegion#bulkLoadHFiles() függvénynek várnia kell, amíg az egyidejű régió#flush() befejeződik |
BUG-91202 | HIVE-17013 | Kérelem törlése egy alqueryvel a nézeten való kijelölés alapján |
BUG-91350 | KNOX-1108 | A NiFiHaDispatch nem működik át |
BUG-92054 | HIVE-13120 | a doA-k propagálása ORC-felosztások létrehozásakor |
BUG-92373 | SÓLYOM-2314 | A TestNG 6.13.1-es verziójával elkerülheti a BeanShell-függőséget |
BUG-92381 | n/a | a testContainerLogsWithNewAPI és a testContainerLogsWithOldAPI UT sikertelen |
BUG-92389 | STORM-2841 | testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul |
BUG-92586 | SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095 | Frissítés Spark2 a 2.2.1-re (január 16.) |
BUG-92680 | ATLAS-2288 | NoClassDefFoundError kivétel importálási hive-szkript futtatásakor, ha a hbase-tábla Hive-en keresztül jön létre |
BUG-92760 | ACCUMULO-4578 | A TÖMÖRÍTÉS MEGSZAKÍTÁSA SORS művelet nem oldja fel a névtér zárolását |
BUG-92797 | HDFS-10267, HDFS-8496 | Az adatcsomópont zárolási versengésének csökkentése bizonyos használati esetekben |
BUG-92813 | FLUME-2973 | Holtpont a hdfs fogadóban |
BUG-92957 | HIVE-11266 | count(*) helytelen eredmény a külső táblák táblázatstatisztikái alapján |
BUG-93018 | ATLAS-2310 | A HA-ban a passzív csomópont rossz URL-kódolással irányítja át a kérést |
BUG-93116 | RANGER-1957 | A Ranger Usersync nem szinkronizálja rendszeresen a felhasználókat vagy csoportokat, ha a növekményes szinkronizálás engedélyezve van. |
BUG-93361 | HIVE-12360 | Hibás keresés tömörítetlen ORC-ben predikátum leküldéses leküldéssel |
BUG-93426 | CALCITE-2086 | HTTP/413 bizonyos körülmények között nagy engedélyezési fejlécek miatt |
BUG-93429 | PHOENIX-3240 | ClassCastException a Pig loaderből |
BUG-93485 | n/a | Nem olvasható be a table mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: A tábla nem található, amikor elemzési táblázatot futtat az LLAP oszlopaiban |
BUG-93512 | PHOENIX-4466 | java.lang.RuntimeException: 500-os válaszkód – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez |
BUG-93550 | n/a | A Zeppelin %spark.r nem működik a spark1-zel a scala-verzió eltérése miatt |
BUG-93910 | HIVE-18293 | A Hive nem tudja tömöríteni a HiveMetaStore-t futtató identitással nem rendelkező mappában lévő táblákat |
BUG-93926 | ZEPPELIN-3114 | A jegyzetfüzeteket és az értelmezőket nem menti a zeppelin az 1d stressztesztelés után > |
BUG-93932 | ATLAS-2320 | "*" besorolás lekérdezéssel 500 belső kiszolgálói kivételt eredményez. |
BUG-93948 | YARN-7697 | Az NM leáll az OOM-jal a naplóösszesítés szivárgása miatt (1. rész) |
BUG-93965 | ATLAS-2229 | DSL-keresés: a nem sztring attribútum kivételt eredményez |
BUG-93986 | YARN-7697 | Az NM leáll az OOM-jal a naplóösszesítés szivárgása miatt (2. rész) |
BUG-94030 | ATLAS-2332 | A beágyazott gyűjtemény adattípusát tartalmazó attribútumokkal rendelkező típus létrehozása sikertelen |
BUG-94080 | YARN-3742, YARN-6061 | Mindkét RM készenléti állapotban van a biztonságos fürtben |
BUG-94081 | HIVE-18384 | ConcurrentModificationException a könyvtárban log4j2.x |
BUG-94168 | n/a | A Yarn RM szolgáltatásregisztrációs adatbázisa hibás állapotban van |
BUG-94330 | HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689 | A HDFS-nek több KMS Uris |
BUG-94345 | HIVE-18429 | A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet |
BUG-94372 | ATLAS-2229 | DSL-lekérdezés: hive_table név = ["t1","t2"] érvénytelen DSL-lekérdezési kivételt eredményez |
BUG-94381 | HADOOP-13227, HDFS-13054 | RequestHedgingProxyProvider RetryAction sorrend kezelése: FAIL < RETRY < FAILOVER_AND_RETRY. |
BUG-94432 | HIVE-18353 | A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához |
BUG-94575 | SPARK-22587 | A Spark-feladat meghiúsul, ha az fs.defaultFS és az application jar url-címe eltérő |
BUG-94791 | SPARK-22793 | Memóriavesztés a Spark Thrift Serverben |
BUG-94928 | HDFS-11078 | NPE javítása a LazyPersistFileScrubberben |
BUG-95013 | HIVE-18488 | Az LLAP ORC-olvasóknak hiányzik néhány null értékű ellenőrzés |
BUG-95077 | HIVE-14205 | A Hive nem támogatja az AVRO fájlformátumú egyesítő típust |
BUG-95200 | HDFS-13061 | A SaslDataTransferClient#checkTrustAndSend nem megbízható egy részben megbízható csatornában |
BUG-95201 | HDFS-13060 | BlacklistBasedTrustedChannelResolver hozzáadása a TrustedChannelResolverhez |
BUG-95284 | HBASE-19395 | [ág-1] A TestEndToEndSplitTransaction.testMasterOpsWhileSplitting sikertelen NPE-vel |
BUG-95301 | HIVE-18517 | Vektorizálás: A VectorMapOperator javítása a VRB-k elfogadásához és a vektorizált jelző helyes ellenőrzéséhez az LLAP gyorsítótárazásának támogatásához |
BUG-95542 | HBASE-16135 | Előfordulhat, hogy a PeerClusterZnode az eltávolított társ rs alatt soha nem lesz törölve |
BUG-95595 | HIVE-15563 | A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery érvénytelen műveletállapot-áttűnési kivételét. |
BUG-95596 | YARN-4126, YARN-5750 | A TestClientRMService sikertelen |
BUG-96019 | HIVE-18548 | Importálás javítása log4j |
BUG-96196 | HDFS-13120 | A pillanatkép-diffet az összefűzés után lehet sérült |
BUG-96289 | HDFS-11701 | A nem oldott gazdagép NPE-je állandó DFSInputStream-hibákat okoz |
BUG-96291 | STORM-2652 | A JmsSpout nyílt metódusban kidobott kivétel |
BUG-96363 | HIVE-18959 | Ne hozzon létre további szálkészletet az LLAP-ben |
BUG-96390 | HDFS-10453 | A ReplicationMonitor-szál hosszú ideig elakadhat, mivel egy nagy fürtben ugyanazon fájl replikációja és törlése közötti verseny van. |
BUG-96454 | YARN-4593 | Holtpont az AbstractService.getConfig() alkalmazásban |
BUG-96704 | SÓLYOM-2322 | ClassCastException azAndSchedule-hírcsatorna elküldése közben |
BUG-96720 | SLIDER-1262 | A csúszka-funktestek hibásak a Kerberized környezetben |
BUG-96931 | SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391 | Naprakész frissítés Spark2 (február 19.) |
BUG-97067 | HIVE-10697 | Az ObjectInspectorConvertors#UnionConvertor hibás konverziót végez |
BUG-97244 | KNOX-1083 | A HttpClient alapértelmezett időtúllépésének ésszerű értéknek kell lennie |
BUG-97459 | ZEPPELIN-3271 | Az ütemező letiltására szolgáló lehetőség |
BUG-97511 | KNOX-1197 | Az AnonymousAuthFilter nem lesz hozzáadva, ha hitelesítés=Névtelen a szolgáltatásban |
BUG-97601 | HIVE-17479 | Az átmeneti címtárak nem törlődnek a frissítési/törlési lekérdezésekhez |
BUG-97605 | HIVE-18858 | Az MR-feladat elküldésekor a feladatkonfiguráció rendszertulajdonságai nem oldódnak fel |
BUG-97674 | OOZIE-3186 | Oozie nem tudja használni a jceks://file/ használatával csatolt konfigurációt... |
BUG-97743 | n/a | java.lang.NoClassDefFoundError kivétel a storm topológia telepítésekor |
BUG-97756 | PHOENIX-4576 | Sikertelen LocalIndexSplitMergeIT-tesztek javítása |
BUG-97771 | HDFS-11711 | A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkot |
BUG-97869 | KNOX-1190 | Knox A Google OIDC egyszeri bejelentkezés támogatása megszakadt. |
BUG-97879 | PHOENIX-4489 | HBase-kapcsolat szivárgása a Phoenix MR Jobsban |
BUG-98392 | RANGER-2007 | A ranger-tagsync Kerberos-jegye nem újul meg |
BUG-98484 | n/a | Nem működik a Hive növekményes replikációja a felhőbe |
BUG-98533 | HBASE-19934, HBASE-20008 | A HBase pillanatképének visszaállítása null mutató kivétel miatt meghiúsul |
BUG-98555 | PHOENIX-4662 | NullPointerException a gyorsítótár újraküldése TableResultIterator.java |
BUG-98579 | HBASE-13716 | A Hadoop FSConstants használatának leállítása |
BUG-98705 | KNOX-1230 | Számos egyidejű kérés url-címkezelést Knox okoz |
BUG-98983 | KNOX-1108 | A NiFiHaDispatch nem működik át |
BUG-99107 | HIVE-19054 | A függvényreplikációs művelet gyökérként a "hive.repl.replica.functions.root.dir" függvényt használja |
BUG-99145 | RANGER-2035 | Az üres implClass és oracle háttérrendszerrel rendelkező servicedefs elérésekor felmerülő hibák |
BUG-99160 | SLIDER-1259 | A csúszka nem működik több otthonos környezetben |
BUG-99239 | ATLAS-2462 | Az összes tábla Sqoop-importálása NPE-t eredményez a parancsban megadott tábla nélkül |
BUG-99301 | ATLAS-2530 | Új sor egy hive_process és hive_column_lineage névattribútumának elején |
BUG-99453 | HIVE-19065 | A metaadattár ügyfélkompatibilitási ellenőrzésének tartalmaznia kell a syncMetaStoreClient szolgáltatást |
BUG-99521 | n/a | A ServerCache for HashJoin nem jön létre újra az iterátorok újbóli létrehozásakor |
BUG-99590 | PHOENIX-3518 | Memóriavesztés a RenewLeaseTask-ban |
BUG-99618 | SPARK-23599, SPARK-23806 | Frissítés Spark2 a 2.3.0+ verzióra (3/28) |
BUG-99672 | ATLAS-2524 | Hive hook v2-értesítésekkel – az "alter view as" művelet helytelen kezelése |
BUG-99809 | HBASE-20375 | GetCurrentUserCredentials használatának eltávolítása a hbase-spark modulban |
Támogatási lehetőségek
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-87343 | HIVE-18031 | Az Alter Database-művelet replikációjának támogatása. |
BUG-91293 | RANGER-2060 | Knox a proxy nem knox-sso működik a rangerhez |
BUG-93116 | RANGER-1957 | A Ranger Usersync nem szinkronizálja rendszeresen a felhasználókat vagy csoportokat, ha a növekményes szinkronizálás engedélyezve van. |
BUG-93577 | RANGER-1938 | A Solr for Audit beállítása nem használja hatékonyan a DocValues-t |
BUG-96082 | RANGER-1982 | Hibajavítás a Ranger-rendszergazda és a Ranger elemzési metrikájához Kms |
BUG-96479 | HDFS-12781 | A leállás után Datanode a Namenode Felhasználói felület Datanode lapon figyelmeztető üzenet jelenik meg. |
BUG-97864 | HIVE-18833 | Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként" |
BUG-98814 | HDFS-13314 | A NameNode-nak opcionálisan ki kell lépnie, ha FsImage sérülést észlel |
Frissítés
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100134 | SPARK-22919 | A "Bump Apache httpclient verziók" visszaállítása |
BUG-95823 | n/a | Knox :Feljavít Beanutils |
BUG-96751 | KNOX-1076 | A nimbus-jose-jwt frissítése a 4.41.2-hez |
BUG-97864 | HIVE-18833 | Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként" |
BUG-99056 | HADOOP-13556 | A Configuration.getPropsWithPrefix módosítása a getProps iterátor helyett való használatára |
BUG-99378 | ATLAS-2461, ATLAS-2554 | Migrálási segédprogram atlaszadatok exportálásához a Titan graph DB-ben |
Használhatóság
Hibaazonosító | Apache JIRA | Összefoglalás |
---|---|---|
BUG-100045 | HIVE-19056 | IllegalArgumentException a FixAcidKeyIndexben, ha az ORC-fájl 0 sorból áll |
BUG-100139 | KNOX-1243 | A szolgáltatásban KnoxToken konfigurált szükséges DN-k normalizálása |
BUG-100570 | ATLAS-2557 | Javítás a hadoop-csoportok ldap engedélyezéséhezlookup , ha az UGI-ból származó csoportok helytelenül vannak beállítva, vagy nem üresek |
BUG-100646 | ATLAS-2102 | Az Atlas felhasználói felület fejlesztései: Keresési eredmények lap |
BUG-100737 | HIVE-19049 | Az Alter table add columns for Druid támogatásának hozzáadása |
BUG-100750 | KNOX-1246 | Frissítse a szolgáltatáskonfigurációt a Knox Ranger legújabb konfigurációinak támogatásához. |
BUG-100965 | ATLAS-2581 | Regresszió v2 Hive-horogértesítésekkel: Tábla áthelyezése másik adatbázisba |
BUG-84413 | ATLAS-1964 | Felhasználói felület: Oszlopok rendelésének támogatása a Keresési táblázatban |
BUG-90570 | HDFS-11384, HDFS-12347 | Adjon hozzá egy lehetőséget a kiegyensúlyozóhoz a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs |
BUG-90584 | HBASE-19052 | A FixedFileTrailernek fel kell ismernie a CellComparatorImpl osztályt az 1.x ágban |
BUG-90979 | KNOX-1224 | Knox Proxy HADispatcher az Atlas ha-ban való támogatásához. |
BUG-91293 | RANGER-2060 | Knox a knox-sso-val rendelkező proxy nem működik a rangerhez |
BUG-92236 | ATLAS-2281 | Címke-/típusattribútum-szűrő lekérdezések mentése null/nem null szűrőkkel. |
BUG-92238 | ATLAS-2282 | A mentett kedvenc keresés csak a létrehozás utáni frissítéskor jelenik meg, ha több mint 25 kedvenc keresés van. |
BUG-92333 | ATLAS-2286 | Az előre elkészített "kafka_topic" típus nem deklarálhatja a "topic" attribútumot egyediként |
BUG-92678 | ATLAS-2276 | Az hdfs_path típusú entitás elérési útja a hive-bridge kisbetűs értékére van beállítva. |
BUG-93097 | RANGER-1944 | A felügyeleti naplózás műveletszűrője nem működik |
BUG-93135 | HIVE-15874, HIVE-18189 | A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értéket true értékre állítja |
BUG-93136 | HIVE-18189 | A pozíció szerinti sorrend nem működik, ha cbo le van tiltva |
BUG-93387 | HIVE-17600 | Állítsa be az OrcFile "enforceBufferSize" felhasználóbeállítását. |
BUG-93495 | RANGER-1937 | A Rangernek tagsync ENTITY_CREATE értesítést kell feldolgoznia az Atlas importálási funkció támogatásához |
BUG-93512 | PHOENIX-4466 | java.lang.RuntimeException: 500-os válaszkód – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez |
BUG-93801 | HBASE-19393 | HTTP 413 FULL head, miközben ssl használatával fér hozzá a HBase felhasználói felületéhez. |
BUG-93804 | HIVE-17419 | TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg |
BUG-93932 | ATLAS-2320 | "*" besorolás lekérdezéssel 500 belső kiszolgálói kivételt eredményez. |
BUG-93933 | ATLAS-2286 | Az előre elkészített "kafka_topic" típus nem deklarálhatja a "topic" attribútumot egyediként |
BUG-93938 | ATLAS-2283, ATLAS-2295 | A besorolások felhasználói felületének frissítései |
BUG-93941 | ATLAS-2296, ATLAS-2307 | Alapszintű keresési fejlesztés az altípus-entitások és alosztályozási típusok opcionális kizárásához |
BUG-93944 | ATLAS-2318 | Felhasználói felület: Ha kétszer kattint a gyermekcímkére, a szülőcímke ki van jelölve |
BUG-93946 | ATLAS-2319 | Felhasználói felület: Ha töröl egy címkét, amely a címkelista 25- vagy annál 25-nél is több pozíciójában van a Lapos és a Fa szerkezetben, frissítenie kell a címkét a listáról. |
BUG-93977 | HIVE-16232 | Az QuotedIdentifier oszlopainak statisztikáinak támogatása |
BUG-94030 | ATLAS-2332 | A beágyazott gyűjtemény adattípusát tartalmazó attribútumokkal rendelkező típus létrehozása sikertelen |
BUG-94099 | ATLAS-2352 | Az Atlas-kiszolgálónak konfigurálnia kell a Kerberos DelegationToken érvényességét |
BUG-94280 | HIVE-12785 | Nézet egyesítő típussal és UDF-lel, hogy "leadja" a szerkezet hibás |
BUG-94332 | SQOOP-2930 | A Sqoop-feladat exec nem bírálja felül a mentett feladat általános tulajdonságait |
BUG-94428 | n/a | Dataplane Profiler-ügynök REST API-támogatása Knox |
BUG-94514 | ATLAS-2339 | Felhasználói felület: Az "oszlopok" módosításai az Alapszintű keresési eredmény nézetben a DSL-t is érintik. |
BUG-94515 | ATLAS-2169 | A törlési kérés sikertelen, ha a kemény törlés konfigurálva van |
BUG-94518 | ATLAS-2329 | Atlas UI Több rámutatás jelenik meg, ha a felhasználó egy másik, helytelen címkére kattint |
BUG-94519 | ATLAS-2272 | Mentse a húzott oszlopok állapotát a Save Search API használatával. |
BUG-94627 | HIVE-17731 | külső felhasználók visszalépési compat lehetőségének hozzáadása a HIVE-11985-höz |
BUG-94786 | HIVE-6091 | Üres pipeout fájlok jönnek létre a kapcsolat létrehozásához/bezárásához |
BUG-94793 | HIVE-14013 | A táblázat leírása nem jeleníti meg megfelelően a Unicode-t |
BUG-94900 | OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802 | A spark.yarn.jars beállítása a Spark 2.0 Oozie-val való javításához |
BUG-94901 | HBASE-19285 | Táblázatonkénti késési hisztogramok hozzáadása |
BUG-94908 | ATLAS-1921 | Felhasználói felület: Entitás- és tulajdonságattribútumok használatával végzett keresés: A felhasználói felület nem végez tartományellenőrzést, és lehetővé teszi az integrál- és lebegőpontos adattípusok határértéken kívüli értékeinek megadását. |
BUG-95086 | RANGER-1953 | fejlesztés a felhasználói csoport laplistáin |
BUG-95193 | SLIDER-1252 | A csúszkaügynök SSL-érvényesítési hibákkal meghiúsul a Python 2.7.5-58-nal |
BUG-95314 | YARN-7699 | a queueUsagePercentage INF for getApp REST API-hívásként érkezik |
BUG-95315 | HBASE-13947, HBASE-14517, HBASE-17931 | Rendszertáblák hozzárendelése a legmagasabb verziójú kiszolgálókhoz |
BUG-95392 | ATLAS-2421 | Értesítési frissítések a V2 adatstruktúrák támogatásához |
BUG-95476 | RANGER-1966 | A házirendmotor inicializálása bizonyos esetekben nem hoz létre környezetnövelőket |
BUG-95512 | HIVE-18467 | teljes raktári memóriakép/terhelés támogatása + adatbázisesemények létrehozása/elvetése |
BUG-95593 | n/a | Oozie DB utils kiterjesztése a létrehozás támogatásához Spark2 sharelib |
BUG-95595 | HIVE-15563 | A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery érvénytelen műveletállapot-áttűnési kivételét. |
BUG-95685 | ATLAS-2422 | Exportálás: Típusalapú exportálás támogatása |
BUG-95798 | PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040 | Ne használjon útmutatókat a lekérdezések soros végrehajtásához |
BUG-95969 | HIVE-16828, HIVE-17063, HIVE-18390 | A particionált nézet sikertelen: IndexOutOfBoundsException Index: 1, Méret: 1 |
BUG-96019 | HIVE-18548 | Importálás javítása log4j |
BUG-96288 | HBASE-14123, HBASE-14135, HBASE-17850 | Backport HBase backup/restore 2.0 |
BUG-96313 | KNOX-1119 | Pac4J Az OAuth/OpenID-tagnak konfigurálhatónak kell lennie |
BUG-96365 | ATLAS-2442 | Az entitáserőforrás írásvédett engedélyével rendelkező felhasználó nem tudja elvégezni az alapszintű keresést |
BUG-96479 | HDFS-12781 | A leállás után Datanode a Namenode Felhasználói felület Datanode lapon figyelmeztető üzenet jelenik meg. |
BUG-96502 | RANGER-1990 | Egyirányú SSL MySQL-támogatás hozzáadása a Ranger rendszergazdájához |
BUG-96718 | ATLAS-2439 | A Sqoop-horog frissítése v2-értesítések használatára |
BUG-96748 | HIVE-18587 | DML-esemény beszúrása megkísérlheti a könyvtárak ellenőrzőösszegének kiszámítását |
BUG-96821 | HBASE-18212 | Önálló módban a helyi fájlrendszer HBase-naplóival Figyelmeztető üzenet: Nem sikerült meghívni a "unbuffer" metódust az org.apache.hadoop.fs.FSDataInputStream osztályban |
BUG-96847 | HIVE-18754 | A REPL STATUS-nek támogatnia kell a "with" záradékot |
BUG-96873 | ATLAS-2443 | Kötelező entitásattribútumok rögzítése kimenő DELETE-üzenetekben |
BUG-96880 | SPARK-23230 | Ha a hive.default.fileformat más típusú fájltípus, a tábla létrehozása textfile hibát okoz serde |
BUG-96911 | OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923 | Spark-beállítások elemzésének javítása |
BUG-97100 | RANGER-1984 | Előfordulhat, hogy a HBase naplórekordjai nem jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét |
BUG-97110 | PHOENIX-3789 | Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably |
BUG-97145 | HIVE-12245, HIVE-17829 | A HBase által támogatott táblák oszlop megjegyzéseinek támogatása |
BUG-97409 | HADOOP-15255 | Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez |
BUG-97535 | HIVE-18710 | inheritPerms kiterjesztése ACID-ra a Hive 2.X-ben |
BUG-97742 | OOZIE-1624 | A JAR-ek kizárási sharelib mintája |
BUG-97744 | PHOENIX-3994 | Az index RPC-prioritása továbbra is a vezérlő gyári tulajdonságától függ a hbase-site.xml |
BUG-97787 | HIVE-18460 | A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak |
BUG-97788 | HIVE-18613 | A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához |
BUG-97899 | HIVE-18808 | A tömörítés robusztusabbá tétele a statisztikafrissítés meghiúsulása esetén |
BUG-98038 | HIVE-18788 | Bemenetek törlése a JDBC PreparedStatementben |
BUG-98383 | HIVE-18907 | Segédprogram létrehozása a HIVE-18817 savkulcs-indexével kapcsolatos probléma megoldásához |
BUG-98388 | RANGER-1828 | Jó kódolási gyakorlat – további fejlécek hozzáadása a rangerben |
BUG-98392 | RANGER-2007 | A ranger-tagsync Kerberos-jegye nem újul meg |
BUG-98533 | HBASE-19934, HBASE-20008 | A HBase pillanatképének visszaállítása null mutató kivétel miatt meghiúsul |
BUG-98552 | HBASE-18083, HBASE-18084 | Nagy/kis méretű fájlok tiszta szálszámának konfigurálása a HFileCleanerben |
BUG-98705 | KNOX-1230 | Számos egyidejű kérés url-címkezelést Knox okoz |
BUG-98711 | n/a | A NiFi-diszpécser nem használhat kétirányú SSL-t service.xml módosítások nélkül |
BUG-98880 | OOZIE-3199 | Konfigurálható a rendszertulajdonság-korlátozás |
BUG-98931 | ATLAS-2491 | A Hive hook frissítése az Atlas v2-értesítések használatára |
BUG-98983 | KNOX-1108 | A NiFiHaDispatch nem működik át |
BUG-99088 | ATLAS-2511 | Adja meg az adatbázis/táblák szelektív importálásának lehetőségeit a Hive-ből az Atlasba |
BUG-99154 | OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885 | A Spark-lekérdezés a "java.io.FileNotFoundException: hive-site.xml (Engedély megtagadva)" kivétellel meghiúsult |
BUG-99239 | ATLAS-2462 | Az összes tábla Sqoop-importálása NPE-t eredményez a parancsban megadott tábla nélkül |
BUG-99636 | KNOX-1238 | Az átjáró egyéni megbízhatóságiadattár-beállításainak javítása |
BUG-99650 | KNOX-1223 | Zeppelin proxyja Knox nem a várt módon irányítja át az /api/ticket parancsot |
BUG-99804 | OOZIE-2858 | A HiveMain, a ShellMain és a SparkMain nem írhatja felül a tulajdonságokat és a konfigurációs fájlokat helyileg |
BUG-99805 | OOZIE-2885 | A Spark-műveletek futtatásához nem szükséges a Hive az osztályúton |
BUG-99806 | OOZIE-2845 | Tükrözésalapú kód cseréje, amely beállítja a változót a HiveConf-ben |
BUG-99807 | OOZIE-2844 | Az Oozie-műveletek stabilitásának növelése, ha log4j a .properties hiányzik vagy nem olvasható |
RMP-9995 | AMBARI-22222 | A druid kapcsolója a /var/druid könyvtár használatára a /apps/druid helyett a helyi lemezen |
Működésbeli változások
Apache-összetevő | Apache JIRA | Összefoglalás | Részletek |
---|---|---|---|
Spark 2.3 | N/A | Az Apache Spark kibocsátási megjegyzéseiben dokumentált módosítások | - Van egy "Elavult" dokumentum és egy "Viselkedésváltozás" útmutató, https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - Az SQL-részhez egy másik részletes migrálási útmutató is található (2.2-től 2.3-ra), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23| |
Spark | HIVE-12505 | A Spark-feladat sikeresen befejeződött, de a HDFS-lemezkvóta teljes hibája van | Forgatókönyv: A beszúrás felülírásának futtatása, ha a parancsot futtató felhasználó Kuka mappájában kvóta van beállítva. Előző viselkedés: A feladat akkor is sikeres, ha nem helyezi át az adatokat a Kukába. Az eredmény hibásan tartalmazhat a táblában korábban szereplő adatok egy részét. Új viselkedés: Ha a Kuka mappába való áthelyezés meghiúsul, a fájlok véglegesen törlődnek. |
Kafka 1.0 | N/A | Az Apache Spark kibocsátási megjegyzéseiben dokumentált módosítások | https://kafka.apache.org/10/documentation.html#upgrade_100_notable |
Hive/ Ranger | Az INSERT OVERWRITE-hez szükséges másik ranger hive-szabályzatok | Forgatókönyv: Az INSERT OVERWRITE-hez szükséges másik ranger hive-szabályzat Előző viselkedés: A Hive INSERT OVERWRITE lekérdezések a szokásos módon sikeresek. Új viselkedés: A HIVE INSERT OVERWRITE-lekérdezések váratlanul meghiúsulnak a HDP-2.6.x verzióra való frissítés után a következő hibával: Hiba az utasítás összeállítása közben: FAILED: HiveAccessControlException Engedély megtagadva: a felhasználói jdoe nem rendelkezik ÍRÁSI jogosultsággal a /tmp/*(state=42000,code=40000) A HDP-2.6.0-s verziójától kezdve a Hive INSERT OVERWRITE lekérdezésekhez Ranger URI-szabályzat szükséges az írási műveletek engedélyezéséhez, még akkor is, ha a felhasználó HDFS-szabályzaton keresztüli írási jogosultsággal rendelkezik. Megkerülő megoldás/Várt ügyfélművelet: 1. Hozzon létre egy új szabályzatot a Hive-adattárban. 2. Az adatbázist jelölő legördülő listában válassza az URI elemet. 3. Frissítse az elérési utat (példa: /tmp/*) 4. Adja hozzá a felhasználókat és a csoportot, és mentse őket. 5. Próbálkozzon újra a lekérdezés beszúrásával. |
|
HDFS | N/A | A HDFS-nek több KMS Uris |
Előző viselkedés: dfs.encryption.key.provider.uri tulajdonság használatával konfigurálták a KMS-szolgáltató elérési útját. Új viselkedés: a dfs.encryption.key.provider.uri mostantól elavult a hadoop.security.key.provider.path mellett a KMS-szolgáltató elérési útjának konfigurálásához. |
Zeppelin | ZEPPELIN-3271 | Az ütemező letiltására szolgáló lehetőség | Érintett összetevő: Zeppelin-Server Előző viselkedés: A Zeppelin korábbi kiadásaiban nem volt lehetőség az ütemező letiltására. Új viselkedés: Alapértelmezés szerint a felhasználók nem látják az ütemezőt, mivel alapértelmezés szerint le van tiltva. Megkerülő megoldás/Várt ügyfélművelet: Ha engedélyezni szeretné az ütemezőt, az azeppelin.notebook.cron.enable értéket kell hozzáadnia igaz értékkel az Ambari zeppelin beállításaiban lévő egyéni Zeppelin-webhelyen. |
Ismert problémák
HDInsight-integráció az ADLS Gen 2-vel Két probléma merült fel a HDInsight ESP-fürtökön az Azure Data Lake Storage Gen 2 felhasználói címtárakkal és engedélyekkel:
A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Áthidaló megoldásként manuálisan hozza létre a címtárakat, és módosítsa a tulajdonosi viszonyt az adott felhasználó UPN-jével.
A /hdp könyvtár engedélyei jelenleg nem 751-nek vannak beállítva. Ezt úgy kell beállítani, hogy
chmod 751 /hdp chmod –R 755 /hdp/apps
Spark 2.3
[SPARK-23523][SQL] Az OptimizeMetadataOnlyQuery szabály által okozott helytelen eredmény
[SPARK-23406] Hibák a stream-stream öncsatlakozásokban
A Spark-mintajegyzetfüzetek nem érhetők el, ha az Azure Data Lake Storage (Gen2) a fürt alapértelmezett tárolója.
Enterprise Security Package
- A Spark Thrift Server nem fogadja el az ODBC-ügyfelek kapcsolatait.
Megkerülő lépések:
- Várjon körülbelül 15 percet a fürt létrehozása után.
- Ellenőrizze a ranger felhasználói felületét, hogy létezik-e hivesampletable_policy.
- Indítsa újra a Spark szolgáltatást. Az STS-kapcsolatnak most már működnie kell.
- A Spark Thrift Server nem fogadja el az ODBC-ügyfelek kapcsolatait.
Megkerülő lépések:
Megkerülő megoldás a Ranger szolgáltatás ellenőrzési hibájára
RANGER-1607: Megkerülő megoldás a Ranger szolgáltatásellenőrzési hibájára, miközben a korábbi HDP-verziókból a HDP 2.6.2-re frissít.
Feljegyzés
Csak akkor, ha a Ranger ssl-kompatibilis.
Ez a probléma akkor merül fel, ha a korábbi HDP-verziókból az Ambarin keresztül próbál meg a HDP-2.6.1-re frissíteni. Az Ambari curl-hívással végez szolgáltatásellenőrzést az Ambari Ranger szolgáltatásában. Ha az Ambari által használt JDK-verzió JDK-1.7, a curl-hívás az alábbi hibával meghiúsul:
curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure
A hiba oka a Rangerben használt tomcat-verzió, a Tomcat-7.0.7*. A JDK-1.7 használata ütközik a Tomcat-7.0.7*-ban megadott alapértelmezett rejtjelekkel.
A probléma kétféleképpen oldható meg:
Frissítse az Ambariban használt JDK-t JDK-1.7-ről JDK-1.8-ra (lásd az Ambari referencia-útmutató JDK-verziójának módosítása című szakaszt).
Ha továbbra is támogatni szeretné a JDK-1.7-környezetet:
Adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfiguráció ranger-admin-site szakaszában az alábbi értékkel:
SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Ha a környezete a Ranger-KMS-hez van konfigurálva, adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfigurációban lévő távolságmérő-kms-hely szakaszban az alábbi értékkel:
SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
Feljegyzés
A feljegyzett értékek működő példák, és lehet, hogy nem a környezetére utalnak. Győződjön meg arról, hogy a tulajdonságok beállításának módja megegyezik a környezet konfigurálásának módjával.
RangerUI: A szabályzat űrlapon megadott szabályzatfeltétel szövegének feloldása
Érintett összetevő: Ranger
A probléma leírása
Ha egy felhasználó egyéni szabályzatfeltételekkel szeretne szabályzatot létrehozni, és a kifejezés vagy szöveg speciális karaktereket tartalmaz, akkor a szabályzatkényszerítés nem fog működni. A speciális karakterek ASCII-vé alakulnak, mielőtt a szabályzatot az adatbázisba mentené.
Speciális karakterek: > <> ' '
A tags.attributes[type]='abc' feltétel például a szabályzat mentése után a következőre lesz konvertálva.
tags.attds[' dsds'] =' cssdfs'
Ezekkel a karakterekkel láthatja a házirend feltételét, ha szerkesztési módban nyitja meg a szabályzatot.
Áthidaló megoldás
1. lehetőség: Szabályzat létrehozása/frissítése a Ranger REST API-n keresztül
REST URL-cím: http://< host>:6080/service/plugins/policies
Szabályzat létrehozása szabályzatfeltételekkel:
Az alábbi példa címkékkel rendelkező szabályzatot hoz létre "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz az astags.attr[type]=='abc' szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással, mind.
Példa:
curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
Meglévő szabályzat frissítése szabályzatfeltételekkel:
Az alábbi példa a szabályzatot címkékkel frissíti "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz astags.attr['type']=='abc" szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással.
REST URL-cím: http://< host-name>:6080/service/plugins/policies/<policy-id>
Példa:
curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
2. lehetőség: JavaScript-módosítások alkalmazása
A JS-fájl frissítésének lépései:
További információ PermissionList.js fájlról a /usr/hdp/current/ranger-admin területen
Keresse meg a renderPolicyCondtion függvény definícióját (sorszám: 404).
Távolítsa el a következő sort a függvényből, azaz a megjelenítési függvény alatt (sorszám: 434)
val = _.escape(val);//Line No:460
A fenti sor eltávolítása után a Ranger felhasználói felülete lehetővé teszi, hogy olyan szabályzatokat hozzon létre, amelyek speciális karaktereket tartalmazhatnak, és a szabályzat kiértékelése sikeres lesz ugyanahhoz a szabályzathoz.
HDInsight-integráció az ADLS Gen 2-vel: Felhasználói könyvtárakkal és engedélyekkel kapcsolatos probléma az ESP-fürtökkel 1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Megkerülő megoldás, ha manuálisan hozza létre ezeket, és módosítja a tulajdonosi viszonyt az adott felhasználó UPN-jének. 2. A /hdp-alapú engedélyek jelenleg nem 751-nek vannak beállítva. Ezt a. chmod 751 /hdp b. chmod –R 755 /hdp/apps értékre kell állítani
Elavulás
OMS-portál: Eltávolítottuk a HDInsight erőforráslapjáról az OMS-portálra mutató hivatkozást. Az Azure Monitor naplói kezdetben az OMS-portál nevű saját portált használták a konfiguráció kezeléséhez és az összegyűjtött adatok elemzéséhez. A portál összes funkciója át lett helyezve az Azure Portalra, ahol tovább fejlesztik. A HDInsight elavulttá tette az OMS-portál támogatását. Az ügyfelek a HDInsight Azure Monitor-naplók integrációját fogják használni az Azure Portalon.
Spark 2.3:Spark Release 2.3.0 elavulások
Korszerűsítés
Ezek a funkciók a HDInsight 3.6-ban érhetők el. A Spark, a Kafka és az R Server (Machine Learning Services) legújabb verziójának beszerzéséhez válassza a Spark, a Kafka és az ML Services verziót HDInsight 3.6-fürt létrehozásakor. Ha támogatást szeretne kapni az ADLS-hez, választhatja az ADLS-tárolótípust. A meglévő fürtök nem frissülnek automatikusan ezekre a verziókra.
A 2018 júniusa után létrehozott összes új fürt automatikusan át fog jutni az 1000-nél több hibajavításon az összes nyílt forráskódú projektben. Kövesse ezt az útmutatót az ajánlott eljárásokért az újabb HDInsight-verzióra való frissítéssel kapcsolatban.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: