Archivált kibocsátási megjegyzések

Összegzés

Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Iratkozzon fel a HDInsight kibocsátási megjegyzéseire a HDInsight és az összes HDInsight-verzió naprakész információiért.

A feliratkozáshoz kattintson a szalagcím "watch" gombjára, és figyelje meg a HDInsight-kiadásokat.

Kiadási információk

Kiadás dátuma: 2024. február 15.

Ez a kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401250802 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Feljegyzés

Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.

A számítási feladatokhoz tartozó verziókért lásd:

Új funkciók

  • Apache Ranger-támogatás a Spark SQL-hez a Spark 3.3.0-s (HDInsight 5.1-es verziójában) vállalati biztonsági csomaggal. További információt itt találhat.

Megoldott problémák

  • Az Ambari és az Oozie összetevőinek biztonsági javításai

Hamarosan

  • Alapszintű és standard A sorozatú virtuális gépek kivonása.
    • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
    • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Következő lépések

Az Azure HDInsight a nagyvállalati ügyfelek körében a nyílt forráskódú Azure-elemzés egyik legnépszerűbb szolgáltatása. Ha a kibocsátási megjegyzésekre szeretne előfizetni, tekintse meg a GitHub-adattár kiadásait.

Kiadás dátuma: 2024. január 10.

Ez a gyorsjavítás-kiadás a HDInsight 4.x és 5.x verziókra vonatkozik. A HDInsight-kiadás több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2401030422 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Feljegyzés

Az Ubuntu 18.04-et az Azure Linux csapata az Azure HDInsight 2023. júliusi kiterjesztett biztonsági karbantartása (ESM) keretében támogatja, amely a kiadástól kezdve érhető el.

A számítási feladatokhoz tartozó verziókért lásd:

Megoldott problémák

  • Az Ambari és az Oozie összetevőinek biztonsági javításai

Hamarosan

  • Alapszintű és standard A sorozatú virtuális gépek kivonása.
    • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
    • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Kiadás dátuma: 2023. október 26.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2310140056 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Újdonságok

  • A HDInsight 2023. november 1-től jelenti be a HDInsight 5.1 általános elérhetőségét. Ez a kiadás teljes veremfrissítést biztosít az nyílt forráskód összetevőkre és a Microsoft integrációira.

    • Legújabb nyílt forráskódú verziók – A HDInsight 5.1 a legújabb stabil nyílt forráskódú verzióval rendelkezik. Az ügyfelek élvezhetik a legújabb nyílt forráskód funkciókat, a Microsoft teljesítménybeli fejlesztéseit és a hibajavításokat.
    • Biztonságos – A legújabb verziókban a legújabb biztonsági javítások, a nyílt forráskódú biztonsági javítások és a Microsoft által végzett biztonsági fejlesztések is elérhetőek.
    • Alacsonyabb TCO – A teljesítménybeli fejlesztések révén az ügyfelek csökkenthetik az üzemeltetési költségeket, valamint a továbbfejlesztett automatikus skálázást.
  • Fürtengedélyek a biztonságos tároláshoz

    • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiók csatlakoztatásához.
  • HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.

    • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfél létrehozási hibákba ütközhet, ha ez az ellenőrzés nincs engedélyezve.
  • Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]

    • A nem ESP ABFS-fürtök korlátozzák, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtanak végre a tárolási műveletekhez. Ez a módosítás javítja a fürt biztonsági helyzetét.
  • In-line kvótafrissítés.

    • Most közvetlenül a Saját kvóta oldalról kérheti a kvótanövelést, és a közvetlen API-hívás sokkal gyorsabb. Ha az API-hívás meghiúsul, létrehozhat egy új támogatási kérést a kvótanöveléshez.

Hamarosan

  • A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást minden régióban bevezetjük a közelgő kiadástól kezdve.

  • Alapszintű és standard A sorozatú virtuális gépek kivonása.

    • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken).
    • A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Figyelünk: Itt további ötleteket és egyéb témaköröket adhat hozzá, és szavazhat rájuk – HDInsight Ideas, és kövessen minket további frissítésekért az AzureHDInsight-közösségről

Feljegyzés

Ez a kiadás az MSRC által 2023. szeptember 12-én kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerkép-2308221128 vagy 2310140056 frissítése. Az ügyfeleknek ennek megfelelően kell tervezni.

CVE Súlyosság CVE cím Megjegyzés
CVE-2023-38156 Fontos Azure HDInsight Apache Ambari jogosultsági rés növelése A 2308221128 vagy a 2310140056 oldalon található képen szerepel
CVE-2023-36419 Fontos Azure HDInsight Apache Oozie munkafolyamat-ütemező Jogosultsági rés növelése Alkalmazza a szkript műveletet a klasztereken, vagy frissítse a 2310140056 képre

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Kiadás dátuma: 2023. szeptember 7.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2308221128 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Fontos

Ez a kiadás az MSRC által 2023. szeptember 12-én kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerkép-2308221128 frissítése. Az ügyfeleknek ennek megfelelően kell tervezni.

CVE Súlyosság CVE cím Megjegyzés
CVE-2023-38156 Fontos Azure HDInsight Apache Ambari jogosultsági rés növelése 2308221128 kép része
CVE-2023-36419 Fontos Azure HDInsight Apache Oozie munkafolyamat-ütemező Jogosultsági rés növelése Szkriptművelet alkalmazása fürtökön

Hamarosan

  • A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Ezt a módosítást 2023. szeptember 30-ig hajtjuk végre.
  • Fürtengedélyek a biztonságos tároláshoz
    • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
  • In-line kvótafrissítés.
    • A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az APdI-hívás meghiúsul, az ügyfeleknek új támogatási kérelmet kell létrehozniuk a kvótanöveléshez.
  • HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
    • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtti hibáinak elkerülése érdekében. 
  • Alapszintű és standard A sorozatú virtuális gépek kivonása.
    • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
  • Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
    • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt végre kell hajtaniuk a frissítéseket. 

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Itt további javaslatokat, ötleteket és egyéb témákat adhat hozzá, és szavazhat rájuk – HDInsight Community (azure.com).

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Kiadás dátuma: 2023. július 25.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető lesz. Ez a kiadás a 2307201242 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Mi újság

  • A HDInsight 5.1 mostantól esp-fürttel is támogatott.
  • A Ranger 2.3.0 és az Oozie 5.2.1 frissített verziója mostantól a HDInsight 5.1 része
  • A Spark 3.3.1 (HDInsight 5.1) fürt a Hive Warehouse Csatlakozás or (HWC) 2.1-et tartalmazza, amely az Interaktív lekérdezés (HDInsight 5.1) fürttel működik együtt.
  • Az Ubuntu 18.04-et a 2023. júliusi Azure HDInsighthoz készült Azure Linux-csapat támogatja az ESM (kiterjesztett biztonsági karbantartás) keretében.

Fontos

Ez a kiadás az MSRC által 2023. augusztus 8-án kiadott alábbi CVEs-eket tartalmazza. A művelet a legújabb rendszerképre való frissítés 2307201242. Az ügyfeleknek ennek megfelelően kell tervezni.

CVE Súlyosság CVE cím
CVE-2023-35393 Fontos Az Azure Apache Hive hamisítási biztonsági rése
CVE-2023-35394 Fontos Az Azure HDInsight Jupyter notebook hamisítási biztonsági rése
CVE-2023-36877 Fontos Azure Apache Oozie hamisítási biztonsági rés
CVE-2023-36881 Fontos Azure Apache Ambari hamisítási biztonsági rés
CVE-2023-38188 Fontos Az Azure Apache Hadoop hamisítási biztonsági rése

Hamarosan

  • A fürt nevének maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket.
  • Fürtengedélyek a biztonságos tároláshoz
    • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
  • In-line kvótafrissítés.
    • A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás lesz, ami gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
  • HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
    • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezniük, mivel ez a módosítás kötelező ellenőrzés lenne a fürtlétrehozás 2023. szeptember 30-a előtt bekövetkező hibáinak elkerülése érdekében. 
  • Alapszintű és standard A sorozatú virtuális gépek kivonása.
    • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
  • Nem ESP ABFS-fürtök [A Word olvasható fürtengedélyei]
    • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek 2023. szeptember 30-a előtt kell megtervezniük a frissítéseket. 

Ha további kérdései vannak, forduljon az Azure ügyfélszolgálatához.

A HDInsightról bármikor kérdezhet az Azure HDInsighton – Microsoft Q&A

Szívesen ad további javaslatokat és ötleteket és más témákat itt, és szavazzon rájuk - HDInsight Közösség (azure.com), és kövessen minket további frissítések twitter

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Kiadás dátuma: 2023. május 08.

Ez a kiadás a HDInsight 4.x és 5.x HDInsight kiadásra vonatkozik, amely több napon keresztül minden régióban elérhető. Ez a kiadás a 2304280205 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

A frissítést szöveggel ábrázoló ikon.

  1. Az Azure HDInsight 5.1 frissítése

    1. Apache HBase 2.4.11
    2. Apache Phoenix 5.1.2
    3. Apache Hive 3.1.2
    4. Apache Spark 3.3.1
    5. Apache Tez 0.9.1
    6. Apache Zeppelin 0.10.1
    7. Apache Livy 0.5
    8. Apache Kafka 3.2.0

    Feljegyzés

    • Minden összetevő integrálva van a Hadoop 3.3.4 > ZK 3.6.3
    • A fenti frissített összetevők mostantól nyilvános előzetes verziójú, nem ESP-fürtökben is elérhetők.

Az új funkciókat szöveggel ábrázoló ikon.

  1. Továbbfejlesztett automatikus skálázás a HDInsighthoz

    Az Azure HDInsight jelentős fejlesztéseket hajtott végre az automatikus skálázás stabilitásán és késésén. Az alapvető változások közé tartozik a jobb visszajelzési ciklus a skálázási döntésekhez, a skálázási késés jelentős javulása és a leszerelt csomópontok újrakommissziójának támogatása. További információ a fejlesztésekről, a fürt egyéni konfigurálásáról és a továbbfejlesztett automatikus skálázásra való migrálásáról. A továbbfejlesztett automatikus skálázási funkció 2023. május 17-én érhető el az összes támogatott régióban.

  2. Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP mostantól általánosan elérhető.

    Az Apache Kafka 2.4.1-hez készült Azure HDInsight ESP 2022 áprilisa óta nyilvános előzetes verzióban érhető el. A CVE javításainak és stabilitásának jelentős fejlesztései után az Azure HDInsight ESP Kafka 2.4.1 általánosan elérhetővé válik, és készen áll az éles számítási feladatokra, és megismerkedhet a konfigurálás és a migrálás módjával.

  3. A HDInsight kvótakezelése

    A HDInsight jelenleg regionális szinten foglalja le a kvótát az ügyfél-előfizetésekhez. Az ügyfeleknek kiosztott magok általánosak, és nem virtuálisgép-családi szinten vannak besorolva (például, Dv2, Ev3, Eav4stb.).

    A HDInsight továbbfejlesztett nézetet vezetett be, amely részletes és besorolást biztosít a családi szintű virtuális gépek kvótáihoz. Ez a funkció lehetővé teszi, hogy az ügyfelek a virtuális gép családi szintjén tekinthetik meg a régió aktuális és fennmaradó kvótáit. A továbbfejlesztett nézettel az ügyfelek gazdagabb láthatóságot, kvóták tervezését és jobb felhasználói élményt biztosítanak. Ez a funkció jelenleg az USA keleti régiójához tartozó HDInsight 4.x és 5.x rendszeren érhető el. További követendő régiók.

    További információ: Fürtkapacitás-tervezés az Azure HDInsightban | Microsoft Learn

A szöveggel hozzáadott új régiók ikonja.

  • Közép-Lengyelország

  • A fürtnév maximális hossza 45-ről 59 karakterre változik a fürtök biztonsági helyzetének javítása érdekében.
  • Fürtengedélyek a biztonságos tároláshoz
    • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
  • In-line kvótafrissítés.
    • A kéréskvóták közvetlenül a Saját kvóta oldalról növekednek, ami egy közvetlen API-hívás, amely gyorsabb. Ha az API-hívás sikertelen, az ügyfeleknek létre kell hozniuk egy új támogatási kérelmet a kvótanöveléshez.
  • HDInsight-fürt létrehozása egyéni virtuális hálózatokkal.
    • A HDInsight-fürtök általános biztonsági helyzetének javítása érdekében az egyéni virtuális merevlemezeket használó HDInsight-fürtöknek biztosítaniuk kell, hogy a felhasználónak engedéllyel kell rendelkeznie a létrehozási műveletek végrehajtásához Microsoft Network/virtualNetworks/subnets/join/action . Az ügyfeleknek ennek megfelelően kell tervezni, mivel ez kötelező ellenőrzés lenne a fürtlétrehozás hibáinak elkerülése érdekében.
  • Alapszintű és standard A sorozatú virtuális gépek kivonása.
    • 2024. augusztus 31-én kivonjuk az alapszintű és standard A sorozatú virtuális gépeket. Ezen dátum előtt migrálnia kell a számítási feladatokat Av2-sorozatú virtuális gépekre, amelyek több memóriát biztosítanak vCPU-nként, és gyorsabb tárolást a szilárd állapotú meghajtókon (SSD-ken). A szolgáltatáskimaradások elkerülése érdekében 2024. augusztus 31-ig migrálja a számítási feladatokat alapszintű és standard A sorozatú virtuális gépekről Av2 sorozatú virtuális gépekre.
  • Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
    • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.

Kiadás dátuma: 2023. február 28.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. és 5.0, 5.1. A HDInsight-kiadás több napon keresztül minden régióban elérhető. Ez a kiadás a 2302250400 képszámra vonatkozik. Hogyan ellenőrizhetem a képszámot?

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókért lásd:

Fontos

A Microsoft kiadta a CVE-2023-23408-at, amely az aktuális kiadásban van javítva, és az ügyfeleknek javasoljuk, hogy frissítsenek fürtöiket a legújabb lemezképre. 

Az új funkciókat szöveggel ábrázoló ikon.

HDInsight 5.1

Elindítottuk a HDInsight 5.1 új verzióját. Minden új nyílt forráskódú kiadás növekményes kiadásként hozzáadva a HDInsight 5.1-es verziójához.

További információ: HDInsight 5.1.0-s verzió

A frissítést szöveggel ábrázoló ikon.

Kafka 3.2.0 frissítés (előzetes verzió)

  • A Kafka 3.2.0 számos jelentős új funkciót/fejlesztést tartalmaz.
    • Frissített Zookeeper 3.6.3-ra
    • Kafka adatfolyamok támogatása
    • A Kafka-gyártó számára alapértelmezés szerint engedélyezett erősebb kézbesítési garanciák.
    • log4j 1.x helyett reload4j.
    • Küldjön egy tippet a partícióvezetőnek a partíció helyreállításához.
    • JoinGroupRequest és LeaveGroupRequest van egy ok csatolva.
    • Hozzáadva a közvetítők számának metrikái8.
    • Tükrözési Maker2 fejlesztések.

HBase 2.4.11 frissítés (előzetes verzió)

  • Ez a verzió olyan új funkciókkal rendelkezik, mint például a blokkgyorsítótár új gyorsítótárazási mechanizmusainak hozzáadása, a táblázat módosításának hbase:meta table és megtekintésének lehetősége a hbase:meta HBase WEB felhasználói felületén.

Phoenix 5.1.2 frissítés (előzetes verzió)

  • A Phoenix verziója ebben a kiadásban az 5.1.2-es verzióra frissült. Ez a frissítés tartalmazza a Phoenix Query Servert is. A Phoenix Query Server a szabványos Phoenix JDBC-illesztőt proxyzja, és egy visszafelé kompatibilis vezetékes protokollt biztosít a JDBC-illesztőprogram meghívásához.

Ambari CV-k

  • Több Ambari CV-t is kijavítottunk.

Feljegyzés

Ebben a kiadásban a Kafka és a HBase nem támogatja az ESP-t.

A támogatás végét jelző ikon szöveggel.

Megszűnik az Azure HDInsight-fürtök támogatása a Spark 2.4-ben 2024. február 10-én. További információ: Az Azure HDInsight által támogatott Spark-verziók

A következő lépések

  • Automatikus skálázás
    • Automatikus skálázás továbbfejlesztett késéssel és számos fejlesztéssel
  • Fürtnévváltoztatás korlátozása
    • A fürtnév maximális hossza 45-ről 59-re változik a nyilvános, az Azure China és az Azure Government esetében.
  • Fürtengedélyek a biztonságos tároláshoz
    • Az ügyfelek megadhatja (a fürt létrehozása során), hogy a HDInsight-fürtcsomópontok számára biztonságos csatornát kell-e használni a tárfiókhoz való kapcsolódáshoz.
  • Nem ESP ABFS-fürtök [Fürtengedélyek a világ számára olvasható]
    • Tervezze meg a nem ESP ABFS-fürtök módosítását, amely korlátozza, hogy a nem Hadoop-csoport felhasználói Hadoop-parancsokat hajtsanak végre a tárolási műveletekhez. Ez a változás a fürt biztonsági helyzetének javítása érdekében. Az ügyfeleknek meg kell tervezni a frissítéseket.
  • Nyílt forráskódú frissítések
    • Az Apache Spark 3.3.0 és a Hadoop 3.3.4 fejlesztés alatt áll a HDInsight 5.1-ben, és számos jelentős új funkciót, teljesítményt és egyéb fejlesztést tartalmaz.

Feljegyzés

Azt javasoljuk az ügyfeleknek, hogy használják a HDInsight-rendszerképek legújabb verzióit, mivel azok a legjobb nyílt forráskód frissítéseket, Azure-frissítéseket és biztonsági javításokat kínálják. További információért lásd: Legjobb gyakorlatok.

Kiadás dátuma: 2022. december 12.

Ez a kiadás a HDInsight 4.0-ra vonatkozik. és az 5.0 HDInsight kiadás több napon keresztül minden régió számára elérhetővé válik.

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Operációsrendszer-verziók

  • HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
  • HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

A számítási feladatokhoz tartozó verziókról itt olvashat .

Az új funkciókat szöveggel ábrázoló ikon.

  • Log Analytics – Az ügyfelek engedélyezhetik a klasszikus monitorozást az OMS legújabb 14.19-es verziójának beszerzéséhez. A régi verziók eltávolításához tiltsa le és engedélyezze a klasszikus monitorozást.
  • Az Ambari felhasználói automatikus felhasználói felülete inaktivitás miatt kijelentkezik. További információ:
  • Spark – A Spark 3.1.3 új és optimalizált verziója szerepel ebben a kiadásban. Teszteltük az Apache Spark 3.1.2(korábbi verzió) és az Apache Spark 3.1.3 (jelenlegi verzió) verzióját a TPC-DS benchmark használatával. A tesztet az Apache Spark 1 TB-os számítási feladathoz készült E8 V3 termékváltozatával végezték el. Az Apache Spark 3.1.3 (jelenlegi verzió) több mint 40%-kal felülmúlta az Apache Spark 3.1.2-t (korábbi verzió) a TPC-DS-lekérdezések teljes lekérdezési futásidejében ugyanazokkal a hardveres specifikációkkal. A Microsoft Spark csapata optimalizálásokat adott hozzá az Azure Synapse-ban az Azure HDInsighttal. További információ: Adatterhelések felgyorsítása az Apache Spark 3.1.2 teljesítményfrissítéseivel az Azure Synapse-ben

A szöveggel hozzáadott új régiók ikonja.

  • Közép-Katar
  • Észak-Németország

A szöveggel módosított szöveget megjelenítő ikon.

  • A HDInsight átlépett az Azul Zulu Java JDK 8-ról Adoptium Temurin JDK 8, amely támogatja a kiváló minőségű TCK-tanúsítvánnyal rendelkező futtatókörnyezeteket és a kapcsolódó technológiákat a Java-ökoszisztémában való használathoz.

  • A HDInsight át lett migrálva.reload4j A log4j módosítások a következőre vonatkoznak:

    • Apache Hadoop
    • Apache Zookeeper
    • Apache Oozie
    • Apache Ranger
    • Apache Sqoop
    • Apache Pig
    • Apache Ambari
    • Apache Kafka
    • Apache Spark
    • Apache Zeppelin
    • Apache Livy
    • Apache Rubix
    • Apache Hive
    • Apache Tez
    • Apache HBase
    • OMI
    • Apache Pheonix

A frissítést szöveggel ábrázoló ikon.

A TLS1.2 implementálásához szükséges HDInsight előrehaladtával a korábbi verziók frissülnek a platformon. Ha bármilyen alkalmazást futtat a HDInsighton, és a TLS 1.0 és 1.1 rendszert használják, frissítsen a TLS 1.2-re a szolgáltatások megszakadásának elkerülése érdekében.

További információ: A Transport Layer Security (TLS) engedélyezése

A támogatás végét jelző ikon szöveggel.

2022. november 30-tól megszűnik az Azure HDInsight-fürtök támogatása az Ubuntu 16.04 LTS-en. A HDInsight 2021. június 27-től megkezdi a fürtlemezképek kiadását az Ubuntu 18.04-es verziójával. Azt javasoljuk ügyfeleinknek, hogy az Ubuntu 16.04 használatával fürtöket futtató ügyfeleink 2022. november 30-ig a legújabb HDInsight-lemezképekkel építsék újra a fürtöket.

A fürt Ubuntu-verziójának ellenőrzéséről itt talál további információt

  1. Hajtsa végre az "lsb_release -a" parancsot a terminálban.

  2. Ha a kimenet "Description" tulajdonságának értéke "Ubuntu 16.04 LTS", akkor ez a frissítés a fürtre vonatkozik.

A hibajavításokat szöveggel ábrázoló ikon.

  • A Rendelkezésre állási zónák kafka- és HBase-fürtökhöz (írási hozzáférés) való kiválasztásának támogatása.

Nyílt forráskódú hibajavítások

Hive hibajavítások

Hibajavítások Apache JIRA
HIVE-26127 IN Standard kiadás RT OVERWRITE hiba – A fájl nem található
HIVE-24957 Helytelen eredmények, ha a subqueryben a COALESCE szerepel a korrelációs predikátumban
HIVE-24999 A HiveSubQueryRemoveRule érvénytelen tervet hoz létre az IN-allekérdezéshez több korrelációval
HIVE-24322 Közvetlen beszúrás esetén a kísérletazonosítót ellenőrizni kell, ha a jegyzékfájl olvasása meghiúsul
HIVE-23363 DataNucleus-függőség frissítése 5.2-re
HIVE-26412 Interfész létrehozása az elérhető pontok beolvasásához és az alapértelmezett beállítás hozzáadásához
HIVE-26173 Frissítés a 10.14.2.0-s verzióra
HIVE-25920 Dudor Xerce2 a 2.12.2-hez.
HIVE-26300 A CVE-2020-36518 elkerülése érdekében frissítse a Jackson adatkötési verzióját a 2.12.6.1+-ra

Kiadás dátuma: 2022. 08. 10.

Ez a kiadás a HDInsight 4.0-ra vonatkozik.  A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Icon_showing_new_features.

Új funkció

1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben

A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.

Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként szolgálnak. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.

Feljegyzés

A hozzáadott lemezek csak a csomópontkezelő helyi könyvtáraihoz vannak konfigurálva.

További információ:

2. Szelektív naplózási elemzés

A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.

  1. A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
  2. A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
  3. A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.

További információ:

Icon_showing_bug_fixes.

Rögzített méretű lemez

Log analytics

Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)

Az OMS aktuális verziójának ellenőrzése

  1. Jelentkezzen be a fürtbe az SSH használatával.
  2. Futtassa az alábbi parancsot az SSH-ügyfélben.
sudo /opt/omi/bin/ominiserver/ --version

Képernyőkép az OMS-frissítés ellenőrzéséről.

Az OMS-verzió frissítése 13-ról 14-re

  1. Jelentkezzen be az Azure Portalra
  2. Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
  3. Szkriptműveletek kiválasztása
  4. A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
  5. Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
  6. Csomóponttípus(ok) kiválasztása
  7. Válassza a Létrehozás elemet

Képernyőkép az OMS-frissítésről.

  1. Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:

  2. Jelentkezzen be a fürtbe az SSH használatával.

  3. Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Egyéb hibajavítások

  1. A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik TFile sérült vagy üres.
  2. Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
  3. Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.

Nyílt forráskódú hibajavítások

TEZ hibajavítások

Hibajavítások Apache JIRA
Tez buildelési hibája: FileSaver.js nem található TEZ-4411
Hibás FS-kivétel, ha a raktár és scratchdir a különböző FS-en van TEZ-4406
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel TEZ-4142
TezUtils::createByteStringFromConf kell használni snappy helyett DeflaterOutputStream TEZ-4113
Protobuf-függőség frissítése 3.x-ra TEZ-4363

Hive hibajavítások

Hibajavítások Apache JIRA
Perf-optimalizálások az ORC felosztási generációjában HIVE-21457
Kerülje a tábla ACID-ként való olvasását, ha a tábla neve "delta" névvel kezdődik, de a tábla nem tranzakciós, és a BI felosztási stratégiát használja HIVE-22582
FS#exists hívás eltávolítása az AcidUtils#getLogicalLength szolgáltatásból HIVE-23533
Vektorizált OrcAcidRowBatchReader.computeOffset és gyűjtőoptimalizálás HIVE-17917

Ismert problémák

A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.

Kiadás dátuma: 2022. 08. 10.

Ez a kiadás a HDInsight 4.0-ra vonatkozik.  A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik.

A HDInsight biztonságos üzembehelyezési eljárásokat használ, amelyek fokozatos régiótelepítést foglalnak magukban. Akár 10 munkanapot is igénybe vehet, ha egy új kiadás vagy egy új verzió minden régióban elérhetővé válik.

Icon_showing_new_features.

Új funkció

1. Külső lemezek csatolása HDI Hadoop-/Spark-fürtökben

A HDInsight-fürt SKU-n alapuló előre definiált lemezterülettel rendelkezik. Ez a hely nagy feladatok esetén nem biztos, hogy elegendő.

Ez az új funkció lehetővé teszi további lemezek hozzáadását a fürtben, amelyek csomópontkezelő helyi könyvtárként lesznek használva. A HIVE és a Spark-fürt létrehozása során adjon hozzá lemezeket a feldolgozó csomópontokhoz, míg a kijelölt lemezek a csomópontkezelő helyi könyvtárainak részei.

Feljegyzés

A hozzáadott lemezek csak a csomópontkezelő helyi könyvtáraihoz vannak konfigurálva.

További információ:

2. Szelektív naplózási elemzés

A szelektív naplózási elemzés mostantól minden régióban elérhető a nyilvános előzetes verzióhoz. A fürtöt egy log analytics-munkaterülethez csatlakoztathatja. Ha engedélyezve van, megtekintheti a naplókat és metrikákat, például a HDInsight biztonsági naplóit, a Yarn Resource Managert, a rendszermetrikákat stb. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását. A szelektív naplózás lehetővé teszi az összes tábla engedélyezését/letiltását, vagy a szelektív táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja, mivel a Genf új verziójában egy tábla több forrással rendelkezik.

  1. A genfi monitorozási rendszer mdsd(MDS démont) használ, amely egy monitorozási ügynök, és folyékonyan használható a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
  2. A szelektív naplózás szkriptművelettel tiltja le/engedélyezi a táblákat és a naplótípusokat. Mivel nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
  3. A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására/engedélyezésére.

További információ:

Icon_showing_bug_fixes.

Rögzített méretű lemez

Log analytics

Az OMS 13-at futtató Azure HDInsighttal integrált Log Analytics használatához az OMS 14-es verziójára kell frissíteni a legújabb biztonsági frissítéseket. Az OMS 13-at használó régebbi fürtverziót használó ügyfeleknek telepíteniük kell az OMS 14-es verzióját a biztonsági követelményeknek való megfelelés érdekében. (Az aktuális verzió ellenőrzése és a 14-es telepítés)

Az OMS aktuális verziójának ellenőrzése

  1. Jelentkezzen be a fürtbe az SSH használatával.
  2. Futtassa az alábbi parancsot az SSH-ügyfélben.
sudo /opt/omi/bin/ominiserver/ --version

Képernyőkép az OMS-frissítés ellenőrzéséről.

Az OMS-verzió frissítése 13-ról 14-re

  1. Jelentkezzen be az Azure Portalra
  2. Az erőforráscsoportban válassza ki a HDInsight-fürt erőforrását
  3. Szkriptműveletek kiválasztása
  4. A szkriptművelet elküldése panelen válassza a Szkripttípus egyéniként lehetőséget
  5. Illessze be a következő hivatkozást a Bash-szkript URL-cím mezőjébe https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
  6. Csomóponttípus(ok) kiválasztása
  7. Válassza a Létrehozás elemet

Képernyőkép az OMS-frissítésről.

  1. Ellenőrizze a javítás sikeres telepítését az alábbi lépésekkel:

  2. Jelentkezzen be a fürtbe az SSH használatával.

  3. Futtassa az alábbi parancsot az SSH-ügyfélben.

sudo /opt/omi/bin/ominiserver/ --version

Egyéb hibajavítások

  1. A Yarn-napló parancssori felülete nem tudta lekérni a naplókat, ha valamelyik TFile sérült vagy üres.
  2. Az OAuth-jogkivonat az Azure Active Directoryból való lekérése során érvénytelen szolgáltatásnév-adathibát oldott fel.
  3. Továbbfejlesztett fürtlétrehozás megbízhatósága, ha több mint 100 működő csomópont van konfigurálva.

Nyílt forráskódú hibajavítások

TEZ hibajavítások

Hibajavítások Apache JIRA
Tez buildelési hibája: FileSaver.js nem található TEZ-4411
Hibás FS-kivétel, ha a raktár és scratchdir a különböző FS-en van TEZ-4406
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel TEZ-4142
TezUtils::createByteStringFromConf kell használni snappy helyett DeflaterOutputStream TEZ-4113
Protobuf-függőség frissítése 3.x-ra TEZ-4363

Hive hibajavítások

Hibajavítások Apache JIRA
Perf-optimalizálások az ORC felosztási generációjában HIVE-21457
Kerülje a tábla ACID-ként való olvasását, ha a tábla neve "delta" névvel kezdődik, de a tábla nem tranzakciós, és a BI felosztási stratégiát használja HIVE-22582
FS#exists hívás eltávolítása az AcidUtils#getLogicalLength szolgáltatásból HIVE-23533
Vektorizált OrcAcidRowBatchReader.computeOffset és gyűjtőoptimalizálás HIVE-17917

Ismert problémák

A HDInsight kompatibilis az Apache HIVE 3.1.2-vel. A jelen kiadás hibája miatt a Hive-verzió 3.1.0-s verzióként jelenik meg a Hive-felületeken. A funkcióra azonban nincs hatással.

Kiadás dátuma: 2022.03.06.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

Kiadási kiemelések

A Hive Warehouse Csatlakozás or (HWC) a Spark 3.1.2-n

A Hive Warehouse Csatlakozás or (HWC) lehetővé teszi, hogy kihasználja a Hive és a Spark egyedi funkcióit a nagy teljesítményű big data-alkalmazások létrehozásához. A HWC jelenleg csak a Spark 2.4-ben támogatott. Ez a funkció üzleti értéket ad hozzá azáltal, hogy engedélyezi az ACID-tranzakciókat a Hive-táblákon a Spark használatával. Ez a funkció olyan ügyfelek számára hasznos, akik a Hive-t és a Sparkot is használják az adattulajdonukban. További információ: Apache Spark > Hive – Hive Warehouse Csatlakozás or – Azure HDInsight | Microsoft Docs

Ambari

  • Skálázási és kiépítési fejlesztések változásai
  • A HDI-hive mostantól kompatibilis az OSS 3.1.2-es verziójával

A HDI Hive 3.1-es verziója az OSS Hive 3.1.2-re frissül. Ez a verzió az nyílt forráskód Hive 3.1.2-es verziójában elérhető összes javítást és funkciót tartalmazza.

Feljegyzés

Spark

  • Ha azure-beli felhasználói felületet használ a HdInsighthoz készült Spark-fürt létrehozásához, a legördülő listából egy másik Spark 3.1-es verzió jelenik meg. (HDI 5.0) és a régebbi verziók. Ez a verzió a Spark 3.1 átnevezett verziója. (HDI 4.0). Ez csak egy felhasználói felületi szintű változás, amely semmit sem érint az ARM-sablont már használó meglévő felhasználókra és felhasználókra.

Screenshot_of SPARK 3.1 for HDI 5.0.

Feljegyzés

Interaktív lekérdezés

  • Ha interaktív lekérdezésfürtöt hoz létre, a legördülő listában megjelenik egy másik verzió, mint Interaktív lekérdezés 3.1 (HDI 5.0).
  • Ha a Spark 3.1-es verzióját és az ACID-támogatást igénylő Hive-t fogja használni, akkor ezt a verziót kell kiválasztania az Interactive Query 3.1 (HDI 5.0).

Screenshot_of HDI 5.0-hoz készült interaktív 3.1-lekérdezést.

TEZ hibajavítások

Hibajavítások Apache JIRA
TezUtils.createConfFromByteString on Configuration nagyobb, mint 32 MB dobja com.google.protobuf.CodedInputStream kivétel TEZ-4142
A TezUtils createByteStringFromConf beépülő modult kell használnia a DeflaterOutputStream helyett TEZ-4113

HBase-hibajavítások

Hibajavítások Apache JIRA
A TableSnapshotInputFormat a ReadType.STREAM-et használja a vizsgálathoz HFiles HBA Standard kiadás-26273
A scanMetrics letiltására használható beállítás hozzáadása a TableSnapshotInputFormat alkalmazásban HBA Standard kiadás-26330
A ArrayIndexOutOfBoundsException javítása a kiegyensúlyozó végrehajtásakor HBA Standard kiadás-22739

Hive hibajavítások

Hibajavítások Apache JIRA
NPE az adatok "distribute by" záradékkal való beszúrásakor a dynpart rendezési optimalizálással HIVE-18284
Az MSCK REPAIR parancs partíciószűréssel meghiúsul a partíciók elvetése közben HIVE-23851
Hibás kivétel történt, ha kapacitás<=0 HIVE-25446
Párhuzamos terhelés támogatása HastTables esetén – Interfészek HIVE-25583
MultiDelimitSerDe alapértelmezés szerint belefoglalása a HiveServer2-be HIVE-20619
Távolítsa el a glassfish.jersey és mssql-jdbc osztályokat a jdbc-standalone jar-ból HIVE-22134
Null mutató kivétele mm-tábla tömörítésének futtatása esetén. HIVE-21280
Nagy méretű knox hive-lekérdezés meghiúsult a hibás cső írása miatt HIVE-22231
A felhasználó kötési felhasználó beállítási lehetőségének hozzáadása HIVE-21009
Az UDF implementálása a dátum/időbélyeg belső ábrázolása és a Gergely-Julián hibrid naptár használatával történő értelmezéséhez HIVE-22241
Beeline beállítás végrehajtási jelentés megjelenítésére/megjelenítésére HIVE-22204
Tez: A SplitGenerator megpróbálja megkeresni a tervfájlokat, amelyek nem léteznek a Tez számára HIVE-22169
Költséges naplózás eltávolítása az LLAP-gyorsítótárból hotpath HIVE-22168
UDF: A FunctionRegistry szinkronizálja az org.apache.hadoop.hive.ql.udf.UDFType osztályt HIVE-22161
A lekérdezés-útválasztási hozzáfűző létrehozásának megakadályozása, ha a tulajdonság értéke hamis HIVE-22115
A partíció-eval keresztlekérdezés szinkronizálásának eltávolítása HIVE-22106
A hive scratch dir beállításának kihagyása a tervezés során HIVE-21182
Ha az RPC be van kapcsolva, hagyja ki a karcnaplók létrehozását a tezhez HIVE-21171
a Hive UDF-ek váltása regex motor használatára Re2J HIVE-19661
A hive 3-on az 1. bucketing_version használatával migrált fürtözött táblák bucketing_version 2-et használnak a beszúrásokhoz HIVE-22429
Gyűjtőzés: Az 1. verzió gyűjtőbe helyezése helytelenül particionál adatokat HIVE-21167
ASF-licenc fejlécének hozzáadása az újonnan hozzáadott fájlhoz HIVE-22498
Sémaeszköz fejlesztései a mergeCatalog támogatásához HIVE-22498
A TEZ UNION ALL és az UDTF használatával végzett hive adatvesztést eredményez HIVE-21915
Szövegfájlok felosztása akkor is, ha élőfej/élőláb létezik HIVE-21924
A MultiDelimitSerDe helytelen eredményeket ad vissza az utolsó oszlopban, ha a betöltött fájl több oszlopot tartalmaz, mint a táblasémában. HIVE-22360
LLAP külső ügyfél – Csökkenteni kell a LlapBaseInputFormat#getSplits() lábnyomát HIVE-22221
A fenntartott kulcsszóval rendelkező oszlopnév nem lesz eltávolítva, ha a lekérdezés, beleértve a maszkoszlopot tartalmazó táblához való csatlakozást is (Matyus Zoltán haindrich Zoltánon keresztül) HIVE-22208
LLAP-leállítás megakadályozása kapcsolódó RuntimeException esetén AMReporter HIVE-22113
Előfordulhat, hogy az LLAP állapotszolgáltatás-illesztőprogramja hibás Yarn-alkalmazásazonosítóval elakad HIVE-21866
Az OperationManager.queryIdOperation nem törli megfelelően a több lekérdezésazonosítót HIVE-22275
A csomópontkezelő leállása blokkolja az LLAP szolgáltatás újraindítását HIVE-22219
StackOverflowError sok partíció elvetésekor HIVE-15956
A hozzáférés-ellenőrzés sikertelen, ha egy ideiglenes könyvtárat eltávolítanak HIVE-22273
Hibás eredmények kijavítása/ArrayOutOfBound kivétel a bal oldali külső térképcsatlakozásokban adott határfeltételeken HIVE-22120
Terjesztési felügyeleti címke eltávolítása a pom.xml HIVE-19667
Az elemzési idő magas lehet, ha mélyen beágyazott al lekérdezések vannak HIVE-21980
Az ALTER TABLE t Standard kiadás T TBLPROPERTIES ('EXTERNAL'='TRUE'); TBL_TYPE a nem CAPS-hez nem tükröző attribútumváltozások HIVE-20057
JDBC: Hive Csatlakozás ion shades interfaces log4j HIVE-18874
Adattár URL-címeinek frissítése a 3.1-es ág verziójában poms HIVE-21786
DBInstall a főkiszolgálón és a branch-3.1-en megszakadt tesztek HIVE-21758
Az adatok gyűjtőbe való betöltése figyelmen kívül hagyja a partíciók specifikációit, és betölti az adatokat az alapértelmezett partícióba HIVE-21564
Olyan lekérdezések, amelyekhez az illesztési feltétel időbélyeggel vagy időbélyeggel rendelkezik a helyi időzóna literális dobása SzemanticException használatával HIVE-21613
A HDFS-en futó átmeneti dir mögött hagyott oszlopok számítási statisztikáinak elemzése HIVE-21342
Inkompatibilis változás a Hive-gyűjtő számításában HIVE-21376
Tartalék engedélyező megadása, ha nincs használatban más engedélyező HIVE-20420
Néhány alterPartitions invocations throw "NumberFormatException: null" HIVE-18767
HiveServer2: Bizonyos esetekben a http-átvitel előhitelesített tárgya nem marad meg a HTTP-kommunikáció teljes időtartama alatt HIVE-20555

Kiadás dátuma: 2022.03.10.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

A kiadás operációsrendszer-verziói a következők:

  • HDInsight 4.0: Ubuntu 18.04.5

Általánosan elérhető a Spark 3.1

A Spark 3.1 mostantól általánosan elérhető a HDInsight 4.0-s kiadásában. Ez a kiadás tartalmazza a

  • Adaptív lekérdezés végrehajtása,
  • Rendezési egyesítési illesztés átalakítása szórásos kivonatos illesztéssé,
  • Spark Catalyst Optimizer,
  • Dinamikus partíciómetszet,
  • Az ügyfelek új Spark 3.1-fürtöket hozhatnak létre, és nem Spark 3.0-s (előzetes verziójú) fürtöket.

További információ: Az Apache Spark 3.1 mostantól általánosan elérhető a HDInsighton – Microsoft Tech Community.

A fejlesztések teljes listáját az Apache Spark 3.1 kibocsátási megjegyzéseiben találja.

A migrálással kapcsolatos további információkért tekintse meg a migrálási útmutatót .

A Kafka 2.4 már általánosan elérhető

A Kafka 2.4.1 mostantól általánosan elérhető. További információ: Kafka 2.4.1 Kibocsátási megjegyzések. További funkciók: MirrorMaker 2 rendelkezésre állás, új metrikakategória AtMinIsr témakörpartíció, továbbfejlesztett közvetítő indítási ideje lusta igény szerint mmap indexfájlok, további fogyasztói metrikák a felhasználói szavazás viselkedésének megfigyeléséhez.

A HWC adattípusának leképezése mostantól támogatott a HDInsight 4.0-ban

Ez a kiadás tartalmazza a Map Datatype támogatást a HWC 1.0-hoz (Spark 2.4) a Spark-shell alkalmazáson keresztül, és minden más spark-ügyfelet, amelyet a HWC támogat. Az alábbi fejlesztések a többi adattípushoz hasonlóan az alábbiakat tartalmazzák:

A felhasználó

  • Hozzon létre egy Hive-táblát a Map adattípust tartalmazó oszlop(ok)ból, szúrjon be adatokat, és olvassa el az eredményeket.
  • Hozzon létre egy Apache Spark-adatkeretet térképtípussal, és végezze el a köteg/stream olvasását és írását.

Új régiók

A HDInsight mostantól két új régióra bővítette földrajzi jelenlétét: Kína keleti régiója 3. és Kína északi régiója 3.

OSS-háttérjelentés változásai

A Hive-ben található OSS-háttérjelentések, beleértve a HWC 1.0-t (Spark 2.4), amely támogatja a Térkép adattípust.

A jelen kiadáshoz az OSS által támogatott Apache JIRA-k tartoznak:

Érintett funkció Apache JIRA
Az IN/(NOT IN) metaadattár közvetlen SQL-lekérdezéseit az SQL DB által megengedett maximális paraméterek alapján kell felosztani HIVE-25659
Frissítés log4j 2.16.0-ra 2.17.0-ra HIVE-25825
Verzió frissítése Flatbuffer HIVE-22827
Az adattípus natív leképezésének támogatása Nyíl formátumban HIVE-25553
LLAP külső ügyfél – Beágyazott értékek kezelése null értékű szülőstruktúra esetén HIVE-25243
A nyílverzió frissítése a 0.11.0-ra HIVE-23987

Elavulással kapcsolatos közlemények

Azure-beli virtuálisgép-méretezési csoportok a HDInsighton

A HDInsight a továbbiakban nem fogja használni az Azure Virtual Machine Scale Setset a fürtök kiépítéséhez, nem várható kompatibilitástörő változás. A virtuálisgép-méretezési csoportok meglévő HDInsight-fürtjeinek nincs hatása, a legújabb rendszerképeken lévő új fürtök már nem fogják használni a virtuálisgép-méretezési csoportokat.

Az Azure HDInsight HBase számítási feladatainak skálázása mostantól csak manuális méretezéssel támogatott

2022. március 01-től a HDInsight csak a HBase manuális méretezését támogatja, nincs hatással a futó fürtökre. Az új HBase-fürtök nem fogják tudni engedélyezni az ütemezésalapú automatikus skálázást. A HBase-fürt manuális méretezéséről további információt az Azure HDInsight-fürtök manuális skálázásával kapcsolatos dokumentációnkban talál.

Kiadás dátuma: 2021. 12. 27.

Ez a kiadás a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napig a régióban él.

A kiadás operációsrendszer-verziói a következők:

  • HDInsight 4.0: Ubuntu 18.04.5 LTS

A HDInsight 4.0-s rendszerképe frissült, hogy enyhítse Log4j a biztonsági réseket a Microsoft CVE-2021-44228 Apache Log4j 2-re adott válaszában leírtak szerint.

Feljegyzés

  • A 2021. december 27. 00:00 (UTC) után létrehozott HDI 4.0-fürtök a rendszerkép frissített verziójával jönnek létre, amely csökkenti a log4j biztonsági réseket. Ezért az ügyfeleknek nem kell kijavítani/újraindítani ezeket a fürtöket.
  • Az új HDInsight 4.0-fürtök esetében, amelyeket 2021. december 16., 01:15 (UTC) és 2021. december 27. 00:00 (UTC) között hoztak létre, HDInsight 3.6 vagy rögzített előfizetésekben 2021. december 16. után a rendszer automatikusan alkalmazza a javítást a fürt létrehozásának egy órájában, azonban az ügyfeleknek újra kell indítaniuk a csomópontokat a javítás befejezéséhez (kivéve a Kafka Management-csomópontokat, automatikusan újraindulnak).

Kiadás dátuma: 2021. 07. 27.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A kiadás operációsrendszer-verziói a következők:

  • HDInsight 3.6: Ubuntu 16.04.7 LTS
  • HDInsight 4.0: Ubuntu 18.04.5 LTS

Új funkciók

Az Azure HDInsight korlátozott nyilvános Csatlakozás ivity támogatása 2021. október 15-én általánosan elérhető

Az Azure HDInsight mostantól minden régióban támogatja a korlátozott nyilvános kapcsolatot. Az alábbiakban bemutatjuk a képesség főbb főbb jellemzőit:

  • Lehetőség az erőforrás-szolgáltató fürtkommunikációra való megfordítására, hogy az a fürtről az erőforrás-szolgáltató felé irányuló kimenő forgalomra legyen képes
  • Saját Private Link-kompatibilis erőforrások (például tárolás, SQL, kulcstartó) HDInsight-fürthöz való elérésének támogatása az erőforrások csak magánhálózaton keresztüli eléréséhez
  • Nincs kiépített nyilvános IP-cím

Ezzel az új funkcióval kihagyhatja a HDInsight felügyeleti IP-címeinek bejövő hálózati biztonsági csoport (NSG) szolgáltatáscímkéinek szabályait is. További információ a nyilvános kapcsolatok korlátozásáról

Mostantól privát végpontokkal is csatlakozhat a HDInsight-fürtökhöz privát kapcsolaton keresztül. A privát kapcsolat olyan virtuális hálózatok közötti forgatókönyvekben használható, ahol a virtuális hálózatok közötti társviszony-létesítés nem érhető el vagy engedélyezve van.

Az Azure Private Link lehetővé teszi az Azure PaaS-szolgáltatások (például az Azure Storage és az SQL Database) és az Azure által üzemeltetett ügyfél-/partnerszolgáltatások elérését a virtuális hálózat egy privát végpontján keresztül.

A virtuális hálózat és a szolgáltatás közötti forgalom a Microsoft gerinchálózatán halad át. Ezáltal kiküszöbölhető a szolgáltatás nyilvános internetes kitettsége.

Engedélyezze a privát kapcsolat engedélyezését. 

Új Azure Monitor-integrációs felület (előzetes verzió)

Az új Azure Monitor-integrációs felület az USA keleti régiójában és Nyugat-Európában jelenik meg ezzel a kiadással. Az új Azure Monitor-felületről itt talál további információt.

Elavulás

A HDInsight 3.6-os verziója 2022. október 01-én elavult.

Viselkedésbeli változások

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az új interaktív lekérdezésfürtökön már nem engedélyezheti a terhelésalapú automatikus skálázást. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

Közelgő változások

A következő változások a közelgő kiadásokban történnek.

Az ESP Spark-fürt beépített LLAP-összetevője el lesz távolítva

A HDInsight 4.0 ESP Spark-fürt beépített LLAP-összetevőkkel rendelkezik, és mindkét fejcsomóponton fut. Az ESP Spark-fürt LLAP-összetevői eredetileg a HDInsight 3.6 ESP Sparkhoz lettek hozzáadva, de a HDInsight 4.0 ESP Sparkhoz nincs valós felhasználói esete. A következő, 2021 szeptemberében ütemezett kiadásban a HDInsight eltávolítja a beépített LLAP-összetevőt a HDInsight 4.0 ESP Spark-fürtből. Ez a módosítás segít kiépíteni a csomópontok számítási feladatait, és elkerülheti az ESP Spark és az ESP Interaktív Hive-fürttípus közötti félreértéseket.

Új régió

  • USA 3. nyugati régiója
  • Jio Nyugat-India
  • Ausztrália középső régiója

Összetevő verzióváltozása

Ezzel a kiadással a következő összetevőverzió módosult:

  • ORC-verzió 1.5.1-től 1.5.9-es verzióig

Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Visszahordott JIRA-k

A kiadáshoz a háttérportolt Apache JIRA-k a következők:

Érintett funkció Apache JIRA
Dátum/időbélyeg HIVE-25104
HIVE-24074
HIVE-22840
HIVE-22589
HIVE-22405
HIVE-21729
HIVE-21291
HIVE-21290
UDF HIVE-25268
HIVE-25093
HIVE-22099
HIVE-24113
HIVE-22170
HIVE-22331
ORK HIVE-21991
HIVE-21815
HIVE-21862
Táblaséma HIVE-20437
HIVE-22941
HIVE-21784
HIVE-21714
HIVE-18702
HIVE-21799
HIVE-21296
Számítási feladatok kezelése HIVE-24201
Tömörítés HIVE-24882
HIVE-23058
HIVE-23046
Tényleges táblán alapuló nézet HIVE-22566

HDInsight Dv2 virtuális gépek árkorrekciója

2021. április 25-én kijavítottunk egy díjszabási hibát a Dv2 HDInsight virtuálisgép-sorozatában. A díjszabási hiba miatt április 25-e előtt néhány ügyfél számláinak díja csökkent, és a javítással az árak most már megegyeznek a HDInsight díjszabási oldalán és a HDInsight díjszabási kalkulátorban meghirdetett árakkalkulátorral. A díjszabási hiba a következő régiókban lévő, virtuális gépeket használó Dv2 ügyfeleket érintette:

  • Közép-Kanada
  • Kelet-Kanada
  • Kelet-Ázsia
  • Dél-Afrika északi régiója
  • Délkelet-Ázsia
  • Egyesült Arab Emírségek középső régiója

2021. április 25-től a virtuális gépek korrigált összege Dv2 az Ön fiókjában lesz. Az ügyfélértesítéseket a rendszer a módosítás előtt elküldte az előfizetés-tulajdonosoknak. A tarifakalkulátor, a HDInsight díjszabási lapja vagy a HDInsight-fürt létrehozása panel az Azure Portalon a régióban lévő virtuális gépek korrigált költségeinek Dv2 megtekintéséhez használható.

Nincs szükség más műveletre. Az árkorrekció csak a megadott régiókban 2021. április 25-én vagy azt követően érvényes használatra vonatkozik, az ezen időpontot megelőző használatra nem. Annak érdekében, hogy a legeredményesebb és legköltséghatékonyabb megoldással rendelkezzen, javasoljuk, hogy tekintse át a fürtök díjszabását, a VCPU-t és a RAM-ot Dv2 , és hasonlítsa össze a Dv2 specifikációkat a Ev3 virtuális gépekkel, és ellenőrizze, hogy a megoldás kihasználná-e az újabb virtuálisgép-sorozatok egyikét.

Kiadás dátuma: 2021. 02. 06.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

A kiadás operációsrendszer-verziói a következők:

  • HDInsight 3.6: Ubuntu 16.04.7 LTS
  • HDInsight 4.0: Ubuntu 18.04.5 LTS

Új funkciók

Operációs rendszer verziófrissítése

Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Ezzel a kiadással elindítottuk az Ubuntu 18.04-en futó új HDInsight 4.0-fürtrendszerképet. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.

A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. július 1-től alapszintű támogatásra vált (a Standard támogatástól kezdve). A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.

Ha meglévő HDInsight 4.0-fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürtök létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után.

Az új fürt létrehozása után SSH-t adhat a fürthöz, és futtathatja sudo lsb_release -a annak ellenőrzéséhez, hogy az Ubuntu 18.04-es rendszeren fut-e. Javasoljuk, hogy az éles környezetbe való áttérés előtt tesztelje az alkalmazásokat a teszt-előfizetésekben.

A HBase gyorsított írási fürtöinek skálázási optimalizálása

A HDInsight továbbfejlesztette és optimalizálta a HBase által gyorsított írásvédett fürtök skálázását. További információ a HBase gyorsított írásáról.

Elavulás

Ebben a kiadásban nincs elavulás.

Viselkedésbeli változások

A HDInsight 4.0 főcsomópontjaként Stardard_A5 virtuális gép méretének letiltása

A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. Ettől a kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-mérettel főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. A head node-hoz erősen ajánlott négymagos virtuális gép, amely biztosítja az éles HDInsight-fürtök magas rendelkezésre állását és megbízhatóságát.

A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás felülmúlhatja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

A virtuálisgép-gazdagép elnevezése 2021. július 1-jén módosul

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. Ez az áttelepítés megváltoztatja a fürt gazdagépének teljes tartományneve névformátumát, és az állomásnévben szereplő számok nem lesznek garantálva egymás után. Ha az egyes csomópontok teljes tartományneveit szeretné lekérni, tekintse meg a fürtcsomópontok gazdagépneveit.

Váltás azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Kiadás dátuma: 2021. 03. 24.

Új funkciók

Spark 3.0 előzetes verzió

A HDInsight a Spark 3.0.0 támogatását hozzáadta a HDInsight 4.0-hoz előzetes verziójú funkcióként.

Kafka 2.4 előzetes verzió

A HDInsight hozzáadta a Kafka 2.4.1-támogatást a HDInsight 4.0-hoz előzetes verziójú funkcióként.

Eav4-sorozat támogatása

Ebben a kiadásban a HDInsight -series támogatást adott hozzá Eav4.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

Ebben a kiadásban nincs elavulás.

Viselkedésbeli változások

A fürt alapértelmezett verziója 4.0-ra módosul

A HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.

Az alapértelmezett fürt virtuálisgép-méretei -series értékre változnak Ev3

A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.

A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A HDInsight Interaktív lekérdezés csak az ütemezésalapú automatikus skálázást támogatja

Ahogy az ügyfélforgatókönyvek egyre kiforrottabbak és változatosabbak lesznek, az Interaktív lekérdezés (LLAP) terhelésalapú automatikus skálázása bizonyos korlátozásokat azonosított. Ezeket a korlátozásokat az LLAP-lekérdezések dinamikájának természete, a jövőbeli terhelés-előrejelzés pontossági problémái és az LLAP-ütemező tevékenység-újraelosztásával kapcsolatos problémák okozzák. Ezen korlátozások miatt előfordulhat, hogy a felhasználók azt látják, hogy a lekérdezések lassabban futnak az LLAP-fürtökön, ha az automatikus skálázás engedélyezve van. A teljesítményre gyakorolt hatás meghaladja az automatikus skálázás költségelőnyét.

2021 júliusától a HDInsight interaktív lekérdezési számítási feladatai csak az ütemezésalapú automatikus skálázást támogatják. Az automatikus skálázás már nem engedélyezhető az új interaktív lekérdezési fürtökön. A meglévő futó fürtök továbbra is futtathatók a fent ismertetett ismert korlátozásokkal.

A Microsoft azt javasolja, hogy az LLAP ütemezésalapú automatikus skálázására váltson. A fürt aktuális használati mintáját a Grafana Hive irányítópulton elemezheti. További információ: Azure HDInsight-fürtök automatikus méretezése.

Operációs rendszer verziófrissítése

A HDInsight-fürtök jelenleg az Ubuntu 16.04 LTS-en futnak. Az Ubuntu kiadási ciklusában hivatkozott Ubuntu 16.04 kernel 2021 áprilisában éri el az End of Life (EOL) rendszert. Az Ubuntu 18.04-en futó új HDInsight 4.0-s fürtrendszerképet 2021 májusában fogjuk elindítani. Az újonnan létrehozott HDInsight 4.0-fürtök alapértelmezés szerint az Ubuntu 18.04-en futnak, amint elérhetők. Az Ubuntu 16.04 meglévő fürtöi ugyanúgy futnak, mint a teljes támogatással.

A HDInsight 3.6 továbbra is az Ubuntu 16.04-en fog futni. 2021. június 30-ig megszűnik a standard támogatás, és 2021. július 1-től alapszintű támogatásra változik. A dátumokkal és a támogatási lehetőségekkel kapcsolatos további információkért tekintse meg az Azure HDInsight verzióit. Az Ubuntu 18.04 nem támogatott a HDInsight 3.6-hoz. Ha az Ubuntu 18.04-et szeretné használni, át kell telepítenie a fürtöket a HDInsight 4.0-ra.

Ha meglévő fürtöket szeretne áthelyezni az Ubuntu 18.04-re, el kell helyeznie és újra létre kell hoznia a fürtöket. Tervezze meg a fürt létrehozását vagy újbóli létrehozását az Ubuntu 18.04-támogatás elérhetővé válása után. Egy újabb értesítést küldünk, miután az új rendszerkép minden régióban elérhetővé válik.

Erősen ajánlott, hogy előre tesztelje a szkriptműveleteket és a peremcsomópontokon üzembe helyezett egyéni alkalmazásokat egy Ubuntu 18.04 virtuális gépen (VM). Létrehozhat Ubuntu Linux rendszerű virtuális gépet a 18.04-LTS-en, majd létrehozhat és használhat egy biztonságos rendszerhéj-(SSH-) kulcspárt a virtuális gépen a szkriptműveletek és a peremcsomópontokon üzembe helyezett egyéni alkalmazások futtatásához és teszteléséhez.

A HDInsight 4.0 főcsomópontjaként Stardard_A5 virtuális gép méretének letiltása

A HDInsight-fürtfőcsomópont felelős a fürt inicializálásáért és felügyeletéért. Standard_A5 virtuális gép mérete megbízhatósági problémákat tapasztal a HDInsight 4.0 fő csomópontjaként. A következő, 2021. májusi kiadástól kezdve az ügyfelek nem hozhatnak létre új fürtöket, Standard_A5 virtuálisgép-méretet főcsomópontként. Más kétmagos virtuális gépeket is használhat, például E2_v3 vagy E2s_v3. A meglévő fürtök a jelenlegi módon fognak futni. Az éles HDInsight-fürtök magas rendelkezésre állása és megbízhatósága érdekében a head node-hoz erősen ajánlott egy négymagos virtuális gép.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

A Spark 3.0.0 és a Kafka 2.4.1 előzetes verziója is támogatott. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2021.05.02.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

Dav4-sorozat támogatása

A HDInsight ebben a kiadásban dav4-sorozatú támogatást adott hozzá. További információ a Dav4-sorozatról itt.

Kafka REST Proxy GA

A Kafka REST Proxy lehetővé teszi a Kafka-fürttel való interakciót EGY REST API-n keresztül HTTPS-en keresztül. A Kafka REST Proxy a jelen kiadástól kezdve általánosan elérhető. További információ a Kafka REST Proxyról itt.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

Letiltott virtuálisgép-méretek

2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

A fürt virtuális gépének alapértelmezett mérete -series értékre változik Ev3

A fürt alapértelmezett virtuálisgép-méretei D sorozatról -sorozatra változnak Ev3. Ez a módosítás a fő csomópontokra és a feldolgozó csomópontokra vonatkozik. Annak érdekében, hogy ez a módosítás ne befolyásolja a tesztelt munkafolyamatokat, adja meg az ARM-sablonban használni kívánt virtuálisgép-méreteket.

A hálózati adapter erőforrása nem látható az Azure-beli virtuálisgép-méretezési csoportokon futó fürtök esetében

A HDInsight fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A virtuális gépek hálózati adapterei már nem láthatók az ügyfelek számára az Azure-beli virtuálisgép-méretezési csoportokat használó fürtök számára.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A fürt alapértelmezett verziója 4.0-ra módosul

2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókkal kapcsolatos további információkért tekintse meg az elérhető verziókat. További információ a HDInsight 4.0 újdonságairól.

Operációs rendszer verziófrissítése

A HDInsight az operációs rendszer verzióját Ubuntu 16.04-ről 18.04-re frissíti. A frissítés 2021 áprilisa előtt fejeződik be.

A HDInsight 3.6 támogatásának megszűnése 2021. június 30-án

A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020. 11. 18.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

Automatikus kulcsváltás az ügyfél által felügyelt kulcstitkosításhoz inaktív állapotban

Ettől a kiadástól kezdve az ügyfelek használhatják az Azure KeyValut verzió nélküli titkosítási kulcs URL-címeit az ügyfelek által kezelt kulcsok inaktív állapotban történő titkosításához. A HDInsight automatikusan elforgatja a kulcsokat, amint lejárnak vagy új verziókra cserélik őket. További részletek itt olvashatók.

A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében

A HDInsight korábban nem támogatta a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. Ebben a kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuális gépméretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

A HDInsight 3.6 ML Services-fürt elavultsága

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hozhatnak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

Letiltott virtuálisgép-méretek

2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

NSG-szabályellenőrzés hozzáadása a skálázási művelet előtt

A HDInsight hálózati biztonsági csoportokat (NSG-ket) és felhasználó által megadott útvonalakat (UDR-eket) adott hozzá a skálázási művelettel való ellenőrzéshez. Ugyanez az ellenőrzés a fürtlétrehozás mellett a fürt skálázására is megtörténik. Ez az ellenőrzés segít megelőzni a kiszámíthatatlan hibákat. Ha az ellenőrzés nem sikerül, a skálázás meghiúsul. További információ az NSG-k és az UDR-ek helyes konfigurálásáról, tekintse meg a HDInsight felügyeleti IP-címeit.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020.09.11.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A HDInsight Identity Broker (HIB) mostantól ga

Ezzel a kiadással általánosan elérhető a HDInsight Identity Broker (HIB), amely engedélyezi az OAuth-hitelesítést ESP-fürtökhöz. A kiadás után létrehozott HIB-fürtök a legújabb HIB-funkciókkal rendelkeznek:

  • Magas rendelkezésre állás (HA)
  • Többtényezős hitelesítés (MFA) támogatása
  • Az összevont felhasználók jelszókivonat-szinkronizálás nélkül jelentkeznek be az AAD-DS szolgáltatásba. További információt a HIB dokumentációjában talál.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

A HDInsight 3.6 ML Services-fürt elavultsága

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek 2020. december 31. után nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

Letiltott virtuálisgép-méretek

2020. november 16-tól a HDInsight letiltja, hogy az új ügyfelek fürtöket hozzanak létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretek használatával. Azok a meglévő ügyfelek, akik az elmúlt három hónapban használták ezeket a virtuálisgép-méreteket, nem lesznek hatással. 2021. január 9-től a HDInsight letiltja, hogy minden ügyfél fürtöket hozzon létre standand_A8, standand_A9, standand_A10 és standand_A11 virtuálisgép-méretekkel. A meglévő fürtök a jelenlegi módon fognak futni. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

A kiadás viselkedése nem változik.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében

A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

A fürt alapértelmezett verziója 4.0-ra módosul

2021 februárjától a HDInsight-fürt alapértelmezett verziója 3.6-ról 4.0-ra módosul. Az elérhető verziókról további információt a támogatott verziókban talál. További információ a HDInsight 4.0 újdonságairól

A HDInsight 3.6 támogatásának megszűnése 2021. június 30-án

A HDInsight 3.6-os verziójának támogatása megszűnik. 2021. június 30-tól az ügyfelek nem hozhatnak létre új HDInsight 3.6-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes lehet áttérni a HDInsight 4.0-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

A fürtben lévő virtuális gépek újraindításával kapcsolatos probléma megoldása

Kijavítottuk a fürtben lévő virtuális gépek újraindításával kapcsolatos problémát, a PowerShell vagy a REST API használatával újraindulhatnak a fürt csomópontjai.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020.08.10.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A HDInsight mostantól támogatja az előzetes verzióban nyilvános IP- és privát kapcsolat nélküli fürtök létrehozását. Az ügyfelek az új speciális hálózati beállítások használatával hozhatnak létre egy teljesen izolált fürtöt nyilvános IP-cím nélkül, és saját privát végpontjaik használatával érhetik el a fürtöt.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

A HDInsight 3.6 ML Services-fürt elavultsága

A HDInsight 3.6 ML Services-fürttípus 2020. december 31-ig megszűnik. Az ügyfelek ezután nem hoznak létre új 3.6 ML Services-fürtöket. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Itt ellenőrizheti a HDInsight-verziók és -fürttípusok támogatási lejáratát.

Viselkedésbeli változások

A kiadás viselkedése nem változik.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Zookeeper különböző virtuálisgép-méreteinek kiválasztása a Spark, a Hadoop és az ML Services esetében

A HDInsight jelenleg nem támogatja a Zookeeper-csomópont méretének testreszabását a Spark, a Hadoop és az ML Services-fürttípusok esetében. Alapértelmezés szerint A2_v2/A2 virtuálisgép-méretek, amelyek ingyenesen érhetők el. A közelgő kiadásban kiválaszthatja a forgatókönyvének leginkább megfelelő Zookeeper virtuálisgép-méretet. A A2_v2/A2-étől eltérő virtuálisgép-mérettel rendelkező Zookeeper-csomópontokért díjat számítunk fel. A2_v2 és A2 virtuális gépek továbbra is ingyenesen elérhetők.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020. 09. 28.

Ez a kiadás a HDInsight 3.6-os és a HDInsight 4.0-s verziójára is vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

Mostantól általánosan elérhető az interaktív lekérdezés automatikus méretezése a HDInsight 4.0-val

Az Interaktív lekérdezésfürt típus automatikus méretezése mostantól általánosan elérhető a HDInsight 4.0-hoz. A 2020. augusztus 27. után létrehozott összes Interaktív lekérdezés 4.0-fürt rendelkezik ga-támogatással az automatikus skálázáshoz.

A HBase-fürt támogatja a Prémium ADLS Gen2-t

A HDInsight mostantól támogatja a Prémium ADLS Gen2-t a HDInsight HBase 3.6 és 4.0 fürtök elsődleges tárfiókjaként. A gyorsított írásokkal együtt jobb teljesítményt érhet el a HBase-fürtök számára.

Kafka-partícióelosztás azure-beli tartalék tartományokon

A tartalék tartomány az alapul szolgáló hardver logikai csoportosítása egy Azure-adatközpontban. Mindegyik tartalék tartomány közös áramforrással és hálózati kapcsolóval rendelkezik. Mielőtt a HDInsight Kafka az összes partícióreplikát ugyanabban a tartalék tartományban tárolhatná. Ettől a kiadástól kezdve a HDInsight mostantól támogatja a Kafka-partíciók azure-beli tartalék tartományokon alapuló automatikus elosztását.

Titkosítás az átvitel során

Az ügyfelek ipSec-titkosítással, platform által felügyelt kulcsokkal engedélyezhetik a fürtcsomópontok közötti átvitel titkosítását. Ez a beállítás a fürt létrehozásakor engedélyezhető. További információ a titkosítás átvitel közbeni engedélyezéséről.

Titkosítás a gazdagépen

Ha engedélyezi a titkosítást a gazdagépen, a virtuálisgép-gazdagépen tárolt adatok inaktív állapotban lesznek titkosítva, és a tárolási szolgáltatásba titkosított folyamatok lesznek titkosítva. Ebből a kiadásból engedélyezheti a titkosítást a gazdagépen a ideiglenes adatlemezen a fürt létrehozásakor. A gazdagépen a titkosítás csak bizonyos virtuálisgép-termékváltozatokon támogatott korlátozott régiókban. A HDInsight a következő csomópontkonfigurációt és termékváltozatokat támogatja. További részletek a gazdagépen történő titkosítás engedélyezéséről.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Ettől a kiadástól kezdve a szolgáltatás fokozatosan migrál az Azure-beli virtuálisgép-méretezési csoportokba. A teljes folyamat hónapokig is eltarthat. A régiók és előfizetések migrálása után az újonnan létrehozott HDInsight-fürtök ügyfélműveletek nélkül fognak futni a virtuálisgép-méretezési csoportokon. Nem várható kompatibilitástörő változás.

Elavulás

Nincs elavulás ehhez a kiadáshoz.

Viselkedésbeli változások

A kiadás viselkedése nem változik.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Spark, Hadoop és ML Services különböző Zookeeper-termékváltozatának kiválasztása

A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML Serviceshez. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020.09.08.

Ez a kiadás csak a HDInsight 4.0-s verziójára vonatkozik. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A SparkCruise támogatása

A SparkCruise egy automatikus számítási újrahasználati rendszer a Spark számára. A korábbi lekérdezési számítási feladatok alapján történő materializáláshoz gyakran használt alkifejezéseket választ ki. A SparkCruise ezeket az alkifejezéseket a lekérdezésfeldolgozás részeként materializálja, és a számítási újrahasználat automatikusan a háttérben lesz alkalmazva. A Spark-kód módosítása nélkül is élvezheti a SparkCruise előnyeit.

A HDInsight 4.0 hive nézetének támogatása

Az Apache Ambari Hive View úgy lett kialakítva, hogy segítsen Hive-lekérdezéseket létrehozni, optimalizálni és végrehajtani a webböngészőből. A Hive View natív módon támogatott a HDInsight 4.0-fürtökhöz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Hive-nézet beszerzéséhez el kell helyeznie és újra létre kell hoznia a fürtöt.

A HDInsight 4.0 Tez nézetének támogatása

Az Apache Tez View a Hive Tez-feladat végrehajtásának nyomon követésére és hibakeresésére szolgál. A Tez View natív módon támogatott a HDInsight 4.0-hoz a jelen kiadástól kezdve. A meglévő fürtökre nem vonatkozik. A beépített Tez nézet beszerzéséhez el kell dobnia és újra létre kell hoznia a fürtöt.

Elavulás

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

Az Ambari-verem verzióváltozása

Ebben a kiadásban az Ambari verziója 2.x.x.x.x-ről 4.1-esre változik. Az Ambari: Ambari > felhasználói > verzióiban ellenőrizheti a verem verzióját (HDInsight 4.1).

Közelgő változások

Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Az alábbi JIRA-k a Hive-hez vannak visszahordva:

Az alábbi JIRA-k a HBase-hez vannak visszahordva:

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Ismert problémák

Kijavítottunk egy hibát az Azure Portalon, ahol a felhasználók hibát tapasztaltak, amikor SSH-hitelesítési típusú nyilvános kulcs használatával hoztak létre Egy Azure HDInsight-fürtöt. Amikor a felhasználók a Véleményezés + Létrehozás gombra kattintanak, a következő hibaüzenet jelenik meg: "Nem tartalmazhat három egymást követő karaktert az SSH-felhasználónévből". Ez a probléma már ki lett javítva, de előfordulhat, hogy frissítenie kell a böngésző gyorsítótárát a CTRL + F5 billentyűkombináció lenyomásával a javított nézet betöltéséhez. A probléma megkerülő megoldása a fürt ARM-sablonnal történő létrehozása volt.

Kiadás dátuma: 2020. 07. 13.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A Microsoft Azure-hoz készült Customer Lockbox támogatása

Az Azure HDInsight mostantól támogatja az Azure Customer Lockboxot. Lehetővé teszi, hogy az ügyfelek áttekinthessék és jóváhagyják vagy elutasítsák az ügyféladat-hozzáférési kérelmeket. Ezt akkor használják, ha a Microsoft mérnökének hozzá kell férnie az ügyféladatokhoz egy támogatási kérelem során. További információ: Customer Lockbox for Microsoft Azure.

Szolgáltatásvégpont-házirendek a tároláshoz

Az ügyfelek mostantól a HDInsight-fürt alhálózatán használhatják a szolgáltatásvégpont-szabályzatokat (Standard kiadás P). További információ az Azure szolgáltatásvégpont-szabályzatáról.

Elavulás

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

Nincs olyan viselkedésbeli változás, amelyre figyelmet kell fordítania.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Spark, Hadoop és ML Services különböző Zookeeper-termékváltozatának kiválasztása

A HDInsight ma nem támogatja a Zookeeper termékváltozatának módosítását a Spark, a Hadoop és az ML Services-fürttípusokhoz. A2_v2/A2 termékváltozatot használ a Zookeeper-csomópontokhoz, és az ügyfeleknek nem kell fizetniük érte. A közelgő kiadásban az ügyfelek szükség szerint módosíthatják a Zookeeper termékváltozatát a Sparkhoz, a Hadoophoz és az ML-szolgáltatásokhoz. Az A2_v2/A2-n kívüli termékváltozattal rendelkező Zookeeper-csomópontokért díjat számítunk fel. Az alapértelmezett termékváltozat továbbra is A2_V2/A2 lesz, és ingyenes.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Kijavítottuk a Hive Warehouse Csatlakozás or problémáját

Az előző kiadásban hiba történt a Hive Warehouse-összekötő használhatóságára vonatkozóan. A probléma már ki lett javítva.

Kijavítottuk a Zeppelin-jegyzetfüzet kezdő nullákkal kapcsolatos problémáját

A Zeppelin helytelenül csonkolt bevezető nullákat a karakterlánc formátumú táblakimenetben. Ebben a kiadásban kijavítottuk ezt a problémát.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. Ebben a dokumentumban megtalálhatja a HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit.

Kiadás dátuma: 2020. 06. 11.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight azure-beli virtuális gépeket használ a fürt üzembe helyezéséhez. Ebből a kiadásból az újonnan létrehozott HDInsight-fürtök az Azure-beli virtuálisgép-méretezési csoportot használják. A változás fokozatosan halad. Nem kell kompatibilitástörő változásra számítania. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

Virtuális gépek újraindítása a HDInsight-fürtben

Ebben a kiadásban támogatjuk a HDInsight-fürtben lévő virtuális gépek újraindítását a nem válaszoló csomópontok újraindításához. Jelenleg csak API-n keresztül teheti meg, a PowerShell és a CLI támogatása folyamatban van. Az API-val kapcsolatos további információkért tekintse meg ezt a dokumentumot.

Elavulás

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2-vel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Érdemes 2020. június 30-ig áttérni a HDInsight 3.6-os Spark 2.3-ra a rendszer/támogatás esetleges megszakításának elkerülése érdekében.

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től kezdve az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök ugyanúgy fognak futni, mint a Microsoft támogatása nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

Viselkedésbeli változások

ESP Spark-fürtfejcsomópont méretének módosítása

Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. A fő csomópontként alacsony maggal és memóriával rendelkező virtuális gépek az ESP-fürttel kapcsolatos problémákat okozhatnak viszonylag alacsony processzor- és memóriakapacitás miatt. A kiadástól kezdve használja a Standard_D13_V2-nál magasabb termékváltozatokat, és Standard_E16_V3 az ESP Spark-fürtök fő csomópontjaként.

A fejcsomóponthoz legalább 4 magos virtuális gép szükséges

A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.

Fürtmunkacsomópont kiépítési módosítása

Amikor a feldolgozó csomópontok 80%-a készen áll, a fürt működési szakaszba lép. Ebben a szakaszban az ügyfelek minden adatsík-műveletet elvégezhetnek, például szkripteket és feladatokat futtathatnak. Az ügyfelek azonban nem végezhetnek semmilyen vezérlősík-műveletet, például fel- és leskálázást. Csak a törlés támogatott.

Az üzemeltetési szakasz után a fürt további 60 percet vár a fennmaradó 20%-os munkavégző csomópontokra. A 60 perces időszak végén a fürt a futó fázisba kerül, még akkor is, ha az összes feldolgozó csomópont még mindig nem érhető el. Ha egy fürt belép a futó fázisba, használhatja a szokásos módon. A rendszer a szabályozási terv olyan műveleteit is elfogadja, mint a vertikális fel- és leskálázás, valamint az olyan adatterv-műveletek, mint a szkriptek és feladatok futtatása. Ha a kért munkavégző csomópontok némelyike nem érhető el, a fürt részleges sikerként lesz megjelölve. A sikeresen üzembe helyezett csomópontokért díjat számítunk fel.

Új szolgáltatásnév létrehozása a HDInsighton keresztül

Korábban a fürt létrehozásakor az ügyfelek létrehozhatnak egy új szolgáltatásnevet a csatlakoztatott ADLS Gen 1-fiók eléréséhez az Azure Portalon. 2020. június 15-től az új szolgáltatásnév létrehozása nem lehetséges a HDInsight létrehozási munkafolyamatában, csak a meglévő szolgáltatásnév támogatott. Lásd: Szolgáltatásnév és tanúsítványok létrehozása az Azure Active Directory használatával.

Időtúllépés a fürtlétrehozással végzett szkriptműveletek esetében

A HDInsight támogatja a szkriptműveletek fürtlétrehozással való futtatását. Ebből a kiadásból a fürtlétrehozással kapcsolatos összes szkriptműveletnek 60 percen belül be kell fejeződnie, vagy időtúllépést kell végrehajtania. A futó fürtökre küldött szkriptműveletek nem lesznek hatással. További részletek itt olvashatók.

Közelgő változások

Nincsenek közelgő kompatibilitástörő változások, amelyekre figyelmet kell fordítania.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

HBase 2.0–2.1.6

A HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül.

Spark 2.4.0–2.4.4

A Spark verziója a 2.4.0-s verzióról a 2.4.4-es verzióra frissül.

Kafka 2.1.0–2.1.1

A Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül.

Ebben a dokumentumban megtalálja a HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit

Ismert problémák

Hive Warehouse Csatlakozás or probléma

Ebben a kiadásban probléma merült fel a Hive Warehouse Csatlakozás or esetében. A javítás a következő kiadásban fog szerepelni. A kiadás előtt létrehozott meglévő fürtökre nincs hatással. Ha lehetséges, kerülje a fürt elvetését és újrakészítését. Ha további segítségre van szüksége ehhez, nyissa meg a támogatási jegyet.

Kiadás dátuma: 2020.09.01.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes. A HDInsight-kiadás több napon keresztül minden régió számára elérhetővé válik. Az itt látható kiadási dátum az első régió kiadási dátumát jelzi. Ha nem látja a következő módosításokat, várjon, amíg a kiadás több napon belül a régióban él.

Új funkciók

A TLS 1.2 kényszerítése

A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ a TLS-ről. A HDInsight a TLS 1.2-t használja a nyilvános HTTP-végpontokon, de a TLS 1.1 továbbra is támogatott a visszamenőleges kompatibilitás érdekében.

Ezzel a kiadással az ügyfelek csak a nyilvános fürtvégponton keresztüli összes kapcsolat esetében választhatják a TLS 1.2-t. Ennek támogatásához megjelenik az új minSupportedTlsVersion tulajdonság, amely a fürt létrehozásakor adható meg. Ha a tulajdonság nincs beállítva, a fürt továbbra is támogatja a TLS 1.0, 1.1 és 1.2 elemet, ami megegyezik a mai működésével. Az ügyfelek ennek a tulajdonságnak az értékét "1.2" értékre állíthatják, ami azt jelenti, hogy a fürt csak a TLS 1.2-t és újabb verziót támogatja. További információ: Transport Layer Security.

Saját kulcs használata lemeztitkosításhoz

A HDInsight összes felügyelt lemeze azure Storage Service Encryption (S Standard kiadás) védelemmel rendelkezik. Az ezeken a lemezeken lévő adatokat alapértelmezés szerint a Microsoft által felügyelt kulcsok titkosítják. Ettől a kiadástól kezdve használhatja a saját kulcsát (BYOK) a lemeztitkosításhoz, és kezelheti azt az Azure Key Vault használatával. A BYOK-titkosítás egy egylépéses konfiguráció a fürt létrehozása során, más költségek nélkül. Csak regisztrálja a HDInsightot felügyelt identitásként az Azure Key Vaultban, és adja hozzá a titkosítási kulcsot a fürt létrehozásakor. További információ: Ügyfél által felügyelt kulcslemez titkosítása.

Elavulás

Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Viselkedésbeli változások

Ennek a kiadásnak a viselkedése nem változik. A közelgő változásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

A Spark 2.1 és 2.2 elavulása a HDInsight 3.6 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HdInsight 3.6-on futó Spark 2.1 és 2.2 használatával. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 3.6-ban átvált a Spark 2.3-ra 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Spark 2.3 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Spark-fürtöket a HDInsight 4.0-n futó Spark 2.3-val. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Spark 2.4-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében.

A Kafka 1.1 elavulása a HDInsight 4.0 Kafka-fürtjein

2020. július 1-től az ügyfelek nem hozhatnak létre új Kafka-fürtöket a HDInsight 4.0-n futó Kafka 1.1-gyel. A meglévő fürtök a jelenlegi állapotukban futnak tovább, Microsoft-támogatás nélkül. Fontolja meg, hogy a HDInsight 4.0-ban átvált a Kafka 2.1-re 2020. június 30-ig, a rendszerhasználat/támogatás esetleges megszakításának elkerülése érdekében. További információ: Apache Kafka számítási feladatok migrálása az Azure HDInsight 4.0-ba.

HBase 2.0–2.1.6

A közelgő HDInsight 4.0-s kiadásban a HBase verziója a 2.0-s verzióról a 2.1.6-os verzióra frissül

Spark 2.4.0–2.4.4

A HDInsight 4.0 közelgő kiadásában a Spark verziója a 2.4.0-s verzióról 2.4.4-es verzióra frissül

Kafka 2.1.0–2.1.1

A HDInsight 4.0 közelgő kiadásában a Kafka verziója a 2.1.0-s verzióról a 2.1.1-es verzióra frissül

A fejcsomóponthoz legalább 4 magos virtuális gép szükséges

A HDInsight-fürtök magas rendelkezésre állásának és megbízhatóságának biztosításához legalább 4 magos virtuális gép szükséges a head node-hoz. 2020. április 6-tól az ügyfelek csak a 4 magos vagy annál magasabb virtuális gépet választhatják az új HDInsight-fürtök fő csomópontjaként. A meglévő fürtök továbbra is a várt módon fognak futni.

ESP Spark-fürtcsomópont méretének módosítása

A közelgő kiadásban az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz. Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. Az A-sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. A következő kiadásban a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevő verziójában. A HDInsight 4.0 ad HDInsight 3.6 aktuális összetevőverzióit itt találja.

Kiadás dátuma: 2019. 12. 17.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.

Új funkciók

Szolgáltatáscímkék

A szolgáltatáscímkék leegyszerűsítik az Azure-beli virtuális gépek és az Azure-beli virtuális hálózatok biztonságát azáltal, hogy lehetővé teszik az Azure-szolgáltatásokhoz való hálózati hozzáférés egyszerű korlátozását. A hálózati biztonsági csoport (NSG) szabályaiban szolgáltatáscímkéket használhat egy adott Azure-szolgáltatás globális vagy Azure-régiónkénti forgalmának engedélyezéséhez vagy letiltásához. Az Azure biztosítja az egyes címkék alapjául szolgáló IP-címek karbantartását. A hálózati biztonsági csoportok (NSG-k) HDInsight-szolgáltatáscímkék az állapot- és felügyeleti szolgáltatások IP-címeinek csoportjai. Ezek a csoportok segítenek minimalizálni a biztonsági szabályok létrehozásának összetettségét. A HDInsight-ügyfelek az Azure Portalon, a PowerShellen és a REST API-on keresztül engedélyezhetik a szolgáltatáscímkét. További információ: Hálózati biztonsági csoport (NSG) szolgáltatáscímkék az Azure HDInsighthoz.

Egyéni Ambari-adatbázis

A HDInsight mostantól lehetővé teszi, hogy saját SQL DB-t használjon az Apache Ambarihoz. Ezt az egyéni Ambari DB-t az Azure Portalon vagy Resource Manager-sablonon keresztül konfigurálhatja. Ez a funkció lehetővé teszi a megfelelő SQL DB kiválasztását a feldolgozási és kapacitási igényekhez. Az üzleti növekedési követelményeknek megfelelően egyszerűen frissíthet is. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.

Egyéni Ambari DB.

Elavulás

Ehhez a kiadáshoz nincs elavulás. A közelgő elavulásokra való felkészüléshez tekintse meg a közelgő módosításokat.

Viselkedésbeli változások

Ennek a kiadásnak a viselkedése nem változik. A közelgő viselkedésváltozásokra való felkészüléshez tekintse meg a közelgő változásokat.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

Transport Layer Security (TLS) 1.2-es kényszerítése

A Transport Layer Security (TLS) és a Secure Sockets Layer (SSL) olyan titkosítási protokollok, amelyek a számítógépes hálózaton keresztül biztosítják a kommunikáció biztonságát. További információ: Transport Layer Security. Bár az Azure HDInsight-fürtök TLS 1.2-kapcsolatokat fogadnak el nyilvános HTTPS-végpontokon, a TLS 1.1 továbbra is támogatott a régebbi ügyfelekkel való visszamenőleges kompatibilitás érdekében.

A következő kiadástól kezdve az új HDInsight-fürtöket csak TLS 1.2-kapcsolatok elfogadására használhatja és konfigurálhatja.

Az év későbbi részében, 2020. 06. 30-tól kezdődően az Azure HDInsight minden HTTPS-kapcsolat esetében kikényszeríti a TLS 1.2-es vagy újabb verzióit. Javasoljuk, hogy minden ügyfélt készítsen fel a TLS 1.2-es vagy újabb verzióinak kezelésére.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. 2020 februárjától (a pontos dátumot később közöljük) a HDInsight ehelyett Azure-beli virtuálisgép-méretezési csoportokat fog használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

ESP Spark-fürtcsomópont méretének módosítása

A következő kiadásban:

  • Az ESP Spark-fürt minimálisan engedélyezett csomópontmérete Standard_D13_V2 lesz.
  • Az A sorozatú virtuális gépek elavultak lesznek az új ESP-fürtök létrehozásához, mivel az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak.

HBase 2.0–2.1

A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

2020. december 31-ig kiterjesztettük a HDInsight 3.6 támogatását. További részleteket a támogatott HDInsight-verziókban talál.

A HDInsight 4.0 összetevőverziója nem változik.

Apache Zeppelin a HDInsight 3.6-on: 0.7.0-->0.7.3.

A dokumentumból megtalálhatja a legújabb összetevők verzióit.

Új régiók

Egyesült Arab Emírségek északi régiója

Az Egyesült Arab Emírségek északi régióinak felügyeleti IP-címei a következők: 65.52.252.96 és 65.52.252.97.

Kiadás dátuma: 2019. 07. 11.

Ez a kiadás a HDInsight 3.6-os és 4.0-s verziójára is érvényes.

Új funkciók

HDInsight Identity Broker (HIB) (előzetes verzió)

A HDInsight Identity Broker (HIB) lehetővé teszi, hogy a felhasználók többtényezős hitelesítéssel (MFA) jelentkezzenek be az Apache Ambariba, és a szükséges Kerberos-jegyeket jelszókivonatok nélkül szerezzék be az Azure Active Directory tartományi szolgáltatások (AAD-DS). A HIB jelenleg csak az Azure Resource Management (ARM) sablonon keresztül üzembe helyezett fürtök esetében érhető el.

Kafka REST API-proxy (előzetes verzió)

A Kafka REST API-proxy egykattintásos üzembe helyezést biztosít a magas rendelkezésre állású REST-proxyhoz a Kafka-fürttel biztonságos Azure AD-engedélyezési és OAuth-protokollon keresztül.

Automatikus méretezés

Az Azure HDInsight automatikus skálázása mostantól általánosan elérhető minden régióban az Apache Spark- és Hadoop-fürttípusokhoz. Ez a funkció lehetővé teszi a big data-elemzési számítási feladatok költséghatékonyabb és hatékonyabb kezelését. Mostantól optimalizálhatja a HDInsight-fürtök használatát, és csak azért fizethet, amire szüksége van.

A követelményektől függően választhat a terhelésalapú és az ütemezésalapú automatikus skálázás között. A terhelésalapú automatikus skálázás fel- és leskálázhatja a fürtméretet az aktuális erőforrásigények alapján, míg az ütemezésalapú automatikus skálázás előre meghatározott ütemezés alapján módosíthatja a fürt méretét.

A HBase és az LLAP számítási feladatok automatikus skálázási támogatása szintén nyilvános előzetes verzió. További információ: Azure HDInsight-fürtök automatikus méretezése.

HDInsight gyorsított írások az Apache HBase-hez

A Gyorsított írási műveletek az Azure prémium szintű felügyelt SSD lemezeit használja az Apache HBase Előre írt napló (WAL) szolgáltatásához. További információ: Azure HDInsight-beli gyorsított írási műveletek Apache HBase-hez

Egyéni Ambari-adatbázis

A HDInsight most egy új kapacitást kínál, amely lehetővé teszi az ügyfelek számára, hogy saját SQL DB-t használjanak az Ambarihoz. Most az ügyfelek kiválaszthatják a megfelelő SQL DB-t az Ambarihoz, és egyszerűen frissíthetik azt saját üzleti növekedési igényeik alapján. Az üzembe helyezés egy Azure Resource Manager-sablonnal történik. További információ: HDInsight-fürtök beállítása egyéni Ambari-adatbázissal.

Az F sorozatú virtuális gépek már elérhetők a HDInsighttal

Az F sorozatú virtuális gépek (VM-ek) jó választás a HDInsight könnyű feldolgozási követelményekkel való használatának megkezdéséhez. Alacsonyabb óránkénti listaár esetén az F sorozat a legjobb ár-teljesítmény érték az Azure-portfólióban az Azure Compute Unit (ACU) alapján vCPU-nként. További információ: Az Azure HDInsight-fürt megfelelő virtuálisgép-méretének kiválasztása.

Elavulás

G sorozatú virtuális gépek elavulása

Ebből a kiadásból a G-sorozatú virtuális gépek már nem érhetők el a HDInsightban.

Dv1 virtuális gépek elavulása

Ebből a kiadásból a HDInsighttal rendelkező virtuális gépek használata Dv1 elavult. Minden ügyfélkérelmet Dv1 automatikusan kézbesítünk Dv2 . Nincs árkülönbség a virtuális gépek között Dv1Dv2 .

Viselkedésbeli változások

Fürt által felügyelt lemez méretének módosítása

A HDInsight felügyelt lemezterületet biztosít a fürthöz. Ebből a kiadásból az új létrehozott fürt egyes csomópontjainak felügyelt lemezmérete 128 GB-ra módosul.

Közelgő változások

A következő változások a következő kiadásokban fognak történni.

Váltás Azure-beli virtuálisgép-méretezési csoportokra

A HDInsight mostantól Azure-beli virtuális gépeket használ a fürt kiépítéséhez. Decembertől a HDInsight az Azure-beli virtuálisgép-méretezési csoportokat fogja használni. További információ az Azure-beli virtuálisgép-méretezési csoportokról.

HBase 2.0–2.1

A HDInsight 4.0 közelgő kiadásában a HBase verziója a 2.0-s verzióról a 2.1-es verzióra frissül.

A sorozatú virtuális gépek elavulása ESP-fürt esetén

Az A sorozatú virtuális gépek viszonylag alacsony processzor- és memóriakapacitás miatt esp-fürtproblémákat okozhatnak. A következő kiadásban az A-sorozatú virtuális gépek elavultak lesznek új ESP-fürtök létrehozásához.

Hibajavítások

A HDInsight továbbra is fejleszti a fürt megbízhatóságát és teljesítményét.

Összetevő verzióváltozása

Ebben a kiadásban nincs változás az összetevők verziójában. A HDInsight 4.0 és a HDInsight 3.6 aktuális összetevőverzióit itt találja.

Kiadás dátuma: 2019.07.08.

Összetevők verziói

Az összes HDInsight 4.0 összetevő hivatalos Apache-verzióit alább találja. A felsorolt összetevők a legújabb elérhető stabil verziók kiadásai.

  • Apache Ambari 2.7.1
  • Apache Hadoop 3.1.1
  • Apache HBase 2.0.0
  • Apache Hive 3.1.0
  • Apache Kafka 1.1.1, 2.1.0
  • Apache Mahout 0.9.0+
  • Apache Oozie 4.2.0
  • Apache Phoenix 4.7.0
  • Apache Pig 0.16.0
  • Apache Ranger 0.7.0
  • Apache Slider 0.92.0
  • Apache Spark 2.3.1, 2.4.0
  • Apache Sqoop 1.4.7
  • Apache TEZ 0.9.1
  • Apache Zeppelin 0.8.0
  • Apache ZooKeeper 3.4.6

Az Apache-összetevők későbbi verziói néha a HDP-disztribúcióban vannak csomagolva a fent felsorolt verziók mellett. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.

Apache-javítás adatai

A HDInsight 4.0-s verzióban elérhető javításokkal kapcsolatos további információkért tekintse meg az egyes termékek javításlistáit az alábbi táblázatban.

Terméknév Javítással kapcsolatos információk
Ambari Az Ambari-javítás adatai
Hadoop Hadoop-javítás adatai
A HBase A HBase-javítás adatai
Hive Ez a kiadás a Hive 3.1.0-s verziójához biztosít több Apache-javítást.
Kafka Ez a kiadás a Kafka 1.1.1-et biztosítja, és nincs több Apache-javítás.
Oozie Oozie-javítás adatai
Phoenix A Phoenix-javítás adatai
Pig Sertés-javítás adatai
Ranger Ranger-javítás adatai
Spark Spark-javítás adatai
Sqoop Ez a kiadás a Sqoop 1.4.7-et biztosítja, és nincs több Apache-javítás.
Tez Ez a kiadás a Tez 0.9.1-et biztosítja több Apache-javítás nélkül.
Zeppelin Ez a kiadás a Zeppelin 0.8.0-s verziójához biztosít több Apache-javítást.
Zookeeper A Zookeeper-javítás adatai

Kijavítottuk a gyakori biztonsági réseket és kitettségeket

Az ebben a kiadásban megoldott biztonsági problémákról további információt a Hortonworks Rögzített gyakori biztonsági rései és kitettségei a HDP 3.0.1-es verziójában talál.

Ismert problémák

Az alapértelmezett telepítéssel rendelkező biztonságos HBase replikációja megszakadt

A HDInsight 4.0 esetén hajtsa végre a következő lépéseket:

  1. Fürtközi kommunikáció engedélyezése.

  2. Jelentkezzen be az aktív átjárócsomópontba.

  3. Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:

    sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
    
  4. Írja be a parancsot sudo kinit <domainuser>.

  5. Írja be a következő parancsot a szkript futtatásához:

    sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
    

HDInsight 3.6 esetén

  1. Jelentkezzen be az aktív HMaster ZK-ba.

  2. Töltsön le egy szkriptet a replikáció engedélyezéséhez a következő paranccsal:

    sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
    
  3. Írja be a parancsot sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

  4. Írja be a következő parancsot:

    sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata
    

A Phoenix Sqlline leáll a HBase-fürt HDInsight 4.0-ra való migrálása után

Hajtsa végre a következő lépéseket:

  1. A következő Phoenix-táblák elvetése:
    1. SYSTEM.FUNCTION
    2. SYSTEM.SEQUENCE
    3. SYSTEM.STATS
    4. SYSTEM.MUTEX
    5. SYSTEM.CATALOG
  2. Ha egyik táblát sem tudja törölni, indítsa újra a HBase-t a táblákhoz való kapcsolatok törléséhez.
  3. Futtassa ismét az sqlline.py parancsot. A Phoenix újra létrehozza az 1. lépésben törölt összes táblát.
  4. Phoenix-táblák és -nézetek újragenerálása a HBase-adatokhoz.

A Phoenix Sqlline leáll, miután replikálta a HBase Phoenix metaadatait a HDInsight 3.6-ról 4.0-ra

Hajtsa végre a következő lépéseket:

  1. A replikáció végrehajtása előtt lépjen a cél 4.0-s fürtre, és hajtsa végre sqlline.py. Ez a parancs phoenix-táblákat hoz létre, amelyek SYSTEM.MUTEXSYSTEM.LOG csak a 4.0-s verzióban léteznek.
  2. A következő táblák elvetése:
    1. SYSTEM.FUNCTION
    2. SYSTEM.SEQUENCE
    3. SYSTEM.STATS
    4. SYSTEM.CATALOG
  3. A HBase-replikáció indítása

Elavulás

Az Apache Storm és az ML-szolgáltatások nem érhetők el a HDInsight 4.0-ban.

Kiadás dátuma: 2019. 04. 14.

Új funkciók

Az új frissítések és képességek a következő kategóriákba sorolhatók:

  • A Hadoop és más nyílt forráskódú projektek frissítése – A több mint 20 nyílt forráskódú projekt 1000+ hibajavítása mellett ez a frissítés a Spark (2.3) és a Kafka (1.0) új verzióját is tartalmazza.

    a. Az Apache Spark 2.3 új funkciói

    b. Az Apache Kafka 1.0 új funkciói

  • Az R Server 9.1 frissítése a Machine Tanulás Services 9.3-ra – Ezzel a kiadással az adattudósok és mérnökök a legjobb nyílt forráskód biztosítjuk az algoritmikus innovációkkal és a könnyű üzembe helyezéssel, amelyek mindegyike elérhető az előnyben részesített nyelven, az Apache Spark sebességével. Ez a kiadás kibővíti az R Serverben kínált képességeket a Python hozzáadott támogatásával, ami a fürt nevének R Serverről ML-szolgáltatásokra való változásához vezet.

  • Az Azure Data Lake Storage Gen2 – HDInsight támogatása támogatja az Azure Data Lake Storage Gen2 előzetes kiadását. Az elérhető régiókban az ügyfelek választhatnak egy ADLS Gen2-fiókot elsődleges vagy másodlagos tárolóként a HDInsight-fürtöikhez.

  • HDInsight Enterprise Security Package Frissítések (előzetes verzió) – (előzetes verzió) Virtuális hálózati szolgáltatásvégpontok támogatása az Azure Blob Storage, az ADLS Gen1, az Azure Cosmos DB és az Azure DB számára.

Összetevők verziói

Az összes HDInsight 3.6-összetevő hivatalos Apache-verziói az alábbiakban láthatók. Az itt felsorolt összetevők a legújabb stabil verziók hivatalos Apache-kiadásai.

  • Apache Hadoop 2.7.3

  • Apache HBase 1.1.2

  • Apache Hive 1.2.1

  • Apache Hive 2.1.0

  • Apache Kafka 1.0.0

  • Apache Mahout 0.9.0+

  • Apache Oozie 4.2.0

  • Apache Phoenix 4.7.0

  • Apache Pig 0.16.0

  • Apache Ranger 0.7.0

  • Apache Slider 0.92.0

  • Apache Spark 2.2.0/2.3.0

  • Apache Sqoop 1.4.6

  • Apache Storm 1.1.0

  • Apache TEZ 0.7.0

  • Apache Zeppelin 0.7.3

  • Apache ZooKeeper 3.4.6

Néhány Apache-összetevő későbbi verziói néha a FENT felsorolt verziók mellett a HDP-disztribúcióban vannak csomagolva. Ebben az esetben ezek a későbbi verziók szerepelnek a Technical Previews táblában, és nem helyettesíthetik a fenti lista Apache-összetevőverzióit éles környezetben.

Apache-javítás adatai

Hadoop

Ez a kiadás a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosítja:

  • HADOOP-13190: A LoadBalancingKMSClientProvider említése a KMS HA dokumentációjában.

  • HADOOP-13227: Az AsyncCallHandlernek eseményvezérelt architektúrát kell használnia az aszinkron hívások kezeléséhez.

  • HADOOP-14104: Az ügyfélnek mindig meg kell kérdeznie a névcsomópontot a kms-szolgáltató elérési útjára.

  • HADOOP-14799: Update nimbus-jose-jwt to 4.41.1.

  • HADOOP-14814: Az FsServerDefaults inkompatibilis API-változásainak kijavítása HADOOP-14104-ra.

  • HADOOP-14903: Json-smart hozzáadása kifejezetten a pom.xml.

  • HADOOP-15042: Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0.

  • HADOOP-15255: Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez.

  • HADOOP-15265: a json-smart explicit kizárása a hadoop-auth pom.xml.

  • HDFS-7922: A ShortCircuitCache#close nem adja ki az ScheduledThreadPoolExecutorst.

  • HDFS-8496: A stopWriter() meghívása FSDatasetImpl zárral blokkolhat más szálakat (cmccabe).

  • HDFS-10267: Extra "szinkronizálva" az FsDatasetImpl#recoverAppend és az FsDatasetImpl#recoverClose rendszeren.

  • HDFS-10489: Elavult dfs.encryption.key.provider.uri HDFS titkosítási zónákhoz.

  • HDFS-11384: Adjon hozzá egy lehetőséget a kiegyensúlyozó számára a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs.

  • HDFS-11689: Új kivételt eredményezett a hive kód feltörése DFSClient%isHDFSEncryptionEnabledhacky .

  • HDFS-11711: A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkját.

  • HDFS-12347: TestBalancerRPCDelay#testBalancerRPCDelay gyakran sikertelen.

  • HDFS-12781: Miután Datanode leállt, a Namenode felhasználói felületen Datanode figyelmeztető üzenet jelenik meg.

  • HDFS-13054: PathIsNotEmptyDirectoryException kezelése törlési hívásban DFSClient .

  • HDFS-13120: Összefűzés után a pillanatkép-diff sérült lehet.

  • YARN-3742: A YARN RM leáll, ha ZKClient a létrehozás túllépi az időkorlátot.

  • YARN-6061: UncaughtExceptionHandler hozzáadása kritikus szálakhoz az RM-ben.

  • YARN-7558: A yarn logs parancs nem tud naplókat lekérni a tárolók futtatásához, ha a felhasználói felület hitelesítése engedélyezve van.

  • YARN-7697: A naplók lekérése a kész alkalmazáshoz sikertelen, annak ellenére, hogy a naplóösszesítés befejeződött.

A HDP 2.6.4 a Hadoop Common 2.7.3-at és a következő Apache-javításokat biztosította:

  • HADOOP-13700: Távolítsa el a sikertelenségeket IOException a TrashPolicy#inicializálásából és #getInstance aláírásokból.

  • HADOOP-13709: A Shell által létrehozott alfolyamatok megtisztítása a folyamat kilépésekor.

  • HADOOP-14059: elírás az átnevezés (self, subdir) hibaüzenetben s3a .

  • HADOOP-14542: Az Slf4j Logger API-t elfogadó IOUtils.cleanupWithLogger hozzáadása.

  • HDFS-9887: A WebHdfs szoftvercsatorna időtúllépéseinek konfigurálhatóknak kell lenniük.

  • HDFS-9914: A konfigurálható WebhDFS kapcsolódási/olvasási időtúllépésének javítása.

  • MAPREDUCE-6698: Időtúllépés növelése a TestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser rendszeren.

  • YARN-4550: A TestContainerLanch egyes tesztjei nem angol nyelvű területi környezetben sikertelenek.

  • YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir időnként meghiúsul, mert IllegalArgumentException törlődik.

  • YARN-5042: A /sys/fs/cgroup csatlakoztatása a Docker-tárolókba egyszerű csatlakoztatásként.

  • YARN-5318: A TestRM Rendszergazda Service#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider időszakos teszthibájának javítása.

  • YARN-5641: A Localizer a tároló befejezése után hátrahagyja a tarballokat.

  • YARN-6004: Refactor TestResourceLocalizationService#testDownloadingResourcesOnContainer, hogy kevesebb mint 150 sor legyen.

  • YARN-6078: A tárolók honosítási állapotban elakadtak.

  • YARN-6805: NPE LinuxContainerExecutor rendszerben null PrivilegedOperationException kilépési kód miatt.

A HBase

Ez a kiadás a HBase 1.1.2-t és az alábbi Apache-javításokat biztosítja.

Hive

Ez a kiadás a Következő javítások mellett a Hive 1.2.1 és a Hive 2.1.0 verziót is tartalmazza:

Hive 1.2.1 Apache-javítások:

  • HIVE-10697: Az ObjectInspectorConvertors#UnionConvertor hibás átalakítást végez.

  • HIVE-11266: a külső táblák táblázatstatisztikái alapján helytelen eredmény(*) számít(*).

  • HIVE-12245: A HBase által támogatott táblák oszlop megjegyzéseinek támogatása.

  • HIVE-12315: Vektorizált kettős osztás javítása nullával.

  • HIVE-12360: Rossz keresés tömörítetlen ORC predikátum leküldéssel.

  • HIVE-12378: Kivétel a HBaseSerDe.szerializálja a bináris mezőt.

  • HIVE-12785: Az egyesítő típusú nézet és a struktúrához tartozó UDF nem működik.

  • HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.

  • HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.

  • HIVE-14421: Az FS.deleteOnExit _tmp_space.db fájlokra mutató hivatkozásokat tartalmaz.

  • HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.

  • HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.

  • HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.

  • HIVE-16232: Támogatja a quotedIdentifier oszlopainak statisztikai számítását.

  • HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.

  • HIVE-17013: A kérelem törlése egy alqueryvel a nézeten való kijelölés alapján.

  • HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.

  • HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.

  • HIVE-17419: TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg.

  • HIVE-17530: ClassCastException konvertáláskor uniontype.

  • HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.

  • HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz blobstores: .

  • HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.

  • HIVE-17731: adjon hozzá egy visszamenőleges compat beállítást a külső felhasználók számára a HIVE-11985-höz.

  • HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.

  • HIVE-17829: ArrayIndexOutOfBoundsException – HBA Standard kiadás hátterű táblák Avro-sémával.Hive2

  • HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.

  • HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .

  • HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.

  • HIVE-18031: Az Alter Database-művelet replikációjának támogatása.

  • HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.

  • HIVE-18189: A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értékét igazra állítja.

  • HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.

  • HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.

  • HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.

  • HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.

  • HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.

  • HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.

  • HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.

  • HIVE-18429: A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet.

  • HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.

  • HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.

  • HIVE-18467: támogatja a teljes raktári memóriaképet / terhelést + adatbázisesemények létrehozását/elvetést (Anishek Agarwal, Sankar Hariappan véleményezve).

  • HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.

  • HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.

  • HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.

  • HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.

  • HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.

  • HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.

  • HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.

  • HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.

  • HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.

  • HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.

  • HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.

  • HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".

  • HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.

  • HIVE-18907: Hozzon létre segédprogramot a hive-18817 savas kulcs indexével kapcsolatos probléma megoldásához.

Hive 2.1.0 Apache-javítások:

  • HIVE-14013: A táblázat leírása nem jeleníti meg megfelelően a Unicode-t.

  • HIVE-14205: A Hive nem támogatja az AVRO fájlformátumú egyesítő típust.

  • HIVE-15563: A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery illegális műveletállapot-áttűnés kivételét.

  • HIVE-15680: Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC tábla kétszer hivatkozik a lekérdezésben, MR módban.

  • HIVE-15883: A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális értéknek.

  • HIVE-16757: Távolítsa el az elavult AbstractRelNode.getRows hívásait.

  • HIVE-16828: Ha a CBO engedélyezve van, a particionált nézetek lekérdezése indexOutOfBoundException értéket eredményez.

  • HIVE-17063: felülírt partíció beszúrása egy külső táblába sikertelen lesz, amikor először elveti a partíciót.

  • HIVE-17259: A Hive JDBC nem ismeri fel az UNIONTYPE oszlopokat.

  • HIVE-17530: ClassCastException konvertáláskor uniontype.

  • HIVE-17600: Az OrcFile kényszerítéseBufferSize felhasználó-settable.

  • HIVE-17601: a LlapServiceDriver hibakezelésének javítása.

  • HIVE-17613: Távolítsa el az objektumkészleteket a rövid, azonos szálú foglalásokhoz.

  • HIVE-17617: Az üres eredményhalmaz összesítésének tartalmaznia kell az üres csoportosítási csoport csoportosítását.

  • HIVE-17621: A rendszer figyelmen kívül hagyja a hive-hely beállításait a HCatInputFormat felosztási számítás során.

  • HIVE-17629: CachedStore: Jóváhagyott/nem jóváhagyott konfigurációval rendelkezik, amely lehetővé teszi a táblák/partíciók szelektív gyorsítótárazását, és engedélyezi az olvasást az előzetes használat során.

  • HIVE-17636: Multiple_agg.q teszt hozzáadása a következőhöz blobstores: .

  • HIVE-17702: helytelen isRepeating kezelés decimális olvasóban az ORC-ban.

  • HIVE-17729: Adatbázis hozzáadása és a kapcsolódó blobstore-tesztek ismertetése.

  • HIVE-17731: adjon hozzá egy visszamenőleges compat beállítást a külső felhasználók számára a HIVE-11985-höz.

  • HIVE-17803: A Pig multi-query használatával az ugyanarra a táblára írt 2 HCatStorer eltapossa egymás kimeneteit.

  • HIVE-17845: a beszúrás sikertelen, ha a céltábla oszlopai nem kisbetűsek.

  • HIVE-17900: a Compactor által aktivált oszlopok statisztikáinak elemzése hibásan formázott SQL-t hoz létre 1 partícióoszloptal > .

  • HIVE-18006: A HLLDenseRegister memóriaigényének optimalizálása.

  • HIVE-18026: A Hive webhcat egyszerű konfigurációoptimalizálása.

  • HIVE-18031: Az Alter Database-művelet replikációjának támogatása.

  • HIVE-18090: savas szívverés meghiúsul, ha a metaadattár hadoop hitelesítő adatokon keresztül csatlakozik.

  • HIVE-18189: A pozíció szerinti sorrend nem működik, ha cbo le van tiltva.

  • HIVE-18258: Vectorization: Reduce-Side GROUP BY MERGEPARTIAL duplikált oszlopokkal megszakadt.

  • HIVE-18269: LLAP: A lassú feldolgozási folyamattal rendelkező gyors llap io OOM-hoz vezethet.

  • HIVE-18293: A Hive nem tömöríti a HiveMetaStore-t futtató identitás tulajdonában lévő mappában lévő táblákat.

  • HIVE-18318: Az LLAP rekordolvasónak akkor is ellenőriznie kell a megszakítást, ha nem blokkolja.

  • HIVE-18326: LLAP Tez scheduler – csak előzetes feladatok, ha függőség van közöttük.

  • HIVE-18327: Távolítsa el a MiniHiveKdc szükségtelen HiveConf-függőségét.

  • HIVE-18331: A TGT lejárata után adja hozzá a relogin-t, és néhány naplózást/lambdát.

  • HIVE-18341: A TDE "nyers" névterének ugyanazokkal a titkosítási kulcsokkal történő hozzáadásához adjon hozzá repl terheléstámogatást.

  • HIVE-18352: metaadat-alapú beállítást vezet be a REPL DUMP használata közben, hogy más eszközök integrációját is lehetővé tegye.

  • HIVE-18353: A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához.

  • HIVE-18384: ConcurrentModificationException a könyvtárban log4j2.x .

  • HIVE-18390: IndexOutOfBoundsException partíciós nézet lekérdezésekor a ColumnPrunerben.

  • HIVE-18447: JDBC: Lehetővé teszik a JDBC-felhasználók számára, hogy cookie-adatokat adjanak át kapcsolati sztring keresztül.

  • HIVE-18460: A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak.

  • HIVE-18462: (A térképillesztéssel rendelkező lekérdezések magyarázata oszlopexprMap oszlopa formázatlan oszlopnévvel).

  • HIVE-18467: teljes raktári memóriakép/ terhelés támogatása + adatbázisesemények létrehozása/elvetése.

  • HIVE-18488: Az LLAP ORC-olvasók hiányoznak néhány null értékű ellenőrzésből.

  • HIVE-18490: A EXISTS és a NOT EXISTS lekérdezés nem egyenlő predikátummal helytelen eredményt eredményezhet.

  • HIVE-18506: LlapBaseInputFormat – negatív tömbindex.

  • HIVE-18517: Vektorizálás: Javítsa ki a VectorMapOperatort a VRB-k elfogadásához, és ellenőrizze a vektorizált jelzőt helyesen az LLAP gyorsítótárazásának támogatásához).

  • HIVE-18523: Az összegző sor javítása, ha nincsenek bemenetek.

  • HIVE-18528: Az ObjectStore összesítő statisztikái hibás eredményt kapnak.

  • HIVE-18530: A replikációnak kihagynia kell az MM-táblát (egyelőre).

  • HIVE-18548: Az importálás javítása log4j .

  • HIVE-18551: Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál írni a Hibrid Grace-hez.

  • HIVE-18577: SzemanticAnalyzer.validate van néhány értelmetlen metaadattár-hívások.

  • HIVE-18587: A DML-esemény beszúrása megpróbálhatja kiszámítani a könyvtárak ellenőrzőösszegét.

  • HIVE-18597: LLAP: Mindig csomagolja be az log4j2 API jar for org.apache.log4j.

  • HIVE-18613: A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához.

  • HIVE-18626: A "with" záradék ismételt betöltése nem adja át a konfigurációt a tevékenységeknek.

  • HIVE-18643: ne ellenőrizze az ACID-műveletek archivált partícióit.

  • HIVE-18660: A PCR nem tesz különbséget a partíció és a virtuális oszlopok között.

  • HIVE-18754: A REPL STATUS-nek támogatnia kell a "with" záradékot.

  • HIVE-18788: A JDBC PreparedStatement bemeneteinek törlése.

  • HIVE-18794: A "with" záradék ismételt betöltése nem adja át a konfigurációt a nem partíciós táblák feladatainak.

  • HIVE-18808: Robusztusabbá teheti a tömörítést, ha a statisztikák frissítése sikertelen.

  • HIVE-18815: Távolítsa el a nem használt funkciót a HPL/SQL-ben.

  • HIVE-18817: ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.

  • HIVE-18833: Az automatikus egyesítés meghiúsul, ha "beszúrja a könyvtárba orcfile-ként".

  • HIVE-18879: Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban.

  • HIVE-18944: A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során.

Kafka

Ez a kiadás a Kafka 1.0.0-s és az alábbi Apache-javításokat tartalmazza.

  • KAFKA-4827: Kafka connect: hiba speciális karakterekkel az összekötő nevében.

  • KAFKA-6118: Átmeneti hiba a kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials fájlban.

  • KAFKA-6156: A JmxReporter nem tudja kezelni a windows stílusú címtár elérési útjait.

  • KAFKA-6164: A ClientQuotaManager szálak megakadályozzák a leállítást, amikor hiba történik a naplók betöltésekor.

  • KAFKA-6167: A streamek könyvtárának időbélyege kettőspontot tartalmaz, amely egy illegális karakter.

  • A KAFKA-6179: RecordQueue.clear() nem törli a MinTimestampTracker által fenntartott listát.

  • KAFKA-6185: Kiválasztó memória kiszivárgása nagy valószínűséggel OOM, ha van egy lekonvertálás.

  • KAFKA-6190: A GlobalKTable soha nem fejezi be a visszaállítást tranzakciós üzenetek használatakor.

  • KAFKA-6210: IllegalArgumentException, ha az 1.0.0 az inter.broker.protocol.version vagy log.message.format.version verzióhoz használatos.

  • KAFKA-6214: A készenléti replikák memóriaállapot-tárolóval való használata adatfolyamok összeomlását okozza.

  • KAFKA-6215: Kafka adatfolyamok A teszt sikertelen a csomagtartóban.

  • KAFKA-6238: A protokollverzióval kapcsolatos problémák az 1.0.0-s verzióra való frissítéskor.

  • KAFKA-6260: Az AbstractCoordinator nem kezeli egyértelműen a NULL-kivételt.

  • KAFKA-6261: A kérelemnaplózás kivételt eredményez, ha acks=0.

  • KAFKA-6274: A forrásállapot-tároló automatikusan létrehozott neveinek javítása KTable .

Mahout

A HDP-2.3.x és a 2.4.x verzióban aHelyett, hogy a Mahout adott Apache-kiadását szállítanánk, szinkronizáltunk egy adott változatpontra az Apache Mahout-csomagtartón. Ez a változat a 0.9.0-s kiadás után, de a 0.10.0-s kiadás előtt van. Ez számos hibajavítást és funkcionális fejlesztést biztosít a 0.9.0-s kiadáshoz, de a Mahout funkció stabil kiadását biztosítja a 0.10.0-s verzióban az új Spark-alapú Mahoutra való teljes átalakítás előtt.

A HDP 2.3.x és 2.4.x verzióban a Mahouthoz választott korrektúrapont az Apache Mahout "mahout-0.10.x" ágából származik, 2014. december 19-én, a GitHub 0f037cb03e77c096-os verziójából.

A HDP-2.5.x és a 2.6.x verzióban eltávolítottuk a "commons-httpclient" kódtárat a Mahoutból, mert elavult kódtárként tekintünk rá, és biztonsági problémákat tapasztalhatunk, és a Mahout Hadoop-Client-t a HDP-2.5-ben használt 2.7.3-as verzióra frissítettük. Ennek eredménye:

  • A korábban lefordított Mahout-feladatokat újra kell fordítani a HDP-2.5 vagy 2.6 környezetben.

  • Előfordulhat, hogy egyes Mahout-feladatok "ClassNotFoundException" vagy "nem tölthetők be osztály" hibába ütközhetnek az "org.apache.commons.httpclient", "net.java.dev.jets3t" vagy a kapcsolódó osztálynév-előtagokkal kapcsolatban. Ha ezek a hibák történnek, megfontolhatja, hogy manuálisan kell-e telepíteni a feladathoz szükséges jarokat az osztályútvonalon, ha az elavult kódtár biztonsági problémáinak kockázata elfogadható a környezetben.

  • Még kisebb eséllyel előfordulhat, hogy egyes Mahout-feladatok összeomlanak a Mahout hbase-client kódhívásaiban a hadoop-gyakori kódtárakhoz a bináris kompatibilitási problémák miatt. Sajnos nincs mód a probléma megoldására, kivéve a Mahout HDP-2.4.2-es verziójára való visszaállítást, amely biztonsági problémákat eredményezhet. Ez ismét szokatlannak kell lennie, és nem valószínű, hogy egy adott Mahout-feladatcsomagban fordul elő.

Oozie

Ez a kiadás az Oozie 4.2.0-t a következő Apache-javításokkal biztosítja.

  • OOZIE-2571: Spark.scala.binary.version Maven tulajdonság hozzáadása a Scala 2.11 használatához.

  • OOZIE-2606: Állítsa be a spark.yarn.jars-t a Spark 2.0 Oozie-val való javításához.

  • OOZIE-2658: --driver-class-path felülírhatja az osztályútvonalat a SparkMainban.

  • OOZIE-2787: Az Oozie kétszer terjeszti az alkalmazás jart, így a Spark-feladat meghiúsul.

  • OOZIE-2792: Hive2 a művelet nem elemzi megfelelően a Spark-alkalmazás azonosítóját a naplófájlból, ha a Hive a Sparkon van.

  • OOZIE-2799: A Spark SQL helyének beállítása a hive-en.

  • OOZIE-2802: Spark-művelet meghiúsul a Spark 2.1.0-n duplikáció sharelibsmiatt.

  • OOZIE-2923: A Spark-beállítások elemzésének javítása.

  • OOZIE-3109: SCA: Helyek közötti szkriptelés: Önkifejezés.

  • OOZIE-3139: Az Oozie helytelenül ellenőrzi a munkafolyamatot.

  • OOZIE-3167: Tomcat verzió frissítése az Oozie 4.3 ágon.

Phoenix

Ez a kiadás a Phoenix 4.7.0-s verziót és a következő Apache-javításokat tartalmazza:

  • PHOENIX-1751: Aggregációk, rendezés stb. végrehajtása a preScannerNextben a postScannerOpen helyett.

  • PHOENIX-2714: Helyes bájtbecslés a BaseResultIteratorsban, és interfészként elérhetővé tehető.

  • PHOENIX-2724: A nagy számú segédoszlopot tartalmazó lekérdezés lassabb, mint a statisztikák.

  • PHOENIX-2855: Megkerülő megoldás: A Növekményes timeRange nincs szerializálva a HBase 1.2-hez.

  • PHOENIX-3023: Lassú teljesítmény, ha alapértelmezés szerint a korlát lekérdezések párhuzamosan futnak.

  • PHOENIX-3040: Ne használjon útmutatókat a lekérdezések soros végrehajtásához.

  • PHOENIX-3112: A részleges sorvizsgálat nem megfelelően van kezelve.

  • PHOENIX-3240: ClassCastException a Pig loader.

  • PHOENIX-3452: A NULLS FIRST/NULL LAST nem befolyásolhatja, hogy a GROUP BY a sorrend megőrzése.

  • PHOENIX-3469: HELYTELEN rendezési sorrend a DESC elsődleges kulcsához a NULLS LAST/NULLS FIRST értékhez.

  • PHOENIX-3789: Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably nyelven.

  • PHOENIX-3865: AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt.

  • PHOENIX-4290: A DELETE teljes táblázatvizsgálata nem módosítható indexekkel rendelkező táblával.

  • PHOENIX-4373: A helyi indexváltozó hosszkulcsa záró null értékekkel rendelkezhet az upserting során.

  • PHOENIX-4466: java.lang.RuntimeException: válaszkód 500 – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez.

  • PHOENIX-4489: HBase Csatlakozás ion leak in Phoenix MR Jobs.

  • PHOENIX-4525: Egész szám túlcsordulás a GroupBy-végrehajtásban.

  • PHOENIX-4560: AZ ORDER BY és a GROUP BY nem működik, ha a WHERE oszlopban pk van.

  • PHOENIX-4586: UP Standard kiadás RT Standard kiadás LECT nem veszi figyelembe az allekérdezések összehasonlító operátorát.

  • PHOENIX-4588: Klónozás kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION.

Pig

Ez a kiadás a Pig 0.16.0-t a következő Apache-javításokkal biztosítja.

  • PIG-5159: Fix Pig nem menti a morcos előzményeket.

  • PIG-5175: Frissítés jruby 1.7.26-ra.

Ranger

Ez a kiadás a Ranger 0.7.0-s és az alábbi Apache-javításokat biztosítja:

  • RANGER-1805: Kódfejlesztés a js ajánlott eljárásainak követéséhez.

  • RANGER-1960: Vegye figyelembe a pillanatkép táblanevét a törlésnél.

  • RANGER-1982: Hibajavítás a Ranger Rendszergazda és a Ranger KMS elemzési metrikáihoz.

  • RANGER-1984: A HBase naplórekordjai nem feltétlenül jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét.

  • RANGER-1988: Javítsa ki a nem biztonságos véletlenszerűséget.

  • RANGER-1990: Egyirányú SSL MySQL-támogatás hozzáadása a Ranger Rendszergazda.

  • RANGER-2006: A statikus kódelemzés által észlelt problémák megoldása a rangerben usersync a szinkronizálási forráshoz ldap .

  • RANGER-2008: A szabályzatok kiértékelése többsoros szabályzatfeltételek esetén sikertelen.

Csúszka

Ez a kiadás a Slider 0.92.0-s verziójával rendelkezik, és nincs több Apache-javítás.

Spark

Ez a kiadás a Spark 2.3.0-t és a következő Apache-javításokat biztosítja:

  • SPARK-13587: A virtualenv támogatása a Pysparkban.

  • SPARK-19964: A SparkSubmitSuite távoli adattáraiból való olvasás elkerülése.

  • SPARK-22882: ML-teszt strukturált streameléshez: ml.classification.

  • SPARK-22915: Streamelési tesztek a spark.ml.feature-hez N-től Z-ig.

  • SPARK-23020: Kijavítottunk egy másik versenyt a folyamatindító tesztben.

  • SPARK-23040: Megszakítható iterátort ad vissza a shuffle olvasóhoz.

  • SPARK-23173: Ne hozzon létre sérült parquet-fájlokat, amikor adatokat tölt be A JSON-ból.

  • SPARK-23264: A scala javítása. MatchError a literals.sql.out fájlban.

  • SPARK-23288: Kimeneti metrikák javítása parketta-fogadóval.

  • SPARK-23329: A trigonometriai függvények dokumentációjának javítása.

  • SPARK-23406: Stream-stream öncsatlakozások engedélyezése a branch-2.3-hoz.

  • SPARK-23434: A Spark nem figyelmezteti a "metaadat-könyvtárat" egy HDFS-fájl elérési útjára.

  • SPARK-23436: Csak akkor következtethet dátumként partícióra, ha a dátumra vethető.

  • SPARK-23457: Feladatvégző figyelők regisztrálása először a ParquetFileFormatban.

  • SPARK-23462: Javítsa a hiányzó mező hibaüzenetét a StructType-ban.

  • SPARK-23490: Ellenőrizze a storage.locationUri függvényt a CreateTable meglévő táblájával.

  • SPARK-23524: A nagy helyi shuffle blokkokat nem szabad ellenőrizni a sérülés miatt.

  • SPARK-23525: Az ALTER TABLE CHANGE COLUMN COMMENT támogatása külső hive-táblához.

  • SPARK-23553: A tesztek nem feltételezik a "spark.sql.sources.default" alapértelmezett értékét.

  • SPARK-23569: Lehetővé teszi, hogy pandas_udf python3 stílusú, szövegjegyzetes függvényekkel működjön.

  • SPARK-23570: Spark 2.3.0 hozzáadása a HiveExternalCatalogVersionsSuite-ban.

  • SPARK-23598: A BufferedRowIterator metódusainak nyilvánossá tétele a nagy lekérdezések futásidejű hibáinak elkerülése érdekében.

  • SPARK-23599: Adjon hozzá egy UUID-generátort pszeudo-véletlenszerű számokból.

  • SPARK-23599: A RandomUUIDGenerator használata uuid kifejezésben.

  • SPARK-23601: Fájlok eltávolítása .md5 a kiadásból.

  • SPARK-23608: Szinkronizálás hozzáadása SHS-ben az attachSparkUI és a detachSparkUI függvények között, hogy elkerülje a Jetty Handlers egyidejű módosítási problémáját.

  • SPARK-23614: A gyorsítótárazás használatakor a helytelen újrahasználati csere javítása.

  • SPARK-23623: Kerülje a gyorsítótárazott fogyasztók egyidejű használatát a CachedKafkaConsumerben (branch-2.3).

  • SPARK-23624: A pushFilters metódus dokumentumának módosítása a Datasource V2-ben.

  • SPARK-23628: calculateParamLength nem ad vissza 1 + num kifejezéseket.

  • SPARK-23630: Lehetővé teszi, hogy a felhasználó hadoop-conf testreszabásai érvénybe lépjenek.

  • SPARK-23635: A Spark végrehajtói env változóját ugyanaz a név am env változó írja felül.

  • SPARK-23637: A Yarn több erőforrást is lefoglalhat, ha ugyanazt a végrehajtót többször is megölik.

  • SPARK-23639: Jogkivonat beszerzése az init metaadattár-ügyfél előtt a SparkSQL CLI-ben.

  • SPARK-23642: AccumulatorV2 alosztály isZero scaladoc javítás.

  • SPARK-23644: Használja az abszolút elérési utat a REST-híváshoz az SHS-ben.

  • SPARK-23645: Docs RE "pandas_udf" hozzáadása kulcsszó arg-ekkel.

  • SPARK-23649: Az UTF-8-ban nem engedélyezett karakter kihagyása.

  • SPARK-23658: Az InProcessAppHandle helytelen osztályt használ a getLoggerben.

  • SPARK-23660: A yarnfürt módban lévő kivétel kijavítása, ha az alkalmazás gyorsan véget ért.

  • SPARK-23670: Memóriaszivárgás javítása a SparkPlanGraphWrapperen.

  • SPARK-23671: Az SHS-szálkészlet engedélyezésének feltétele.

  • SPARK-23691: Ha lehetséges, használja sql_conf util-t a PySpark-tesztekben.

  • SPARK-23695: Kinesis-streamelési tesztek hibaüzenetének javítása.

  • SPARK-23706: spark.conf.get(value, default=None) a PySparkban a None értéket kell előállítania.

  • SPARK-23728: Az ML-tesztek javítása a streamelési teszteket futtató várt kivételekkel.

  • SPARK-23729: URI-töredék tiszteletben tartása a globok feloldásakor.

  • SPARK-23759: Nem lehet a Spark felhasználói felületét egy adott gazdagépnévhez/ IP-címhez kötni.

  • SPARK-23760: CodegenContext.withSubExprEliminationExprs a C Standard kiadás állapotot helyesen menti/állítja vissza.

  • SPARK-23769: Távolítsa el az ellenőrzést szükségtelenül letiltó Scalastyle megjegyzéseket.

  • SPARK-23788: A Verseny javítása a StreamingQuerySuite-ban.

  • SPARK-23802: A PropagálásEmptyRelation feloldatlan állapotban hagyhatja a lekérdezéstervet.

  • SPARK-23806: A Broadcast.unpersist végzetes kivételt okozhat dinamikus lefoglalás esetén.

  • SPARK-23808: Alapértelmezett Spark-munkamenet beállítása csak tesztalapú Spark-munkamenetekben.

  • SPARK-23809: Az aktív SparkSession-t a getOrCreate-nak kell beállítania.

  • SPARK-23816: A törölt tevékenységeknek figyelmen kívül kell hagyniuk a FetchFailures parancsokat.

  • SPARK-23822: A Parquet-sémaeltérések hibaüzenetének javítása.

  • SPARK-23823: A forrás megőrzése a transformExpressionban.

  • SPARK-23827: A StreamingJoinExecnek biztosítania kell, hogy a bemeneti adatok meghatározott számú partícióra legyenek particionálva.

  • SPARK-23838: Az SQL-lekérdezés futtatása "befejezettként" jelenik meg az SQL lapon.

  • SPARK-23881: Javítás pelyhes teszt JobCancellationSuite." a shuffle olvasó megszakítható iterátora".

Sqoop

Ez a kiadás a Sqoop 1.4.6-ot biztosítja több Apache-javítás nélkül.

Storm

Ez a kiadás a Storm 1.1.1-et és a következő Apache-javításokat biztosítja:

  • STORM-2652: A JmsSpout nyílt metódusban kidobott kivétel.

  • STORM-2841: testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul.

  • STORM-2854: Az IEventLogger elérhetővé tétele az eseménynapló csatlakoztathatóvá tétele érdekében.

  • STORM-2870: A FileBasedEventLogger kiszivárog a nem démoni ExecutorService szolgáltatásból, ami megakadályozza a folyamat befejezését.

  • STORM-2960: Jobban hangsúlyozni fontos, hogy megfelelő operációsrendszer-fiókot állítson be a Storm-folyamatokhoz.

Tez

Ez a kiadás a Tez 0.7.0-s és a következő Apache-javításokat tartalmazza:

  • TEZ-1526: LoadingCache for TezTaskID slow for large jobs.

Zeppelin

Ez a kiadás a Zeppelin 0.7.3-at biztosítja, és nincs több Apache-javítás.

  • ZEPPELIN-3072: A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van.

  • ZEPPELIN-3129: A Zeppelin felhasználói felülete nem jelentkezik ki az IE-ben.

  • ZEPPELIN-903: Cserélje le a CXF-et a következőre Jersey2: .

ZooKeeper

Ez a kiadás a ZooKeeper 3.4.6-ot és a következő Apache-javításokat biztosítja:

Kijavítottuk a gyakori biztonsági réseket és kitettségeket

Ez a szakasz az ebben a kiadásban kezelt összes gyakori biztonsági rést és kitettséget (CVE) ismerteti.

CVE-2017-7676

Összefoglalás: Az Apache Ranger-szabályzat kiértékelése figyelmen kívül hagyja a karaktereket a *karakter után
Súlyosság: Kritikus
Szállító: Hortonworks
Érintett verziók: HDInsight 3.6-os verziók, beleértve az Apache Ranger 0.5.x/0.6.x/0.7.0-s verzióját
Érintett felhasználók: A Ranger-szabályzatokat használó környezetek "*" helyettesítő karakter után karakterekkel – például saját*teszt, teszt*.txt
Hatás: A szabályzat erőforrás-egyeztetője figyelmen kívül hagyja a karaktereket a "*" helyettesítő karakter után, ami nem szándékos viselkedést eredményezhet.
Javítás részletei: A Ranger-szabályzat erőforrás-egyeztetője frissült a helyettesítő karakterek megfelelő kezelése érdekében.
Javasolt művelet: Frissítés HDI 3.6-ra (Apache Ranger 0.7.1+).

CVE-2017-7677

Összefoglalás: Az Apache Ranger Hive-engedélyezőnek RWX-engedélyt kell keresnie külső hely megadásakor
Súlyosság: Kritikus
Szállító: Hortonworks
Érintett verziók: HDInsight 3.6-os verziók, beleértve az Apache Ranger 0.5.x/0.6.x/0.7.0-s verzióját
Érintett felhasználók: A hive-táblákhoz külső helyet használó környezetek
Hatás: A hive-táblákhoz külső helyet használó környezetekben az Apache Ranger Hive Authorizernek RWX-engedélyt kell keresnie a tábla létrehozásához megadott külső helyhez.
Javítás részletei: A Ranger Hive-engedélyező frissítve lett, hogy megfelelően kezelje a külső hely engedélyellenőrzését.
Ajánlott művelet: A felhasználóknak frissíteni kell a HDI 3.6-ra (Apache Ranger 0.7.1+).

CVE-2017-9799

Összefoglalás: A kód nem megfelelő felhasználóként való lehetséges végrehajtása az Apache Stormban
Súlyosság: Fontos
Szállító: Hortonworks
Érintett verziók: HDP 2.4.0, HDP-2.5.0, HDP-2.6.0
Érintett felhasználók: Azok a felhasználók, akik biztonságos módban használják a Stormot, és blobstore-t használnak topológiaalapú összetevők terjesztésére, vagy a blobstore használatával terjesztik a topológia-erőforrásokat.
Hatás: Bizonyos helyzetekben és a vihar konfigurációiban elméletileg lehetséges, hogy a topológia tulajdonosa becsapja a felügyelőt, hogy egy másik, nem gyökérfelhasználóként indítsa el a feldolgozót. A legrosszabb esetben ez a másik felhasználó hitelesítő adatainak biztonságossá tételéhez vezethet. Ez a biztonsági rés csak olyan Apache Storm-telepítésekre vonatkozik, amelyeken engedélyezve van a biztonság.
Megoldás: Frissítsen a HDP-2.6.2.1 verzióra, mivel jelenleg nincsenek áthidaló megoldások.

CVE-2016-4970

Összefoglalás: kezelő/ssl/OpenSslEngine.java a Netty 4.0.x-ben 4.0.37 előtt. Végleges és 4.1.x előtt 4.1.1. A Final lehetővé teszi, hogy a távoli támadók szolgáltatásmegtagadást okozzanak (végtelen ciklus)
Súlyosság: Közepes
Szállító: Hortonworks
Érintett verziók: HDP 2.x.x 2.3.x óta
Érintett felhasználók: A HDFS-t használó összes felhasználó.
Hatás: Az hatás alacsony, mivel a Hortonworks nem használja OpenSslEngine.java közvetlenül a Hadoop-kódbázisban.
Ajánlott művelet: Frissítsen a HDP 2.6.3-ra.

CVE-2016-8746

Összefoglalás: Az Apache Ranger elérési útjának egyeztetésével kapcsolatos probléma a szabályzatértékelésben
Súlyosság: Normál
Szállító: Hortonworks
Érintett verziók: Minden HDP 2.5-ös verzió, beleértve az Apache Ranger 0.6.0/0.6.1/0.6.2-et
Érintett felhasználók: A ranger házirend-felügyeleti eszköz minden felhasználója.
Hatás: A Ranger szabályzatmotorja helytelenül egyezik meg bizonyos feltételek elérési útjaival, ha egy szabályzat helyettesítő karaktereket és rekurzív jelzőket tartalmaz.
Javítás részletei: Kijavítottuk a szabályzat-kiértékelési logikát
Ajánlott művelet: A felhasználóknak a HDP 2.5.4+-ra (Apache Ranger 0.6.3+) vagy a HDP 2.6+-ra kell frissíteni (Az Apache Ranger 0.7.0+-val)

CVE-2016-8751

Összefoglalás: Az Apache Ranger webhelyközi parancsfájl-készítési problémát észlelt
Súlyosság: Normál
Szállító: Hortonworks
Érintett verziók: Minden HDP 2.3/2.4/2.5 verzió, beleértve az Apache Ranger 0.5.x/0.6.0/0.6.1/0.6.2 verzióját
Érintett felhasználók: A ranger házirend-felügyeleti eszköz minden felhasználója.
Hatás: Az Apache Ranger sebezhető a tárolt helyek közötti szkripteléssel szemben egyéni szabályzatfeltételek megadásakor. Rendszergazda felhasználók tetszőleges JavaScript-kódot tárolhatnak, amikor a normál felhasználók bejelentkeznek, és szabályzatokat érhetnek el.
Részletes javítás: Hozzáadott logika a felhasználói bemenet megtisztításához.
Ajánlott művelet: A felhasználóknak a HDP 2.5.4+-ra (Apache Ranger 0.6.3+) vagy a HDP 2.6+-ra kell frissíteni (Az Apache Ranger 0.7.0+-val)

Kijavítottuk a támogatással kapcsolatos problémákat

A kijavított problémák olyan kiválasztott problémákat jelölnek, amelyeket korábban a Hortonworks támogatási szolgálata naplózott, de az aktuális kiadásban már megoldódott. Előfordulhat, hogy ezeket a problémákat a korábbi verziókban jelentették az Ismert problémák szakaszban; azt jelenti, hogy az ügyfelek jelentették őket, vagy a Hortonworks Quality Engineering csapata azonosította őket.

Helytelen eredmények

Hibaazonosító Apache JIRA Összefoglalás
BUG-100019 YARN-8145 yarn rmadmin -getGroups nem ad vissza frissített csoportokat a felhasználó számára
BUG-100058 PHOENIX-2645 A helyettesítő karakterek nem egyeznek az új karakterekkel
BUG-100266 PHOENIX-3521, PHOENIX-4190 A helyi indexekkel kapcsolatos eredmények hibásak
BUG-88774 HIVE-17617, HIVE-18413, HIVE-18523 a lekérdezés36 sikertelen, a sorok száma nem egyezik
BUG-89765 HIVE-17702 helytelen isRepeating handling in decimal reader in ORC
BUG-92293 HADOOP-15042 Az Azure PageBlobInputStream.skip() negatív értéket adhat vissza, ha a numberOfPagesRemaining értéke 0
BUG-92345 ATLAS-2285 Felhasználói felület: Átnevezett mentett keresés dátumattribútummal.
BUG-92563 HIVE-17495, HIVE-18528 Az ObjectStore statisztikáinak összesítése helytelen eredményt kap
BUG-92957 HIVE-11266 count(*) helytelen eredmény a külső táblák táblázatstatisztikái alapján
BUG-93097 RANGER-1944 A Rendszergazda naplózás műveletszűrője nem működik
BUG-93335 HIVE-12315 vectorization_short_regress.q nem megfelelő eredményproblémával rendelkezik a kettős számításhoz
BUG-93415 HIVE-18258, HIVE-18310 Vektorizálás: A MERGEPARTIAL által a duplikált oszlopokkal rendelkező csökkentési oldalcsoport nem működik
BUG-93939 ATLAS-2294 Egy típus létrehozásakor hozzáadott "leírás" extra paraméter
BUG-94007 PHOENIX-1751, PHOENIX-3112 A Phoenix-lekérdezések null értékeket ad vissza a HBase részleges sorai miatt
BUG-94266 HIVE-12505 Az felülírás beszúrása ugyanabban a titkosított zónában csendesen nem távolít el néhány meglévő fájlt
BUG-94414 HIVE-15680 Helytelen eredmények, ha a hive.optimize.index.filter=true és ugyanaz az ORC-tábla kétszer hivatkozik a lekérdezésben
BUG-95048 HIVE-18490 A EXISTS és a NOT EXISTS argumentummal nem egyenlő predikátummal rendelkező lekérdezés helytelen eredményt eredményezhet
BUG-95053 PHOENIX-3865 AZ IS NULL nem ad vissza helyes eredményt, ha az első oszlopcsalád nem szűrt
BUG-95476 RANGER-1966 A házirendmotor inicializálása bizonyos esetekben nem hoz létre környezetnövelőket
BUG-95566 SPARK-23281 A lekérdezés helytelen sorrendbe állítja az eredményeket, ha egy összetett sorrend záradék szerint az eredeti oszlopokra és aliasokra is hivatkozik
BUG-95907 PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560 Az ORDER BY ASC-vel kapcsolatos problémák elhárítása a lekérdezés összesítésekor
BUG-96389 PHOENIX-4586 UP Standard kiadás RT Standard kiadás LECT nem veszi figyelembe az allekérdezések összehasonlító operátorát.
BUG-96602 HIVE-18660 A PCR nem tesz különbséget a partíció és a virtuális oszlopok között
BUG-97686 ATLAS-2468 [Alapszintű keresés] A NEQ numerikus típusokkal való használatakor az OR-esetekkel kapcsolatos probléma
BUG-97708 HIVE-18817 ArrayIndexOutOfBounds kivétel az ACID-tábla olvasása során.
BUG-97864 HIVE-18833 Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként"
BUG-97889 RANGER-2008 A szabályzat kiértékelése többsoros szabályzatfeltételek esetén sikertelen.
BUG-98655 RANGER-2066 A HBase-oszlopcsalád elérését az oszlopcsalád címkézett oszlopa engedélyezi
BUG-99883 HIVE-19073, HIVE-19145 A StatsOptimizer állandó oszlopokat zsugoríthat

Egyéb

Hibaazonosító Apache JIRA Összefoglalás
BUG-100267 HBA Standard kiadás-17170 A HBase a DoNotRetryIOException újrapróbálkozását is megkísérli az osztálybetöltők eltérései miatt.
BUG-92367 YARN-7558 A "yarn logs" parancs nem tudja lekérni a tárolók futtatásához szükséges naplókat, ha a felhasználói felület hitelesítése engedélyezve van.
BUG-93159 OOZIE-3139 Az Oozie helytelenül ellenőrzi a munkafolyamatot
BUG-93936 ATLAS-2289 A KafkaNotification implementációból áthelyezendő beágyazott kafka/zookeeper-kiszolgáló start/stop kódja
BUG-93942 ATLAS-2312 Több szál egyidejű használatának elkerülése a ThreadLocal DateFormat objektumokkal
BUG-93946 ATLAS-2319 Felhasználói felület: Ha töröl egy címkét, amely a címkelista 25- vagy annál 25-nél is több pozíciójában van a Lapos és a Fa szerkezetben, frissítenie kell a címkét a listáról.
BUG-94618 YARN-5037, YARN-7274 Rugalmasság letiltása levélsor szintjén
BUG-94901 HBA Standard kiadás-19285 Táblázatonkénti késési hisztogramok hozzáadása
BUG-95259 HADOOP-15185, HADOOP-15186 Összekötő frissítése adls az ADLS SDK aktuális verziójának használatához
BUG-95619 HIVE-18551 Vektorizálás: A VectorMapOperator túl sok vektoroszlopot próbál meg írni a hibrid grace-hez
BUG-97223 SPARK-23434 A Spark nem figyelmezteti a "metaadat-könyvtárat" EGY HDFS-fájl elérési útjára

Teljesítmény

Hibaazonosító Apache JIRA Összefoglalás
BUG-83282 HBA Standard kiadás-13376, HBA Standard kiadás-14473, HBA Standard kiadás-15210, HBA Standard kiadás-15515, HBA Standard kiadás-16570, HBA Standard kiadás-16810, HBAStandard kiadás-18164 Gyors helyszámítás a balancerben
BUG-91300 HBA Standard kiadás-17387 A több() kivételjelentés többletterhelésének csökkentése a RegionActionResult alkalmazásban
BUG-91804 TEZ-1526 A TezTaskID lassú loadingCache-fájlja nagy feladatokhoz
BUG-92760 ACCUMULO-4578 A TÖMÖRÍTÉS MEGSZAKÍTÁSA SORS művelet nem oldja fel a névtér zárolását
BUG-93577 RANGER-1938 A Solr for Audit beállítása nem használja hatékonyan a DocValues-t
BUG-93910 HIVE-18293 A Hive nem tudja tömöríteni a HiveMetaStore-t futtató identitással nem rendelkező mappában lévő táblákat
BUG-94345 HIVE-18429 A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet
BUG-94381 HADOOP-13227, HDFS-13054 RequestHedgingProxyProvider RetryAction sorrend kezelése: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432 HIVE-18353 A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához
BUG-94869 PHOENIX-4290, PHOENIX-4373 A helyi indexelt sózott főnix tábla beolvasásához HRegion a tartományon kívülre kért sor.
BUG-94928 HDFS-11078 NPE javítása a LazyPersistFileScrubberben
BUG-94964 HIVE-18269, HIVE-18318, HIVE-18326 Több LLAP-javítás
BUG-95669 HIVE-18577, HIVE-18643 Amikor frissítési/törlési lekérdezést futtat az ACID particionált táblán, a HS2 beolvassa az összes partíciót.
BUG-96390 HDFS-10453 A Replikációmonitor-szál hosszú ideig elakadhat a replikáció közötti verseny miatt, és törölheti ugyanazt a fájlt egy nagy fürtben.
BUG-96625 HIVE-16110 A "Vectorization: Support 2 Value CA Standard kiadás WHEN helyett a VectorUDFAdaptorra való visszalépés"
BUG-97109 HIVE-16757 Az elavult getRows() használata az új becslés helyettRowCount(RelMetadataQuery...) komoly teljesítménybeli hatással van
BUG-97110 PHOENIX-3789 Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably
BUG-98833 YARN-6797 A TimelineWriter nem használja fel teljes mértékben a POST-választ
BUG-98931 ATLAS-2491 A Hive hook frissítése az Atlas v2-értesítések használatára

Lehetséges adatvesztés

Hibaazonosító Apache JIRA Összefoglalás
BUG-95613 HBA Standard kiadás-18808 Nem hatékony konfigurációs bejelentkezési BackupLogCleaner#getDeletableFiles()
BUG-97051 HIVE-17403 Nem felügyelt és tranzakciós táblák sikertelen összefűzése
BUG-97787 HIVE-18460 A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak
BUG-97788 HIVE-18613 A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához

Lekérdezési hiba

Hibaazonosító Apache JIRA Összefoglalás
BUG-100180 CALCITE-2232 Assertion error on AggregatePullUpConstantsRule and adjusting Aggregate indexes
BUG-100422 HIVE-19085 A FastHiveDecimal abs(0) a +ve
BUG-100834 PHOENIX-4658 IllegalStateException: a requestSeek nem hívható meg a ReversedKeyValueHeap rendszeren
BUG-102078 HIVE-17978 A TPCDS-lekérdezések 58-ban és 83-ban kivételeket hoznak létre a vektorizálás során.
BUG-92483 HIVE-17900 a Compactor által aktivált oszlopok statisztikáinak elemzése hibás SQL-t hoz létre 1 partícióoszloptal >
BUG-93135 HIVE-15874, HIVE-18189 A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értéket true értékre állítja
BUG-93136 HIVE-18189 A pozíció szerinti sorrend nem működik, ha cbo le van tiltva
BUG-93595 HIVE-12378, HIVE-15883 A Hive-beszúrásban lévő HBase-megfeleltetett tábla nem felel meg a decimális és bináris oszlopoknak
BUG-94007 PHOENIX-1751, PHOENIX-3112 A Phoenix-lekérdezések null értékeket ad vissza a HBase részleges sorai miatt
BUG-94144 HIVE-17063 a partíció felülírása külső táblába való beszúrása meghiúsul, amikor először elveti a partíciót
BUG-94280 HIVE-12785 Nézet egyesítő típussal és UDF-lel, hogy "leadja" a szerkezet hibás
BUG-94505 PHOENIX-4525 Egész szám túlcsordulása a GroupBy-végrehajtásban
BUG-95618 HIVE-18506 LlapBaseInputFormat – negatív tömbindex
BUG-95644 HIVE-9152 CombineHiveInputFormat: A Hive-lekérdezés sikertelen a Tezben java.lang.IllegalArgumentException kivétellel
BUG-96762 PHOENIX-4588 Klónozási kifejezés akkor is, ha gyermekei Determinism.PER_INVOCATION
BUG-97145 HIVE-12245, HIVE-17829 A HBase által támogatott táblák oszlop megjegyzéseinek támogatása
BUG-97741 HIVE-18944 A csoportosítási csoportok pozíciója helytelenül van beállítva a DPP során
BUG-98082 HIVE-18597 LLAP: Mindig csomagolja be az log4j2 API-jart a következőhöz: org.apache.log4j
BUG-99849 n/a Új tábla létrehozása fájlvarázslóból az alapértelmezett adatbázis használatával

Biztonság

Hibaazonosító Apache JIRA Összefoglalás
BUG-100436 RANGER-2060 Knox a proxy nem knox-sso működik a rangerhez
BUG-101038 SPARK-24062 Zeppelin %Spark-értelmező "Csatlakozás visszautasítva" hiba: "Titkos kulcsot kell megadni..." hiba a HiveThriftServerben
BUG-101359 ACCUMULO-4056 Kiadáskor frissítse a commons-collection verzióját a 3.2.2-es verzióra
BUG-54240 HIVE-18879 Az UDFXPathUtil beágyazott elemének letiltása akkor működik, ha xercesImpl.jar a classpathban
BUG-79059 OOZIE-3109 A naplóstreamelés HTML-specifikus karakterei
BUG-90041 OOZIE-2723 JSON.org licenc mostantól CatX
BUG-93754 RANGER-1943 A Ranger Solr-engedélyezés kihagyva, ha a gyűjtemény üres vagy null értékű
BUG-93804 HIVE-17419 TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg
BUG-94276 ZEPPELIN-3129 A Zeppelin felhasználói felülete nem jelentkezik ki az IE-ben
BUG-95349 ZOOK Enterprise kiadás PER-1256, ZOOK Enterprise kiadás PER-1901 Frissítési háló
BUG-95483 n/a Javítás a CVE-2017-15713-hoz
BUG-95646 OOZIE-3167 Tomcat-verzió frissítése az Oozie 4.3-ágon
BUG-95823 n/a Knox:Frissítés Beanutils
BUG-95908 RANGER-1960 A HBase-hitelesítés nem veszi figyelembe a táblanévteret a pillanatképek törlésekor
BUG-96191 FALCON-2322, FALCON-2323 A Jackson- és Spring-verziók frissítése a biztonsági rések elkerülése érdekében
BUG-96502 RANGER-1990 Egyirányú SSL MySQL-támogatás hozzáadása a Ranger Rendszergazda
BUG-96712 FLUME-3194 frissítés a legújabb (1.14.1.0-s) verzióra
BUG-96713 FLUME-2678 Frissítse a xalant a 2.7.2-re a CVE-2014-0107 biztonsági rés elhárításához
BUG-96714 FLUME-2050 Frissítés a (ga) verzióra log4j2
BUG-96737 n/a Helyi fájlok elérése Java io fájlrendszer-metódusokkal
BUG-96925 n/a A Tomcat frissítése a 6.0.48-ról 6.0.53-ra a Hadoopban
BUG-96977 FLUME-3132 Tomcat-kódtár-függőségek jasper frissítése
BUG-97022 HADOOP-14799, HADOOP-14903, HADOOP-15265 A Nimbus-JO Standard kiadás-JWT kódtár frissítése a 4.39-es verziónál nagyobb verzióval
BUG-97101 RANGER-1988 A nem biztonságos véletlenszerűség javítása
BUG-97178 ATLAS-2467 A Spring és a nimbus-jose-jwt függőségeinek frissítése
BUG-97180 n/a A Nimbus-jose-jwt frissítése
BUG-98038 HIVE-18788 Bemenetek törlése a JDBC PreparedStatementben
BUG-98353 HADOOP-13707 "Ha a kerberos engedélyezve van, miközben a HTTP SPNEGO nincs konfigurálva, néhány hivatkozás nem érhető el"
BUG-98372 HBA Standard kiadás-13848 InfoServer SSL-jelszavak elérése hitelesítőadat-szolgáltató API-val
BUG-98385 ATLAS-2500 További fejlécek hozzáadása az Atlas-válaszhoz.
BUG-98564 HADOOP-14651 Az OKhttp verzió frissítése a 2.7.5-ös verzióra
BUG-99440 RANGER-2045 Az explicit engedélyezési házirend nélküli Hive-táblaoszlopok a "desc table" paranccsal jelennek meg
BUG-99803 n/a Az Oozie-nak le kell tiltania a HBase dinamikus osztálybetöltését

Stabilitás

Hibaazonosító Apache JIRA Összefoglalás
BUG-100040 ATLAS-2536 NPE az Atlas Hive Hookban
BUG-100057 HIVE-19251 Az ObjectStore.getNextNotification with LIMIT kevesebb memóriát használ
BUG-100072 HIVE-19130 Az NPE a REPL LOAD alkalmazott drop partition eseményekor lesz eldobva.
BUG-100073 n/a túl sok close_wait kapcsolat az adatcsomóponthoz hiveserver
BUG-100319 HIVE-19248 A REPL LOAD nem jelez hibát, ha a fájl másolása sikertelen.
BUG-100352 n/a CLONE – Rm purging logic scans /registry znode túl gyakran
BUG-100427 HIVE-19249 Replikáció: A WITH záradék nem adja át a konfigurációt a Feladatnak minden esetben
BUG-100430 HIVE-14483 java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432 HIVE-19219 A növekményes REPL DUMP hibajelzést ad, ha a kért események törlődnek.
BUG-100448 SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881 Frissítés Spark2 a 2.3.0+-ra (4/11)
BUG-100740 HIVE-16107 JDBC: A HttpClientnek újra kell próbálkoznia még egyszer a NoHttpResponseException beállítással
BUG-100810 HIVE-19054 A Hive Functions replikációja sikertelen
BUG-100937 MAPREDUCE-6889 Adja hozzá a Job#close API-t az MR-ügyfélszolgáltatások leállításához.
BUG-101065 ATLAS-2587 Állítsa be a /apache_atlas/active_server_info znode olvasási ACL-ét a HA-ban a proxy olvasásához Knox .
BUG-101093 STORM-2993 A Storm HDFS-csavar bezárja a ClosedChannelExceptiont az időforgatási szabályzat használatakor
BUG-101181 n/a A PhoenixStorageHandler nem kezeli megfelelően és predikátumban
BUG-101266 PHOENIX-4635 HBase Csatlakozás ion leak in org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458 HIVE-11464 több kimenet esetén hiányzik az adatsor adatai
BUG-101485 n/a a hive metaadattár thrift API lassú, és időtúllépést okoz az ügyfél számára
BUG-101628 HIVE-19331 A hive növekményes replikációja nem sikerült a felhőbe.
BUG-102048 HIVE-19381 A Hive-függvény felhőbe történő replikációja meghiúsul a FunctionTask használatával
BUG-102064 n/a A Hive replikációs \[ onprem to onprem \] tesztjei sikertelenek a ReplCopyTaskban
BUG-102137 HIVE-19423 A Hive replikációs \[ Onprem to Cloud \] tesztjei sikertelenek a ReplCopyTaskban
BUG-102305 HIVE-19430 HS2 és hive metaadattár OOM-memóriaképei
BUG-102361 n/a több beszúrási eredmény a cél hive-fürtre replikált egyetlen beszúrásban ( onprem - s3 )
BUG-87624 n/a A viharesemények naplózásának engedélyezése miatt a dolgozók folyamatosan meghalnak
BUG-88929 HBA Standard kiadás-15615 Helytelen alvási idő, amikor a RegionServerCallable újrapróbálkozik
BUG-89628 HIVE-17613 objektumkészletek eltávolítása rövid, azonos szálú foglalásokhoz
BUG-89813 n/a SCA: Kód helyessége: Nem szinkronizált metódus felülírja a szinkronizált metódust
BUG-90437 ZEPPELIN-3072 A Zeppelin felhasználói felülete lassú/nem válaszol, ha túl sok jegyzetfüzet van
BUG-90640 HBA Standard kiadás-19065 A HRegion#bulkLoadHFiles() függvénynek várnia kell, amíg az egyidejű régió#flush() befejeződik
BUG-91202 HIVE-17013 Kérelem törlése egy alqueryvel a nézeten való kijelölés alapján
BUG-91350 KNOX-1108 A NiFiHaDispatch nem működik át
BUG-92054 HIVE-13120 a doA-k propagálása ORC-felosztások létrehozásakor
BUG-92373 SÓLYOM-2314 A TestNG 6.13.1-es verziójával elkerülheti a BeanShell-függőséget
BUG-92381 n/a a testContainerLogsWithNewAPI és a testContainerLogsWithOldAPI UT sikertelen
BUG-92389 STORM-2841 testNoAcksIfFlushFails UT nullPointerException használatával meghiúsul
BUG-92586 SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095 Frissítés Spark2 a 2.2.1-re (január 16.)
BUG-92680 ATLAS-2288 NoClassDefFoundError kivétel importálási hive-szkript futtatásakor, ha a hbase-tábla Hive-en keresztül jön létre
BUG-92760 ACCUMULO-4578 A TÖMÖRÍTÉS MEGSZAKÍTÁSA SORS művelet nem oldja fel a névtér zárolását
BUG-92797 HDFS-10267, HDFS-8496 Az adatcsomópont zárolási versengésének csökkentése bizonyos használati esetekben
BUG-92813 FLUME-2973 Holtpont a hdfs fogadóban
BUG-92957 HIVE-11266 count(*) helytelen eredmény a külső táblák táblázatstatisztikái alapján
BUG-93018 ATLAS-2310 A HA-ban a passzív csomópont rossz URL-kódolással irányítja át a kérést
BUG-93116 RANGER-1957 A Ranger Usersync nem szinkronizálja rendszeresen a felhasználókat vagy csoportokat, ha a növekményes szinkronizálás engedélyezve van.
BUG-93361 HIVE-12360 Hibás keresés tömörítetlen ORC-ben predikátum leküldéses leküldéssel
BUG-93426 CALCITE-2086 HTTP/413 bizonyos körülmények között nagy engedélyezési fejlécek miatt
BUG-93429 PHOENIX-3240 ClassCastException a Pig loaderből
BUG-93485 n/a Nem olvasható be a table mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: A tábla nem található, amikor elemzési táblázatot futtat az LLAP oszlopaiban
BUG-93512 PHOENIX-4466 java.lang.RuntimeException: 500-os válaszkód – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez
BUG-93550 n/a A Zeppelin %spark.r nem működik a spark1-zel a scala-verzió eltérése miatt
BUG-93910 HIVE-18293 A Hive nem tudja tömöríteni a HiveMetaStore-t futtató identitással nem rendelkező mappában lévő táblákat
BUG-93926 ZEPPELIN-3114 A jegyzetfüzeteket és az értelmezőket nem menti a zeppelin az 1d stressztesztelés után >
BUG-93932 ATLAS-2320 "*" besorolás lekérdezéssel 500 belső kiszolgálói kivételt eredményez.
BUG-93948 YARN-7697 Az NM leáll az OOM-jal a naplóösszesítés szivárgása miatt (1. rész)
BUG-93965 ATLAS-2229 DSL-keresés: a nem sztring attribútum kivételt eredményez
BUG-93986 YARN-7697 Az NM leáll az OOM-jal a naplóösszesítés szivárgása miatt (2. rész)
BUG-94030 ATLAS-2332 A beágyazott gyűjtemény adattípusát tartalmazó attribútumokkal rendelkező típus létrehozása sikertelen
BUG-94080 YARN-3742, YARN-6061 Mindkét RM készenléti állapotban van a biztonságos fürtben
BUG-94081 HIVE-18384 ConcurrentModificationException a könyvtárban log4j2.x
BUG-94168 n/a A Yarn RM szolgáltatásregisztrációs adatbázisa hibás állapotban van
BUG-94330 HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689 A HDFS-nek több KMS Uris
BUG-94345 HIVE-18429 A tömörítésnek akkor kell kezelnie egy esetet, ha nem hoz létre kimenetet
BUG-94372 ATLAS-2229 DSL-lekérdezés: hive_table név = ["t1","t2"] érvénytelen DSL-lekérdezési kivételt eredményez
BUG-94381 HADOOP-13227, HDFS-13054 RequestHedgingProxyProvider RetryAction sorrend kezelése: FAIL < RETRY < FAILOVER_AND_RETRY.
BUG-94432 HIVE-18353 A CompactorMR-nek meg kell hívnia a jobclient.close() függvényt a törlés aktiválásához
BUG-94575 SPARK-22587 A Spark-feladat meghiúsul, ha az fs.defaultFS és az application jar url-címe eltérő
BUG-94791 SPARK-22793 Memóriavesztés a Spark Thrift Serverben
BUG-94928 HDFS-11078 NPE javítása a LazyPersistFileScrubberben
BUG-95013 HIVE-18488 Az LLAP ORC-olvasóknak hiányzik néhány null értékű ellenőrzés
BUG-95077 HIVE-14205 A Hive nem támogatja az AVRO fájlformátumú egyesítő típust
BUG-95200 HDFS-13061 A SaslDataTransferClient#checkTrustAndSend nem megbízható egy részben megbízható csatornában
BUG-95201 HDFS-13060 BlacklistBasedTrustedChannelResolver hozzáadása a TrustedChannelResolverhez
BUG-95284 HBA Standard kiadás-19395 [ág-1] A TestEndToEndSplitTransaction.testMasterOpsWhileSplitting sikertelen NPE-vel
BUG-95301 HIVE-18517 Vektorizálás: A VectorMapOperator javítása a VRB-k elfogadásához és a vektorizált jelző helyes ellenőrzéséhez az LLAP gyorsítótárazásának támogatásához
BUG-95542 HBA Standard kiadás-16135 Előfordulhat, hogy a PeerClusterZnode az eltávolított társ rs alatt soha nem lesz törölve
BUG-95595 HIVE-15563 A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery érvénytelen műveletállapot-áttűnési kivételét.
BUG-95596 YARN-4126, YARN-5750 A TestClientRMService sikertelen
BUG-96019 HIVE-18548 Importálás javítása log4j
BUG-96196 HDFS-13120 A pillanatkép-diffet az összefűzés után lehet sérült
BUG-96289 HDFS-11701 A nem oldott gazdagép NPE-je állandó DFSInputStream-hibákat okoz
BUG-96291 STORM-2652 A JmsSpout nyílt metódusban kidobott kivétel
BUG-96363 HIVE-18959 Ne hozzon létre további szálkészletet az LLAP-ben
BUG-96390 HDFS-10453 A ReplicationMonitor-szál hosszú ideig elakadhat, mivel egy nagy fürtben ugyanazon fájl replikációja és törlése közötti verseny van.
BUG-96454 YARN-4593 Holtpont az AbstractService.getConfig() alkalmazásban
BUG-96704 SÓLYOM-2322 ClassCastException azAndSchedule-hírcsatorna elküldése közben
BUG-96720 SLIDER-1262 A csúszka-funktestek hibásak a Kerberized környezetben
BUG-96931 SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391 Naprakész frissítés Spark2 (február 19.)
BUG-97067 HIVE-10697 Az ObjectInspectorConvertors#UnionConvertor hibás konverziót végez
BUG-97244 KNOX-1083 A HttpClient alapértelmezett időtúllépésének ésszerű értéknek kell lennie
BUG-97459 ZEPPELIN-3271 Az ütemező letiltására szolgáló lehetőség
BUG-97511 KNOX-1197 Az AnonymousAuthFilter nem lesz hozzáadva, ha hitelesítés=Névtelen a szolgáltatásban
BUG-97601 HIVE-17479 Az átmeneti címtárak nem törlődnek a frissítési/törlési lekérdezésekhez
BUG-97605 HIVE-18858 Az MR-feladat elküldésekor a feladatkonfiguráció rendszertulajdonságai nem oldódnak fel
BUG-97674 OOZIE-3186 Oozie nem tudja használni a jceks://file/ használatával csatolt konfigurációt...
BUG-97743 n/a java.lang.NoClassDefFoundError kivétel a storm topológia telepítésekor
BUG-97756 PHOENIX-4576 Sikertelen LocalIndexSplitMergeIT-tesztek javítása
BUG-97771 HDFS-11711 A DN nem törölheti a "Túl sok megnyitott fájl" kivétel blokkot
BUG-97869 KNOX-1190 Knox A Google OIDC egyszeri bejelentkezés támogatása megszakadt.
BUG-97879 PHOENIX-4489 HBase Csatlakozás ion szivárgás a Phoenix MR Jobsban
BUG-98392 RANGER-2007 A ranger-tagsync Kerberos-jegye nem újul meg
BUG-98484 n/a Nem működik a Hive növekményes replikációja a felhőbe
BUG-98533 HBA Standard kiadás-19934, HBA Standard kiadás-20008 A HBase pillanatképének visszaállítása null mutató kivétel miatt meghiúsul
BUG-98555 PHOENIX-4662 NullPointerException a gyorsítótár újraküldése TableResultIterator.java
BUG-98579 HBA Standard kiadás-13716 A Hadoop FSConstants használatának leállítása
BUG-98705 KNOX-1230 Számos egyidejű kérés url-címkezelést Knox okoz
BUG-98983 KNOX-1108 A NiFiHaDispatch nem működik át
BUG-99107 HIVE-19054 A függvényreplikációs művelet gyökérként a "hive.repl.replica.functions.root.dir" függvényt használja
BUG-99145 RANGER-2035 Az üres implClass és oracle háttérrendszerrel rendelkező servicedefs elérésekor felmerülő hibák
BUG-99160 SLIDER-1259 A csúszka nem működik több otthonos környezetben
BUG-99239 ATLAS-2462 Az összes tábla Sqoop-importálása NPE-t eredményez a parancsban megadott tábla nélkül
BUG-99301 ATLAS-2530 Új sor egy hive_process és hive_column_lineage névattribútumának elején
BUG-99453 HIVE-19065 A metaadattár ügyfélkompatibilitási ellenőrzésének tartalmaznia kell a syncMetaStoreClient szolgáltatást
BUG-99521 n/a A ServerCache for HashJoin nem jön létre újra az iterátorok újbóli létrehozásakor
BUG-99590 PHOENIX-3518 Memóriavesztés a RenewLeaseTask-ban
BUG-99618 SPARK-23599, SPARK-23806 Frissítés Spark2 a 2.3.0+ verzióra (3/28)
BUG-99672 ATLAS-2524 Hive hook v2-értesítésekkel – az "alter view as" művelet helytelen kezelése
BUG-99809 HBA Standard kiadás-20375 GetCurrentUserCredentials használatának eltávolítása a hbase-spark modulban

Támogatási lehetőségek

Hibaazonosító Apache JIRA Összefoglalás
BUG-87343 HIVE-18031 Az Alter Database-művelet replikációjának támogatása.
BUG-91293 RANGER-2060 Knox a proxy nem knox-sso működik a rangerhez
BUG-93116 RANGER-1957 A Ranger Usersync nem szinkronizálja rendszeresen a felhasználókat vagy csoportokat, ha a növekményes szinkronizálás engedélyezve van.
BUG-93577 RANGER-1938 A Solr for Audit beállítása nem használja hatékonyan a DocValues-t
BUG-96082 RANGER-1982 Hibajavítás a Ranger Rendszergazda és Ranger elemzési metrikáihozKms
BUG-96479 HDFS-12781 A leállás után Datanode a Namenode Felhasználói felület Datanode lapon figyelmeztető üzenet jelenik meg.
BUG-97864 HIVE-18833 Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként"
BUG-98814 HDFS-13314 A NameNode-nak opcionálisan ki kell lépnie, ha FsImage sérülést észlel

Frissítés

Hibaazonosító Apache JIRA Összefoglalás
BUG-100134 SPARK-22919 A "Bump Apache httpclient verziók" visszaállítása
BUG-95823 n/a Knox:Frissítés Beanutils
BUG-96751 KNOX-1076 A nimbus-jose-jwt frissítése a 4.41.2-hez
BUG-97864 HIVE-18833 Az automatikus egyesítés meghiúsul, ha "beszúrás a könyvtárba orcfile-ként"
BUG-99056 HADOOP-13556 A Configuration.getPropsWithPrefix módosítása a getProps iterátor helyett való használatára
BUG-99378 ATLAS-2461, ATLAS-2554 Migrálási segédprogram atlaszadatok exportálásához a Titan graph DB-ben

Használhatóság

Hibaazonosító Apache JIRA Összefoglalás
BUG-100045 HIVE-19056 IllegalArgumentException a FixAcidKeyIndexben, ha az ORC-fájl 0 sorból áll
BUG-100139 KNOX-1243 A szolgáltatásban KnoxToken konfigurált szükséges DN-k normalizálása
BUG-100570 ATLAS-2557 Javítás a hadoop-csoportok ldap engedélyezéséhezlookup, ha az UGI-ból származó csoportok helytelenül vannak beállítva, vagy nem üresek
BUG-100646 ATLAS-2102 Az Atlas felhasználói felület fejlesztései: Keresési eredmények lap
BUG-100737 HIVE-19049 Az Alter table add columns for Druid támogatásának hozzáadása
BUG-100750 KNOX-1246 Frissítse a szolgáltatáskonfigurációt a Knox Ranger legújabb konfigurációinak támogatásához.
BUG-100965 ATLAS-2581 Regresszió v2 Hive-horogértesítésekkel: Tábla áthelyezése másik adatbázisba
BUG-84413 ATLAS-1964 Felhasználói felület: Oszlopok rendelésének támogatása a Keresési táblázatban
BUG-90570 HDFS-11384, HDFS-12347 Adjon hozzá egy lehetőséget a kiegyensúlyozóhoz a getBlocks-hívások eloszlatásához, hogy elkerülje a NameNode rpc-jét. CallQueueLength csúcs
BUG-90584 HBA Standard kiadás-19052 A FixedFileTrailernek fel kell ismernie a CellComparatorImpl osztályt az 1.x ágban
BUG-90979 KNOX-1224 Knox Proxy HADispatcher az Atlas ha-ban való támogatásához.
BUG-91293 RANGER-2060 Knox a knox-sso-val rendelkező proxy nem működik a rangerhez
BUG-92236 ATLAS-2281 Címke-/típusattribútum-szűrő lekérdezések mentése null/nem null szűrőkkel.
BUG-92238 ATLAS-2282 A mentett kedvenc keresés csak a létrehozás utáni frissítéskor jelenik meg, ha több mint 25 kedvenc keresés van.
BUG-92333 ATLAS-2286 Az előre elkészített "kafka_topic" típus nem deklarálhatja a "topic" attribútumot egyediként
BUG-92678 ATLAS-2276 Az hdfs_path típusú entitás elérési útja a hive-bridge kisbetűs értékére van beállítva.
BUG-93097 RANGER-1944 A Rendszergazda naplózás műveletszűrője nem működik
BUG-93135 HIVE-15874, HIVE-18189 A hive-lekérdezés helytelen eredményeket ad vissza, ha a hive.groupby.orderby.position.alias értéket true értékre állítja
BUG-93136 HIVE-18189 A pozíció szerinti sorrend nem működik, ha cbo le van tiltva
BUG-93387 HIVE-17600 Állítsa be az OrcFile "enforceBufferSize" felhasználóbeállítását.
BUG-93495 RANGER-1937 A Rangernek tagsync ENTITY_CREATE értesítést kell feldolgoznia az Atlas importálási funkció támogatásához
BUG-93512 PHOENIX-4466 java.lang.RuntimeException: 500-os válaszkód – Spark-feladat végrehajtása a Phoenix lekérdezési kiszolgálóhoz való csatlakozáshoz és az adatok betöltéséhez
BUG-93801 HBA Standard kiadás-19393 HTTP 413 FULL head, miközben ssl használatával fér hozzá a HBase felhasználói felületéhez.
BUG-93804 HIVE-17419 TÁBLÁZAT ELEMZÉSE... A COMPUTE STATISTICS FOR COLUMNS parancs a maszkolt táblák számítási statisztikáit jeleníti meg
BUG-93932 ATLAS-2320 "*" besorolás lekérdezéssel 500 belső kiszolgálói kivételt eredményez.
BUG-93933 ATLAS-2286 Az előre elkészített "kafka_topic" típus nem deklarálhatja a "topic" attribútumot egyediként
BUG-93938 ATLAS-2283, ATLAS-2295 A besorolások felhasználói felületének frissítései
BUG-93941 ATLAS-2296, ATLAS-2307 Alapszintű keresési fejlesztés az altípus-entitások és alosztályozási típusok opcionális kizárásához
BUG-93944 ATLAS-2318 Felhasználói felület: Ha kétszer kattint a gyermekcímkére, a szülőcímke ki van jelölve
BUG-93946 ATLAS-2319 Felhasználói felület: Ha töröl egy címkét, amely a címkelista 25- vagy annál 25-nél is több pozíciójában van a Lapos és a Fa szerkezetben, frissítenie kell a címkét a listáról.
BUG-93977 HIVE-16232 Az QuotedIdentifier oszlopainak statisztikáinak támogatása
BUG-94030 ATLAS-2332 A beágyazott gyűjtemény adattípusát tartalmazó attribútumokkal rendelkező típus létrehozása sikertelen
BUG-94099 ATLAS-2352 Az Atlas-kiszolgálónak konfigurálnia kell a Kerberos DelegationToken érvényességét
BUG-94280 HIVE-12785 Nézet egyesítő típussal és UDF-lel, hogy "leadja" a szerkezet hibás
BUG-94332 SQOOP-2930 A Sqoop-feladat exec nem bírálja felül a mentett feladat általános tulajdonságait
BUG-94428 n/a DataplaneProfiler-ügynök REST API-támogatása Knox
BUG-94514 ATLAS-2339 Felhasználói felület: Az "oszlopok" módosításai az Alapszintű keresési eredmény nézetben a DSL-t is érintik.
BUG-94515 ATLAS-2169 A törlési kérés sikertelen, ha a kemény törlés konfigurálva van
BUG-94518 ATLAS-2329 Atlas UI Több rámutatás jelenik meg, ha a felhasználó egy másik, helytelen címkére kattint
BUG-94519 ATLAS-2272 Mentse a húzott oszlopok állapotát a Save Search API használatával.
BUG-94627 HIVE-17731 külső felhasználók visszalépési compat lehetőségének hozzáadása a HIVE-11985-höz
BUG-94786 HIVE-6091 Üres pipeout fájlok jönnek létre a kapcsolat létrehozásához/bezárásához
BUG-94793 HIVE-14013 A táblázat leírása nem jeleníti meg megfelelően a Unicode-t
BUG-94900 OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802 A spark.yarn.jars beállítása a Spark 2.0 Oozie-val való javításához
BUG-94901 HBA Standard kiadás-19285 Táblázatonkénti késési hisztogramok hozzáadása
BUG-94908 ATLAS-1921 Felhasználói felület: Entitás- és tulajdonságattribútumok használatával végzett keresés: A felhasználói felület nem végez tartományellenőrzést, és lehetővé teszi az integrál- és lebegőpontos adattípusok határértéken kívüli értékeinek megadását.
BUG-95086 RANGER-1953 fejlesztés a felhasználói csoport laplistáin
BUG-95193 SLIDER-1252 A csúszkaügynök SSL-érvényesítési hibákkal meghiúsul a Python 2.7.5-58-nal
BUG-95314 YARN-7699 a queueUsagePercentage INF for getApp REST API-hívásként érkezik
BUG-95315 HBA Standard kiadás-13947, HBA Standard kiadás-14517, HBA Standard kiadás-17931 Rendszertáblák hozzárendelése a legmagasabb verziójú kiszolgálókhoz
BUG-95392 ATLAS-2421 Értesítési frissítések a V2 adatstruktúrák támogatásához
BUG-95476 RANGER-1966 A házirendmotor inicializálása bizonyos esetekben nem hoz létre környezetnövelőket
BUG-95512 HIVE-18467 teljes raktári memóriakép/terhelés támogatása + adatbázisesemények létrehozása/elvetése
BUG-95593 n/a Oozie DB utils kiterjesztése a létrehozás támogatásához Spark2sharelib
BUG-95595 HIVE-15563 A valós kivétel felfedéséhez hagyja figyelmen kívül az SQLOperation.runQuery érvénytelen műveletállapot-áttűnési kivételét.
BUG-95685 ATLAS-2422 Exportálás: Típusalapú exportálás támogatása
BUG-95798 PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040 Ne használjon útmutatókat a lekérdezések soros végrehajtásához
BUG-95969 HIVE-16828, HIVE-17063, HIVE-18390 A particionált nézet sikertelen: IndexOutOfBoundsException Index: 1, Méret: 1
BUG-96019 HIVE-18548 Importálás javítása log4j
BUG-96288 HBA Standard kiadás-14123, HBA Standard kiadás-14135, HBA Standard kiadás-17850 Backport HBase backup/restore 2.0
BUG-96313 KNOX-1119 Pac4J Az OAuth/OpenID-tagnak konfigurálhatónak kell lennie
BUG-96365 ATLAS-2442 Az entitáserőforrás írásvédett engedélyével rendelkező felhasználó nem tudja elvégezni az alapszintű keresést
BUG-96479 HDFS-12781 A leállás után Datanode a Namenode Felhasználói felület Datanode lapon figyelmeztető üzenet jelenik meg.
BUG-96502 RANGER-1990 Egyirányú SSL MySQL-támogatás hozzáadása a Ranger Rendszergazda
BUG-96718 ATLAS-2439 A Sqoop-horog frissítése v2-értesítések használatára
BUG-96748 HIVE-18587 DML-esemény beszúrása megkísérlheti a könyvtárak ellenőrzőösszegének kiszámítását
BUG-96821 HBA Standard kiadás-18212 Önálló módban a helyi fájlrendszer HBase-naplóival Figyelmeztető üzenet: Nem sikerült meghívni a "unbuffer" metódust az org.apache.hadoop.fs.FSDataInputStream osztályban
BUG-96847 HIVE-18754 A REPL STATUS-nek támogatnia kell a "with" záradékot
BUG-96873 ATLAS-2443 Kötelező entitásattribútumok rögzítése kimenő DELETE-üzenetekben
BUG-96880 SPARK-23230 Ha a hive.default.fileformat más típusú fájltípus, a tábla létrehozása textfile hibát okoz serde
BUG-96911 OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923 Spark-beállítások elemzésének javítása
BUG-97100 RANGER-1984 Előfordulhat, hogy a HBase naplórekordjai nem jelenítik meg a hozzáféréssel rendelkező oszlophoz társított összes címkét
BUG-97110 PHOENIX-3789 Régiók közötti indexkarbantartási hívások végrehajtása postBatchMutateIndispensably
BUG-97145 HIVE-12245, HIVE-17829 A HBase által támogatott táblák oszlop megjegyzéseinek támogatása
BUG-97409 HADOOP-15255 Kis- és nagybetűs átalakítás támogatása az LdapGroupsMapping csoportnevekhez
BUG-97535 HIVE-18710 inheritPerms kiterjesztése ACID-ra a Hive 2.X-ben
BUG-97742 OOZIE-1624 A JAR-ek kizárási sharelib mintája
BUG-97744 PHOENIX-3994 Az index RPC-prioritása továbbra is a vezérlő gyári tulajdonságától függ a hbase-site.xml
BUG-97787 HIVE-18460 A tömörítő nem ad át táblázattulajdonságokat az Orc-írónak
BUG-97788 HIVE-18613 A JsonSerDe kiterjesztése a BINÁRIS típus támogatásához
BUG-97899 HIVE-18808 A tömörítés robusztusabbá tétele a statisztikafrissítés meghiúsulása esetén
BUG-98038 HIVE-18788 Bemenetek törlése a JDBC PreparedStatementben
BUG-98383 HIVE-18907 Segédprogram létrehozása a HIVE-18817 savkulcs-indexével kapcsolatos probléma megoldásához
BUG-98388 RANGER-1828 Jó kódolási gyakorlat – további fejlécek hozzáadása a rangerben
BUG-98392 RANGER-2007 A ranger-tagsync Kerberos-jegye nem újul meg
BUG-98533 HBA Standard kiadás-19934, HBA Standard kiadás-20008 A HBase pillanatképének visszaállítása null mutató kivétel miatt meghiúsul
BUG-98552 HBA Standard kiadás-18083, HBA Standard kiadás-18084 Nagy/kis méretű fájlok tiszta szálszámának konfigurálása a HFileCleanerben
BUG-98705 KNOX-1230 Számos egyidejű kérés url-címkezelést Knox okoz
BUG-98711 n/a A NiFi-diszpécser nem használhat kétirányú SSL-t service.xml módosítások nélkül
BUG-98880 OOZIE-3199 Konfigurálható a rendszertulajdonság-korlátozás
BUG-98931 ATLAS-2491 A Hive hook frissítése az Atlas v2-értesítések használatára
BUG-98983 KNOX-1108 A NiFiHaDispatch nem működik át
BUG-99088 ATLAS-2511 Adja meg az adatbázis/táblák szelektív importálásának lehetőségeit a Hive-ből az Atlasba
BUG-99154 OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885 A Spark-lekérdezés a "java.io.FileNotFoundException: hive-site.xml (Engedély megtagadva)" kivétellel meghiúsult
BUG-99239 ATLAS-2462 Az összes tábla Sqoop-importálása NPE-t eredményez a parancsban megadott tábla nélkül
BUG-99636 KNOX-1238 Egyéni truststore-Gépház javítása átjáróhoz
BUG-99650 KNOX-1223 Zeppelin proxyja Knox nem a várt módon irányítja át az /api/ticket parancsot
BUG-99804 OOZIE-2858 A HiveMain, a ShellMain és a SparkMain nem írhatja felül a tulajdonságokat és a konfigurációs fájlokat helyileg
BUG-99805 OOZIE-2885 A Spark-műveletek futtatásához nem szükséges a Hive az osztályúton
BUG-99806 OOZIE-2845 Tükrözésalapú kód cseréje, amely beállítja a változót a HiveConf-ben
BUG-99807 OOZIE-2844 Az Oozie-műveletek stabilitásának növelése, ha log4ja .properties hiányzik vagy nem olvasható
RMP-9995 AMBARI-22222 A druid kapcsolója a /var/druid könyvtár használatára a /apps/druid helyett a helyi lemezen

Működésbeli változások

Apache-összetevő Apache JIRA Összefoglalás Részletek
Spark 2.3 N/A Az Apache Spark kibocsátási megjegyzéseiben dokumentált módosítások - Van egy "Elavult" dokumentum és egy "Viselkedésváltozás" útmutató, https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations

- Az SQL-részhez egy másik részletes migrálási útmutató is található (2.2-től 2.3-ra), https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23|
Spark HIVE-12505 A Spark-feladat sikeresen befejeződött, de a HDFS-lemezkvóta teljes hibája van Forgatókönyv: A beszúrás felülírásának futtatása, ha a parancsot futtató felhasználó Kuka mappájában kvóta van beállítva.

Előző viselkedés: A feladat akkor is sikeres, ha nem helyezi át az adatokat a Kukába. Az eredmény hibásan tartalmazhat a táblában korábban szereplő adatok egy részét.

Új viselkedés: Ha a Kuka mappába való áthelyezés meghiúsul, a fájlok véglegesen törlődnek.
Kafka 1.0 N/A Az Apache Spark kibocsátási megjegyzéseiben dokumentált módosítások https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/ Ranger Az IN Standard kiadás RT OVERWRITE-hez szükséges másik ranger hive-szabályzat Forgatókönyv: Az IN Standard kiadás RT OVERWRITE-hez szükséges másik ranger hive-szabályzat

Előző viselkedés: A Hive IN Standard kiadás RT OVERWRITE lekérdezések a szokásos módon sikeresek.

Új viselkedés: A Hive IN Standard kiadás RT OVERWRITE lekérdezések váratlanul meghiúsulnak a HDP-2.6.x verzióra való frissítés után a következő hibával:

Hiba az utasítás összeállítása közben: FAILED: HiveAccessControlException Engedély megtagadva: a felhasználói jdoe nem rendelkezik ÍRÁSI jogosultsággal a /tmp/*(state=42000,code=40000)

A HDP-2.6.0-s verziójától kezdve a Hive IN Standard kiadás RT OVERWRITE lekérdezésekhez Ranger URI-szabályzat szükséges az írási műveletek engedélyezéséhez, még akkor is, ha a felhasználó a HDFS-szabályzaton keresztüli írási jogosultsággal rendelkezik.

Megkerülő megoldás/Várt ügyfélművelet:

1. Hozzon létre egy új szabályzatot a Hive-adattárban.
2. Az adatbázist jelölő legördülő listában válassza az URI elemet.
3. Frissítse az elérési utat (példa: /tmp/*)
4. Adja hozzá a felhasználókat és a csoportot, és mentse őket.
5. Próbálkozzon újra a lekérdezés beszúrásával.
HDFS N/A A HDFS-nek több KMS Uris Előző viselkedés: dfs.encryption.key.provider.uri tulajdonság használatával konfigurálták a KMS-szolgáltató elérési útját.

Új viselkedés: a dfs.encryption.key.provider.uri mostantól elavult a hadoop.security.key.provider.path mellett a KMS-szolgáltató elérési útjának konfigurálásához.
Zeppelin ZEPPELIN-3271 Az ütemező letiltására szolgáló lehetőség Érintett összetevő: Zeppelin-Server

Előző viselkedés: A Zeppelin korábbi kiadásaiban nem volt lehetőség az ütemező letiltására.

Új viselkedés: Alapértelmezés szerint a felhasználók nem látják az ütemezőt, mivel alapértelmezés szerint le van tiltva.

Megkerülő megoldás/Várt ügyfélművelet: Ha engedélyezni szeretné az ütemezőt, az azeppelin.notebook.cron.enable értéket kell hozzáadnia igaz értékkel az Ambari zeppelin beállításaiban lévő egyéni Zeppelin-webhelyen.

Ismert problémák

  • HDInsight-integráció az ADLS Gen 2-vel Két probléma merült fel a HDInsight ESP-fürtökön az Azure Data Lake Storage Gen 2 felhasználói címtárakkal és engedélyekkel:

    1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Áthidaló megoldásként manuálisan hozza létre a címtárakat, és módosítsa a tulajdonosi viszonyt az adott felhasználó UPN-jével.

    2. A /hdp könyvtár engedélyei jelenleg nem 751-nek vannak beállítva. Ezt úgy kell beállítani, hogy

      chmod 751 /hdp 
      chmod –R 755 /hdp/apps
      
  • Spark 2.3

    • [SPARK-23523][SQL] Az OptimizeMetadataOnlyQuery szabály által okozott helytelen eredmény

    • [SPARK-23406] Hibák a stream-stream öncsatlakozásokban

    • A Spark-mintajegyzetfüzetek nem érhetők el, ha az Azure Data Lake Storage (Gen2) a fürt alapértelmezett tárolója.

  • Enterprise Security Package

    • A Spark Thrift Server nem fogadja el az ODBC-ügyfelek kapcsolatait. Megkerülő lépések:
      1. Várjon körülbelül 15 percet a fürt létrehozása után.
      2. Ellenőrizze a ranger felhasználói felületét, hogy létezik-e hivesampletable_policy.
      3. Indítsa újra a Spark szolgáltatást. Az STS-kapcsolatnak most már működnie kell.
  • Megkerülő megoldás a Ranger szolgáltatás ellenőrzési hibájára

    • RANGER-1607: Megkerülő megoldás a Ranger szolgáltatásellenőrzési hibájára, miközben a korábbi HDP-verziókból a HDP 2.6.2-re frissít.

      Feljegyzés

      Csak akkor, ha a Ranger ssl-kompatibilis.

    Ez a probléma akkor merül fel, ha a korábbi HDP-verziókból az Ambarin keresztül próbál meg a HDP-2.6.1-re frissíteni. Az Ambari curl-hívással végez szolgáltatásellenőrzést az Ambari Ranger szolgáltatásában. Ha az Ambari által használt JDK-verzió JDK-1.7, a curl-hívás az alábbi hibával meghiúsul:

    curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

    A hiba oka a Rangerben használt tomcat-verzió, a Tomcat-7.0.7*. A JDK-1.7 használata ütközik a Tomcat-7.0.7*-ban megadott alapértelmezett rejtjelekkel.

    A probléma kétféleképpen oldható meg:

    • Frissítse az Ambariban használt JDK-t JDK-1.7-ről JDK-1.8-ra (lásd az Ambari referencia-útmutató JDK-verziójának módosítása című szakaszt).

    • Ha továbbra is támogatni szeretné a JDK-1.7-környezetet:

      1. Adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfiguráció ranger-admin-site szakaszában az alábbi értékkel:

        SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA

      2. Ha a környezete a Ranger-KMS-hez van konfigurálva, adja hozzá a ranger.tomcat.ciphers tulajdonságot az Ambari Ranger-konfigurációban lévő távolságmérő-kms-hely szakaszban az alábbi értékkel:

        SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA

    Feljegyzés

    A feljegyzett értékek működő példák, és lehet, hogy nem a környezetére utalnak. Győződjön meg arról, hogy a tulajdonságok beállításának módja megegyezik a környezet konfigurálásának módjával.

  • RangerUI: A szabályzat űrlapon megadott szabályzatfeltétel szövegének feloldása

    Érintett összetevő: Ranger

    A probléma leírása

    Ha egy felhasználó egyéni szabályzatfeltételekkel szeretne szabályzatot létrehozni, és a kifejezés vagy szöveg speciális karaktereket tartalmaz, akkor a szabályzatkényszerítés nem fog működni. A speciális karakterek ASCII-vé alakulnak, mielőtt a szabályzatot az adatbázisba mentené.

    Speciális karakterek: > <> ' '

    A tags.attributes[type]='abc' feltétel például a szabályzat mentése után a következőre lesz konvertálva.

    tags.attds[' dsds'] =' cssdfs'

    Ezekkel a karakterekkel láthatja a házirend feltételét, ha szerkesztési módban nyitja meg a szabályzatot.

    Áthidaló megoldás

    • 1. lehetőség: Szabályzat létrehozása/frissítése a Ranger REST API-n keresztül

      REST URL-cím: http://< host>:6080/service/plugins/policies

      Szabályzat létrehozása szabályzatfeltételekkel:

      Az alábbi példa címkékkel rendelkező szabályzatot hoz létre "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz az astags.attr[type]=='abc' szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással, mind.

      Példa:

        curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
      

      Meglévő szabályzat frissítése szabályzatfeltételekkel:

      Az alábbi példa a szabályzatot címkékkel frissíti "tags-test" néven, és hozzárendeli azt a "nyilvános" csoporthoz astags.attr['type']=='abc" szabályzattal az összes hive-összetevő engedélyének kiválasztásával, például kiválasztással, frissítéssel, létrehozással, elvetéssel, módosítással, indexeléssel, zárolással.

      REST URL-cím: http://< host-name>:6080/service/plugins/policies/<policy-id>

      Példa:

        curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
      
    • 2. lehetőség: JavaScript-módosítások alkalmazása

      A JS-fájl frissítésének lépései:

      1. További információ PermissionList.js fájlról a /usr/hdp/current/ranger-admin területen

      2. Keresse meg a renderPolicyCondtion függvény definícióját (sorszám: 404).

      3. Távolítsa el a következő sort a függvényből, azaz a megjelenítési függvény alatt (sorszám: 434)

        val = _.escape(val);//Line No:460

        A fenti sor eltávolítása után a Ranger felhasználói felülete lehetővé teszi, hogy olyan szabályzatokat hozzon létre, amelyek speciális karaktereket tartalmazhatnak, és a szabályzat kiértékelése sikeres lesz ugyanahhoz a szabályzathoz.

HDInsight-integráció az ADLS Gen 2-vel: Felhasználói könyvtárakkal és engedélyekkel kapcsolatos probléma az ESP-fürtökkel 1. A felhasználók otthoni címtárai nem jönnek létre az 1. fő csomóponton. Megkerülő megoldás, ha manuálisan hozza létre ezeket, és módosítja a tulajdonosi viszonyt az adott felhasználó UPN-jének. 2. A /hdp-alapú engedélyek jelenleg nem 751-nek vannak beállítva. Ezt a. chmod 751 /hdp b. chmod –R 755 /hdp/apps értékre kell állítani

Elavulás

  • OMS-portál: Eltávolítottuk a HDInsight erőforráslapjáról az OMS-portálra mutató hivatkozást. Az Azure Monitor naplói kezdetben az OMS-portál nevű saját portált használták a konfiguráció kezeléséhez és az összegyűjtött adatok elemzéséhez. A portál összes funkciója át lett helyezve az Azure Portalra, ahol tovább fejlesztik. A HDInsight elavulttá tette az OMS-portál támogatását. Az ügyfelek a HDInsight Azure Monitor-naplók integrációját fogják használni az Azure Portalon.

  • Spark 2.3:Spark Release 2.3.0 elavulások

Frissítés

Ezek a funkciók a HDInsight 3.6-ban érhetők el. A Spark, a Kafka és az R Server (Machine Tanulás Services) legújabb verziójának beszerzéséhez válassza a Spark, a Kafka és az ML Services verzióját HDInsight 3.6-fürt létrehozásakor. Ha támogatást szeretne kapni az ADLS-hez, választhatja az ADLS-tárolótípust. A meglévő fürtök nem frissülnek automatikusan ezekre a verziókra.

A 2018 júniusa után létrehozott összes új fürt automatikusan át fog jutni az 1000-nél több hibajavításon az összes nyílt forráskódú projektben. Kövesse ezt az útmutatót az ajánlott eljárásokért az újabb HDInsight-verzióra való frissítéssel kapcsolatban.