Databricks Runtime karbantartási frissítések

  • Cikk

Ez a cikk a Támogatott Databricks Runtime-verziók karbantartási frissítéseit sorolja fel. Ha karbantartási frissítést szeretne hozzáadni egy meglévő fürthöz, indítsa újra a fürtöt. A nem támogatott Databricks Runtime-verziók karbantartási frissítéseit a Databricks Runtime karbantartási frissítései (archiválva) című témakörben találja.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiókja a kezdeti kiadási dátum után néhány napig nem frissül.

Databricks Runtime-kiadások

Karbantartási frissítések kiadás szerint:

Databricks Runtime 15.0

Lásd: Databricks Runtime 15.0.

  • 2024. április 3.
    • (Viselkedésváltozás) A számítási típusok konzisztens viselkedésének biztosítása érdekében a megosztott fürtökön lévő PySpark UDF-ek mostantól megfelelnek az elkülönítés nélküli és a hozzárendelt fürtök UDF-jeinek viselkedésének. Ez a frissítés a következő módosításokat tartalmazza, amelyek megszakíthatják a meglévő kódot:
      • A visszatérési típussal rendelkező string UDF-ek többé nem konvertálják implicit módon a nem-értékeketstring értékekké string . Korábban a visszatérési str típusú UDF-ek a visszaadott érték tényleges adattípusától függetlenül függvénysel str() burkolták a visszatérési értéket.
      • A visszatérési típusokkal rendelkező timestamp UDF-ek többé nem alkalmazzák implicit módon a konvertálást timestamp a .timezone
      • A Spark-fürtkonfigurációk már nem vonatkoznak spark.databricks.sql.externalUDF.* a megosztott fürtök PySpark UDF-jeire.
      • A Spark-fürt konfigurációja spark.databricks.safespark.externalUDF.plan.limit már nem érinti a PySpark UDF-eket, így a PySpark UDF-ekhez lekérdezésenként 5UDF nyilvános előzetes verziós korlátozását szünteti meg.
      • A Spark-fürtkonfiguráció spark.databricks.safespark.sandbox.size.default.mib már nem vonatkozik a megosztott fürtöken lévő PySpark UDF-ekre. Ehelyett a rendszer rendelkezésre álló memóriát használ. A PySpark UDF-k memóriájának korlátozásához használja spark.databricks.pyspark.udf.isolation.memoryLimit a minimális értéket 100m.
    • Az TimestampNTZ adattípus mostantól folyékony fürtözést tartalmazó fürtözési oszlopként is támogatott. Lásd: Folyékony fürtözés használata Delta-táblákhoz.
    • [SPARK-47218][SQL] XML: Megjegyzésként megadott sorcímkék figyelmen kívül hagyása az XML-jogkivonat-jelölőben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47033][SQL] Az EXECUTE IMMEDIATE USING javítás nem ismeri fel a munkamenet-változók nevét
    • [SPARK-47368][SQL] InferTimestampNTZ konfigurációs ellenőrzés eltávolítása a ParquetRowConverterben
    • [SPARK-47561][SQL] Az elemzői szabályrendeletekkel kapcsolatos problémák elhárítása az aliassal kapcsolatban
    • [SPARK-47638][PS] [CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Állapotalapú operátor változásának ellenőrzése a streameléshez
    • [SPARK-47569][SQL] Tiltsa le a variáns összehasonlítását.
    • [SPARK-47241][SQL] Az ExtractGenerator szabályrendeleti problémáinak megoldása
    • [SPARK-47218] [SQL] XML: A SchemaOfXml nem működik DROPMALFORMED módban
    • [SPARK-47300][SQL] quoteIfNeeded idézőjel azonosítója számjegyekkel kezdődik
    • [SPARK-47009][SQL] [Rendezés] Tábla létrehozása támogatásának engedélyezése rendezéshez
    • [SPARK-47322][PYTHON] [CONNECT] Az oszlopnevek duplikálásának kezelése konzisztenssé tétele withColumnsRenamedwithColumnRenamed
    • [SPARK-47544][PYTHON] A SparkSession Builder metódus nem kompatibilis a Visual Studio Code Intellisense használatával
    • [SPARK-47511][SQL] Canonicalize with expressions by re-assigning azonosítók
    • [SPARK-47385] Javítsa ki a kódolókat option bemenetekkel.
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • [SPARK-47305][SQL] A PruneFilters javítása a LocalRelation isStreaming jelzőjének helyes címkézéséhez, ha a csomag köteget és streamet is tartalmaz
    • [SPARK-47380][CONNECT] Győződjön meg arról, hogy a kiszolgáló oldalán a SparkSession ugyanaz
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.3

Lásd: Databricks Runtime 14.3 LTS.

  • 2024. április 6.
    • (Viselkedésváltozás) A számítási típusok konzisztens viselkedésének biztosítása érdekében a megosztott fürtökön lévő PySpark UDF-ek mostantól megfelelnek az elkülönítés nélküli és a hozzárendelt fürtök UDF-jeinek viselkedésének. Ez a frissítés a következő módosításokat tartalmazza, amelyek megszakíthatják a meglévő kódot:
      • A visszatérési típussal rendelkező string UDF-ek többé nem konvertálják implicit módon a nem-értékeketstring értékekké string . Korábban a visszatérési str típusú UDF-ek a visszaadott érték tényleges adattípusától függetlenül függvénysel str() burkolták a visszatérési értéket.
      • A visszatérési típusokkal rendelkező timestamp UDF-ek többé nem alkalmazzák implicit módon a konvertálást timestamp a .timezone
      • A Spark-fürtkonfigurációk már nem vonatkoznak spark.databricks.sql.externalUDF.* a megosztott fürtök PySpark UDF-jeire.
      • A Spark-fürt konfigurációja spark.databricks.safespark.externalUDF.plan.limit már nem érinti a PySpark UDF-eket, így a PySpark UDF-ekhez lekérdezésenként 5UDF nyilvános előzetes verziós korlátozását szünteti meg.
      • A Spark-fürtkonfiguráció spark.databricks.safespark.sandbox.size.default.mib már nem vonatkozik a megosztott fürtöken lévő PySpark UDF-ekre. Ehelyett a rendszer rendelkezésre álló memóriát használ. A PySpark UDF-k memóriájának korlátozásához használja spark.databricks.pyspark.udf.isolation.memoryLimit a minimális értéket 100m.
    • Az TimestampNTZ adattípus mostantól folyékony fürtözést tartalmazó fürtözési oszlopként is támogatott. Lásd: Folyékony fürtözés használata Delta-táblákhoz.
    • [SPARK-47511][SQL] Canonicalize with expressions by re-assigning azonosítók
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47638][PS] [CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 3.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • [SPARK-46954] XML: Wrap InputStreamReader with BufferedReader.
    • [SPARK-46655] A lekérdezési környezet metódusokban DataFrame való elfogásának kihagyása.
    • [SPARK-44815] Gyorsítótárazhatja a df.schema parancsot az extra RPC elkerülése érdekében.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46736] üres üzenetmező megőrzése a Protobuf-összekötőben.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46414] A prependBaseUri használatával renderelje a javascript-importálást.
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46954] XML: Sémaindex-keresés optimalizálása.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46644] Módosítsa a hozzáadást és az egyesítést az SQLMetric-ben az isZero használatához.
    • [SPARK-46731] Állapottároló szolgáltatói példányának kezelése állapotadatforrás szerint – olvasó.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46227] Visszalépés a 14.3-ra.
    • [SPARK-46822] Tartsa tiszteletben a spark.sql.legacy.charVarcharAsString parancsot, amikor jdbc-típust ad a jdbc katalizátortípusra.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.2

Lásd: Databricks Runtime 14.2.

  • 2024. április 9.
    • Egyik sem
    • [SPARK-47309][SQL] [XML] Sémakövető egységtesztek hozzáadása
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47638][PS] [CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatott az adatcsatorna -lekérdezések módosítása (CDF), és ha egy CDF-lekérdezést egy Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet ad vissza. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseketAPPLY CHANGES a Databricks Runtime 14.1-ben és újabb verzióiban nem táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46822] Tartsa tiszteletben a spark.sql.legacy.charVarcharAsString parancsot, amikor jdbc-típust ad a jdbc katalizátortípusra.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-46644] Módosítsa a hozzáadást és az egyesítést az SQLMetric-ben az isZero használatához.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46382] XML: A dokumentum frissítése a következőhöz ignoreSurroundingSpaces: .
    • [SPARK-46382] XML: Elemek közötti értékek rögzítése.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Visszaállítás [SPARK-46769] Az időbélyeggel kapcsolatos sémakövetkeztetés finomítása.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46382] XML: Az alapértelmezett ignoreSurroundingSpaces értéke igaz.
    • [SPARK-46633] Az Avro-olvasó javítása a nulla hosszúságú blokkok kezeléséhez.
    • [SPARK-45964] Távolítsa el a privát SQL-tartozékot XML- és JSON-csomagban a katalizátorcsomag alatt.
    • [SPARK-46581] Update comment on isZero in AccumulatorV2.
    • [SPARK-45912] Az XSDToSchema API továbbfejlesztése: Váltás a HDFS API-ra a felhőalapú tárolás akadálymentességéhez.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46660] A ReattachExecute kérések frissítik a SessionHolder élőképességét.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46769] Pontosítsa az időbélyeggel kapcsolatos sémakövetkeztetést.
    • [SPARK-46684] Az argumentumok megfelelő átadásához javítsa ki a CoGroup.applyInPandas/Arrow elemet.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-45962] Távolítsa el treatEmptyValuesAsNulls és használja nullValue a beállítást az XML-ben.
    • [SPARK-46541] Javítsa ki a nem egyértelmű oszlophivatkozást az önillesztés során.
    • [SPARK-46599] XML: Kompatibilitás-ellenőrzéshez használja a TypeCoercion.findTightestCommonType fájlt.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46261]DataFrame.withColumnsRenamed meg kell őriznie a diktálás/térképrendezést.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46484] A resolveOperators segédfüggvények megtartják a terv azonosítóját.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46446] Tiltsa le az al lekérdezéseket a korrelált KI Standard kiadás T beállítással a helyességi hiba kijavításához.
    • [SPARK-46152] XML: DecimalType-támogatás hozzáadása AZ XML-séma következtetéséhez.
    • [SPARK-46602]allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-45814] A memóriaszivárgás elkerülése érdekében zárja be az ArrowConverters.createEmptyArrowBatch hívást.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46153] XML: TimestampNTZType támogatás hozzáadása.
    • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
    • [SPARK-46260]DataFrame.withColumnsRenamed tiszteletben kell tartania a diktálás sorrendjét.
    • [SPARK-46036] Hibaosztály eltávolítása raise_error függvényből.
    • [SPARK-46294] Az init és a nulla érték szemantikájának megtisztítása.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: XSD nagy egész szám konvertálásának javítása.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46241] Javítsa ki a hibakezelési rutint, hogy az ne kerüljön végtelen rekurzióba.
    • [SPARK-46355] XML: Zárja be az InputStreamReadert az olvasás befejezésekor.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46265] Az AddArtifact RPC-ben található állítások miatt a kapcsolódási ügyfél nem kompatibilis a régebbi fürtökkel.
    • [SPARK-46308] Tiltsa meg a rekurzív hibakezelést.
    • [SPARK-46337] Őrizze meg CTESubstitution a PLAN_ID_TAG.
  • 2023. december 14.
    • [SPARK-46141] Módosítsa a spark.sql.legacy.ctePrecedencePolicy alapértelmezett értékét JAVÍTVA értékre.
    • [SPARK-45730] A ReloadingX509TrustManagerSuite kevésbé pelyhessé tétele.
    • [SPARK-45852] A naplózás során a rekurziós hiba kezelése kecsesen történik.
    • [SPARK-45808] Az SQL-kivételek jobb hibakezelése.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • "[SPARK-45649] A felkészülési keretrendszer egységesítése a következőhözOffsetWindowFunctionFrame: ".
    • [SPARK-45733] Több újrapróbálkozési szabályzat támogatása.
    • [SPARK-45509] A Spark Csatlakozás df oszlophivatkozási viselkedésének javítása.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • [SPARK-45905] A tizedesjegyek közötti legkevésbé gyakori típusnak először meg kell őriznie az integrál számjegyeket.
    • [SPARK-45136] A ClosureCleaner továbbfejlesztése Ammonite támogatással.
    • [SPARK-46255] Összetett típus támogatása –> sztringátalakítás.
    • [SPARK-45859] Az ml.functionsben lévő UDF-objektumok lustavá tétele.
    • [SPARK-46028] Fogadja el Column.__getitem__ a bemeneti oszlopot.
    • [SPARK-45798] Kiszolgálóoldali munkamenet-azonosító érvényesítése.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45844] Kis- és nagybetűk érzéketlensége az XML-hez.
    • [SPARK-45770] Bevezetés a következőhöz DataFrameDropColumnsDataframe.drop: .
    • [SPARK-44790] XML: to_xml python, connect és SQL implementációja és kötései.
    • [SPARK-45851] Több szabályzat támogatása a Scala-ügyfélben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45852] A Spark-hoz készült Python-ügyfél Csatlakozás mostantól rekurziós hibákat észlel a szövegkonvertálás során.
    • [SPARK-45808] Továbbfejlesztett hibakezelés SQL-kivételek esetén.
    • [SPARK-45920]GROUP BY A sorszám nem helyettesíti a sorszámot.
    • Visszaállítás [SPARK-45649].
    • [SPARK-45733] Több újrapróbálkozési szabályzat támogatása is hozzáadva.
    • [SPARK-45509] Kijavítottuk df a Spark Csatlakozás oszlophivatkozási viselkedését.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése a AggregateFunctions fájlban CollectMetrics.
    • [SPARK-45905] A decimális típusok között a legkevésbé gyakori típus mostantól megőrzi az integrál számjegyeket.
    • [SPARK-45136] Továbbfejlesztése ClosureCleaner az Ammonite támogatásával.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-46028]Column.__getitem__ bemeneti oszlopokat fogad el.
    • [SPARK-45798] Kiszolgálóoldali munkamenet-azonosító érvényesítése.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45844] Kis- és nagybetűk érzéketlensége az XML-hez.
    • [SPARK-45770] Rögzített oszlopfelbontás a következővel DataFrameDropColumnsDataframe.drop: .
    • [SPARK-44790] Hozzáadott to_xml implementációk és kötések a Pythonhoz, a Spark Csatlakozás és az SQL-hez.
    • [SPARK-45851] A Scala-ügyfél több házirendjének támogatása is hozzáadva.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.1

Lásd: Databricks Runtime 14.1.

  • 2024. április 9.
    • Egyik sem
    • [SPARK-47638][PS] [CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • [SPARK-47309][SQL] [XML] Sémakövető egységtesztek hozzáadása
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatott az adatcsatorna -lekérdezések módosítása (CDF), és ha egy CDF-lekérdezést egy Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet ad vissza. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseketAPPLY CHANGES a Databricks Runtime 14.1-ben és újabb verzióiban nem táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-45582] Győződjön meg arról, hogy a tárpéldány nem használható a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46822] Tartsa tiszteletben a spark.sql.legacy.charVarcharAsString parancsot, amikor jdbc-típust ad a jdbc katalizátortípusra.
    • [SPARK-45957] Ne generáljon végrehajtási tervet nem végrehajtható parancsokhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46684] Az argumentumok megfelelő átadásához javítsa ki a CoGroup.applyInPandas/Arrow elemet.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • [SPARK-45498] Követés: Figyelmen kívül hagyhatja a tevékenységek befejezését a régi fázisbeli kísérletekből.
    • [SPARK-46382] XML: A dokumentum frissítése a következőhöz ignoreSurroundingSpaces: .
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46382] XML: Az alapértelmezett ignoreSurroundingSpaces értéke igaz.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46633] Az Avro-olvasó javítása a nulla hosszúságú blokkok kezeléséhez.
    • [SPARK-45912] Az XSDToSchema API továbbfejlesztése: Váltás a HDFS API-ra a felhőalapú tárolás akadálymentességéhez.
    • [SPARK-46599] XML: Kompatibilitás-ellenőrzéshez használja a TypeCoercion.findTightestCommonType fájlt.
    • [SPARK-46382] XML: Elemek közötti értékek rögzítése.
    • [SPARK-46769] Pontosítsa az időbélyeggel kapcsolatos sémakövetkeztetést.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-45964] Távolítsa el a privát SQL-tartozékot XML- és JSON-csomagban a katalizátorcsomag alatt.
    • Visszaállítás [SPARK-46769] Az időbélyeggel kapcsolatos sémakövetkeztetés finomítása.
    • [SPARK-45962] Távolítsa el treatEmptyValuesAsNulls és használja nullValue a beállítást az XML-ben.
    • [SPARK-46541] Javítsa ki a nem egyértelmű oszlophivatkozást az önillesztés során.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46484] A resolveOperators segédfüggvények megtartják a terv azonosítóját.
    • [SPARK-46153] XML: TimestampNTZType támogatás hozzáadása.
    • [SPARK-46152] XML: DecimalType-támogatás hozzáadása AZ XML-séma következtetéséhez.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46337] Őrizze meg CTESubstitution a PLAN_ID_TAG.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
    • [SPARK-46587] XML: XSD nagy egész szám konvertálásának javítása.
    • [SPARK-45814] A memóriaszivárgás elkerülése érdekében zárja be az ArrowConverters.createEmptyArrowBatch hívást.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46602]allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46355] XML: Zárja be az InputStreamReadert az olvasás befejezésekor.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46261]DataFrame.withColumnsRenamed meg kell őriznie a diktálás/térképrendezést.
    • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46260]DataFrame.withColumnsRenamed tiszteletben kell tartania a diktálás sorrendjét.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-45509] A Spark Csatlakozás df oszlophivatkozási viselkedésének javítása.
    • [SPARK-45844] Kis- és nagybetűk érzéketlensége az XML-hez.
    • [SPARK-46141] Módosítsa a spark.sql.legacy.ctePrecedencePolicy alapértelmezett értékét JAVÍTVA értékre.
    • [SPARK-46028] Fogadja el Column.__getitem__ a bemeneti oszlopot.
    • [SPARK-46255] Összetett típus támogatása –> sztringátalakítás.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-45316] Adjon hozzá új paramétereket ignoreCorruptFiles/ignoreMissingFiles a és NewHadoopRDDa .HadoopRDD
    • [SPARK-45852] A naplózás során a rekurziós hiba kezelése kecsesen történik.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • Ha CSV-adatokat tölt be automatikus betöltő vagy streamelő táblák használatával, a nagy CSV-fájlok mostantól feloszthatók, és párhuzamosan is feldolgozhatók a sémakövetkeztetés és az adatfeldolgozás során.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45620] A Python UDF-hez kapcsolódó API-k mostantól camelCaset használnak.
    • [SPARK-44790] Hozzáadott to_xml implementációk és kötések a Pythonhoz, a Spark Csatlakozás és az SQL-hez.
    • [SPARK-45770] Rögzített oszlopfelbontás a következővel DataFrameDropColumnsDataframe.drop: .
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-44784] SBT-teszt hermetikus lett.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 10.
    • [SPARK-45545]SparkTransportConfSSLOptions a létrehozáskor örökli.
    • [SPARK-45250] A dinamikus lefoglalás kikapcsolásakor a yarnfürtök szakaszszintű tevékenységerőforrás-profiljának támogatása lett hozzáadva.
    • [SPARK-44753] Xml DataFrame-olvasó és -író hozzáadva a PySpark SQL-hez.
    • [SPARK-45396] Hozzáadtunk egy doc-bejegyzést a modulhoz PySpark.ml.connect .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] SslFactory hozzáadva.
    • [SPARK-45577] Kijavítva UserDefinedPythonTableFunctionAnalyzeRunner , hogy elnevezett argumentumokból származó összecsukott értékeket adjon át.
    • [SPARK-45562] Kötelezővé tette a "rowTag" beállítást.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-43380] Kijavítottuk az Avro olvasási lassulását.
    • [SPARK-45430]FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45386] Kijavítottunk egy hibát, amely StorageLevel.NONE miatt a 0 helytelenül lett visszaadva.
    • [SPARK-44219] Szabályonkénti ellenőrzés hozzáadva az optimalizálási újraírások ellenőrzéséhez.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 27.
    • [SPARK-44823] Frissítve black a 23.9.1-re, és kijavítottuk a hibás ellenőrzést.
    • [SPARK-45339] A PySpark most naplózza az újrapróbálkozások hibáit.
    • Visszaállítás [SPARK-42946] Változóhelyettesítések alá ágyazott bizalmas adatok újrakonvertálása.
    • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
    • [SPARK-45360] A Spark-munkamenet-szerkesztő támogatja az inicializálást a következőből SPARK_REMOTE: .
    • [SPARK-45279] Minden logikai tervhez csatolva plan_id .
    • [SPARK-45425] A következőhöz ShortType van megfeleltetve TINYINTMsSqlServerDialect: .
    • [SPARK-45419] A nagyobb verziók fájlverzió-leképezési bejegyzésének eltávolítása az sst fájlazonosítók újbóli újrafelhasználásának rocksdb elkerülése érdekében.
    • [SPARK-45488] Hozzáadott érték támogatása az elemben rowTag .
    • [SPARK-42205] Az eseménynaplókban Task/Stage eltávolítottuk a Accumulables kezdő események JsonProtocol naplózását.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • [SPARK-45256]DurationWriter sikertelen, ha a kezdeti kapacitásnál több értéket ír.
    • [SPARK-43380] Kijavítottuk Avro az adattípus-átalakítással kapcsolatos problémákat anélkül, hogy teljesítményregressziót eredményezett.
    • [SPARK-45182] A visszagördülő shuffle leképezési szakasz támogatása, így az összes szakaszfeladat újrapróbálható, ha a szakasz kimenete határozatlan.
    • [SPARK-45399] Xml-beállítások hozzáadása a következővel newOption: .
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 13.3 LTS

Lásd: Databricks Runtime 13.3 LTS.

  • 2024. április 9.
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatott az adatcsatorna -lekérdezések módosítása (CDF), és ha egy CDF-lekérdezést egy Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet ad vissza. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseketAPPLY CHANGES a Databricks Runtime 14.1-ben és újabb verzióiban nem táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-45582] Győződjön meg arról, hogy a tárpéldány nem használható a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46383] Az illesztőprogram halomhasználatának csökkentése a TaskInfo.accumulables() élettartamának csökkentésével.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46602]allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • [SPARK-44582] Ha megtisztították, hagyja ki az iterátort az SMJ-n.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • A Spark-snowflake összekötő 2.12.0-ra frissül.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 10.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • Módosított adatcsatorna-lekérdezések a Unity Catalog streamelési tábláiban és materializált nézeteiben a hibaüzenetek megjelenítéséhez.
    • [SPARK-45545]SparkTransportConfSSLOptions a létrehozáskor örökli.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-44219] További szabályonkénti érvényesítések hozzáadva az optimalizálási újraírásokhoz.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 23.
    • [SPARK-45256] Kijavítottunk egy hibát, amely DurationWriter miatt nem sikerült több értéket írni, mint a kezdeti kapacitás.
    • [SPARK-45419] A nagyobb verziók fájlverzió-megfeleltetési bejegyzéseinek eltávolításával ne használja rocksdb sst újra a fájlokat egy másik rocksdb példányban.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • A array_insert függvény 1-alapú a pozitív és negatív indexekhez, míg korábban a negatív indexek esetében 0-alapú volt. Most egy új elemet szúr be a -1 index bemeneti tömbjeinek végére. Az előző viselkedés visszaállításához állítsa be a következőt spark.sql.legacy.negativeIndexInArrayInserttrue: .
    • Kijavítottunk egy hibát, amely miatt nem figyelmen kívül hagyta a sérült fájlokat, amikor ignoreCorruptFiles engedélyezve van a CSV-séma automatikus betöltővel való következtetése során.
    • Visszaállítás [SPARK-42946].
    • [SPARK-42205] Frissítette a JSON protokollt, hogy eltávolítsa az Accumulables naplózását egy tevékenységben vagy szakaszindítási eseményben.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45316] Adjon hozzá új paramétereket ignoreCorruptFiles , és ignoreMissingFiles adja hozzá HadoopRDD és NewHadoopRDD.
    • [SPARK-44740] Kijavítottuk az összetevők metaadat-értékeit.
    • [SPARK-45360] Inicializált Spark-munkamenet-szerkesztő konfigurációja innen SPARK_REMOTE: .
    • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
    • [SPARK-45346] A parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőket a séma egyesítésekor.
    • [SPARK-44658]ShuffleStatus.getMapStatus most a következő helyett NoneSome(null)ad vissza.
    • [SPARK-44840] Negatív array_insert() indexekhez készült 1-alapú.
  • 2023. szeptember 14.
    • [SPARK-44873] A Hive-ügyfél beágyazott oszlopainak támogatása alter view hozzáadva.
    • [SPARK-44878] Kikapcsolta az íráskezelő szigorú RocksDB korlátját, hogy elkerülje a beszúrási kivételt a gyorsítótárban.
  • 2023. augusztus 30.
    • A dbutils cp parancs (dbutils.fs.cp) a gyorsabb másoláshoz lett optimalizálva. Ezzel a fejlesztéssel a másolási műveletek akár 100-zal kevesebb időt is igénybe vehetnek a fájl méretétől függően. A funkció a Databricksben elérhető összes felhőben és fájlrendszerben elérhető, beleértve a Unity Catalog-köteteket és a DBFS-csatlakoztatásokat is.
    • [SPARK-44455] Idézőjel-azonosítók az eredményben SHOW CREATE TABLE háttérjelekkel.
    • [SPARK-44763] Kijavítottunk egy hibát, amely egy karakterláncot dupla értékként mutatott bináris aritmetikai intervallummal.
    • [SPARK-44871] Rögzített percentile_disc viselkedés.
    • [SPARK-44714] Az LCA-feloldás egyszerű korlátozása a lekérdezésekkel kapcsolatban.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44505] Felülbírálás hozzáadva az oszlopos támogatáshoz a DSv2-keresésben.
    • [SPARK-44479] Kijavítottuk a protobuf átalakítást egy üres szerkezettípusból.
    • [SPARK-44718] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • [SPARK-42941] A Python támogatása StreamingQueryListener hozzáadva.
    • [SPARK-44558] Exportálja a PySpark Spark Csatlakozás naplószintjét.
    • [SPARK-44464] Olyan kimeneti sorokhoz lett javítva applyInPandasWithStatePythonRunner , amelyek első oszlopértéke Null.
    • [SPARK-44643] Ki lett javítva Row.__repr__ , ha a mező üres sor.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 12.2 LTS

Lásd: Databricks Runtime 12.2 LTS.

  • 2024. április 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-43067] Javítsa ki a hibaosztály erőforrásfájljának helyét a Kafka-összekötőben.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46602]allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-42852] Állítsa vissza a NamedLambdaVariable kapcsolódó módosításokat a EquivalentExpressionsből.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-44582] Ha megtisztították, hagyja ki az iterátort az SMJ-n.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-42205] Eltávolítottuk a naplózási elemeket, Stage és Task eseményeket indítunk el.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • [SPARK-45545]SparkTransportConfSSLOptions a létrehozáskor örökli.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-42553] Győződjön meg róla, hogy intervallum után legalább egy időegységet kell használnia.
    • [SPARK-45346] A parquet-séma következtetése tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt a séma egyesítésekor.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45084]StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
  • 2023. szeptember 12.
    • [SPARK-44873] A Hive-ügyfél beágyazott oszlopainak támogatása alter view hozzáadva.
    • [SPARK-44718] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • [SPARK-43799] Leíró bináris beállítás hozzáadva a PySpark Protobuf API-hoz.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Rögzített percentile_disc viselkedés.
    • [SPARK-44714] Enyhített az LCA-feloldás korlátozása a lekérdezésekkel kapcsolatban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 29.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199]CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • [SPARK-44337] Kijavítottunk egy hibát, amely miatt bármely mező Any.getDefaultInstance elemzési hibákat okozott.
    • [SPARK-44136] Kijavítottunk egy hibát, amely StateManager miatt a rendszer a végrehajtóban materializálta a fájlt az illesztő FlatMapGroupsWithStateExechelyett.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779]ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count hibateszt decorrelateInnerQuery kikapcsolva.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43413][11.3-13.0] Kijavítottuk IN a subquery ListQuery nullability-t.
    • [SPARK-43522] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-43541] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43123] A belső mező metaadatai már nem szivárognak ki a katalógusokbe.
    • [SPARK-43340] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.
    • [SPARK-42444]DataFrame.drop mostantól megfelelően kezeli a duplikált oszlopokat.
    • [SPARK-42937]PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-43286] Frissített aes_encrypt CBC mód véletlenszerű IV-k létrehozásához.
    • [SPARK-43378] A streamobjektumok megfelelő bezárása a következőben: deserializeFromChunkedBuffer.
  • 2023. május 17.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • Ha egy Avro-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns\ olvastak a failOnUnknownFields\ sémafejlődési módban, a különböző adattípusokkal rendelkező oszlopok ahelyett, hogy hibaüzenetet adnánaknull\, amely szerint a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn\ lehetőséget.
    • Az Automatikus betöltő mostantól a következőket végzi el.
      • Helyesen olvas, és már nem menti Integerazokat, Shortés Byte ha az egyik ilyen adattípus meg van adva, az Avro-fájl a másik két típus egyikét javasolja.
      • Megakadályozza az intervallumtípusok dátum- vagy időbélyeg-típusokként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
      • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
    • [SPARK-43172] A Spark Connect-ügyfél gazdagépét és jogkivonatát teszi elérhetővé.
    • [SPARK-43293]__qualified_access_only a rendszer a normál oszlopokban figyelmen kívül hagyja.
    • [SPARK-43098] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
    • [SPARK-43085] Többrészes táblanevek oszlop-hozzárendelésének DEFAULT támogatása.
    • [SPARK-43190]ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • [SPARK-43192] Eltávolítva a felhasználói ügynök karakterkészletének ellenőrzése.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be az adatokat, és már nem menti Integerazokat, Shortés Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • [SPARK-43009] Állandókkal Any paraméterezve sql()
    • [SPARK-42406] A Protobuf rekurzív mezőinek leállása a mező elvetésével
    • [SPARK-43038] A CBC mód támogatása a következővel: aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Módosítsa a nyomtatásra workdir , ha appDirs null értékű a feldolgozói kezelő WorkDirCleanup eseménye
    • [SPARK-43018] Az IN Standard kiadás RT-parancsok időbélyeg-literálokkal kapcsolatos hibájának javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Támogatja a régi adatforrásformátumokat a SYNC parancsban.
    • Kijavítottuk a tárházban kívüli jegyzetfüzetek %automatikus betöltési viselkedésével kapcsolatos hibát.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42928] Szinkronizálva lesz resolvePersistentFunction .
    • [SPARK-42936] Kijavítja az LCan-hibát, ha a záradék közvetlenül a gyermekösszesítéssel oldható meg.
    • [SPARK-42967] Javítások SparkListenerTaskStart.stageAttemptId , amikor egy tevékenység a szakasz megszakítása után indul el.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 29.

    • A Databricks SQL mostantól támogatja a Delta Lake-táblák oszlopainak alapértelmezett értékeinek megadását akár a tábla létrehozásakor, akár utána. Az ezt követő INSERT, UPDATEés MERGEDELETEparancsok bármely oszlop alapértelmezett értékére hivatkozhatnak az explicit DEFAULT kulcsszó használatával. Ezenkívül ha egy INSERT hozzárendelésnek a céltáblánál kevesebb oszlopból álló explicit listája van, a megfelelő oszlop alapértelmezett értékeit a rendszer a fennmaradó oszlopokra cseréli (vagy NULL értéket, ha nincs megadva alapértelmezett érték).

      Példa:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Az Automatikus betöltő mostantól legalább egy szinkron RocksDB-naplókarbantartást Trigger.AvailableNow kezdeményez a streamekhez, hogy ellenőrizze, hogy az ellenőrzőpont rendszeresen megtisztítható-e a gyorsan futó automatikus betöltő streamekhez. Ez bizonyos streameket hosszabb ideig is igénybe vehet, mielőtt leállnának, de ezzel tárolási költségeket takaríthat meg, és javíthatja az automatikus betöltő felületét a későbbi futtatások során.

    • Most már módosíthatja a Delta-táblázatot, hogy támogatást adjon a táblafunkciókhoz a következő használatával DeltaTable.addFeatureSupport(feature_name): .

    • [SPARK-42794] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez

    • [SPARK-42521] NULL-ek hozzáadása IN Standard kiadás RT-ekhez a céltáblánál kevesebb oszlopot tartalmazó, felhasználó által megadott listákkal

    • [SPARK-42702][SPARK-42623] Paraméteres lekérdezés támogatása az alkérésben és a CTE-ben

    • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben

    • [SPARK-42403] A JsonProtocolnak null JSON-sztringeket kell kezelnie

  • 2023. március 8.
    • A "Konfiguráció inicializálásának sikertelensége" hibaüzenetet javítottuk, hogy több kontextust biztosítsunk az ügyfél számára.
    • Terminológiamódosítás történik a funkciók Delta-táblához való hozzáadásához a táblatulajdonság használatával. Az előnyben részesített szintaxis most már 'delta.feature.featureName'='supported''delta.feature.featureName'='enabled'nem a . A visszamenőleges kompatibilitás érdekében a használat 'delta.feature.featureName'='enabled' továbbra is működik, és továbbra is működni fog.
    • Ettől a kiadástól kezdve létrehozhat/lecserélhet egy táblát egy további táblatulajdonságra delta.ignoreProtocolDefaults , hogy figyelmen kívül hagyja a protokollhoz kapcsolódó Spark-konfigurációkat, beleértve az alapértelmezett olvasó- és íróverziókat, valamint az alapértelmezés szerint támogatott táblázatfunkciókat.
    • [SPARK-42070] A Maszk függvény argumentumának alapértelmezett értékének módosítása -1 értékről NULL értékre
    • [SPARK-41793] Nem megfelelő eredmény a jelentős tizedesjegyek tartomány-záradéka által definiált ablakkeretekhez
    • [SPARK-42484] A UnsafeRowUtils jobb hibaüzenete
    • [SPARK-42516] A munkamenet időzóna-konfigurációjának rögzítése a nézetek létrehozásakor
    • [SPARK-42635] Javítsa ki a TimestampAdd kifejezést.
    • [SPARK-42622] Az értékek helyettesítésének kikapcsolása
    • [SPARK-42534] Db2Dialect Limit záradék javítása
    • [SPARK-42121] Beépített táblaértékű posexplode, posexplode_outer, json_tuple és stack függvények hozzáadása
    • [SPARK-42045] ANSI SQL mód: A Kerek/Bround hibát ad vissza apró/kis/jelentős egész szám túlcsordulás esetén
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 11.3 LTS

Lásd: Databricks Runtime 11.3 LTS.

  • 2024. április 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46602]allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • [SPARK-45545]SparkTransportConfSSLOptions a létrehozáskor örökli.
    • Visszaállítás [SPARK-33861].
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45430]FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45084]StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
    • [SPARK-45346] A parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt egy séma egyesítésekor.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 27.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199]CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • [SPARK-44136] Kijavítottunk egy hibát, amely miatt a StateManager a FlatMapGroupsWithStateExec illesztőprogram helyett a végrehajtóban materializálható.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779]ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count bug test with decorrelateInnerQuery off.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404]Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43413][11.3-13.0] Kijavítottuk IN a subquery ListQuery nullability-t.
    • [SPARK-43340] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.

Databricks Runtime 10.4 LTS

Lásd: Databricks Runtime 10.4 LTS.

  • 2024. április 6.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45545]SparkTransportConfSSLOptions a létrehozáskor örökli.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • Visszaállítás [SPARK-33861].
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • [SPARK-45084]StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-43973] A strukturált streamelési felhasználói felület most már helyesen jelenik meg a sikertelen lekérdezésekben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count test with decorrelateInnerQuery off.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Kijavítottunk egy hibát a JSON által mentett adatelemzés során a megelőzés UnknownFieldExceptionérdekében.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • [SPARK-41520] Faminta felosztása AND_OR a szétválasztandó AND és ORa .
    • [SPARK-43190]ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • [SPARK-42928] Szinkronizálás.resolvePersistentFunction
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42937]PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben
    • [SPARK-42635] Javítsa ki a ...
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-41162] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
    • [SPARK-33206] Az indexgyorsítótár súlyának kiszámítása kis indexfájlok esetében
    • [SPARK-42484] Javítottuk a UnsafeRowUtils hibaüzenetet
    • Egyéb javítások.
  • 2023. február 28.
    • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a módosítás támogatja a yyyy-MM-dd partíciómetszetét date_format generált oszlopokban.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a módosítás támogatja a yyyy-MM-dd partíciómetszetét date_format generált oszlopokban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • [SPARK-30220] A Szűrőcsomóponton kívüli Létező/In al lekérdezések használatának engedélyezése
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az Azure Synapse-összekötő leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • [SPARK-41199] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41198] A CTE- és DSv1-alapú streamelési forrással rendelkező streamlekérdezések metrikáinak javítása.
    • [SPARK-41339] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett.
    • [SPARK-41732] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A szabad terület kezelésének szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva, eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespacebeállítás esetén eltávolítja a truezáró szóközt az értékekből az írások során, ha tempformat a beállítás CSV értéke vagy CSV GZIPértéke . A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy hibát az automatikus betöltő JSON-elemzésével kapcsolatban, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése kijavítva, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is helyesen elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való bejelentkezéshez állítsa be spark.sql.json.enablePartialResults a következőt true: . A jelölő alapértelmezés szerint ki van kapcsolva az eredeti viselkedés megőrzése érdekében.
    • [SPARK-40292] Oszlopnevek javítása a függvényben arrays_zip , ha a tömbök beágyazott szerkezetekből vannak hivatkozva
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40697] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • [SPARK-40468] Az oszlopmetszet kijavítása a CSV-ben, ha _corrupt_record ki van választva.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) beállításával újra engedélyezhetik az Automatikus betöltő beépített listáját az ADLS Gen2-en. A beépített lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40213] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • [SPARK-40380] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-38404] A CTE felbontásának javítása, ha egy beágyazott CTE külső CTE-ra hivatkozik
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Az Executor.updateDependencies() alkalmazásban szinkronizált helyett használjon megszakítható zárolást.
    • [SPARK-40218] A csoportosítási Standard kiadás TS-nek meg kell őriznie a csoportosítási oszlopokat.
    • [SPARK-39976] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben.
    • [SPARK-40053] Adja hozzá assume a Python futtatókörnyezetet igénylő dinamikus megszakítási eseteket.
    • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után.
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez.
  • 2022. augusztus 24.
    • [SPARK-39983] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon.
    • [SPARK-39775] Az Avro-sémák elemzésekor tiltsa le az alapértelmezett értékek érvényesítését.
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • [SPARK-37643] ha a charVarcharAsString értéke igaz, a karakter adattípus-predikátum-lekérdezés esetében kihagyja az rpadding szabályt.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • [SPARK-39847] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívó szál megszakad
    • [SPARK-39731] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • [SPARK-39625] Dataset.as(StructType) hozzáadása.
    • [SPARK-39689]Támogatja a 2 karaktert lineSep a CSV-adatforrásban.
    • [SPARK-39104] Az InMemoryRelation#isCachedColumnBuffersLoaded fájlnak szálbiztosnak kell lennie.
    • [SPARK-39570] A beágyazott táblázatnak engedélyeznie kell az aliassal rendelkező kifejezéseket.
    • [SPARK-39702] Csökkentse a TransportCipher$EncryptedMessage memóriaterhelését egy megosztott byteRawChannel használatával.
    • [SPARK-39575] Add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Tiltsa le a unwrap cast optimalizálást, ha hosszúról lebegőpontosra/ dupla értékre vagy egész számról float-ra öntött.
    • [SPARK-38868] A külső illesztések optimalizálása során ne propagálja a szűrők predikátumából származó kivételeket.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 20.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39355] Az egyetlen oszlop idézve hozza létre az UnresolvedAttribute parancsot.
    • [SPARK-39548] A CreateView parancs ablak-záradék lekérdezéssel nem található ablakdefinícióval kapcsolatos probléma.
    • [SPARK-39419] A ArraySort javítása kivételt eredményez, ha az összehasonlító null értéket ad vissza.
    • Kikapcsolta az Automatikus betöltő beépített felhőalapú API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • [SPARK-39376] Duplikált oszlopok elrejtése az alquery alias csillagbővítésében a NATURAL/USING JOIN elemből
    • Az operációs rendszer biztonsági frissítései.
  • 2022. június 15.
    • [SPARK-39283] Javítsa ki a TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpontot.
    • [SPARK-39285] A Spark nem ellenőrizheti a mezőneveket a fájlok olvasása során.
    • [SPARK-34096] Javítja a teljesítményt nth_value null értékek figyelmen kívül hagyása az eltolásos ablakban.
    • [SPARK-36718] Javítsa ki a isExtractOnly CollapseProject jelölőnégyzetet.
  • 2022. június 2.
    • [SPARK-39093] Kerülje a kódösszeállítási hibát, ha az év-hónap intervallumokat vagy a nap-idő intervallumokat elválasztja egy integráltól.
    • [SPARK-38990] Kerülje a NullPointerExceptiont a date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-38918] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz.
    • [SPARK-37593] Ha G1GC-t és ON_HEAP használ, csökkentse az alapértelmezett oldalméretet LONG_ARRAY_OFF Standard kiadás T használatával.
    • [SPARK-39084] Javítsa ki a df.rdd.isEmpty() elemet a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor.
    • [SPARK-32268] ColumnPruning hozzáadása az injektáltBloomFilterhez.
    • [SPARK-38974] Szűrje a regisztrált függvényeket egy adott adatbázisnévvel a listafüggvényekben.
    • [SPARK-38931] Hozzon létre gyökér dfs könyvtárat a RocksDBFileManagerhez ismeretlen számú kulccsal az 1. ellenőrzőponton.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • A Java AWS SDK az 1.11.655-ös verzióról 1.12.1899-re frissült.
    • Kijavítottunk egy hibát, amely miatt a jegyzetfüzet-hatókörű kódtárak nem működnek kötegelt streamelési feladatokban.
    • [SPARK-38616] SQL-lekérdezés szövegének nyomon követése a Catalyst TreeNode-ban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 6.
    • Ezzel a kiadással a következő Spark SQL-függvények érhetők el:
      • timestampadd() és dateadd(): Adjon hozzá egy időtartamot egy adott egységben egy időbélyeg-kifejezéshez.
      • timestampdiff() és datediff(): Kiszámítja a két időbélyeg-kifejezés közötti időkülönbséget egy adott egységben.
    • A Parquet-MR 1.12.2-re lett frissítve
    • Továbbfejlesztett támogatás a parquet-fájlok átfogó sémáihoz
    • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához.
    • [SPARK-38509][SPARK-38481] Cherry-pick három timestmapadd/diff változás.
    • [SPARK-38523] A CSV sérült rekordoszlopára hivatkozó javítás.
    • [SPARK-38237] Teljes ClusteredDistribution fürtözési kulcsok megkövetelése.
    • [SPARK-38437] Az adatforrásból származó dátumidő megengedő szerializálása.
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban.
    • [SPARK-38155] Nem támogatott predikátumok esetén tiltsa le a különböző aggregátumokat az oldalirányú al lekérdezésekben.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 9.1 LTS

Lásd: Databricks Runtime 9.1 LTS.

  • 2024. április 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45545]SparkTransportConfSSLOptions a létrehozáskor örökli.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • [SPARK-43098] Javítsa ki a helyességi DARAB hibát, ha a skaláris alquery tartalmaz egy csoportosítási záradékot.
    • [SPARK-43156][SPARK-43098] A skaláris részqueryk számának tesztelésének decorrelateInnerQuery kiterjesztése kikapcsolva.
    • [SPARK-40862] A RewriteCorrelatedScalarSubquery nem aggregált albejegyzéseinek támogatása.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Kijavítottunk egy hibát a JSON által mentett adatelemzés során a megelőzés UnknownFieldExceptionérdekében.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-37520] A és endswith() a sztringfüggvények startswith() hozzáadása
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-42484] Továbbfejlesztett hibaüzenet a következőhöz UnsafeRowUtils: .
    • Egyéb javítások.
  • 2023. február 28.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • Kijavítottunk egy hibát az automatikus betöltő JSON-elemzésével kapcsolatban, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • Egyéb javítások.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") beállítással újra engedélyezhetik az ADLS Gen2 automatikus betöltőjének beépített listáját. A beépített lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
  • 2022. augusztus 24.
    • [SPARK-39666] A UnsafeProjection.create használata a ExpressionEncoderben való tisztelethez spark.sql.codegen.factoryMode
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39689] Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39575]ByteBuffer#get Utána hozzáadva ByteBuffer#rewind a következőbeAvroDeserializer: .
    • [SPARK-37392] Kijavítottuk a katalizátor-optimalizáló teljesítményhibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 13.
    • [SPARK-39419]ArraySort kivételt eredményez, ha az összehasonlító null értéket ad vissza.
    • Kikapcsolta az Automatikus betöltő beépített felhőalapú API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. június 15.
    • [SPARK-39283] Javítsa ki a holtpontot a kettő között és UnsafeExternalSorter.SpillableIteratorközöttTaskMemoryManager.
  • 2022. június 2.
    • [SPARK-34554] Implementálja a metódust a copy() következőben ColumnarMap: .
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavítottunk egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • Frissítse az AWS SDK 1.11.655-ös verzióját 1.11.678-ra.
    • [SPARK-38918] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-39084] Javítás df.rdd.isEmpty() az iterátor feladatvégzésére való TaskContext leállításával
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. április 6.
    • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas egyidejűségi fürtökön, és a táblahozzáférés-vezérlés vagy a hitelesítő adatok átengedése engedélyezve van a felhasználó kezdőlapján. Korábban az active directory volt /databricks/driver.
    • [SPARK-38437] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-27442] Eltávolított egy jelölőnégyzetet, amikor adatokat olvas vagy ír egy parkettán.
  • 2022. március 14.
    • [SPARK-38236] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-34069] Megszakíthatja a tevékenységszálat, ha a helyi tulajdonság SPARK_JOB_INTERRUPT_ON_CANCEL értéke igaz.
  • 2022. február 23.
    • [SPARK-37859] A Spark 3.2-vel JDBC-vel létrehozott SQL-táblák nem olvashatók.
  • 2022. február 8.
    • [SPARK-27442] Eltávolított egy jelölőnégyzetet, amikor adatokat olvas vagy ír egy parkettán.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt a OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve lett.
  • 2022. január 19.
    • Kisebb javítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException.
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • A Delta Sharing Apache Spark Csatlakozás or 0.2.0-ra lett frissítve.
  • 2021. október 20.
    • A BigQuery-összekötő 0.18.1-ről 0.22.2-re frissült. Ez támogatja a BigNumeric típust.