Underhållsuppdateringar för Databricks Runtime

  • Artikel

Den här artikeln innehåller underhållsuppdateringar för Databricks Runtime-versioner som stöds. Starta om klustret om du vill lägga till en underhållsuppdatering i ett befintligt kluster. Underhållsuppdateringar för Databricks Runtime-versioner som inte stöds finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).

Kommentar

Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.

Databricks Runtime-versioner

Underhållsuppdateringar efter lansering:

Databricks Runtime 15.0

Se Databricks Runtime 15.0.

  • Den 3 april 2024
    • (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
      • UDF:er med en string returtyp konverterar inte längre implicit icke-värdenstring till string värden. Tidigare skulle UDF:er med en returtyp str omsluta returvärdet med en str() funktion oavsett den faktiska datatypen för det returnerade värdet.
      • UDF:er med timestamp returtyper tillämpar inte längre implicit en konvertering på timestamp med timezone.
      • Spark-klusterkonfigurationerna spark.databricks.sql.externalUDF.* gäller inte längre för PySpark-UDF:er i delade kluster.
      • Spark-klusterkonfigurationen spark.databricks.safespark.externalUDF.plan.limit påverkar inte längre PySpark-UDF:er, vilket tar bort den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er.
      • Spark-klusterkonfigurationen spark.databricks.safespark.sandbox.size.default.mib gäller inte längre för PySpark-UDF:er i delade kluster. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder du spark.databricks.pyspark.udf.isolation.memoryLimit med ett minsta värde på 100m.
    • Datatypen TimestampNTZ stöds nu som en klustringskolumn med flytande klustring. Se Använda flytande klustring för Delta-tabeller.
    • [SPARK-47218][SQL] XML: Ignorera kommenterade radtaggar i XML-tokeniseraren
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47033][SQL] Korrigeringen EXECUTE IMMEDIATE USING identifierar inte sessionsvariabelnamn
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-47561][SQL] Åtgärda problem med regelordning för analysverktyg om alias
    • [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Lägg till en kontroll för tillståndskänsliga operatorändringar för direktuppspelning
    • [SPARK-47569][SQL] Tillåt inte jämförelse av variant.
    • [SPARK-47241][SQL] Åtgärda regelordningsproblem för ExtractGenerator
    • [SPARK-47218] [SQL] XML: SchemaOfXml ändrades till fel i DROPMALFORMED-läge
    • [SPARK-47300][SQL] quoteIfNeeded bör offertidentifieraren börja med siffror
    • [SPARK-47009][SQL] [Sortering] Aktivera stöd för att skapa tabell för sortering
    • [SPARK-47322][PYTHON] [ANSLUT] Gör withColumnsRenamed kolumnnamnens dupliceringshantering konsekvent med withColumnRenamed
    • [SPARK-47544][PYTHON] SparkSession Builder-metoden är inte kompatibel med Visual Studio Code intellisense
    • [SPARK-47511][SQL] Kanonisera med uttryck genom att tilldela om ID:t
    • [SPARK-47385] Åtgärda tuppeln kodare med Alternativ indata.
    • [SPARK-47200][SS] Felklass för användarfunktionsfel för Foreach batch sink
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att tagga isStreaming-flaggan för LocalRelation korrekt när planen har både batch och strömning
    • [SPARK-47380][ANSLUT] Kontrollera på serversidan att SparkSession är samma
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.3

Se Databricks Runtime 14.3 LTS.

  • den 6 april 2024
    • (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
      • UDF:er med en string returtyp konverterar inte längre implicit icke-värdenstring till string värden. Tidigare skulle UDF:er med en returtyp str omsluta returvärdet med en str() funktion oavsett den faktiska datatypen för det returnerade värdet.
      • UDF:er med timestamp returtyper tillämpar inte längre implicit en konvertering på timestamp med timezone.
      • Spark-klusterkonfigurationerna spark.databricks.sql.externalUDF.* gäller inte längre för PySpark-UDF:er i delade kluster.
      • Spark-klusterkonfigurationen spark.databricks.safespark.externalUDF.plan.limit påverkar inte längre PySpark-UDF:er, vilket tar bort den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er.
      • Spark-klusterkonfigurationen spark.databricks.safespark.sandbox.size.default.mib gäller inte längre för PySpark-UDF:er i delade kluster. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder du spark.databricks.pyspark.udf.isolation.memoryLimit med ett minsta värde på 100m.
    • Datatypen TimestampNTZ stöds nu som en klustringskolumn med flytande klustring. Se Använda flytande klustring för Delta-tabeller.
    • [SPARK-47511][SQL] Kanonisera med uttryck genom att tilldela om ID:t
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • Säkerhetsuppdateringar för operativsystem.
  • den 3 januari 2024
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-46954] XML: Omsluta InputStreamReader med BufferedReader.
    • [SPARK-46655] Hoppa över frågekontextfångst i DataFrame metoder.
    • [SPARK-44815] Cachelagrat df.schema för att undvika extra RPC.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46736] behålla det tomma meddelandefältet i protobuf-anslutningsappen.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46414] Använd prependBaseUri för att återge javascript-importer.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46954] XML: Optimera schemaindexsökning.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
    • [SPARK-46731] Hantera tillståndslagerproviderinstans efter tillståndsdatakälla – läsare.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46227] Backport till 14.3.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.2

Se Databricks Runtime 14.2.

  • Den 9 april 2024
    • Ingen
    • [SPARK-47309][SQL] [XML] Lägg till schemainferensenhetstester
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabellerAPPLY CHANGES i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46382] XML: Uppdatera dokument för ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Samla in värden mellan element.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
    • [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
    • [SPARK-45964] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet.
    • [SPARK-46581] Uppdatera kommentaren om isZero i AccumulatorV2.
    • [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46660] ReattachExecute begär uppdateringar av sessionshållarens livskraft.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-45962] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML.
    • [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
    • [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46484] Se till att resolveOperators hjälpfunktionerna behåller plan-ID:t.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Inaktivera underfrågor med korrelerad OFFSET för att åtgärda fel vid korrekthet.
    • [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
    • [SPARK-46602]allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
    • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed bör respektera dikteringsordningen.
    • [SPARK-46036] Ta bort felklassen från funktionen raise_error.
    • [SPARK-46294] Rensa semantik av init- eller nollvärde.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46241] Åtgärda felhanteringsrutinen så att den inte hamnar i oändlig rekursion.
    • [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46265] Kontroller i AddArtifact RPC gör anslutningsklienten inkompatibel med äldre kluster.
    • [SPARK-46308] Förbjud rekursiv felhantering.
    • [SPARK-46337] Behåll CTESubstitutionPLAN_ID_TAG.
  • den 14 december 2023
    • [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
    • [SPARK-45730] Gör ReloadingX509TrustManagerSuite mindre flagnande.
    • [SPARK-45852] Hantera rekursionsfel under loggning.
    • [SPARK-45808] Bättre felhantering för SQL-undantag.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • Återställ "[SPARK-45649] Förena förberedelseramverket för OffsetWindowFunctionFrame".
    • [SPARK-45733] Stöd för flera återförsöksprinciper.
    • [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Anslut.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • [SPARK-45905] Minsta vanliga typ mellan decimaltyper bör behålla integralsiffror först.
    • [SPARK-45136] Förbättra ClosureCleaner med Stöd för Ammonite.
    • [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
    • [SPARK-45859] Gör UDF-objekt i ml.functions lata.
    • [SPARK-46028] Gör så att Column.__getitem__ du accepterar indatakolumnen.
    • [SPARK-45798] Bekräfta sessions-ID på serversidan.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-45770] Introducera plan DataFrameDropColumns för Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementering och bindningar för python, connect och SQL.
    • [SPARK-45851] Stöd för flera principer i scala-klienten.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Python-klienten för Spark Anslut fångar nu upp rekursionsfel under textkonverteringen.
    • [SPARK-45808] Förbättrad felhantering för SQL-undantag.
    • [SPARK-45920]GROUP BY ordinal ersätter inte ordningstalet.
    • Återställ [SPARK-45649].
    • [SPARK-45733] Stöd har lagts till för flera återförsöksprinciper.
    • [SPARK-45509] Referensbeteende för kolumner har åtgärdats df för Spark Anslut.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck inuti AggregateFunctions i CollectMetrics.
    • [SPARK-45905] Den minst vanliga typen mellan decimaltyper behåller nu integralsiffror först.
    • [SPARK-45136] Förbättra ClosureCleaner med stöd för Ammonite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-46028]Column.__getitem__ accepterar indatakolumner.
    • [SPARK-45798] Bekräfta sessions-ID på serversidan.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-45770] Kolumnmatchning har åtgärdats med DataFrameDropColumns för Dataframe.drop.
    • [SPARK-44790] Implementering och bindningar har lagts till to_xml för Python, Spark Anslut och SQL.
    • [SPARK-45851] Stöd har lagts till för flera principer i Scala-klienten.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.1

Se Databricks Runtime 14.1.

  • Den 9 april 2024
    • Ingen
    • [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
    • [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
    • [SPARK-47309][SQL] [XML] Lägg till schemainferensenhetstester
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabellerAPPLY CHANGES i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
    • [SPARK-45957] Undvik att generera en körningsplan för icke-körbara kommandon.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-45498] Uppföljning: Ignorera slutförande av aktiviteter från gamla fasförsök.
    • [SPARK-46382] XML: Uppdatera dokument för ignoreSurroundingSpaces.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden TaskInfo.accumulables()för .
    • [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
    • [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
    • [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
    • [SPARK-46382] XML: Samla in värden mellan element.
    • [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-45964] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet.
    • Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
    • [SPARK-45962] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML.
    • [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46484] Se till att resolveOperators hjälpfunktionerna behåller plan-ID:t.
    • [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
    • [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46337] Behåll CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
    • [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
    • [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602]allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed bör respektera dikteringsordningen.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Anslut.
    • [SPARK-45844] Implementera skiftlägeskänslighet för XML.
    • [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
    • [SPARK-46028] Gör så att Column.__getitem__ du accepterar indatakolumnen.
    • [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles/ignoreMissingFiles i HadoopRDD och .NewHadoopRDD
    • [SPARK-45852] Hantera rekursionsfel under loggning.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • När du matar in CSV-data med hjälp av autoinläsnings- eller strömningstabeller delas nu stora CSV-filer upp och kan bearbetas parallellt under både schemainferens och databearbetning.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45620] API:er som är relaterade till Python UDF använder nu camelCase.
    • [SPARK-44790] Implementering och bindningar har lagts till to_xml för Python, Spark Anslut och SQL.
    • [SPARK-45770] Kolumnmatchning har åtgärdats med DataFrameDropColumns för Dataframe.drop.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Gjorde SBT-testning hermetisk.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45250] Stöd har lagts till för aktivitetsresursprofil på stegnivå för yarn-kluster när dynamisk allokering är inaktiverad.
    • [SPARK-44753] XML DataFrame-läsare och -skrivare har lagts till för PySpark SQL.
    • [SPARK-45396] Lade till en dokumentpost för PySpark.ml.connect modulen.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] SSLFactory har lagts till.
    • [SPARK-45577] Har åtgärdats UserDefinedPythonTableFunctionAnalyzeRunner för att skicka vikta värden från namngivna argument.
    • [SPARK-45562] Gjorde "rowTag" till ett obligatoriskt alternativ.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-43380] Åtgärdad avmattning i Avro-läsning.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45386] Ett problem har åtgärdats där StorageLevel.NONE 0 skulle returneras felaktigt.
    • [SPARK-44219] Valideringskontroller per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 september 2023
    • [SPARK-44823] Uppdaterad black till 23.9.1 och fast felaktig kontroll.
    • [SPARK-45339] PySpark loggar nu fel som den försöker igen.
    • Återställ [SPARK-42946] Redigerade känsliga data kapslade under variabelersättningar.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45360] Spark-sessionsverktyget stöder initiering från SPARK_REMOTE.
    • [SPARK-45279] Kopplad plan_id till alla logiska planer.
    • [SPARK-45425] Mappad TINYINT till ShortType för MsSqlServerDialect.
    • [SPARK-45419] Filversionsmappningsposten för större versioner har tagits bort för att undvika återanvändning rocksdb av SST-fil-ID:t.
    • [SPARK-45488] Stöd för värde i rowTag element har lagts till.
    • [SPARK-42205] Loggning av Accumulables starthändelser i Task/StageJsonProtocol händelseloggar har tagits bort.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter misslyckas när du skriver fler värden än den ursprungliga kapaciteten.
    • [SPARK-43380] Problem med datatypkonvertering utan att orsaka prestandaregression har åtgärdats Avro .
    • [SPARK-45182] Stöd har lagts till för att rulla tillbaka shuffle map-fasen så att alla stegaktiviteter kan göras om när fasutdata är obestämda.
    • [SPARK-45399] XML-alternativ har lagts till med .newOption
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 13.3 LTS

Se Databricks Runtime 13.3 LTS.

  • Den 9 april 2024
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabellerAPPLY CHANGES i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
    • [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden för TaskInfo.accumulables().
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Noden shuffle i förklaringsplanen som returneras av en Photon-fråga uppdateras för att lägga causedBroadcastJoinBuildOOM=true till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602]allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Spark-snowflake-anslutningsappen uppgraderas till 2.12.0.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • Ändrade dataflödesfrågor i Unity Catalog Streaming Tables och Materialized Views för att visa felmeddelanden.
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-44219] Extra verifiering per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 23 oktober 2023
    • [SPARK-45256] Åtgärdade ett problem där det inte gick att DurationWriter skriva fler värden än den ursprungliga kapaciteten.
    • [SPARK-45419] Undvik att återanvända rocksdb sst filer i en annan rocksdb instans genom att ta bort mappningsposter för filversioner av större versioner.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • Funktionen array_insert är 1-baserad för positiva och negativa index, medan den tidigare var 0-baserad för negativa index. Nu infogar den ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.negativeIndexInArrayInsert till true.
    • Åtgärdat ett problem med att inte ignorera skadade filer när ignoreCorruptFiles är aktiverat under CSV-schemainferens med Auto Loader.
    • Återställ [SPARK-42946].
    • [SPARK-42205] JSON-protokollet har uppdaterats för att ta bort loggning av ackumulables i en aktivitets- eller fasstarthändelser.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles och ignoreMissingFiles till HadoopRDD och NewHadoopRDD.
    • [SPARK-44740] Metadatavärden för artefakter har åtgärdats.
    • [SPARK-45360] Initierad Konfiguration av Spark-sessionsverktyget från SPARK_REMOTE.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänsliga flaggor vid sammanslagning av schema.
    • [SPARK-44658]ShuffleStatus.getMapStatus returnerar None nu i stället Some(null)för .
    • [SPARK-44840] Gjorde array_insert() 1-baserad för negativa index.
  • den 14 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44878] Inaktiverad strikt gräns för skrivhanteraren för RocksDB att undvika att infogningsfelet för cachen har slutförts.
  • den 30 augusti 2023
    • Kommandot dbutils cp (dbutils.fs.cp) har optimerats för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärder ta upp till 100 mindre tid, beroende på filstorleken. Funktionen är tillgänglig i alla moln och filsystem som är tillgängliga i Databricks, inklusive för Unity-katalogvolymer och DBFS-monteringar.
    • [SPARK-44455] Offertidentifierare med backticks i resultatet SHOW CREATE TABLE .
    • [SPARK-44763] Ett problem som visade en sträng som en dubbel i binär aritmetik med intervall har åtgärdats.
    • [SPARK-44871] Fast percentile_disc beteende.
    • [SPARK-44714] Minska begränsningen av LCA-lösning för frågor.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44505] Åsidosättning har lagts till för columnar-stöd i Scan for DSv2.
    • [SPARK-44479] Protobuf-konverteringen har åtgärdats från en tom structtyp.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-42941] Stöd har lagts till för StreamingQueryListener i Python.
    • [SPARK-44558] Exportera PySparks Spark-Anslut loggnivå.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • [SPARK-44643] Fast Row.__repr__ när fältet är en tom rad.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.2 LTS

Se Databricks Runtime 12.2 LTS.

  • Den 9 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
    • [SPARK-43067] Korrigera platsen för felklassresursfilen i Kafka-anslutningsappen.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46602]allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-42852] Återställ NamedLambdaVariable-relaterade ändringar från EquivalentExpressions.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45920] gruppera efter ordning bör vara idempotent.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i Stage och Task starthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-42553] Kontrollera minst en tidsenhet efter intervall.
    • [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänslig flagga vid sammanslagning av schema.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084]StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
  • den 12 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API Protobuf :et.
    • Diverse korrigeringar.
  • den 30 augusti 2023
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199]CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • [SPARK-44136] Åtgärdade ett problem där StateManager materialiserades i en exekutor i stället för drivrutinen i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779]ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43156][SPARK-43098] Utökat feltest för antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43522] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43541] Sprid alla Project taggar för att matcha uttryck och kolumner som saknas.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43123] Interna fältmetadata läcker inte längre till kataloger.
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42444]DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-42937]PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-43286] CBC-läget har uppdaterats aes_encrypt för att generera slumpmässiga IV:er.
    • [SPARK-43378] Stäng strömobjekt i deserializeFromChunkedBuffer.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • Om en Avro-fil lästes med bara failOnUnknownFields\ alternativet eller med Auto Loader i failOnNewColumns\ schemautvecklingsläget, skulle kolumner som har olika datatyper läsas som null\ i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn\ .
    • Automatisk inläsning gör nu följande.
      • Läser korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika att få skadade datum.
      • Förhindrar lästyper Decimal med lägre precision.
    • [SPARK-43172] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-43293]__qualified_access_only ignoreras i normala kolumner.
    • [SPARK-43098]COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43085] Stöd för kolumntilldelning DEFAULT för tabellnamn i flera delar.
    • [SPARK-43190]ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • [SPARK-43192] Användaragentens teckenuppsättningsverifiering har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Om en Parquet-fil lästes med bara failOnUnknownFields alternativet eller med Auto Loader i failOnNewColumns schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativet rescuedDataColumn .
    • Automatisk inläsare läser nu korrekt och räddar Integerinte längre , Shortoch Byte typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel göra att kolumner sparas trots att de var läsbara.
    • [SPARK-43009] Parameteriserad sql() med Any konstanter
    • [SPARK-42406] Avsluta rekursiva Protobuf-fält genom att släppa fältet
    • [SPARK-43038] Stöd för CBC-läget genom att aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ändra till utskrift workdir om appDirs är null när arbetshandtagshändelsen WorkDirCleanup
    • [SPARK-43018] Åtgärda bugg för INSERT-kommandon med tidsstämpelliteraler
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Stöd för äldre datakällformat i SYNC kommandot.
    • Åtgärdar ett problem i %autoreload-beteendet i notebook-filer utanför en lagringsplats.
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928] Synkroniseras resolvePersistentFunction .
    • [SPARK-42936] Åtgärdar LCan-problem när satsen kan lösas direkt av dess underordnade aggregering.
    • [SPARK-42967] Korrigeringar SparkListenerTaskStart.stageAttemptId när en aktivitet startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 29 mars 2023

    • Databricks SQL har nu stöd för att ange standardvärden för kolumner i Delta Lake-tabeller, antingen när tabellen skapas eller efteråt. Efterföljande INSERTkommandon , UPDATE, DELETEoch MERGE kan referera till valfri kolumns standardvärde med det explicita DEFAULT nyckelordet. Om någon INSERT tilldelning dessutom har en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden för de återstående kolumnerna (eller NULL om inget standardvärde anges).

      Till exempel:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Automatisk inläsning initierar nu minst en synkron RocksDB-loggrensning för strömmar för Trigger.AvailableNow att kontrollera att kontrollpunkten regelbundet kan rensas för snabba automatiska inläsningsströmmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men det sparar lagringskostnader och förbättrar upplevelsen för automatisk inläsning i framtida körningar.

    • Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming

    • [SPARK-42521] Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen

    • [SPARK-42702][SPARK-42623] Stöd för parametriserad fråga i underfrågor och CTE

    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp

    • [SPARK-42403] JsonProtocol ska hantera null-JSON-strängar

  • Den 8 mars 2023
    • Felmeddelandet "Det gick inte att initiera konfigurationen" har förbättrats för att ge kunden mer kontext.
    • Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu 'delta.feature.featureName'='supported' i stället 'delta.feature.featureName'='enabled'för . För bakåtkompatibilitet fungerar fortfarande användning 'delta.feature.featureName'='enabled' och fortsätter att fungera.
    • Från och med den här versionen är det möjligt att skapa/ersätta en tabell med ytterligare en tabellegenskap delta.ignoreProtocolDefaults för att ignorera protokollrelaterade Spark-konfigurationer, som innehåller standardversioner av läsare och skrivare och tabellfunktioner som stöds som standard.
    • [SPARK-42070] Ändra standardvärdet för argumentet för maskfunktionen från -1 till NULL
    • [SPARK-41793] Felaktigt resultat för fönsterramar som definierats av en intervallsats på betydande decimaler
    • [SPARK-42484] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42516] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • [SPARK-42635] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42622] Inaktiverat ersättning i värden
    • [SPARK-42534] Åtgärda DB2Dialect Limit-sats
    • [SPARK-42121] Lägg till inbyggda tabellvärdesfunktioner posexplode, posexplode_outer, json_tuple och stack
    • [SPARK-42045] ANSI SQL-läge: Round/Bround ska returnera ett fel vid litet/litet/betydande heltalsspill
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 11.3 LTS

Se Databricks Runtime 11.3 LTS.

  • Den 9 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46602]allowExisting Sprid i vyn när vyn/tabellen inte finns.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Åtgärdade ett problem där undantagna understreck i getColumns åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • Återställ [SPARK-33861].
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • [SPARK-45084]StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänslig flagga vid sammanslagning av ett schema.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fast percentile_disc beteende.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2023
    • Ett problem som dbutils.fs.ls() returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lagringsplats har åtgärdats.
    • [SPARK-44199]CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 juli 2023
    • [SPARK-44136] Åtgärdade ett problem som StateManager kan materialiseras i exekutor i stället för drivrutin i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779]ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Extended scalar subquery count bug test med decorrelateInnerQuery inaktiverat.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Iceberg och Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404]Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43527] Fast catalog.listCatalogs i PySpark.
    • [SPARK-43413][11.3-13.0] Fast IN ogiltighet för underfrågor ListQuery .
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.

Databricks Runtime 10.4 LTS

Se Databricks Runtime 10.4 LTS.

  • den 6 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-43718] Ogiltighet för nycklar i USING kopplingar har åtgärdats.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • [SPARK-45084]StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
    • [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för Trigger.AvailableNow att använda omslutningen.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet verkar nu ha felade frågor korrekt.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test av utökat antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
    • [SPARK-41520] Dela AND_OR upp trädmönster för att separera AND och OR.
    • [SPARK-43190]ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • [SPARK-42928] Gör resolvePersistentFunction synkroniserad.
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42937]PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp
    • [SPARK-42635] Åtgärda ...
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-41162] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
    • [SPARK-33206] Åtgärda beräkning av shuffle-indexcachevikt för små indexfiler
    • [SPARK-42484] Förbättrade felmeddelandet UnsafeRowUtils
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • [SPARK-30220] Aktivera användning av Exists/In-underfrågor utanför filternoden
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Azure Synapse Connector returnerar ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
    • [SPARK-41199] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
    • [SPARK-41198] Åtgärda mått i strömningsfrågan med CTE- och DSv1-strömningskälla.
    • [SPARK-41339] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa.
    • [SPARK-41732] Använd trädmönsterbaserad beskärning för regeln SessionWindowing.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av tomt utrymme:
      • csvignoreleadingwhitespace, när det är inställt på true, tar bort inledande blanksteg från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
      • csvignoretrailingwhitespace, när det är inställt på true, tar bort avslutande tomt utrymme från värden under skrivningar när tempformat är inställt på CSV eller CSV GZIP. Blanksteg behålls när konfigurationen är inställd på false. Som standard är värdet true.
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du spark.sql.json.enablePartialResults till true. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet.
    • [SPARK-40292] Åtgärda kolumnnamn i arrays_zip funktionen när matriser refereras från kapslade structs
    • Säkerhetsuppdateringar för operativsystem.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40697] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • [SPARK-40468] Åtgärda kolumnrensning i CSV när _corrupt_record du väljer .
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40213] Stöd för ASCII-värdekonvertering för latinska-1 tecken
    • [SPARK-40380] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
    • [SPARK-38404] Förbättra CTE-upplösningen när en kapslad CTE refererar till en yttre CTE
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies().
    • [SPARK-40218] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna.
    • [SPARK-39976] ArrayIntersect ska hantera null i det vänstra uttrycket korrekt.
    • [SPARK-40053] Lägg till assume i dynamiska avbrottsfall som kräver Python-körningsmiljö.
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den.
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall.
  • den 24 augusti 2022
    • [SPARK-39983] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen.
    • [SPARK-39775] Inaktivera verifiera standardvärden vid parsning av Avro-scheman.
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • [SPARK-37643] när charVarcharAsString är sant bör predicate-frågan för teckendatatyp hoppa över rpadding-regeln.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om den anropande tråden avbryts
    • [SPARK-39731] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • [SPARK-39625] Lägg till Dataset.as(StructType).
    • [SPARK-39689]Stöd för 2 tecken lineSep i CSV-datakällan.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded bör vara trådsäker.
    • [SPARK-39570] Infogad tabell bör tillåta uttryck med alias.
    • [SPARK-39702] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel.
    • [SPARK-39575] lägg till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-39476] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal.
    • [SPARK-38868] Sprid inte undantag från filterpredikat när du optimerar yttre kopplingar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 20 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39355] En kolumn använder citerad för att konstruera UnresolvedAttribute.
    • [SPARK-39548] CreateView-kommandot med en fönstersatsfråga trycker på ett fel fönsterdefinitionsfel hittades inte.
    • [SPARK-39419] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • [SPARK-39376] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark bör inte kontrollera fältnamn vid läsning av filer.
    • [SPARK-34096] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret.
    • [SPARK-36718]isExtractOnly Åtgärda kontrollen i CollapseProject.
  • 2 juni 2022
    • [SPARK-39093] Undvik codegen-kompileringsfel när du dividerar årsmånadsintervall eller dagtidsintervall med en integral.
    • [SPARK-38990] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • Åtgärdar en potentiell inbyggd minnesläcka i Auto Loader.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen.
    • [SPARK-37593] Minska standardstorleken för sidan med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används.
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten.
    • [SPARK-32268] Lägg till ColumnPruning i injectBloomFilter.
    • [SPARK-38974] Filtrera registrerade funktioner med ett angivet databasnamn i listfunktioner.
    • [SPARK-38931] Skapa rot-dfs-katalog för RocksDBFileManager med ett okänt antal nycklar på första kontrollpunkten.
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
    • Ett problem med bibliotek med notebook-omfång som inte fungerar i batchströmningsjobb har åtgärdats.
    • [SPARK-38616] Hålla reda på SQL-frågetext i Catalyst TreeNode
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 april 2022
    • Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:
      • timestampadd() och dateadd(): Lägg till en tidsvaraktighet i en angiven enhet i ett tidsstämpeluttryck.
      • timestampdiff() och datediff(): Beräkna tidsskillnaden mellan tvåtidsstämpeluttryck i en angiven enhet.
    • Parquet-MR har uppgraderats till 1.12.2
    • Förbättrat stöd för omfattande scheman i parquet-filer
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-plocka tre timestmapadd/diff ändringar.
    • [SPARK-38523] Korrigering som refererar till den skadade postkolumnen från CSV.
    • [SPARK-38237] Tillåt ClusteredDistribution att fullständiga klustringsnycklar krävs.
    • [SPARK-38437] Överseende serialisering av datetime från datakälla.
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat.
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 9.1 LTS

Se Databricks Runtime 9.1 LTS.

  • Den 9 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions lat.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • [SPARK-45545]SparkTransportConfSSLOptions ärver när de skapas.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats.
    • [SPARK-43156][SPARK-43098] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge släpper en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läget.
    • Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-37520] Lägg till strängfunktionerna startswith() och endswith()
    • [SPARK-43413] Ogiltighet för underfrågor ListQuery har åtgärdatsIN.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-42484] Förbättrat felmeddelande för UnsafeRowUtils.
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes har inte angetts eller angetts till false) och JSON innehåller kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites den är aktiverad
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Diverse korrigeringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
  • den 24 augusti 2022
    • [SPARK-39666] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39689] Stöd för två tecken lineSep i CSV-datakällan
    • [SPARK-39575] Har lagts till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-37392] Åtgärdade prestandafelet för katalysatoroptimeraren.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • [SPARK-39419]ArraySort genererar ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554]copy() Implementera metoden i ColumnarMap.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • En potentiell inbyggd minnesläcka har åtgärdats i Auto Loader.
    • Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp TaskContext av för att stoppa iteratorn när uppgiften har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • den 6 april 2022
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var /databricks/driveractive directory .
    • [SPARK-38437] Överseende serialisering av datetime från datakälla
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
  • Den 14 mars 2022
    • [SPARK-38236] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-34069] Avbryt aktivitetstråden om den lokala egenskapen SPARK_JOB_INTERRUPT_ON_CANCEL är inställd på true.
  • den 23 februari 2022
    • [SPARK-37859] SQL-tabeller som skapats med JDBC med Spark 3.1 kan inte läsas med Spark 3.2.
  • den 8 februari 2022
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett problem där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
    • Åtgärdade ett problem där OPTIMIZE kommandot kunde misslyckas när ANSI SQL-dialekten aktiverades.
  • den 19 januari 2022
    • Mindre korrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • Ett problem som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en ArrayIndexOutOfBoundsException.
    • Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som java.io.IOException: No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.
    • Apache Spark-Anslut or för deltadelning uppgraderades till 0.2.0.
  • den 20 oktober 2021
    • Uppgraderade BigQuery-anslutningsprogrammet från 0.18.1 till 0.22.2. Detta lägger till stöd för den bignumeriska typen.