Underhållsuppdateringar för Databricks Runtime
Den här artikeln innehåller underhållsuppdateringar för Databricks Runtime-versioner som stöds. Starta om klustret om du vill lägga till en underhållsuppdatering i ett befintligt kluster. Underhållsuppdateringar för Databricks Runtime-versioner som inte stöds finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).
Kommentar
Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.
Databricks Runtime-versioner
Underhållsuppdateringar efter lansering:
- Databricks Runtime 14.3
- Databricks Runtime 14.2
- Databricks Runtime 14.1
- Databricks Runtime 13.3 LTS
- Databricks Runtime 12.2 LTS
- Databricks Runtime 11.3 LTS
- Databricks Runtime 10.4 LTS
- Databricks Runtime 9.1 LTS
Databricks Runtime 14.3
Se Databricks Runtime 14.3 LTS.
- Den 30 maj 2024
- (Beteendeförändring)
dbutils.widgets.getAll()
stöds nu för att hämta alla widgetvärden i en notebook-fil.
- (Beteendeförändring)
- 7 maj 2024
- (Beteendeförändring)
applyInPandas
ochmapInPandas
UDF-typer stöds nu för beräkning av delat åtkomstläge som kör Databricks Runtime 14.3 och senare.
- (Beteendeförändring)
- den 25 april 2024
- [SPARK-47543][ANSLUT] [PYTHON] Härleda
dict
frånMapType
Pandas DataFrame för att tillåta att DataFrame skapas - [SPARK-47694][ANSLUT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
- [SPARK-47664][PYTHON] [ANSLUT] [Cherry-pick-14.3] Verifiera kolumnnamnet med cachelagrat schema
- [SPARK-47862][PYTHON] [ANSLUT] Åtgärda generering av proto-filer
- Återställ "[SPARK-47543][CONNECT][PYTHON] Slutsatsring
dict
MapType
från Pandas DataFrame för att tillåta att DataFrame skapas" - [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
- [SPARK-47812][ANSLUT] Stöd för serialisering av SparkSession för ForEachBatch-arbetare
- [SPARK-47818][ANSLUT] [Cherry-pick-14.3] Introducera plancache i SparkConnectPlanner för att förbättra prestanda för Analysera begäranden
- [SPARK-47828][ANSLUT] [PYTHON]
DataFrameWriterV2.overwrite
misslyckas med ogiltig plan - Säkerhetsuppdateringar för operativsystem.
- [SPARK-47543][ANSLUT] [PYTHON] Härleda
- den 6 april 2024
- (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
- UDF:er med en
string
returtyp konverterar inte längre implicit icke-värdenstring
tillstring
värden. Tidigare skulle UDF:er med en returtypstr
omsluta returvärdet med enstr()
funktion oavsett den faktiska datatypen för det returnerade värdet. - UDF:er med
timestamp
returtyper tillämpar inte längre implicit en konvertering påtimestamp
medtimezone
. - Spark-klusterkonfigurationerna
spark.databricks.sql.externalUDF.*
gäller inte längre för PySpark-UDF:er i delade kluster. - Spark-klusterkonfigurationen
spark.databricks.safespark.externalUDF.plan.limit
påverkar inte längre PySpark-UDF:er, vilket tar bort den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er. - Spark-klusterkonfigurationen
spark.databricks.safespark.sandbox.size.default.mib
gäller inte längre för PySpark-UDF:er i delade kluster. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder duspark.databricks.pyspark.udf.isolation.memoryLimit
med ett minsta värde på100m
.
- UDF:er med en
- Datatypen
TimestampNTZ
stöds nu som en klustringskolumn med flytande klustring. Se Använda flytande klustring för Delta-tabeller. - [SPARK-47511][SQL] Kanonisera med uttryck genom att tilldela om ID:t
- [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
- [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
- [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
- Säkerhetsuppdateringar för operativsystem.
- (Beteendeförändring) För att säkerställa konsekvent beteende mellan beräkningstyper matchar PySpark-UDF:er på delade kluster nu beteendet för UDF:er på icke-isolering och tilldelade kluster. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
- den 3 januari 2024
- [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
- [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
- [SPARK-46954] XML: Omsluta InputStreamReader med BufferedReader.
- [SPARK-46655] Hoppa över frågekontextfångst i
DataFrame
metoder. - [SPARK-44815] Cachelagrat df.schema för att undvika extra RPC.
- [SPARK-46952] XML: Begränsa storleken på skadade poster.
- [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
- [SPARK-46736] behålla det tomma meddelandefältet i protobuf-anslutningsappen.
- [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
- [SPARK-46414] Använd prependBaseUri för att återge javascript-importer.
- [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden
TaskInfo.accumulables()
för . - [SPARK-46861] Undvik dödläge i DAGScheduler.
- [SPARK-46954] XML: Optimera schemaindexsökning.
- [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
- [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
- [SPARK-46731] Hantera tillståndslagerproviderinstans efter tillståndsdatakälla – läsare.
- [SPARK-46677] Åtgärda
dataframe["*"]
upplösningen. - [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
- [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
- [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
- [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
- [SPARK-46227] Backport till 14.3.
- [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
- Säkerhetsuppdateringar för operativsystem.
Databricks Runtime 14.2
- Den 30 maj 2024
- (Beteendeförändring)
dbutils.widgets.getAll()
stöds nu för att hämta alla widgetvärden i en notebook-fil.
- (Beteendeförändring)
- den 25 april 2024
- [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
- [SPARK-47828][ANSLUT] [PYTHON]
DataFrameWriterV2.overwrite
misslyckas med ogiltig plan - Säkerhetsuppdateringar för operativsystem.
- Den 9 april 2024
- Ingen
- [SPARK-47309][SQL] [XML] Lägg till schemainferensenhetstester
- [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
- [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
- [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
- [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
- Säkerhetsuppdateringar för operativsystem.
- den 8 februari 2024
- Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabeller
APPLY CHANGES
i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare. - [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
- [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
- [SPARK-46952] XML: Begränsa storleken på skadade poster.
- [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
- [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
- [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
- Säkerhetsuppdateringar för operativsystem.
- Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabeller
- den 31 januari 2024
- [SPARK-46382] XML: Uppdatera dokument för
ignoreSurroundingSpaces
. - [SPARK-46382] XML: Samla in värden mellan element.
- [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
- Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
- [SPARK-46677] Åtgärda
dataframe["*"]
upplösningen. - [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
- [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
- [SPARK-45964] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet.
- [SPARK-46581] Uppdatera kommentaren om isZero i AccumulatorV2.
- [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
- [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
- [SPARK-46660] ReattachExecute begär uppdateringar av sessionshållarens livskraft.
- [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
- [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden
TaskInfo.accumulables()
för . - [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
- [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
- [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
- [SPARK-45962] Ta bort
treatEmptyValuesAsNulls
och användnullValue
alternativet i stället i XML. - [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
- [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-46382] XML: Uppdatera dokument för
- den 17 januari 2024
- Noden
shuffle
i förklaringsplanen som returneras av en Photon-fråga uppdateras för att läggacausedBroadcastJoinBuildOOM=true
till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling. - För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-46261]
DataFrame.withColumnsRenamed
ska behålla dikteringen/kartordningen. - [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i
ALSModel.transform
. - [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
- [SPARK-46484] Se till att
resolveOperators
hjälpfunktionerna behåller plan-ID:t. - [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när
spark.sql.legacy.keepCommandOutputSchema
de är inställda på true. - [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
- [SPARK-46446] Inaktivera underfrågor med korrelerad OFFSET för att åtgärda fel vid korrekthet.
- [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
- [SPARK-46602]
allowExisting
Sprid i vyn när vyn/tabellen inte finns. - [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
- [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
- [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
- [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
- [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
- [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
- [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
- [SPARK-46260]
DataFrame.withColumnsRenamed
bör respektera dikteringsordningen. - [SPARK-46036] Ta bort felklassen från funktionen raise_error.
- [SPARK-46294] Rensa semantik av init- eller nollvärde.
- [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
- [SPARK-46250] Deflake test_parity_listener.
- [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
- [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
- [SPARK-46241] Åtgärda felhanteringsrutinen så att den inte hamnar i oändlig rekursion.
- [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
- [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
- [SPARK-46265] Kontroller i AddArtifact RPC gör anslutningsklienten inkompatibel med äldre kluster.
- [SPARK-46308] Förbjud rekursiv felhantering.
- [SPARK-46337] Behåll
CTESubstitution
PLAN_ID_TAG
.
- Noden
- den 14 december 2023
- [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
- [SPARK-45730] Gör ReloadingX509TrustManagerSuite mindre flagnande.
- [SPARK-45852] Hantera rekursionsfel under loggning.
- [SPARK-45808] Bättre felhantering för SQL-undantag.
- [SPARK-45920] gruppera efter ordning bör vara idempotent.
- Återställ "[SPARK-45649] Förena förberedelseramverket för
OffsetWindowFunctionFrame
". - [SPARK-45733] Stöd för flera återförsöksprinciper.
- [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Connect.
- [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
- [SPARK-45905] Minsta vanliga typ mellan decimaltyper bör behålla integralsiffror först.
- [SPARK-45136] Förbättra ClosureCleaner med Stöd för Ammonite.
- [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
- [SPARK-45859] Gör UDF-objekt i ml.functions lata.
- [SPARK-46028] Gör så att
Column.__getitem__
du accepterar indatakolumnen. - [SPARK-45798] Bekräfta sessions-ID på serversidan.
- [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla
validateSchemaOutput
ochvalidateExprIdUniqueness
. - [SPARK-45844] Implementera skiftlägeskänslighet för XML.
- [SPARK-45770] Introducera plan
DataFrameDropColumns
förDataframe.drop
. - [SPARK-44790] XML: to_xml implementering och bindningar för python, connect och SQL.
- [SPARK-45851] Stöd för flera principer i scala-klienten.
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - Åtgärdade ett problem där undantagna understreck i
getColumns
åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken. - [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - [SPARK-45852] Python-klienten för Spark Connect fångar nu upp rekursionsfel under textkonverteringen.
- [SPARK-45808] Förbättrad felhantering för SQL-undantag.
- [SPARK-45920]
GROUP BY
ordinal ersätter inte ordningstalet. - Återställ [SPARK-45649].
- [SPARK-45733] Stöd har lagts till för flera återförsöksprinciper.
- [SPARK-45509] Referensbeteende för kolumner har åtgärdats
df
för Spark Connect. - [SPARK-45655] Tillåt icke-deterministiska uttryck inuti
AggregateFunctions
iCollectMetrics
. - [SPARK-45905] Den minst vanliga typen mellan decimaltyper behåller nu integralsiffror först.
- [SPARK-45136] Förbättra
ClosureCleaner
med stöd för Ammonite. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - [SPARK-46028]
Column.__getitem__
accepterar indatakolumner. - [SPARK-45798] Bekräfta sessions-ID på serversidan.
- [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla
validateSchemaOutput
ochvalidateExprIdUniqueness
. - [SPARK-45844] Implementera skiftlägeskänslighet för XML.
- [SPARK-45770] Kolumnmatchning har åtgärdats med
DataFrameDropColumns
förDataframe.drop
. - [SPARK-44790] Implementering och bindningar har lagts till
to_xml
för Python, Spark Connect och SQL. - [SPARK-45851] Stöd har lagts till för flera principer i Scala-klienten.
- Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
Databricks Runtime 14.1
- Den 30 maj 2024
- (Beteendeförändring)
dbutils.widgets.getAll()
stöds nu för att hämta alla widgetvärden i en notebook-fil.
- (Beteendeförändring)
- den 25 april 2024
- [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
- [SPARK-47828][ANSLUT] [PYTHON]
DataFrameWriterV2.overwrite
misslyckas med ogiltig plan - Säkerhetsuppdateringar för operativsystem.
- Den 9 april 2024
- Ingen
- [SPARK-47638][PS] [ANSLUT] Hoppa över verifiering av kolumnnamn i PS
- [SPARK-38708][SQL] Uppgradera Hive Metastore-klienten till 3.1.3 för Hive 3.1
- [SPARK-47309][SQL] [XML] Lägg till schemainferensenhetstester
- [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
- [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av event-hubs
- Säkerhetsuppdateringar för operativsystem.
- den 8 februari 2024
- Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabeller
APPLY CHANGES
i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare. - [SPARK-46952] XML: Begränsa storleken på skadade poster.
- [SPARK-45182] Ignorera slutförande av aktiviteter från den gamla fasen efter att ha provat den överordnade obestämda fasen enligt kontrollsumman.
- [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
- [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
- [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
- [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
- [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
- [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid gjutning av jdbc-typ till katalysatortyp i jdbc.
- [SPARK-45957] Undvik att generera en körningsplan för icke-körbara kommandon.
- Säkerhetsuppdateringar för operativsystem.
- Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabeller
- den 31 januari 2024
- [SPARK-46684] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt.
- [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
- [SPARK-45498] Uppföljning: Ignorera slutförande av aktiviteter från gamla fasförsök.
- [SPARK-46382] XML: Uppdatera dokument för
ignoreSurroundingSpaces
. - [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden
TaskInfo.accumulables()
för . - [SPARK-46382] XML: Standard ignoreSurroundingSpaces till true.
- [SPARK-46677] Åtgärda
dataframe["*"]
upplösningen. - [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
- [SPARK-46633] Åtgärda Avro-läsare för att hantera block med noll längd.
- [SPARK-45912] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet.
- [SPARK-46599] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll.
- [SPARK-46382] XML: Samla in värden mellan element.
- [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
- [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
- [SPARK-45964] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet.
- Återställ [SPARK-46769] Förfina tidsstämpelrelaterad schemainferens.
- [SPARK-45962] Ta bort
treatEmptyValuesAsNulls
och användnullValue
alternativet i stället i XML. - [SPARK-46541] Åtgärda den tvetydiga kolumnreferensen i självkoppling.
- Säkerhetsuppdateringar för operativsystem.
- den 17 januari 2024
- Noden
shuffle
i förklaringsplanen som returneras av en Photon-fråga uppdateras för att läggacausedBroadcastJoinBuildOOM=true
till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling. - För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i
ALSModel.transform
. - [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
- [SPARK-46484] Se till att
resolveOperators
hjälpfunktionerna behåller plan-ID:t. - [SPARK-46153] XML: Lägg till stöd för TimestampNTZType.
- [SPARK-46152] XML: Lägg till DecimalType-stöd i XML-schemainferens.
- [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
- [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
- [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när
spark.sql.legacy.keepCommandOutputSchema
de är inställda på true. - [SPARK-46337] Behåll
CTESubstitution
PLAN_ID_TAG
. - [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
- [SPARK-46587] XML: Åtgärda XSD-konvertering av stora heltal.
- [SPARK-45814] Gör ArrowConverters.createEmptyArrowBatch-anrop close() för att undvika minnesläckage.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- [SPARK-46602]
allowExisting
Sprid i vyn när vyn/tabellen inte finns. - [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
- [SPARK-46355] XML: Stäng InputStreamReader när läsningen är klar.
- [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
- [SPARK-46261]
DataFrame.withColumnsRenamed
ska behålla dikteringen/kartordningen. - [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
- [SPARK-46260]
DataFrame.withColumnsRenamed
bör respektera dikteringsordningen. - [SPARK-46250] Deflake test_parity_listener.
- [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
- [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
- [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- Noden
- den 14 december 2023
- Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
- [SPARK-45509] Åtgärda referensbeteendet för df-kolumner för Spark Connect.
- [SPARK-45844] Implementera skiftlägeskänslighet för XML.
- [SPARK-46141] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED.
- [SPARK-46028] Gör så att
Column.__getitem__
du accepterar indatakolumnen. - [SPARK-46255] Stöd för komplex typ –> strängkonvertering.
- [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
- [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
- [SPARK-45316] Lägg till nya parametrar
ignoreCorruptFiles
/ignoreMissingFiles
iHadoopRDD
och .NewHadoopRDD
- [SPARK-45852] Hantera rekursionsfel under loggning.
- [SPARK-45920] gruppera efter ordning bör vara idempotent.
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - Åtgärdade ett problem där undantagna understreck i
getColumns
åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken. - När du matar in CSV-data med hjälp av autoinläsnings- eller strömningstabeller delas nu stora CSV-filer upp och kan bearbetas parallellt under både schemainferens och databearbetning.
- [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla
validateSchemaOutput
ochvalidateExprIdUniqueness
. - [SPARK-45620] API:er som är relaterade till Python UDF använder nu camelCase.
- [SPARK-44790] Implementering och bindningar har lagts till
to_xml
för Python, Spark Connect och SQL. - [SPARK-45770] Kolumnmatchning har åtgärdats med
DataFrameDropColumns
förDataframe.drop
. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - [SPARK-44784] Gjorde SBT-testning hermetisk.
- Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
- den 10 november 2023
- [SPARK-45545]
SparkTransportConf
SSLOptions
ärver när de skapas. - [SPARK-45250] Stöd har lagts till för aktivitetsresursprofil på stegnivå för yarn-kluster när dynamisk allokering är inaktiverad.
- [SPARK-44753] XML DataFrame-läsare och -skrivare har lagts till för PySpark SQL.
- [SPARK-45396] Lade till en dokumentpost för
PySpark.ml.connect
modulen. - [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med
TakeOrderedAndProjectExec
. - [SPARK-45541] SSLFactory har lagts till.
- [SPARK-45577] Har åtgärdats
UserDefinedPythonTableFunctionAnalyzeRunner
för att skicka vikta värden från namngivna argument. - [SPARK-45562] Gjorde "rowTag" till ett obligatoriskt alternativ.
- [SPARK-45427] RPC SSL-inställningar har lagts till i
SSLOptions
ochSparkTransportConf
. - [SPARK-43380] Åtgärdad avmattning i Avro-läsning.
- [SPARK-45430]
FramelessOffsetWindowFunction
misslyckas inte längre närIGNORE NULLS
ochoffset > rowCount
. - [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
- [SPARK-45386] Ett problem har åtgärdats där
StorageLevel.NONE
0 skulle returneras felaktigt. - [SPARK-44219] Valideringskontroller per regel har lagts till för optimeringsomskrivningar.
- [SPARK-45543] Ett problem har åtgärdats där
InferWindowGroupLimit
ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-45545]
- den 27 september 2023
- [SPARK-44823] Uppdaterad
black
till 23.9.1 och fast felaktig kontroll. - [SPARK-45339] PySpark loggar nu fel som den försöker igen.
- Återställ [SPARK-42946] Redigerade känsliga data kapslade under variabelersättningar.
- [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
- [SPARK-45360] Spark-sessionsverktyget stöder initiering från
SPARK_REMOTE
. - [SPARK-45279] Kopplad
plan_id
till alla logiska planer. - [SPARK-45425] Mappad
TINYINT
tillShortType
förMsSqlServerDialect
. - [SPARK-45419] Filversionsmappningsposten för större versioner har tagits bort för att undvika återanvändning
rocksdb
av SST-fil-ID:t. - [SPARK-45488] Stöd för värde i
rowTag
element har lagts till. - [SPARK-42205] Loggning av
Accumulables
starthändelser iTask/Stage
JsonProtocol
händelseloggar har tagits bort. - [SPARK-45426] Stöd har lagts till för
ReloadingX509TrustManager
. - [SPARK-45256]
DurationWriter
misslyckas när du skriver fler värden än den ursprungliga kapaciteten. - [SPARK-43380] Problem med datatypkonvertering utan att orsaka prestandaregression har åtgärdats
Avro
. - [SPARK-45182] Stöd har lagts till för att rulla tillbaka shuffle map-fasen så att alla stegaktiviteter kan göras om när fasutdata är obestämda.
- [SPARK-45399] XML-alternativ har lagts till med .
newOption
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-44823] Uppdaterad
Databricks Runtime 13.3 LTS
Se Databricks Runtime 13.3 LTS.
- Den 30 maj 2024
- (Beteendeförändring)
dbutils.widgets.getAll()
stöds nu för att hämta alla widgetvärden i en notebook-fil.
- (Beteendeförändring)
- den 25 april 2024
- [SPARK-44653][SQL] Icke-triviala DataFrame-fackföreningar bör inte avbryta cachelagring
- Diverse felkorrigeringar.
- Den 9 april 2024
- [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
- Säkerhetsuppdateringar för operativsystem.
- den 8 februari 2024
- Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabeller
APPLY CHANGES
i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare. - [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
- [SPARK-46933] Lägg till tidsmått för frågekörning till anslutningsappar som använder JDBCRDD.
- [SPARK-45582] Kontrollera att butiksinstansen inte används efter att du har anropat incheckningen i direktuppspelningsaggregering i utdataläget.
- [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
- Säkerhetsuppdateringar för operativsystem.
- Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Strömningstabeller i Unity Catalog stöder CDF-frågor på icke-tabeller
- den 31 januari 2024
- [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
- [SPARK-46383] Minska drivrutins heapanvändningen genom att minska livslängden för TaskInfo.accumulables().
- [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
- [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
- [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
- Säkerhetsuppdateringar för operativsystem.
- den 17 januari 2024
- Noden
shuffle
i förklaringsplanen som returneras av en Photon-fråga uppdateras för att läggacausedBroadcastJoinBuildOOM=true
till flaggan när ett out-of-memory-fel inträffar under en blandning som ingår i en sändningskoppling. - För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- [SPARK-46173] Hoppar över trimAllt anrop under datumparsing.
- [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
- [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
- [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
- [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- [SPARK-46602]
allowExisting
Sprid i vyn när vyn/tabellen inte finns. - [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
- [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
- [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i
ALSModel.transform
. - [SPARK-46478] Återställ SPARK-43049 för att använda oracle varchar(255) för sträng.
- [SPARK-46250] Deflake test_parity_listener.
- [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när
spark.sql.legacy.keepCommandOutputSchema
de är inställda på true. - [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
- [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
- [SPARK-46466] Vectorized parquet reader should never do rebase for timestamp ntz.
- Noden
- den 14 december 2023
- Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
- [SPARK-45920] gruppera efter ordning bör vara idempotent.
- [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
- [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
- [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - Spark-snowflake-anslutningsappen uppgraderas till 2.12.0.
- [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter
RemoveRedundantAggregates
. - [SPARK-45544] Integrerat SSL-stöd i
TransportContext
. - [SPARK-45892] Verifiering av refaktoroptimerarplan för frikoppla
validateSchemaOutput
ochvalidateExprIdUniqueness
. - [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
- den 10 november 2023
- Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
- Ändrade dataflödesfrågor i Unity Catalog Streaming Tables och Materialized Views för att visa felmeddelanden.
- [SPARK-45545]
SparkTransportConf
SSLOptions
ärver när de skapas. - [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med
TakeOrderedAndProjectExec
. - [SPARK-45427] RPC SSL-inställningar har lagts till i
SSLOptions
ochSparkTransportConf
. - [SPARK-45541] Lade till
SSLFactory
. - [SPARK-45430]
FramelessOffsetWindowFunction
misslyckas inte längre närIGNORE NULLS
ochoffset > rowCount
. - [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
- [SPARK-44219] Extra verifiering per regel har lagts till för optimeringsomskrivningar.
- [SPARK-45543] Ett problem har åtgärdats där
InferWindowGroupLimit
ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna. - Säkerhetsuppdateringar för operativsystem.
- den 23 oktober 2023
- [SPARK-45256] Åtgärdade ett problem där det inte gick att
DurationWriter
skriva fler värden än den ursprungliga kapaciteten. - [SPARK-45419] Undvik att återanvända
rocksdb sst
filer i en annanrocksdb
instans genom att ta bort mappningsposter för filversioner av större versioner. - [SPARK-45426] Stöd har lagts till för
ReloadingX509TrustManager
. - Diverse korrigeringar.
- [SPARK-45256] Åtgärdade ett problem där det inte gick att
- den 13 oktober 2023
- Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
- Funktionen
array_insert
är 1-baserad för positiva och negativa index, medan den tidigare var 0-baserad för negativa index. Nu infogar den ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger duspark.sql.legacy.negativeIndexInArrayInsert
tilltrue
. - Åtgärdat ett problem med att inte ignorera skadade filer när
ignoreCorruptFiles
är aktiverat under CSV-schemainferens med Auto Loader. - Återställ [SPARK-42946].
- [SPARK-42205] JSON-protokollet har uppdaterats för att ta bort loggning av ackumulables i en aktivitets- eller fasstarthändelser.
- [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för
Trigger.AvailableNow
att använda omslutningen. - [SPARK-45316] Lägg till nya parametrar
ignoreCorruptFiles
ochignoreMissingFiles
tillHadoopRDD
ochNewHadoopRDD
. - [SPARK-44740] Metadatavärden för artefakter har åtgärdats.
- [SPARK-45360] Initierad Konfiguration av Spark-sessionsverktyget från
SPARK_REMOTE
. - [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
- [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänsliga flaggor vid sammanslagning av schema.
- [SPARK-44658]
ShuffleStatus.getMapStatus
returnerarNone
nu i ställetSome(null)
för . - [SPARK-44840] Gjorde
array_insert()
1-baserad för negativa index.
- den 14 september 2023
- [SPARK-44873] Stöd har lagts till för
alter view
med kapslade kolumner i Hive-klienten. - [SPARK-44878] Inaktiverad strikt gräns för skrivhanteraren för
RocksDB
att undvika att infogningsfelet för cachen har slutförts.
- [SPARK-44873] Stöd har lagts till för
- den 30 augusti 2023
- Kommandot dbutils
cp
(dbutils.fs.cp
) har optimerats för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärder ta upp till 100 mindre tid, beroende på filstorleken. Funktionen är tillgänglig i alla moln och filsystem som är tillgängliga i Databricks, inklusive för Unity-katalogvolymer och DBFS-monteringar. - [SPARK-44455] Offertidentifierare med backticks i resultatet
SHOW CREATE TABLE
. - [SPARK-44763] Ett problem som visade en sträng som en dubbel i binär aritmetik med intervall har åtgärdats.
- [SPARK-44871] Fast
percentile_disc
beteende. - [SPARK-44714] Minska begränsningen av LCA-lösning för frågor.
- [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan
taskThread
initierades har åtgärdats. - [SPARK-44505] Åsidosättning har lagts till för columnar-stöd i Scan for DSv2.
- [SPARK-44479] Protobuf-konverteringen har åtgärdats från en tom structtyp.
- [SPARK-44718] Matcha
ColumnVector
standardinställningen för konfiguration av minnesläge tillOffHeapMemoryMode
konfigurationsvärdet. - [SPARK-42941] Stöd har lagts till för
StreamingQueryListener
i Python. - [SPARK-44558] Exportera PySparks Spark Connect-loggnivå.
- [SPARK-44464] Har korrigerats
applyInPandasWithStatePythonRunner
för utdatarader som har Null som det första kolumnvärdet. - [SPARK-44643] Fast
Row.__repr__
när fältet är en tom rad. - Säkerhetsuppdateringar för operativsystem.
- Kommandot dbutils
Databricks Runtime 12.2 LTS
Se Databricks Runtime 12.2 LTS.
- den 25 april 2024
- Säkerhetsuppdateringar för operativsystem.
- Den 9 april 2024
- Säkerhetsuppdateringar för operativsystem.
- den 13 februari 2024
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
- Säkerhetsuppdateringar för operativsystem.
- den 31 januari 2024
- [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
- Säkerhetsuppdateringar för operativsystem.
- den 25 december 2023
- För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när
spark.sql.legacy.keepCommandOutputSchema
de är inställda på true. - [SPARK-46417] Misslyckas inte när du anropar hive.getTable och throwException är falskt.
- [SPARK-43067] Korrigera platsen för felklassresursfilen i Kafka-anslutningsappen.
- [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
- [SPARK-46602]
allowExisting
Sprid i vyn när vyn/tabellen inte finns. - [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- [SPARK-46145] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas.
- [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i
ALSModel.transform
. - [SPARK-42852] Återställ NamedLambdaVariable-relaterade ändringar från EquivalentExpressions.
- den 14 december 2023
- Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
- [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
- [SPARK-45920] gruppera efter ordning bör vara idempotent.
- [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - Åtgärdade ett problem där undantagna understreck i
getColumns
åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken. - [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i
Stage
ochTask
starthändelser har tagits bort. - [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter
RemoveRedundantAggregates
. - [SPARK-43718] Ogiltighet för nycklar i
USING
kopplingar har åtgärdats. - [SPARK-45544] Integrerat SSL-stöd i
TransportContext
. - [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
- [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
- den 14 november 2023
- Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
- [SPARK-45545]
SparkTransportConf
SSLOptions
ärver när de skapas. - [SPARK-45427] RPC SSL-inställningar har lagts till i
SSLOptions
ochSparkTransportConf
. - [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med
TakeOrderedAndProjectExec
. - [SPARK-45541] Lade till
SSLFactory
. - [SPARK-45430]
FramelessOffsetWindowFunction
misslyckas inte längre närIGNORE NULLS
ochoffset > rowCount
. - [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
- Säkerhetsuppdateringar för operativsystem.
- den 24 oktober 2023
- [SPARK-45426] Stöd har lagts till för
ReloadingX509TrustManager
. - Diverse korrigeringar.
- [SPARK-45426] Stöd har lagts till för
- den 13 oktober 2023
- Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
- [SPARK-42553] Kontrollera minst en tidsenhet efter intervall.
- [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänslig flagga vid sammanslagning av schema.
- [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för
Trigger.AvailableNow
att använda omslutningen. - [SPARK-45084]
StateOperatorProgress
för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.
- den 12 september 2023
- [SPARK-44873] Stöd har lagts till för
alter view
med kapslade kolumner i Hive-klienten. - [SPARK-44718] Matcha
ColumnVector
standardinställningen för konfiguration av minnesläge tillOffHeapMemoryMode
konfigurationsvärdet. - [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API
Protobuf
:et. - Diverse korrigeringar.
- [SPARK-44873] Stöd har lagts till för
- den 30 augusti 2023
- [SPARK-44485] Optimerad
TreeNode.generateTreeString
. - [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan
taskThread
initierades har åtgärdats. - [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Fast
percentile_disc
beteende. - [SPARK-44714] Förenklad begränsning av LCA-lösning för frågor.
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-44485] Optimerad
- den 15 augusti 2023
- [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
- [SPARK-44464] Har korrigerats
applyInPandasWithStatePythonRunner
för utdatarader som harNull
som det första kolumnvärdet. - Säkerhetsuppdateringar för operativsystem.
- den 29 juli 2023
- Ett problem som
dbutils.fs.ls()
returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanteradINVALID_PARAMETER_VALUE.LOCATION_OVERLAP
lagringsplats har åtgärdats. - [SPARK-44199]
CacheManager
uppdaterasfileIndex
inte längre i onödan. - Säkerhetsuppdateringar för operativsystem.
- Ett problem som
- den 24 juli 2023
- [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till
Any.getDefaultInstance
orsakade parsningsfel. - [SPARK-44136] Åtgärdade ett problem där
StateManager
materialiserades i en exekutor i stället för drivrutinen iFlatMapGroupsWithStateExec
. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till
- Den 23 juni 2023
- Säkerhetsuppdateringar för operativsystem.
- Den 15 juni 2023
- Fotoniserad
approx_count_distinct
. - Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
- [SPARK-43779]
ParseToDate
läser nu inEvalMode
i huvudtråden. - [SPARK-43156][SPARK-43098] Utökat feltest för antal skalära underfrågor med
decorrelateInnerQuery
inaktiverat. - Säkerhetsuppdateringar för operativsystem.
- Fotoniserad
- 2 juni 2023
- JSON-parsern i
failOnUnknownFields
läge släpper en post iDROPMALFORMED
läge och misslyckas direkt iFAILFAST
läget. - Förbättra prestanda för inkrementella uppdateringar med
SHALLOW CLONE
Iceberg och Parquet. - Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
- [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
- [SPARK-43413][11.3-13.0] Fast
IN
ogiltighet för underfrågorListQuery
. - [SPARK-43522] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
- [SPARK-43541] Sprid alla
Project
taggar för att matcha uttryck och kolumner som saknas. - [SPARK-43527] Fast
catalog.listCatalogs
i PySpark. - [SPARK-43123] Interna fältmetadata läcker inte längre till kataloger.
- [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
- [SPARK-42444]
DataFrame.drop
hanterar nu duplicerade kolumner korrekt. - [SPARK-42937]
PlanSubqueries
ställer nu inInSubqueryExec#shouldBroadcast
på sant. - [SPARK-43286] CBC-läget har uppdaterats
aes_encrypt
för att generera slumpmässiga IV:er. - [SPARK-43378] Stäng strömobjekt i
deserializeFromChunkedBuffer
.
- JSON-parsern i
- 17 maj 2023
- Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
- Om en Avro-fil lästes med bara
failOnUnknownFields\
alternativet eller med Auto Loader ifailOnNewColumns\
schemautvecklingsläget, skulle kolumner som har olika datatyper läsas somnull\
i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativetrescuedDataColumn\
. - Automatisk inläsning gör nu följande.
-
- Läser korrekt och räddar
Integer
inte längre ,Short
ochByte
typer om någon av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
- Läser korrekt och räddar
-
- Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika att få skadade datum.
-
- Förhindrar lästyper
Decimal
med lägre precision.
- Förhindrar lästyper
- [SPARK-43172] Exponerar värd och token från Spark Connect-klienten.
- [SPARK-43293]
__qualified_access_only
ignoreras i normala kolumner. - [SPARK-43098]
COUNT
Buggen korrigerades när skalära underfrågor grupperas efter sats. - [SPARK-43085] Stöd för kolumntilldelning
DEFAULT
för tabellnamn i flera delar. - [SPARK-43190]
ListQuery.childOutput
är nu konsekvent med sekundära utdata. - [SPARK-43192] Användaragentens teckenuppsättningsverifiering har tagits bort.
- Säkerhetsuppdateringar för operativsystem.
- den 25 april 2023
- Om en Parquet-fil lästes med bara
failOnUnknownFields
alternativet eller med Auto Loader ifailOnNewColumns
schemautvecklingsläget, skulle kolumner som hade olika datatyper läsas somnull
i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa läsningar misslyckas nu och rekommenderar användare att använda alternativetrescuedDataColumn
. - Automatisk inläsare läser nu korrekt och räddar
Integer
inte längre ,Short
ochByte
typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel göra att kolumner sparas trots att de var läsbara. - [SPARK-43009] Parameteriserad
sql()
medAny
konstanter - [SPARK-42406] Avsluta rekursiva Protobuf-fält genom att släppa fältet
- [SPARK-43038] Stöd för CBC-läget genom att
aes_encrypt()
/aes_decrypt()
- [SPARK-42971] Ändra till utskrift
workdir
omappDirs
är null när arbetshandtagshändelsenWorkDirCleanup
- [SPARK-43018] Åtgärda bugg för INSERT-kommandon med tidsstämpelliteraler
- Säkerhetsuppdateringar för operativsystem.
- Om en Parquet-fil lästes med bara
- den 11 april 2023
- Stöd för äldre datakällformat i
SYNC
kommandot. - Åtgärdar ett problem i %autoreload-beteendet i notebook-filer utanför en lagringsplats.
- Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
- [SPARK-42928] Synkroniseras
resolvePersistentFunction
. - [SPARK-42936] Åtgärdar LCan-problem när satsen kan lösas direkt av dess underordnade aggregering.
- [SPARK-42967] Korrigeringar
SparkListenerTaskStart.stageAttemptId
när en aktivitet startar efter att fasen har avbrutits. - Säkerhetsuppdateringar för operativsystem.
- Stöd för äldre datakällformat i
- Den 29 mars 2023
Databricks SQL har nu stöd för att ange standardvärden för kolumner i Delta Lake-tabeller, antingen när tabellen skapas eller efteråt. Efterföljande
INSERT
kommandon ,UPDATE
,DELETE
ochMERGE
kan referera till valfri kolumns standardvärde med det explicitaDEFAULT
nyckelordet. Om någonINSERT
tilldelning dessutom har en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden för de återstående kolumnerna (eller NULL om inget standardvärde anges).Till exempel:
CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta; INSERT INTO t VALUES (0, DEFAULT); INSERT INTO t VALUES (1, DEFAULT); SELECT first, second FROM t; \> 0, 2023-03-28 1, 2023-03-28z
Automatisk inläsning initierar nu minst en synkron RocksDB-loggrensning för strömmar för
Trigger.AvailableNow
att kontrollera att kontrollpunkten regelbundet kan rensas för snabba automatiska inläsningsströmmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men det sparar lagringskostnader och förbättrar upplevelsen för automatisk inläsning i framtida körningar.Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av
DeltaTable.addFeatureSupport(feature_name)
.[SPARK-42794] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming
[SPARK-42521] Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen
[SPARK-42702][SPARK-42623] Stöd för parametriserad fråga i underfrågor och CTE
[SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp
[SPARK-42403] JsonProtocol ska hantera null-JSON-strängar
- Den 8 mars 2023
- Felmeddelandet "Det gick inte att initiera konfigurationen" har förbättrats för att ge kunden mer kontext.
- Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu
'delta.feature.featureName'='supported'
i stället'delta.feature.featureName'='enabled'
för . För bakåtkompatibilitet fungerar fortfarande användning'delta.feature.featureName'='enabled'
och fortsätter att fungera. - Från och med den här versionen är det möjligt att skapa/ersätta en tabell med ytterligare en tabellegenskap
delta.ignoreProtocolDefaults
för att ignorera protokollrelaterade Spark-konfigurationer, som innehåller standardversioner av läsare och skrivare och tabellfunktioner som stöds som standard. - [SPARK-42070] Ändra standardvärdet för argumentet för maskfunktionen från -1 till NULL
- [SPARK-41793] Felaktigt resultat för fönsterramar som definierats av en intervallsats på betydande decimaler
- [SPARK-42484] UnsafeRowUtils bättre felmeddelande
- [SPARK-42516] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
- [SPARK-42635] Åtgärda timestampAdd-uttrycket.
- [SPARK-42622] Inaktiverat ersättning i värden
- [SPARK-42534] Åtgärda DB2Dialect Limit-sats
- [SPARK-42121] Lägg till inbyggda tabellvärdesfunktioner posexplode, posexplode_outer, json_tuple och stack
- [SPARK-42045] ANSI SQL-läge: Round/Bround ska returnera ett fel vid litet/litet/betydande heltalsspill
- Säkerhetsuppdateringar för operativsystem.
Databricks Runtime 11.3 LTS
Se Databricks Runtime 11.3 LTS.
- den 25 april 2024
- Säkerhetsuppdateringar för operativsystem.
- Den 9 april 2024
- Säkerhetsuppdateringar för operativsystem.
- den 13 februari 2024
- [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- Säkerhetsuppdateringar för operativsystem.
- den 31 januari 2024
- Säkerhetsuppdateringar för operativsystem.
- den 25 december 2023
- För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- [SPARK-46602]
allowExisting
Sprid i vyn när vyn/tabellen inte finns. - [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när
spark.sql.legacy.keepCommandOutputSchema
de är inställda på true. - [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i
ALSModel.transform
. - [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
- [SPARK-46249] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- den 14 december 2023
- Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - Åtgärdade ett problem där undantagna understreck i
getColumns
åtgärder från JDBC- eller ODBC-klienter felaktigt tolkades som jokertecken. - [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
- [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - [SPARK-45544] Integrerat SSL-stöd i
TransportContext
. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - [SPARK-43718] Ogiltighet för nycklar i
USING
kopplingar har åtgärdats. - [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter
RemoveRedundantAggregates
. - Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
- den 14 november 2023
- Partitionsfilter på Delta Lake-strömningsfrågor pushas ned innan hastighetsbegränsningen uppnås för bättre användning.
- [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
- [SPARK-45545]
SparkTransportConf
SSLOptions
ärver när de skapas. - Återställ [SPARK-33861].
- [SPARK-45541] Lade till
SSLFactory
. - [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
- [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med
TakeOrderedAndProjectExec
. - [SPARK-45430]
FramelessOffsetWindowFunction
misslyckas inte längre närIGNORE NULLS
ochoffset > rowCount
. - [SPARK-45427] RPC SSL-inställningar har lagts till i
SSLOptions
ochSparkTransportConf
. - Säkerhetsuppdateringar för operativsystem.
- den 24 oktober 2023
- [SPARK-45426] Stöd har lagts till för
ReloadingX509TrustManager
. - Diverse korrigeringar.
- [SPARK-45426] Stöd har lagts till för
- den 13 oktober 2023
- Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
- [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för
Trigger.AvailableNow
att använda omslutningen. - [SPARK-45084]
StateOperatorProgress
för att använda ett korrekt, tillräckligt shuffle-partitionsnummer. - [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänslig flagga vid sammanslagning av ett schema.
- Säkerhetsuppdateringar för operativsystem.
- den 10 september 2023
- Diverse korrigeringar.
- den 30 augusti 2023
- [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan
taskThread
initierades har åtgärdats. - [SPARK-44871][11.3-13.0] Fast
percentile_disc
beteende. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan
- den 15 augusti 2023
- [SPARK-44485] Optimerad
TreeNode.generateTreeString
. - [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
- [SPARK-44464] Har korrigerats
applyInPandasWithStatePythonRunner
för utdatarader som harNull
som det första kolumnvärdet. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-44485] Optimerad
- den 27 juli 2023
- Ett problem som
dbutils.fs.ls()
returnerades när det anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanteradINVALID_PARAMETER_VALUE.LOCATION_OVERLAP
lagringsplats har åtgärdats. - [SPARK-44199]
CacheManager
uppdaterasfileIndex
inte längre i onödan. - Säkerhetsuppdateringar för operativsystem.
- Ett problem som
- den 24 juli 2023
- [SPARK-44136] Åtgärdade ett problem som StateManager kan materialiseras i exekutor i stället för drivrutin i FlatMapGroupsWithStateExec.
- Säkerhetsuppdateringar för operativsystem.
- Den 23 juni 2023
- Säkerhetsuppdateringar för operativsystem.
- Den 15 juni 2023
- Fotoniserad
approx_count_distinct
. - Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
- [SPARK-43779]
ParseToDate
läser nu inEvalMode
i huvudtråden. - [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Extended scalar subquery count bug test med
decorrelateInnerQuery
inaktiverat. - [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
- Säkerhetsuppdateringar för operativsystem.
- Fotoniserad
- 2 juni 2023
- JSON-parsern i
failOnUnknownFields
läge släpper en post iDROPMALFORMED
läge och misslyckas direkt iFAILFAST
läget. - Förbättra prestanda för inkrementella uppdateringar med
SHALLOW CLONE
Iceberg och Parquet. - Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
- [SPARK-43404]Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
- [SPARK-43527] Fast
catalog.listCatalogs
i PySpark. - [SPARK-43413][11.3-13.0] Fast
IN
ogiltighet för underfrågorListQuery
. - [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
- JSON-parsern i
Databricks Runtime 10.4 LTS
Se Databricks Runtime 10.4 LTS.
- den 25 april 2024
- Säkerhetsuppdateringar för operativsystem.
- den 6 april 2024
- Säkerhetsuppdateringar för operativsystem.
- den 13 februari 2024
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- Säkerhetsuppdateringar för operativsystem.
- den 31 januari 2024
- Säkerhetsuppdateringar för operativsystem.
- den 25 december 2023
- För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i
ALSModel.transform
. - [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- den 14 december 2023
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - [SPARK-45544] Integrerat SSL-stöd i
TransportContext
. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - [SPARK-43718] Ogiltighet för nycklar i
USING
kopplingar har åtgärdats. - [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
- [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter
RemoveRedundantAggregates
. - Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
- den 14 november 2023
- [SPARK-45541] Lade till
SSLFactory
. - [SPARK-45545]
SparkTransportConf
SSLOptions
ärver när de skapas. - [SPARK-45427] RPC SSL-inställningar har lagts till i
SSLOptions
ochSparkTransportConf
. - [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
- [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med
TakeOrderedAndProjectExec
. - Återställ [SPARK-33861].
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-45541] Lade till
- den 24 oktober 2023
- [SPARK-45426] Stöd har lagts till för
ReloadingX509TrustManager
. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-45426] Stöd har lagts till för
- den 13 oktober 2023
- [SPARK-45084]
StateOperatorProgress
för att använda ett korrekt, tillräckligt shuffle-partitionsnummer. - [SPARK-45178] Återgå till att köra en enda batch för med källor som inte stöds i stället för
Trigger.AvailableNow
att använda omslutningen. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-45084]
- den 10 september 2023
- Diverse korrigeringar.
- den 30 augusti 2023
- [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan
taskThread
initierades har åtgärdats. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan
- den 15 augusti 2023
- [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid stoppfel.
- [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet verkar nu ha felade frågor korrekt.
- Säkerhetsuppdateringar för operativsystem.
- Den 23 juni 2023
- Säkerhetsuppdateringar för operativsystem.
- Den 15 juni 2023
- Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
- [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats
- [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Test av utökat antal skalära underfrågor med
decorrelateInnerQuery
inaktiverat. - Säkerhetsuppdateringar för operativsystem.
- 2 juni 2023
- JSON-parsern i
failOnUnknownFields
läge släpper en post iDROPMALFORMED
läge och misslyckas direkt iFAILFAST
läget. - Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra
UnknownFieldException
. - Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
- [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
- [SPARK-43413] Ogiltighet för underfrågor
ListQuery
har åtgärdatsIN
. - Säkerhetsuppdateringar för operativsystem.
- JSON-parsern i
- 17 maj 2023
- Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras till en förebyggande lägre batchstorlek och sänks igen vid återförsök av uppgifter som ett slutligt säkerhetsnät.
- [SPARK-41520] Dela
AND_OR
upp trädmönster för att separeraAND
ochOR
. - [SPARK-43190]
ListQuery.childOutput
är nu konsekvent med sekundära utdata. - Säkerhetsuppdateringar för operativsystem.
- den 25 april 2023
- [SPARK-42928] Gör
resolvePersistentFunction
synkroniserad. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-42928] Gör
- den 11 april 2023
- Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
- [SPARK-42937]
PlanSubqueries
ställer nu inInSubqueryExec#shouldBroadcast
på sant. - [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
- Den 29 mars 2023
- [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp
- [SPARK-42635] Åtgärda ...
- Säkerhetsuppdateringar för operativsystem.
- den 14 mars 2023
- [SPARK-41162] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
- [SPARK-33206] Åtgärda beräkning av shuffle-indexcachevikt för små indexfiler
- [SPARK-42484] Förbättrade felmeddelandet
UnsafeRowUtils
- Diverse korrigeringar.
- den 28 februari 2023
- Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
- Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
- Stöd genererad kolumn för å-MM-dd date_format. Den här ändringen stöder partitionsrensning för åå-MM-dd som en date_format i genererade kolumner.
- Säkerhetsuppdateringar för operativsystem.
- den 16 februari 2023
- [SPARK-30220] Aktivera användning av Exists/In-underfrågor utanför filternoden
- Säkerhetsuppdateringar för operativsystem.
- den 31 januari 2023
- Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
- den 18 januari 2023
- Azure Synapse Connector returnerar ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande:
Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
. - [SPARK-38277] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
- [SPARK-41199] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
- [SPARK-41198] Åtgärda mått i strömningsfrågan med CTE- och DSv1-strömningskälla.
- [SPARK-41339] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa.
- [SPARK-41732] Använd trädmönsterbaserad beskärning för regeln SessionWindowing.
- Säkerhetsuppdateringar för operativsystem.
- Azure Synapse Connector returnerar ett mer beskrivande felmeddelande när ett kolumnnamn innehåller ogiltiga tecken, till exempel blanksteg eller semikolon. I sådana fall returneras följande meddelande:
- den 29 november 2022
- Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av tomt utrymme:
csvignoreleadingwhitespace
, när det är inställt påtrue
, tar bort inledande blanksteg från värden under skrivningar närtempformat
är inställt påCSV
ellerCSV GZIP
. Blanksteg behålls när konfigurationen är inställd påfalse
. Som standard är värdettrue
.csvignoretrailingwhitespace
, när det är inställt påtrue
, tar bort avslutande tomt utrymme från värden under skrivningar närtempformat
är inställt påCSV
ellerCSV GZIP
. Blanksteg behålls när konfigurationen är inställd påfalse
. Som standard är värdettrue
.
- Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (
cloudFiles.inferColumnTypes
har inte angetts eller angetts tillfalse
) och JSON innehåller kapslade objekt. - Säkerhetsuppdateringar för operativsystem.
- Användare kan konfigurera ledande och avslutande blankstegs beteende när de skriver data med hjälp av Redshift-anslutningsappen. Följande alternativ har lagts till för att styra hanteringen av tomt utrymme:
- den 15 november 2022
- Uppgraderade Apache commons-text till 1.10.0.
- [SPARK-40646] JSON-parsning för structs, kartor och matriser har åtgärdats, så när en del av en post inte matchar schemat kan resten av posten fortfarande parsas korrekt i stället för att returnera nullvärden. Om du vill anmäla dig för det förbättrade beteendet anger du
spark.sql.json.enablePartialResults
tilltrue
. Flaggan är inaktiverad som standard för att bevara det ursprungliga beteendet. - [SPARK-40292] Åtgärda kolumnnamn i
arrays_zip
funktionen när matriser refereras från kapslade structs - Säkerhetsuppdateringar för operativsystem.
- Den 1 november 2022
- Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet
_change_type
, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kördeMERGE
. - Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när
allowOverwrites
den är aktiverad - [SPARK-40697] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
- [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
- Säkerhetsuppdateringar för operativsystem.
- Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet
- den 18 oktober 2022
- Säkerhetsuppdateringar för operativsystem.
- den 5 oktober 2022
- [SPARK-40468] Åtgärda kolumnrensning i CSV när
_corrupt_record
du väljer . - Säkerhetsuppdateringar för operativsystem.
- [SPARK-40468] Åtgärda kolumnrensning i CSV när
- den 22 september 2022
- Användare kan ange spark.conf.set(
spark.databricks.io.listKeysWithPrefix.azure.enabled
,true
) för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna. - [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
- [SPARK-40213] Stöd för ASCII-värdekonvertering för latinska-1 tecken
- [SPARK-40380] Åtgärda konstant vikning av InvokeLike för att undvika icke-serialiserbar literal inbäddad i planen
- [SPARK-38404] Förbättra CTE-upplösningen när en kapslad CTE refererar till en yttre CTE
- [SPARK-40089] Korrigera sortering för vissa decimaltyper
- [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
- Användare kan ange spark.conf.set(
- den 6 september 2022
- [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies().
- [SPARK-40218] GRUPPERINGSUPPSÄTTNINGAR bör bevara grupperingskolumnerna.
- [SPARK-39976] ArrayIntersect ska hantera null i det vänstra uttrycket korrekt.
- [SPARK-40053] Lägg till
assume
i dynamiska avbrottsfall som kräver Python-körningsmiljö. - [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den.
- [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall.
- den 24 augusti 2022
- [SPARK-39983] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen.
- [SPARK-39775] Inaktivera verifiera standardvärden vid parsning av Avro-scheman.
- [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
- [SPARK-37643] när charVarcharAsString är sant bör predicate-frågan för teckendatatyp hoppa över rpadding-regeln.
- Säkerhetsuppdateringar för operativsystem.
- den 9 augusti 2022
- [SPARK-39847] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om den anropande tråden avbryts
- [SPARK-39731] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
- Säkerhetsuppdateringar för operativsystem.
- den 27 juli 2022
- [SPARK-39625] Lägg till Dataset.as(StructType).
- [SPARK-39689]Stöd för 2 tecken
lineSep
i CSV-datakällan. - [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded bör vara trådsäker.
- [SPARK-39570] Infogad tabell bör tillåta uttryck med alias.
- [SPARK-39702] Minska minneskostnaderna för TransportCipher$EncryptedMessage med hjälp av en delad byteRawChannel.
- [SPARK-39575] lägg till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
- [SPARK-39476] Inaktivera optimering av avskrivningsgjutning vid gjutning från Lång till Flyttal/Dubbel eller från Heltal till Flyttal.
- [SPARK-38868] Sprid inte undantag från filterpredikat när du optimerar yttre kopplingar.
- Säkerhetsuppdateringar för operativsystem.
- den 20 juli 2022
- Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
- [SPARK-39355] En kolumn använder citerad för att konstruera UnresolvedAttribute.
- [SPARK-39548] CreateView-kommandot med en fönstersatsfråga trycker på ett fel fönsterdefinitionsfel hittades inte.
- [SPARK-39419] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null.
- Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
- Säkerhetsuppdateringar för operativsystem.
- den 5 juli 2022
- [SPARK-39376] Dölj duplicerade kolumner i stjärnexpansion av underfrågasalias från NATURAL/USING JOIN
- Säkerhetsuppdateringar för operativsystem.
- Den 15 juni 2022
- [SPARK-39283] Åtgärda dödläget mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
- [SPARK-39285] Spark bör inte kontrollera fältnamn vid läsning av filer.
- [SPARK-34096] Förbättra prestanda för nth_value ignorera null-värden över förskjutningsfönstret.
- [SPARK-36718]
isExtractOnly
Åtgärda kontrollen i CollapseProject.
- 2 juni 2022
- [SPARK-39093] Undvik codegen-kompileringsfel när du dividerar årsmånadsintervall eller dagtidsintervall med en integral.
- [SPARK-38990] Undvik NullPointerException när du utvärderar date_trunc/trunkeringsformat som en bunden referens.
- Säkerhetsuppdateringar för operativsystem.
- Den 18 maj 2022
- Åtgärdar en potentiell inbyggd minnesläcka i Auto Loader.
- [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen.
- [SPARK-37593] Minska standardstorleken för sidan med LONG_ARRAY_OFFSET om G1GC och ON_HEAP används.
- [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp av TaskContext för att stoppa iteratorn vid slutförande av aktiviteten.
- [SPARK-32268] Lägg till ColumnPruning i injectBloomFilter.
- [SPARK-38974] Filtrera registrerade funktioner med ett angivet databasnamn i listfunktioner.
- [SPARK-38931] Skapa rot-dfs-katalog för RocksDBFileManager med ett okänt antal nycklar på första kontrollpunkten.
- Säkerhetsuppdateringar för operativsystem.
- den 19 april 2022
- Uppgraderade Java AWS SDK från version 1.11.655 till 1.12.1899.
- Ett problem med bibliotek med notebook-omfång som inte fungerar i batchströmningsjobb har åtgärdats.
- [SPARK-38616] Hålla reda på SQL-frågetext i Catalyst TreeNode
- Säkerhetsuppdateringar för operativsystem.
- den 6 april 2022
- Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:
timestampadd()
ochdateadd()
: Lägg till en tidsvaraktighet i en angiven enhet i ett tidsstämpeluttryck.timestampdiff()
ochdatediff()
: Beräkna tidsskillnaden mellan tvåtidsstämpeluttryck i en angiven enhet.
- Parquet-MR har uppgraderats till 1.12.2
- Förbättrat stöd för omfattande scheman i parquet-filer
- [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
- [SPARK-38509][SPARK-38481] Cherry-plocka tre
timestmapadd/diff
ändringar. - [SPARK-38523] Korrigering som refererar till den skadade postkolumnen från CSV.
- [SPARK-38237] Tillåt
ClusteredDistribution
att fullständiga klustringsnycklar krävs. - [SPARK-38437] Överseende serialisering av datetime från datakälla.
- [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat.
- [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds.
- Säkerhetsuppdateringar för operativsystem.
- Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:
Databricks Runtime 9.1 LTS
Se Databricks Runtime 9.1 LTS.
- den 25 april 2024
- Diverse felkorrigeringar.
- Den 9 april 2024
- Säkerhetsuppdateringar för operativsystem.
- den 13 februari 2024
- [SPARK-46861] Undvik dödläge i DAGScheduler.
- Säkerhetsuppdateringar för operativsystem.
- den 31 januari 2024
- Säkerhetsuppdateringar för operativsystem.
- den 25 december 2023
- För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
- [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
- [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
- [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
- den 14 december 2023
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2023
- Installerade ett nytt paket
pyarrow-hotfix
för att åtgärda en PyArrow RCE-säkerhetsrisk. - [SPARK-45859] Gjorde UDF-objekt i
ml.functions
lat. - [SPARK-45544] Integrerat SSL-stöd i
TransportContext
. - [SPARK-45730] Förbättrade tidsbegränsningar för
ReloadingX509TrustManagerSuite
. - Säkerhetsuppdateringar för operativsystem.
- Installerade ett nytt paket
- den 14 november 2023
- [SPARK-45545]
SparkTransportConf
SSLOptions
ärver när de skapas. - [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
- [SPARK-45427] RPC SSL-inställningar har lagts till i
SSLOptions
ochSparkTransportConf
. - [SPARK-45584] Fel vid körning av underfrågor har åtgärdats med
TakeOrderedAndProjectExec
. - [SPARK-45541] Lade till
SSLFactory
. - [SPARK-42205] Loggningsackumulerbara loggningsfunktioner i scen- och aktivitetsstarthändelser har tagits bort.
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-45545]
- den 24 oktober 2023
- [SPARK-45426] Stöd har lagts till för
ReloadingX509TrustManager
. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-45426] Stöd har lagts till för
- den 13 oktober 2023
- Säkerhetsuppdateringar för operativsystem.
- den 10 september 2023
- Diverse korrigeringar.
- den 30 augusti 2023
- Säkerhetsuppdateringar för operativsystem.
- den 15 augusti 2023
- Säkerhetsuppdateringar för operativsystem.
- Den 23 juni 2023
- Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
- Säkerhetsuppdateringar för operativsystem.
- Den 15 juni 2023
- [SPARK-43098] Åtgärda felet COUNT för korrekthet när skalära underfrågor har en grupp efter-sats.
- [SPARK-43156][SPARK-43098] Utöka buggtestet för skalära underfrågor med
decorrelateInnerQuery
inaktiverat. - [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery.
- Säkerhetsuppdateringar för operativsystem.
- 2 juni 2023
- JSON-parsern i
failOnUnknownFields
läge släpper en post iDROPMALFORMED
läge och misslyckas direkt iFAILFAST
läget. - Ett problem i JSON-räddad dataparsing har åtgärdats för att förhindra
UnknownFieldException
. - Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
- [SPARK-37520] Lägg till strängfunktionerna
startswith()
ochendswith()
- [SPARK-43413] Ogiltighet för underfrågor
ListQuery
har åtgärdatsIN
. - Säkerhetsuppdateringar för operativsystem.
- JSON-parsern i
- 17 maj 2023
- Säkerhetsuppdateringar för operativsystem.
- den 25 april 2023
- Säkerhetsuppdateringar för operativsystem.
- den 11 april 2023
- Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
- [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
- Den 29 mars 2023
- Säkerhetsuppdateringar för operativsystem.
- den 14 mars 2023
- [SPARK-42484] Förbättrat felmeddelande för
UnsafeRowUtils
. - Diverse korrigeringar.
- [SPARK-42484] Förbättrat felmeddelande för
- den 28 februari 2023
- Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
- Säkerhetsuppdateringar för operativsystem.
- den 16 februari 2023
- Säkerhetsuppdateringar för operativsystem.
- den 31 januari 2023
- Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
- den 18 januari 2023
- Säkerhetsuppdateringar för operativsystem.
- den 29 november 2022
- Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (
cloudFiles.inferColumnTypes
har inte angetts eller angetts tillfalse
) och JSON innehåller kapslade objekt. - Säkerhetsuppdateringar för operativsystem.
- Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (
- den 15 november 2022
- Uppgraderade Apache commons-text till 1.10.0.
- Säkerhetsuppdateringar för operativsystem.
- Diverse korrigeringar.
- Den 1 november 2022
- Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet
_change_type
, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du kördeMERGE
. - Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när
allowOverwrites
den är aktiverad - [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
- Säkerhetsuppdateringar för operativsystem.
- Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet
- den 18 oktober 2022
- Säkerhetsuppdateringar för operativsystem.
- den 5 oktober 2022
- Diverse korrigeringar.
- Säkerhetsuppdateringar för operativsystem.
- den 22 september 2022
- Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera den inbyggda listan för automatisk inläsning på ADLS Gen2. Den inbyggda listan stängdes tidigare av på grund av prestandaproblem, men kan ha lett till ökade lagringskostnader för kunderna.
- [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
- [SPARK-40089] Korrigera sortering för vissa decimaltyper
- [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
- den 6 september 2022
- [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
- [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
- [SPARK-40079] Lägg till Imputer inputCols-validering för tomt indatafall
- den 24 augusti 2022
- [SPARK-39666] Använd UnsafeProjection.create för att respektera
spark.sql.codegen.factoryMode
i ExpressionEncoder - [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-39666] Använd UnsafeProjection.create för att respektera
- den 9 augusti 2022
- Säkerhetsuppdateringar för operativsystem.
- den 27 juli 2022
- Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
- [SPARK-39689] Stöd för två tecken
lineSep
i CSV-datakällan - [SPARK-39575] Har lagts till
ByteBuffer#rewind
efterByteBuffer#get
iAvroDeserializer
. - [SPARK-37392] Åtgärdade prestandafelet för katalysatoroptimeraren.
- Säkerhetsuppdateringar för operativsystem.
- den 13 juli 2022
- [SPARK-39419]
ArraySort
genererar ett undantag när jämförelsen returnerar null. - Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
- Säkerhetsuppdateringar för operativsystem.
- [SPARK-39419]
- den 5 juli 2022
- Säkerhetsuppdateringar för operativsystem.
- Diverse korrigeringar.
- Den 15 juni 2022
- [SPARK-39283] Åtgärda dödläge mellan
TaskMemoryManager
ochUnsafeExternalSorter.SpillableIterator
.
- [SPARK-39283] Åtgärda dödläge mellan
- 2 juni 2022
- [SPARK-34554]
copy()
Implementera metoden iColumnarMap
. - Säkerhetsuppdateringar för operativsystem.
- [SPARK-34554]
- Den 18 maj 2022
- En potentiell inbyggd minnesläcka har åtgärdats i Auto Loader.
- Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
- [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
- [SPARK-39084] Åtgärda
df.rdd.isEmpty()
med hjälpTaskContext
av för att stoppa iteratorn när uppgiften har slutförts - Säkerhetsuppdateringar för operativsystem.
- den 19 april 2022
- Säkerhetsuppdateringar för operativsystem.
- Diverse korrigeringar.
- den 6 april 2022
- [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
- Säkerhetsuppdateringar för operativsystem.
- Den 22 mars 2022
- Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var
/databricks/driver
active directory . - [SPARK-38437] Överseende serialisering av datetime från datakälla
- [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
- [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
- [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
- Ändrade den aktuella arbetskatalogen för notebook-filer i kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var
- Den 14 mars 2022
- [SPARK-38236] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
- [SPARK-34069] Avbryt aktivitetstråden om den lokala egenskapen
SPARK_JOB_INTERRUPT_ON_CANCEL
är inställd på true.
- den 23 februari 2022
- [SPARK-37859] SQL-tabeller som skapats med JDBC med Spark 3.1 kan inte läsas med Spark 3.2.
- den 8 februari 2022
- [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
- Säkerhetsuppdateringar för operativsystem.
- den 1 februari 2022
- Säkerhetsuppdateringar för operativsystem.
- den 26 januari 2022
- Åtgärdade ett problem där samtidiga transaktioner i Delta-tabeller kunde checkas in i en icke-serialiserbar ordning under vissa sällsynta förhållanden.
- Åtgärdade ett problem där
OPTIMIZE
kommandot kunde misslyckas när ANSI SQL-dialekten aktiverades.
- den 19 januari 2022
- Mindre korrigeringar och säkerhetsförbättringar.
- Säkerhetsuppdateringar för operativsystem.
- den 4 november 2021
- Ett problem som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en
ArrayIndexOutOfBoundsException
. - Ett konkurrenstillstånd som kan orsaka ett frågefel med en IOException som
java.io.IOException: No FileSystem for scheme
eller som kan leda till attsparkContext.hadoopConfiguration
ändringar inte börjar gälla i frågor har åtgärdats. - Apache Spark Connector för deltadelning uppgraderades till 0.2.0.
- Ett problem som kan orsaka att strukturerade direktuppspelningsströmmar misslyckas med en
- den 20 oktober 2021
- Uppgraderade BigQuery-anslutningsprogrammet från 0.18.1 till 0.22.2. Detta lägger till stöd för den bignumeriska typen.
Feedback
https://aka.ms/ContentUserFeedback.
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i:Skicka och visa feedback för