Dela via

Underhållsuppdateringar för Databricks Runtime

Den här artikeln innehåller underhållsuppdateringar för Databricks Runtime-versioner som stöds. Starta om klustret om du vill lägga till en underhållsuppdatering i ett befintligt kluster. Underhållsuppdateringar för Databricks Runtime-versioner som inte stöds finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).

Note

Utgåvor lanseras i etapper. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.

Utgåvor av Databricks Runtime

Underhållsuppdateringar efter lansering:

Databricks Runtime 18.0

Se Databricks Runtime 18.0.

  • den 27 januari 2026
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.13 från 1.3.6 till 1.3.9
    • Se länkad DOC
    • Lades till batchSizeNumFiles, batchSizeNumBytes, och filbearbetningens tillstånd (`numFilesProcessed`, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) som rapporterade mått till Auto Loader.
    • Se ovan
    • [SPARK-54564] [SQL] Gör QueryPlanningTracker till HybridAnalyzer-fält
    • [SPARK-54803] Stöd efter namn med INSERT ... ERSÄTTA WHERE
    • [SPARK-54679][SQL] Byt namn på spark.sql. (xml.legacyXMLParser.enabled –> legacy.useLegacyXMLParser)
    • [SDP][SPARK-54562]](https://issues.apache.org/jira/browse/SPARK-54562) Blockera ivrig analys/körning inuti flödesfunktionen från serversidan
    • [SPARK-54886] Lägg till bassession som skapats i SparkConnectService
    • [SPARK-54815][CONNECT] Stäng inte klassinläsaren för sessionstillståndet om sessionen fortfarande används
    • [SPARK-41916] [ML] Fackeldistributör: stöd för flera torchrun-processer per aktivitet om task.gpu.amount > 1
    • [SPARK-54620][SQL] Lägg till säkerhetskontroll i ObservationManager för att undvika observationsblockering
    • [SPARK-55015][SS][SQL] Åtgärda decodeRemainingKey numFields beräkning i PrefixKeyScanStateEncoder
    • [SPARK-54708] Optimera rensning av ML-cache med lat katalogskapande
    • [SPARK-54768][SS]Python Stream Data Source ska klassificera fel om data som returneras inte matchar det konfigurerade schemat
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • [SPARK-54581][SQL] Gör hämtningsalternativet skiftlägeokänsligt för Postgres-connectorn
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 17.3 LTS

Se Databricks Runtime 17.3 LTS.

  • den 27 januari 2026
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.13 från 1.3.8 till 1.3.9
    • Se ovan
    • [SPARK-54768][SS]Python Stream Data Source ska klassificera fel om data som returneras inte matchar det konfigurerade schemat
    • [SPARK-54803] Stöd efter namn med INSERT ... ERSÄTTA WHERE
    • [SPARK-53564][CORE] Undvik DAGScheduler-avbrott på grund av blockManager RPC-timeout i DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Åtgärda decodeRemainingKey numFields beräkning i PrefixKeyScanStateEncoder
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • Uppdaterade Python-bibliotek:
      • pmdarima från 2.0.4 till 2.1.1
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.13 från 1.3.6 till 1.3.8
    • Nu kan du använda SQL-fönsterfunktioner som en skalär funktion i måttvysdimensioner och måttuttryck.
    • [SDP][17.3 backport][SPARK-54562] Blockera ivrig analys/körning inuti flödesfunktionen från serversidan
    • [SPARK-54679][SQL] Byt namn på spark.sql. (xml.legacyXMLParser.enabled –> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • [SPARK-53127][SQL] Åtgärda LIMIT ALL för obegränsad rekursion med CTE-normalisering
    • [SPARK-54708] Optimera rensning av ML-cache med lat katalogskapande
    • [SPARK-54581][SQL] Gör hämtningsalternativet skiftlägeokänsligt för Postgres-connectorn
    • [SPARK-41916] [ML] Fackeldistributör: stöd för flera torchrun-processer per aktivitet om task.gpu.amount > 1
    • [SPARK-54564] [SQL] Gör QueryPlanningTracker till HybridAnalyzer-fält
    • [SPARK-54620][SQL] Lägg till säkerhetskontroll i ObservationManager för att undvika observationsblockering
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.13 från 1.3.5 till 1.3.6
    • [SPARK-50906][SQL] Åtgärda Avro-nullbarhetskontroll för omsorterade structfält
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • [SPARK-54427][SQL] Tillåt ColumnarRow att anropa copy med varianttyper
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • [SPARK-52762][SDP] Lägg till PipelineAnalysisContext-meddelande för att stödja pipelineanalys under Spark Connect-frågekörning
    • [SPARK-54156][PROTOBUF] Klassificera fel för ProtobufOptions-ingjutningsfel
    • [SPARK-54078][SS] Nytt test för StateStoreSuite SPARK-40492: maintenance before unload och ta bort infra från gammalt test
    • [SPARK-54015][PYTHON] Lätta på Py4J-kravet till py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML-variantparser bör återgå till strängen vid decimalparsningsfel
    • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Lägg till en gång i Defineflow Proto
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • [SPARK-53729][PYTHON][CONNECT] Korrigera serialisering av pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Korrigering för SparkUnsupportedOperationException Hittade inte en kodare av typen T när parameteriserad klass används
    • [SPARK-53973][Avro] Klassificera fel för Booleskt ingjutningsfel för AvroOptions
    • [SPARK-53794][SS] Lägg till alternativ för att begränsa borttagningar per underhållsåtgärd som är associerad med rocksdb-tillståndsprovidern
    • [SPARK-53908][CONNECT] Åtgärda observationer på Spark Connect med plancache
    • [SPARK-53972][SS] Åtgärda streamingfråga recentProgress regression i klassisk pyspark
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 17.2

Se Databricks Runtime 17.2.

  • den 27 januari 2026
    • [SPARK-55015][SS][SQL] Åtgärda decodeRemainingKey numFields beräkning i PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Stream Data Source ska klassificera fel om data som returneras inte matchar det konfigurerade schemat
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • Partitionerade Delta-tabeller kommer att ha partitionskolumner materialiserade i dataparquet-filer framöver. Detta ger bättre synergi med hur Iceberg- och UniForm-tabeller hanteras och ökar kompatibiliteten med externa icke-Delta-läsare.
    • [SPARK-54427][SQL] Tillåt ColumnarRow att anropa copy med varianttyper
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • [SPARK-50906][SQL] Åtgärda Avro-nullbarhetskontroll för omsorterade structfält
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54078][SS] Nytt test för StateStoreSuite SPARK-40492: maintenance before unload och ta bort infra från gammalt test
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • [SPARK-54099][SQL] XML-variantparser bör återgå till strängen vid decimalparsningsfel
    • [SPARK-54015][PYTHON] Lätta på Py4J-kravet till py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k med hjälp av Apache DataSketches
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • [SPARK-53973][Avro] Klassificera fel för Booleskt ingjutningsfel för AvroOptions
    • [SPARK-53972][SS] Åtgärda streamingfråga recentProgress regression i klassisk pyspark
    • [SPARK-53908][CONNECT] Åtgärda observationer på Spark Connect med plancache
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 oktober 2025
    • [SPARK-53555] Korrigering: SparkML-connect kan inte läsa in den sparade SparkML-modellen (äldre läge)
    • [SPARK-53598][SQL] Kontrollera förekomsten av numParts innan du läser en stor tabellegenskap
    • [SPARK-53625][SS] Sprida metadatakolumner via projektioner för att hantera Inkompatibilitet för ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Åtgärda flera små buggar i Spark Connect Python-klientfelhanteringslogik
    • [SPARK-53574] Åtgärda att AnalysisContext raderas under kapslad planupplösning
    • [SPARK-53623][SQL] förbättrar läsningen av stora tabellrekvisita...
    • [SPARK-53729][PYTHON][CONNECT] Korrigera serialisering av pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Stäng alltid pilallokeraren när processen för listtillståndsbegäran har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2025
    • Ett problem som kan orsaka att autoinläsaren låser sig på obestämd tid har åtgärdats.
    • [SPARK-53362] [ML] [CONNECT] Åtgärda IDFModel lokallt laddningsfel
    • [SPARK-53382][SQL] Åtgärda rCTE-bugg med felaktig rekursion
    • Backport flagnande testkorrigering för [SPARK-53345]
    • [SPARK-49872][CORE] Ta bort jackson JSON-stränglängdsbegränsning
    • [SPARK-53423] [SQL] Flytta alla single-pass resolver-relaterade taggar till ResolverTag
    • [SPARK-53431][PYTHON] Åtgärda Python UDTF med namngivna tabellargument i DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Återställ MLCache.totalMLCacheSizeBytes när MLCache.clear() anropas
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible bör undvika duplicerat avbrott
    • [SPARK-53470][SQL] ExtractValue-uttryck bör alltid utföra typkontroll
    • Utvalda förbättringar av [SPARK-53389] för Pandas API på Spark enligt ANSI
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 17.1

Se Databricks Runtime 17.1 (EoS).

  • den 27 januari 2026
    • [SPARK-55015][SS][SQL] Åtgärda decodeRemainingKey numFields beräkning i PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Stream Data Source ska klassificera fel om data som returneras inte matchar det konfigurerade schemat
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • Partitionerade Delta-tabeller kommer att ha partitionskolumner materialiserade i dataparquet-filer framöver. Detta ger bättre synergi med hur Iceberg- och UniForm-tabeller hanteras och ökar kompatibiliteten med externa icke-Delta-läsare.
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • [SPARK-50906][SQL] Åtgärda Avro-nullbarhetskontroll för omsorterade structfält
    • [SPARK-54427][SQL] Tillåt ColumnarRow att anropa copy med varianttyper
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54015][PYTHON] Lätta på Py4J-kravet till py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k med hjälp av Apache DataSketches
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • [SPARK-54078][SS] Nytt test för StateStoreSuite SPARK-40492: maintenance before unload och ta bort infra från gammalt test
    • [SPARK-54099][SQL] XML-variantparser bör återgå till strängen vid decimalparsningsfel
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • [SPARK-53972][SS] Åtgärda streamingfråga recentProgress regression i klassisk pyspark
    • [SPARK-53908][CONNECT] Åtgärda observationer på Spark Connect med plancache
    • [SPARK-53973][Avro] Klassificera fel för Booleskt ingjutningsfel för AvroOptions
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 oktober 2025
    • [SPARK-53574] Åtgärda att AnalysisContext raderas under kapslad planupplösning
    • [SPARK-53549][SS] Stäng alltid pilallokeraren när processen för listtillståndsbegäran har slutförts
    • [SPARK-53568][CONNECT][PYTHON] Åtgärda flera små buggar i Spark Connect Python-klientfelhanteringslogik
    • [SPARK-53625][SS] Sprida metadatakolumner via projektioner för att hantera Inkompatibilitet för ApplyCharTypePadding
    • [SPARK-53598][SQL] Kontrollera förekomsten av numParts innan du läser en stor tabellegenskap
    • [SPARK-53623][SQL] förbättrar läsningen av stora tabellrekvisita...
    • [SPARK-53555] Korrigering: SparkML-connect kan inte läsa in den sparade SparkML-modellen (äldre läge)
    • [SPARK-53729][PYTHON][CONNECT] Korrigera serialisering av pyspark.sql.connect.window.WindowSpec
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 september 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 september 2025
    • Ett problem som kan orsaka att autoinläsaren låser sig på obestämd tid har åtgärdats.
    • [SPARK-53362] [ML] [CONNECT] Åtgärda IDFModel lokallt laddningsfel
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible bör undvika duplicerat avbrott
    • [SPARK-53382][SQL] Åtgärda rCTE-bugg med felaktig rekursion
    • [SPARK-53431][PYTHON] Åtgärda Python UDTF med namngivna tabellargument i DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Återställ MLCache.totalMLCacheSizeBytes när MLCache.clear() anropas
    • [SPARK-49872][CORE] Ta bort jackson JSON-stränglängdsbegränsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 augusti 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.13 från 1.3.3 till 1.3.5
    • [SPARK-52482][SQL][CORE] Förbättra undantagshanteringen för att läsa vissa skadade zstd-filer
    • [SPARK-53192][CONNECT] Cachelagrade alltid en DataSource i Spark Connect-plancache
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 augusti 2025
    • [SPARK-52833][SQL] Åtgärda VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Åtgärda Arrow-optimerad Python UDTF med 0-argument evaulering vid lateral join
    • [SPARK-51505][SQL] Visa alltid tomma partitionsnummermått i AQEShuffleReadExec
    • [SPARK-52753][SQL] Gör parseDataType binärt kompatibelt med tidigare versioner
    • [SPARK-52842][SQL] Nya funktioner och buggfix för analysverktyg med enkel åtkomst
    • [SPARK-52960][SQL] Visa underträdssträng i LogicalQueryStage toString
    • [SPARK-53054][CONNECT] Åtgärda anslutningen. Standardformatbeteende för DataFrameReader
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 16.4 LTS

Se Databricks Runtime 16.4 LTS.

  • den 27 januari 2026
    • Java-bibliotek har uppdaterats:
      • (endast Scala 2.12) io.delta.delta-sharing-client_2.12 från 1.2.9 till 1.2.10
      • (endast Scala 2.12) org.mlflow.mlflow-spark_2.12 från 2.9.1 till 2.19.0
      • (endast Scala 2.13) io.delta.delta-sharing-client_2.13 från 1.2.9 till 1.2.10
      • (endast Scala 2.13) org.mlflow.mlflow-spark_2.13 från 2.9.1 till 2.19.0
    • [SPARK-55015][SS][SQL] Åtgärda decodeRemainingKey numFields beräkning i PrefixKeyScanStateEncoder
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • Java-bibliotek har uppdaterats:
      • (endast Scala 2.12) io.delta.delta-sharing-client_2.12 från 1.2.8 till 1.2.9
      • (endast Scala 2.13) io.delta.delta-sharing-client_2.13 från 1.2.8 till 1.2.9
    • [SPARK-54620][SQL] Lägg till säkerhetskontroll i ObservationManager för att undvika observationsblockering
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • [SPARK-41916] [ML] Fackeldistributör: stöd för flera torchrun-processer per aktivitet om task.gpu.amount > 1
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • Partitionerade Delta-tabeller kommer att ha partitionskolumner materialiserade i dataparquet-filer framöver. Detta ger bättre synergi med hur Iceberg- och UniForm-tabeller hanteras och ökar kompatibiliteten med externa icke-Delta-läsare.
    • För både Snowflake-anslutningsmodulen och Snowflake Lakehouse Federation TIMESTAMP_NTZ skickas (tidsstämpel utan tidszon) literaler inte längre ner till Snowflake. Den här ändringen förhindrar frågefel som orsakas av inkompatibel tidsstämpelhantering och förbättrar tillförlitligheten för berörda frågor.
    • [SPARK-54427][SQL] Tillåt ColumnarRow att anropa copy med varianttyper
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54099][SQL] XML-variantparser bör återgå till strängen vid decimalparsningsfel
    • [SPARK-54015][PYTHON] Lätta på Py4J-kravet till py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nytt test för StateStoreSuite SPARK-40492: maintenance before unload och ta bort infra från gammalt test
    • [SPARK-54156][PROTOBUF] Klassificera fel för ProtobufOptions-ingjutningsfel
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • Uppdaterade R-bibliotek:
      • pil från 16.1.0 till 21.0.0
    • [SPARK-53973][Avro] Klassificera fel för Booleskt ingjutningsfel för AvroOptions
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Åtgärda flera små buggar i Spark Connect Python-klientfelhanteringslogik
    • [SPARK-53574] Åtgärda att AnalysisContext raderas under kapslad planupplösning
    • [SPARK-53623][SQL] förbättrar läsningen av stora tabellrekvisita...
    • [SPARK-53598][SQL] Kontrollera förekomsten av numParts innan du läser en stor tabellegenskap
    • [SPARK-53549][SS] Stäng alltid pilallokeraren när processen för listtillståndsbegäran har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 september 2025
    • Snowflake-anslutningsappen INFORMATION_SCHEMA använder nu tabellen i stället för SHOW SCHEMAS kommandot för att lista scheman. Den här ändringen tar bort gränsen på 10 000 scheman i föregående metod och förbättrar stödet för databaser med ett stort antal scheman.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 september 2025
    • Ett problem som kan orsaka att autoinläsaren låser sig på obestämd tid har åtgärdats.
    • Åtgärdar ett tillfälligt fel i Auto Loader som kan orsaka att jobb misslyckas
    • [SPARK-49872][CORE] Ta bort jackson JSON-stränglängdsbegränsning
    • [SPARK-51821][CORE] Anropa interrupt() utan att hålla uninterruptibleLock för att undvika möjlig dödläge
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 augusti 2025
    • Java-bibliotek har uppdaterats:
      • (endast Scala 2.12) io.delta.delta-sharing-client_2.12 från 1.2.7 till 1.2.8
      • (endast Scala 2.13) io.delta.delta-sharing-client_2.13 från 1.2.7 till 1.2.8
    • [SPARK-52482][SQL][CORE] Förbättra undantagshanteringen för att läsa vissa skadade zstd-filer
    • [SPARK-53192][CONNECT] Cachelagrade alltid en DataSource i Spark Connect-plancache
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 augusti 2025
    • [SPARK-51011][CORE] Lägg till loggning för om en uppgift ska avbrytas när den avslutas
    • [SPARK-52833][SQL] Åtgärda VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Visa alltid tomma partitionsnummermått i AQEShuffleReadExec
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2025
    • [SPARK-52753][SQL] Gör parseDataType binärt kompatibelt med tidigare versioner
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 juli 2025
    • Ett problem med icke-deterministisk dataförlust har åtgärdats vid användning av Spark Structured Streaming för att strömma data från Pulsar.
    • [SPARK-52579][PYTHON] Ange regelbunden spårningsdump för Python-arbetare
    • [SPARK-52553][SS] Åtgärda NumberFormatException vid läsning av v1-ändringslogg
    • [SPARK-52450] Förbättra prestanda för djupkopiering av schema
    • [SPARK-52503][SQL][CONNECT] Åtgärda drop när indatakolumnen inte finns
    • [SPARK-52599][PYTHON] Stöd för regelbunden spårningsdump i drivrutinsarbetare
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 juli 2025
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement bör inte komma åt SQLConf dynamiskt
    • [SPARK-52482][SQL][CORE] ZStandard-stöd för fildatakällans läsare
    • [SPARK-52312][SQL] Ignorera V2WriteCommand vid cachelagring av DataFrame
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2025
    • Åtgärdade begränsningen att tabellvärdesfunktionen (TVF) cloud_files_state inte kan användas för att läsa filnivåtillståndet för strömmande tabeller mellan pipelines.
    • Problem med auktorisering i Unity Catalog har åtgärdats för frågor om tillfälliga vyer.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference bör behålla plan-ID:t
    • Säkerhetsuppdateringar för operativsystem.
  • 3 juni 2025
    • [SPARK-52195][PYTHON][SS] Korrigera problem med att initial tillståndskolumn tas bort i Python TWS.
    • [SPARK-52159][SQL] Korrekt hantera tabellexistenskontroll för jdbc-dialekter
    • Diverse felkorrigeringar.
  • 7 maj 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.13 från 1.2.3 till 1.2.7
      • org.apache.avro.avro från 1.11.3 till 1.11.4
      • org.apache.avro.avro-ipc från 1.11.3 till 1.11.4
      • org.apache.avro.avro-mapred från 1.11.3 till 1.11.4
    • En klonad strömningssession kommer att användas inom foreachBatch-användarfunktionen i delade kluster/serverlösa miljöer. Detta överensstämmer med beteendet i klassiska (tilldelade kluster).
    • En klonad strömningssession kommer att användas inom foreachBatch-användarfunktionen i delade kluster/serverlösa miljöer. Detta överensstämmer med beteendet i klassiska (tilldelade kluster).
    • Före den här ändringen ignorerades inledande blanksteg och flikar i sökvägar i variant_get uttrycket med Photon inaktiverat. Till exempel skulle select variant_get(parse_json('{"key": "value"}'), '$['key']') inte vara effektivt för att extrahera värdet av "key". Användarna kommer dock att kunna extrahera sådana nycklar nu.
    • [SPARK-51935][SQL] Åtgärda lata beteende hos iteratorer i tolkad df.collect()
    • [SPARK-51921][SS][PYTHON] Använd lång typ för TTL-varaktighet i millisekunder i transformWithState
    • [SPARK-51940][SS] Lägg till gränssnitt för hantering av metadata för kontrollpunkter för direktuppspelning
    • [SPARK-52049] Åtgärda felet att XML-attribut inte kan parsas som variant
    • [SPARK-51904][SS] Tar bort asynkron metadatarensning för StateSchemaV3 och ignorerar icke-batchfiler när operatormetadatafiler listas
    • [SPARK-51869][SS] Skapa klassificering för användarfel i UDF:er för Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Åtgärda en bugg för MapState clear() i Python TWS
    • [SPARK-51922] [SS] Åtgärda UTFDataFormatException som kastas från StateStoreChangelogReaderFactory för v1
    • [SPARK-51848][SQL] Åtgärda parsning av XML-poster med definierat schema för matris/structs/karta över variant
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 16.2

Se Databricks Runtime 16.2 (EoS).

  • den 14 augusti 2025
    • [SPARK-51011][CORE] Lägg till loggning för om en uppgift ska avbrytas när den avslutas
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 juli 2025
    • Ett problem med icke-deterministisk dataförlust har åtgärdats vid användning av Spark Structured Streaming för att strömma data från Pulsar.
    • [SPARK-52553][SS] Åtgärda NumberFormatException vid läsning av v1-ändringslogg
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 juli 2025
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement bör inte komma åt SQLConf dynamiskt
    • [SPARK-52312][SQL] Ignorera V2WriteCommand vid cachelagring av DataFrame
    • [SPARK-52482][SQL][CORE] ZStandard-stöd för fildatakällans läsare
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2025
    • Åtgärdade begränsningen att tabellvärdesfunktionen (TVF) cloud_files_state inte kan användas för att läsa filnivåtillståndet för strömmande tabeller mellan pipelines.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference bör behålla plan-ID:t
    • Säkerhetsuppdateringar för operativsystem.
  • 3 juni 2025
    • Uppdaterade Python-bibliotek:
      • kryptografi från 41.0.7, 41.0.7, 42.0.5 till 42.0.5
      • förpackning från 24.0, 24.1 till 24.1
      • Ändringar i platformdirs från versionerna 3.10.0 och 4.2.2 till version 3.10.0
      • pyparsing från 3.0.9, 3.1.1 till 3.0.9
      • Autokommando 2.2.2 har lagts till
      • Backports.tarfile 1.2.0 har lagts till
      • Lade till importlib_resources 6.4.0
      • Inflect 7.3.1 har lagts till
      • Jaraco.context 5.3.0 har lagts till
      • Lagt till jaraco.functools 4.0.1
      • Jaraco.text 3.12.1 har lagts till
      • Fler itertools har lagts till 10.3.0
      • Lagt till pip 24.2
      • Setuptools 74.0.0 har lagts till
      • Tomli 2.0.1 har lagts till
      • Tillägg av Typeguard 4.3.0
      • Wcwidth 0.2.5 har lagts till
      • Tillagt hjul 0.43.0
      • Distro 1.9.0 har tagits bort
      • Distro-info 1.7+build1 har tagits bort
      • Python-apt 2.7.7+ubuntu4 har tagits bort
    • [SPARK-52159][SQL] Korrekt hantera tabellexistenskontroll för jdbc-dialekter
    • [SPARK-52195][PYTHON][SS] Korrigera problem med att initial tillståndskolumn tas bort i Python TWS.
    • Säkerhetsuppdateringar för operativsystem.
  • 20 maj 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.2.6 till 1.2.7
      • org.apache.avro.avro från 1.11.3 till 1.11.4
      • org.apache.avro.avro-ipc från 1.11.3 till 1.11.4
      • org.apache.avro.avro-mapred från 1.11.3 till 1.11.4
    • En klonad strömningssession kommer att användas inom foreachBatch-användarfunktionen i delade kluster/serverlösa miljöer. Detta överensstämmer med beteendet i klassiska (tilldelade kluster).
    • En klonad strömningssession kommer att användas inom foreachBatch-användarfunktionen i delade kluster/serverlösa miljöer. Detta överensstämmer med beteendet i klassiska (tilldelade kluster).
    • Före den här ändringen ignorerades inledande blanksteg och flikar i sökvägar i variant_get uttrycket med Photon inaktiverat. Till exempel skulle select variant_get(parse_json('{"key": "value"}'), '$[' key']') inte vara effektivt för att extrahera värdet av "key". Användarna kommer dock att kunna extrahera sådana nycklar nu.
    • [SPARK-51935][SQL] Åtgärda lata beteende hos iteratorer i tolkad df.collect()
    • [SPARK-51921][SS][PYTHON] Använd lång typ för TTL-varaktighet i millisekunder i transformWithState
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 april 2025
    • [SPARK-51717][SS][RocksDB] Åtgärda SST-felmatchningsfel som kan inträffa för andra ögonblicksbilden som skapats för en ny fråga
    • Återställ "[SPARK-47895][SQL]-grupp efter alias ska vara idempotent" i 15.4, 16.0, 16.1, 16.2 och 16.3
    • Säkerhetsuppdateringar för operativsystem.

  • 9 april 2025

    • Java-bibliotek har uppdaterats:
      • Tog bort io.starburst.openjson.openjson 1.8-e.12
      • Borttagit io.starburst.openx.data.json-serde 1.3.9-e.12
      • Tog bort io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] grupp efter alias bör vara idempotent
    • [SPARK-51505][SQL] Logga mått för antalet tomma partitioner i AQE-sammansmältning
    • [SPARK-51624][SQL] Sprid metadata från GetStructField i CreateNamedStruct.dataType
    • [SPARK-51589][SQL] Åtgärda ett mindre fel som gjorde att kollen av aggregerade funktioner misslyckades i |>SELECT
    • Säkerhetsuppdateringar för operativsystem.

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS och senare innehåller en korrigering för ett problem som orsakade binär inkompatibilitet med kod som instansierade en SparkListenerApplicationEnd klass och kompilerades mot Apache Spark. Den här inkompatibiliteten berodde på att SPARK-46399 sammanfogas till Apache Spark. Den här sammanfogningen innehöll en ändring som lade till ett standardargument i SparkListenerApplicationEnd konstruktorn. För att återställa binär kompatibilitet lägger den här korrigeringen till en enskild argumentkonstruktor i klassen SparkListenerApplicationEnd.
    • Återställ "[SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier"
    • [SPARK-50985][SS] Klassificera fel för omatchning av Kafka tidsstämpeloffset istället för att hävda och kasta ett fel för saknad server i KafkaTokenProvider
    • [SPARK-51065][SQL] Tillåter inte icke-nullbart schema när Avro-kodning används för TransformWithState
    • [SPARK-51237][SS] Lägg till API-information för nya transformWithState-hjälp-API:er efter behov
    • [SPARK-51222][SQL] Optimera ReplaceCurrentLike
    • [SPARK-51351][SS] Materialisera inte utdata i Python Worker för TWS
    • [SPARK-51084][SQL] Tilldela lämplig felklass för negativeScaleNotAllowedError
    • [SPARK-51249][SS] Åtgärda NoPrefixKeyStateEncoder- och Avro-kodningen för att använda rätt antal versionsbyte
    • Säkerhetsuppdateringar för operativsystem.

  • den 5 februari 2025

    • Den här versionen innehåller en korrigering för ett problem som påverkar konverteringen av vissa datatyper vid serialisering av räddade XML-datakolumner. De berörda datatyperna är datum, icke-NTZ-tidsstämplar och decimaler när prefersDecimal är aktiverat. Mer information om den räddade datakolumnen finns i Vad är den räddade datakolumnen?.
    • [SPARK-50770][SS] Ta bort paketomfånget för transformWithState-operator-API:er
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 15.4 LTS

Se Databricks Runtime 15.4 LTS.

  • den 27 januari 2026
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.1.9 till 1.1.10
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • Partitionerade Delta-tabeller kommer att ha partitionskolumner materialiserade i dataparquet-filer framöver. Detta ger bättre synergi med hur Iceberg- och UniForm-tabeller hanteras och ökar kompatibiliteten med externa icke-Delta-läsare.
    • [SPARK-54620][SQL] Lägg till säkerhetskontroll i ObservationManager för att undvika observationsblockering
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.1.7 till 1.1.9
    • [SPARK-54427][SQL] Tillåt ColumnarRow att anropa copy med varianttyper
    • [SPARK-52579][PYTHON] Ange regelbunden spårningsdump för Python-arbetare
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54078][SS] Nytt test för StateStoreSuite SPARK-40492: maintenance before unload och ta bort infra från gammalt test
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • Uppdaterade R-bibliotek:
      • pil från 14.0.0.2 till 21.0.0
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Genomsökningsfotoniseringskriterierna uppdateras för att tillåta genomsökningsfotonisering när kontrollsummaverifiering krävs.
      Att avgöra om kontrollsummaverifiering krävs kommer nu från hadoop-konfigurationen i stället för SQLConf.
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Åtgärda flera små buggar i Spark Connect Python-klientfelhanteringslogik
    • [SPARK-53574] Åtgärda att AnalysisContext raderas under kapslad planupplösning
    • Diverse felkorrigeringar.
  • den 16 september 2025
    • Snowflake-anslutningsappen INFORMATION_SCHEMA använder nu tabellen i stället för SHOW SCHEMAS kommandot för att lista scheman. Den här ändringen tar bort gränsen på 10 000 scheman i föregående metod och förbättrar stödet för databaser med ett stort antal scheman.
    • [SPARK-50870][SQL] Lägg till tidszon vid omvandling till tidsstämpel i V2ScanRelationPushDown
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 september 2025
    • Ett problem som kan orsaka att autoinläsaren låser sig på obestämd tid har åtgärdats.
    • Åtgärdar ett tillfälligt fel i Auto Loader som kan orsaka att jobb misslyckas
    • [SPARK-51821][CORE] Anropa interrupt() utan att hålla uninterruptibleLock för att undvika möjlig dödläge
    • [SPARK-49872][CORE] Ta bort jackson JSON-stränglängdsbegränsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 augusti 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.1.6 till 1.1.7
    • [SPARK-52482][SQL][CORE] Förbättra undantagshanteringen för att läsa vissa skadade zstd-filer
    • [SPARK-53192][CONNECT] Cachelagrade alltid en DataSource i Spark Connect-plancache
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 augusti 2025
    • [SPARK-51011][CORE] Lägg till loggning för om en uppgift ska avbrytas när den avslutas
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2025
    • Säkerhetsuppdateringar för operativsystem.

  • den 21 juli 2025

    • För beräkning som är aktiverad för Photon eller använder Arm64-baserad CPU uppgraderas mlflow-skinny till 2.19.0, ray uppgraderas till 2.37.0 och databricks-feature-engineering uppgraderas till 0.8.0.

  • den 15 juli 2025

    • Ett problem med icke-deterministisk dataförlust har åtgärdats vid användning av Spark Structured Streaming för att strömma data från Pulsar.
    • [SPARK-52503][SQL][CONNECT] Åtgärda drop när indatakolumnen inte finns
  • den 1 juli 2025
    • Java-bibliotek har uppdaterats:
      • org.mlflow.mlflow-spark_2.12 från 2.9.1 till 2.11.3
      • Com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2 har tagits bort
      • Org.slf4j.slf4j-simple 1.7.25 har tagits bort
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement bör inte komma åt SQLConf dynamiskt
    • [SPARK-52482][SQL][CORE] ZStandard-stöd för fildatakällans läsare
    • [SPARK-52312][SQL] Ignorera V2WriteCommand vid cachelagring av DataFrame
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2025
    • Åtgärdade begränsningen att tabellvärdesfunktionen (TVF) cloud_files_state inte kan användas för att läsa filnivåtillståndet för strömmande tabeller mellan pipelines.
    • [SPARK-49646][SQL] åtgärda de-korrelation av underfrågor för union/mängd-operationer när parentOuterReferences har referenser som inte täcks av collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference bör behålla plan-ID:t
  • 3 juni 2025
    • Uppdaterade Python-bibliotek:
      • kryptografi från 3.4.8, 41.0.3 till 41.0.3
      • filelock från version 3.13.4 och 3.15.4 till 3.13.4
      • importlib-metadata från 4.6.4, 6.0.0 till 6.0.0
      • platformdirs från 3.10.0, 3.11.0 till 3.10.0
      • versionsnummer för pyparsing, från 2.4.7, 3.0.9 till 3.0.9
      • zipp från 1.0.0, 3.11.0 till 3.11.0
      • Version 23.2.1 av pip har lagts till.
      • Setuptools 68.0.0 har lagts till
      • Wcwidth 0.2.5 har lagts till
      • Tillagt hjul 0.38.4
      • Distro 1.7.0 har tagits bort
      • Distro-info 1.1+ubuntu0.2 har tagits bort
      • Python-apt 2.4.0+ubuntu4 har tagits bort
    • Java-bibliotek har uppdaterats:
      • com.github.fommil.netlib.native_ref-java från 1.1, 1.1-natives till 1.1, 1.1
      • com.github.fommil.netlib.native_system-java från 1.1, 1.1-natives till 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 från 1.1-natives till 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 från 1.1-natives till 1.1
      • io.netty.netty-tcnative-boringssl-static från 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 till 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll från 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 till 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue från 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 till 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core från 1.9.2-shaded-protobuf till 1.9.2
      • org.apache.orc.orc-mapreduce från 1.9.2-shaded-protobuf till 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.2-linux-x86_64 till 1.6.2
    • [SPARK-52159][SQL] Korrekt hantera tabellexistenskontroll för jdbc-dialekter
    • Säkerhetsuppdateringar för operativsystem.
  • 20 maj 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.1.5 till 1.1.6
    • En klonad strömningssession kommer att användas inom foreachBatch-användarfunktionen i delade kluster/serverlösa miljöer. Detta överensstämmer med beteendet i klassiska (tilldelade kluster).
    • Före den här ändringen ignorerades inledande blanksteg och flikar i sökvägar i variant_get uttrycket med Photon inaktiverat. Till exempel skulle select variant_get(parse_json('{"key": "value"}'), '$['key']') inte vara effektivt för att extrahera värdet av "key". Användarna kommer dock att kunna extrahera sådana nycklar nu.
    • [SPARK-51935][SQL] Åtgärda lata beteende hos iteratorer i tolkad df.collect()
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 april 2025
    • Java-bibliotek har uppdaterats:
      • org.apache.avro.avro från 1.11.3 till 1.11.4
      • org.apache.avro.avro-ipc från 1.11.3 till 1.11.4
      • org.apache.avro.avro-mapred från 1.11.3 till 1.11.4
    • Återställ "[SPARK-47895][SQL]-grupp efter alias ska vara idempotent" i 15.4, 16.0, 16.1, 16.2 och 16.3
    • [SPARK-50682][SQL] Inre alias ska kanoniseras
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 april 2025
    • (Beteendeförändring) För att tillämpa kritiska säkerhetskorrigeringar uppdateras standardversionen av Python till Python 3.11.11 från Python 3.11.0rc1. Den här uppdateringen kan påverka vissa arbetsbelastningar som körs på Databricks Runtime 15.4 LTS, till exempel arbetsbelastningar som använder Python-serialisering för att lagra och återställa tillstånd mellan körningar eller arbetsbelastningar som fästs på Python-versionen 3.11.0.
    • Java-bibliotek har uppdaterats:
      • Tog bort io.starburst.openjson.openjson 1.8-e.12
      • Borttagit io.starburst.openx.data.json-serde 1.3.9-e.12
      • Tog bort io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] grupp efter alias bör vara idempotent
    • [SPARK-51624][SQL] Sprid metadata från GetStructField i CreateNamedStruct.dataType
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 mars 2025
    • För beräkning som inte är aktiverat för Photon databricks-feature-engineering uppgraderas till 0.8.0. För Photon-aktiverad beräkning databricks-feature-engineering förblir 0.6.0.

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS och senare innehåller en korrigering för ett problem som orsakade binär inkompatibilitet med kod som instansierade en SparkListenerApplicationEnd klass och kompilerades mot Apache Spark. Den här inkompatibiliteten berodde på att SPARK-46399 sammanfogas till Apache Spark. Den här sammanfogningen innehöll en ändring som lade till ett standardargument i SparkListenerApplicationEnd konstruktorn. För att återställa binär kompatibilitet lägger den här korrigeringen till en enskild argumentkonstruktor i klassen SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Klassificera fel för omatchning av Kafka tidsstämpeloffset istället för att hävda och kasta ett fel för saknad server i KafkaTokenProvider
    • [SPARK-50791][SQL] Åtgärda NPE i State Store-felhantering
    • [SPARK-50310][PYTHON] Förbättra kolumnprestanda när DQC är inaktiverat
    • [SPARK-51222][SQL] Optimera ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Mindre loggförbättring av strömningsfrågans lyssnare på serversidan
    • [SPARK-51084][SQL] Tilldela lämplig felklass för negativeScaleNotAllowedError
    • Säkerhetsuppdateringar för operativsystem.

  • den 11 februari 2025

    • Den här versionen innehåller en korrigering för ett problem som påverkar konverteringen av vissa datatyper vid serialisering av räddade XML-datakolumner. De berörda datatyperna är datum, icke-NTZ-tidsstämplar och decimaler när prefersDecimal är aktiverat. Mer information om den räddade datakolumnen finns i Vad är den räddade datakolumnen?.
    • [SPARK-50492][SS] Åtgärda java.util.NoSuchElementException när kolumnen händelsetid tas bort efter dropDuplicatesWithinWatermark
    • Säkerhetsuppdateringar för operativsystem.
    • För beräkning som inte är aktiverat för Photon uppgraderas mlflow-skinny till 2.19.0. För Photon-aktiverad beräkning finns mlflow-skinny kvar på 2.13.1.
  • den 10 december 2024
    • USE CATALOG-satsen stöder nu IDENTIFIER-satsen. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.
    • Den här versionen innehåller en korrigering för ett problem som kan leda till att primärnyckeln i en Delta-tabell tas bort under vissa gränsfall relaterade till automatisk komprimering i bakgrunden.
    • Med den här versionen expanderar cachestorleken som används av en SSD i en Databricks-beräkningsnod dynamiskt till SSD:s ursprungliga storlek och krymper vid behov ned till spark.databricks.io.cache.maxDiskUsage gränsen. Se Optimera prestanda med cachelagring på Azure Databricks.
    • Pyodbc-paketet uppdateras från version 4.0.38 till version 4.0.39. Den här ändringen krävs eftersom en bugg hittades i version 4.0.38 och den versionen har tagits bort från PyPI.
    • [SPARK-50329][SQL] korrigerar InSet$toString
    • [SPARK-47435][SQL] Åtgärda spillproblem med MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Stöd för IDENTIFIER uttryck i SETCATALOG sats
    • [SPARK-50426][PYTHON] Undvik statiska Python-datakällor när du använder inbyggda datakällor eller Java-datakällor
    • [SPARK-48863][SQL] Fix ClassCastException vid parsning av JSON med "spark.sql.json.enablePartialResults" aktiverat
    • [SPARK-50310][PYTHON] Lägg till en flagga för att inaktivera DataFrameQueryContext för PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Åtgärda felaktig rapportering av allvarliga fel som ohanterade undantag i SparkUncaughtExceptionHandler
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Med den här versionen kan du nu fråga funktionen vector_search med hjälp av query_text för textinmatning eller query_vector för inbäddning av indata.
    • Nu kan du ange en tidsgräns för Spark Connect-frågor med hjälp av spark-konfigurationsegenskapen spark.databricks.execution.timeout. För anteckningsböcker som körs med serverlös beräkning är standardvärdet 9000 (sekunder). Jobb som körs på serverlös beräkning och beräkning med standardåtkomstläge har ingen tidsgräns om inte den här konfigurationsegenskapen har angetts. En körning som varar längre än den angivna tidsgränsen resulterar i ett QUERY_EXECUTION_TIMEOUT_EXCEEDED-fel.
    • [SPARK-50322][SQL] Korrigera parameteriserad identifierare i en underfråga
    • [SPARK-49615] [ML] Gör datasetschema validering för alla ML-funktiontransformatorer i enlighet med konfigurationen "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET bör bevara dataordning
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • (Icke-bakåtkompatibel ändring) Från och med Databricks Runtime 15.4 LTS och senare uppdateras hanteringen av reguljära uttryck i Photon för att överensstämma med hur reguljära uttryck hanteras i Apache Spark. Tidigare accepterade reguljära uttrycksfunktioner som kördes av Photon, till exempel split() och regexp_extract(), vissa reguljära uttryck som avvisades av Spark-parsern. För att upprätthålla konsekvens med Apache Spark kommer Photon-frågor nu att misslyckas med reguljära uttryck som Spark anser vara ogiltiga. På grund av den här ändringen kan det uppstå fel om Spark-koden innehåller ogiltiga reguljära uttryck. Uttrycket split(str_col, '{'), som innehåller en icke matchande klammerparentes och som tidigare accepterades av Photon, fungerar nu inte. Du kan åtgärda det här uttrycket genom att undvika klammerparentestecknet: split(str_col, '\\{'). Photon- och Spark-beteendet skilde sig också åt för matchning av reguljära uttryck med icke-ASCII-tecken. Detta uppdateras också så att Photon matchar Apache Spark-beteendet.
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser upp UnresolvedAttribute med child output
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-49863][SQL] Korrigera NormalizeFloatingNumbers för att bevara nullbarheten för kapslade structs
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndsoperator för att förhindra att shuffle ändras av AQE
    • [SPARK-46632][SQL] Åtgärda eliminering av underuttryck när motsvarande ternära uttryck har olika barn
    • [SPARK-49443][SQL][PYTHON] Implementera uttrycket to_variant_object och få schema_of_variant-uttryck att skriva ut OBJEKT för variantobjekt.
    • [SPARK-49615] Bugfix: Gör ml-kolumnschemaverifieringen överensstämmer med spark-konfigurationen spark.sql.caseSensitive.
  • den 22 oktober 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser upp UnresolvedAttribute med child output
    • [SPARK-49867][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
    • [SPARK-49863][SQL] Korrigera NormalizeFloatingNumbers för att bevara nullbarheten för kapslade structs
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndsoperator för att förhindra att shuffle ändras av AQE
    • [SPARK-46632][SQL] Åtgärda eliminering av underuttryck när motsvarande ternära uttryck har olika barn
    • [SPARK-49443][SQL][PYTHON] Implementera uttrycket to_variant_object och få schema_of_variant-uttryck att skriva ut OBJEKT för variantobjekt.
    • [SPARK-49615] Bugfix: Gör ml-kolumnschemaverifieringen överensstämmer med spark-konfigurationen spark.sql.caseSensitive.
  • den 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
    • [SPARK-49688][CONNECT] Åtgärda en datakonflikt mellan avbrott och exekveringsplan
    • [BACKPORT] [SPARK-49474][SS] Klassificera felklassen för FlatMapGroupsWithState-användarfunktionsfel
    • [SPARK-49460][SQL] Uppföljning: åtgärda potentiell NPE-risk
  • den 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan utvärdering
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Återanslutningsförsök på inaktiv utförandehållare
    • [SPARK-49458][CONNECT][PYTHON] Leverera sessions-ID på serversidan via ReattachExecute
    • [SPARK-49017][SQL] Insert-instruktionen misslyckas när flera parametrar används
    • [SPARK-49451] Tillåt duplicerade nycklar i parse_json.
    • Diverse felkorrigeringar.
  • den 17 september 2024
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer och Interactor kompatibla med kapslade indatakolumner
    • [SPARK-49409][CONNECT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Stöd för Sökvägar i Windows-stil i ArtifactManager
    • Ångra “[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWithinWatermark borde acceptera argument med variabel längd”
    • [SPARK-43242][CORE] Åtgärda kastning 'Oväntad typ av BlockId' vid diagnos av omkastningskorruption
    • [SPARK-49366][CONNECT] Behandla Union-noden som löv i dataramens kolumnupplösning
    • [SPARK-49018][SQL] Rätta till att approx_count_distinct inte fungerar korrekt med sortering
    • [SPARK-49460][SQL] Ta bort cleanupResource() från EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-49336][CONNECT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
  • den 29 augusti 2024
    • Utdata från en SHOW CREATE TABLE-instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se även SHOW CREATE TABLE. Mer information om radfilter och kolumnmasker finns i Radfilter och kolumnmasker.
    • Vid beräkningsresurser som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och -skrivningar nu samma begränsningar som de som dokumenteras för strukturerad strömning. Se Begränsningar för direktuppspelning.
    • [SPARK-48941][SPARK-48970] Backport ML-skrivare/läsarkorrigeringar
    • [SPARK-49074][SQL] Korrigera variant med df.cache()
    • [SPARK-49263][CONNECT] Spark Connect Python-klient: Hantera konsekvent booleska läsalternativ för dataram
    • [SPARK-48955][SQL] Inkludera ArrayCompact-ändringar i 15.4
    • [SPARK-48937][SQL] Lägg till sorteringsstöd för StringToMap-stränguttryck
    • [SPARK-48929] Åtgärda internt fel i vyn och rensa parser-undantagskontexten
    • [SPARK-49125][SQL] Tillåt duplicerade kolumnnamn i CSV-skrivning
    • [SPARK-48934][SS] Python datetime-typer konverterades felaktigt för att ange timeout i applyInPandasWithState
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-48981] Korrigera simpleString-metoden för StringType i pyspark för kollationeringar
    • [SPARK-49065][SQL] Ombasering i äldre formatters/parsers måste ha stöd för icke JVM-standardtidszoner
    • [SPARK-48896][SPARK-48909][SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48725][SQL] Integrera CollationAwareUTF8String.lowerCaseCodePoints i stränguttryck
    • [SPARK-48978][SQL] Implementera snabb ASCII-sökväg i sorteringsstöd för UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Trunkera meddelandet för loggning
    • [SPARK-49146][SS] Flytta assertionsfel relaterade till saknade vattenstämplar i strömmande frågor i läget för tillägg till felramverket.
    • [SPARK-48977][SQL] Optimera strängsökning under UTF8_LCASE sortering
    • [SPARK-48889][SS] testStream för att lossa tillståndslagring innan slutförandet
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • [SPARK-48954] try_mod() ersätter try_remainder()
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 14.3 LTS

Se Databricks Runtime 14.3 LTS.

  • den 27 januari 2026
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • Partitionerade Delta-tabeller kommer att ha partitionskolumner materialiserade i dataparquet-filer framöver. Detta ger bättre synergi med hur Iceberg- och UniForm-tabeller hanteras och ökar kompatibiliteten med externa icke-Delta-läsare.
    • [SPARK-54711][PYTHON] Lägg till en timeout för daemon-skapad arbetsanslutning
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • [SPARK-52579][PYTHON] Ange regelbunden spårningsdump för Python-arbetare
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54078][SS] Nytt test för StateStoreSuite SPARK-40492: maintenance before unload och ta bort infra från gammalt test
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • Uppdaterade R-bibliotek:
      • pil från 12.0.1 till 21.0.0
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Åtgärda flera små buggar i Spark Connect Python-klientfelhanteringslogik
    • [SPARK-53574] Åtgärda att AnalysisContext raderas under kapslad planupplösning
    • Diverse felkorrigeringar.
  • den 16 september 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 september 2025
    • Ett problem som kan orsaka att autoinläsaren låser sig på obestämd tid har åtgärdats.
    • [SPARK-49872][CORE] Ta bort jackson JSON-stränglängdsbegränsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 augusti 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.1.6 till 1.1.7
    • [SPARK-52482][SQL][CORE] Förbättra undantagshanteringen för att läsa vissa skadade zstd-filer
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 augusti 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 juli 2025
    • [SPARK-52503][SQL][CONNECT] Åtgärda drop när indatakolumnen inte finns
    • Diverse felkorrigeringar.
  • den 1 juli 2025
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • ZStandard-dekomprimeringsstöd för fildatakällans läsare (json, csv, xml och text.)
    • [SPARK-52521][SQL] Right#replacement bör inte komma åt SQLConf dynamiskt
    • [SPARK-52482][SQL][CORE] ZStandard-stöd för fildatakällans läsare
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2025
    • Åtgärdade begränsningen att tabellvärdesfunktionen (TVF) cloud_files_state inte kan användas för att läsa filnivåtillståndet för strömmande tabeller mellan pipelines.
    • [SPARK-49646][SQL] åtgärda de-korrelation av underfrågor för union/mängd-operationer när parentOuterReferences har referenser som inte täcks av collectedChildOuterReferences
  • 3 juni 2025
    • Uppdaterade Python-bibliotek:
      • kryptografi från 3.4.8, 39.0.1 till 39.0.1
      • platformdirs från 2.5.2, 2.6.2 till 2.5.2
      • versionsnummer för pyparsing, från 2.4.7, 3.0.9 till 3.0.9
      • Pip version 22.3.1 har lagts till
      • Setuptools 65.6.3 har lagts till
      • Tomli 2.0.1 har lagts till
      • Wcwidth 0.2.5 har lagts till
      • Tillagt hjul 0.38.4
      • Distro 1.7.0 har tagits bort
      • Distro-info 1.1+ubuntu0.2 har tagits bort
      • Python-apt 2.4.0+ubuntu4 har tagits bort
    • Java-bibliotek har uppdaterats:
      • com.github.fommil.netlib.native_ref-java från 1.1, 1.1-natives till 1.1, 1.1
      • com.github.fommil.netlib.native_system-java från 1.1, 1.1-natives till 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 från 1.1-natives till 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 från 1.1-natives till 1.1
      • io.netty.netty-tcnative-boringssl-static från 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 till 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll från 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 till 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue från 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 till 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core från 1.9.2-shaded-protobuf till 1.9.2
      • org.apache.orc.orc-mapreduce från 1.9.2-shaded-protobuf till 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference bör behålla plan-ID:t
    • [SPARK-52159][SQL] Korrekt hantera tabellexistenskontroll för jdbc-dialekter
    • Säkerhetsuppdateringar för operativsystem.
  • 20 maj 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-client_2.12 från 1.1.5 till 1.1.6
    • [SPARK-51935][SQL] Åtgärda lata beteende hos iteratorer i tolkad df.collect()
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 april 2025
    • Säkerhetsuppdateringar för operativsystem.

  • 9 april 2025

    • [Beteendeförändring] Vakuumoperationer utför nu kontroller av Writer-protokoll som liknar andra operationer, vilket förhindrar oväntade rensningar av tabeller med nyare funktioner när de körs med inkompatibla äldre versioner av Databricks Runtime.
    • [SPARK-51624][SQL] Sprid metadata från GetStructField i CreateNamedStruct.dataType
    • Säkerhetsuppdateringar för operativsystem.

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS och senare innehåller en korrigering för ett problem som orsakade binär inkompatibilitet med kod som instansierade en SparkListenerApplicationEnd klass och kompilerades mot Apache Spark. Den här inkompatibiliteten berodde på att SPARK-46399 sammanfogas till Apache Spark. Den här sammanfogningen innehöll en ändring som lade till ett standardargument i SparkListenerApplicationEnd konstruktorn. För att återställa binär kompatibilitet lägger den här korrigeringen till en enskild argumentkonstruktor i klassen SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Åtgärda NPE i State Store-felhantering
    • [SPARK-50705][SQL] Gör QueryPlan låsfritt
    • [SPARK-49525][SS][CONNECT] Mindre loggförbättring av strömningsfrågans lyssnare på serversidan
    • Säkerhetsuppdateringar för operativsystem.

  • den 11 februari 2025

    • Den här versionen innehåller en korrigering för ett problem som påverkar konverteringen av vissa datatyper vid serialisering av räddade XML-datakolumner. De berörda datatyperna är datum, icke-NTZ-tidsstämplar och decimaler när prefersDecimal är aktiverat. Mer information om den räddade datakolumnen finns i Vad är den räddade datakolumnen?.
    • [SPARK-50492][SS] Åtgärda java.util.NoSuchElementException när kolumnen händelsetid tas bort efter dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Tilldela lämplig felklass för negativeScaleNotAllowedError
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 december 2024
    • Den här versionen innehåller en korrigering för ett problem som kan leda till att primärnyckeln i en Delta-tabell tas bort under vissa gränsfall relaterade till automatisk komprimering i bakgrunden.
    • [SPARK-50329][SQL] korrigerar InSet$toString
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • [SPARK-49615] [ML] Gör datasetschema validering för alla ML-funktiontransformatorer i enlighet med konfigurationen "spark.sql.caseSensitive".
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • [SPARK-49863][SQL] Korrigera NormalizeFloatingNumbers för att bevara nullbarheten för kapslade structs
    • [BACKPORT] [SPARK-49326][SS] Klassificera felklass för Foreach-sänk användarfunktionens fel
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser upp UnresolvedAttribute med child output
    • [SPARK-46632][SQL] Åtgärda eliminering av underuttryck när motsvarande ternära uttryck har olika barn
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndsoperator för att förhindra att shuffle ändras av AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [SPARK-49863][SQL] Korrigera NormalizeFloatingNumbers för att bevara nullbarheten för kapslade structs
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndsoperator för att förhindra att shuffle ändras av AQE
    • [SPARK-46632][SQL] Åtgärda eliminering av underuttryck när motsvarande ternära uttryck har olika barn
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns-regeln löser upp UnresolvedAttribute med child output
    • [BACKPORT] [SPARK-49326][SS] Klassificera felklass för Foreach-sänk användarfunktionens fel
    • [SPARK-49829] Ändra optimeringen för att lägga till indata i tillståndsarkivet i stream-stream-kopplingen (korrigering av korrekthet)
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [BACKPORT] [SPARK-49474][SS] Klassificera felklassen för FlatMapGroupsWithState-användarfunktionsfel
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
    • [SPARK-49688][CONNECT] Åtgärda en datakonflikt mellan avbrott och exekveringsplan
  • den 25 september 2024
    • [SPARK-48810][CONNECT] Session stop() API ska vara idempotent och inte misslyckas om sessionen redan är stängd av servern
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrS...
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding bör kopiera tillståndskänsligt uttryck innan utvärdering
    • [SPARK-49492][CONNECT] Återanslutningsförsök på inaktiv utförandehållare
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49336][CONNECT] Begränsa kapslingsnivån när du trunkerar ett protobuf-meddelande
    • [SPARK-43242][CORE] Åtgärda kastning 'Oväntad typ av BlockId' vid diagnos av omkastningskorruption
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer och Interactor kompatibla med kapslade indatakolumner
    • [SPARK-49526][CONNECT] Stöd för Windows-stilssökvägar i ArtifactManager
    • [SPARK-49409][CONNECT] Justera standardvärdet för CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Behandla Union-noden som löv i dataramens kolumnupplösning
  • den 29 augusti 2024
    • [SPARK-49146][SS] Flytta assertionsfel relaterade till saknade vattenstämplar i strömmande frågor i läget för tillägg till felramverket.
    • [SPARK-48862][PYTHON][CONNECT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
    • [SPARK-49263][CONNECT] Spark Connect Python-klient: Hantera konsekvent booleska läsalternativ för dataram
  • 14 augusti 2024
    • [SPARK-48941][SPARK-48970] Backport ML-skrivare/läsarkorrigeringar
    • [SPARK-48706][PYTHON] Python UDF i högre ordnings funktioner bör inte utlösa interna fel
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentation av logisk plan
    • [SPARK-49065][SQL] Ombasering i äldre formatters/parsers måste ha stöd för icke JVM-standardtidszoner
    • [SPARK-48934][SS] Python datetime-typer konverterades felaktigt för att ange timeout i applyInPandasWithState
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av en av dessa klasser innehåller null värden.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Vid beräkningsresurser som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och -skrivningar nu samma begränsningar som de som dokumenteras för strukturerad strömning. Se Begränsningar för direktuppspelning.
    • Utdata från en SHOW CREATE TABLE-instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se även SHOW CREATE TABLE. Mer information om radfilter och kolumnmasker finns i Radfilter och kolumnmasker.
    • Vid beräkningsresurser som konfigurerats med läget för delad åtkomst har Kafka-batchläsningar och -skrivningar nu samma begränsningar som de som dokumenteras för strukturerad strömning. Se Begränsningar för direktuppspelning.
    • Utdata från en SHOW CREATE TABLE-instruktion innehåller nu alla radfilter eller kolumnmasker som definierats i en materialiserad vy eller en strömmande tabell. Se även SHOW CREATE TABLE. Mer information om radfilter och kolumnmasker finns i Radfilter och kolumnmasker.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48889][SS] testStream för att lossa tillståndslagring innan slutförandet
    • [SPARK-48705][PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
    • [SPARK-48047][SQL] Minska minnestrycket för tomma TreeNode-taggar
    • [SPARK-48544][SQL] Minska minnestrycket för tomma TreeNode BitSets
    • [SPARK-46957][CORE] Avvecklade migrerade shuffle-filer bör kunna rensas från executor
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • [SPARK-47202][PYTHON] Åtgärda stavfel som påverkar datum och tid med tzinfo
    • [SPARK-47713][SQL][CONNECT] Åtgärda ett självkopplingsfel
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Snowflake JDBC-drivrutinen har uppdaterats till version 3.16.1.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • Vid serverlös beräkning för notebook-filer och jobb är ANSI SQL-läget aktiverat som standard. Se Spark-konfigurationsparametrar som stöds.
    • Om du vill ignorera ogiltiga partitioner när du läser data kan filbaserade datakällor, till exempel Parquet, ORC, CSV eller JSON, ange alternativet ignoreInvalidPartitionPaths datakälla till true. Till exempel: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Du kan också använda SQL-konfigurationen spark.sql.files.ignoreInvalidPartitionPaths. Datakällalternativet har dock företräde framför SQL-konfigurationen. Den här inställningen är false som standard.
    • [SPARK-48648][PYTHON][CONNECT] Gör SparkConnectClient.tags korrekt trådlokala
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra underordnade
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48383][SS] Ge bättre felmeddelande för inkompatibla partitioner i startOffset-alternativet i Kafka
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalärunderfrågor med gruppering efter icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48100][SQL] Åtgärda problem med att hoppa över kapslade strukturfält som inte har valts i schemat
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Uppdatera CommonExpressionRef vid behov
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • applyInPandasWithState() är tillgängligt för beräkning med standardåtkomstläge.
    • Åtgärdar en bugg där optimeringen av rangordningsfönstret med Photon TopK felaktigt hanterade partitioner med structs.
    • [SPARK-48310][PYTHON][CONNECT] Mellanlagrade egenskaper måste returnera kopior
    • [SPARK-48276][PYTHON][CONNECT] Lägg till metoden som saknas __repr__ för SQLExpression
    • [SPARK-48294][SQL] Hantera små bokstäver i nestedTypeMissingElementTypeError
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeförändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • Ett fel har åtgärdats i funktionen try_divide() där indata som innehåller decimaler resulterade i oväntade undantag.
    • [SPARK-48056][CONNECT][PYTHON] Kör planen igen om ett SESSION_NOT_FOUND-fel utlöses och inget partiellt svar togs emot
    • [SPARK-48146][SQL] Åtgärda aggregeringsfunktion i With-uttrycks barnverifiering
    • [SPARK-47986][CONNECT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
    • [SPARK-48180][SQL] Förbättra felet när UDTF-anrop med TABLE arg glömmer parenteser runt flera PARTITION/ORDER BY exprs
    • [SPARK-48016][SQL] Åtgärda en bugg i try_divide funktion med decimaler
    • [SPARK-48197][SQL] Undvik påståendefel för ogiltig lambda-funktion
    • [SPARK-47994][SQL] Åtgärda bugg med NÄR-sats för kolumnfilter nedtryckning i SQLServer
    • [SPARK-48173][SQL] CheckAnalysis bör se hela frågeplanen
    • [SPARK-48105][SS] Åtgärda kapplöpningsvillkoret mellan tillståndslagringsuppladdning och ögonblicksbildtagning
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • (Beteendeförändring) applyInPandas och mapInPandas UDF-typer stöds nu för beräkning av delad åtkomst som kör Databricks Runtime 14.3 LTS och senare.
    • [SPARK-47739][SQL] Registrera logisk avro-typ
    • [SPARK-47941] [SS] [Connect] Överför initieringsfel för ForeachBatch-arbetare till användare för PySpark
    • [SPARK-48010][SQL] Undvik upprepade anrop till conf.resolver i resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Rimlighetskontroll för olöst LCA-referens
    • [SPARK-47543][CONNECT][PYTHON] Härleda diktering som Mapype från Pandas DataFrame för att tillåta att DataFrame skapas
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Använd asynkron återanrop för städning efter körning
    • [SPARK-47764][CORE][SQL] Rensa shuffle-beroenden baserat på ShuffleCleanupMode
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar fel på grund av saknad parameter när KafkaException.couldNotReadOffsetRange kastas
    • [SPARK-47839][SQL] Åtgärda aggregeringsfel i RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignorera radtaggar som finns i CDATA
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-47973][CORE] Logga anropsplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-47543][CONNECT][PYTHON] Inferera dict som MapType från Pandas DataFrame för att möjliggöra skapandet av en DataFrame
    • [SPARK-47694][CONNECT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Verifiera kolumnnamnet med cachelagrat schema
    • [SPARK-47862][PYTHON][CONNECT]Åtgärda genereringen av proto-filer
    • Återställ “[SPARK-47543][CONNECT][PYTHON] Härleda dict som MapType från Pandas DataFrame för att möjliggöra skapandet av DataFrame”
    • [SPARK-47704][SQL] JSON-parsning misslyckas med "java.lang.ClassCastException" när spark.sql.json.enablePartialResults är aktiverat
    • [SPARK-47812][CONNECT] Stöder serialisering av SparkSession för ForEachBatch-arbetare
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introducera plan-cache i SparkConnectPlanner för att förbättra prestanda för begäranden om analys
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite misslyckas med en ogiltig plan
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2024
    • (Beteendeförändring) PySpark-UDF:er för beräkning med standardåtkomstläge matchar nu beteendet för UDF:er på icke-isolering och tilldelade kluster för att säkerställa konsekvent beteende mellan beräkningstyper. Den här uppdateringen innehåller följande ändringar som kan bryta befintlig kod:
      • UDF:er med en string returtyp konverterar inte längre implicit icke-string värden till string värden. Tidigare skulle UDF:er med en returtyp str omsluta returvärdet med en str() funktion oavsett den faktiska datatypen för det returnerade värdet.
      • UDF:er med timestamp returtyper tillämpar inte längre implicit en konvertering på timestamp med timezone.
      • Spark-klusterkonfigurationerna spark.databricks.sql.externalUDF.* inte längre tillämpas på PySpark-UDF:er vid beräkning med standardåtkomstläge.
      • Spark-klusterkonfigurationen spark.databricks.safespark.externalUDF.plan.limit påverkar inte längre PySpark-UDF:er, vilket tar bort den tidigare begränsningen i den offentliga förhandsversionen av 5 UDF:er per fråga för PySpark-UDF:er.
      • Spark-klusterkonfigurationen spark.databricks.safespark.sandbox.size.default.mib gäller inte längre för PySpark-UDF:er vid beräkning med standardåtkomstläge. I stället används tillgängligt minne i systemet. Om du vill begränsa minnet för PySpark-UDF:er använder du spark.databricks.pyspark.udf.isolation.memoryLimit med ett minsta värde på 100m.
    • Den TimestampNTZ datatypen stöds nu som en klustringskolumn med flytande klustring. Se Använda flytande klustring för tabeller.
    • [SPARK-47511][SQL] Kanonisera uttrycken genom att tilldela om ID:n
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • [SPARK-46990][SQL] Åtgärda inläsning av tomma Avro-filer som genereras av händelsehubbar
    • [SPARK-47638][PS][CONNECT] Hoppa över verifiering av kolumnnamn i PS
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47176][SQL] Har hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Pass table identifier till row datakälla för vilja exec för V2 strategi.
    • [SPARK-47044][SQL] Lägg till körd fråga för JDBC-externa datakällor för att förklara utdata
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-47121][CORE] undvik RejectedExecutionExceptions vid avstängning av StandaloneSchedulerBackend
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier bör innehålla andra uttryck i uttrycksträdet
    • [SPARK-47129][CONNECT][SQL] Se till att ResolveRelations cacheanslutningsplanen fungerar korrekt
    • [SPARK-47241][SQL] Åtgärda regelordningsproblem för ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protokoll för Client-Side Lyssnare
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • [SPARK-47071][SQL] Inlinjad med uttryck om det innehåller specialuttryck
    • [SPARK-47059][SQL] Bifoga felkontext för användning av ALTER COLUMN v1-kommandot
    • [SPARK-46993][SQL] Åtgärda konstantfoldning för sessionsvariabler
    • Säkerhetsuppdateringar för operativsystem.
  • den 3 januari 2024
    • [SPARK-46933] Lägg till tidsmätvärde för frågekörning till kontakter som använder JDBCRDD.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • [SPARK-46954] XML: Omsluta InputStreamReader med BufferedReader.
    • [SPARK-46655] Hoppa över frågekontextfångst i DataFrame metoder.
    • [SPARK-44815] Cacha df.schema för att undvika extra RPC.
    • [SPARK-46952] XML: Begränsa storleken på skadade poster.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46736] behåller det tomma meddelandefältet i protobuf-anslutningsappen.
    • [SPARK-45182] Ignorera slutförande av uppgifter från den gamla fasen efter att ha försökt igen med den överordnade obestämda fasen enligt kontrollsumman.
    • [SPARK-46414] Använd prependBaseUri för att återge javascript-importer.
    • [SPARK-46383] Minska drivarens heap-användning genom att minska TaskInfo.accumulables() livslängden för.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46954] XML: Optimera schemaindexsökning.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46644] Ändra lägg till och sammanfoga i SQLMetric så att isZero används.
    • [SPARK-46731] Hantera tillståndslagerproviderinstans efter tillståndsdatakälla – läsare.
    • [SPARK-46677] Åtgärda dataframe["*"] upplösningen.
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-46930] Lägg till stöd för ett anpassat prefix för unionstypfält i Avro.
    • [SPARK-46227] Backport till 14.3.
    • [SPARK-46822] Respektera spark.sql.legacy.charVarcharAsString vid typkonvertering från jdbc-typ till Catalyst-typ i jdbc.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 13.3 LTS

Se Databricks Runtime 13.3 LTS.

  • den 27 januari 2026
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • Partitionerade Delta-tabeller kommer att ha partitionskolumner materialiserade i dataparquet-filer framöver. Detta ger bättre synergi med hur Iceberg- och UniForm-tabeller hanteras och ökar kompatibiliteten med externa icke-Delta-läsare.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • [SPARK-54180][SQL] Åsidosätt toString av BinaryFileFormat
    • [SPARK-52579][PYTHON] Ange regelbunden spårningsdump för Python-arbetare
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • [SPARK-54047][PYTHON] Använd ett differensfel när kill-on-idle-timeout inträffar
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • Uppdaterade R-bibliotek:
      • pil från 10.0.1 till 21.0.0
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 september 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 september 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 augusti 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-spark_2.12 från 0.7.12 till 0.7.13
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 augusti 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2025
    • Säkerhetsuppdateringar för operativsystem.

  • den 15 juli 2025

    • Säkerhetsuppdateringar för operativsystem.

  • den 1 juli 2025

    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2025
    • Åtgärdade begränsningen att tabellvärdesfunktionen (TVF) cloud_files_state inte kan användas för att läsa filnivåtillståndet för strömmande tabeller mellan pipelines.
    • Säkerhetsuppdateringar för operativsystem.
  • 3 juni 2025
    • Uppdaterade Python-bibliotek:
      • kryptografi från 3.4.8, 37.0.1 till 37.0.1
      • platformdirs från 2.5.2, 2.6.2 till 2.5.2
      • versionsnummer för pyparsing, från 2.4.7, 3.0.9 till 3.0.9
      • Paketverktyget pip version 22.2.2 har lagts till
      • Setuptools 63.4.1 har lagts till
      • Tomli 2.0.1 har lagts till
      • Wcwidth 0.2.5 har lagts till
      • Tillagt hjul 0.37.1
      • Distro 1.7.0 har tagits bort
      • Distro-info 1.1+ubuntu0.2 har tagits bort
      • Python-apt 2.4.0+ubuntu4 har tagits bort
    • Java-bibliotek har uppdaterats:
      • com.github.fommil.netlib.native_ref-java från 1.1, 1.1-natives till 1.1, 1.1
      • com.github.fommil.netlib.native_system-java från 1.1, 1.1-natives till 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 från 1.1-natives till 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 från 1.1-natives till 1.1
      • io.netty.netty-transport-native-epoll från 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 till 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
      • io.netty.netty-transport-native-kqueue från 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 till 4.1.87.Final, 4.1.87.Final
      • org.apache.orc.orc-core från 1.8.4-shaded-protobuf till 1.8.4
      • org.apache.orc.orc-mapreduce från 1.8.4-shaded-protobuf till 1.8.4
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.1
    • [SPARK-52159][SQL] Korrekt hantera tabellexistenskontroll för jdbc-dialekter
    • Säkerhetsuppdateringar för operativsystem.
  • 20 maj 2025
    • Java-bibliotek har uppdaterats:
      • io.delta.delta-sharing-spark_2.12 från 0.7.11 till 0.7.12
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 april 2025
    • [Beteendeförändring] Vakuumoperationer utför nu kontroller av Writer-protokoll som liknar andra operationer, vilket förhindrar oväntade rensningar av tabeller med nyare funktioner när de körs med inkompatibla äldre versioner av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 april 2025
    • [SPARK-51624][SQL] Sprid metadata från GetStructField i CreateNamedStruct.dataType
    • Säkerhetsuppdateringar för operativsystem.
  • 11 mars 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 februari 2025
    • [SPARK-50492][SS] Åtgärda java.util.NoSuchElementException när kolumnen händelsetid tas bort efter dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Behandla decimaler(x, 0) på samma sätt som IntegralType i PromoteStrings
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • [SPARK-49615] [ML] Gör datasetschema validering för alla ML-funktiontransformatorer i enlighet med konfigurationen "spark.sql.caseSensitive".
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klassificera felklass för Foreach-sänk användarfunktionens fel
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndsoperator för att förhindra att shuffle ändras av AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • [SPARK-48843] Förhindra oändlig loop med BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klassificera felklass för Foreach-sänk användarfunktionens fel
    • [SPARK-49905] Använd dedikerad ShuffleOrigin för tillståndsoperator för att förhindra att shuffle ändras av AQE
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields
  • den 25 september 2024
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • [SPARK-48719][SQL] Åtgärda beräkningsfelet för RegrSlope & RegrIntercept när den första parametern är null
    • [SPARK-43242][CORE] Åtgärda kastning 'Oväntad typ av BlockId' vid diagnos av omkastningskorruption
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 september 2024
    • [SPARK-49526][CONNECT] Stöd för Windows-stilssökvägar i ArtifactManager
    • [SPARK-48463][ML] Gör Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer och Interactor kompatibla med kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
  • 14 augusti 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-49065][SQL] Ombasering i äldre formatters/parsers måste ha stöd för icke JVM-standardtidszoner
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentation av logisk plan
  • 1 augusti 2024
    • Den här versionen innehåller en felkorrigering för klasserna ColumnVector och ColumnarArray i Spark Java-gränssnittet. Tidigare än den här korrigeringen kan en ArrayIndexOutOfBoundsException genereras eller felaktiga data returneras när en instans av en av dessa klasser innehåller null värden.
    • [SPARK-47202][PYTHON] Åtgärda stavfel som påverkar datum och tid med tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Korrigeringar av Spark ML-skrivare för backport
    • [SPARK-48463] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • Den här versionen innehåller en korrigering av ett problem som förhindrade att fliken Spark UI Environment visas korrekt när den körs i Databricks Container Services.
    • [SPARK-48383][SS] Ge bättre felmeddelande för inkompatibla partitioner i startOffset-alternativet i Kafka
    • [SPARK-48292][CORE] Återställ [SPARK-39195][SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalärunderfrågor med gruppering efter icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-48475][PYTHON] Optimera _get_jvm_function i PySpark.
    • [SPARK-48273][SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra underordnade
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • (Beteendeförändring) dbutils.widgets.getAll() stöds nu för att hämta alla widgetvärden i en notebook-fil.
    • [SPARK-48105][SS] Åtgärda kapplöpningsvillkoret mellan tillståndslagringsuppladdning och ögonblicksbildtagning
    • [SPARK-47994][SQL] Åtgärda bugg med NÄR-sats för kolumnfilter nedtryckning i SQLServer
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47956][SQL] Rimlighetskontroll för olöst LCA-referens
    • [SPARK-46822][SQL] Respektera spark.sql.legacy.charVarcharAsString vid konvertering av jdbc-datatyp till katalysatordatatyp.
    • [SPARK-47895][SQL] grupp av alla bör vara idempotent
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar fel på grund av saknad parameter när KafkaException.couldNotReadOffsetRange kastas
    • [SPARK-47973][CORE] Logga anropsplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • [SPARK-44653][SQL] Icke-triviala DataFrame-unioner bör inte avbryta cachelagring
    • Diverse felkorrigeringar.
  • den 11 april 2024
    • [SPARK-47509][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • [SPARK-47385] Åtgärda tupleenkodrar med alternativ input.
    • [SPARK-38708][SQL] Uppgradera Hive Metastore Client till 3.1.3 för Hive 3.1
    • [SPARK-47200][SS] Felkategori för funktionsfel i Foreach batchmottagare
    • [SPARK-47368][SQL] Ta bort inferTimestampNTZ-konfigurationskontroll i ParquetRowConverter
    • [SPARK-44252][SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47300][SQL] quoteIfNeeded ska citera identifierare som börjar med siffror
    • [SPARK-47305][SQL] Åtgärda PruneFilters för att korrekt märka isStreaming-flaggan för LocalRelation när planen innehåller både batch- och strömningsdata.
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • [SPARK-47145][SQL] Pass table identifier till row datakälla för vilja exec för V2 strategi.
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • [SPARK-47176][SQL] Har hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Lägg till körd fråga för JDBC-externa datakällor för att förklara utdata
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • Säkerhetsuppdateringar för operativsystem.
  • den 8 februari 2024
    • Cdf-frågor (Change data feed) på materialiserade vyer i Unity Catalog stöds inte, och försök att köra en CDF-fråga med en materialiserad Unity Catalog-vy returnerar ett fel. Unity Catalog-strömningstabeller stöder CDF-frågor på icke-AUTOMATISKA CDC-tabeller i Databricks Runtime 14.1 och senare. CDF-frågor stöds inte med Unity Catalog-strömningstabeller i Databricks Runtime 14.0 och tidigare.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • [SPARK-46933] Lägg till tidsmätvärde för frågekörning till kontakter som använder JDBCRDD.
    • [SPARK-45582] Säkerställ att butiksinstansen inte används efter att du har anropat commit inom strömmande aggregering i utdataläge.
    • [SPARK-46396] Tidsstämpelinferens bör inte utlösa undantag.
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46941] Det går inte att infoga gränsnoden för fönstergrupper för top-k-beräkning om den innehåller SizeBasedWindowFunction.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • [SPARK-46610] Skapa tabell bör utlösa undantag när det inte finns något värde för en nyckel i alternativ.
    • [SPARK-46383] Minska drivrutins heap-användning genom att förkorta livslängden av TaskInfo.accumulables().
    • [SPARK-46600] Flytta delad kod mellan SqlConf och SqlApiConf till SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark bör inte misslyckas vid kanonisering av planen.
    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 januari 2024
    • Den shuffle nod som förklaringsplanen returnerar för en Photon-fråga uppdateras för att lägga till flaggan causedBroadcastJoinBuildOOM=true när ett minnesfel uppstår under en dataomblandning som är en del av en broadcast-anslutning.
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46173] Hoppar över trimAll-anrop under datumtolkning.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46370] Åtgärda bugg när du frågar från tabellen när du har ändrat standardvärden för kolumner.
    • [SPARK-46609] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46602]allowExisting Propagera i skapandet av vy när vyn/tabellen inte finns.
    • [SPARK-46249] Kräv instanslås för att inhämta RocksDB-metriker och förhindra tävling med bakgrundsoperationer.
    • [SPARK-46417] Misslyckas inte när hive.getTable anropas och throwException är falsk.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-46478] Återställ SPARK-43049 för att använda "oracle varchar(255)" för sträng.
    • [SPARK-46250] Förbättra stabiliteten för test_parity_listener.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46056] Åtgärda Parquet-vektoriserad läsning av NPE med standardvärdet byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables utlöser inte undantag när tabellen eller vyn inte hittas.
    • [SPARK-46466] Den vektoriserade parquet-läsaren ska aldrig göra ombasering för tidsstämpel ntz.
  • den 14 december 2023
    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-45920] gruppera efter ordningstal bör vara idempotent.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45433] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Spark-snowflake-anslutningen uppgraderas till 2.12.0.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45892] Refaktorisera validering av optimeringsplan för att frikoppla validateSchemaOutput och validateExprIdUniqueness.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions fördröjda.
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 november 2023
    • För bättre resursutnyttjande trycks partitionsfilter på Delta Lake-strömningsfrågor ner innan hastighetsbegränsningen.
    • Ändrade dataflödesfrågor i Unity Catalog-strömningstabeller och materialiserade vyer för att visa felmeddelanden.
    • [SPARK-45545]SparkTransportConf ärver vid skapande.
    • [SPARK-45584] Åtgärdat fel vid körning av underfrågor med TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-44219] Extra verifiering per regel har lagts till för optimeringsomskrivningar.
    • [SPARK-45543] Ett problem har åtgärdats där InferWindowGroupLimit ett problem uppstod om de andra fönsterfunktionerna inte hade samma fönsterram som de rankningsliknande funktionerna.
    • Säkerhetsuppdateringar för operativsystem.
  • den 23 oktober 2023
    • [SPARK-45256] Åtgärdade ett problem där det inte gick att DurationWriter skriva fler värden än den ursprungliga kapaciteten.
    • [SPARK-45419] Undvik att återanvända rocksdb sst filer i en annan rocksdb instans genom att ta bort mappningsposter för filversioner av större versioner.
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.
  • den 13 oktober 2023
    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • Funktionen array_insert är 1-baserad för positiva och negativa index, medan den tidigare var 0-baserad för negativa index. Nu infogar den ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.negativeIndexInArrayInsert till true.
    • Åtgärdat ett problem med att inte ignorera skadade filer när ignoreCorruptFiles är aktiverat under CSV-schemainferens med automatisk inläsning.
    • Återställ "[SPARK-42946]."
    • [SPARK-42205] JSON-protokollet har uppdaterats för att ta bort loggning av ackumulerbara objekt i en aktivitets- eller fasstarthändelse.
    • [SPARK-45178] Återgå till att köra en enda batch för Trigger.AvailableNow med källor som inte stöds i stället för att använda omslutningen.
    • [SPARK-45316] Lägg till nya parametrar ignoreCorruptFiles och ignoreMissingFiles till HadoopRDD och NewHadoopRDD.
    • [SPARK-44740] Metadatavärden för artefakter har åtgärdats.
    • [SPARK-45360] Initierade Spark-session builder-konfiguration från SPARK_REMOTE.
    • [SPARK-44551] Redigerade kommentarer för synkronisering med OSS.
    • [SPARK-45346] Parquet-schemainferens respekterar nu skiftlägeskänsliga flaggor vid sammanslagning av schema.
    • [SPARK-44658]ShuffleStatus.getMapStatus returnerar nu None i stället för Some(null).
    • [SPARK-44840] Ändrade till 1-baserad för negativa index.
  • den 14 september 2023
    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44878] Inaktiverad strikt gräns för skrivhanteraren för att undvika infogningsfel vid cache-slutförande.
  • den 30 augusti 2023
    • Kommandot dbutils cp (dbutils.fs.cp) har optimerats för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärder ta upp till 100 mindre tid, beroende på filstorleken. Funktionen är tillgänglig i alla moln och filsystem som är tillgängliga i Databricks, inklusive för Unity-katalogvolymer och DBFS-monteringar.
    • [SPARK-44455] Ange identifierare med backticks i SHOW CREATE TABLE-resultatet.
    • [SPARK-44763] Ett problem som visade en sträng som en dubbel i binär aritmetik med intervall har åtgärdats.
    • [SPARK-44871] Åtgärdat percentile_disc beteende.
    • [SPARK-44714] Lätta på begränsningen av LCA-frågebehandling.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44505] Har lagt till "override" för stöd för kolumnära format i Scan för DSv2.
    • [SPARK-44479] Protobuf-konverteringen har åtgärdats från en tom structtyp.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-42941] Stöd har lagts till för StreamingQueryListener i Python.
    • [SPARK-44558] Exportera PySparks Spark Connect-loggnivå.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • [SPARK-44643] Fixade Row.__repr__ när fältet är en tom rad.
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 12.2 LTS

Se Databricks Runtime 12.2 LTS.

  • den 27 januari 2026
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 januari 2026
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 december 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 november 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2025
    • Uppdaterade R-bibliotek:
      • pil från 10.0.0 till 21.0.0
    • Säkerhetsuppdateringar för operativsystem.
  • den 21 oktober 2025
    • Python har uppdaterats från 2.7.18 till 2.7.18.1
    • Säkerhetsuppdateringar för operativsystem.
  • den 7 oktober 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 september 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 september 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 augusti 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 augusti 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 juli 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 juli 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 juli 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2025
    • Säkerhetsuppdateringar för operativsystem.
  • 3 juni 2025
    • Uppdaterade Python-bibliotek:
      • certifi från 2019-11-28, 2021-10-08 till 2021-10-08
      • chardet från 3.0.4, 4.0.0 till 4.0.0
      • idna från 2.8, 3.3 till 3.3
      • begäranden från 2.22.0, 2.27.1 till 2.27.1
      • sex från 1.14.0, 1.16.0 till 1.16.0
      • urllib3 från 1.25.8, 1.26.9 till 1.26.9
      • pip 21.2.4 har lagts till
      • Setuptools 61.2.0 har lagts till
      • Tomli 1.2.2 har lagts till
      • Wcwidth 0.2.5 har lagts till
      • Tillagt hjul 0.37.0
      • Distro 1.4.0 har tagits bort
      • Distro-info 0.23+ubuntu1.1 har tagits bort
      • Python-apt 2.0.1+ubuntu0.20.4.1 har tagits bort
    • Java-bibliotek har uppdaterats:
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.1
    • Säkerhetsuppdateringar för operativsystem.
  • 20 maj 2025
    • [SPARK-42655][SQL] Felaktigt tvetydigt kolumnreferensfel
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 april 2025
    • [Beteendeförändring] Vakuumoperationer utför nu kontroller av Writer-protokoll som liknar andra operationer, vilket förhindrar oväntade rensningar av tabeller med nyare funktioner när de körs med inkompatibla äldre versioner av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 april 2025
    • Säkerhetsuppdateringar för operativsystem.

  • 11 mars 2025

    • Säkerhetsuppdateringar för operativsystem.

  • den 10 december 2024

    • Säkerhetsuppdateringar för operativsystem.

  • den 26 november 2024

    • Diverse felkorrigeringar.

  • den 10 oktober 2024

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr bör inte ändra schemafält vid beskärning av GetArrayStructFields

  • den 25 september 2024

    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Åtgärda loggfel i handleStatusMessage
    • Diverse felkorrigeringar.

  • den 17 september 2024

    • Säkerhetsuppdateringar för operativsystem.

  • den 29 augusti 2024

    • Diverse felkorrigeringar.

  • 14 augusti 2024

    • [SPARK-48941][SPARK-48970] Backport ML-skrivare/läsarkorrigeringar
    • [SPARK-49065][SQL] Ombasering i äldre formatters/parsers måste ha stöd för icke JVM-standardtidszoner
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan inte hantera null korrekt
    • [SPARK-48597][SQL] Introducera en markör för egenskapen isStreaming i textrepresentation av logisk plan
    • [SPARK-48463][ML] Gör StringIndexer till stöd för kapslade indatakolumner
    • Säkerhetsuppdateringar för operativsystem.

  • 1 augusti 2024

  • 1 augusti 2024

    • För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 12.2 LTS från 3.9.5 till 3.9.19.

  • den 11 juli 2024

    • (Beteendeförändring) DataFrames som cachelagras mot Delta-tabellkällor är nu ogiltiga om källtabellen skrivs över. Den här ändringen innebär att alla tillståndsändringar i Delta-tabeller nu ogiltigförklarar cachelagrade resultat. Använd .checkpoint() för att bevara ett tabelltillstånd under en datarams livslängd.
    • [SPARK-48481][SQL][SS] Tillämpa inte OptimizeOneRowPlan mot strömmande datauppsättning
    • [SPARK-47070] Åtgärda ogiltig aggregering efter omskrivning av underfrågor
    • [SPARK-42741][SQL] Ta inte bort gjutningar i binär jämförelse när literal är null
    • [SPARK-48445][SQL] Infoga inte UDF:er med dyra underordnade
    • [SPARK-48503][SQL] Åtgärda ogiltiga skalärunderfrågor med gruppering efter icke-likvärdiga kolumner som var felaktigt tillåtna
    • [SPARK-48383][SS] Ge bättre felmeddelande för inkompatibla partitioner i startOffset-alternativet i Kafka
    • Säkerhetsuppdateringar för operativsystem.

  • den 17 juni 2024

    • [SPARK-48277] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
    • Diverse felkorrigeringar.

  • 21 maj 2024

    • [SPARK-48105][SS] Åtgärda kapplöpningsvillkoret mellan tillståndslagringsuppladdning och ögonblicksbildtagning
    • Säkerhetsuppdateringar för operativsystem.

  • Den 9 maj 2024

    • [SPARK-44251][SQL] Ställ in nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • [SPARK-47973][CORE] Logga anropsplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Rimlighetskontroll för olöst LCA-referens
    • [SPARK-48018][SS] Åtgärda null groupId som orsakar fel på grund av saknad parameter när KafkaException.couldNotReadOffsetRange kastas
    • Säkerhetsuppdateringar för operativsystem.

  • den 25 april 2024

    • Säkerhetsuppdateringar för operativsystem.

  • den 11 april 2024

    • Säkerhetsuppdateringar för operativsystem.

  • 2024-04-01

    • [SPARK-47305][SQL] Åtgärda PruneFilters för att korrekt märka isStreaming-flaggan för LocalRelation när planen innehåller både batch- och strömningsdata.
    • [SPARK-44252][SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
    • [SPARK-47135][SS] Implementera felklasser för Kafka-undantag för dataförlust
    • [SPARK-47200][SS] Felkategori för funktionsfel i Foreach batchmottagare
    • Säkerhetsuppdateringar för operativsystem.

  • Den 14 mars 2024

    • [SPARK-47176][SQL] Har hjälpfunktionen ResolveAllExpressionsUpWithPruning
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • [SPARK-47125][SQL] Returnera null om Univocity aldrig utlöser parsning
    • [SPARK-47167][SQL] Lägg till konkret klass för anonym JDBC-relation
    • Säkerhetsuppdateringar för operativsystem.

  • den 29 februari 2024

    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • För att skapa ett schema med en definierad plats måste användaren nu ha SELECT- och MODIFY-behörigheter för ALLA FILER.
    • [SPARK-45582][SS] Se till att butiksinstansen inte används efter att commit har anropats inom strömmande aggregering i utdataläge
    • Säkerhetsuppdateringar för operativsystem.

  • den 13 februari 2024

    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • [SPARK-46794] Ta bort underfrågor från LogicalRDD-begränsningar.
    • Säkerhetsuppdateringar för operativsystem.

  • den 31 januari 2024

    • [SPARK-46763] Åtgärda kontrollfel i ReplaceDeduplicateWithAggregate för duplicerade attribut.
    • Säkerhetsuppdateringar för operativsystem.

  • den 25 december 2023

    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
    • [SPARK-46394] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true.
    • [SPARK-46417] Misslyckas inte när hive.getTable anropas och throwException är falsk.
    • [SPARK-43067] Korrigera platsen för felklassresursfilen i Kafka-anslutningsappen.
    • [SPARK-46249] Kräv instanslås för att inhämta RocksDB-metriker och förhindra tävling med bakgrundsoperationer.
    • [SPARK-46602]allowExisting Propagera i skapandet av vy när vyn/tabellen inte finns.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables utlöser inte undantag när tabellen eller vyn inte hittas.
    • [SPARK-46538] Åtgärda det tvetydiga kolumnreferensproblemet i ALSModel.transform.
    • [SPARK-42852] Återställ NamedLambdaVariable-relaterade ändringar från EquivalentExpressions.

  • den 14 december 2023

    • Åtgärdade ett problem där undantagna understreck i getColumns-åtgärder från JDBC- eller ODBC-klienter hanterades felaktigt och tolkades som jokertecken.
    • [SPARK-44582] Hoppa över iteratorn på SMJ om den har rensats.
    • [SPARK-45920] gruppera efter ordningstal bör vara idempotent.
    • [SPARK-45655] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics.
    • Säkerhetsuppdateringar för operativsystem.

  • den 29 november 2023

    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • Ett problem där undantagna understreck i getColumns åtgärder som kommer från JDBC- eller ODBC-klienter tolkades felaktigt som jokertecken.
    • [SPARK-42205] Loggningsfunktioner har tagits bort i Stage och Task starthändelser.
    • [SPARK-44846] Komplexa grupperingsuttryck har tagits bort efter RemoveRedundantAggregates.
    • [SPARK-43718] Nullbarhet för nycklar i USING kopplingar har rättats.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-43973] Det strukturerade direktuppspelningsgränssnittet visar nu misslyckade frågor korrekt.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions fördröjda.
    • Säkerhetsuppdateringar för operativsystem.

  • den 14 november 2023

    • För bättre resursutnyttjande trycks partitionsfilter på Delta Lake-strömningsfrågor ner innan hastighetsbegränsningen.
    • [SPARK-45545]SparkTransportConf ärver vid skapande.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Åtgärdat fel vid körning av underfrågor med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction misslyckas inte längre när IGNORE NULLS och offset > rowCount.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • Säkerhetsuppdateringar för operativsystem.

  • den 24 oktober 2023

    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Diverse korrigeringar.

  • den 13 oktober 2023

    • Snowflake-jdbc-beroendet uppgraderades från 3.13.29 till 3.13.33.
    • [SPARK-42553] Säkerställ minst en tidsenhet efter intervall.
    • [SPARK-45346] Parquet-schemainferens respekterar skiftlägeskänslig flagga vid sammanslagning av schema.
    • [SPARK-45178] Återgå till att köra en enda batch för Trigger.AvailableNow med källor som inte stöds i stället för att använda omslutningen.
    • [SPARK-45084]StateOperatorProgress för att använda ett korrekt, tillräckligt shuffle-partitionsnummer.

  • den 12 september 2023

    • [SPARK-44873] Stöd har lagts till för alter view med kapslade kolumner i Hive-klienten.
    • [SPARK-44718] Matcha ColumnVector standardinställningen för konfiguration av minnesläge till OffHeapMemoryMode konfigurationsvärdet.
    • [SPARK-43799] Ett binärt deskriptoralternativ har lagts till i PySpark-API Protobuf :et.
    • Diverse korrigeringar.

  • 30 augusti 2023

    • [SPARK-44485] Optimerad TreeNode.generateTreeString.
    • [SPARK-44818] En tävling för väntande aktivitetsavbrott som utfärdades innan taskThread initierades har åtgärdats.
    • [SPARK-44871][11.3-13.0] Fasta percentile_disc beteendet.
    • [SPARK-44714] Mildrad restriktion av LCA-lösning för förfrågningar.
    • Säkerhetsuppdateringar för operativsystem.

  • den 15 augusti 2023

    • [SPARK-44504] Underhållsuppgift rensar inlästa leverantörer vid ett stoppfel.
    • [SPARK-44464] Har korrigerats applyInPandasWithStatePythonRunner för utdatarader som har Null som det första kolumnvärdet.
    • Säkerhetsuppdateringar för operativsystem.

  • den 29 juli 2023

    • Åtgärdade ett problem där dbutils.fs.ls() returnerade INVALID_PARAMETER_VALUE.LOCATION_OVERLAP när den anropades för en lagringsplatssökväg som kolliderade med annan extern eller hanterad lagringsplats.
    • [SPARK-44199]CacheManager uppdateras fileIndex inte längre i onödan.
    • Säkerhetsuppdateringar för operativsystem.

  • 24 juli 2023

    • [SPARK-44337] Ett problem har åtgärdats där alla fält som angetts till Any.getDefaultInstance orsakade parsningsfel.
    • [SPARK-44136] Åtgärdade ett problem där StateManager materialiserades i en exekutor i stället för drivrutinen i FlatMapGroupsWithStateExec.
    • Säkerhetsuppdateringar för operativsystem.

  • 23 juni 2023

    • Säkerhetsuppdateringar för operativsystem.

  • Den 15 juni 2023

    • Fotoniserad approx_count_distinct.
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • [SPARK-43779]ParseToDate läser nu in EvalMode i huvudtråden.
    • [SPARK-43156][SPARK-43098] Utökat feltest för antal skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • Säkerhetsuppdateringar för operativsystem.

  • 2 juni 2023

    • JSON-parsern i failOnUnknownFields läge ignorerar en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läge.
    • Förbättra prestanda för inkrementella uppdateringar med SHALLOW CLONE Apache Iceberg och Apache Parquet.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-43404] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndslagret för att undvika felmatchningsfelet för ID.
    • [SPARK-43413][11.3-13.0] Åtgärdade IN nullbarhet för underfrågor ListQuery.
    • [SPARK-43522] Det gick inte att skapa ett struct-kolumnnamn med matrisindex.
    • [SPARK-43541] Propagera alla Project taggar i lösningen av uttryck och saknade kolumner.
    • [SPARK-43527] Åtgärdat catalog.listCatalogs i PySpark.
    • [SPARK-43123] Interna fältmetadata läcker inte längre till kataloger.
    • [SPARK-43340] Det saknade stackspårningsfältet har åtgärdats i händelseloggar.
    • [SPARK-42444]DataFrame.drop hanterar nu duplicerade kolumner korrekt.
    • [SPARK-42937]PlanSubqueries ställer nu in InSubqueryExec#shouldBroadcast på sant.
    • [SPARK-43286] CBC-läget har uppdaterats aes_encrypt för att generera slumpmässiga IV:er.
    • [SPARK-43378] Stäng strömobjekt på rätt sätt i deserializeFromChunkedBuffer.

  • 17 maj 2023

    • Parquet-skanningar är nu robusta mot OOM:er vid genomsökning av exceptionellt strukturerade filer genom att dynamiskt justera batchstorleken. Filmetadata analyseras för att proaktivt minska batchstorleken och minskas igen vid återförsök av uppgifter som en sista skyddsåtgärd.
    • Om en Avro-fil lästes med bara alternativet failOnUnknownFields eller med Auto Loader i failOnNewColumns schemautvecklingsläge, skulle kolumner som har olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa avläsningar misslyckas nu och användare rekommenderas att använda alternativet rescuedDataColumn.
    • Auto Loader gör nu följande.
      • Läser korrekt och räddar inte längre Integer, Short och Byte-typer om en av dessa datatyper tillhandahålls, men Avro-filen föreslår en av de andra två typerna.
      • Förhindrar läsning av intervalltyper som datum- eller tidsstämpeltyper för att undvika att få skadade datum.
      • Förhindrar läsning av Decimal-typer med lägre precision.
    • [SPARK-43172] Exponerar värd och token från Spark Connect-klienten.
    • [SPARK-43293]__qualified_access_only ignoreras i normala kolumner.
    • [SPARK-43098]COUNT Buggen korrigerades när skalära underfrågor grupperas efter sats.
    • [SPARK-43085] Stöd för kolumntilldelning DEFAULT för tabellnamn i flera delar.
    • [SPARK-43190]ListQuery.childOutput är nu konsekvent med sekundära utdata.
    • [SPARK-43192] Användaragentens teckenuppsättningsverifiering har tagits bort.
    • Säkerhetsuppdateringar för operativsystem.

  • den 25 april 2023

    • Om en Parquet-fil lästes med bara alternativet failOnUnknownFields eller med Auto Loader i failOnNewColumns schemautvecklingsläge, skulle kolumner som hade olika datatyper läsas som null i stället för att utlösa ett fel som anger att filen inte kan läsas. Dessa avläsningar misslyckas nu och användare rekommenderas att använda alternativet rescuedDataColumn.
    • Automatisk inläsare läser nu korrekt och eliminerar inte längre Integer, Short och Byte-typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna. När den räddade datakolumnen tidigare var aktiverad skulle datatypens matchningsfel göra att kolumner sparas trots att de var läsbara.
    • [SPARK-43009] Parameteriserad sql() med Any konstanter
    • [SPARK-42406] Avsluta rekursiva Protobuf-fält genom att släppa fältet
    • [SPARK-43038] Stöd för CBC-läget genom att aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Byt till att skriva ut workdir om appDirs är noll när arbetaren hanterar WorkDirCleanup-händelsen
    • [SPARK-43018] Åtgärda bugg för INSERT kommandon med tidsstämpelliteraler
    • Säkerhetsuppdateringar för operativsystem.

  • den 11 april 2023

    • Stöd för äldre datakällformat i SYNC kommandot.
    • Åtgärdar ett problem i %autoreload-beteendet i notebook-filer utanför en lagringsplats.
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42928] Synkroniseras resolvePersistentFunction .
    • [SPARK-42936] Åtgärdar LCan-problem när satsen kan lösas direkt av dess underordnade aggregering.
    • [SPARK-42967] Korrigerar SparkListenerTaskStart.stageAttemptId när en uppgift startar efter att fasen har avbrutits.
    • Säkerhetsuppdateringar för operativsystem.

  • Den 29 mars 2023

    • Databricks SQL har nu stöd för att ange standardvärden för kolumner i Delta Lake-tabeller, antingen när tabellen skapas eller efteråt. Efterföljande INSERTkommandon , UPDATE, DELETEoch MERGE kan referera till valfri kolumns standardvärde med det explicita DEFAULT nyckelordet. Om någon INSERT tilldelning dessutom har en explicit lista med färre kolumner än måltabellen ersätts motsvarande kolumnstandardvärden med de återstående kolumnerna (eller NULL om inget standardvärde har angetts).

      Till exempel:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Automatisk inläsning initierar nu minst en synkron RocksDB-loggrensning för Trigger.AvailableNow-strömmar för att säkerställa att kontrollpunkten regelbundet kan rensas upp för snabbt körande Auto Loader-strömmar. Detta kan göra att vissa strömmar tar längre tid innan de stängs av, men det sparar på lagringskostnader och förbättrar Auto Loader-upplevelsen i framtida körningar.

    • Nu kan du ändra en Delta-tabell för att lägga till stöd för tabellfunktioner med hjälp av DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Öka lockAcquireTimeoutMs till 2 minuter för att hämta RocksDB-tillståndsarkivet i Structure Streaming

    • [SPARK-42521] Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen

    • [SPARK-42702][SPARK-42623] Stöd för parametriserad fråga i underfrågor och CTE

    • [SPARK-42668] Fånga undantag när du försöker stänga den komprimerade strömmen i HDFSStateStoreProvider-stopp

    • [SPARK-42403] JsonProtocol ska hantera null-JSON-strängar

  • Den 8 mars 2023

    • Felmeddelandet "Det gick inte att initiera konfigurationen" har förbättrats för att ge kunden mer kontext.
    • Det finns en terminologiändring för att lägga till funktioner i en Delta-tabell med hjälp av tabellegenskapen. Den föredragna syntaxen är nu 'delta.feature.featureName'='supported' i stället 'delta.feature.featureName'='enabled'för . För bakåtkompatibilitet fungerar det fortfarande att använda 'delta.feature.featureName'='enabled' och det kommer att fortsätta fungera.
    • Från och med den här versionen är det möjligt att skapa/ersätta en tabell med ytterligare en tabellegenskap delta.ignoreProtocolDefaults för att ignorera protokollrelaterade Spark-konfigurationer, som innehåller standardversioner av läsare och skrivare och tabellfunktioner som stöds som standard.
    • [SPARK-42070] Ändra standardvärdet för argumentet för funktionen Mask från -1 till NULL
    • [SPARK-41793] Felaktigt resultat för fönsterramar som definierats av en intervallsats på betydande decimaler
    • [SPARK-42484] UnsafeRowUtils bättre felmeddelande
    • [SPARK-42516] Samla alltid in sessionens tidszonskonfiguration när du skapar vyer
    • [SPARK-42635] Åtgärda timestampAdd-uttrycket.
    • [SPARK-42622] Inaktiverat ersättning i värden
    • [SPARK-42534] Åtgärda DB2Dialect Limit-villkor
    • [SPARK-42121] Lägg till inbyggda tabellvärdesfunktioner posexplode, posexplode_outer, json_tuple och stack
    • [SPARK-42045] ANSI SQL-läge: Round/Bround ska returnera ett fel vid överflöde för små/stora/signifikanta heltal
    • Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 9.1 LTS

Se Databricks Runtime 9.1 LTS.

  • den 9 april 2025
    • Säkerhetsuppdateringar för operativsystem.
  • 11 mars 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 februari 2025
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 december 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 november 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 oktober 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 september 2024
    • [SPARK-49000][SQL] Åtgärda "select count(distinct 1) from t" där t är tom tabell genom att expandera RewriteDistinctAggregates
    • Säkerhetsuppdateringar för operativsystem.
  • den 6 september 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 augusti 2024
    • [SPARK-49065][SQL] Ombasering i äldre formatters/parsers måste ha stöd för icke JVM-standardtidszoner
  • 14 augusti 2024
  • 1 augusti 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 juli 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 17 juni 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 21 maj 2024
    • [SPARK-48105][SS] Åtgärda kapplöpningsvillkoret mellan tillståndslagringsuppladdning och ögonblicksbildtagning
    • Säkerhetsuppdateringar för operativsystem.
  • Den 9 maj 2024
    • [SPARK-47973][CORE] Logga anropsplats i SparkContext.stop() och senare i SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Ställ in nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2024
    • Diverse felkorrigeringar.
  • den 11 april 2024
    • Säkerhetsuppdateringar för operativsystem.
  • 1 april 2024
    • Återställ "[SPARK-46861][CORE] Undvik dödläge i DAGScheduler"
    • Säkerhetsuppdateringar för operativsystem.
  • Den 14 mars 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 februari 2024
    • Ett problem har åtgärdats där användning av en lokal samling som källa i ett MERGE-kommando kan leda till att åtgärdsmåttet numSourceRows rapporterar dubbelt så många rader.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 februari 2024
    • [SPARK-46861] Undvik dödläge i DAGScheduler.
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2024
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 december 2023
    • För att undvika ökad svarstid vid kommunikation via TLSv1.3 innehåller den här underhållsversionen en korrigering av JDK 8-installationen för att åtgärda JDK-buggen JDK-8293562.
    • [SPARK-46058] Lägg till separat flagga för privateKeyPassword.
    • [SPARK-39440] Lägg till en konfiguration för att inaktivera händelsetidslinjen.
    • [SPARK-46132] Stöd för nyckellösenord för JKS-nycklar för RPC SSL.
  • den 14 december 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2023
    • Installerade ett nytt paket pyarrow-hotfix för att åtgärda en PyArrow RCE-säkerhetsrisk.
    • [SPARK-45859] Gjorde UDF-objekt i ml.functions fördröjda.
    • [SPARK-45544] Integrerat SSL-stöd i TransportContext.
    • [SPARK-45730] Förbättrade tidsbegränsningar för ReloadingX509TrustManagerSuite.
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 november 2023
    • [SPARK-45545]SparkTransportConf ärver vid skapande.
    • [SPARK-45429] Hjälpklasser har lagts till för SSL RPC-kommunikation.
    • [SPARK-45427] RPC SSL-inställningar har lagts till i SSLOptions och SparkTransportConf.
    • [SPARK-45584] Åtgärdat fel vid körning av underfrågor med TakeOrderedAndProjectExec.
    • [SPARK-45541] Lade till SSLFactory.
    • [SPARK-42205] Loggackumuleringar har tagits bort från scen- och aktivitetsstarthändelser.
    • Säkerhetsuppdateringar för operativsystem.
  • den 24 oktober 2023
    • [SPARK-45426] Stöd har lagts till för ReloadingX509TrustManager.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 oktober 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 10 september 2023
    • Diverse korrigeringar.
  • den 30 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 augusti 2023
    • Säkerhetsuppdateringar för operativsystem.
  • Den 23 juni 2023
    • Snowflake-jdbc-biblioteket uppgraderas till 3.13.29 för att åtgärda ett säkerhetsproblem.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 15 juni 2023
    • [SPARK-43098] Åtgärda fel i COUNT-funktionens korrekthet när skalära underfrågor har en GROUP BY-sats.
    • [SPARK-43156][SPARK-43098] Utöka buggtestet för skalära underfrågor med decorrelateInnerQuery inaktiverat.
    • [SPARK-40862] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery.
    • Säkerhetsuppdateringar för operativsystem.
  • 2 juni 2023
    • JSON-parsern i failOnUnknownFields läge ignorerar en post i DROPMALFORMED läge och misslyckas direkt i FAILFAST läge.
    • Ett problem i JSON-räddad dataanalys har åtgärdats för att förhindra UnknownFieldException.
    • Åtgärdade ett problem i Auto Loader där olika källfilformat var inkonsekventa när det angivna schemat inte innehöll uppskjutna partitioner. Det här problemet kan orsaka oväntade fel vid läsning av filer med kolumner som saknas i det härledda partitionsschemat.
    • [SPARK-37520] Lägg till strängfunktionerna startswith() och endswith()
    • [SPARK-43413] Nullbarhet för underfrågor IN har åtgärdatsListQuery.
    • Säkerhetsuppdateringar för operativsystem.
  • 17 maj 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 25 april 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 11 april 2023
    • Ett problem har åtgärdats där schemautvecklingen för automatisk inläsning kan gå till en oändlig redundansloop när en ny kolumn identifieras i schemat för ett kapslat JSON-objekt.
    • [SPARK-42967] Åtgärda SparkListenerTaskStart.stageAttemptId när en aktivitet startas efter att fasen har avbrutits.
  • Den 29 mars 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 14 mars 2023
    • [SPARK-42484] Förbättrat felmeddelande för UnsafeRowUtils.
    • Diverse korrigeringar.
  • den 28 februari 2023
    • Användare kan nu läsa och skriva specifika Delta-tabeller som kräver läsarversion 3 och Skrivare version 7 med Databricks Runtime 9.1 LTS eller senare. För att lyckas måste tabellfunktioner som anges i tabellernas protokoll stödjas av den aktuella versionen av Databricks Runtime.
    • Säkerhetsuppdateringar för operativsystem.
  • den 16 februari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 31 januari 2023
    • Tabelltyper av JDBC-tabeller är nu EXTERNA som standard.
  • den 18 januari 2023
    • Säkerhetsuppdateringar för operativsystem.
  • den 29 november 2022
    • Åtgärdade ett problem med JSON-parsning i Auto Loader när alla kolumner lämnades som strängar (cloudFiles.inferColumnTypes inte angavs eller angavs till false) och JSON innehöll kapslade objekt.
    • Säkerhetsuppdateringar för operativsystem.
  • den 15 november 2022
    • Uppgraderade Apache commons-text till 1.10.0.
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 1 november 2022
    • Ett problem har åtgärdats där om en Delta-tabell hade en användardefinierad kolumn med namnet _change_type, men Ändra dataflöde stängdes av i tabellen, skulle data i den kolumnen felaktigt fyllas med NULL-värden när du körde MERGE.
    • Ett problem med automatisk inläsning har åtgärdats där en fil kan dupliceras i samma mikrobatch när allowOverwrites är aktiverad
    • [SPARK-40596] Fyll i ExecutorDecommission med meddelanden i ExecutorDecommissionInfo
    • Säkerhetsuppdateringar för operativsystem.
  • den 18 oktober 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 oktober 2022
    • Diverse korrigeringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 22 september 2022
    • Användare kan ange spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") för att återaktivera den inbyggda listan för automatisk inläsning på ADLS. Den inbyggda listan hade tidigare stängts av på grund av prestandaproblem, men det kan ha lett till ökade lagringskostnader för kunderna.
    • [SPARK-40315] Lägg till hashCode() för Literal of ArrayBasedMapData
    • [SPARK-40089] Korrigera sortering för vissa decimaltyper
    • [SPARK-39887] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
  • den 6 september 2022
    • [SPARK-40235] Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies()
    • [SPARK-35542] Korrigering: Bucketizer som skapats för flera kolumner med parametrar splitsArray, inputCols och outputCols kan inte läsas in när du har sparat den
    • [SPARK-40079] Lägg till Imputer inputCols-validering för scenario med tom indata
  • den 24 augusti 2022
    • [SPARK-39666] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
    • [SPARK-39962] Tillämpa projektion när gruppattribut är tomma
    • Säkerhetsuppdateringar för operativsystem.
  • den 9 augusti 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 27 juli 2022
    • Gör Delta MERGE-åtgärdens resultat konsekventa när källan är icke-deterministisk.
    • [SPARK-39689] Stöd för två tecken lineSep i CSV-datakällan
    • [SPARK-39575] Har lagts till ByteBuffer#rewind efter ByteBuffer#get i AvroDeserializer.
    • [SPARK-37392] Åtgärdade prestandafelet för katalysatoroptimeraren.
    • Säkerhetsuppdateringar för operativsystem.
  • den 13 juli 2022
    • [SPARK-39419]ArraySort genererar ett undantag när jämförelsen returnerar null.
    • Inaktiverade autoinläsarens användning av inbyggda moln-API:er för kataloglistor i Azure.
    • Säkerhetsuppdateringar för operativsystem.
  • den 5 juli 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • Den 15 juni 2022
    • [SPARK-39283] Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554]copy() Implementera metoden i ColumnarMap.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 18 maj 2022
    • En potentiell inbyggd minnesläcka har åtgärdats i Auto Loader.
    • Uppgradera AWS SDK-versionen från 1.11.655 till 1.11.678.
    • [SPARK-38918] Kapslad kolumnrensning bör filtrera bort attribut som inte tillhör den aktuella relationen
    • [SPARK-39084] Åtgärda df.rdd.isEmpty() med hjälp TaskContext av för att stoppa iteratorn när uppgiften har slutförts
    • Säkerhetsuppdateringar för operativsystem.
  • den 19 april 2022
    • Säkerhetsuppdateringar för operativsystem.
    • Diverse korrigeringar.
  • den 6 april 2022
    • [SPARK-38631] Använder Java-baserad implementering för att ta bort tarring på Utils.unpack.
    • Säkerhetsuppdateringar för operativsystem.
  • Den 22 mars 2022
    • Ändrade den aktuella arbetskatalogen för anteckningsböcker på kluster med hög parallellitet och antingen tabellåtkomstkontroll eller vidarebefordran av autentiseringsuppgifter aktiverat till användarens hemkatalog. Tidigare var Active Directory /databricks/driver.
    • [SPARK-38437] Överseende serialisering av datetime från datakälla
    • [SPARK-38180] Tillåt säkra up-cast-uttryck i korrelerade likhetspredikat
    • [SPARK-38155] Tillåt inte distinkt aggregering i laterala underfrågor med predikat som inte stöds
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
  • Den 14 mars 2022
    • [SPARK-38236] Absoluta filsökvägar som anges i tabellen create/alter behandlas som relativa
    • [SPARK-34069] Avbryt aktivitetstråden om den lokala egenskapen SPARK_JOB_INTERRUPT_ON_CANCEL är inställd på true.
  • den 23 februari 2022
    • [SPARK-37859] SQL-tabeller som skapats med JDBC med Spark 3.1 kan inte läsas med Spark 3.2.
  • den 8 februari 2022
    • [SPARK-27442] Ett kontrollfält togs bort när data lästes eller skrevs i en parquet.
    • Säkerhetsuppdateringar för operativsystem.
  • den 1 februari 2022
    • Säkerhetsuppdateringar för operativsystem.
  • den 26 januari 2022
    • Åtgärdade ett problem där samtidiga transaktioner i Delta-tabeller kunde genomföras i en icke-seriell ordning under vissa sällsynta förhållanden.
    • Åtgärdade ett problem där kommandot OPTIMIZE kunde misslyckas när ANSI SQL-dialekten aktiverades.
  • den 19 januari 2022
    • Mindre korrigeringar och säkerhetsförbättringar.
    • Säkerhetsuppdateringar för operativsystem.
  • den 4 november 2021
    • Ett problem åtgärdades som kunde få strukturerade direktuppspelningsströmmar att misslyckas med en ArrayIndexOutOfBoundsException.
    • Ett kapplöpningsvillkor som kan leda till att en fråga misslyckas med ett IOException-fel som java.io.IOException: No FileSystem for scheme eller som kan leda till att ändringar i sparkContext.hadoopConfiguration inte ger effekt på frågorna har åtgärdats.
    • Apache Spark Connector för Delta Sharing uppgraderades till 0.2.0.
  • den 20 oktober 2021
    • Uppgraderade BigQuery-anslutningsprogrammet från 0.18.1 till 0.22.2. Detta lägger till stöd för typen BigNumeric.
  • Last updated on