Versionsinformation för serverlös beräkning

Den här artikeln förklarar de funktioner och beteenden som för närvarande är tillgängliga samt de kommande inom serverlös beräkning för notebooks och jobb.

Mer information om serverlös beräkning finns i Ansluta till serverlös beräkning.

Azure Databricks släpper regelbundet uppdateringar av serverlös beräkning och uppgraderar automatiskt den serverlösa beräkningskörningen för att stödja förbättringar och uppgraderingar till plattformen. Alla användare får samma uppdateringar som distribueras under en kort tidsperiod.

Serverlösa miljöversioner

Serverlös beräkning för notebook-filer och jobb använder miljöversioner, som tillhandahåller ett stabilt klient-API baserat på Spark Connect för att säkerställa programkompatibilitet. Detta gör att Databricks kan uppgradera servern oberoende av varandra och leverera prestandaförbättringar, säkerhetsförbättringar och felkorrigeringar utan att kräva några kodändringar i arbetsbelastningar.

Varje miljöversion innehåller en specifik Python-version och en uppsättning Python-paket med definierade versioner. Databricks introducerar nya funktioner och korrigeringar i den senaste miljöversionen samtidigt som säkerhetsuppdateringar tillämpas på alla miljöversioner som stöds.

För versionsanteckningar för serverlösa miljöer, se Miljöversioner.

Versionsmeddelanden

Det här avsnittet innehåller versionsinformation för serverlös beräkning. Versionsinformation organiseras efter år och vecka i året. Serverlös beräkning körs alltid med den senaste versionen som visas här.

DataFrame-cache på serverlös datorkraft finns nu i Public Preview

23 oktober 2026

DataFrame-cache på serverlös datorkraft finns nu i Public Preview. Du kan cacha en DataFrame med df.cache() eller df.persist() i serverlös beräkning för att återanvända ett dyrt resultat för resten av din session. Caching kräver serverless environment version 5 eller högre, Databricks Connect för Python 18.1.8 eller högre, eller Databricks Connect för Scala 18.1.5 eller högre. Förhandsgranskningen är aktiverad som standard för de flesta arbetsytor. Workspace-administratörer kan inaktivera det från sidan Previews. Se Cache DataFrames på serverlös datorkapacitet.

den 19 oktober 2026

19 oktober 2026

Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.

Beteendeändringar

  • Spark Connect exekveringsmått döljer detaljer om radfilter och kolumnmaskar: DataFrame-exekveringsmått döljer nu interna operatorer och mätvärden kopplade till radfilter och kolumnmasker. Detta skyddar information om policyutförande när du inspekterar df.executionInfo.metrics, inklusive dess textrepresentation. Gränsen för den skyddade delen av planen och dess egna mått förblir synliga. Frågeresultaten är oförändrade. Notebooks eller verktyg som bygger på detaljerade mätvärden i skyddade underplaner kan behöva uppdateras.

21 september 2026

21 september 2026

Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.

Nya funktioner

  • truncate funktion: Funktionen truncate trunkerar ett tal till en specificerad skala utan avrundning.

  • trim_array funktion: Funktionen trim_array tar bort det angivna antalet element från slutet av en array.

31 augusti 2026

31 augusti 2026

Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.

Nya funktioner

  • Automatiskt ändringsdataflöde är generellt tillgängligt: Automatiskt ändringsdataflöde (Auto CDF) beräknar radnivåändringar vid frågetillfället. Den fungerar med batchfrågor, Structured Streaming och Delta Sharing, och kräver radspårning. Se Automatisk ändringsdataflöde.

  • parse_sql funktion: Funktionen parse_sql tolkar en SQL-sats och returnerar strukturerad JSON som innehåller satsmetadata, tabellreferenser, select-list-uttryck eller parserfelinformation.

Beteendeändringar

  • from_protobuf Hoppar över felaktigt valda fält när schema-beskärning är aktiverad: När protobuf schema-beskärning är aktiverad, from_protobuf avkodar eller validerar den inte längre fält som en fråga inte väljer. Ett felaktigt icke-markerat fält gör inte längre att raden blir null i läget PERMISSIVE eller att frågan misslyckas i läget FAILFAST.

  • JDBC pushdown hanterar null-literaler korrekt: Data Source v2 JDBC pushdown skickar nu SQL-literalen NULL istället för strängen 'null'. Frågor som grupperar uttryck som NULLIF nu ger en nollgrupp istället för en separat 'null' stränggrupp.

  • HTTP- och AI-funktioner följer inte längre omdirigeringar: http_request och AI-funktioner följer inte längre HTTP 3xx-omdirigeringar. Anrop som tar emot en omdirigering returnerar nu ett fjärr-HTTP-fel för omdirigeringsstatus. Nedladdningar av anslutningsprogram för filkällor påverkas inte.

den 24 augusti 2026

24 augusti 2026

Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.

Nya funktioner

  • collect_union aggregerad funktion: Den collect_union aggregerade funktionen returnerar den distinkta unionen av elementen i matriser inom varje grupp.

Beteendeändringar

  • HAVING utvärderas före fönsterfunktioner i frågor med generatorer: För frågor som inkluderar generatorer, såsom explode, utvärderas nu fönsterfunktioner efter filtret HAVING . Fönsterresultat inkluderar därför endast rader som behålls av HAVING.

  • Policylogik är som standard dold i frågeplaner: Frågeplaner exponerar inte längre radfilter- och kolumnmaskpolicylogik om inte användaren har metastore-privilegiet INSPECT_POLICY_EXECUTION .

  • Delta API DML använder policydefinierarrättigheter: DeltaTable.delete, DeltaTable.update, och DeltaTable.merge löser nu policyfunktioner för radfilter och kolumnmask med policydefinierarens rättigheter, vilket matchar SQL DML. Anropare behöver inte längre EXECUTE på de policyfunktionerna när de har de nödvändiga tabellbehörigheterna.

den 17 augusti 2026

17 augusti 2026

Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.

Nya funktioner

  • is_valid_variant funktion: Funktionen is_valid_variant returnerar true om indatan är ett välformat VARIANT värde och false annars. Använd den för att validera variantdata innan nedströms bearbetning.

  • DataFrameGroupBy.cov och SeriesGroupBy.describe i pandas API på Spark: Pandas API på Spark stöder DataFrameGroupBy.covnu , som beräknar den parvisa kovariansen av kolumner inom varje grupp, och SeriesGroupBy.describe, som genererar beskrivande statistik för varje grupp.

  • pa.ChunkedArray stöd i createDataFrame: createDataFrame() hanterar nu pandas DataFrames med PyArrow-kolumner ChunkedArray , vilket förhindrar typfel när du använder Arrow-backade pandas-data.

JAR-uppgifter i serverlös databehandling är nu allmänt tillgängliga

6 augusti 2026

Paketera Scala- eller Java-kod som en JAR och kör den som en uppgift i ett Lakeflow-jobb på serverless compute. Din JAR måste matcha versionerna av Scala, Java Development Kit (JDK) och Databricks Connect av din serverlösa miljöversion. Se Skapa och kör JAR-filer på serverlös datorkraft.

Åtkomstkontroll för serverless compute är nu allmänt tillgänglig

3 augusti 2026

Serverless compute-åtkomstkontroll är nu allmänt tillgänglig. Workspace-administratörer kan styra vem som kör serverlösa arbetsbelastningar via två inbyggda serverlösa beräkningsobjekt: Default Interactive Compute (styr åtkomst till notebooks och Databricks Connect) och Default Automated Compute (styr åtkomst till jobb och Spark Deklarative Pipelines på Lakeflow). Alla arbetsytanvändare har Kan använda på båda objekten som standard, så befintliga arbetsbelastningar fortsätter att köras utan ändringar.

Se hantera serverlös datorkraft.

den 6 juli 2026

6 juli 2026

Den här serverlösa beräkningsversionen innehåller uppdateringar från Databricks Runtime 18.

Nya funktioner

  • Spark Deklarative Pipelines on Lakeflow streaming query ID: Spark Deklarative Pipelines på Lakeflow kan nu ställa in streamingfråge-ID på begäran.

  • IP-adressfunktioner (Offentlig förhandsgranskning): Nya SQL-funktioner finns tillgängliga för att arbeta med IPv4- och IPv6-adresser samt CIDR-block, inklusive ip_host, ip_cidr, ip_version, ip_prefix_length, ip_network, ip_as_binary, ip_as_string, ip_network_last, ip_cidr_contains och try_* varianter för null-säkert beteende. Se ip_host och relaterade funktioner.

  • On-demand ompartitionering av tillstånd (Offentlig förhandsvisning): Structured Streaming stödjer nu att ändra antalet shuffle-partitioner för tillståndsbevarande frågor utan att förlora checkpoint-tillstånd. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.

Beteendeändringar

  • CREATE OR REPLACE TABLE Bevarar kommentarer: CREATE OR REPLACE TABLE Bevarar nu befintliga kolumn- och tabellkommentarer som standard. Tidigare togs kommentarer bort när en tabell återskapades. Hanterade tabeller och vyer matchar nu det befintliga beteendet för materialiserade vyer och strömmande tabeller.

  • DataFrame-skrivningar by name omvandlar kompatibla kolumner: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() och write.mode("append").saveAsTable() kastar nu automatiskt typkompatibla kolumner (till exempel int till long) för att matcha målschemat i Delta-tabellen. Tidigare misslyckades dessa åtgärder med ett DELTA_FAILED_TO_MERGE_FIELDS fel när kolumntyperna var kompatibla men inte identiska. Beteendet matchar nu SQL INSERT INTO ... BY NAME.

  • ALTER TABLE SET TBLPROPERTIES för pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') försöker nu göra den angivna tabellen möjlig att skriva till för pipelinen. Tidigare hade inställningen av den här egenskapen på en vanlig tabell ingen effekt. Om tabellen inte kvalificerar sig för skrivningar via pipeline genererar kommandot SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.

  • DESCRIBE EXTENDED AS JSON inkluderar prediktiva optimeringsresultat: DESCRIBE EXTENDED ... AS JSON inkluderar nu prediktiva optimeringsutvärderingsresultat i sitt resultat. Tidigare returnerades inte den här informationen i JSON-utdata.

  • Mått för måttvyfönster ger korrekta resultat: Mått för måttvyfönster ger nu korrekta resultat när frågor använder GROUP BY, IN/BETWEEN filter eller blandade predikat på fönstrets ordningskolumn. Tidigare kunde dessa filtermönster ge felaktiga resultat.

  • Deduplicering av strukturerad strömning med NaN nycklar: Deduplicering av strukturerad strömning behandlar NaN nu (Inte-ett-nummer) värden som har olika bitmönster som dubbletter när en double eller float kolumn används som dedupliceringsnyckel. NaN Tidigare behandlades värden med olika interna representationer som distinkta och deduplicerades inte.

  • NATURAL JOIN skiftlägesokänslig kolumnmatchning: NATURAL JOIN matchar nu gemensamma kolumner skiftlägesokänsligt, i enlighet med motsvarande USING join. Tidigare var kolumnmatchning skiftlägeskänslig, vilket gjorde att kolumner som bara skiljer sig åt om (till exempel ID vs id) inte identifieras som vanliga kolumner, vilket resulterar i en tyst korskoppling i stället för den förväntade equi-joinen.

Version 18.2

13 maj 2026

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 18.2.

Nya funktioner

  • CREATE OR REPLACE Stöd för temporära tabeller: CREATE OR REPLACE TEMP TABLE Syntax stöds nu, vilket gör att du kan skapa eller ersätta temporära tabeller i en enda sats. Detta eliminerar behovet av att uttryckligen släppa och återskapa temporära tabeller.

  • agg() Alias för measure() Funktion: agg() finns nu som alias för funktionen measure(). Den här ändringen är helt bakåtkompatibel. Befintliga frågor som använder measure() fortsätter att fungera utan ändringar och agg() ger identiska resultat när de används med samma argument.

  • Snowflake JDBC-drivrutinsuppgradering: Snowflake JDBC-drivrutinen uppgraderas från 3.22.0 till 3.28.0.

  • pyspark.pipelines.testing namnrymdalias: pyspark.pipelines.testing finns nu tillgängligt som ett bekvämlighetsalias för dlt.testing API:er. Importera Spark Declarative Pipelines i Lakeflow-pipelinetestverktygen via någon av namnrymderna.

  • Delta-tabellens historik inkluderar skrivoptionsflaggor: Deltatabellens historik (DESCRIBE HISTORY) inkluderar nu skrivoptionsflaggor i kolumnen operationParameters för WRITE och REPLACE TABLE operationer. När följande alternativ uttryckligen är aktiverade visas de som booleska flaggor i historiken (ingår endast när true):

    För WRITE och REPLACE TABLE åtgärder:

    • isDynamicPartitionOverwrite: presentera när läget för dynamisk partitionsöverskrivning användes
    • canOverwriteSchema: presentera när schemaöverskrivning (overwriteSchema) aktiverades
    • canMergeSchema: presentera när schemasammanslagning (mergeSchema) aktiverades

    För REPLACE TABLE åtgärder:

    • predicate: närvarande när replaceWhere användes
    • isV1WriterSaveAsTableOverwrite: förekommer när ersättningen har utlösts av en .saveAsTable-överskrivning
  • Ersätt selektivt data med replaceOn och replaceUsing DataFrame API:er: Och replaceOnreplaceUsing alternativen i Scala och Python DataFrame API:erna är nu allmänt tillgängliga. Använd de här alternativen för att ersätta en del av tabellen med resultatet av en DataFrame. replaceOn ersätter rader som matchar ett användardefinierat villkor. replaceUsing ersätter rader där angivna kolumner är lika. Dessa API:er kompletterar SQL-uttrycken INSERT REPLACE ON och INSERT REPLACE USING . Se Selektivt skriva över data med Delta Lake.

Beteendeändringar

  • Bevarande av NULL-strukturer i INSERT, MERGE, och strömmande skrivningar med schemautveckling: För INSERT, MERGE, och strömmande skrivningar som använder schema evolution lagras en NULL-struktur i källkoden nu som NULL i målet. Det värdet materialiserades tidigare felaktigt som en strukt som inte är null, med varje fält inställt på NULL, medan samma åtgärder utan schemaevolution bevarade NULL-strukturer korrekt. Om koden förlitade sig på att ta emot en icke-null-struct vars fält alla var NULL uppdaterar du koden så att den hanterar en NULL-struct i stället.

  • Åtgärd för LEFT OUTER JOIN LATERAL att rader tas bort: En bugg som felaktigt tog bort rader från LEFT OUTER JOIN LATERAL frågor är nu åtgärdad. Frågor som använder den här konstruktionen returnerar nu rätt resultat. Om du tillfälligt vill återgå till det tidigare beteendet anger du spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic till true.

  • NATURAL JOIN respekterar skiftlägesokänslig kolumnmatchning: NATURAL JOIN använder nu korrekt skiftlägesokänslig kolumnmatchning när spark.sql.caseSensitive är satt till false (standarden). Tidigare använde NATURAL JOIN en skiftlägeskänslig jämförelse för att identifiera vanliga kolumner, vilket ledde till att kolumner som endast skilde sig åt i skiftläge (till exempel ID jämfört med id) inte kunde identifieras som matchande. Detta orsakade NATURAL JOIN att generera korskopplingsresultat utan att märkas. Den här korrigeringen justerar NATURAL JOIN beteendet med USING kopplingar, som redan har hanterat skiftlägeskänslighet korrekt. Frågor som påverkas av den här buggen returnerar nu korrekta resultat med korrekt kopplade kolumner.

  • SQL UDF-beroendevalidering i Unity Catalog: Unity Catalog tvingar nu beroendevalidering för SQL-användardefinierade funktioner (UDF) för att förhindra åtkomstkontrollkringgående. Tidigare kunde SQL-funktioner som skapats via REST-API:et referera till beroenden som användaren inte hade åtkomst till. SQL-UDF:er med ogiltiga beroendekonfigurationer blockeras nu från körning.

  • AWS SDK v1-beroenden är skuggade: AWS SDK v1-beroenden som ingår i Azure Databricks runtime är nu skuggade och inte längre direkt tillgängliga på classpath. Om koden är beroende av AWS SDK v1-bibliotek som tidigare tillhandahölls av Azure Databricks-körningen lägger du till dem som explicita beroenden i projektet. Den här ändringen förbereder migreringen till AWS SDK v2 efter att AWS-stödet för SDK v1 har upphört.

  • Rätta felaktig EPSG-auktoritet för ESRI-definierad SRID 102100: Koordinatreferenssystemet (CRS)-kartläggningen för SRID 102100 använder ESRI:102100 nu korrekt istället för den felaktiga EPSG:102100. Den här korrigeringen säkerställer att geospatial data lagras med rätt myndighet för bättre interoperabilitet med andra system.

Version 18.1

20 april 2026

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 18.1.

Nya funktioner

  • DATETIMEOFFSET datatypstöd för Microsoft Azure Synapse: Datatypen DATETIMEOFFSET stöds för Microsoft Azure Synapse connections.

  • Google BigQuery-tabellkommentarer: Google BigQuery-tabellbeskrivningar tolkas och exponeras som tabellkommentarer.

  • JDBC-anslutning: Använd en JDBC-anslutning för att läsa och skriva till en datakälla med Spark Data Source API eller Databricks Remote Query SQL API.

  • Schemautveckling med INSERT-satser: Använd klausulen WITH SCHEMA EVOLUTION med SQL-satser INSERT för att automatiskt utveckla måltabellens schema under INSERT-operationer. Satsen stöds för INSERT INTO, INSERT OVERWRITEoch INSERT INTO ... REPLACE formulär. Se schemautveckling.

  • Bevarade NULL-strukturvärden i INSERT operationer: INSERT operationer med schemautveckling eller implicit casting bevarar NULL strukturvärden när käll- och måltabellerna har olika strukturfältordningar.

  • Delta Sharing multistatement-transaktionsstöd: Delta Sharing-tabeller som använder försignerade URL- eller molntokendelningslägen stödjer multistatement-transaktioner. Vid första åtkomsten i en transaktion fästs och återanvänds tabellversionen för alla efterföljande läsningar i transaktionen. Tidsresor, ändringsdataflöde och strömning stöds inte.

  • parse_timestamp SQL-funktion: SQL-funktionen parse_timestamp tolkar tidsstämpelsträngar med flera mönster. Funktionen körs på Photon-motorn för bättre prestanda.

  • max_by och min_by med valfri begränsning: De aggregerade funktionerna max_by och min_by accepterar nu ett valfritt tredje argument limit (upp till 100 000), vilket returnerar en array av topp- eller botten-K-värden utan fönsterfunktioner eller CTE:er.

  • Vektoraggregat- och skalärfunktioner: Nya SQL-funktioner arbetar med ARRAY<FLOAT> vektorer för inbäddning och likhetsbaserade arbetsbelastningar, inklusive vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm och vector_normalize. Se Inbyggda funktioner.

  • SQL-kursorstöd i sammansatta satser: sammansatta satser i SQL-skript stöder nu kursorbehandling. Använd DEKLARERA MARKÖREN för att definiera en markör, sedan OPEN-instruktionen, FETCH-instruktionen och CLOSE-instruktionen för att köra frågan och använda rader en i taget.

  • Ungefärliga top-k skissfunktioner: Nya funktioner möjliggör byggande och kombination av ungefärliga top-K-skisser för distribuerad top-K-aggregering: approx_top_k_accumulate, approx_top_k_combine och approx_top_k_estimate. Se approx_top_k mängdfunktion.

  • Tuple-skissfunktioner: Nya aggregat- och skalärfunktioner för tuple-skisser stödjer distinkt räkning och aggregering över nyckel-sammanfattningspar. Se Inbyggda funktioner.

  • Nya geospatiala funktioner: Följande geospatiala funktioner finns nu tillgängliga:

    • st_estimatesrid funktion: Beräknar den bästa beräknade rumsliga referensidentifieraren (SRID) för en indatageometri.
    • st_force2d funktion: Konverterar ett geografiskt område eller en geometri till dess 2D-representation.
    • st_nrings funktion: Räknar det totala antalet ringar i en polygon eller multipolygon, inklusive både yttre och inre ringar.
    • st_numpoints funktion: Räknar antalet icke-tomma punkter i ett geografiskt område eller en geometri.
  • Fotonstöd för geospatiala funktioner: st_difference funktion, st_intersection funktion och st_union funktion körs nu på Photon-motorn för snabbare prestanda.

Beteendeändringar

  • Fel i observationsmått gör inte längre att frågor misslyckas: Fel under insamling av observationsmått orsakar inte längre fel i frågeexekveringen. Tidigare kunde fel i OBSERVE satser (till exempel division med noll) blockera eller misslyckas med hela frågan. Nu slutförs frågan framgångsrikt och ett fel utlöses när du anropar observation.get.

  • DESCRIBE FLOW reserverat nyckelord: Kommandot DESCRIBE FLOW är nu tillgängligt. Om du har en tabell med namnet flowanvänder du DESCRIBE schema.flow, DESCRIBE TABLE floweller DESCRIBE `flow` med backticks.

  • SpatialSQL booleska set-operationer: ST_Difference, ST_Intersection och ST_Union använder en ny implementering med ungefär 2x snabbare prestanda. Giltiga indatageometrier ger alltid ett resultat. Resultaten normaliseras för konsekventa utdata och kan variera efter den 15:e decimalplatsen för linjesegment-intersektioner på grund av olika formler och beräkningsordning.

  • Undantagstyper för SQLSTATE:Undantagstyper uppdateras för att stödja SQLSTATE. Om koden parsar undantag efter strängmatchning eller fångar specifika undantagstyper uppdaterar du logiken för felhantering.

Version 18.0

27 februari 2026

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 18.0.

Nya funktioner

  • SQL-skriptning är nu allmänt tillgängligt: SQL-skriptning är nu allmänt tillgängligt.

  • Redshift JDBC-drivrutin uppgraderad till 2.1.0.28: Redshift JDBC-drivrutinen har uppgraderats till version 2.1.0.28.

  • Delad isolationsexekveringsmiljö för Unity Catalog Python UDF:er: Unity Catalog Python UDF:er med samma ägare kan nu dela en isoleringsmiljö som standard, vilket förbättrar prestandan och minskar minnesanvändningen. Lägg till STRICT ISOLATION egenskapssatsen för att säkerställa att en UDF alltid körs i en helt isolerad miljö. Se Miljöisolering.

  • SQL-fönsterfunktioner i metrikvyer: Du kan nu använda SQL-fönsterfunktioner i metrikvyer för att beräkna löpande totaler, rankningar och andra fönsterbaserade beräkningar.

  • Dynamisk justering av shuffle-partitioner i tillståndslösa strömningsqueryer: Du kan nu ändra antalet shuffle-partitioner i tillståndslösa strömningsqueryer utan att starta om queryn.

  • Adaptiv frågeexekvering och autooptimerad blandning i tillståndslösa strömningsfrågor: Adaptiv frågeexekvering (AQE) och autooptimerad blandning (AOS) stöds nu i tillståndslösa strömningsfrågor.

  • Sammanfogning av strängliteraler överallt: Möjligheten att sammanfoga sekventiella strängliteraler som 'Hello' ' World' till 'Hello World' har utökats till var som helst där strängliteraler är tillåtna. Se STRING typ.

  • Parametermarkörer överallt: Du kan nu använda namngivna (:param) och namngivna (?) parametermarkörer nästan var som helst där ett bokstavligt värde av rätt typ kan användas, inklusive DDL-satser och kolumntyper. Se Parametermarkörer.

  • IDENTIFIER klausul överallt: IDENTIFIER-klausulen, som omvandlar strängar till SQL-objektnamn, har utökats till nästan alla ställen där en identifierare är tillåten, inklusive kolumnaliaser och kolumndefinitioner. Se IDENTIFIER-satsen.

  • Ny BITMAP_AND_AGG funktion: En ny bitmap_and_agg aggregeringsfunktion finns nu tillgänglig.

  • Nya Theta-skissfunktioner: Ett nytt bibliotek av funktioner för approximativa distinkta räknings- och mängdoperationer med Datasketches Theta Sketch finns nu tillgängligt, inklusive theta_sketch_agg, theta_union_agg, theta_intersection_agg och relaterade funktioner.

  • Nytt bibliotek för KLL Sketch-funktioner: Ett nytt bibliotek med funktioner för att bygga KLL Sketches för approximativ kvantilberäkning finns nu tillgängligt, inklusive kll_sketch_agg_bigint, kll_sketch_agg_double och relaterade funktioner.

  • Apache Parquet-biblioteket uppgraderat till 1.16.0: Apache Parquet-biblioteket har uppgraderats till version 1.16.0.

  • Nya geospatiala funktioner: Följande nya geospatiala funktioner stöds nu:

  • Förbättrad prestanda för spatial join: Prestandan för spatial join förbättras nu genom att stöd för blandad spatial join införs.

  • Förbättrad prestanda för geospatiala funktioner: Fotonimplementationer finns nu tillgängliga för st_isvalid funktion, st_makeline funktion och st_makepolygon funktion.

  • EWKT-inmatningsstöd:try_to_geography, try_to_geometry, to_geography och to_geometry-funktionerna accepterar nu Extended Well-Known Text (EWKT) som indata.

Beteendeändringar

  • FSCK REPAIR TABLE inkluderar metadatareparation som standard: Kommandot FSCK REPAIR TABLE innehåller nu ett initialt metadatareparationssteg innan det kontrollerar om datafiler saknas. Kommandot kan fungera i tabeller med skadade kontrollpunkter eller ogiltiga partitionsvärden.

  • Prorationsfaktorer anpassade för läsningar och autooptimerade skrivningar: Prorationsfaktorer för partitionstorlek använder nu bråkdelsvärden konsekvent mellan läsoperationer och autooptimerade skrivningar. Den här ändringen kan resultera i ett annat antal processer för läsåtgärder.

  • Python UDF-exekvering enhetliggjord mellan PySpark och Unity Catalog: Unity Catalog Python UDF använder nu Apache Arrow som standardformat för utbyten, vilket förbättrar den övergripande prestandan. Som en del av den här ändringen TIMESTAMP innehåller värden som skickas till Python-UDF:er inte längre tidszonsinformation i datetime objektets tzinfo attribut. Om din UDF förlitar sig på tidszonsinformation återställer du den med date = date.replace(tzinfo=timezone.utc). Se tidszonsbeteende för tidsstämplar vid indata rad för rad.

  • Förbättrade felmeddelanden för problem med Kafka-kontaktens inloggningsmodul: När Kafka-kontakten används med en oskuggad inloggningsmodulklass ger Azure Databricks nu felmeddelanden som föreslår att rätt skuggade klassprefix används (kafkashaded.org.apache.kafka eller kafkashaded.software.amazon.msk.auth.iam).

  • Tidsresebegränsningar och VACUUM retentionsbeteende: Azure Databricks blockerar nu tidsresefrågor bortom deletedFileRetentionDuration tröskeln för alla tabeller. Kommandot VACUUM ignorerar argumentet kvarhållningstid förutom när värdet är 0 timmar. Du kan inte ange deletedFileRetentionDuration större än logRetentionDuration eller vice versa.

  • BinaryType mappas till bytes som standard i PySpark: I PySpark mappas BinaryType nu konsekvent till Python bytes som standard. Tidigare mappades PySpark BinaryType till antingen bytes eller bytearray beroende på kontexten. Om du vill återställa det gamla beteendet anger du spark.sql.execution.pyspark.binaryAsBytes till false.

  • Partitionskolumner materialiserade i Parquet-filer: Partitionerade Delta-tabeller materialiserar nu partitionskolumner i nyskrivna Parquet-datafiler. Tidigare lagrades partitionsvärden i Delta-transaktionsloggens metadata och återspeglades i katalogsökvägar, men skrevs inte som kolumner i själva Parquet-filerna. Den här ändringen kan påverka arbetsbelastningar som direkt läser Parquet-filer som skrivits av Delta.

  • DESCRIBE TABLE Output inkluderar metadatakolumn: Output av DESCRIBE TABLE [EXTENDED] Now innehåller en ny metadata kolumn för alla tabelltyper, som innehåller semantisk metadata (visningsnamn, format och synonymer) definierad i tabellen som en JSON-sträng.

Serverlös miljö version 5 är nu tillgänglig

25 februari 2026

Nu kan du använda serverlösa miljön version 5 i dina serverlösa anteckningsböcker och i dina jobb. Detta omfattar både cpu- och GPU-miljöversionerna. Se Miljöversion 5.

Version 17.3

28 oktober 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.3 LTS.

Nya funktioner

  • LIMIT stöd för ALL med rekursiva CTE:er: Du kan nu använda klausulen LIMIT ALL med rekursiva gemensamma tabelluttryck (rCTE) för att uttryckligen specificera att ingen radgräns ska tillämpas på frågeresultaten. Se Gemensam tabelluttryck (CTE).

  • Att lägga till filer i Unity Catalog-volymer ger korrekt fel: Försök att lägga till befintliga filer i Unity Catalog-volymer ger nu ett mer beskrivande felmeddelande för att hjälpa dig förstå och lösa problemet.

  • st_dump funktionsstöd: Du kan nu använda st_dump funktionen för att dela upp ett geometriobjekt i dess beståndsdelar, vilket ger en uppsättning enklare geometriska delar. Se st_dump funktion.

  • Funktioner för polygoners inre ringar stöds nu: Du kan nu använda följande funktioner för att arbeta med polygoners inre ringar:

  • EXECUTE IMMEDIATE med konstanta uttryck: EXECUTE IMMEDIATE-satsen stöder nu användning av konstanta uttryck i frågesträngen, vilket möjliggör mer flexibel dynamisk SQL-exekvering. Se EXECUTE IMMEDIATE.

  • Tillåt spark.sql.files.maxPartitionBytes serverless compute: Du kan nu konfigurera spark.sql.files.maxPartitionBytes Spark-konfigurationsparametern på serverless compute för att kontrollera det maximala antalet bytes som ska packas i en enda partition när filer läses. Se Konfigurera Spark-egenskaper för serverlösa anteckningsböcker och jobb.

Beteendeändringar

  • Stöd MV/ST-uppdateringsinformation i DESCRIBE EXTENDED AS JSON: Kommandot DESCRIBE EXTENDED AS JSON inkluderar nu uppdateringsinformation för materialiserade vyer och strömningstabeller, vilket ger insyn i senaste uppdateringstid och status.

  • Lägg till metadatakolumnen i DESCRIBE QUERY och DESCRIBE TABLE: Kommandona DESCRIBE QUERY och DESCRIBE TABLE inkluderar nu en metadatakolumn i sin utdata, vilket ger ytterligare information om varje kolumns egenskaper och egenskaper.

  • Korrekt hantering av nullstrukturar vid borttagning av NullType-kolumner: Azure Databricks hanterar nu korrekt nullstrukturvärden när kolumner tas bort med NullType, vilket förhindrar potentiell datakorruption eller oväntat beteende.

  • Förbättrad hantering av null-structs i Parquet: Denna version innehåller förbättringar i hur null-struct-värden hanteras vid läsning från och skrivning till Parquet-filer, vilket säkerställer mer konsekvent och korrekt beteende.

  • Uppgradera aws-msk-iam-auth-biblioteket för Kafka: Biblioteket aws-msk-iam-auth som används för Amazon MSK IAM-autentisering har uppgraderats till den senaste versionen, vilket ger förbättrad säkerhet och kompatibilitet.

Version 17.2

25 september 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.2.

Nya funktioner

  • ST_ExteriorRing funktionen stöds nu: Du kan nu använda ST_ExteriorRing funktionen för att extrahera den yttre gränsen av en polygon och returnera den som en LineString. Se st_exteriorring funktion.
  • Stöd för TEMPORARY nyckelord för skapande av metrikvy: Du kan nu använda TEMPORARY nyckelordet när du skapar en metrikvy. Tillfälliga måttvyer visas endast i sessionen som skapade dem och tas bort när sessionen avslutas. Se CREATE VIEW.

  • Använd native I/O för LokiFileSystem.getFileStatus på S3: LokiFileSystem.getFileStatus använder nu den inbyggda I/O-stacken för Amazon S3-trafik och returnerar org.apache.hadoop.fs.FileStatus objekt istället för shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

  • Auto Loader härleder partitionskolumner i singleVariantColumn läge: Auto Loader härleder nu partitionskolumner från filvägar när data matas in som en semistrukturerad varianttyp med hjälp av alternativet singleVariantColumn . Tidigare identifierades inte partitionskolumner automatiskt. Se Auto Loader.

Beteendeändringar

  • DESCRIBE CONNECTION visar miljöinställningar för JDBC-anslutningar : Azure Databricks inkluderar nu användardefinierade miljöinställningar i DESCRIBE CONNECTION utdata för JDBC-anslutningar som stödjer anpassade drivrutiner och körs isolerat. Andra anslutningstyper förblir oförändrade.

  • Alternativ att trunkera uniformt historik under migrering av hanterade tabeller: Du kan nu trunkera uniformt historik när du migrerar tabeller med Uniform/Iceberg aktiverat med ALTER TABLE...SET MANAGED. Detta förenklar migreringen och minskar stilleståndstiden jämfört med att inaktivera och återaktivera Uniform manuellt.

  • Korrekta resultat för split med tom regex och positiv gräns: Azure Databricks returnerar nu korrekta resultat när man använder split function med tom regex och positiv gräns. Tidigare trunkerade funktionen felaktigt den återstående strängen i stället för att inkludera den i det sista elementet.

  • Åtgärd för felhantering för url_decode och try_url_decode i Photon: I Photon returnerar nu try_url_decode() och url_decode() med failOnError = falseNULL för ogiltiga URL-kodade strängar istället för att frågan misslyckas.

  • Delad exekveringsmiljö för Unity Catalog Python UDTFs: Azure Databricks delar nu exekveringsmiljön för Python användardefinierade tabellfunktioner (UDTF) från samma ägare och Spark-session. En valfri STRICT ISOLATION sats finns för att inaktivera delning för UDTF:er med bieffekter, som att modifiera miljövariabler eller köra godtycklig kod.

Version 17.1

19 augusti 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.1.

Nya funktioner

  • Minskad minnesanvändning för breda scheman i Photon Writer: Förbättringar gjordes i Photon-motorn som avsevärt minskade minnesanvändningen för breda scheman, och åtgärdade scenarier som tidigare resulterade i minnesbrist.

Beteendeändringar

  • Fel kastat för ogiltiga CHECK begränsningar: Azure Databricks kastar nu ett AnalysisException om ett CHECK begränsningsuttryck inte kan lösas under begränsningsvalideringen.

  • Pulsar-anslutningsprogrammet exponerar inte längre Bouncy Castle: Bouncy Castle-biblioteket har nu paketerats om i Pulsar-anslutningsprogrammet för att förhindra classpath-konflikter. Därför kan Spark-jobb inte längre komma åt org.bouncycastle.* klasser från anslutningsappen. Om koden är beroende av Bouncy Castle installerar du biblioteket manuellt i en serverlös miljö.

  • Auto Loader använder filhändelser som standard om det finns: Auto Loader använder filhändelser istället för kataloglistning när laddningsvägen är en extern plats med filhändelser aktiverade. Standardvärdet för useManagedFileEvents är nu if_available (var false). Detta kan förbättra inmatningsprestanda och loggar en varning om filhändelser ännu inte är aktiverade.

  • Teradata-kopplingen fixar skiftlägeskänslig strängjämförelse: Teradata-kontakten har nu TMODE=ANSI som standard, vilket anpassar beteendet för strängjämförelser till Azure Databricks genom att göra det skiftlägeskänsligt. Den här ändringen kan konfigureras och påverkar inte befintliga användare om de inte anmäler sig.

Serverlös miljöversion 4

13 augusti 2025

Miljöversion 4 är nu tillgänglig i dina serverlösa notebooks och jobb. Den här miljöversionen innehåller biblioteksuppgraderingar och API-uppdateringar. Se Miljöversion 4.

Version 17.0

24 juli 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.0.

Nya funktioner

  • Stöd för SQL-procedurer: SQL-skript kan nu kapslas in i en procedur som lagras som en återanvändbar tillgång i Unity Catalog. Du kan skapa en procedur med kommandot CREATE PROCEDURE och sedan anropa den med kommandot CALL .

  • Sätt en standardsortering för SQL-funktioner: Att använda den nya DEFAULT COLLATION klausulen i kommandot CREATE FUNCTION definierar standardsorteringen för STRING parametrar, returtypen och STRING literalerna i funktionskroppen.

  • Stöd för rekursiva gemensamma tabelluttryck (rCTE): Azure Databricks stödjer nu navigering av hierarkiska data med hjälp av rekursiva gemensamma tabelluttryck (rCTE). Använd en självrefererande CTE med UNION ALL för att följa den rekursiva relationen.

  • PySpark och Spark Connect stöder nu DataFrames df.mergeInto API: PySpark och Spark Connect stöder nu API:et df.mergeInto .

  • Stöd för ALL CATALOGS i SHOW SCHEMAS: Syntaxen SHOW SCHEMAS har uppdaterats för att acceptera ALL CATALOGS, vilket gör att du kan iterera genom alla aktiva kataloger som stöder namnrymder. Utdataattributen innehåller nu en catalog kolumn som anger katalogen för motsvarande namnområde.

  • Liquid clustering kompakterar nu raderingsvektorer mer effektivt: Delta-tabeller med Liquid clustering tillämpar nu fysiska förändringar från raderingsvektorer mer effektivt när OPTIMIZE körs. Mer information finns i Tillämpa ändringar på Parquet-datafiler.

  • Tillåt icke-deterministiska uttryck i UPDATE/INSERT kolumnvärden för MERGE operationer: Azure Databricks tillåter nu användning av icke-deterministiska uttryck i uppdaterade och infogade kolumnvärden för MERGE operationer. Du kan till exempel nu generera dynamiska eller slumpmässiga värden för kolumner med hjälp av uttryck som rand().

  • Ändra Delta MERGE Python API:er för att returnera DataFrame istället för Unit: Python MERGE API:erna (såsom DeltaMergeBuilder) returnerar nu också en DataFrame som SQL API:et gör, med samma resultat.

Beteendeändringar

  • Beteendeförändring för Auto Loaders inkrementella kataloglistningsalternativ: Värdet på det föråldrade Auto Loader-alternativet cloudFiles.useIncrementalListing är nu satt till standardvärdet false. Som ett resultat orsakar den här ändringen att Auto Loader utför en fullständig kataloggenomsökning varje gång den körs. Databricks rekommenderar att du inte använder det här alternativet. Använd i stället filmeddelandeläge med filhändelser.

  • CREATE VIEW Kolumnnivåklausuler kastar nu fel när klausulen endast skulle gälla materialiserade vyer: CREATE VIEW kommandon som specificerar en kolumnnivåklausul som endast gäller för MATERIALIZED VIEWs kastar nu ett fel. De berörda satserna inkluderar NOT NULL, angivna datatyper, DEFAULToch COLUMN MASK.

Serverlösa prestandamål är GA

10 juni 2025

Nu är den serverlösa prestandainställningen för jobb och pipelines allmänt tillgänglig att välja.

När inställningen Prestandaoptimerad är aktiverad optimeras arbetsbelastningen för snabbare start- och körningstid. När den är inaktiverad körs den serverlösa arbetsbelastningen i standardprestandaläge, vilket är optimerat för kostnad och har en något högre svarstid för start.

Mer information finns i Välj ett prestandaläge och Välj ett prestandaläge.

Version 16.4

28 maj 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.4 LTS.

Beteendeändringar

  • Åtgärd för att respektera alternativ för cachelagrade planer för datakällor: Denna uppdatering säkerställer att tabellläsningar respekterar de alternativ som ställts in för alla planer för datakällor när de är cachade, inte bara den första cachelagrade tabellläsningen. Tidigare cachelagrade datakällatabellen den första planen men kunde inte ta hänsyn till olika alternativ i efterföljande frågor.

  • Aktivera flaggan för att kräva källmaterialisering för MERGE-operationer: Tidigare kunde användare stänga av källmaterialisering i MERGE genom att sätta merge.materializeSource till none. När den nya flaggan är aktiverad krävs alltid källmaterialisering, och försök att inaktivera den resulterar i ett fel. Databricks planerar att endast aktivera den här flaggan för kunder som inte tidigare har ändrat den här konfigurationen, så de flesta användare bör inte uppleva några förändringar i beteendet.

Nya funktioner

  • Auto Loader kan nu rensa bearbetade filer i källkatalogen: Du kan nu instruera Auto Loader att automatiskt flytta eller ta bort filer som har behandlats. Välj den här funktionen med alternativet cloudFiles.cleanSource Automatisk inläsning. Se Common under cloudFiles.cleanSource.

  • Stöd för typbreddning har lagts till för strömning från Delta-tabeller: Denna version lägger till stöd för strömning från en Delta-tabell med typbreddad kolumndata, samt för att dela en Delta-tabell med typbreddning aktiverad via Databricks-to-Databricks Delta Sharing. Funktionen för typbreddning finns för närvarande i offentlig förhandsversion. Se även Typbreddning.

  • IDENTIFIER stöd finns nu tillgängligt i DBSQL för katalogoperationer: Du kan nu använda klausulen IDENTIFIER när du utför följande katalogoperationer:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Med den här nya syntaxen kan du dynamiskt ange katalognamn med hjälp av parametrar som definierats för dessa åtgärder, vilket möjliggör mer flexibla och återanvändbara SQL-arbetsflöden. Som ett exempel på syntaxen bör du överväga CREATE CATALOG IDENTIFIER(:param) var param är en parameter som tillhandahålls för att ange ett katalognamn. Se IDENTIFIER-satsen.

  • Kollationerade uttryck ger nu autogenererade övergående alias: Autogenererade alias för kollationerade uttryck inkorporerar nu deterministiskt information från COLLATE. Autogenererade alias är tillfälliga (instabila) och bör inte användas. Använd i stället expression AS alias konsekvent och explicit som en bästa praxis.

  • Lägg till stöd för filterpushdown-API:er i Python-datakällor: Serverless-beräkning har nu stöd för filterpushdown för batchläsning från Python-datakällor via ett API, liknande SupportsPushDownFilters-gränssnittet. Se 16.4 LTS versionsanteckningar.

  • Förbättring av Python UDF-stackspårning: Python UDF-stackspårningen inkluderar nu stackramar från både driver och executor tillsammans med klientramar, vilket resulterar i bättre felmeddelanden som visar större och mer relevanta detaljer (såsom radinnehållet i stackramar inuti en UDF).

  • UNION/EXCEPT/INTERSECT i en vy och EXECUTE IMMEDIATE returnerar nu korrekta resultat: Förfrågningar efter tillfälliga och persistenta vydefinitioner med toppnivå UNION//EXCEPTINTERSECT och kolumner utan alias gav tidigare felaktiga resultat eftersom INTERSECT UNION/EXCEPT/ nyckelord ansågs vara alias. Nu kommer dessa frågeförfrågningar att korrekt utföra hela mängdoperationen.

  • Databaskälla cachad plan konfigurations- och migrationsguide: Att läsa från en filkälltabell kommer korrekt att respektera frågealternativ (till exempel avgränsare). Tidigare cachelagrades den första frågeplanen och efterföljande alternativändringar ignorerades. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.readFileSourceTableCacheIgnoreOptions till true.

  • Nya listagg och string_agg funktioner: Från och med denna version kan du använda eller-funktionerna listaggstring_agg för att aggregera STRING och BINARY värden inom en grupp. Se string_agg.

Prestandaläget kan nu konfigureras för serverlösa jobb

14 april 2025

Nu kan du välja prestandaläget för ett serverlöst jobb med hjälp av inställningen Prestandaoptimerad på sidan jobbinformation. Tidigare var alla serverlösa jobb prestandaoptimerade. Nu kan du inaktivera inställningen Prestandaoptimerad för att köra arbetsbelastningen i standardprestandaläge. Standardprestandaläget är utformat för att minska kostnaderna på arbetslaster där en något högre startlatens är acceptabel.

Standardprestandaläge stöds inte för kontinuerliga pipelines, engångskörningar som skapats med hjälp av runs/submit slutpunkten eller SQL Warehouse-jobbuppgifter, inklusive materialiserade vyer.

Mer information om prestandaläget finns i Välj ett prestandaläge.

Version 16.3

9 april 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.3.

Beteendeändringar

  • *Förbättrat felmeddelande när ett ogiltigt värde tilldelas kafka.sasl.client.callback.handler.class: Denna version innehåller en ändring för att returnera ett mer beskrivande felmeddelande när ett ogiltigt värde tilldelas kafka.sasl.client.callback.handler.class.

Nya funktioner

  • Läsning av tillstånd stöds nu allmänt: Stöd för att läsa tillståndsinformation för Structured Streaming-frågor finns nu allmänt tillgängligt på serverless compute. Se Läsa information om status för strukturerad direktuppspelning.

  • Nedgradering av Delta-tabellprotokollet är GA med kontrollpunktsskydd: DROP FEATURE är generellt tillgänglig för att ta bort Delta Lake-tabellfunktioner och nedgradera tabellprotokollet. Som standard skapar DROP FEATURE nu skyddade kontrollpunkter som inte kräver någon väntetid eller historiktrunkering, för en mer optimerad och förenklad nedgraderingsupplevelse. Se Ta bort en Delta Lake-tabellfunktion och nedgradera tabellprotokollet.

  • Skriv procedurmässiga SQL-skript baserade på ANSI SQL/PSM (Public Preview): Du kan nu använda skriptfunktioner baserade på ANSI SQL/PSM för att skriva procedurmässig logik med SQL, inklusive kontrollflödessatser, lokala variabler och undantagshantering. Se SQL-skript.

  • Standardkollation på tabell- och vynivå: Du kan nu ange en standardkollation för tabeller och vyer. Detta förenklar skapandet av tabeller och vyer där alla eller de flesta kolumner delar samma sortering. Se Kollektion.

  • Nya H3-funktioner: Tre nya H3-funktioner har lagts till: h3_try_coverash3, h3_try_coverash3string och h3_try_tessellateaswkb.

  • Ändra flera tabellkolumner i en och samma ALTER TABLE sats: Du kan nu ändra flera kolumner i en och samma ALTER TABLE sats. Se ALTER TABLE ... COLUMN klausul.

Version 16.2

13 mars 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.2.

Beteendeändringar

  • I Delta Sharing är tabellhistorik aktiverad som standard: Delningar skapade med SQL-kommandot ALTER SHARE <share> ADD TABLE <table> har nu historikdelning (WITH HISTORY) aktiverat som standard. Se ALTER SHARE.

  • Credential SQL-satser returnerar ett fel när det finns en typmismatch för autentiseringsuppgifter: Om den typ av autentiseringsuppgifter som anges i en SQL-sats för hantering av autentiseringsuppgifter inte matchar typen för argumentets autentiseringsuppgift returneras ett fel och satsen körs inte.

Nya funktioner

  • Använd timestampdiff & timestampadd i genererade kolumnuttryck. Du kan nu använda timestampdiff - och timestampadd-funktionerna i kolumnuttryck genererade av Delta Lake. Se Delta Lake-genererade kolumner.

  • Uppdatering returnerar DESCRIBE TABLE metadata som strukturerad JSON: Du kan nu använda kommandot DESCRIBE TABLE AS JSON för att returnera tabellmetadata som ett JSON-dokument. JSON-utdata är mer strukturerade än standardrapporten som kan läsas av människor och kan användas för att tolka en tabells schema programmatiskt. Mer information finns i DESCRIBE TABLE AS JSON.

  • Jämförelseregler som ignorerar efterföljande blanksteg: Serverless stöder nu jämförelseregler som ignorerar efterföljande blanksteg. Dessa sorteringar behandlar till exempel 'Hello' och 'Hello ' som lika. Mer information finns i RTRIM-sortering.

Felkorrigeringar

  • Förbättrad inkrementell klonbearbetning: Denna version innehåller en lösning för ett undantagsfall där en inkrementell CLONE kan kopiera redan kopierade filer från en källtabell till en måltabell. Se Klona en tabell i Azure Databricks.

Inställning för stort minne är tillgänglig på serverlösa anteckningsböcker (Offentlig förhandsversion)

7 februari 2025

Nu kan du konfigurera mer minne för dina serverlösa anteckningsboksarbetsbelastningar. Den här inställningen kan tillämpas på både interaktiva och schemalagda notebook-arbetsbelastningar.

Serverlös användning med högt minne har en högre DBU-utsläppsfrekvens än standardminnet.

Mer information finns i Använda serverlös beräkning med hög minnesanvändning.

Version 16.1

5 februari 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.0 och Databricks Runtime 16.1.

Nya funktioner

  • Avro-stöd för rekursivt schema: Du kan nu använda recursiveFieldMaxDepth alternativet med from_avro funktionen och avro datakällan. Det här alternativet anger det maximala djupet för schemarekursion på Avro-datakällan. Se Läsa och skriva strömmande Avro-data.
  • Utökat stöd för Confluent Schema Registry för Avro: Serverless stöder nu Avro-schemareferenser med Confluent Schema Registry. Se Autentisera till ett externt Confluent-schemaregister.
  • Tvinga omklustring på tabeller med flytande klustring: Du kan nu använda syntaxen OPTIMIZE FULL för att tvinga omklustring av alla poster i en tabell med flytande klustring aktiverad. Se Framtvinga omklustring.
  • Delta API:erna för Python stödjer nu identitetskolumner: Du kan nu använda Delta API:erna för Python för att skapa tabeller med identitetskolumner. Se Identitetskolumner.
  • Skapa tabeller med flytande klustring under strömningsskrivningar: Du kan nu använda clusterBy för att aktivera flytande klustring när du skapar nya tabeller med Structured Streaming-skrivningar. Se Aktivera vätskeklustring.
  • Stöd för OPTIMIZE FULL-klausulen: Serverless beräkning stöder nu OPTIMIZE FULL-klausulen. Den här bestämmelsen optimerar alla poster i en tabell som använder flytande klustring, inklusive data som även kan ha varit klustrade tidigare.
  • Stöd för WITH-optionsspecifikation i INSERT och tabellreferens: Serverless beräkning stöder nu en optionsspecifikation för tabellreferenser och tabellnamn för en INSERT sats som kan användas för att styra beteendet hos datakällor.
  • Nya SQL-funktioner: Följande SQL-funktioner finns nu tillgängliga på serverless compute:
    • try_url_decode är en feltolerant version av url_decode.
    • zeroifnull returnerar 0 om indatauttrycket till zeroifnull()-funktionen är NULL.
    • nullifzero returnerar NULL om indatan är 0 eller dess indata om den inte är 0.
    • dayname(expr) återger den engelska akronymen med tre bokstäver för veckodagen för det givna datumet.
    • Uniform(expr1, expr2 [,seed]) returnerar ett slumpmässigt värde med oberoende och identiskt fördelade värden inom det angivna talintervallet.
    • randstr(length) returnerar en slumpmässig sträng av length alfanumeriska tecken.
  • Aktivera automatisk schemautveckling vid sammanslagning av data i en Delta-tabell: Stöd har lagts till för medlemmen withSchemaEvolution() i DeltaMergeBuilder klassen. Använd withSchemaEvolution() för att aktivera automatisk schemautveckling under MERGE åtgärder. Exempel: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}
  • Stöd för sorteringar i Apache Spark finns i Public Preview: Du kan nu tilldela språkmedvetna, kasus-känsliga och åtkomst-okänsliga sorteringar till STRING kolumner och uttryck. Dessa sorteringar används i strängjämförelser, sortering, grupperingsåtgärder och många strängfunktioner. Se Kollektion.
  • Stöd för kollationer i Delta Lake finns i Public Preview: Du kan nu definiera kollationer för kolumner när du skapar eller ändrar en Delta-tabell. Se Sorteringsstöd för Delta Lake.
  • LITE läget för vakuum finns i Public Preview: Du kan nu använda VACUUM table_name LITE det för att utföra en lättare vakuumoperation som utnyttjar metadata i Delta-transaktionsloggen. Se Fullständigt kontra lite-läge och VACUUM.
  • Stöd för parameterisering av USE CATALOG with IDENTIFIER-klausulen:IDENTIFIER-klausulen stöds nu för USE CATALOG-satsen. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.
  • COMMENT ON COLUMN stöd för tabeller och vyer: Uttalandet COMMENT ON stöder nu att ändra kommentarer för vy- och tabellkolumner.
  • Anrop med namngivna parametrar för fler funktioner: Följande funktioner stödjer anrop med namngivna parametrar:
  • Parametern SYNC METADATA till kommandot REPAIR TABLE stöds med Hive-metastore: Du kan nu använda parametern SYNC METADATA med kommandot REPAIR TABLE för att uppdatera metadata för en Hive-metastore-hanterad tabell. Se REPAIR TABLE.
  • Förbättrad dataintegritet för komprimerade Apache Arrow-batcher: För att ytterligare skydda mot datakorruption innehåller varje LZ4 komprimerad Arrow-batch nu innehålls LZ4 - och blockkontrollsummor. Se beskrivning av LZ4-ramformat .
  • Inbyggd Oracle JDBC-drivrutin: Serverless beräkning har nu Oracle JDBC-drivrutinen inbyggd. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du tillhandahålla en egen drivrutin.
  • Mer detaljerade fel för delta-tabeller som nås med sökvägar: En ny upplevelse för felmeddelanden för delta-tabeller som nås med sökvägar finns nu tillgänglig. Alla undantag vidarebefordras nu till användaren. Undantaget DELTA_MISSING_DELTA_TABLE är nu reserverat för när underliggande filer inte kan läsas som en Delta-tabell.

Beteendeändringar

  • Icke-bakåtkompatibel ändring: Databricks-värdbaserad RStudio Server har nått slutet av sin livscykel: Med den här versionen har Databricks-värdbaserad RStudio Server nått slutet av sin livscykel och är inte tillgänglig i någon Azure Databricks-arbetsyta som körs på serverlös beräkning. För att lära dig mer och se en lista över alternativ till RStudio, se Anslut till en RStudio Server som hostas av Databricks.
  • Brytande förändring: Borttagning av stöd för att ändra byte, short, int och long typer till bredare typer: För att säkerställa konsekvent beteende över Delta- och Apache Iceberg-tabeller kan följande datatypsändringar inte längre tillämpas på tabeller med typutvidgningsfunktionen aktiverad:

    • byte, short, int och long till decimal.
    • byte, short, och int till double.
  • Korrekt tolkning av regex-mönster med negation i nästlade teckengrupper: Denna version innehåller en ändring för att stödja korrekt parsning av regex-mönster med negation i nästlade teckengrupperingar. Till exempel [^[abc]] parsas som "alla tecken som inte är ett av "abc".

    Dessutom var Photon-beteendet inkonsekvent med Spark för kapslade teckenklasser. Regex-mönster som innehåller kapslade teckenklasser använder inte längre Photon och använder i stället Spark. En kapslad teckenklass är ett mönster som innehåller hakparenteser inom hakparenteser, till exempel [[a-c][1-3]].

  • Förbättra detektering av dubblettmatchning i Delta Lake MERGE:MERGE beaktar nu villkor som anges i klausulen WHEN MATCHED . Se Upsert i en Delta Lake-tabell med hjälp av sammanslagning.

  • Funktionaliteten addArtifact() är nu konsekvent över beräkningstyper: När du använder addArtifact(archive = True) det för att lägga till ett beroende till serverless beräkning packas arkivet automatiskt upp.

Felkorrigeringar

  • Tidszonsförskjutningar inkluderar nu sekunder när de serialiseras till CSV, JSON och XML: Tidsstämplar med tidszonsförskjutningar som inkluderar sekunder (vanligt för tidsstämplar från före 1900) utelämnade sekunderna när de serialiserades till CSV, JSON och XML. Standardformatet för tidsstämplar har åtgärdats och returnerar nu rätt förskjutningsvärden för dessa tidsstämplar.

Andra ändringar

  • Omdöpta felkoder för cloudFiles Strukturerad strömningskälla: Följande felkoder har bytt namn:
    • _LEGACY_ERROR_TEMP_DBR_0143 har bytt namn till CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 har bytt namn till CF_INCORRECT_BATCH_USAGE .

Version 15.4

28 oktober 2024

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 15.4

Nya funktioner

  • UTF-8 valideringsfunktioner: Denna version introducerar följande funktioner för validering av UTF-8-strängar:
    • is_valid_utf8 verifierar om en sträng är en giltig UTF-8-sträng.
    • make_valid_utf8 konverterar en potentiellt ogiltig UTF-8-sträng till en giltig UTF-8-sträng med hjälp av substitutionstecken.
    • validate_utf8 ger ett fel om indata inte är en giltig UTF-8-sträng.
    • try_validate_utf8 returnerar NULL om indatan inte är en giltig UTF-8-sträng.
  • Aktivera UniForm Iceberg med ALTER TABLE: Du kan nu aktivera UniForm Iceberg på befintliga tabeller utan att behöva skriva om datafiler. Se Om en befintlig tabell.
  • try_url_decode-funktion: Denna version introducerar funktionen try_url_decode, som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar NULL funktionen i stället för att skapa ett fel.
  • Tillåt eventuellt optimeraren att förlita sig på okontrollerade främmande nyckelbegränsningar: För att förbättra frågeprestandan kan du nu ange RELY nyckelordet på FOREIGN KEY begränsningar när du SKAPAR eller ÄNDRAR en tabell.
  • Parallelliserade jobb körs för selektiva överskrivningar: Selektiva överskrivningar med nu replaceWhere kör jobb som raderar data och lägger in ny data parallellt, vilket förbättrar frågeprestanda och klusteranvändning.
  • Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar: Selektiva överskrivningar med replaceWhere på tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för inlagda data. Dessa operationer använder en dold _change_type-kolumn som finns i Parquet-datafilerna för att registrera ändringar utan skrivförstärkning.
  • Förbättrad frågelatens för kommandot COPY INTO : Denna version inkluderar en ändring som förbättrar frågelatensen för kommandot COPY INTO . Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer.
  • Stöd för att ta bort kontrollbegränsningstabellen: Du kan nu ta bort checkConstraints tabellfunktionen från en Delta-tabell med hjälp av ALTER TABLE table_name DROP FEATURE checkConstraints. Se Ta bort kontrollbegränsningar.

Beteendeändringar

  • Schemabindningsändring för vyer: När datatyperna i en vys underliggande fråga ändras från de som användes när vyn först skapades, kastar Databricks inte längre fel för referenser till vyn när ingen safe cast kan utföras.

    I stället kompenserar vyn genom att använda vanliga typomvandlingsregler där det är möjligt. Den här ändringen gör det enklare för Databricks att tolerera ändringar i tabellschemat.

  • Förbjud tolerans för odokumenterad ! syntax för NOT extern boolesk logik: Databricks tolererar inte längre användningen av ! som synonym för NOT utanför boolesk logik. Den här ändringen minskar förvirringen, överensstämmer med SQL-standarden och gör SQL mer portabelt. Till exempel:

    CREATE ... IF ! EXISTS, ÄR ! NULL,! NULL kolumn- eller fältegenskap, ! IN och ! MELLAN måste ersättas med:

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL kolumn- eller fältegenskap, NOT IN och NOT BETWEEN.

    Den booleska prefixoperatorn! (t.ex. !is_mgr eller !(true AND false)) påverkas inte av den här ändringen.

  • Förbjud odokumenterade och obehandlade delar av kolumndefinitionssyntax i vyer: Databricks stöder CREATE VIEW namngivna kolumner och kolumnkommentarer.

    Specifikationen av kolumntyper, NOT NULL begränsningar eller DEFAULT har tolererats i syntaxen utan att ha någon effekt. Databricks tar bort den här syntaxens tolerans. Detta minskar förvirringen, överensstämmer med SQL-standarden och möjliggör framtida förbättringar.

  • Konsekvent felhantering för Base64-avkodning i Spark och Photon: Denna version ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Sparks hantering av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland inte utlösa parsningsundantag, medan Spark-tolkningen hanterade körningen korrekt och utlöste IllegalArgumentException eller ConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.

  • När du lägger till en CHECK-begränsning för en ogiltig kolumn returneras nu felklassen UNRESOLVED_COLUMN.WITH_SUGGESTION: För att ge mer användbara felmeddelanden returnerar en ALTER TABLE ADD CONSTRAINT-sats i Databricks Runtime 15.3 och senare som innehåller en CHECK-begränsning som refererar till ett ogiltigt kolumnnamn felklassen UNRESOLVED_COLUMN.WITH_SUGGESTION. Tidigare returnerades en INTERNAL_ERROR.

JDK uppgraderas från JDK 8 till JDK 17

15 augusti 2024

Serverlös beräkning för anteckningsböcker och arbetsflöden har migrerats från Java Development Kit (JDK) 8 till JDK 17 på serversidan. Den här uppgraderingen innehåller följande beteendeändringar:

  • Korrekt parsning av regex-mönster med negation i nästlade teckengrupperingar: Med denna uppgradering stöder Azure Databricks nu korrekt parsning av regex-mönster med negation i nästlade teckengrupperingar. Till exempel [^[abc]] parsas som "alla tecken som inte är ett av "abc".

    Dessutom var Photon-beteendet inkonsekvent med Spark för kapslade teckenklasser. Regex-mönster som innehåller kapslade teckenklasser använder inte längre Photon och använder i stället Spark. En kapslad teckenklass är ett mönster som innehåller hakparenteser inom hakparenteser, till exempel [[a-c][1-3]].

Version 15.1

23 juli 2024

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 15.1

Nya funktioner

Stöd för star (*)-syntax i klausulenWHERE: Du kan nu använda star (*)-syntaxen i WHERE klausulen för att referera till alla kolumner från listanSELECT.

Exempel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)

Changes

Förbättrad felåterställning för JSON-parsing: JSON-parsern som används för from_json() och JSON-väguttryck återhämtar sig nu snabbare från felaktig syntax, vilket resulterar i mindre dataförlust.

När du stöter på en felaktigt formaterad JSON-syntax i ett structfält, ett matrisvärde, en kartnyckel eller ett kartvärde, returnerar NULL JSON-parsern nu endast för det olästa fältet, nyckeln eller elementet. Efterföljande fält, nycklar eller element kommer att tolkas korrekt. Före den här ändringen övergav JSON-parsern parsningen av matrisen, structen eller kartan och returnerade NULL för det återstående innehållet.

Version 14.3

15 april 2024

Det här är den första serverlösa beräkningsversionen. Den här versionen motsvarar ungefär Databricks Runtime 14.3 med vissa ändringar som tar bort stöd för vissa icke-serverlösa och äldre funktioner.

Stödda Spark-konfigurationsparametrar

För att automatisera konfigurationen av Spark på serverlös beräkning har Azure Databricks tagit bort stödet för att manuellt ställa in de flesta Spark-konfigurationer. För att se en lista över Spark-konfigurationsparametrar som stöds, se Konfigurera Spark-egenskaper för serverlösa notebooks och jobb.

Jobbkörningar på serverlös beräkning kommer att misslyckas om du ställer in en ej stödjande Spark-konfiguration.

input_file funktioner är inaktuella

Funktionerna input_file_name(), input_file_block_length()och input_file_block_start() har blivit inaktuella. Det rekommenderas inte att använda dessa funktioner.

Använd i stället kolumnen för filmetadata för att hämta information om filmetadata.

Beteendeändringar

Serverlös beräkningsversion 2024.15 innehåller följande beteendeändringar:

  • unhex(hexStr) buggfix: När funktionen unhex(hexStr) används är hexStr alltid utfylld till vänster till en hel byte. Tidigare ignorerade unhex-funktionen den första halvbytet. Till exempel: unhex('ABC') producerar x'0ABC' nu i stället för x'BC'.
  • Autogenererade kolumnaliaser är nu stabila: När resultatet av ett uttryck refereras utan ett användarspecificerat kolumnalias, kommer detta autogenererade alias nu att vara stabilt. Den nya algoritmen kan resultera i en ändring av tidigare automatiskt genererade namn som används i funktioner som materialiserade vyer.
  • Tabellskanningar med CHAR typfält är nu alltid utaddade: delta-tabeller, vissa JDBC-tabeller och externa datakällor lagrar CHAR-data i icke-vadderad form. Vid läsning fyller nu Azure Databricks data med blanksteg till den deklarerade längden för att säkerställa rätt semantik.
  • Casts från BIGINT/DECIMAL till TIMESTAMP ger ett undantag för överflödsvärden: Azure Databricks tillåter casting från BIGINT och DECIMAL till TIMESTAMP genom att behandla värdet som antalet sekunder från Unix-epoken. Tidigare skulle Azure Databricks returnera spillda värden men genererar nu ett undantag vid spill. Använd try_cast för att returnera NULL i stället för ett undantag.
  • PySpark UDF-exekvering har förbättrats för att matcha exakt det exakta beteendet för UDF-exekvering på dedikerad beräkning: Följande ändringar har gjorts:
    • UDF:er med en strängreturtyp konverterar inte längre implicit icke-strängvärden till strängar. Tidigare skulle UDF:er med returtypen str tillämpa en str(..) omslutning på resultatet oavsett den faktiska datatypen för det returnerade värdet.
    • UDF:er med timestamp returtyper tillämpar inte längre implicit en tidszonskonvertering på tidsstämplar.