Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här artikeln förklarar de funktioner och beteenden som för närvarande är tillgängliga samt de kommande inom serverlös beräkning för notebooks och jobb.
Mer information om serverlös beräkning finns i Ansluta till serverlös beräkning.
Azure Databricks släpper regelbundet uppdateringar av serverlös beräkning och uppgraderar automatiskt den serverlösa beräkningskörningen för att stödja förbättringar och uppgraderingar till plattformen. Alla användare får samma uppdateringar som distribueras under en kort tidsperiod.
Serverlösa miljöversioner
Serverlös beräkning för notebook-filer och jobb använder miljöversioner, som tillhandahåller ett stabilt klient-API baserat på Spark Connect för att säkerställa programkompatibilitet. Detta gör att Databricks kan uppgradera servern oberoende av varandra och leverera prestandaförbättringar, säkerhetsförbättringar och felkorrigeringar utan att kräva några kodändringar i arbetsbelastningar.
Varje miljöversion innehåller en specifik Python-version och en uppsättning Python-paket med definierade versioner. Databricks introducerar nya funktioner och korrigeringar i den senaste miljöversionen samtidigt som säkerhetsuppdateringar tillämpas på alla miljöversioner som stöds.
För versionsanteckningar för serverlösa miljöer, se Miljöversioner.
Versionsmeddelanden
Det här avsnittet innehåller versionsinformation för serverlös beräkning. Versionsinformation organiseras efter år och vecka i året. Serverlös beräkning körs alltid med den senaste versionen som visas här.
- DataFrame-cache på serverlös beräkning finns nu i Public Preview
- 19 oktober 2026
- 21 september 2026
- 31 augusti 2026
- 24 augusti 2026
- 17 augusti 2026
- JAR-jobb i serverlös beräkning är nu allmänt tillgängliga
- Serverless compute-åtkomstkontroll är nu allmänt tillgänglig
- 6 juli 2026
- Version 18.2
- Version 18.1
- Version 18.0
- Serverless miljö version 5 finns nu tillgänglig
- Version 17.3
- Version 17.2
- Version 17.1
- Serverless environment version 4
- Version 17.0
- Serverless prestandamål är allmänt tillgängliga
- Version 16.4
- Prestandaläget är nu konfigurerbart för serverlösa jobb
- Version 16.3
- Version 16.2
- Hög minnesinställning tillgänglig på serverlösa notebooks (Offentlig förhandsvisning)
- Version 16.1
- Version 15.4
- JDK uppgraderas från JDK 8 till JDK 17
- Version 15.1
- Version 14.3
DataFrame-cache på serverlös datorkraft finns nu i Public Preview
23 oktober 2026
DataFrame-cache på serverlös datorkraft finns nu i Public Preview. Du kan cacha en DataFrame med df.cache() eller df.persist() i serverlös beräkning för att återanvända ett dyrt resultat för resten av din session. Caching kräver serverless environment version 5 eller högre, Databricks Connect för Python 18.1.8 eller högre, eller Databricks Connect för Scala 18.1.5 eller högre. Förhandsgranskningen är aktiverad som standard för de flesta arbetsytor. Workspace-administratörer kan inaktivera det från sidan Previews. Se Cache DataFrames på serverlös datorkapacitet.
den 19 oktober 2026
19 oktober 2026
Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.
Beteendeändringar
-
Spark Connect exekveringsmått döljer detaljer om radfilter och kolumnmaskar: DataFrame-exekveringsmått döljer nu interna operatorer och mätvärden kopplade till radfilter och kolumnmasker. Detta skyddar information om policyutförande när du inspekterar
df.executionInfo.metrics, inklusive dess textrepresentation. Gränsen för den skyddade delen av planen och dess egna mått förblir synliga. Frågeresultaten är oförändrade. Notebooks eller verktyg som bygger på detaljerade mätvärden i skyddade underplaner kan behöva uppdateras.
21 september 2026
21 september 2026
Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.
Nya funktioner
truncatefunktion: Funktionentruncatetrunkerar ett tal till en specificerad skala utan avrundning.trim_arrayfunktion: Funktionentrim_arraytar bort det angivna antalet element från slutet av en array.
31 augusti 2026
31 augusti 2026
Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.
Nya funktioner
Automatiskt ändringsdataflöde är generellt tillgängligt: Automatiskt ändringsdataflöde (Auto CDF) beräknar radnivåändringar vid frågetillfället. Den fungerar med batchfrågor, Structured Streaming och Delta Sharing, och kräver radspårning. Se Automatisk ändringsdataflöde.
parse_sqlfunktion: Funktionenparse_sqltolkar en SQL-sats och returnerar strukturerad JSON som innehåller satsmetadata, tabellreferenser, select-list-uttryck eller parserfelinformation.
Beteendeändringar
from_protobufHoppar över felaktigt valda fält när schema-beskärning är aktiverad: När protobuf schema-beskärning är aktiverad,from_protobufavkodar eller validerar den inte längre fält som en fråga inte väljer. Ett felaktigt icke-markerat fält gör inte längre att raden blir null i lägetPERMISSIVEeller att frågan misslyckas i lägetFAILFAST.JDBC pushdown hanterar null-literaler korrekt: Data Source v2 JDBC pushdown skickar nu SQL-literalen
NULListället för strängen'null'. Frågor som grupperar uttryck somNULLIFnu ger en nollgrupp istället för en separat'null'stränggrupp.HTTP- och AI-funktioner följer inte längre omdirigeringar:
http_requestoch AI-funktioner följer inte längre HTTP 3xx-omdirigeringar. Anrop som tar emot en omdirigering returnerar nu ett fjärr-HTTP-fel för omdirigeringsstatus. Nedladdningar av anslutningsprogram för filkällor påverkas inte.
den 24 augusti 2026
24 augusti 2026
Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.
Nya funktioner
-
collect_unionaggregerad funktion: Dencollect_unionaggregerade funktionen returnerar den distinkta unionen av elementen i matriser inom varje grupp.
Beteendeändringar
HAVINGutvärderas före fönsterfunktioner i frågor med generatorer: För frågor som inkluderar generatorer, såsomexplode, utvärderas nu fönsterfunktioner efter filtretHAVING. Fönsterresultat inkluderar därför endast rader som behålls avHAVING.Policylogik är som standard dold i frågeplaner: Frågeplaner exponerar inte längre radfilter- och kolumnmaskpolicylogik om inte användaren har metastore-privilegiet
INSPECT_POLICY_EXECUTION.Delta API DML använder policydefinierarrättigheter:
DeltaTable.delete,DeltaTable.update, ochDeltaTable.mergelöser nu policyfunktioner för radfilter och kolumnmask med policydefinierarens rättigheter, vilket matchar SQL DML. Anropare behöver inte längreEXECUTEpå de policyfunktionerna när de har de nödvändiga tabellbehörigheterna.
den 17 augusti 2026
17 augusti 2026
Denna serverlösa beräkningsversion inkluderar uppdateringar från Databricks Runtime 19.
Nya funktioner
is_valid_variantfunktion: Funktionenis_valid_variantreturnerartrueom indatan är ett välformatVARIANTvärde ochfalseannars. Använd den för att validera variantdata innan nedströms bearbetning.DataFrameGroupBy.covochSeriesGroupBy.describei pandas API på Spark: Pandas API på Spark stöderDataFrameGroupBy.covnu , som beräknar den parvisa kovariansen av kolumner inom varje grupp, ochSeriesGroupBy.describe, som genererar beskrivande statistik för varje grupp.pa.ChunkedArraystöd icreateDataFrame:createDataFrame()hanterar nu pandas DataFrames med PyArrow-kolumnerChunkedArray, vilket förhindrar typfel när du använder Arrow-backade pandas-data.
JAR-uppgifter i serverlös databehandling är nu allmänt tillgängliga
6 augusti 2026
Paketera Scala- eller Java-kod som en JAR och kör den som en uppgift i ett Lakeflow-jobb på serverless compute. Din JAR måste matcha versionerna av Scala, Java Development Kit (JDK) och Databricks Connect av din serverlösa miljöversion. Se Skapa och kör JAR-filer på serverlös datorkraft.
Åtkomstkontroll för serverless compute är nu allmänt tillgänglig
3 augusti 2026
Serverless compute-åtkomstkontroll är nu allmänt tillgänglig. Workspace-administratörer kan styra vem som kör serverlösa arbetsbelastningar via två inbyggda serverlösa beräkningsobjekt: Default Interactive Compute (styr åtkomst till notebooks och Databricks Connect) och Default Automated Compute (styr åtkomst till jobb och Spark Deklarative Pipelines på Lakeflow). Alla arbetsytanvändare har Kan använda på båda objekten som standard, så befintliga arbetsbelastningar fortsätter att köras utan ändringar.
Se hantera serverlös datorkraft.
den 6 juli 2026
6 juli 2026
Den här serverlösa beräkningsversionen innehåller uppdateringar från Databricks Runtime 18.
Nya funktioner
Spark Deklarative Pipelines on Lakeflow streaming query ID: Spark Deklarative Pipelines på Lakeflow kan nu ställa in streamingfråge-ID på begäran.
IP-adressfunktioner (Offentlig förhandsgranskning): Nya SQL-funktioner finns tillgängliga för att arbeta med IPv4- och IPv6-adresser samt CIDR-block, inklusive
ip_host,ip_cidr,ip_version,ip_prefix_length,ip_network,ip_as_binary,ip_as_string,ip_network_last,ip_cidr_containsochtry_*varianter för null-säkert beteende. Se ip_host och relaterade funktioner.On-demand ompartitionering av tillstånd (Offentlig förhandsvisning): Structured Streaming stödjer nu att ändra antalet shuffle-partitioner för tillståndsbevarande frågor utan att förlora checkpoint-tillstånd. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.
Beteendeändringar
CREATE OR REPLACE TABLEBevarar kommentarer:CREATE OR REPLACE TABLEBevarar nu befintliga kolumn- och tabellkommentarer som standard. Tidigare togs kommentarer bort när en tabell återskapades. Hanterade tabeller och vyer matchar nu det befintliga beteendet för materialiserade vyer och strömmande tabeller.DataFrame-skrivningar by name omvandlar kompatibla kolumner:
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions()ochwrite.mode("append").saveAsTable()kastar nu automatiskt typkompatibla kolumner (till exempelinttilllong) för att matcha målschemat i Delta-tabellen. Tidigare misslyckades dessa åtgärder med ettDELTA_FAILED_TO_MERGE_FIELDSfel när kolumntyperna var kompatibla men inte identiska. Beteendet matchar nu SQLINSERT INTO ... BY NAME.ALTER TABLE SET TBLPROPERTIESförpipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')försöker nu göra den angivna tabellen möjlig att skriva till för pipelinen. Tidigare hade inställningen av den här egenskapen på en vanlig tabell ingen effekt. Om tabellen inte kvalificerar sig för skrivningar via pipeline genererar kommandotSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.DESCRIBE EXTENDED AS JSONinkluderar prediktiva optimeringsresultat:DESCRIBE EXTENDED ... AS JSONinkluderar nu prediktiva optimeringsutvärderingsresultat i sitt resultat. Tidigare returnerades inte den här informationen i JSON-utdata.Mått för måttvyfönster ger korrekta resultat: Mått för måttvyfönster ger nu korrekta resultat när frågor använder
GROUP BY,IN/BETWEENfilter eller blandade predikat på fönstrets ordningskolumn. Tidigare kunde dessa filtermönster ge felaktiga resultat.Deduplicering av strukturerad strömning med
NaNnycklar: Deduplicering av strukturerad strömning behandlarNaNnu (Inte-ett-nummer) värden som har olika bitmönster som dubbletter när endoubleellerfloatkolumn används som dedupliceringsnyckel.NaNTidigare behandlades värden med olika interna representationer som distinkta och deduplicerades inte.NATURAL JOINskiftlägesokänslig kolumnmatchning:NATURAL JOINmatchar nu gemensamma kolumner skiftlägesokänsligt, i enlighet med motsvarandeUSINGjoin. Tidigare var kolumnmatchning skiftlägeskänslig, vilket gjorde att kolumner som bara skiljer sig åt om (till exempelIDvsid) inte identifieras som vanliga kolumner, vilket resulterar i en tyst korskoppling i stället för den förväntade equi-joinen.
Version 18.2
13 maj 2026
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 18.2.
Nya funktioner
CREATE OR REPLACEStöd för temporära tabeller:CREATE OR REPLACE TEMP TABLESyntax stöds nu, vilket gör att du kan skapa eller ersätta temporära tabeller i en enda sats. Detta eliminerar behovet av att uttryckligen släppa och återskapa temporära tabeller.agg()Alias förmeasure()Funktion:agg()finns nu som alias för funktionenmeasure(). Den här ändringen är helt bakåtkompatibel. Befintliga frågor som användermeasure()fortsätter att fungera utan ändringar ochagg()ger identiska resultat när de används med samma argument.Snowflake JDBC-drivrutinsuppgradering: Snowflake JDBC-drivrutinen uppgraderas från 3.22.0 till 3.28.0.
pyspark.pipelines.testingnamnrymdalias:pyspark.pipelines.testingfinns nu tillgängligt som ett bekvämlighetsalias fördlt.testingAPI:er. Importera Spark Declarative Pipelines i Lakeflow-pipelinetestverktygen via någon av namnrymderna.Delta-tabellens historik inkluderar skrivoptionsflaggor: Deltatabellens historik (
DESCRIBE HISTORY) inkluderar nu skrivoptionsflaggor i kolumnenoperationParametersförWRITEochREPLACE TABLEoperationer. När följande alternativ uttryckligen är aktiverade visas de som booleska flaggor i historiken (ingår endast närtrue):För
WRITEochREPLACE TABLEåtgärder:-
isDynamicPartitionOverwrite: presentera när läget för dynamisk partitionsöverskrivning användes -
canOverwriteSchema: presentera när schemaöverskrivning (overwriteSchema) aktiverades -
canMergeSchema: presentera när schemasammanslagning (mergeSchema) aktiverades
För
REPLACE TABLEåtgärder:-
predicate: närvarande närreplaceWhereanvändes -
isV1WriterSaveAsTableOverwrite: förekommer när ersättningen har utlösts av en.saveAsTable-överskrivning
-
Ersätt selektivt data med
replaceOnochreplaceUsingDataFrame API:er: OchreplaceOnreplaceUsingalternativen i Scala och Python DataFrame API:erna är nu allmänt tillgängliga. Använd de här alternativen för att ersätta en del av tabellen med resultatet av en DataFrame.replaceOnersätter rader som matchar ett användardefinierat villkor.replaceUsingersätter rader där angivna kolumner är lika. Dessa API:er kompletterar SQL-uttryckenINSERT REPLACE ONochINSERT REPLACE USING. Se Selektivt skriva över data med Delta Lake.
Beteendeändringar
Bevarande av NULL-strukturer i INSERT, MERGE, och strömmande skrivningar med schemautveckling: För
INSERT,MERGE, och strömmande skrivningar som använder schema evolution lagras en NULL-struktur i källkoden nu som NULL i målet. Det värdet materialiserades tidigare felaktigt som en strukt som inte är null, med varje fält inställt på NULL, medan samma åtgärder utan schemaevolution bevarade NULL-strukturer korrekt. Om koden förlitade sig på att ta emot en icke-null-struct vars fält alla var NULL uppdaterar du koden så att den hanterar en NULL-struct i stället.Åtgärd för
LEFT OUTER JOIN LATERALatt rader tas bort: En bugg som felaktigt tog bort rader frånLEFT OUTER JOIN LATERALfrågor är nu åtgärdad. Frågor som använder den här konstruktionen returnerar nu rätt resultat. Om du tillfälligt vill återgå till det tidigare beteendet anger duspark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictilltrue.NATURAL JOINrespekterar skiftlägesokänslig kolumnmatchning:NATURAL JOINanvänder nu korrekt skiftlägesokänslig kolumnmatchning närspark.sql.caseSensitiveär satt tillfalse(standarden). Tidigare användeNATURAL JOINen skiftlägeskänslig jämförelse för att identifiera vanliga kolumner, vilket ledde till att kolumner som endast skilde sig åt i skiftläge (till exempelIDjämfört medid) inte kunde identifieras som matchande. Detta orsakadeNATURAL JOINatt generera korskopplingsresultat utan att märkas. Den här korrigeringen justerarNATURAL JOINbeteendet medUSINGkopplingar, som redan har hanterat skiftlägeskänslighet korrekt. Frågor som påverkas av den här buggen returnerar nu korrekta resultat med korrekt kopplade kolumner.SQL UDF-beroendevalidering i Unity Catalog: Unity Catalog tvingar nu beroendevalidering för SQL-användardefinierade funktioner (UDF) för att förhindra åtkomstkontrollkringgående. Tidigare kunde SQL-funktioner som skapats via REST-API:et referera till beroenden som användaren inte hade åtkomst till. SQL-UDF:er med ogiltiga beroendekonfigurationer blockeras nu från körning.
AWS SDK v1-beroenden är skuggade: AWS SDK v1-beroenden som ingår i Azure Databricks runtime är nu skuggade och inte längre direkt tillgängliga på classpath. Om koden är beroende av AWS SDK v1-bibliotek som tidigare tillhandahölls av Azure Databricks-körningen lägger du till dem som explicita beroenden i projektet. Den här ändringen förbereder migreringen till AWS SDK v2 efter att AWS-stödet för SDK v1 har upphört.
Rätta felaktig EPSG-auktoritet för ESRI-definierad SRID 102100: Koordinatreferenssystemet (CRS)-kartläggningen för SRID 102100 använder
ESRI:102100nu korrekt istället för den felaktigaEPSG:102100. Den här korrigeringen säkerställer att geospatial data lagras med rätt myndighet för bättre interoperabilitet med andra system.
Version 18.1
20 april 2026
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 18.1.
Nya funktioner
DATETIMEOFFSET datatypstöd för Microsoft Azure Synapse: Datatypen
DATETIMEOFFSETstöds för Microsoft Azure Synapse connections.Google BigQuery-tabellkommentarer: Google BigQuery-tabellbeskrivningar tolkas och exponeras som tabellkommentarer.
JDBC-anslutning: Använd en JDBC-anslutning för att läsa och skriva till en datakälla med Spark Data Source API eller Databricks Remote Query SQL API.
Schemautveckling med INSERT-satser: Använd klausulen
WITH SCHEMA EVOLUTIONmed SQL-satser INSERT för att automatiskt utveckla måltabellens schema under INSERT-operationer. Satsen stöds förINSERT INTO,INSERT OVERWRITEochINSERT INTO ... REPLACEformulär. Se schemautveckling.Bevarade NULL-strukturvärden i INSERT operationer:
INSERToperationer med schemautveckling eller implicit casting bevararNULLstrukturvärden när käll- och måltabellerna har olika strukturfältordningar.Delta Sharing multistatement-transaktionsstöd: Delta Sharing-tabeller som använder försignerade URL- eller molntokendelningslägen stödjer multistatement-transaktioner. Vid första åtkomsten i en transaktion fästs och återanvänds tabellversionen för alla efterföljande läsningar i transaktionen. Tidsresor, ändringsdataflöde och strömning stöds inte.
parse_timestampSQL-funktion: SQL-funktionen parse_timestamp tolkar tidsstämpelsträngar med flera mönster. Funktionen körs på Photon-motorn för bättre prestanda.max_byochmin_bymed valfri begränsning: De aggregerade funktionerna max_by och min_by accepterar nu ett valfritt tredje argumentlimit(upp till 100 000), vilket returnerar en array av topp- eller botten-K-värden utan fönsterfunktioner eller CTE:er.Vektoraggregat- och skalärfunktioner: Nya SQL-funktioner arbetar med
ARRAY<FLOAT>vektorer för inbäddning och likhetsbaserade arbetsbelastningar, inklusive vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm och vector_normalize. Se Inbyggda funktioner.SQL-kursorstöd i sammansatta satser: sammansatta satser i SQL-skript stöder nu kursorbehandling. Använd DEKLARERA MARKÖREN för att definiera en markör, sedan OPEN-instruktionen, FETCH-instruktionen och CLOSE-instruktionen för att köra frågan och använda rader en i taget.
Ungefärliga top-k skissfunktioner: Nya funktioner möjliggör byggande och kombination av ungefärliga top-K-skisser för distribuerad top-K-aggregering: approx_top_k_accumulate, approx_top_k_combine och approx_top_k_estimate. Se
approx_top_kmängdfunktion.Tuple-skissfunktioner: Nya aggregat- och skalärfunktioner för tuple-skisser stödjer distinkt räkning och aggregering över nyckel-sammanfattningspar. Se Inbyggda funktioner.
Nya geospatiala funktioner: Följande geospatiala funktioner finns nu tillgängliga:
-
st_estimatesridfunktion: Beräknar den bästa beräknade rumsliga referensidentifieraren (SRID) för en indatageometri. -
st_force2dfunktion: Konverterar ett geografiskt område eller en geometri till dess 2D-representation. -
st_nringsfunktion: Räknar det totala antalet ringar i en polygon eller multipolygon, inklusive både yttre och inre ringar. -
st_numpointsfunktion: Räknar antalet icke-tomma punkter i ett geografiskt område eller en geometri.
-
Fotonstöd för geospatiala funktioner:
st_differencefunktion,st_intersectionfunktion ochst_unionfunktion körs nu på Photon-motorn för snabbare prestanda.
Beteendeändringar
Fel i observationsmått gör inte längre att frågor misslyckas: Fel under insamling av observationsmått orsakar inte längre fel i frågeexekveringen. Tidigare kunde fel i
OBSERVEsatser (till exempel division med noll) blockera eller misslyckas med hela frågan. Nu slutförs frågan framgångsrikt och ett fel utlöses när du anroparobservation.get.DESCRIBE FLOWreserverat nyckelord: KommandotDESCRIBE FLOWär nu tillgängligt. Om du har en tabell med namnetflowanvänder duDESCRIBE schema.flow,DESCRIBE TABLE flowellerDESCRIBE `flow`med backticks.SpatialSQL booleska set-operationer:
ST_Difference,ST_IntersectionochST_Unionanvänder en ny implementering med ungefär 2x snabbare prestanda. Giltiga indatageometrier ger alltid ett resultat. Resultaten normaliseras för konsekventa utdata och kan variera efter den 15:e decimalplatsen för linjesegment-intersektioner på grund av olika formler och beräkningsordning.Undantagstyper för SQLSTATE:Undantagstyper uppdateras för att stödja SQLSTATE. Om koden parsar undantag efter strängmatchning eller fångar specifika undantagstyper uppdaterar du logiken för felhantering.
Version 18.0
27 februari 2026
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 18.0.
Nya funktioner
SQL-skriptning är nu allmänt tillgängligt: SQL-skriptning är nu allmänt tillgängligt.
Redshift JDBC-drivrutin uppgraderad till 2.1.0.28: Redshift JDBC-drivrutinen har uppgraderats till version 2.1.0.28.
Delad isolationsexekveringsmiljö för Unity Catalog Python UDF:er: Unity Catalog Python UDF:er med samma ägare kan nu dela en isoleringsmiljö som standard, vilket förbättrar prestandan och minskar minnesanvändningen. Lägg till
STRICT ISOLATIONegenskapssatsen för att säkerställa att en UDF alltid körs i en helt isolerad miljö. Se Miljöisolering.SQL-fönsterfunktioner i metrikvyer: Du kan nu använda SQL-fönsterfunktioner i metrikvyer för att beräkna löpande totaler, rankningar och andra fönsterbaserade beräkningar.
Dynamisk justering av shuffle-partitioner i tillståndslösa strömningsqueryer: Du kan nu ändra antalet shuffle-partitioner i tillståndslösa strömningsqueryer utan att starta om queryn.
Adaptiv frågeexekvering och autooptimerad blandning i tillståndslösa strömningsfrågor: Adaptiv frågeexekvering (AQE) och autooptimerad blandning (AOS) stöds nu i tillståndslösa strömningsfrågor.
Sammanfogning av strängliteraler överallt: Möjligheten att sammanfoga sekventiella strängliteraler som
'Hello' ' World'till'Hello World'har utökats till var som helst där strängliteraler är tillåtna. SeSTRINGtyp.Parametermarkörer överallt: Du kan nu använda namngivna (
:param) och namngivna (?) parametermarkörer nästan var som helst där ett bokstavligt värde av rätt typ kan användas, inklusive DDL-satser och kolumntyper. Se Parametermarkörer.IDENTIFIERklausul överallt:IDENTIFIER-klausulen, som omvandlar strängar till SQL-objektnamn, har utökats till nästan alla ställen där en identifierare är tillåten, inklusive kolumnaliaser och kolumndefinitioner. Se IDENTIFIER-satsen.Ny
BITMAP_AND_AGGfunktion: En nybitmap_and_aggaggregeringsfunktion finns nu tillgänglig.Nya Theta-skissfunktioner: Ett nytt bibliotek av funktioner för approximativa distinkta räknings- och mängdoperationer med Datasketches Theta Sketch finns nu tillgängligt, inklusive theta_sketch_agg, theta_union_agg, theta_intersection_agg och relaterade funktioner.
Nytt bibliotek för KLL Sketch-funktioner: Ett nytt bibliotek med funktioner för att bygga KLL Sketches för approximativ kvantilberäkning finns nu tillgängligt, inklusive kll_sketch_agg_bigint, kll_sketch_agg_double och relaterade funktioner.
Apache Parquet-biblioteket uppgraderat till 1.16.0: Apache Parquet-biblioteket har uppgraderats till version 1.16.0.
Nya geospatiala funktioner: Följande nya geospatiala funktioner stöds nu:
-
st_azimuthfunktion: Returnerar den nordbaserade azimuten från den första punkten till den andra i radianer. -
st_boundaryfunktion: Returnerar indatageometrins gräns. -
st_closestpointfunktion: Returnerar 2D-projektionen av den punkt på den första geometrin som är närmast den andra geometrin. -
st_geogfromewktfunktion: Parsar en EWKT-beskrivning (Extended Well-Known Text) för ett geografiskt område. -
st_geomfromewktfunktion: Parsar en EWKT-beskrivning (Extended Well-Known Text) av en geometri.
-
Förbättrad prestanda för spatial join: Prestandan för spatial join förbättras nu genom att stöd för blandad spatial join införs.
Förbättrad prestanda för geospatiala funktioner: Fotonimplementationer finns nu tillgängliga för
st_isvalidfunktion,st_makelinefunktion ochst_makepolygonfunktion.EWKT-inmatningsstöd:try_to_geography, try_to_geometry, to_geography och to_geometry-funktionerna accepterar nu Extended Well-Known Text (EWKT) som indata.
Beteendeändringar
FSCK REPAIR TABLEinkluderar metadatareparation som standard: KommandotFSCK REPAIR TABLEinnehåller nu ett initialt metadatareparationssteg innan det kontrollerar om datafiler saknas. Kommandot kan fungera i tabeller med skadade kontrollpunkter eller ogiltiga partitionsvärden.Prorationsfaktorer anpassade för läsningar och autooptimerade skrivningar: Prorationsfaktorer för partitionstorlek använder nu bråkdelsvärden konsekvent mellan läsoperationer och autooptimerade skrivningar. Den här ändringen kan resultera i ett annat antal processer för läsåtgärder.
Python UDF-exekvering enhetliggjord mellan PySpark och Unity Catalog: Unity Catalog Python UDF använder nu Apache Arrow som standardformat för utbyten, vilket förbättrar den övergripande prestandan. Som en del av den här ändringen
TIMESTAMPinnehåller värden som skickas till Python-UDF:er inte längre tidszonsinformation idatetimeobjektetstzinfoattribut. Om din UDF förlitar sig på tidszonsinformation återställer du den meddate = date.replace(tzinfo=timezone.utc). Se tidszonsbeteende för tidsstämplar vid indata rad för rad.Förbättrade felmeddelanden för problem med Kafka-kontaktens inloggningsmodul: När Kafka-kontakten används med en oskuggad inloggningsmodulklass ger Azure Databricks nu felmeddelanden som föreslår att rätt skuggade klassprefix används (
kafkashaded.org.apache.kafkaellerkafkashaded.software.amazon.msk.auth.iam).Tidsresebegränsningar och
VACUUMretentionsbeteende: Azure Databricks blockerar nu tidsresefrågor bortomdeletedFileRetentionDurationtröskeln för alla tabeller. KommandotVACUUMignorerar argumentet kvarhållningstid förutom när värdet är 0 timmar. Du kan inte angedeletedFileRetentionDurationstörre änlogRetentionDurationeller vice versa.BinaryTypemappas tillbytessom standard i PySpark: I PySpark mappasBinaryTypenu konsekvent till Pythonbytessom standard. Tidigare mappades PySparkBinaryTypetill antingenbytesellerbytearrayberoende på kontexten. Om du vill återställa det gamla beteendet anger duspark.sql.execution.pyspark.binaryAsBytestillfalse.Partitionskolumner materialiserade i Parquet-filer: Partitionerade Delta-tabeller materialiserar nu partitionskolumner i nyskrivna Parquet-datafiler. Tidigare lagrades partitionsvärden i Delta-transaktionsloggens metadata och återspeglades i katalogsökvägar, men skrevs inte som kolumner i själva Parquet-filerna. Den här ändringen kan påverka arbetsbelastningar som direkt läser Parquet-filer som skrivits av Delta.
DESCRIBE TABLEOutput inkluderar metadatakolumn: Output avDESCRIBE TABLE [EXTENDED]Now innehåller en nymetadatakolumn för alla tabelltyper, som innehåller semantisk metadata (visningsnamn, format och synonymer) definierad i tabellen som en JSON-sträng.
Serverlös miljö version 5 är nu tillgänglig
25 februari 2026
Nu kan du använda serverlösa miljön version 5 i dina serverlösa anteckningsböcker och i dina jobb. Detta omfattar både cpu- och GPU-miljöversionerna. Se Miljöversion 5.
Version 17.3
28 oktober 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.3 LTS.
Nya funktioner
LIMIT stöd för ALL med rekursiva CTE:er: Du kan nu använda klausulen
LIMIT ALLmed rekursiva gemensamma tabelluttryck (rCTE) för att uttryckligen specificera att ingen radgräns ska tillämpas på frågeresultaten. Se Gemensam tabelluttryck (CTE).Att lägga till filer i Unity Catalog-volymer ger korrekt fel: Försök att lägga till befintliga filer i Unity Catalog-volymer ger nu ett mer beskrivande felmeddelande för att hjälpa dig förstå och lösa problemet.
st_dumpfunktionsstöd: Du kan nu användast_dumpfunktionen för att dela upp ett geometriobjekt i dess beståndsdelar, vilket ger en uppsättning enklare geometriska delar. Sest_dumpfunktion.Funktioner för polygoners inre ringar stöds nu: Du kan nu använda följande funktioner för att arbeta med polygoners inre ringar:
-
st_numinteriorrings: Få antalet inre gränser (ringar) för en polygon. Sest_numinteriorringsfunktion. -
st_interiorringn: Extrahera den n:te inre gränsen av en polygon och returnera den som en linestring. Sest_interiorringnfunktion.
-
EXECUTE IMMEDIATE med konstanta uttryck:
EXECUTE IMMEDIATE-satsen stöder nu användning av konstanta uttryck i frågesträngen, vilket möjliggör mer flexibel dynamisk SQL-exekvering. Se EXECUTE IMMEDIATE.Tillåt
spark.sql.files.maxPartitionBytesserverless compute: Du kan nu konfigureraspark.sql.files.maxPartitionBytesSpark-konfigurationsparametern på serverless compute för att kontrollera det maximala antalet bytes som ska packas i en enda partition när filer läses. Se Konfigurera Spark-egenskaper för serverlösa anteckningsböcker och jobb.
Beteendeändringar
Stöd MV/ST-uppdateringsinformation i DESCRIBE EXTENDED AS JSON: Kommandot
DESCRIBE EXTENDED AS JSONinkluderar nu uppdateringsinformation för materialiserade vyer och strömningstabeller, vilket ger insyn i senaste uppdateringstid och status.Lägg till metadatakolumnen i DESCRIBE QUERY och DESCRIBE TABLE: Kommandona
DESCRIBE QUERYochDESCRIBE TABLEinkluderar nu en metadatakolumn i sin utdata, vilket ger ytterligare information om varje kolumns egenskaper och egenskaper.Korrekt hantering av nullstrukturar vid borttagning av NullType-kolumner: Azure Databricks hanterar nu korrekt nullstrukturvärden när kolumner tas bort med
NullType, vilket förhindrar potentiell datakorruption eller oväntat beteende.Förbättrad hantering av null-structs i Parquet: Denna version innehåller förbättringar i hur null-struct-värden hanteras vid läsning från och skrivning till Parquet-filer, vilket säkerställer mer konsekvent och korrekt beteende.
Uppgradera aws-msk-iam-auth-biblioteket för Kafka: Biblioteket
aws-msk-iam-authsom används för Amazon MSK IAM-autentisering har uppgraderats till den senaste versionen, vilket ger förbättrad säkerhet och kompatibilitet.
Version 17.2
25 september 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.2.
Nya funktioner
-
ST_ExteriorRingfunktionen stöds nu: Du kan nu användaST_ExteriorRingfunktionen för att extrahera den yttre gränsen av en polygon och returnera den som en LineString. Sest_exteriorringfunktion.
Stöd för
TEMPORARYnyckelord för skapande av metrikvy: Du kan nu användaTEMPORARYnyckelordet när du skapar en metrikvy. Tillfälliga måttvyer visas endast i sessionen som skapade dem och tas bort när sessionen avslutas. Se CREATE VIEW.Använd native I/O för
LokiFileSystem.getFileStatuspå S3:LokiFileSystem.getFileStatusanvänder nu den inbyggda I/O-stacken för Amazon S3-trafik och returnerarorg.apache.hadoop.fs.FileStatusobjekt istället förshaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.Auto Loader härleder partitionskolumner i
singleVariantColumnläge: Auto Loader härleder nu partitionskolumner från filvägar när data matas in som en semistrukturerad varianttyp med hjälp av alternativetsingleVariantColumn. Tidigare identifierades inte partitionskolumner automatiskt. Se Auto Loader.
Beteendeändringar
DESCRIBE CONNECTIONvisar miljöinställningar för JDBC-anslutningar : Azure Databricks inkluderar nu användardefinierade miljöinställningar iDESCRIBE CONNECTIONutdata för JDBC-anslutningar som stödjer anpassade drivrutiner och körs isolerat. Andra anslutningstyper förblir oförändrade.Alternativ att trunkera uniformt historik under migrering av hanterade tabeller: Du kan nu trunkera uniformt historik när du migrerar tabeller med Uniform/Iceberg aktiverat med
ALTER TABLE...SET MANAGED. Detta förenklar migreringen och minskar stilleståndstiden jämfört med att inaktivera och återaktivera Uniform manuellt.Korrekta resultat för
splitmed tom regex och positiv gräns: Azure Databricks returnerar nu korrekta resultat när man användersplit functionmed tom regex och positiv gräns. Tidigare trunkerade funktionen felaktigt den återstående strängen i stället för att inkludera den i det sista elementet.Åtgärd för felhantering för
url_decodeochtry_url_decodei Photon: I Photon returnerar nutry_url_decode()ochurl_decode()medfailOnError = falseNULLför ogiltiga URL-kodade strängar istället för att frågan misslyckas.Delad exekveringsmiljö för Unity Catalog Python UDTFs: Azure Databricks delar nu exekveringsmiljön för Python användardefinierade tabellfunktioner (UDTF) från samma ägare och Spark-session. En valfri
STRICT ISOLATIONsats finns för att inaktivera delning för UDTF:er med bieffekter, som att modifiera miljövariabler eller köra godtycklig kod.
Version 17.1
19 augusti 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.1.
Nya funktioner
- Minskad minnesanvändning för breda scheman i Photon Writer: Förbättringar gjordes i Photon-motorn som avsevärt minskade minnesanvändningen för breda scheman, och åtgärdade scenarier som tidigare resulterade i minnesbrist.
Beteendeändringar
Fel kastat för ogiltiga
CHECKbegränsningar: Azure Databricks kastar nu ettAnalysisExceptionom ettCHECKbegränsningsuttryck inte kan lösas under begränsningsvalideringen.Pulsar-anslutningsprogrammet exponerar inte längre Bouncy Castle: Bouncy Castle-biblioteket har nu paketerats om i Pulsar-anslutningsprogrammet för att förhindra classpath-konflikter. Därför kan Spark-jobb inte längre komma åt
org.bouncycastle.*klasser från anslutningsappen. Om koden är beroende av Bouncy Castle installerar du biblioteket manuellt i en serverlös miljö.Auto Loader använder filhändelser som standard om det finns: Auto Loader använder filhändelser istället för kataloglistning när laddningsvägen är en extern plats med filhändelser aktiverade. Standardvärdet för
useManagedFileEventsär nuif_available(varfalse). Detta kan förbättra inmatningsprestanda och loggar en varning om filhändelser ännu inte är aktiverade.Teradata-kopplingen fixar skiftlägeskänslig strängjämförelse: Teradata-kontakten har nu
TMODE=ANSIsom standard, vilket anpassar beteendet för strängjämförelser till Azure Databricks genom att göra det skiftlägeskänsligt. Den här ändringen kan konfigureras och påverkar inte befintliga användare om de inte anmäler sig.
Serverlös miljöversion 4
13 augusti 2025
Miljöversion 4 är nu tillgänglig i dina serverlösa notebooks och jobb. Den här miljöversionen innehåller biblioteksuppgraderingar och API-uppdateringar. Se Miljöversion 4.
Version 17.0
24 juli 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.0.
Nya funktioner
Stöd för SQL-procedurer: SQL-skript kan nu kapslas in i en procedur som lagras som en återanvändbar tillgång i Unity Catalog. Du kan skapa en procedur med kommandot CREATE PROCEDURE och sedan anropa den med kommandot CALL .
Sätt en standardsortering för SQL-funktioner: Att använda den nya
DEFAULT COLLATIONklausulen i kommandot CREATE FUNCTION definierar standardsorteringen förSTRINGparametrar, returtypen ochSTRINGliteralerna i funktionskroppen.Stöd för rekursiva gemensamma tabelluttryck (rCTE): Azure Databricks stödjer nu navigering av hierarkiska data med hjälp av rekursiva gemensamma tabelluttryck (rCTE). Använd en självrefererande CTE med
UNION ALLför att följa den rekursiva relationen.PySpark och Spark Connect stöder nu DataFrames
df.mergeIntoAPI: PySpark och Spark Connect stöder nu API:etdf.mergeInto.Stöd för
ALL CATALOGSiSHOWSCHEMAS: SyntaxenSHOW SCHEMAShar uppdaterats för att accepteraALL CATALOGS, vilket gör att du kan iterera genom alla aktiva kataloger som stöder namnrymder. Utdataattributen innehåller nu encatalogkolumn som anger katalogen för motsvarande namnområde.Liquid clustering kompakterar nu raderingsvektorer mer effektivt: Delta-tabeller med Liquid clustering tillämpar nu fysiska förändringar från raderingsvektorer mer effektivt när
OPTIMIZEkörs. Mer information finns i Tillämpa ändringar på Parquet-datafiler.Tillåt icke-deterministiska uttryck i
UPDATE/INSERTkolumnvärden förMERGEoperationer: Azure Databricks tillåter nu användning av icke-deterministiska uttryck i uppdaterade och infogade kolumnvärden förMERGEoperationer. Du kan till exempel nu generera dynamiska eller slumpmässiga värden för kolumner med hjälp av uttryck somrand().Ändra Delta MERGE Python API:er för att returnera DataFrame istället för Unit: Python
MERGEAPI:erna (såsomDeltaMergeBuilder) returnerar nu också en DataFrame som SQL API:et gör, med samma resultat.
Beteendeändringar
Beteendeförändring för Auto Loaders inkrementella kataloglistningsalternativ: Värdet på det föråldrade Auto Loader-alternativet
cloudFiles.useIncrementalListingär nu satt till standardvärdetfalse. Som ett resultat orsakar den här ändringen att Auto Loader utför en fullständig kataloggenomsökning varje gång den körs. Databricks rekommenderar att du inte använder det här alternativet. Använd i stället filmeddelandeläge med filhändelser.CREATE VIEWKolumnnivåklausuler kastar nu fel när klausulen endast skulle gälla materialiserade vyer:CREATE VIEWkommandon som specificerar en kolumnnivåklausul som endast gäller förMATERIALIZED VIEWs kastar nu ett fel. De berörda satserna inkluderarNOT NULL, angivna datatyper,DEFAULTochCOLUMN MASK.
Serverlösa prestandamål är GA
10 juni 2025
Nu är den serverlösa prestandainställningen för jobb och pipelines allmänt tillgänglig att välja.
När inställningen Prestandaoptimerad är aktiverad optimeras arbetsbelastningen för snabbare start- och körningstid. När den är inaktiverad körs den serverlösa arbetsbelastningen i standardprestandaläge, vilket är optimerat för kostnad och har en något högre svarstid för start.
Mer information finns i Välj ett prestandaläge och Välj ett prestandaläge.
Version 16.4
28 maj 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.4 LTS.
Beteendeändringar
Åtgärd för att respektera alternativ för cachelagrade planer för datakällor: Denna uppdatering säkerställer att tabellläsningar respekterar de alternativ som ställts in för alla planer för datakällor när de är cachade, inte bara den första cachelagrade tabellläsningen. Tidigare cachelagrade datakällatabellen den första planen men kunde inte ta hänsyn till olika alternativ i efterföljande frågor.
Aktivera flaggan för att kräva källmaterialisering för MERGE-operationer: Tidigare kunde användare stänga av källmaterialisering i MERGE genom att sätta
merge.materializeSourcetillnone. När den nya flaggan är aktiverad krävs alltid källmaterialisering, och försök att inaktivera den resulterar i ett fel. Databricks planerar att endast aktivera den här flaggan för kunder som inte tidigare har ändrat den här konfigurationen, så de flesta användare bör inte uppleva några förändringar i beteendet.
Nya funktioner
Auto Loader kan nu rensa bearbetade filer i källkatalogen: Du kan nu instruera Auto Loader att automatiskt flytta eller ta bort filer som har behandlats. Välj den här funktionen med alternativet
cloudFiles.cleanSourceAutomatisk inläsning. Se Common undercloudFiles.cleanSource.Stöd för typbreddning har lagts till för strömning från Delta-tabeller: Denna version lägger till stöd för strömning från en Delta-tabell med typbreddad kolumndata, samt för att dela en Delta-tabell med typbreddning aktiverad via Databricks-to-Databricks Delta Sharing. Funktionen för typbreddning finns för närvarande i offentlig förhandsversion. Se även Typbreddning.
IDENTIFIER stöd finns nu tillgängligt i DBSQL för katalogoperationer: Du kan nu använda klausulen
IDENTIFIERnär du utför följande katalogoperationer:CREATE CATALOGDROP CATALOGCOMMENT ON CATALOGALTER CATALOG
Med den här nya syntaxen kan du dynamiskt ange katalognamn med hjälp av parametrar som definierats för dessa åtgärder, vilket möjliggör mer flexibla och återanvändbara SQL-arbetsflöden. Som ett exempel på syntaxen bör du överväga
CREATE CATALOG IDENTIFIER(:param)varparamär en parameter som tillhandahålls för att ange ett katalognamn. Se IDENTIFIER-satsen.Kollationerade uttryck ger nu autogenererade övergående alias: Autogenererade alias för kollationerade uttryck inkorporerar nu deterministiskt information från
COLLATE. Autogenererade alias är tillfälliga (instabila) och bör inte användas. Använd i ställetexpression AS aliaskonsekvent och explicit som en bästa praxis.Lägg till stöd för filterpushdown-API:er i Python-datakällor: Serverless-beräkning har nu stöd för filterpushdown för batchläsning från Python-datakällor via ett API, liknande
SupportsPushDownFilters-gränssnittet. Se 16.4 LTS versionsanteckningar.Förbättring av Python UDF-stackspårning: Python UDF-stackspårningen inkluderar nu stackramar från både driver och executor tillsammans med klientramar, vilket resulterar i bättre felmeddelanden som visar större och mer relevanta detaljer (såsom radinnehållet i stackramar inuti en UDF).
UNION/EXCEPT/INTERSECT i en vy och EXECUTE IMMEDIATE returnerar nu korrekta resultat: Förfrågningar efter tillfälliga och persistenta vydefinitioner med toppnivå
UNION//EXCEPTINTERSECToch kolumner utan alias gav tidigare felaktiga resultat eftersomINTERSECTUNION/EXCEPT/ nyckelord ansågs vara alias. Nu kommer dessa frågeförfrågningar att korrekt utföra hela mängdoperationen.Databaskälla cachad plan konfigurations- och migrationsguide: Att läsa från en filkälltabell kommer korrekt att respektera frågealternativ (till exempel avgränsare). Tidigare cachelagrades den första frågeplanen och efterföljande alternativändringar ignorerades. Om du vill återställa det tidigare beteendet anger du
spark.sql.legacy.readFileSourceTableCacheIgnoreOptionstilltrue.Nya
listaggochstring_aggfunktioner: Från och med denna version kan du använda eller-funktionernalistaggstring_aggför att aggregeraSTRINGochBINARYvärden inom en grupp. Se string_agg.
Prestandaläget kan nu konfigureras för serverlösa jobb
14 april 2025
Nu kan du välja prestandaläget för ett serverlöst jobb med hjälp av inställningen Prestandaoptimerad på sidan jobbinformation. Tidigare var alla serverlösa jobb prestandaoptimerade. Nu kan du inaktivera inställningen Prestandaoptimerad för att köra arbetsbelastningen i standardprestandaläge. Standardprestandaläget är utformat för att minska kostnaderna på arbetslaster där en något högre startlatens är acceptabel.
Standardprestandaläge stöds inte för kontinuerliga pipelines, engångskörningar som skapats med hjälp av runs/submit slutpunkten eller SQL Warehouse-jobbuppgifter, inklusive materialiserade vyer.
Mer information om prestandaläget finns i Välj ett prestandaläge.
Version 16.3
9 april 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.3.
Beteendeändringar
-
*Förbättrat felmeddelande när ett ogiltigt värde tilldelas
kafka.sasl.client.callback.handler.class: Denna version innehåller en ändring för att returnera ett mer beskrivande felmeddelande när ett ogiltigt värde tilldelaskafka.sasl.client.callback.handler.class.
Nya funktioner
Läsning av tillstånd stöds nu allmänt: Stöd för att läsa tillståndsinformation för Structured Streaming-frågor finns nu allmänt tillgängligt på serverless compute. Se Läsa information om status för strukturerad direktuppspelning.
Nedgradering av Delta-tabellprotokollet är GA med kontrollpunktsskydd:
DROP FEATUREär generellt tillgänglig för att ta bort Delta Lake-tabellfunktioner och nedgradera tabellprotokollet. Som standard skaparDROP FEATUREnu skyddade kontrollpunkter som inte kräver någon väntetid eller historiktrunkering, för en mer optimerad och förenklad nedgraderingsupplevelse. Se Ta bort en Delta Lake-tabellfunktion och nedgradera tabellprotokollet.Skriv procedurmässiga SQL-skript baserade på ANSI SQL/PSM (Public Preview): Du kan nu använda skriptfunktioner baserade på ANSI SQL/PSM för att skriva procedurmässig logik med SQL, inklusive kontrollflödessatser, lokala variabler och undantagshantering. Se SQL-skript.
Standardkollation på tabell- och vynivå: Du kan nu ange en standardkollation för tabeller och vyer. Detta förenklar skapandet av tabeller och vyer där alla eller de flesta kolumner delar samma sortering. Se Kollektion.
Nya H3-funktioner: Tre nya H3-funktioner har lagts till: h3_try_coverash3, h3_try_coverash3string och h3_try_tessellateaswkb.
Ändra flera tabellkolumner i en och samma ALTER TABLE sats: Du kan nu ändra flera kolumner i en och samma
ALTER TABLEsats. Se ALTER TABLE ... COLUMN klausul.
Version 16.2
13 mars 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.2.
Beteendeändringar
I Delta Sharing är tabellhistorik aktiverad som standard: Delningar skapade med SQL-kommandot
ALTER SHARE <share> ADD TABLE <table>har nu historikdelning (WITH HISTORY) aktiverat som standard. Se ALTER SHARE.Credential SQL-satser returnerar ett fel när det finns en typmismatch för autentiseringsuppgifter: Om den typ av autentiseringsuppgifter som anges i en SQL-sats för hantering av autentiseringsuppgifter inte matchar typen för argumentets autentiseringsuppgift returneras ett fel och satsen körs inte.
Nya funktioner
Använd
timestampdiff×tampaddi genererade kolumnuttryck. Du kan nu använda timestampdiff - och timestampadd-funktionerna i kolumnuttryck genererade av Delta Lake. Se Delta Lake-genererade kolumner.Uppdatering returnerar
DESCRIBE TABLEmetadata som strukturerad JSON: Du kan nu använda kommandotDESCRIBE TABLE AS JSONför att returnera tabellmetadata som ett JSON-dokument. JSON-utdata är mer strukturerade än standardrapporten som kan läsas av människor och kan användas för att tolka en tabells schema programmatiskt. Mer information finns i DESCRIBE TABLE AS JSON.Jämförelseregler som ignorerar efterföljande blanksteg: Serverless stöder nu jämförelseregler som ignorerar efterföljande blanksteg. Dessa sorteringar behandlar till exempel
'Hello'och'Hello 'som lika. Mer information finns i RTRIM-sortering.
Felkorrigeringar
-
Förbättrad inkrementell klonbearbetning: Denna version innehåller en lösning för ett undantagsfall där en inkrementell
CLONEkan kopiera redan kopierade filer från en källtabell till en måltabell. Se Klona en tabell i Azure Databricks.
Inställning för stort minne är tillgänglig på serverlösa anteckningsböcker (Offentlig förhandsversion)
7 februari 2025
Nu kan du konfigurera mer minne för dina serverlösa anteckningsboksarbetsbelastningar. Den här inställningen kan tillämpas på både interaktiva och schemalagda notebook-arbetsbelastningar.
Serverlös användning med högt minne har en högre DBU-utsläppsfrekvens än standardminnet.
Mer information finns i Använda serverlös beräkning med hög minnesanvändning.
Version 16.1
5 februari 2025
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.0 och Databricks Runtime 16.1.
Nya funktioner
-
Avro-stöd för rekursivt schema: Du kan nu använda
recursiveFieldMaxDepthalternativet medfrom_avrofunktionen ochavrodatakällan. Det här alternativet anger det maximala djupet för schemarekursion på Avro-datakällan. Se Läsa och skriva strömmande Avro-data. - Utökat stöd för Confluent Schema Registry för Avro: Serverless stöder nu Avro-schemareferenser med Confluent Schema Registry. Se Autentisera till ett externt Confluent-schemaregister.
-
Tvinga omklustring på tabeller med flytande klustring: Du kan nu använda syntaxen
OPTIMIZE FULLför att tvinga omklustring av alla poster i en tabell med flytande klustring aktiverad. Se Framtvinga omklustring. - Delta API:erna för Python stödjer nu identitetskolumner: Du kan nu använda Delta API:erna för Python för att skapa tabeller med identitetskolumner. Se Identitetskolumner.
-
Skapa tabeller med flytande klustring under strömningsskrivningar: Du kan nu använda
clusterByför att aktivera flytande klustring när du skapar nya tabeller med Structured Streaming-skrivningar. Se Aktivera vätskeklustring. - Stöd för OPTIMIZE FULL-klausulen: Serverless beräkning stöder nu OPTIMIZE FULL-klausulen. Den här bestämmelsen optimerar alla poster i en tabell som använder flytande klustring, inklusive data som även kan ha varit klustrade tidigare.
-
Stöd för WITH-optionsspecifikation i INSERT och tabellreferens: Serverless beräkning stöder nu en optionsspecifikation för tabellreferenser och tabellnamn för en
INSERTsats som kan användas för att styra beteendet hos datakällor. -
Nya SQL-funktioner: Följande SQL-funktioner finns nu tillgängliga på serverless compute:
- try_url_decode är en feltolerant version av url_decode.
-
zeroifnull returnerar 0 om indatauttrycket till
zeroifnull()-funktionen ärNULL. -
nullifzero returnerar
NULLom indatan är 0 eller dess indata om den inte är 0. - dayname(expr) återger den engelska akronymen med tre bokstäver för veckodagen för det givna datumet.
- Uniform(expr1, expr2 [,seed]) returnerar ett slumpmässigt värde med oberoende och identiskt fördelade värden inom det angivna talintervallet.
-
randstr(length) returnerar en slumpmässig sträng av
lengthalfanumeriska tecken.
-
Aktivera automatisk schemautveckling vid sammanslagning av data i en Delta-tabell: Stöd har lagts till för medlemmen
withSchemaEvolution()iDeltaMergeBuilderklassen. AnvändwithSchemaEvolution()för att aktivera automatisk schemautveckling underMERGEåtgärder. Exempel:mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}} -
Stöd för sorteringar i Apache Spark finns i Public Preview: Du kan nu tilldela språkmedvetna, kasus-känsliga och åtkomst-okänsliga sorteringar till
STRINGkolumner och uttryck. Dessa sorteringar används i strängjämförelser, sortering, grupperingsåtgärder och många strängfunktioner. Se Kollektion. - Stöd för kollationer i Delta Lake finns i Public Preview: Du kan nu definiera kollationer för kolumner när du skapar eller ändrar en Delta-tabell. Se Sorteringsstöd för Delta Lake.
-
LITEläget för vakuum finns i Public Preview: Du kan nu användaVACUUM table_name LITEdet för att utföra en lättare vakuumoperation som utnyttjar metadata i Delta-transaktionsloggen. Se Fullständigt kontra lite-läge och VACUUM. -
Stöd för parameterisering av
USE CATALOG with IDENTIFIER-klausulen:IDENTIFIER-klausulen stöds nu för USE CATALOG-satsen. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör. - COMMENT ON COLUMN stöd för tabeller och vyer: Uttalandet COMMENT ON stöder nu att ändra kommentarer för vy- och tabellkolumner.
- Anrop med namngivna parametrar för fler funktioner: Följande funktioner stödjer anrop med namngivna parametrar:
-
Parametern
SYNC METADATAtill kommandot REPAIR TABLE stöds med Hive-metastore: Du kan nu använda parameternSYNC METADATAmed kommandotREPAIR TABLEför att uppdatera metadata för en Hive-metastore-hanterad tabell. Se REPAIR TABLE. -
Förbättrad dataintegritet för komprimerade Apache Arrow-batcher: För att ytterligare skydda mot datakorruption innehåller varje
LZ4komprimerad Arrow-batch nu innehållsLZ4- och blockkontrollsummor. Se beskrivning av LZ4-ramformat .
-
Inbyggd Oracle JDBC-drivrutin: Serverless beräkning har nu Oracle JDBC-drivrutinen inbyggd. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via
DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du tillhandahålla en egen drivrutin. -
Mer detaljerade fel för delta-tabeller som nås med sökvägar: En ny upplevelse för felmeddelanden för delta-tabeller som nås med sökvägar finns nu tillgänglig. Alla undantag vidarebefordras nu till användaren. Undantaget
DELTA_MISSING_DELTA_TABLEär nu reserverat för när underliggande filer inte kan läsas som en Delta-tabell.
Beteendeändringar
- Icke-bakåtkompatibel ändring: Databricks-värdbaserad RStudio Server har nått slutet av sin livscykel: Med den här versionen har Databricks-värdbaserad RStudio Server nått slutet av sin livscykel och är inte tillgänglig i någon Azure Databricks-arbetsyta som körs på serverlös beräkning. För att lära dig mer och se en lista över alternativ till RStudio, se Anslut till en RStudio Server som hostas av Databricks.
Brytande förändring: Borttagning av stöd för att ändra
byte,short,intochlongtyper till bredare typer: För att säkerställa konsekvent beteende över Delta- och Apache Iceberg-tabeller kan följande datatypsändringar inte längre tillämpas på tabeller med typutvidgningsfunktionen aktiverad:-
byte,short,intochlongtilldecimal. -
byte,short, ochinttilldouble.
-
Korrekt tolkning av regex-mönster med negation i nästlade teckengrupper: Denna version innehåller en ändring för att stödja korrekt parsning av regex-mönster med negation i nästlade teckengrupperingar. Till exempel
[^[abc]]parsas som "alla tecken som inte är ett av "abc".Dessutom var Photon-beteendet inkonsekvent med Spark för kapslade teckenklasser. Regex-mönster som innehåller kapslade teckenklasser använder inte längre Photon och använder i stället Spark. En kapslad teckenklass är ett mönster som innehåller hakparenteser inom hakparenteser, till exempel
[[a-c][1-3]].Förbättra detektering av dubblettmatchning i Delta Lake
MERGE:MERGEbeaktar nu villkor som anges i klausulenWHEN MATCHED. Se Upsert i en Delta Lake-tabell med hjälp av sammanslagning.Funktionaliteten
addArtifact()är nu konsekvent över beräkningstyper: När du använderaddArtifact(archive = True)det för att lägga till ett beroende till serverless beräkning packas arkivet automatiskt upp.
Felkorrigeringar
- Tidszonsförskjutningar inkluderar nu sekunder när de serialiseras till CSV, JSON och XML: Tidsstämplar med tidszonsförskjutningar som inkluderar sekunder (vanligt för tidsstämplar från före 1900) utelämnade sekunderna när de serialiserades till CSV, JSON och XML. Standardformatet för tidsstämplar har åtgärdats och returnerar nu rätt förskjutningsvärden för dessa tidsstämplar.
Andra ändringar
-
Omdöpta felkoder för
cloudFilesStrukturerad strömningskälla: Följande felkoder har bytt namn:-
_LEGACY_ERROR_TEMP_DBR_0143har bytt namn tillCF_INCORRECT_STREAM_USAGE. -
_LEGACY_ERROR_TEMP_DBR_0260har bytt namn tillCF_INCORRECT_BATCH_USAGE.
-
Version 15.4
28 oktober 2024
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 15.4
Nya funktioner
-
UTF-8 valideringsfunktioner: Denna version introducerar följande funktioner för validering av UTF-8-strängar:
- is_valid_utf8 verifierar om en sträng är en giltig UTF-8-sträng.
- make_valid_utf8 konverterar en potentiellt ogiltig UTF-8-sträng till en giltig UTF-8-sträng med hjälp av substitutionstecken.
- validate_utf8 ger ett fel om indata inte är en giltig UTF-8-sträng.
-
try_validate_utf8 returnerar
NULLom indatan inte är en giltig UTF-8-sträng.
- Aktivera UniForm Iceberg med ALTER TABLE: Du kan nu aktivera UniForm Iceberg på befintliga tabeller utan att behöva skriva om datafiler. Se Om en befintlig tabell.
-
try_url_decode-funktion: Denna version introducerar funktionen try_url_decode, som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar
NULLfunktionen i stället för att skapa ett fel. -
Tillåt eventuellt optimeraren att förlita sig på okontrollerade främmande nyckelbegränsningar: För att förbättra frågeprestandan kan du nu ange
RELYnyckelordet påFOREIGN KEYbegränsningar när du SKAPAR eller ÄNDRAR en tabell. -
Parallelliserade jobb körs för selektiva överskrivningar: Selektiva överskrivningar med nu
replaceWherekör jobb som raderar data och lägger in ny data parallellt, vilket förbättrar frågeprestanda och klusteranvändning. -
Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar: Selektiva överskrivningar med
replaceWherepå tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för inlagda data. Dessa operationer använder en dold_change_type-kolumn som finns i Parquet-datafilerna för att registrera ändringar utan skrivförstärkning. -
Förbättrad frågelatens för kommandot
COPY INTO: Denna version inkluderar en ändring som förbättrar frågelatensen för kommandotCOPY INTO. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer. -
Stöd för att ta bort kontrollbegränsningstabellen: Du kan nu ta bort
checkConstraintstabellfunktionen från en Delta-tabell med hjälp avALTER TABLE table_name DROP FEATURE checkConstraints. Se Ta bort kontrollbegränsningar.
Beteendeändringar
Schemabindningsändring för vyer: När datatyperna i en vys underliggande fråga ändras från de som användes när vyn först skapades, kastar Databricks inte längre fel för referenser till vyn när ingen safe cast kan utföras.
I stället kompenserar vyn genom att använda vanliga typomvandlingsregler där det är möjligt. Den här ändringen gör det enklare för Databricks att tolerera ändringar i tabellschemat.
Förbjud tolerans för odokumenterad
!syntax förNOTextern boolesk logik: Databricks tolererar inte längre användningen av!som synonym förNOTutanför boolesk logik. Den här ändringen minskar förvirringen, överensstämmer med SQL-standarden och gör SQL mer portabelt. Till exempel:CREATE ... IF ! EXISTS, ÄR ! NULL,! NULLkolumn- eller fältegenskap,! INoch ! MELLAN måste ersättas med:CREATE ... IF NOT EXISTS,IS NOT NULL,NOT NULLkolumn- eller fältegenskap,NOT INochNOT BETWEEN.Den booleska prefixoperatorn
!(t.ex.!is_mgreller!(true AND false)) påverkas inte av den här ändringen.Förbjud odokumenterade och obehandlade delar av kolumndefinitionssyntax i vyer: Databricks stöder CREATE VIEW namngivna kolumner och kolumnkommentarer.
Specifikationen av kolumntyper,
NOT NULLbegränsningar ellerDEFAULThar tolererats i syntaxen utan att ha någon effekt. Databricks tar bort den här syntaxens tolerans. Detta minskar förvirringen, överensstämmer med SQL-standarden och möjliggör framtida förbättringar.Konsekvent felhantering för Base64-avkodning i Spark och Photon: Denna version ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Sparks hantering av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland inte utlösa parsningsundantag, medan Spark-tolkningen hanterade körningen korrekt och utlöste
IllegalArgumentExceptionellerConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.När du lägger till en
CHECK-begränsning för en ogiltig kolumn returneras nu felklassen UNRESOLVED_COLUMN.WITH_SUGGESTION: För att ge mer användbara felmeddelanden returnerar enALTER TABLE ADD CONSTRAINT-sats i Databricks Runtime 15.3 och senare som innehåller enCHECK-begränsning som refererar till ett ogiltigt kolumnnamn felklassen UNRESOLVED_COLUMN.WITH_SUGGESTION. Tidigare returnerades enINTERNAL_ERROR.
JDK uppgraderas från JDK 8 till JDK 17
15 augusti 2024
Serverlös beräkning för anteckningsböcker och arbetsflöden har migrerats från Java Development Kit (JDK) 8 till JDK 17 på serversidan. Den här uppgraderingen innehåller följande beteendeändringar:
Korrekt parsning av regex-mönster med negation i nästlade teckengrupperingar: Med denna uppgradering stöder Azure Databricks nu korrekt parsning av regex-mönster med negation i nästlade teckengrupperingar. Till exempel
[^[abc]]parsas som "alla tecken som inte är ett av "abc".Dessutom var Photon-beteendet inkonsekvent med Spark för kapslade teckenklasser. Regex-mönster som innehåller kapslade teckenklasser använder inte längre Photon och använder i stället Spark. En kapslad teckenklass är ett mönster som innehåller hakparenteser inom hakparenteser, till exempel
[[a-c][1-3]].
Version 15.1
23 juli 2024
Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 15.1
Nya funktioner
Stöd för star (*)-syntax i klausulenWHERE: Du kan nu använda star (*)-syntaxen i WHERE klausulen för att referera till alla kolumner från listanSELECT.
Exempel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)
Changes
Förbättrad felåterställning för JSON-parsing: JSON-parsern som används för from_json() och JSON-väguttryck återhämtar sig nu snabbare från felaktig syntax, vilket resulterar i mindre dataförlust.
När du stöter på en felaktigt formaterad JSON-syntax i ett structfält, ett matrisvärde, en kartnyckel eller ett kartvärde, returnerar NULL JSON-parsern nu endast för det olästa fältet, nyckeln eller elementet. Efterföljande fält, nycklar eller element kommer att tolkas korrekt. Före den här ändringen övergav JSON-parsern parsningen av matrisen, structen eller kartan och returnerade NULL för det återstående innehållet.
Version 14.3
15 april 2024
Det här är den första serverlösa beräkningsversionen. Den här versionen motsvarar ungefär Databricks Runtime 14.3 med vissa ändringar som tar bort stöd för vissa icke-serverlösa och äldre funktioner.
Stödda Spark-konfigurationsparametrar
För att automatisera konfigurationen av Spark på serverlös beräkning har Azure Databricks tagit bort stödet för att manuellt ställa in de flesta Spark-konfigurationer. För att se en lista över Spark-konfigurationsparametrar som stöds, se Konfigurera Spark-egenskaper för serverlösa notebooks och jobb.
Jobbkörningar på serverlös beräkning kommer att misslyckas om du ställer in en ej stödjande Spark-konfiguration.
input_file funktioner är inaktuella
Funktionerna input_file_name(), input_file_block_length()och input_file_block_start() har blivit inaktuella. Det rekommenderas inte att använda dessa funktioner.
Använd i stället kolumnen för filmetadata för att hämta information om filmetadata.
Beteendeändringar
Serverlös beräkningsversion 2024.15 innehåller följande beteendeändringar:
-
unhex(hexStr) buggfix: När funktionen
unhex(hexStr)används är hexStr alltid utfylld till vänster till en hel byte. Tidigare ignorerade unhex-funktionen den första halvbytet. Till exempel:unhex('ABC')producerarx'0ABC'nu i stället förx'BC'. - Autogenererade kolumnaliaser är nu stabila: När resultatet av ett uttryck refereras utan ett användarspecificerat kolumnalias, kommer detta autogenererade alias nu att vara stabilt. Den nya algoritmen kan resultera i en ändring av tidigare automatiskt genererade namn som används i funktioner som materialiserade vyer.
-
Tabellskanningar med
CHARtypfält är nu alltid utaddade: delta-tabeller, vissa JDBC-tabeller och externa datakällor lagrar CHAR-data i icke-vadderad form. Vid läsning fyller nu Azure Databricks data med blanksteg till den deklarerade längden för att säkerställa rätt semantik. -
Casts från BIGINT/DECIMAL till TIMESTAMP ger ett undantag för överflödsvärden: Azure Databricks tillåter casting från BIGINT och DECIMAL till TIMESTAMP genom att behandla värdet som antalet sekunder från Unix-epoken. Tidigare skulle Azure Databricks returnera spillda värden men genererar nu ett undantag vid spill. Använd
try_castför att returnera NULL i stället för ett undantag. -
PySpark UDF-exekvering har förbättrats för att matcha exakt det exakta beteendet för UDF-exekvering på dedikerad beräkning: Följande ändringar har gjorts:
- UDF:er med en strängreturtyp konverterar inte längre implicit icke-strängvärden till strängar. Tidigare skulle UDF:er med returtypen
strtillämpa enstr(..)omslutning på resultatet oavsett den faktiska datatypen för det returnerade värdet. - UDF:er med
timestampreturtyper tillämpar inte längre implicit en tidszonskonvertering på tidsstämplar.
- UDF:er med en strängreturtyp konverterar inte längre implicit icke-strängvärden till strängar. Tidigare skulle UDF:er med returtypen