Dela via

Versionsinformation för serverlös beräkning

Den här artikeln förklarar de funktioner och beteenden som för närvarande är tillgängliga samt de kommande inom serverlös beräkning för notebooks och jobb.

Mer information om serverlös beräkning finns i Ansluta till serverlös beräkning.

Azure Databricks släpper regelbundet uppdateringar av serverlös beräkning och uppgraderar automatiskt den serverlösa beräkningskörningen för att stödja förbättringar och uppgraderingar till plattformen. Alla användare får samma uppdateringar som distribueras under en kort tidsperiod.

serverlösa miljöversioner

Serverlös beräkning för notebook-filer och jobb använder miljöversioner, som tillhandahåller ett stabilt klient-API baserat på Spark Connect för att säkerställa programkompatibilitet. Detta gör att Databricks kan uppgradera servern oberoende av varandra och leverera prestandaförbättringar, säkerhetsförbättringar och felkorrigeringar utan att kräva några kodändringar i arbetsbelastningar.

Varje miljöversion innehåller en specifik Python-version och en uppsättning Python-paket med definierade versioner. Databricks introducerar nya funktioner och korrigeringar i den senaste miljöversionen samtidigt som säkerhetsuppdateringar tillämpas på alla miljöversioner som stöds.

Information om serverlös miljöversion finns i Serverlösa miljöversioner.

Versionsmeddelanden

Det här avsnittet innehåller versionsinformation för serverlös beräkning. Versionsinformation organiseras efter år och vecka i året. Serverlös beräkning körs alltid med den senaste versionen som visas här.

Version 17.3

den 28 oktober 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.3 LTS.

Nya funktioner

  • LIMIT ALLT stöd för rekursiva CTE:er: Du kan nu använda LIMIT ALL -satsen med rekursiva vanliga tabelluttryck (rCTEs) för att uttryckligen ange att ingen radgräns ska tillämpas på frågeresultaten. Se Gemensam tabelluttryck (CTE).

  • Om du lägger till filer i Unity Catalog-volymer returneras rätt fel: Om du försöker lägga till befintliga filer i Unity Catalog-volymer returneras nu ett mer beskrivande felmeddelande som hjälper dig att förstå och lösa problemet.

  • st_dump funktionsstöd: Du kan nu använda st_dump funktionen för att dela upp ett geometriobjekt i dess komponenter och returnera en uppsättning enklare geometrier. Se st_dump funktion.

  • Polygoners invändiga ringfunktioner stöds nu: Du kan nu använda följande funktioner för att arbeta med polygoners invändiga ringar:

  • EXECUTE IMMEDIATE använda konstanta uttryck: -instruktionen EXECUTE IMMEDIATE stöder nu användning av konstanta uttryck i frågesträngen, vilket möjliggör mer flexibel dynamisk SQL-körning. Se EXECUTE IMMEDIATE.

  • Tillåt spark.sql.files.maxPartitionBytes i serverlös beräkning: Nu kan du konfigurera spark.sql.files.maxPartitionBytes Spark-konfigurationsparameter på serverlös beräkning för att styra det maximala antalet byte som ska packas i en enda partition vid läsning av filer. Se Konfigurera Spark-egenskaper för serverlösa anteckningsböcker och jobb.

Beteendeändringar

  • Stöd för MV/ST-uppdateringsinformation i DESCRIBE EXTENDED AS JSON: Kommandot DESCRIBE EXTENDED AS JSON innehåller nu uppdateringsinformation för materialiserade vyer och strömmande tabeller, vilket ger insyn i den senaste uppdateringstiden och statusen.

  • Lägg till metadatakolumn i DESCRIBE QUERY och DESCRIBE TABLE: Kommandona DESCRIBE QUERY och DESCRIBE TABLE innehåller nu en metadatakolumn i sina utdata, vilket ger ytterligare information om varje kolumns egenskaper och egenskaper.

  • Korrekt hantering av null-structs när nullType-kolumner tas bort: Azure Databricks hanterar nu null struct-värden korrekt när du släpper kolumner med NullType, vilket förhindrar potentiell dataskada eller oväntat beteende.

  • Förbättrad hantering av null-structs i Parquet: Den här versionen innehåller förbättringar av hur null struct-värden hanteras när du läser från och skriver till Parquet-filer, vilket säkerställer ett mer konsekvent och korrekt beteende.

  • Uppgradera aws-msk-iam-auth-biblioteket för Kafka: Biblioteket aws-msk-iam-auth som används för Amazon MSK IAM-autentisering har uppgraderats till den senaste versionen, vilket ger förbättrad säkerhet och kompatibilitet.

Version 17.2

den 25 september 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.2.

Nya funktioner

  • ST_ExteriorRing funktionen stöds nu: Du kan nu använda ST_ExteriorRing funktionen för att extrahera den yttre gränsen för en polygon och returnera den som en linjedragning. Se st_exteriorring funktion.

  • Stöd TEMPORARY för att skapa måttvyer: Du kan nu använda nyckelordet TEMPORARY när du skapar en måttvy. Tillfälliga måttvyer visas endast i sessionen som skapade dem och tas bort när sessionen avslutas. Se CREATE VIEW.

  • Använd intern I/O för LokiFileSystem.getFileStatus på S3: LokiFileSystem.getFileStatus använder nu den interna I/O-stacken för Amazon S3-trafik och returnerar org.apache.hadoop.fs.FileStatus objekt i stället för shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

  • Auto Loader härleder partitionskolumner i singleVariantColumn-läge: Auto Loader härleder nu partitionskolumner från filsökvägar när data matas in som en semistrukturerad varianttyp med hjälp av alternativet singleVariantColumn. Tidigare identifierades inte partitionskolumner automatiskt. Se Alternativ för automatisk inläsning.

Beteendeändringar

  • DESCRIBE CONNECTION visar miljöinställningar för JDBC-anslutningar: Azure Databricks innehåller nu användardefinierade miljöinställningar i DESCRIBE CONNECTION utdata för JDBC-anslutningar som stöder anpassade drivrutiner och körs isolerat. Andra anslutningstyper förblir oförändrade.

  • Alternativ för att beskära enhetlig historik under migrering av hanterade tabeller: Du kan nu beskära enhetlig historik när du migrerar tabeller med Uniform/Iceberg aktiverat med ALTER TABLE...SET MANAGED. Detta förenklar migreringen och minskar stilleståndstiden jämfört med att inaktivera och återaktivera Uniform manuellt.

  • Rätt resultat för split med tom regex och positiv gräns: Azure Databricks returnerar nu rätt resultat när du använder split function med en tom regex och en positiv gräns. Tidigare trunkerade funktionen felaktigt den återstående strängen i stället för att inkludera den i det sista elementet.

  • Korrigera url_decode och try_url_decode felhantering i Photon: I Photon returnerar nu try_url_decode() och url_decode() med failOnError = false för NULL ogiltiga URL-kodade strängar istället för att misslyckas med förfrågan.

  • Delad körningsmiljö för Unity Catalog Python UDTFs: Azure Databricks delar nu körningsmiljön för Python-användardefinierade tabellfunktioner (UDTFs) från samma ägare och Spark-session. Det finns en valfri STRICT ISOLATION sats för att inaktivera delning för UDF:er med biverkningar, till exempel ändra miljövariabler eller köra godtycklig kod.

Version 17.1

den 19 augusti 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.1.

Nya funktioner

  • Minskad minnesanvändning för breda scheman i Photon Writer: Förbättringar har gjorts i fotonmotorn som avsevärt minskar minnesanvändningen för breda scheman och hanterar scenarier som tidigare resulterade i minnesfel.

Beteendeändringar

  • Fel som uppstår för ogiltiga CHECK begränsningar: Azure Databricks genererar nu ett AnalysisException om ett CHECK villkorsuttryck inte kan lösas under begränsningsverifieringen.

  • Pulsar-anslutningsappen exponerar inte längre Bouncy Castle: Bouncy Castle-biblioteket skuggas nu i Pulsar-anslutningsappen för att förhindra klassökvägskonflikter. Därför kan Spark-jobb inte längre komma åt org.bouncycastle.* klasser från anslutningsappen. Om koden är beroende av Bouncy Castle installerar du biblioteket manuellt i en serverlös miljö.

  • Automatisk inläsning använder filhändelser som standard om det är tillgängligt: Automatisk inläsning använder filhändelser i stället för kataloglistor när inläsningssökvägen är en extern plats med filhändelser aktiverade. Standardvärdet för useManagedFileEvents är nu if_available (var false). Detta kan förbättra inmatningsprestanda och loggar en varning om filhändelser ännu inte är aktiverade.

  • Teradata-anslutningsappen åtgärdar skiftlägeskänslig strängjämförelse: Teradata-anslutningsappen är nu standard för TMODE=ANSIatt justera strängjämförelsebeteendet med Azure Databricks genom att göra den skiftlägeskänslig. Den här ändringen kan konfigureras och påverkar inte befintliga användare om de inte anmäler sig.

Serverlös miljöversion 4

13 augusti 2025

Miljöversion 4 är nu tillgänglig i dina serverlösa notebooks och jobb. Den här miljöversionen innehåller biblioteksuppgraderingar och API-uppdateringar. Se Serverlös miljö version 4.

Version 17.0

den 24 juli 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 17.0.

Nya funktioner

  • Stöd för SQL-procedur: SQL-skript kan nu kapslas in i en procedur som lagras som en återanvändbar tillgång i Unity Catalog. Du kan skapa en procedur med kommandot CREATE PROCEDURE och sedan anropa den med kommandot CALL .

  • Ange en standardsortering för SQL Functions: Med den nya DEFAULT COLLATION satsen i CREATE FUNCTION kommandot definieras standardsortering som används för STRING parametrar, returtyp och STRING literaler i funktionstexten.

  • Stöd för rekursiva vanliga tabelluttryck (rCTE): Azure Databricks stöder nu navigering av hierarkiska data med rekursiva vanliga tabelluttryck (rCTEs). Använd en självrefererande CTE med UNION ALL för att följa den rekursiva relationen.

  • PySpark och Spark Connect stöder nu DataFrames df.mergeInto API: PySpark och Spark Connect stöder nu API:et df.mergeInto .

  • Stöd ALL CATALOGS i SHOW SCHEMAN: Syntaxen SHOW SCHEMAS uppdateras för att acceptera ALL CATALOGS, så att du kan iterera genom alla aktiva kataloger som stöder namnområden. Utdataattributen innehåller nu en catalog kolumn som anger katalogen för motsvarande namnområde.

  • Flytande klustring komprimerar nu borttagningsvektorer mer effektivt: Deltatabeller med flytande klustring tillämpar nu fysiska ändringar från borttagningsvektorer mer effektivt när OPTIMIZE de körs. Mer information finns i Tillämpa ändringar på Parquet-datafiler.

  • Tillåt icke-deterministiska uttryck i UPDATE/INSERT kolumnvärden för MERGE åtgärder: Azure Databricks tillåter nu användning av icke-deterministiska uttryck i uppdaterade och infogade kolumnvärden MERGE för åtgärder. Du kan till exempel nu generera dynamiska eller slumpmässiga värden för kolumner med hjälp av uttryck som rand().

  • Ändra Delta MERGE Python-API:er för att returnera DataFrame i stället för Enhet: Python-API MERGE :erna (till exempel DeltaMergeBuilder) returnerar nu också en DataFrame som SQL-API:et gör, med samma resultat.

Beteendeändringar

  • Beteendeförändring för alternativet automatisk inläsning av inkrementell kataloglista: Värdet för det inaktuella alternativet Automatisk inläsning cloudFiles.useIncrementalListing är nu inställt på standardvärdet false. Som ett resultat orsakar den här ändringen att Auto Loader utför en fullständig kataloggenomsökning varje gång den körs. Databricks rekommenderar att du inte använder det här alternativet. Använd i stället filmeddelandeläge med filhändelser.

  • CREATE VIEW satser på kolumnnivå orsakar nu fel när satsen endast är tillämplig för materialiserade vyer: CREATE VIEW kommandon som specificerar en kolumnnivåsats som enbart är giltig för MATERIALIZED VIEWs utlöser nu ett fel. De berörda satserna inkluderar NOT NULL, angivna datatyper, DEFAULToch COLUMN MASK.

Serverlösa prestandamål är GA

Den 10 juni 2025

Nu är den serverlösa prestandainställningen för jobb och pipelines allmänt tillgänglig att välja.

När inställningen Prestandaoptimerad är aktiverad optimeras arbetsbelastningen för snabbare start- och körningstid. När den är inaktiverad körs den serverlösa arbetsbelastningen i standardprestandaläge, vilket är optimerat för kostnad och har en något högre svarstid för start.

Mer information finns i Välj ett prestandaläge och Välj ett prestandaläge.

Version 16.4

28 maj 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.4 LTS.

Beteendeändringar

  • Korrigering för att respektera alternativ för cachelagrade datakällor: Den här uppdateringen säkerställer att tabellen läser respektalternativ som angetts för alla datakällasplaner när de cachelagras, inte bara den första cachelagrade tabellen. Tidigare cachelagrade datakällatabellen den första planen men kunde inte ta hänsyn till olika alternativ i efterföljande frågor.

  • Aktivera flagga för att kräva källmaterialisering för MERGE-åtgärder: Tidigare kunde användare inaktivera källmaterialisering i MERGE genom att ange merge.materializeSource till none. När den nya flaggan är aktiverad krävs alltid källmaterialisering, och försök att inaktivera den resulterar i ett fel. Databricks planerar att endast aktivera den här flaggan för kunder som inte tidigare har ändrat den här konfigurationen, så de flesta användare bör inte uppleva några förändringar i beteendet.

Nya funktioner

  • Automatisk inläsare kan nu rensa bearbetade filer i källkatalogen: Du kan nu instruera Auto Loader att automatiskt flytta eller ta bort filer som har bearbetats. Välj den här funktionen med alternativet cloudFiles.cleanSource Automatisk inläsning. Se Alternativ för Auto Loader, under cloudFiles.cleanSource.

  • Stöd för typbreddning som lagts till för strömning från Delta-tabeller: Den här versionen lägger till stöd för strömning från en Delta-tabell som har typbreddade kolumndata och för att dela en Delta-tabell med typbreddning aktiverad med Databricks-till-Databricks Delta Sharing. Funktionen för typbreddning finns för närvarande i offentlig förhandsversion. Se även Typbreddning.

  • IDENTIFIER support nu tillgänglig i DBSQL för katalogåtgärder: Du kan nu använda IDENTIFIER -satsen när du utför följande katalogåtgärder:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Med den här nya syntaxen kan du dynamiskt ange katalognamn med hjälp av parametrar som definierats för dessa åtgärder, vilket möjliggör mer flexibla och återanvändbara SQL-arbetsflöden. Som ett exempel på syntaxen bör du överväga CREATE CATALOG IDENTIFIER(:param) var param är en parameter som tillhandahålls för att ange ett katalognamn. Se IDENTIFIER-satsen.

  • Sorterade uttryck tillhandahåller nu automatiskt genererade tillfälliga alias: Autogenererade alias för sorterade uttryck innehåller COLLATE nu deterministiskt information. Autogenererade alias är tillfälliga (instabila) och bör inte användas. Använd i stället expression AS alias konsekvent och explicit som en bästa praxis.

  • Lägg till api-stöd för filter-pushdown till Python-datakällor: Serverlös beräkning stöder nu filter-pushdown till Python-datakällsbatch som läses som ett API, liknande SupportsPushDownFilters gränssnittet. Se 16.4 LTS versionsanteckningar.

  • Python UDF-spårningsförbättring: Python UDF-spårningen innehåller nu ramar från både drivrutinen och kören tillsammans med klientramar, vilket resulterar i bättre felmeddelanden som visar större och mer relevant information (till exempel radinnehållet i ramar i en UDF).

  • UNION/EXCEPT/INTERSECT i en vy och EXECUTE IMMEDIATE returnerar nu rätt resultat: Frågor om tillfälliga och beständiga vydefinitioner med toppnivå UNION/EXCEPT/INTERSECT och oaliaserade kolumner returnerade tidigare felaktiga resultat eftersom UNION/EXCEPT/INTERSECT nyckelord ansågs vara alias. Nu kommer dessa frågeförfrågningar att korrekt utföra hela mängdoperationen.

  • Datakällans cachelagrade plankonfigurations- och migreringsguide: Vid läsning från en filkälltabell kommer sökfrågealternativen (som avgränsare) att respekteras korrekt. Tidigare cachelagrades den första frågeplanen och efterföljande alternativändringar ignorerades. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.readFileSourceTableCacheIgnoreOptions till true.

  • Nya listagg och string_agg funktioner: Med denna version kan du använda listagg eller string_agg funktioner för att aggregera STRING och BINARY värden inom en grupp. Se string_agg.

Prestandaläget kan nu konfigureras för serverlösa jobb

den 14 april 2025

Nu kan du välja prestandaläget för ett serverlöst jobb med hjälp av inställningen Prestandaoptimerad på sidan jobbinformation. Tidigare var alla serverlösa jobb prestandaoptimerade. Nu kan du inaktivera inställningen Prestandaoptimerad för att köra arbetsbelastningen i standardprestandaläge. Standardläget för peformance är utformat för att minska kostnaderna för arbetsbelastningar där en något högre svarstid för start är acceptabel.

Standardprestandaläge stöds inte för kontinuerliga pipelines, engångskörningar som skapats med hjälp av runs/submit slutpunkten eller SQL Warehouse-jobbuppgifter, inklusive materialiserade vyer.

Mer information om prestandaläget finns i Välj ett prestandaläge.

Version 16.3

den 9 april 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.3.

Beteendeändringar

  • *Förbättrat felmeddelande när kafka.sasl.client.callback.handler.class har tilldelats ett ogiltigt värde: Den här versionen innehåller en ändring för att returnera ett mer beskrivande felmeddelande när kafka.sasl.client.callback.handler.class tilldelas ett ogiltigt värde.

Nya funktioner

  • Stöd för tillståndsläsare är GA: Stöd för att läsa tillståndsinformation för strukturerade strömningsfrågor är nu allmänt tillgängligt för serverlös beräkning. Se Läsa information om status för strukturerad direktuppspelning.

  • Nedgradering av deltatabellprotokoll är GA med kontrollpunktsskydd: DROP FEATURE är allmänt tillgängligt för att ta bort Delta Lake-tabellfunktioner och nedgradera tabellprotokollet. Som standard skapar DROP FEATURE nu skyddade kontrollpunkter som inte kräver någon väntetid eller historiktrunkering, för en mer optimerad och förenklad nedgraderingsupplevelse. Se Ta bort en Delta Lake-tabellfunktion och nedgradera tabellprotokollet.

  • Skriva procedurmässiga SQL-skript baserat på ANSI SQL/PSM (offentlig förhandsversion): Du kan nu använda skriptfunktioner baserade på ANSI SQL/PSM för att skriva procedurlogik med SQL, inklusive kontrollflödesuttryck, lokala variabler och undantagshantering. Se SQL-skript.

  • Standardsortering på tabell- och visningsnivå: Du kan nu ange en standardsortering för tabeller och vyer. Detta förenklar skapandet av tabeller och vyer där alla eller de flesta kolumner delar samma sortering. Se Kollektion.

  • Nya H3-funktioner: Tre nya H3-funktioner har lagts till: h3_try_coverash3, h3_try_coverash3string och h3_try_tessellateaswkb.

  • Ändra flera tabellkolumner i en ALTER TABLE instruktion: Du kan nu ändra flera kolumner i en enda ALTER TABLE instruktion. Se ALTER TABLE ... COLUMN klausul.

Version 16.2

den 13 mars 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.2.

Beteendeändringar

  • I Deltadelning är tabellhistorik aktiverad som standard: Resurser som skapats med SQL-kommandot ALTER SHARE <share> ADD TABLE <table> har nu historikdelning (WITH HISTORY) aktiverat som standard. Se ALTER SHARE.

  • SQL-instruktioner för autentiseringsuppgifter returnerar ett fel när det finns ett matchningsfel av typen autentiseringsuppgifter: Om den typ av autentiseringsuppgifter som anges i sql-instruktionen för hantering av autentiseringsuppgifter inte matchar typen av argumentet för autentiseringsuppgifter returneras ett fel och instruktionen körs inte.

Nya funktioner

  • timestampdiff Använd & timestampadd i genererade kolumnuttryck Du kan nu använda funktionerna timestampdiff och timestampadd i Delta Lake-genererade kolumnuttryck. Se Delta Lake-genererade kolumner.

  • Uppdatera för att DESCRIBE TABLE returnera metadata som strukturerad JSON: Du kan nu använda DESCRIBE TABLE AS JSON kommandot för att returnera tabellmetadata som ett JSON-dokument. JSON-utdata är mer strukturerade än standardrapporten som kan läsas av människor och kan användas för att tolka en tabells schema programmatiskt. Mer information finns i DESCRIBE TABLE AS JSON.

  • Avslutande tomma okänsliga sorteringar: Serverlösa stöder nu avslutande tomma okänsliga sorteringar. Dessa sorteringar behandlar till exempel 'Hello' och 'Hello ' som lika. Mer information finns i RTRIM-sortering.

Felkorrigeringar

  • Förbättrad inkrementell kloningsbearbetning: Den här versionen innehåller en korrigering för ett gränsfall där en inkrementell CLONE kan kopiera filer som redan kopierats från en källtabell till en måltabell. Se Klona en tabell i Azure Databricks.

Inställning för stort minne är tillgänglig på serverlösa anteckningsböcker (Offentlig förhandsversion)

den 7 februari 2025

Nu kan du konfigurera mer minne för dina serverlösa anteckningsboksarbetsbelastningar. Den här inställningen kan tillämpas på både interaktiva och schemalagda notebook-arbetsbelastningar.

Serverlös användning med högt minne har en högre DBU-utsläppsfrekvens än standardminnet.

Mer information finns i Använda serverlös beräkning med hög minnesanvändning.

Version 16.1

den 5 februari 2025

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 16.0 och Databricks Runtime 16.1.

Nya funktioner

  • Avro-stöd för rekursivt schema: Nu kan du använda alternativet recursiveFieldMaxDepth med from_avro funktionen och avro datakällan. Det här alternativet anger det maximala djupet för schemarekursion på Avro-datakällan. Se Läsa och skriva strömmande Avro-data.
  • Utökat stöd för Confluent Schema Registry för Avro: Serverlös stöder nu Avro-schemareferens med Confluent Schema Registry. Se Autentisera till ett externt Confluent-schemaregister.
  • Framtvinga relustering på tabeller med flytande klustring: Nu kan du använda syntaxen OPTIMIZE FULL för att framtvinga omgruppering av alla poster i en tabell med flytande klustring aktiverad. Se Framtvinga omargning för alla poster.
  • Delta-API:erna för Python stöder nu identitetskolumner: Nu kan du använda Delta-API:erna för Python för att skapa tabeller med identitetskolumner. Se Använda identitetskolumner i Delta Lake.
  • Skapa flytande klustrade tabeller under direktuppspelningsskrivningar: Du kan nu använda clusterBy för att aktivera flytande klustring när du skapar nya tabeller med strukturerade direktuppspelningsskrivningar. Se Aktivera vätskeklustring.
  • Stöd för OPTIMIZE FULL-sats: Serverlös beräkning stöder OPTIMIZE nu FULL-satsen . Den här bestämmelsen optimerar alla poster i en tabell som använder flytande klustring, inklusive data som även kan ha varit klustrade tidigare.
  • Stöd för WITH-alternativspecifikation i INSERT och tabellreferens: Serverlös beräkning stöder nu en alternativspecifikation för tabellreferenser och tabellnamn för en INSERT -instruktion som kan användas för att styra datakällornas beteende.
  • Nya SQL-funktioner: Följande SQL-funktioner är nu tillgängliga för serverlös beräkning:
    • try_url_decode är en feltolerant version av url_decode.
    • zeroifnull returnerar 0 om indatauttrycket till zeroifnull() funktionen är NULL.
    • nullifzero returnerar NULL om indata är 0 eller dess indata om det inte är 0.
    • dayname(expr) returnerar den engelska förkortningen med tre bokstäver för veckodagen för det angivna datumet.
    • uniform(expr1, expr2 [,seed]) returnerar ett slumpmässigt värde med oberoende och identiskt distribuerade värden inom det angivna intervallet med tal.
    • randstr(längd) returnerar en slumpmässig sträng med length alfanumeriska tecken.
  • Aktivera automatisk schemautveckling vid sammanslagning av data i en Delta-tabell: Stöd har lagts till för withSchemaEvolution() medlemmen i DeltaMergeBuilder klassen. Använd withSchemaEvolution() för att aktivera automatisk schemautveckling under MERGE åtgärder. Exempel: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}
  • Stöd för sortering i Apache Spark finns i offentlig förhandsversion: Nu kan du tilldela språkmedvetna, skiftlägeskänsliga och åtkomstokänsliga sorteringar till STRING kolumner och uttryck. Dessa sorteringar används i strängjämförelser, sortering, grupperingsåtgärder och många strängfunktioner. Se Kollektion.
  • Stöd för sortering i Delta Lake finns i offentlig förhandsversion: Du kan nu definiera sortering för kolumner när du skapar eller ändrar en Delta-tabell. Se Sorteringsstöd för Delta Lake.
  • LITE läget för vakuum finns i offentlig förhandsversion: Du kan nu använda VACUUM table_name LITE för att utföra en vakuumåtgärd med lägre vikt som utnyttjar metadata i Delta-transaktionsloggen. Se Fullständigt kontra lätt läge och VACUUM.
  • Stöd för parameterisering av USE CATALOG with IDENTIFIER-villkoren:IDENTIFIER-villkoret stöds nu i USE CATALOG-instruktionen. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.
  • COMMENT ON COLUMN stöd för tabeller och vyer: Instruktionen COMMENT ON stöder nu ändring av kommentarer för vy- och tabellkolumner.
  • Namngivna parameteranrop för fler funktioner: Följande funktioner stöder namngivna parameteranrop:
  • Parametern SYNC METADATA till REPAIR TABLE kommandot stöds av Hive-metastore: Du kan nu använda parametern SYNC METADATA till kommandot REPAIR TABLE för att uppdatera metadata för en hanterad Hive-metastore-tabell. Se REPAIR TABLE.
  • Förbättrad dataintegritet för komprimerade Apache Arrow-batchar: För att ytterligare skydda mot datakorruption innehåller varje komprimerad Arrow-batch nu innehåll och blockkontrollsummor. Se beskrivning av LZ4-ramformat .
  • Inbyggd Oracle JDBC-drivrutin: Serverlös beräkning har nu Oracle JDBC-drivrutinen inbyggd. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du tillhandahålla en egen drivrutin.
  • Mer detaljerade fel för Delta-tabeller som används med sökvägar: En ny felmeddelandeupplevelse för Delta-tabeller som används med hjälp av sökvägar är nu tillgänglig. Alla undantag vidarebefordras nu till användaren. Undantaget DELTA_MISSING_DELTA_TABLE är nu reserverat för när underliggande filer inte kan läsas som en Delta-tabell.

Beteendeändringar

  • Icke-bakåtkompatibel ändring: Värdbaserad RStudio har nått end-of-life: Med den här versionen är RStudio Server, värdad av Databricks, slut och otillgänglig på alla Azure Databricks-arbetsytor som körs på serverfri beräkning. Mer information och en lista över alternativ till RStudio finns i Ansluta till en Databricks-värdbaserad RStudio Server.

  • Brytande förändring: Borttagning av stöd för att ändra byte, short, int och long typer till mer omfattande typer: För att säkerställa konsekvent beteende i Delta- och Apache Iceberg-tabeller, kan följande datatypändringar inte längre tillämpas på tabeller med typutvidgningsfunktionen aktiverad.

    • byte, short, int och long till decimal.
    • byte, shortoch int till double.

  • Korrekt parsning av regexmönster med negation i kapslad teckengruppering: Den här versionen innehåller en ändring som stöder korrekt parsning av regex-mönster med negation i kapslad teckengruppering. Till exempel [^[abc]] parsas som "alla tecken som inte är ett av "abc".

    Dessutom var Photon-beteendet inkonsekvent med Spark för kapslade teckenklasser. Regex-mönster som innehåller kapslade teckenklasser använder inte längre Photon och använder i stället Spark. En kapslad teckenklass är ett mönster som innehåller hakparenteser inom hakparenteser, till exempel [[a-c][1-3]].

  • Förbättra identifiering av dubbletter av matchning i Delta Lake MERGE:MERGE nu tar hänsyn till de villkor som anges i WHEN MATCHED -satsen. Se Upsert i en Delta Lake-tabell med hjälp av sammanslagning.

  • Funktionerna addArtifact() är nu konsekventa mellan beräkningstyper: När du använder addArtifact(archive = True) för att lägga till ett beroende till serverlös beräkning packas arkivet upp automatiskt.

Felkorrigeringar

  • Tidszonsförskjutningar omfattar nu sekunder när de serialiseras till CSV, JSON och XML: Tidsstämplar med tidszonsförskjutningar som inkluderar sekunder (vanliga för tidsstämplar från före 1900) utelämnade sekunderna när de serialiserades till CSV, JSON och XML. Standardformatet för tidsstämplar har åtgärdats och returnerar nu rätt förskjutningsvärden för dessa tidsstämplar.

Andra ändringar

  • Felkoder har bytt namn för cloudFiles Strukturerad strömningskälla: Följande felkoder har bytt namn:
    • _LEGACY_ERROR_TEMP_DBR_0143 har bytt namn till CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 har bytt namn till CF_INCORRECT_BATCH_USAGE .

Version 15.4

den 28 oktober 2024

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 15.4

Nya funktioner

  • UTF-8-valideringsfunktioner: Den här versionen introducerar följande funktioner för validering av UTF-8-strängar:
    • is_valid_utf8 verifierat om en sträng är en giltig UTF-8-sträng.
    • make_valid_utf8 konverterar en potentiellt ogiltig UTF-8-sträng till en giltig UTF-8-sträng med ersättningstecken.
    • validate_utf8 genererar ett fel om indata inte är en giltig UTF-8-sträng.
    • try_validate_utf8 returnerar NULL om indata inte är en giltig UTF-8-sträng.
  • Aktivera UniForm Iceberg med ALTER TABLE: Du kan nu aktivera UniForm Iceberg på befintliga tabeller utan att skriva om datafiler. Se Aktivera Iceberg-läsningar på en befintlig tabell.
  • try_url_decode funktion: Den här versionen introducerar funktionen try_url_decode , som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar NULL funktionen i stället för att skapa ett fel.
  • Om du vill kan du tillåta att optimeraren förlitar sig på icke-framtvingade begränsningar för sekundärnyckel: För att förbättra frågeprestandan kan du nu ange nyckelordet RELY för FOREIGN KEY begränsningar när du skapar eller ändrar en tabell.
  • Parallelliserade jobbkörningar för selektiva överskrivningar: Nu kör selektiva överskrivningar med replaceWhere jobb som tar bort data och infogar nya data parallellt, vilket förbättrar prestandan för frågor och klusterutnyttjande.
  • Förbättrade prestanda för ändringsdataflöde med selektiva överskrivningar: Selektiva överskrivningar med hjälp av replaceWhere tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för infogade data. Dessa operationer använder en dold _change_type-kolumn som finns i Parquet-datafilerna för att registrera ändringar utan skrivförstärkning.
  • COPY INTO Den här versionen innehåller en ändring som förbättrar frågesvarstiden för COPY INTO kommandot. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer.
  • Stöd för att ta bort tabellfunktionen för kontrollbegränsningar: Nu kan du släppa checkConstraints tabellfunktionen från en Delta-tabell med hjälp av ALTER TABLE table_name DROP FEATURE checkConstraints. Se Inaktivera kontrollbegränsningar.

Beteendeändringar

  • Schemabindningsändring för vyer: När datatyperna i en vys underliggande fråga ändras från de som användes när vyn först skapades genererar Databricks inte längre fel för referenser till vyn när ingen säker gjutning kan utföras.

    I stället kompenserar vyn genom att använda vanliga typomvandlingsregler där det är möjligt. Den här ändringen gör det enklare för Databricks att tolerera ändringar i tabellschemat.

  • ! Databricks kommer inte längre att tolerera användningen av NOT som synonym för utanför boolesk logik. Den här ändringen minskar förvirringen, överensstämmer med SQL-standarden och gör SQL mer portabelt. Till exempel:

    CREATE ... IF ! EXISTS, IS NOT NULL, ! NULL kolumn- eller fältegenskap, ! IN och NOT BETWEEN måste ersättas med:

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL kolumn- eller fältegenskap, NOT IN och NOT BETWEEN.

    Den booleska prefixoperatorn! (t.ex. !is_mgr eller !(true AND false)) påverkas inte av den här ändringen.

  • Tillåt inte odokumenterade och obearbetade delar av kolumndefinitionssyntaxen i vyer: Databricks har stöd CREATE VIEW för namngivna kolumner och kolumnkommenterar.

    Specifikationen av kolumntyper, NOT NULL begränsningar eller DEFAULT har tolererats i syntaxen utan att ha någon effekt. Databricks tar bort den här syntaxens tolerans. Detta minskar förvirringen, överensstämmer med SQL-standarden och möjliggör framtida förbättringar.

  • Konsekvent felhantering för Base64-avkodning i Spark och Photon: Den här versionen ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Spark-hanteringen av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland inte utlösa parsningsundantag, medan Spark-tolkningen hanterade körningen korrekt och utlöste IllegalArgumentException eller ConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.

  • Att lägga till en CHECK begränsning för en ogiltig kolumn returnerar nu UNRESOLVED_COLUMN.WITH_SUGGESTION felklass: För att erbjuda mer användbar felsökningsinformation, i Databricks Runtime 15.3 och senare, returnerar en ALTER TABLE ADD CONSTRAINT sats som innefattar en CHECK begränsning som hänvisar till ett ogiltigt kolumnnamn UNRESOLVED_COLUMN.WITH_SUGGESTION felklass. Tidigare returnerades en INTERNAL_ERROR.

JDK uppgraderas från JDK 8 till JDK 17

15 augusti 2024

Serverlös beräkning för anteckningsböcker och arbetsflöden har migrerats från Java Development Kit (JDK) 8 till JDK 17 på serversidan. Den här uppgraderingen innehåller följande beteendeändringar:

  • Korrekt parsning av regexmönster med negation i kapslad teckengruppering: Med den här uppgraderingen har Azure Databricks nu stöd för korrekt parsning av regexmönster med negation i kapslad teckengruppering. Till exempel [^[abc]] parsas som "alla tecken som inte är ett av "abc".

    Dessutom var Photon-beteendet inkonsekvent med Spark för kapslade teckenklasser. Regex-mönster som innehåller kapslade teckenklasser använder inte längre Photon och använder i stället Spark. En kapslad teckenklass är ett mönster som innehåller hakparenteser inom hakparenteser, till exempel [[a-c][1-3]].

Version 15.1

den 23 juli 2024

Den här serverlösa beräkningsversionen motsvarar ungefär Databricks Runtime 15.1

Nya funktioner

Stöd för stjärnsyntax (*) i WHERE -satsen: Du kan nu använda stjärnsyntaxen * (WHERE) i -satsen för att referera till alla kolumner från SELECT listan.

Exempel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)

Changes

Förbättrad felåterställning för JSON-parsning: JSON-parsern som används för from_json() och JSON-sökvägsuttrycken återställs nu snabbare från felaktig syntax, vilket resulterar i mindre dataförlust.

När du stöter på en felaktigt formaterad JSON-syntax i ett structfält, ett matrisvärde, en kartnyckel eller ett kartvärde, returnerar NULL JSON-parsern nu endast för det olästa fältet, nyckeln eller elementet. Efterföljande fält, nycklar eller element kommer att tolkas korrekt. Före den här ändringen övergav JSON-parsern parsningen av matrisen, structen eller kartan och returnerade NULL för det återstående innehållet.

Version 14.3

den 15 april 2024

Det här är den första serverlösa beräkningsversionen. Den här versionen motsvarar ungefär Databricks Runtime 14.3 med vissa ändringar som tar bort stöd för vissa icke-serverlösa och äldre funktioner.

Spark-konfigurationsparametrar som stöds

För att automatisera konfigurationen av Spark på serverlös beräkning har Azure Databricks tagit bort stödet för att manuellt ställa in de flesta Spark-konfigurationer. För att se en lista över Spark-konfigurationsparametrar som stöds, se Konfigurera Spark-egenskaper för serverlösa notebooks och jobb.

Jobbkörningar på serverlös beräkning kommer att misslyckas om du ställer in en ej stödjande Spark-konfiguration.

input_file funktioner är inaktuella

Funktionerna input_file_name(), input_file_block_length()och input_file_block_start() har blivit inaktuella. Det rekommenderas inte att använda dessa funktioner.

Använd i stället kolumnen för filmetadata för att hämta information om filmetadata.

Beteendeändringar

Serverlös beräkningsversion 2024.15 innehåller följande beteendeändringar:

  • unhex(hexStr) felkorrigering: När du använder unhex(hexStr) funktionen, är hexStr alltid vadderade vänster till en hel byte. Tidigare ignorerade unhex-funktionen den första halvbytet. Till exempel: unhex('ABC') producerar x'0ABC' nu i stället för x'BC'.
  • Automatiskt genererade kolumnalias är nu stabila: När resultatet av ett uttryck refereras utan ett användardefinerat kolumnalias är det här automatiskt genererade aliaset nu stabilt. Den nya algoritmen kan resultera i en ändring av tidigare automatiskt genererade namn som används i funktioner som materialiserade vyer.
  • Tabellgenomsökningar med CHAR typfält är nu alltid vadderade: Deltatabeller, vissa JDBC-tabeller och externa datakällor lagrar CHAR-data i icke-vadderad form. Vid läsning fyller nu Azure Databricks data med blanksteg till den deklarerade längden för att säkerställa rätt semantik.
  • Omvandlingar från BIGINT/DECIMAL till TIMESTAMP kastar ett undantag för värden som orsakar overflow: Azure Databricks tillåter omvandling från BIGINT och DECIMAL till TIMESTAMP genom att behandla värdet som antalet sekunder från Unix-epoken. Tidigare skulle Azure Databricks returnera spillda värden men genererar nu ett undantag vid spill. Använd try_cast för att returnera NULL i stället för ett undantag.
  • PySpark UDF-körningen har förbättrats för att matcha det exakta beteendet för UDF-körning på dedikerad beräkning: Följande ändringar har gjorts:
    • UDF:er med en strängreturtyp konverterar inte längre implicit icke-strängvärden till strängar. Tidigare skulle UDF:er med returtypen str tillämpa en str(..) omslutning på resultatet oavsett den faktiska datatypen för det returnerade värdet.
    • UDF:er med timestamp returtyper tillämpar inte längre implicit en tidszonskonvertering på tidsstämplar.
  • Last updated on