Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här sidan innehåller enhetlig versionsinformation för Databricks Runtime 18 LTS, som drivs av Apache Spark 4.1.0. Den visar alla funktioner, beteendeändringar och korrigeringar som levereras under Databricks Runtime 18 LTS-versionscykeln.
Note
Utsläpp sker etappvis. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.
Om enhetliga versionsanteckningar
Azure Databricks släpper funktioner stegvis under hela versionscykeln utan att ändra versionsnumret. I stället för att avgränsa sidor för varje delversion visas alla uppdateringar på den här sidan som daterade poster. Kluster får uppdateringar när de startas om.
Databricks Runtime 18 är den första versionen som använder det här enhetliga formatet. Tidigare hade varje funktionsversion (18.0, 18.1, 18.2) sin egen sida med viktig information. Dessa sidor är fortfarande tillgängliga som referens. Funktioner som tidigare skulle ha levererats som 18.3 eller senare levereras nu som daterade uppdateringar till Databricks Runtime 18.
Med start i Databricks Runtime 19 följer Databricks Runtime-versioner en livscykel från Beta (tidig utvärdering) via GA (funktionsutveckling, cirka sex månader) till LTS (långsiktigt stöd, tre års stabilitet och säkerhetsfixar). Eftersom 18.0 till 18.2 levererades under den tidigare modellen är Databricks Runtime 18 en övergångsversion. Den övergick från GA till LTS den 23 juli 2026, när Databricks Runtime 19 blev allmänt tillgänglig. Fullständig livscykelinformation finns i Supportlivscykler för Databricks Runtime.
Databricks Runtime 18: 10 juni 2026
Databricks Runtime 18 är nu allmänt tillgänglig (GA). Information om livscykeln finns i Supportlivscykler för Databricks Runtime.
Nya funktioner och förbättringar
Följande funktioner och förbättringar är tillgängliga i den här versionen.
- Streaming query-ID för Spark Declarative Pipelines på Lakeflow-pipelines: Spark Declarative Pipelines på Lakeflow-pipelines kan nu ställa in streaming-query-ID vid behov.
-
Nya IP-adressfunktioner (Public Preview): Nya SQL-funktioner finns tillgängliga för arbete med IPv4- och IPv6-adresser samt CIDR-block, inklusive
ip_host,ip_cidr,ip_version,ip_prefix_length,ip_cidr_containsip_network_lastip_as_binaryip_networkip_as_string, ochtry_*varianter för null-säkert beteende. Se ip_host och relaterade funktioner. - On-demand ompartitionering av tillstånd (Offentlig förhandsvisning): Structured Streaming stödjer nu att ändra antalet shuffle-partitioner för tillståndsbevarande frågor utan att förlora checkpoint-tillstånd. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.
Apache Spark-korrigeringar och förbättringar
Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:
- Korrigerade felaktig null-hantering i
LEFT OUTER JOIN LATERALuttryck som innehållerEXPLODE. Tidigare genererade vissa indata felaktiga null-värden i resultat. - Photon defersar nu duplicerade
field_idfel i Parquet-schemamatchning tills det berörda fältet nås. Frågor som inte refererar till det duplicerade fältet fungerar nu i stället för att misslyckas vid schemaupplösning.
Databricks Runtime 18: 8 juni 2026
Apache Spark-korrigeringar och förbättringar
Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:
-
NEAREST BYär nu en SQL-kopplingstyp som stöds för top-K närmsta grannfrågor. -
DESCRIBE TABLE ... PARTITIONstöds nu för v2-katalogtabeller. Tidigare var den här syntaxen endast tillgänglig för v1-tabeller. -
UPDATEfrågor mot DSv2-tabeller inkluderar nu operationsmått i frågeutdata. - DSv2-partitionspredikat stöder nu kapslade partitionskolumner.
- Ett fel har åtgärdats där aggregeringsfrågor som använder
PartialMerge- ellerFinal-aggregeringskörning kunde misslyckas på grund av saknade obligatoriska indataattribut. - Stora externa sorteringar använder nu begränsad k-vägssammanslagning för att minska fel på grund av minnesbrist när data skrivs till disk.
Databricks Runtime 18: 4 juni 2026
Beteendeändringar
Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.
-
NATURAL JOINPanel-Insensitive Column Matching:NATURAL JOINRespekterar nu konfigurationenspark.sql.caseSensitive(standard:false) när gemensamma kolumner matchas mellan vänster- och högersidan av joinen. Tidigare var kolumnmatchning alltid skiftlägeskänslig, vilket gjorde att kolumner som endast skiljer sig åt i fråga om skiftläge (till exempelIDjämfört medid) inte identifierades som gemensamma kolumner. Detta resulterade i en tyst korskoppling i stället för den förväntade equi-joinen. MotsvarandeUSINGkoppling har redan hanterat detta korrekt. Om du vill återställa det tidigare beteendet anger duspark.sql.legacy.naturalJoinCaseSensitiveColumnMatchingtilltrue.
Databricks Runtime 18: 29 maj 2026
-
Deduplicering av strukturerad strömning med
NaNnycklar: Deduplicering av strukturerad strömning behandlarNaNnu (Inte-ett-nummer) värden som har olika bitmönster som dubbletter när endoubleellerfloatkolumn används som dedupliceringsnyckel.NaNTidigare behandlades värden med olika interna representationer som distinkta och deduplicerades inte. - Åtgärdade ett problem där behörigheter på tabellnivå kunde tas bort från externa katalogtabeller i Unity Catalog (till exempel Snowflake-anslutningstabeller) under metadatauppdateringen, vilket gjorde att frågor misslyckades med
INSUFFICIENT_PERMISSIONSfel. Behörigheter bevaras nu när metadata för externa tabeller uppdateras.
Databricks Runtime 18: 18 maj 2026
Beteendeändringar
Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.
-
CREATE OR REPLACE TABLE:CREATE OR REPLACE TABLEbevarar nu befintliga kolumn- och tabellkommentarer som standard. Tidigare togs kommentarer bort när en tabell återskapades. Hanterade tabeller och vyer matchar nu det befintliga beteendet för materialiserade vyer och strömmande tabeller. -
DataFrame by-name-skrivningar:
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions(), ochwrite.mode("append").saveAsTable()typkonverterar nu automatiskt typkompatibla kolumner (till exempelinttilllong) för att matcha målschemat för Delta-tabellen. Tidigare misslyckades dessa åtgärder med ettDELTA_FAILED_TO_MERGE_FIELDSfel när kolumntyperna var kompatibla men inte identiska. Beteendet matchar nu SQLINSERT INTO ... BY NAME.save()ochsaveAsTable()i överskrivningsläge påverkas inte. -
ALTER TABLE SET TBLPROPERTIESförpipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')försöker nu göra den angivna tabellen möjlig att skriva till för pipelinen. Tidigare hade inställningen av den här egenskapen på en vanlig tabell ingen effekt. Om tabellen inte kvalificerar sig för skrivningar via pipeline genererar kommandotSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED. -
cloud_files_state: Dencloud_files_statetabellvärda funktionen (TVF) inkluderar nu endiscovery_modekolumn som visar hur Auto Loader upptäckte varje fil. Filer som identifieras innan uppgraderingen har ettnullvärde i den här kolumnen. -
DESCRIBE EXTENDED AS JSON: Inkluderar nu prediktiva optimeringsutvärderingsresultat i sitt resultat. Tidigare returnerades inte den här informationen i JSON-utdata. -
Mått i Metric view window: Returnerar nu korrekta resultat när förfrågningar använder
GROUP BY,IN/BETWEENfilter eller blandade predikat på fönstrets ordningskolumn. Tidigare kunde dessa filtermönster ge felaktiga resultat.
Nya funktioner och förbättringar
Följande funktioner och förbättringar är tillgängliga i den här versionen.
- Klusterbibliotek: När du installerar PyPI-bibliotek, hjul eller requirements.txt-filer på ett kluster visar fliken Bibliotek och Bibliotekens REST-API nu alla lösta och installerade paket, inklusive transitiva beroenden. För installationer som löser fler än 500 paket trunkeras listan. Den fullständiga installationsrapporten är tillgänglig i klustrets drivrutinsloggar.
-
array_sortmed anpassade komparatorer: Photon accelererararray_sortnu uttryck som använder anpassade komparatorer för att sortera strukturarrayer efter ett eller flera fält. Tidigare föll dessa uttryck tillbaka till icke-Photon-körning. Om du vill aktivera den här optimeringen anger duspark.databricks.photon.rewriteArraySortComparator.enabledtilltrue.
Apache Spark-korrigeringar och förbättringar
Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:
- SQL-frågor stöder nu en
QUALIFYsats som gör att du kan filtrera på fönsterfunktionens resultat direkt i frågan. Tidigare krävdes att frågan skulle omslutas i en underfråga. -
spark.read.json,spark.read.csv, ochspark.read.xmlaccepterar nu en DataFrame som indata, så att du kan analysera data i minnet utan att först spara den i en fil. -
DataFrame.changes()är nu tillgänglig för läsning av change data capture (CDC)-utdata via DataFrame-API:et. - När en DataFrame-kolumn refereras från fel DataFrame namnger felet nu den specifika kolumnen. Du kan också ställa in
spark.sql.columnResolution.strictså att Spark framtvingar striktare kolumnmatchning och fångar upp dessa misstag tidigare. -
MERGE INTOSchemautveckling fungerar nu korrekt när satsen inkluderarWHEN MATCHED THEN DELETEeller refererar till inbäddade kolumner via alias. Tidigare kunde dessa kombinationer misslyckas eller ge felaktiga resultat. -
SHOW COLLATIONSlistar alla stödda sorteringsregler och deras egenskaper, vilket är användbart när du väljer en sorteringsregel för textsortering eller jämförelse. - Sparks frågeoptimerare uppskattar nu korrekt hur mycket datafilter som kommer att minska. Felaktiga uppskattningar tidigare gjorde att Spark drog in stora tabeller helt i minnet under kopplingar, vilket ledde till minnesfel.
- Frågor med flera
COUNT(DISTINCT)uttryck körs snabbare eftersom Spark nu minskar data tidigare i körningsplanen i stället för att expandera dem först. - Python UDF:er som använder piloptimeringen utför inte längre en onödig dataformatkonvertering, vilket minskar kostnaderna.
- Stream-stream icke-yttre kopplingar kan nu generera utdata i uppdateringsläge, inte bara tilläggsläge, vilket gör att de kan skriva till fler utdatamål.
- JDBC-anslutningar stängs nu korrekt när en aktivitet avbryts. Tidigare kunde en avbrytning lämna en anslutning öppen, vilket kunde göra att senare processer fastnade.
-
array_insertger inte längre felaktiga resultat när det ges ett mycket stort negativt tal som insättningsposition.
Databricks Runtime 18: 4 maj 2026
Beteendeändringar
Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.
-
XPath: När XPath utvärderas över XML laddar Azure Databricks inte längre externa dokumenttypdefinitioner (DTD:er). Frågor som tidigare bara misslyckades på grund av en extern DTD-referens som inte kan nås kan nu lyckas. -
NULL-struct-beteende med schemautveckling: För
INSERT,MERGE, och strömmande skrivningar som använder schemautveckling lagras en NULL-struktur i källan nu som NULL i målet. Tidigare materialiserades NULL-structar felaktigt som icke-NULL-structar där varje fält var satt till NULL. Uppdatera all kod som förlitade sig på att få en icke-null-struktur med enbart NULL-fält – dessa fall returnerar nu en NULL-struktur. -
NATURAL JOIN: Använder nu korrekt skiftlägesokänslig kolumnmatchning närspark.sql.caseSensitiveärfalse(standard). Tidigare identifierades inte kolumner som endast skilde sig i fråga om versaler och gemener (till exempelIDjämfört medid) som matchande, vilket gjorde attNATURAL JOINtyst gav resultat från en cross join. Den här korrigeringen anpassarNATURAL JOIN-beteende tillUSINGjoins. - AWS SDK v1-beroenden: Nu skuggade och inte längre direkt tillgängliga på classpath. Om koden är beroende av AWS SDK v1-bibliotek som tidigare tillhandahölls av Databricks Runtime lägger du till dem som explicita beroenden i projektet.
- SQL UDF-beroendevalidering i Unity Catalog: Unity Catalog upprätthåller nu beroendevalidering för användardefinierade SQL-funktioner för att förhindra kringgåelse av åtkomstkontroll. SQL-UDF:er med ogiltiga beroendekonfigurationer blockeras från körning.
-
LEFT OUTER JOIN LATERAL: En bugg som felaktigt tog bort rader har åtgärdats. Frågor som använder den här konstruktionen returnerar nu rätt resultat. Om du tillfälligt vill återgå till det tidigare beteendet anger duspark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictilltrue. -
regr_r2: Nu behandlar den första parametern korrekt som den beroende variabeln. Frågor som förlitade sig på det tidigare felaktiga beteendet returnerar olika resultat. -
Hyperboliska funktioner:
sinh,cosh,tanh, och relaterade hyperboliska funktioner returnerarInfinitynu istället för att ge ett överflödesfel när mycket stora indata ges. -
asinhochacosh: Använd nu fdlibm-algoritmen för cross-engine-konsistens. Resultaten kan skilja sig något från tidigare versioner för kantfallsindata. -
LIKEmönstermatchning: Hanterar nu kompletterande Unicode-tecken korrekt (kodpunkter ovanför U+FFFF). Mönster som tidigare matchade eller misslyckades felaktigt för dessa tecken returnerar nu rätt resultat. -
VOID(NullType) kolumner: Delta-tabeller stöderVOIDnu (NullType) kolumner.VOIDKolumner tas inte längre bort från tabellschemat vid läsning. Skrivningar påverkas inte.
Nya funktioner och förbättringar
Följande funktioner och förbättringar är tillgängliga i den här versionen.
-
CREATE OR REPLACE TEMP TABLE: Nu stöds, vilket låter dig skapa eller ersätta temporära tabeller i en enda sats. -
agg(): Nu tillgängligt som alias förmeasure()funktionen. Befintliga frågor som användermeasure()fortsätter att fungera utan ändringar. -
pyspark.pipelines.testing: Nu tillgängligt som ett bekvämlighetspseudonym fördlt.testingAPI:er. - Auto Loader-listningsprestanda: Auto Loader använder nu en effektivare listningsmetod som förbättrar listningshastigheten för molnlagringskällor. Om dina strömutlösare överlappar på grund av långvariga listningsoperationer kan den här optimeringen leda till ökade kostnader för molnlistnings-API.
-
DESCRIBE HISTORYskriv optionsflaggor: Delta-tabellens historik (DESCRIBE HISTORY) inkluderar nu skriv-alternativflaggor ioperationParametersförWRITEochREPLACE TABLEoperationer. Flaggor visas bara närtrue:isDynamicPartitionOverwrite,canOverwriteSchema,canMergeSchema,predicateochisV1WriterSaveAsTableOverwrite. -
SparkSession.emptyDataFrame: Finns nu tillgängligt som ett bekvämlighets-API för att skapa en tomDataFrame-tabell utan kolumner och utan rader. -
TIMESTAMP WITH LOCAL TIME ZONE: Nu stöds som ett SQL-syntaxalias för typenTIMESTAMP_LTZ. -
to_jsonsortKeysalternativ: Funktionento_jsonaccepterar nu ettsortKeysalternativ för att producera JSON-utdata med nycklar i sorterad ordning. -
spark.catalog.*: API-metoder har nu funktionsparitet med sina motsvarande DDL-kommandon för katalog-, schema- och tabelloperationer. - [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 20 april 2026
- Har korrigerat auktoriteten för CRS-rumsreferensen för
GEOMETRY(102100)-typen. Auktoriteten rapporteras nu somESRI:102100i stället förEPSG:102100. - [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 2 april 2026
- Förbättrad felhantering för frågor som skriver data till Delta-tabeller som innehåller en
VOID(NullType) kolumn i en användardefinierad typ (UDT). - JDBC-anslutningar för strömningsmottagare tillämpar nu en sockettimeout på 30 sekunder, återförsökslogik med exponentiell backoff för tillfälliga fel (anslutningsfel, dödlägen, hastighetsbegränsning) samt kontrollerad återställning vid brutna anslutningar.
- Åtgärdade korruption av SQL-text som uppstod vid användning av Unicode-tecken i parametriserade frågor.
-
SHOW CREATE TABLEger nu korrekt utdata för tabeller och vyer med en icke-standardsortering. - [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 11 mars 2026
Beteendeändringar
Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.
-
Fel i observationsmått: Orsakar inte längre fel vid körning av frågor. Tidigare kunde fel i
OBSERVEsatser (till exempel division med noll) blockera eller misslyckas med hela frågan. Nu slutförs frågan framgångsrikt och ett fel utlöses när du anroparobservation.get. -
FILTERsats förMEASURE: MEASURE-aggregatfunktioner stöder nu FILTER-klausuler. Tidigare ignorerades filter tyst. -
DESCRIBE FLOW: KommandotDESCRIBE FLOWär nu tillgängligt. Om du har en tabell med namnetflowanvänder duDESCRIBE schema.flow,DESCRIBE TABLE flowellerDESCRIBE `flow`med backticks. -
SpatialSQL booleska mängdoperationer:
ST_Difference,ST_IntersectionochST_Unionanvänder en ny implementering med följande förbättringar:- Giltiga indatageometrier ger alltid ett resultat och skapar inte längre fel.
- Ungefär 2x snabbare prestanda.
- Resultaten normaliseras för konsekventa, jämförbara utdata.
- Undantagstyper för SQLSTATE:Undantagstyper uppdateras för att stödja SQLSTATE. Om koden parsar undantag efter strängmatchning eller fångar specifika undantagstyper uppdaterar du logiken för felhantering.
-
Automatisk breddning av streamingtyper: Streamingläsningar på Delta-tabeller hanterar automatiskt typbreddning av kolumner. Om du vill kräva manuell bekräftelse anger du
spark.databricks.delta.typeWidening.enableStreamingSchemaTrackingtilltrue.
Nya funktioner och förbättringar
Följande funktioner och förbättringar är tillgängliga i den här versionen.
Auto Loader-filhändelser som standard: Auto Loader använder filhändelser som standard när den laddas från en extern plats med filhändelser aktiverade, vilket minskar listoperationer och kostnader jämfört med kataloglistning. Se Översikt över automatisk inläsning med filhändelser. Om du vill använda kataloglistan i stället anger du
useManagedFileEventstillfalse.Schemautveckling med
INSERT: Använd klausulenWITH SCHEMA EVOLUTIONmed SQL-satser INSERT för att automatiskt utveckla måltabellens schema under infogningsoperationer. Stöds förINSERT INTO,INSERT OVERWRITEochINSERT INTO ... REPLACE. Ett exempel:INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;Transaktioner med flera instruktioner i Delta Sharing: Delta Sharing-tabeller som använder försignade URL:er eller delningslägen med molntoken stöder transaktioner med flera instruktioner. Vid första åtkomsten i en transaktion fästs och återanvänds tabellversionen för alla efterföljande läsningar i transaktionen.
parse_timestamp: SQL-funktionen parse_timestamp tolkar tidsstämpelsträngar med flera mönster, med stöd för Photon-motorn för förbättrad prestanda.max_byochmin_bymed valfrittlimit: De aggregerata funktionerna max_by och min_by accepterar nu ett valfritt tredje argumentlimit(upp till 100 000). När de tillhandahålls returnerar funktionerna en matris med upp tilllimitvärden, vilket förenklar top-K- och bottom-K-frågor utan fönsterfunktioner eller CTE:er.DATETIMEOFFSETför Azure Synapse :DATETIMEOFFSETDatatypen stöds för Microsoft Azure Synapse-anslutningar.Google BigQuery-tabellkommentarer: Google BigQuery-tabellbeskrivningar tolkas korrekt och exponeras som tabellkommentarer.
IGNORE NULLS/RESPECT NULLSförarray_aggochcollect_list: Aggregeringsfunktionernaarray_aggochcollect_liststöder nu klausulernaIGNORE NULLSochRESPECT NULLS.PIVOTalias: KlausulenPIVOTstöder nu alias, vilket gör att du kan byta namn på pivotkolumnuttryck i utdatan.SQL-skriptvariabler
CURSOR: SQL-skriptning stöderCURSORnu variabler för att iterera över ett frågeresultat, rad för rad inom ett skriptblock.Vektormatematiska aggregeringsfunktioner: Nya vektormatematiska aggregeringsfunktioner finns tillgängliga: vector_avg, vector_sum, vector_norm och vector_normalize. Dessa funktioner fungerar på kompakta vektorkolumner och stöder ML-arbetsbelastningar.
Trigger.AvailableNowi streamingläsare för Python: Streamingläsare för Python-datakällor stöder nuTrigger.AvailableNowoch Admission Control, vilket möjliggör engångsbatchbehandling av all tillgänglig data.State repartition API i PySpark: State repartition API för
TransformWithStatestreamingoperatörer finns nu tillgängligt i PySpark, utöver Scala. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.applyInPandasprestandafix: En 3x prestandaregression iapplyInPandasför stora grupper har lösts.
Databricks Runtime 18: 10 mars 2026
- Felmeddelanden för skalära underfrågor som används med
EXEC IMMEDIATEidentifierar nu den specifika orsaken tydligare. - Ett kapplöpningstillstånd har åtgärdats i loggkomprimering av kontrollpunkter för strömning som kunde orsaka icke-deterministiskt beteende i Structured Streaming-frågor.
- [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 26 februari 2026
-
SET METADATA ON COLUMNochUNSET METADATA ON COLUMNSQL-kommandon finns nu tillgängliga för att hantera semantisk metadata på Unity Catalog-tabellkolumner. AnvändSET METADATA ON COLUMNför att koppla egenskaper (display_name,formatochsynonyms) till kolumner. AnvändUNSET METADATA ON COLUMNför att ta bort tidigare angivna metadataegenskaper. -
DESCRIBE TABLEinkluderar nu enmetadatakolumn som visar semantisk metadata på kolumnnivå som en JSON-sträng. - Ett PySpark-importfel har åtgärdats i Windows miljöer som orsakats av en saknad
UnixStreamServer. - [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 19 februari 2026
- När du härleder schemat för Excel filer härleds nu strängceller som Spark
StringType, med respekt för celltypen som anges i Excel. Tidigare var strängar med numeriska värden automatiskt gjutna till smalare typer somLongellerDecimal. Uppdatera kod som förlitade sig på det tidigare beteendet. -
DataFrame.toJSON()är nu tillgänglig i Python Spark Connect-klienten. - [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 27 januari 2026
- Automatisk inläsning rapporterar nu
batchSizeNumFiles,batchSizeNumBytesoch filbearbetningstillstånd (numFilesProcessed,numFilesSkippedCorrupted,numFilesSkippedMissing,numFilesUnknownState) som mätvärden. -
INSERT INTO ... BY NAMEstöder nu klausulenREPLACE WHERE. - Konfigurationsegenskapen
spark.sql.xml.legacyXMLParser.enabledhar bytt namn tillspark.sql.legacy.useLegacyXMLParser. Uppdatera alla kluster- eller sessionskonfigurationer som använder det gamla namnet. - När
spark.task.resource.gpu.amountär större än 1 startar Torch Distributor nu entorchrunprocess per GPU i stället för per aktivitet. - [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.
Databricks Runtime 18: 15 januari 2026
Databricks Runtime 18 är nu under funktionsutveckling, som drivs av Apache Spark 4.1.0. Den här versionen innehåller alla funktioner, förbättringar och felkorrigeringar från alla tidigare Databricks Runtime-versioner.
Beteendeändringar
Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.
JDK 21: Databricks Runtime 18 använder JDK 21 som standardutvecklingspaket för Java. JDK 21 är allmänt tillgängligt och är en långsiktig supportversion (LTS). Tidigare var standardvärdet JDK 17. Anmärkningsvärda ändringar:
-
Double.toString()ochFloat.toString()producerar nu kortaste unika strängrepresentationer, vilka kan skilja sig från JDK 17-utdata i vissa randfall. -
Thread.stop(),Thread.suspend()ochThread.resume()kastarUnsupportedOperationException. - Uppdaterade språkdata (CLDR v42) kan påverka datum, tid och talformatering.
Om du stöter på kompatibilitetsproblem återgår du till JDK 17. Information om hur du konfigurerar JDK-versioner finns i Skapa ett kluster med en specifik JDK-version.
-
FSCK REPAIR TABLE: Inkluderar nu ett första steg för metadatareparation innan kontroll av saknade datafiler. Kommandot fungerar på tabeller med skadade kontrollpunkter eller ogiltiga partitionsvärden.Nullbarhet i Spark Connect Scala: Nullbarheten för array- och karttyper bevaras nu för typade literaler i Spark Connect Scala-klienten. Tidigare var element i matriser och värden för kartor alltid nullbara.
FSCK REPAIR TABLE DRY RUN: KolumnendataFilePathi utdataschematFSCK REPAIR TABLE DRY RUNär nu nullbar för att stödja rapportering av nya problemtyper där datafilens sökväg inte är tillämplig.SHOW TABLES DROPPED: Respekterar nu korrekt klausulenLIMIT.Python UDF-exekvering: Unity Catalog Python UDF:er använder nu Apache Arrow som standardutbytesformat, vilket förbättrar den övergripande prestandan. Som en del av den här ändringen
TIMESTAMPinnehåller värden som skickas till Python-UDF:er inte längre tidszonsinformation idatetimeobjektetstzinfoattribut. Själva tidsstämpelvärdena finns kvar i UTC, men tidszonsmetadata tas nu bort. Om din UDF förlitar sig på tidszonsinformationen återställer du den meddate = date.replace(tzinfo=timezone.utc). Mer information finns i Tidsstämpelns tidszonsbeteende för indata rad för rad.Tidsresor och
VACUUMkvarhållning: Azure Databricks blockerar nu tidsresefrågor bortomdeletedFileRetentionDurationtröskelvärdet för alla tabeller. KommandotVACUUMignorerar argumentet kvarhållningstid förutom när värdet är 0 timmar. Du kan inte angedeletedFileRetentionDurationstörre änlogRetentionDurationeller vice versa.BinaryTypei PySpark: I PySpark mappasBinaryTypenu konsekvent till Pythonbytes. Tidigare mappades PySparkBinaryTypetill antingenbytesellerbytearrayberoende på kontexten. Om du vill återställa det gamla beteendet anger duspark.sql.execution.pyspark.binaryAsBytestillfalse.NULL-strukturer i Delta MERGE och UPDATE: Nu bevarade som NULL i Delta MERGE, UPDATE, samt strömmande skrivoperationer som inkluderar struct-typ-casts. Tidigare expanderades NULL structs till structar med NULL-fält.
Materialisering av partitionskolumner: Partitionerade Delta-tabeller materialiserar nu partitionskolumner i nyskrivna Parquet-datafiler. Tidigare lagrades partitionsvärden i Delta-transaktionsloggens metadata och återspeglades i katalogsökvägar, men skrevs inte som kolumner i själva Parquet-filerna. Den här ändringen överensstämmer med Apache Icebergs och UniForms beteende och kan påverka arbetsbelastningar som läser Parquet-filer som skrivits av Delta Lake direkt.
Tidsstämpelspartitionstidszon: Tidsstämpelspartitionsvärden konverterades tidigare till UTC med hjälp av JVM-tidszonen istället för konfigurationen
spark.sql.session.timeZone. Tidsstämpelpartitionsvärden justeras nu korrekt med hjälp av tidszonsinställningen för Spark-sessionen.DESCRIBE TABLEmetadatakolumn: Utdata frånDESCRIBE TABLE [EXTENDED]nu inkluderar en nymetadatakolumn för alla tabelltyper. Den här kolumnen innehåller semantiska metadata (visningsnamn, format och synonymer) som definierats i tabellen som en JSON-sträng.
Nya funktioner och förbättringar
Följande funktioner och förbättringar är tillgängliga i den här versionen.
- SQL-skriptning: SQL-skriptfunktionen är nu allmänt tillgänglig.
-
Delad isolering för Unity Catalog Python UDF:er: Unity Catalog Python UDF:er med samma ägare kan nu som standard dela en isoleringsmiljö. Detta förbättrar prestanda och minskar minnesanvändningen genom att minska antalet separata miljöer som startas. Lägg till
STRICT ISOLATIONegenskapssatsen för att säkerställa att en UDF alltid körs i en helt isolerad miljö. Se Miljöisolering. - SQL-fönsterfunktioner i metrikvyer: Du kan nu använda SQL-fönsterfunktioner i metrikvyer för att beräkna löpande totaler, rankningar och andra fönsterbaserade beräkningar.
- Dynamiska shuffle-partitioner i stateless streaming: Du kan nu ändra antalet shuffle-partitioner i stateless streaming-frågor utan att starta om frågan.
- AQE och AOS i stateless streaming: Adaptive Query Execution (AQE) och auto-optimized shuffle (AOS) stöds nu i stateless streaming-frågor.
-
Parametermarkörer: Du kan nu använda namngivna (
:param) och namnlösa (?) parametermarkörer praktiskt taget var som helst där ett literalt värde av lämplig typ kan användas. Detta inkluderar DDL-instruktioner somCREATE VIEW v AS SELECT ? AS c1, kolumntyperDECIMAL(:p, :s)ellerCOMMENT ON t IS :comment. Mer information finns i Parametermarkörer . -
IDENTIFIERklausul: Räckvidden förIDENTIFIER-klausulen, som kastar strängar till SQL-objektnamn, har utökats till nästan överallt där en identifierare är tillåten. Mer information finns i IDENTIFIER-satsen. -
BITMAP_AND_AGG: Det befintliga biblioteket avBITMAPfunktioner inkluderar nu en ny BITMAP_AND_AGG-funktion. - Theta sketch-funktioner: Du kan nu använda ett nytt bibliotek av funktioner för ungefärliga distinkta antal- och uppsättningsoperationer med Datasketches Theta Sketch. Se theta_sketch_agg och relaterade funktioner.
- KLL-funktioner: Du kan nu använda ett nytt bibliotek av funktioner för ungefärlig kvantilberäkning med hjälp av KLL Sketches. Se kll_sketch_agg_bigint och relaterade funktioner.
- Nya geospatiala funktioner: st_azimuth, st_boundary, st_closestpoint och st_geogfromewkt finns nu tillgängliga.
-
GeometryTypeochGeographyType: Apache Spark stöder nu nativeGeometryType- ochGeographyTypedatatyper i PySpark- och Java-API:erna. De här typerna stöder arrow-serialisering och Parquet-läsning och -skrivning och skiljer sig från SQL-geospatiala funktioner. -
approx_top_k: Den nya approx_top_k aggregatfunktionen returnerar de ungefärliga topp-K-värdena som är mest frekventa i en kolumn med hjälp av en platseffektiv skissalgoritm. - Spark Connect JDBC-drivrutin: Apache Spark inkluderar nu en JDBC-drivrutin för Spark Connect, vilket gör det möjligt för JDBC-baserade klienter och verktyg att ansluta till Spark via Spark Connect-protokollet.
-
Iterator[pandas.DataFrame]IapplyInPandas:DataFrame.applyInPandasaccepterar nu en funktion med enIterator[pandas.DataFrame]signatur, vilket minskar overhead vid behandling av stora grupper genom att strömma data i batchar. - Kontrollbegränsningar: Stöder nu jämförelser av nullvärden i begränsningsuttrycket.
-
State repartition API för
TransformWithState: Ett nytt state repartition API finns tillgängligt förTransformWithStatestreamingoperatörer i Scala, vilket låter dig ändra nyckelpartitioneringen av stateful data vid omstarter av förfrågningar. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor. -
Python 3.14 i
pyspark-connect:pyspark-clientochpyspark-connectstöder nu Python 3.14.
Kända problemområden
Apache Avro snabbläsare kan tömma exekutörminne i långvariga jobb: I Databricks Runtime 18 LTS aktiverar Apache Avro 1.12.1 Avro snabbläsaren (
org.apache.avro.fastread) som standard. Dess läsarcache per schema rensas inte, så en JVM-process som kör länge och läser många Avro-filer med olika skrivarscheman ackumulerar läsarobjekt i exekverarens heap-minne. Detta påverkar långvariga jobb som Structured Streaming eller Auto Loader-jobb som använder en stormaxFilesPerTrigger. Under loppet av flera timmar stiger heapens lägstanivå efter GC tills processer misslyckas medjava.lang.OutOfMemoryError: GC overhead limit exceeded. Databricks Runtime 17.3 och tidigare påverkas inte eftersom den snabba läsaren var avstängd som standard. Detta spåras uppströms i AVRO-4253.För att kringgå detta, stäng av Avro-snabbläsaren genom att lägga till
-Dorg.apache.avro.fastread=falsei JVM-alternativen för både drivrutinen och exekutorerna i ditt klusters Spark-konfiguration.spark.driver.extraJavaOptionsochspark.executor.extraJavaOptionsinnehåller vardera en enda mellanslagsseparerad sträng, så lägg till denna flagga till eventuella alternativ du redan har ställt in istället för att ersätta dem. Till exempel, när inga andra alternativ är satta:spark.driver.extraJavaOptions -Dorg.apache.avro.fastread=false spark.executor.extraJavaOptions -Dorg.apache.avro.fastread=falseStarta om klustret för att ändringen ska träda i kraft.
Biblioteksuppgraderingar
Uppgraderade Python-bibliotek:
- anyio från 4.6.2 till 4.7.0
- asttokens från 2.0.5 till 3.0.0
- azure-core från 1.34.0 till 1.37.0
- azure-mgmt-core från 1.5.0 till 1.6.0
- azure-storage-blob från 12.23.0 till 12.28.0
- azure-storage-file-datalake från 12.17.0 till 12.22.0
- boto3 från 1.36.2 till 1.40.45
- botocore från 1.36.3 till 1.40.45
- certifi från 2025.1.31 till 2025.4.26
- klicka från 8.1.7 till 8.1.8
- kryptografi från 43.0.3 till 44.0.1
- Cython från 3.0.12 till 3.1.5
- databricks-sdk från 0.49.0 till 0.67.0
- Inaktuell från 1.2.13 till 1.2.18
- körs från 0.8.3 till 1.2.0
- fastapi från 0,115,12 till 0,128,0
- filelock från 3.18.0 till 3.17.0
- google-api-core från 2.20.0 till 2.28.1
- google-auth från 2.40.0 till 2.47.0
- google-cloud-core från 2.4.3 till 2.5.0
- google-cloud-storage från 3.1.0 till 3.7.0
- google-crc32c från 1.7.1 till 1.8.0
- google-resumable-media från 2.7.2 till 2.8.0
- h11 från 0.14.0 till 0.16.0
- httpcore från 1.0.2 till 1.0.9
- httpx från 0.27.0 till 0.28.1
- isodate från 0.6.1 till 0.7.2
- Jinja2 från 3.1.5 till 3.1.6
- jupyter-events från 0.10.0 till 0.12.0
- jupyter-lsp från 2.2.0 till 2.2.5
- jupyter_server från 2.14.1 till 2.15.0
- jupyter_server_terminals från 0.4.4 till 0.5.3
- mistune från 2.0.4 till 3.1.2
- mlflow-skinny från 3.0.1 till 3.8.1
- mmh3 från 5.1.0 till 5.2.0
- msal från 1.32.3 till 1.34.0
- nbclient från 0.8.0 till 0.10.2
- nbconvert från 7.16.4 till 7.16.6
- nodeenv från 1.9.1 till 1.10.0
- notebook_shim från 0.2.3 till 0.2.4
- opentelemetry-api från 1.32.1 till 1.39.1
- opentelemetry-sdk från 1.32.1 till 1.39.1
- opentelemetry-semantic-conventions från 0.53b1 till 0.60b1
- platformdirs från 3.10.0 till 4.3.7
- prometheus_client från 0.21.0 till 0.21.1
- proto-plus från 1.26.1 till 1.27.0
- psycopg2 från 2.9.3 till 2.9.11
- pyarrow från 19.0.1 till 21.0.0
- Pygments från 2.15.1 till 2.19.1
- pyiceberg från 0.9.0 till 0.10.0
- python-lsp-server från 1.12.0 till 1.12.2
- rep från 1.12.0 till 1.13.0
- s3transfer från 0.11.3 till 0.14.0
- scipy från 1.15.1 till 1.15.3
- setuptools från 74.0.0 till 78.1.1
- sex från 1.16.0 till 1.17.0
- sqlparse från 0.5.3 till 0.5.5
- stack-data från 0.2.0 till 0.6.3
- starlette från 0.46.2 till 0.50.0
- tornado från 6.4.2 till 6.5.1
- types-python-dateutil från 2.9.0.20241206 till 2.9.0.20251115
- uvicorn från 0.34.2 till 0.40.0
- webcolors från 24.11.1 till 25.10.0
Uppgraderade R-bibliotek:
- pil från 19.0.1 till 22.0.0
- bas från 4.4.2 till 4.5.1
- bigD från 0.3.0 till 0.3.1
- broom från 1.0.7 till 1.0.10
- klockan från 0.7.2 till 0.7.3
- commonmark från 1.9.5 till 2.0.0
- kompilator från 4.4.2 till 4.5.1
- autentiseringsuppgifter från 2.0.2 till 2.0.3
- curl från 6.4.0 till 7.0.0
- data.table från 1.17.0 till 1.17.8
- datauppsättningar från 4.4.2 till 4.5.1
- dbplyr från 2.5.0 till 2.5.1
- devtools från 2.4.5 till 2.4.6
- diffobj från 0.3.5 till 0.3.6
- sammanfatta från 0.6.37 till 0.6.39
- nedbelyst från 0.4.4 till 0.4.5
- dtplyr från 1.3.1 till 1.3.2
- utvärdera version från 1.0.3 till 1.0.5
- fansi från 1.0.6 till 1.0.7
- forcats från 1.0.0 till 1.0.1
- fs från 1.6.5 till 1.6.6
- från 1.34.0 till 1.68.0
- future.apply från 1.11.3 till 1.20.0
- gargle från 1.5.2 till 1.6.0
- gert från 2.1.4 till 2.2.0
- ggplot2 från 3.5.1 till 4.0.1
- gh från 1.4.1 till 1.5.0
- git2r från 0.35.0 till 0.36.2
- glmnet från 4.1-8 till 4.1-10
- googledrive från 2.1.1 till 2.1.2
- googlesheets4 från 1.1.1 till 1.1.2
- grafik från 4.4.2 till 4.5.1
- grEnheter från 4.4.2 till 4.5.1
- rutnät från 4.4.2 till 4.5.1
- gt från 0.11.1 till 1.1.0
- hardhat från 1.4.1 till 1.4.2
- haven från 2.5.4 till 2.5.5
- hms från 1.1.3 till 1.1.4
- httpuv från 1.6.15 till 1.6.16
- httr2 från 1.1.1 till 1.2.1
- jsonlite från 1.9.1 till 2.0.0
- senare från 1.4.1 till 1.4.4
- lava från 1.8.1 till 1.8.2
- listenv från 0.9.1 till 0.10.0
- magrittr från 2.0.3 till 2.0.4
- markdown från 1.13 till 2.0
- metoder från 4.4.2 till 4.5.1
- miniUI från 0.1.1.1 till 0.1.2
- mlflow från 2.20.4 till 3.6.0
- openssl från 2.3.3 till 2.3.4
- parallell från 4.4.2 till 4.5.1
- parallellt från 1.42.0 till 1.45.1
- pelare från 1.11.0 till 1.11.1
- pkgbuild från 1.4.6 till 1.4.8
- pkgdown från 2.1.1 till 2.2.0
- pkgload från 1.4.0 till 1.4.1
- pROC från 1,18,5 till 1,19,0,1
- prodlim från 2024.06.25 till 2025.04.28
- progressr från 0.15.1 till 0.18.0
- löften från 1.3.2 till 1.5.0
- ps från 1.9.0 till 1.9.1
- purrr från 1.0.4 till 1.2.0
- ragg från 1.3.3 till 1.5.0
- Rcpp från 1.0.14 till 1.1.0
- readr från 2.1.5 till 2.1.6
- recept från 1.2.0 till 1.3.1
- omforma2 från 1.4.4 till 1.4.5
- rmarkdown från 2.29 till 2.30
- roxygen2 från 7.3.2 till 7.3.3
- rprojroot från 2.0.4 till 2.1.1
- RSQLite från 2.3.9 till 2.4.4
- rversioner från 2.1.2 till 3.0.0
- rvest från 1.0.4 till 1.0.5
- sass från 0.4.9 till 0.4.10
- skalar från 1.3.0 till 1.4.0
- glänsande från 1.10.0 till 1.11.1
- sparklyr uppdateras från 1.9.1 till 1.9.3
- SparkR från 4.0.0 till 4.1.0
- sparsevctrs från 0.3.1 till 0.3.4
- splines från 4.4.2 till 4.5.1
- statistik från 4.4.2 till 4.5.1
- stats4 från 4.4.2 till 4.5.1
- stringr från 1.5.1 till 1.6.0
- systemfonts från 1.2.1 till 1.3.1
- tcltk från 4.4.2 till 4.5.1
- testthat från 3.2.3 till 3.3.0
- textshaping från 1.0.0 till 1.0.4
- timeDate från 4041.110 till 4051.111
- tinytex från 0,56 till 0,58
- verktyg från 4.4.2 till 4.5.1
- usethis från 3.1.0 till 3.2.1
- "utils från 4.4.2 till 4.5.1"
- V8 från 6.0.2 till 8.0.1
- vroom från 1.6.5 till 1.6.6
- waldo från 0.6.1 till 0.6.2
- xfun från 0,51 till 0,54
- xml2 från 1.3.8 till 1.5.0
- zeallot från 0.1.0 till 0.2.0
- zip från 2.3.2 till 2.3.3
Uppgraderade Java-bibliotek:
- com.amazonaws.amazon-kinesis-client från 1.12.0 till 1.15.3
- com.amazonaws.aws-java-sdk-autoscaling från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudformation från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudfront från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudhsm från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudsearch från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudtrail från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatch från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatchmetrics från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-codedeploy från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cognitoidentity från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-cognitosync från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-config från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-core från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-datapipeline från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-directconnect från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-directory från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-dynamodb från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-ec2 från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-ecs från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-efs från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-elasticache från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-elasticloadbalancing från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-elastictranscoder från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-emr från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-glacier från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-glue från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-iam från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-importexport från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-kinesis från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-kms från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-lambda från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-logs från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-machinelearning från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-opsworks från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-rds från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-redshift från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-route53 från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-s3 från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-ses från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-simpledb från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-simpleworkflow från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-sns från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-sqs från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-ssm från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-storagegateway från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-sts från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-support från 1.12.638 till 1.12.681
- com.amazonaws.aws-java-sdk-workspaces från 1.12.638 till 1.12.681
- com.amazonaws.jmespath-java från 1.12.638 till 1.12.681
- com.databricks.databricks-sdk-java från 0.27.0 till 0.53.0
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.18.2 till 2.18.3
- com.github.luben.zstd-jni från 1.5.6-10 till 1.5.7-6
- com.google.flatbuffers.flatbuffers-java från 24.3.25 till 25.2.10
- com.google.guava.failureaccess från 1.0.2 till 1.0.3
- com.google.guava.guava från 33.4.0-jre till 33.4.8-jre
- com.microsoft.sqlserver.mssql-jdbc från 11.2.3.jre8 till 12.8.0.jre8
- commons-cli.commons-cli från 1.9.0 till 1.10.0
- commons-codec.commons-codec från 1.17.2 till 1.19.0
- commons-fileupload.commons-fileupload från version 1.5 till version 1.6.0
- commons-io.commons-io från 2.18.0 till 2.21.0
- dev.ludovic.netlib.arpack från 3.0.3 till 3.0.4
- dev.ludovic.netlib.blas från 3.0.3 till 3.0.4
- dev.ludovic.netlib.lapack från 3.0.3 till 3.0.4
- io.dropwizard.metrics.metrics-annotation från 4.2.30 till 4.2.37
- io.dropwizard.metrics.metrics-core från 4.2.30 till 4.2.37
- io.dropwizard.metrics.metrics-graphite från 4.2.30 till 4.2.37
- io.dropwizard.metrics.metrics-healthchecks från 4.2.30 till 4.2.37
- io.dropwizard.metrics.metrics-jmx från 4.2.30 till 4.2.37
- Uppdatering av io.dropwizard.metrics.metrics-json från version 4.2.30 till 4.2.37
- io.dropwizard.metrics.metrics-jvm från 4.2.30 till 4.2.37
- io.dropwizard.metrics.metrics-servlets från 4.2.30 till 4.2.37
- io.delta.delta-sharing-client_2.13 från 1.3.10 till 1.3.11
- io.netty.netty-all från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-buffert från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-codec från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-codec-http från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-codec-http2 från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-codec-socks från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-common från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-handler från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-handler-proxy från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-resolver från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-tcnative-boringssl-static från 2.0.70.Final-db-r0-windows-x86_64 till 2.0.74.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes från 2.0.70.Final till 2.0.74.Final
- io.netty.netty-transport från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-transport-classes-epoll från 4.1.118.Final till 4.2.7.Final
- io.netty.netty-transport-classes-kqueue från 4.1.118.Final till 4.2.7.Final
- Uppdatera io.netty.netty-transport-native-epoll från 4.1.118.Final-linux-x86_64 till 4.2.7.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue från 4.1.118.Final-osx-x86_64 till 4.2.7.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common från 4.1.118.Final till 4.2.7.Final
- joda-time.joda-time från 2.13.0 till 2.14.0
- org.apache.arrow.arrow-format från 18.2.0 till 18.3.0
- org.apache.arrow.arrow-memory-core från 18.2.0 till 18.3.0
- org.apache.arrow.arrow-memory-netty från 18.2.0 till 18.3.0
- org.apache.arrow.arrow-memory-netty-buffer-patch från 18.2.0 till 18.3.0
- org.apache.arrow.arrow-vector från 18.2.0 till 18.3.0
- org.apache.avro.avro från 1.12.0 till 1.12.1
- org.apache.avro.avro-ipc från 1.12.0 till 1.12.1
- org.apache.avro.avro-mapred från 1.12.0 till 1.12.1
- org.apache.commons.commons-collections4 från 4.4 till 4.5.0
- org.apache.commons.commons-compress från 1.27.1 till 1.28.0
- org.apache.commons.commons-lang3 från 3.17.0 till 3.19.0
- org.apache.commons.commons-text från 1.13.0 till 1.14.0
- org.apache.curator.curator-client från 5.7.1 till 5.9.0
- org.apache.curator.curator-framework från 5.7.1 till 5.9.0
- org.apache.curator.curator-recipes från 5.7.1 till 5.9.0
- org.apache.datasketches.datasketches-java från 6.1.1 till 6.2.0
- org.apache.hadoop.hadoop-client-runtime från 3.4.1 till 3.4.2
- org.apache.orc.orc-core från 2.1.1-shaded-protobuf till 2.2.0-shaded-protobuf
- org.apache.orc.orc-format från 1.1.0-shaded-protobuf till 1.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce från 2.1.1-shaded-protobuf till 2.2.0-shaded-protobuf
- org.apache.orc.orc-shims från 2.1.1 till 2.2.0
- org.apache.xbean.xbean-asm9-shaded från 4.26 till 4.28
- org.apache.zookeeper.zookeeper från 3.9.3 till 3.9.4
- org.apache.zookeeper.zookeeper-jute från 3.9.3 till 3.9.4
- org.eclipse.jetty.jetty-client från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-http från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-io från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-jndi från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-plus från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-proxy från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-security från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-server från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-servlet från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-servlets från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-util från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-webapp från 9.4.53.v20231009 till 10.0.26
- org.eclipse.jetty.jetty-xml från 9.4.53.v20231009 till 10.0.26
- org.mlflow.mlflow-spark_2.13 från 2.9.1 till 2.22.1
- org.objenesis.objenesis från 3.3 till 3.4
- org.scala-lang.modules.scala-xml_2.13 från 2.3.0 till 2.4.0
Stöd för Databricks ODBC/JDBC-drivrutin
Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).
Systemmiljö
- Operativsystem: Ubuntu 24.04.4 LTS
- Java: Zulu21.42+19-CA
- Scala: 2.13.16
- Python: 3.12.3
- R: 4.5.1
- Delta lake: 4.2.0
Installerade Python bibliotek
Denna lista inkluderar Python-paket som Ubuntu-systempaket installerar, såsom unattended-upgrades och ssh-import-id.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| kommenterad-dokument | 0.0.4 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| arrow | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 24.3.0 | autocommand | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.28.0 |
| azure-storage-file-datalake | 12.22.0 | babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | black | 24.10.0 | bleach | 6.2.0 |
| blinker | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer | 3.3.2 | click | 8.1.8 |
| cloudpickle | 3.0.0 | comm | 0.2.1 | contourpy | 1.3.1 |
| cryptography | 44.0.1 | cycler | 0.11.0 | Cython | 3.1.5 |
| Databricks-agenter | 1.9.1 | databricks-sdk | 0.67.0 | Dataclasses-json | 0.6.7 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | deltalake | 1.1.4 | Deprecated | 1.2.18 |
| distlib | 0.3.9 | docstring-to-markdown | 0.11 | executing | 1.2.0 |
| facets-overview | 1.1.1 | fastapi | 0.128.0 | fastjsonschema | 2.21.1 |
| filelock | 3.17.0 | fonttools | 4.55.3 | fqdn | 1.5.1 |
| frystelista | 1.5.0 | fsspec | 2023.5.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.28.1 | google-auth | 2.47.0 |
| google-cloud-core | 2.5.0 | google-cloud-storage | 3.7.0 | google-crc32c | 1.8.0 |
| google-resumable-media | 2.8.0 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | hf-xet | 1.2.0 |
| httpcore | 1.0.9 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface_hub | 1.2.4 | idna | 3.7 | importlib_metadata | 8.5.0 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.7.2 | isoduration | 20.11.0 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.19.2 | Jinja2 | 3.1.6 |
| jiter | 0.12.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| json5 | 0.9.25 | jsonpatch | 1,33 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | jsonschema-specifications | 2023.7.1 | jupyter-events | 0.12.0 |
| jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.15.0 | jupyter_server_terminals | 0.5.3 | jupyterlab | 4.3.4 |
| jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 | jupyterlab_widgets | 1.1.11 |
| kiwisolver | 1.4.8 | langchain-core | 1.2.6 | langchain-openai | 1.1.6 |
| langsmith | 0.6.1 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | litellm | 1.75.9 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | skumgodis | 3.26.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | mccabe | 0.7.0 | mdurl | 0.1.0 |
| mistune | 3.1.2 | mlflow-skinny | 3.8.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | msal | 1.34.0 | msal-extensions | 1.3.1 |
| multidikt | 6.1.0 | mypy-extensions | 1.0.0 | nbclient | 0.10.2 |
| nbconvert | 7.16.6 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.10.0 | notebook | 7.3.2 | notebook_shim | 0.2.4 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | openai | 2.14.0 |
| opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 | opentelemetry-sdk | 1.39.1 |
| opentelemetry-semantic-conventions | 0.60b1 | orjson | 3.11.5 | overrides | 7.4.0 |
| packaging | 24,2 | pandas | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | patsy | 1.0.1 |
| pexpect | 4.8.0 | pillow | 11.1.0 | pip | 25.0.1 |
| platformdirs | 4.3.7 | plotly | 5.24.1 | pluggy | 1.5.0 |
| prometheus_client | 0.21.1 | prompt-toolkit | 3.0.43 | propcache | 0.3.1 |
| proto-plus | 1.27.0 | protobuf | 5.29.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.11 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 21.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.19.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.10.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing | 3.2.0 | pyright | 1.1.394 |
| pyroaring | 1.0.3 | pytest | 8.3.5 | python-dateutil | 2.9.0.post0 |
| python-dotenv | 1.2.1 | python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.12.2 | pytoolconfig | 1.2.6 | pytz | 2024.1 |
| PyYAML | 6.0.2 | pyzmq | 26.2.0 | referencing | 0.30.2 |
| regex | 2024.11.6 | requests | 2.32.3 | requests-toolbelt | 1.0.0 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | rich | 13.9.4 |
| rope | 1.13.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.14.0 | scikit-learn | 1.6.1 | scipy | 1.15.3 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 78.1.1 |
| shellingham | 1.5.4 | six | 1.17.0 | smmap | 5.0.0 |
| sniffio | 1.3.0 | sortedcontainers | 2.4.0 | soupsieve | 2,5 |
| sqlparse | 0.5.5 | ssh-import-id | 5.11 | stack-data | 0.6.3 |
| starlette | 0.50.0 | strictyaml | 1.7.3 | tenacity | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tiktoken | 0.12.0 |
| tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 | Tokeniserare | 0.22.2 |
| tomli | 2.0.1 | tornado | 6.5.1 | tqdm | 4.67.1 |
| traitlets | 5.14.3 | typeguard | 4.3.0 | typer-slim | 0.21.1 |
| types-python-dateutil | 2.9.0.20251115 | skrivgranskning | 0.9.0 | typing_extensions | 4.12.2 |
| tzdata | 2024.1 | ujson | 5.10.0 | unattended-upgrades | 0.1 |
| uri-template | 1.3.0 | urllib3 | 2.3.0 | uuid_utils | 0.12.0 |
| uvicorn | 0.40.0 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webcolors | 25.10.0 | webencodings | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| närhelst | 0.7.3 | widgetsnbextension | 3.6.6 | wrapt | 1.17.0 |
| yapf | 0.40.2 | jarl | 1.18.0 | zipp | 3.21.0 |
| zstandard | 0.23.0 |
Installerade R-bibliotek
R-bibliotek installeras från CRAN-ögonblicksbilden i Posit Správca balíkov på PACKAGES.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| arrow | 22.0.0 | askpass | 1.2.1 | assertthat | 0.2.1 |
| backports | 1.5.0 | base | 4.5.1 | base64enc | 0.1-3 |
| bigD | 0.3.1 | bit | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | BLOB | 1.2.4 | boot | 1.3-30 |
| brew | 1.0-10 | brio | 1.1.5 | broom | 1.0.10 |
| bslib | 0.9.0 | cachem | 1.1.0 | callr | 3.7.6 |
| caret | 7.0-1 | cellranger | 1.1.0 | chron | 2.3-62 |
| class | 7.3-22 | cli | 3.6.5 | clipr | 0.8.0 |
| clock | 0.7.3 | cluster | 2.1.6 | codetools | 0.2-20 |
| commonmark | 2.0.0 | compiler | 4.5.1 | config | 0.3.2 |
| conflicted | 1.2.0 | cpp11 | 0.5.2 | crayon | 1.5.3 |
| autentiseringsuppgifter | 2.0.3 | curl | 7.0.0 | data.table | 1.17.8 |
| datasets | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| desc | 1.4.3 | devtools | 2.4.6 | diagram | 1.6.5 |
| diffobj | 0.3.6 | digest | 0.6.39 | downlit | 0.4.5 |
| dplyr | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| ellipsis | 0.3.2 | evaluate | 1.0.5 | fansi | 1.0.7 |
| farver | 2.1.2 | fastmap | 1.2.0 | fontawesome | 0.5.3 |
| forcats | 1.0.1 | foreach | 1.5.2 | foreign | 0.8-86 |
| fs | 1.6.6 | future | 1.68.0 | future.apply | 1.20.0 |
| gargle | 1.6.0 | generics | 0.1.4 | gert | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | globals | 0.18.0 |
| glue | 1.8.0 | googledrive | 2.1.2 | googlesheets4 | 1.1.2 |
| gower | 1.0.2 | graphics | 4.5.1 | grDevices | 4.5.1 |
| grid | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | hardhat | 1.4.2 |
| haven | 2.5.5 | highr | 0.11 | hms | 1.1.4 |
| htmltools | 0.5.8.1 | htmlwidgets | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-15 | isoband | 0.2.7 |
| iterators | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| juicyjuice | 0.1.0 | KernSmooth | 2.23-22 | knitr | 1.50 |
| labeling | 0.4.3 | later | 1.4.4 | lattice | 0.22-5 |
| lava | 1.8.2 | lifecycle | 1.0.4 | listenv | 0.10.0 |
| litedown | 0.8 | lubridate | 1.9.4 | magrittr | 2.0.4 |
| markdown | 2.0 | MASS | 7.3-60.0.1 | Matris | 1.6-5 |
| memoise | 2.0.1 | methods | 4.5.1 | mgcv | 1.9-1 |
| mime | 0.13 | miniUI | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv | 2016.8-1.1 | openssl | 2.3.4 |
| otel | 0.2.0 | parallel | 4.5.1 | parallelly | 1.45.1 |
| pillar | 1.11.1 | pkgbuild | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | plogr | 0.2.0 |
| plyr | 1.8.9 | praise | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | processx | 3.8.6 | prodlim | 2025.04.28 |
| profvis | 0.4.0 | progress | 1.2.3 | progressr | 0.18.0 |
| promises | 1.5.0 | proto | 1.0.0 | proxy | 0.4-27 |
| ps | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| ragg | 1.5.0 | randomForest | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | reactable | 0.4.4 | reactR | 0.6.1 |
| readr | 2.1.6 | readxl | 1.4.5 | recipes | 1.3.1 |
| rematch | 2.0.0 | rematch2 | 2.1.2 | remotes | 2.5.0 |
| reprex | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown | 2.30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | rversions | 3.0.0 |
| rvest | 1.0.5 | S7 | 0.2.1 | sass | 0.4.10 |
| scales | 1.4.0 | selectr | 0.4-2 | sessioninfo | 1.2.3 |
| shape | 1.4.6.1 | shiny | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| spatial | 7.3-17 | splines | 4.5.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.5.1 | stats4 | 4.5.1 |
| stringi | 1.8.7 | stringr | 1.6.0 | survival | 3.5-8 |
| swagger | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.3.1 |
| tcltk | 4.5.1 | testthat | 3.3.0 | textshaping | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse | 2.0.0 | timechange | 0.3.0 | timeDate | 4051.111 |
| tinytex | 0.58 | tools | 4.5.1 | tzdb | 0.5.0 |
| urlchecker | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| utils | 4.5.1 | uuid | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| waldo | 0.6.2 | whisker | 0.4.1 | withr | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | yaml | 2.3.10 | zeallot | 0.2.0 |
| zip | 2.3.3 |
Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)
| grupp-id | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.clearspring.analytics | stream | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.5.1 |
| com.fasterxml.jackson.core | jackson-annotations | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.auth | google-auth-library-credentials | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | auto-value-annotations | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | tink | 1.16.0 |
| com.google.errorprone | error_prone_annotations | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | failureaccess | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | SparseBitSet | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec | commons-codec | 1.19.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | blas | 3.0.4 |
| dev.ludovic.netlib | lapack | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.11 |
| io.dropwizard.metrics | metrics-annotation | 4.2.37 |
| io.dropwizard.metrics | metrics-core | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.37 |
| io.dropwizard.metrics | metrics-jetty10 | 4.2.37 |
| io.dropwizard.metrics | metrics-jmx | 4.2.37 |
| io.dropwizard.metrics | metrics-json | 4.2.37 |
| io.dropwizard.metrics | metrics-jvm | 4.2.37 |
| io.dropwizard.metrics | metrics-servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.2.7.Final |
| io.netty | netty-buffer | 4.2.7.Final |
| io.netty | netty-codec | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | netty-codec-compression | 4.2.7.Final |
| io.netty | netty-codec-http | 4.2.7.Final |
| io.netty | netty-codec-http2 | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-marshalling | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks | 4.2.7.Final |
| io.netty | netty-common | 4.2.7.Final |
| io.netty | netty-handler | 4.2.7.Final |
| io.netty | netty-handler-proxy | 4.2.7.Final |
| io.netty | netty-resolver | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.74.Final |
| io.netty | netty-transport | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | simpleclient_common | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | collector | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | pilkomprimering | 18.3.0 |
| org.apache.arrow | arrow-format | 18.3.0 |
| org.apache.arrow | arrow-memory-core | 18.3.0 |
| org.apache.arrow | arrow-memory-netty | 18.3.0 |
| org.apache.arrow | arrow-memory-netty-buffer-patch | 18.3.0 |
| org.apache.arrow | arrow-vector | 18.3.0 |
| org.apache.avro | avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | commons-collections4 | 4.5.0 |
| org.apache.commons | commons-compress | 1.28.0 |
| org.apache.commons | commons-configuration2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.14.0 |
| org.apache.curator | curator-client | 5.9.0 |
| org.apache.curator | curator-framework | 5.9.0 |
| org.apache.curator | curator-recipes | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | datasketches-memory | 3.0.2 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.4.2 |
| org.apache.hive | hive-beeline | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | hive-shims | 2.3.10 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | orc-core | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-format | 1.1.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-shims | 2.2.0 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.9.4 |
| org.apache.zookeeper | zookeeper-jute | 3.9.4 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | jetty-http | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy | 10.0.26 |
| org.eclipse.jetty | jetty-security | 10.0.26 |
| org.eclipse.jetty | jetty-server | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | jetty-util | 10.0.26 |
| org.eclipse.jetty | jetty-webapp | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,41 |
| org.glassfish.jersey.core | jersey-client | 2,41 |
| org.glassfish.jersey.core | jersey-common | 2,41 |
| org.glassfish.jersey.core | jersey-server | 2,41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3.4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | spire_2.13 | 0.18.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| stax | stax-api | 1.0.1 |