Databricks Runtime 18 LTS

Den här sidan innehåller enhetlig versionsinformation för Databricks Runtime 18 LTS, som drivs av Apache Spark 4.1.0. Den visar alla funktioner, beteendeändringar och korrigeringar som levereras under Databricks Runtime 18 LTS-versionscykeln.

Note

Utsläpp sker etappvis. Ditt Azure Databricks-konto kanske inte uppdateras på några dagar efter det första lanseringsdatumet.

Om enhetliga versionsanteckningar

Azure Databricks släpper funktioner stegvis under hela versionscykeln utan att ändra versionsnumret. I stället för att avgränsa sidor för varje delversion visas alla uppdateringar på den här sidan som daterade poster. Kluster får uppdateringar när de startas om.

Databricks Runtime 18 är den första versionen som använder det här enhetliga formatet. Tidigare hade varje funktionsversion (18.0, 18.1, 18.2) sin egen sida med viktig information. Dessa sidor är fortfarande tillgängliga som referens. Funktioner som tidigare skulle ha levererats som 18.3 eller senare levereras nu som daterade uppdateringar till Databricks Runtime 18.

Med start i Databricks Runtime 19 följer Databricks Runtime-versioner en livscykel från Beta (tidig utvärdering) via GA (funktionsutveckling, cirka sex månader) till LTS (långsiktigt stöd, tre års stabilitet och säkerhetsfixar). Eftersom 18.0 till 18.2 levererades under den tidigare modellen är Databricks Runtime 18 en övergångsversion. Den övergick från GA till LTS den 23 juli 2026, när Databricks Runtime 19 blev allmänt tillgänglig. Fullständig livscykelinformation finns i Supportlivscykler för Databricks Runtime.


Databricks Runtime 18: 10 juni 2026

Databricks Runtime 18 är nu allmänt tillgänglig (GA). Information om livscykeln finns i Supportlivscykler för Databricks Runtime.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

  • Streaming query-ID för Spark Declarative Pipelines på Lakeflow-pipelines: Spark Declarative Pipelines på Lakeflow-pipelines kan nu ställa in streaming-query-ID vid behov.
  • Nya IP-adressfunktioner (Public Preview): Nya SQL-funktioner finns tillgängliga för arbete med IPv4- och IPv6-adresser samt CIDR-block, inklusive ip_host, ip_cidr, ip_version, ip_prefix_length, ip_cidr_containsip_network_lastip_as_binaryip_networkip_as_string, och try_* varianter för null-säkert beteende. Se ip_host och relaterade funktioner.
  • On-demand ompartitionering av tillstånd (Offentlig förhandsvisning): Structured Streaming stödjer nu att ändra antalet shuffle-partitioner för tillståndsbevarande frågor utan att förlora checkpoint-tillstånd. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.

Apache Spark-korrigeringar och förbättringar

Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:

  • Korrigerade felaktig null-hantering i LEFT OUTER JOIN LATERAL uttryck som innehåller EXPLODE. Tidigare genererade vissa indata felaktiga null-värden i resultat.
  • Photon defersar nu duplicerade field_id fel i Parquet-schemamatchning tills det berörda fältet nås. Frågor som inte refererar till det duplicerade fältet fungerar nu i stället för att misslyckas vid schemaupplösning.

Databricks Runtime 18: 8 juni 2026

Apache Spark-korrigeringar och förbättringar

Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:

  • NEAREST BY är nu en SQL-kopplingstyp som stöds för top-K närmsta grannfrågor.
  • DESCRIBE TABLE ... PARTITION stöds nu för v2-katalogtabeller. Tidigare var den här syntaxen endast tillgänglig för v1-tabeller.
  • UPDATE frågor mot DSv2-tabeller inkluderar nu operationsmått i frågeutdata.
  • DSv2-partitionspredikat stöder nu kapslade partitionskolumner.
  • Ett fel har åtgärdats där aggregeringsfrågor som använder PartialMerge- eller Final-aggregeringskörning kunde misslyckas på grund av saknade obligatoriska indataattribut.
  • Stora externa sorteringar använder nu begränsad k-vägssammanslagning för att minska fel på grund av minnesbrist när data skrivs till disk.

Databricks Runtime 18: 4 juni 2026

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

  • NATURAL JOIN Panel-Insensitive Column Matching: NATURAL JOIN Respekterar nu konfigurationen spark.sql.caseSensitive (standard: false) när gemensamma kolumner matchas mellan vänster- och högersidan av joinen. Tidigare var kolumnmatchning alltid skiftlägeskänslig, vilket gjorde att kolumner som endast skiljer sig åt i fråga om skiftläge (till exempel ID jämfört med id) inte identifierades som gemensamma kolumner. Detta resulterade i en tyst korskoppling i stället för den förväntade equi-joinen. Motsvarande USING koppling har redan hanterat detta korrekt. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.naturalJoinCaseSensitiveColumnMatching till true.

Databricks Runtime 18: 29 maj 2026

  • Deduplicering av strukturerad strömning med NaN nycklar: Deduplicering av strukturerad strömning behandlar NaN nu (Inte-ett-nummer) värden som har olika bitmönster som dubbletter när en double eller float kolumn används som dedupliceringsnyckel. NaN Tidigare behandlades värden med olika interna representationer som distinkta och deduplicerades inte.
  • Åtgärdade ett problem där behörigheter på tabellnivå kunde tas bort från externa katalogtabeller i Unity Catalog (till exempel Snowflake-anslutningstabeller) under metadatauppdateringen, vilket gjorde att frågor misslyckades med INSUFFICIENT_PERMISSIONS fel. Behörigheter bevaras nu när metadata för externa tabeller uppdateras.

Databricks Runtime 18: 18 maj 2026

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

  • CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE bevarar nu befintliga kolumn- och tabellkommentarer som standard. Tidigare togs kommentarer bort när en tabell återskapades. Hanterade tabeller och vyer matchar nu det befintliga beteendet för materialiserade vyer och strömmande tabeller.
  • DataFrame by-name-skrivningar: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions(), och write.mode("append").saveAsTable() typkonverterar nu automatiskt typkompatibla kolumner (till exempel int till long) för att matcha målschemat för Delta-tabellen. Tidigare misslyckades dessa åtgärder med ett DELTA_FAILED_TO_MERGE_FIELDS fel när kolumntyperna var kompatibla men inte identiska. Beteendet matchar nu SQL INSERT INTO ... BY NAME. save() och saveAsTable() i överskrivningsläge påverkas inte.
  • ALTER TABLE SET TBLPROPERTIES för pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') försöker nu göra den angivna tabellen möjlig att skriva till för pipelinen. Tidigare hade inställningen av den här egenskapen på en vanlig tabell ingen effekt. Om tabellen inte kvalificerar sig för skrivningar via pipeline genererar kommandot SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.
  • cloud_files_state: Den cloud_files_state tabellvärda funktionen (TVF) inkluderar nu en discovery_mode kolumn som visar hur Auto Loader upptäckte varje fil. Filer som identifieras innan uppgraderingen har ett null värde i den här kolumnen.
  • DESCRIBE EXTENDED AS JSON: Inkluderar nu prediktiva optimeringsutvärderingsresultat i sitt resultat. Tidigare returnerades inte den här informationen i JSON-utdata.
  • Mått i Metric view window: Returnerar nu korrekta resultat när förfrågningar använder GROUP BY, IN/BETWEEN filter eller blandade predikat på fönstrets ordningskolumn. Tidigare kunde dessa filtermönster ge felaktiga resultat.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

  • Klusterbibliotek: När du installerar PyPI-bibliotek, hjul eller requirements.txt-filer på ett kluster visar fliken Bibliotek och Bibliotekens REST-API nu alla lösta och installerade paket, inklusive transitiva beroenden. För installationer som löser fler än 500 paket trunkeras listan. Den fullständiga installationsrapporten är tillgänglig i klustrets drivrutinsloggar.
  • array_sort med anpassade komparatorer: Photon accelererar array_sort nu uttryck som använder anpassade komparatorer för att sortera strukturarrayer efter ett eller flera fält. Tidigare föll dessa uttryck tillbaka till icke-Photon-körning. Om du vill aktivera den här optimeringen anger du spark.databricks.photon.rewriteArraySortComparator.enabled till true.

Apache Spark-korrigeringar och förbättringar

Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:

  • SQL-frågor stöder nu en QUALIFY sats som gör att du kan filtrera på fönsterfunktionens resultat direkt i frågan. Tidigare krävdes att frågan skulle omslutas i en underfråga.
  • spark.read.json, spark.read.csv, och spark.read.xml accepterar nu en DataFrame som indata, så att du kan analysera data i minnet utan att först spara den i en fil.
  • DataFrame.changes() är nu tillgänglig för läsning av change data capture (CDC)-utdata via DataFrame-API:et.
  • När en DataFrame-kolumn refereras från fel DataFrame namnger felet nu den specifika kolumnen. Du kan också ställa in spark.sql.columnResolution.strict så att Spark framtvingar striktare kolumnmatchning och fångar upp dessa misstag tidigare.
  • MERGE INTO Schemautveckling fungerar nu korrekt när satsen inkluderar WHEN MATCHED THEN DELETE eller refererar till inbäddade kolumner via alias. Tidigare kunde dessa kombinationer misslyckas eller ge felaktiga resultat.
  • SHOW COLLATIONS listar alla stödda sorteringsregler och deras egenskaper, vilket är användbart när du väljer en sorteringsregel för textsortering eller jämförelse.
  • Sparks frågeoptimerare uppskattar nu korrekt hur mycket datafilter som kommer att minska. Felaktiga uppskattningar tidigare gjorde att Spark drog in stora tabeller helt i minnet under kopplingar, vilket ledde till minnesfel.
  • Frågor med flera COUNT(DISTINCT) uttryck körs snabbare eftersom Spark nu minskar data tidigare i körningsplanen i stället för att expandera dem först.
  • Python UDF:er som använder piloptimeringen utför inte längre en onödig dataformatkonvertering, vilket minskar kostnaderna.
  • Stream-stream icke-yttre kopplingar kan nu generera utdata i uppdateringsläge, inte bara tilläggsläge, vilket gör att de kan skriva till fler utdatamål.
  • JDBC-anslutningar stängs nu korrekt när en aktivitet avbryts. Tidigare kunde en avbrytning lämna en anslutning öppen, vilket kunde göra att senare processer fastnade.
  • array_insert ger inte längre felaktiga resultat när det ges ett mycket stort negativt tal som insättningsposition.

Databricks Runtime 18: 4 maj 2026

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

  • XPath: När XPath utvärderas över XML laddar Azure Databricks inte längre externa dokumenttypdefinitioner (DTD:er). Frågor som tidigare bara misslyckades på grund av en extern DTD-referens som inte kan nås kan nu lyckas.
  • NULL-struct-beteende med schemautveckling: För INSERT, MERGE, och strömmande skrivningar som använder schemautveckling lagras en NULL-struktur i källan nu som NULL i målet. Tidigare materialiserades NULL-structar felaktigt som icke-NULL-structar där varje fält var satt till NULL. Uppdatera all kod som förlitade sig på att få en icke-null-struktur med enbart NULL-fält – dessa fall returnerar nu en NULL-struktur.
  • NATURAL JOIN: Använder nu korrekt skiftlägesokänslig kolumnmatchning när spark.sql.caseSensitive är false (standard). Tidigare identifierades inte kolumner som endast skilde sig i fråga om versaler och gemener (till exempel ID jämfört med id) som matchande, vilket gjorde att NATURAL JOIN tyst gav resultat från en cross join. Den här korrigeringen anpassar NATURAL JOIN-beteende till USING joins.
  • AWS SDK v1-beroenden: Nu skuggade och inte längre direkt tillgängliga på classpath. Om koden är beroende av AWS SDK v1-bibliotek som tidigare tillhandahölls av Databricks Runtime lägger du till dem som explicita beroenden i projektet.
  • SQL UDF-beroendevalidering i Unity Catalog: Unity Catalog upprätthåller nu beroendevalidering för användardefinierade SQL-funktioner för att förhindra kringgåelse av åtkomstkontroll. SQL-UDF:er med ogiltiga beroendekonfigurationer blockeras från körning.
  • LEFT OUTER JOIN LATERAL: En bugg som felaktigt tog bort rader har åtgärdats. Frågor som använder den här konstruktionen returnerar nu rätt resultat. Om du tillfälligt vill återgå till det tidigare beteendet anger du spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic till true.
  • regr_r2: Nu behandlar den första parametern korrekt som den beroende variabeln. Frågor som förlitade sig på det tidigare felaktiga beteendet returnerar olika resultat.
  • Hyperboliska funktioner: sinh, cosh, tanh, och relaterade hyperboliska funktioner returnerar Infinity nu istället för att ge ett överflödesfel när mycket stora indata ges.
  • asinh och acosh: Använd nu fdlibm-algoritmen för cross-engine-konsistens. Resultaten kan skilja sig något från tidigare versioner för kantfallsindata.
  • LIKE mönstermatchning: Hanterar nu kompletterande Unicode-tecken korrekt (kodpunkter ovanför U+FFFF). Mönster som tidigare matchade eller misslyckades felaktigt för dessa tecken returnerar nu rätt resultat.
  • VOID (NullType) kolumner: Delta-tabeller stöder VOID nu (NullType) kolumner. VOID Kolumner tas inte längre bort från tabellschemat vid läsning. Skrivningar påverkas inte.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

  • CREATE OR REPLACE TEMP TABLE: Nu stöds, vilket låter dig skapa eller ersätta temporära tabeller i en enda sats.
  • agg(): Nu tillgängligt som alias för measure() funktionen. Befintliga frågor som använder measure() fortsätter att fungera utan ändringar.
  • pyspark.pipelines.testing: Nu tillgängligt som ett bekvämlighetspseudonym för dlt.testing API:er.
  • Auto Loader-listningsprestanda: Auto Loader använder nu en effektivare listningsmetod som förbättrar listningshastigheten för molnlagringskällor. Om dina strömutlösare överlappar på grund av långvariga listningsoperationer kan den här optimeringen leda till ökade kostnader för molnlistnings-API.
  • DESCRIBE HISTORY skriv optionsflaggor: Delta-tabellens historik (DESCRIBE HISTORY) inkluderar nu skriv-alternativflaggor i operationParameters för WRITE och REPLACE TABLE operationer. Flaggor visas bara när true: isDynamicPartitionOverwrite, canOverwriteSchema, canMergeSchema, predicateoch isV1WriterSaveAsTableOverwrite.
  • SparkSession.emptyDataFrame: Finns nu tillgängligt som ett bekvämlighets-API för att skapa en tom DataFrame-tabell utan kolumner och utan rader.
  • TIMESTAMP WITH LOCAL TIME ZONE: Nu stöds som ett SQL-syntaxalias för typen TIMESTAMP_LTZ .
  • to_json sortKeys alternativ: Funktionen to_json accepterar nu ett sortKeys alternativ för att producera JSON-utdata med nycklar i sorterad ordning.
  • spark.catalog.*: API-metoder har nu funktionsparitet med sina motsvarande DDL-kommandon för katalog-, schema- och tabelloperationer.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 20 april 2026

  • Har korrigerat auktoriteten för CRS-rumsreferensen för GEOMETRY(102100)-typen. Auktoriteten rapporteras nu som ESRI:102100 i stället för EPSG:102100.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 2 april 2026

  • Förbättrad felhantering för frågor som skriver data till Delta-tabeller som innehåller en VOID (NullType) kolumn i en användardefinierad typ (UDT).
  • JDBC-anslutningar för strömningsmottagare tillämpar nu en sockettimeout på 30 sekunder, återförsökslogik med exponentiell backoff för tillfälliga fel (anslutningsfel, dödlägen, hastighetsbegränsning) samt kontrollerad återställning vid brutna anslutningar.
  • Åtgärdade korruption av SQL-text som uppstod vid användning av Unicode-tecken i parametriserade frågor.
  • SHOW CREATE TABLE ger nu korrekt utdata för tabeller och vyer med en icke-standardsortering.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 11 mars 2026

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

  • Fel i observationsmått: Orsakar inte längre fel vid körning av frågor. Tidigare kunde fel i OBSERVE satser (till exempel division med noll) blockera eller misslyckas med hela frågan. Nu slutförs frågan framgångsrikt och ett fel utlöses när du anropar observation.get.
  • FILTER sats för MEASURE: MEASURE-aggregatfunktioner stöder nu FILTER-klausuler. Tidigare ignorerades filter tyst.
  • DESCRIBE FLOW: Kommandot DESCRIBE FLOW är nu tillgängligt. Om du har en tabell med namnet flowanvänder du DESCRIBE schema.flow, DESCRIBE TABLE floweller DESCRIBE `flow` med backticks.
  • SpatialSQL booleska mängdoperationer: ST_Difference, ST_Intersection och ST_Union använder en ny implementering med följande förbättringar:
    • Giltiga indatageometrier ger alltid ett resultat och skapar inte längre fel.
    • Ungefär 2x snabbare prestanda.
    • Resultaten normaliseras för konsekventa, jämförbara utdata.
  • Undantagstyper för SQLSTATE:Undantagstyper uppdateras för att stödja SQLSTATE. Om koden parsar undantag efter strängmatchning eller fångar specifika undantagstyper uppdaterar du logiken för felhantering.
  • Automatisk breddning av streamingtyper: Streamingläsningar på Delta-tabeller hanterar automatiskt typbreddning av kolumner. Om du vill kräva manuell bekräftelse anger du spark.databricks.delta.typeWidening.enableStreamingSchemaTracking till true.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

  • Auto Loader-filhändelser som standard: Auto Loader använder filhändelser som standard när den laddas från en extern plats med filhändelser aktiverade, vilket minskar listoperationer och kostnader jämfört med kataloglistning. Se Översikt över automatisk inläsning med filhändelser. Om du vill använda kataloglistan i stället anger du useManagedFileEvents till false.

  • Schemautveckling med INSERT: Använd klausulen WITH SCHEMA EVOLUTION med SQL-satser INSERT för att automatiskt utveckla måltabellens schema under infogningsoperationer. Stöds för INSERT INTO, INSERT OVERWRITEoch INSERT INTO ... REPLACE. Ett exempel:

    INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
    
  • Transaktioner med flera instruktioner i Delta Sharing: Delta Sharing-tabeller som använder försignade URL:er eller delningslägen med molntoken stöder transaktioner med flera instruktioner. Vid första åtkomsten i en transaktion fästs och återanvänds tabellversionen för alla efterföljande läsningar i transaktionen.

  • parse_timestamp: SQL-funktionen parse_timestamp tolkar tidsstämpelsträngar med flera mönster, med stöd för Photon-motorn för förbättrad prestanda.

  • max_by och min_by med valfritt limit: De aggregerata funktionerna max_by och min_by accepterar nu ett valfritt tredje argument limit (upp till 100 000). När de tillhandahålls returnerar funktionerna en matris med upp till limit värden, vilket förenklar top-K- och bottom-K-frågor utan fönsterfunktioner eller CTE:er.

  • DATETIMEOFFSET för Azure Synapse : DATETIMEOFFSET Datatypen stöds för Microsoft Azure Synapse-anslutningar.

  • Google BigQuery-tabellkommentarer: Google BigQuery-tabellbeskrivningar tolkas korrekt och exponeras som tabellkommentarer.

  • IGNORE NULLS / RESPECT NULLS för array_agg och collect_list: Aggregeringsfunktionerna array_agg och collect_list stöder nu klausulerna IGNORE NULLS och RESPECT NULLS.

  • PIVOT alias: Klausulen PIVOT stöder nu alias, vilket gör att du kan byta namn på pivotkolumnuttryck i utdatan.

  • SQL-skriptvariablerCURSOR: SQL-skriptning stöder CURSOR nu variabler för att iterera över ett frågeresultat, rad för rad inom ett skriptblock.

  • Vektormatematiska aggregeringsfunktioner: Nya vektormatematiska aggregeringsfunktioner finns tillgängliga: vector_avg, vector_sum, vector_norm och vector_normalize. Dessa funktioner fungerar på kompakta vektorkolumner och stöder ML-arbetsbelastningar.

  • Trigger.AvailableNow i streamingläsare för Python: Streamingläsare för Python-datakällor stöder nu Trigger.AvailableNow och Admission Control, vilket möjliggör engångsbatchbehandling av all tillgänglig data.

  • State repartition API i PySpark: State repartition API för TransformWithState streamingoperatörer finns nu tillgängligt i PySpark, utöver Scala. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.

  • applyInPandas prestandafix: En 3x prestandaregression i applyInPandas för stora grupper har lösts.


Databricks Runtime 18: 10 mars 2026

  • Felmeddelanden för skalära underfrågor som används med EXEC IMMEDIATE identifierar nu den specifika orsaken tydligare.
  • Ett kapplöpningstillstånd har åtgärdats i loggkomprimering av kontrollpunkter för strömning som kunde orsaka icke-deterministiskt beteende i Structured Streaming-frågor.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 26 februari 2026

  • SET METADATA ON COLUMN och UNSET METADATA ON COLUMN SQL-kommandon finns nu tillgängliga för att hantera semantisk metadata på Unity Catalog-tabellkolumner. Använd SET METADATA ON COLUMN för att koppla egenskaper (display_name, formatoch synonyms) till kolumner. Använd UNSET METADATA ON COLUMN för att ta bort tidigare angivna metadataegenskaper.
  • DESCRIBE TABLE inkluderar nu en metadata kolumn som visar semantisk metadata på kolumnnivå som en JSON-sträng.
  • Ett PySpark-importfel har åtgärdats i Windows miljöer som orsakats av en saknad UnixStreamServer.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 19 februari 2026

  • När du härleder schemat för Excel filer härleds nu strängceller som Spark StringType, med respekt för celltypen som anges i Excel. Tidigare var strängar med numeriska värden automatiskt gjutna till smalare typer som Long eller Decimal. Uppdatera kod som förlitade sig på det tidigare beteendet.
  • DataFrame.toJSON()är nu tillgänglig i Python Spark Connect-klienten.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 27 januari 2026

  • Automatisk inläsning rapporterar nu batchSizeNumFiles, batchSizeNumBytes och filbearbetningstillstånd (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) som mätvärden.
  • INSERT INTO ... BY NAME stöder nu klausulen REPLACE WHERE .
  • Konfigurationsegenskapen spark.sql.xml.legacyXMLParser.enabled har bytt namn till spark.sql.legacy.useLegacyXMLParser. Uppdatera alla kluster- eller sessionskonfigurationer som använder det gamla namnet.
  • När spark.task.resource.gpu.amount är större än 1 startar Torch Distributor nu en torchrun process per GPU i stället för per aktivitet.
  • [Säkerhetsfix] Operativsystemsäkerhetsuppdateringar.

Databricks Runtime 18: 15 januari 2026

Databricks Runtime 18 är nu under funktionsutveckling, som drivs av Apache Spark 4.1.0. Den här versionen innehåller alla funktioner, förbättringar och felkorrigeringar från alla tidigare Databricks Runtime-versioner.

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

  • JDK 21: Databricks Runtime 18 använder JDK 21 som standardutvecklingspaket för Java. JDK 21 är allmänt tillgängligt och är en långsiktig supportversion (LTS). Tidigare var standardvärdet JDK 17. Anmärkningsvärda ändringar:

    • Double.toString() och Float.toString() producerar nu kortaste unika strängrepresentationer, vilka kan skilja sig från JDK 17-utdata i vissa randfall.
    • Thread.stop(), Thread.suspend() och Thread.resume() kastar UnsupportedOperationException.
    • Uppdaterade språkdata (CLDR v42) kan påverka datum, tid och talformatering.

    Om du stöter på kompatibilitetsproblem återgår du till JDK 17. Information om hur du konfigurerar JDK-versioner finns i Skapa ett kluster med en specifik JDK-version.

  • FSCK REPAIR TABLE: Inkluderar nu ett första steg för metadatareparation innan kontroll av saknade datafiler. Kommandot fungerar på tabeller med skadade kontrollpunkter eller ogiltiga partitionsvärden.

  • Nullbarhet i Spark Connect Scala: Nullbarheten för array- och karttyper bevaras nu för typade literaler i Spark Connect Scala-klienten. Tidigare var element i matriser och värden för kartor alltid nullbara.

  • FSCK REPAIR TABLE DRY RUN: Kolumnen dataFilePath i utdataschemat FSCK REPAIR TABLE DRY RUN är nu nullbar för att stödja rapportering av nya problemtyper där datafilens sökväg inte är tillämplig.

  • SHOW TABLES DROPPED: Respekterar nu korrekt klausulen LIMIT.

  • Python UDF-exekvering: Unity Catalog Python UDF:er använder nu Apache Arrow som standardutbytesformat, vilket förbättrar den övergripande prestandan. Som en del av den här ändringen TIMESTAMP innehåller värden som skickas till Python-UDF:er inte längre tidszonsinformation i datetime objektets tzinfo attribut. Själva tidsstämpelvärdena finns kvar i UTC, men tidszonsmetadata tas nu bort. Om din UDF förlitar sig på tidszonsinformationen återställer du den med date = date.replace(tzinfo=timezone.utc). Mer information finns i Tidsstämpelns tidszonsbeteende för indata rad för rad.

  • Tidsresor och VACUUM kvarhållning: Azure Databricks blockerar nu tidsresefrågor bortom deletedFileRetentionDuration tröskelvärdet för alla tabeller. Kommandot VACUUM ignorerar argumentet kvarhållningstid förutom när värdet är 0 timmar. Du kan inte ange deletedFileRetentionDuration större än logRetentionDuration eller vice versa.

  • BinaryType i PySpark: I PySpark mappas BinaryType nu konsekvent till Python bytes. Tidigare mappades PySpark BinaryType till antingen bytes eller bytearray beroende på kontexten. Om du vill återställa det gamla beteendet anger du spark.sql.execution.pyspark.binaryAsBytes till false.

  • NULL-strukturer i Delta MERGE och UPDATE: Nu bevarade som NULL i Delta MERGE, UPDATE, samt strömmande skrivoperationer som inkluderar struct-typ-casts. Tidigare expanderades NULL structs till structar med NULL-fält.

  • Materialisering av partitionskolumner: Partitionerade Delta-tabeller materialiserar nu partitionskolumner i nyskrivna Parquet-datafiler. Tidigare lagrades partitionsvärden i Delta-transaktionsloggens metadata och återspeglades i katalogsökvägar, men skrevs inte som kolumner i själva Parquet-filerna. Den här ändringen överensstämmer med Apache Icebergs och UniForms beteende och kan påverka arbetsbelastningar som läser Parquet-filer som skrivits av Delta Lake direkt.

  • Tidsstämpelspartitionstidszon: Tidsstämpelspartitionsvärden konverterades tidigare till UTC med hjälp av JVM-tidszonen istället för konfigurationen spark.sql.session.timeZone . Tidsstämpelpartitionsvärden justeras nu korrekt med hjälp av tidszonsinställningen för Spark-sessionen.

  • DESCRIBE TABLE metadatakolumn: Utdata från DESCRIBE TABLE [EXTENDED] nu inkluderar en ny metadata kolumn för alla tabelltyper. Den här kolumnen innehåller semantiska metadata (visningsnamn, format och synonymer) som definierats i tabellen som en JSON-sträng.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

  • SQL-skriptning: SQL-skriptfunktionen är nu allmänt tillgänglig.
  • Delad isolering för Unity Catalog Python UDF:er: Unity Catalog Python UDF:er med samma ägare kan nu som standard dela en isoleringsmiljö. Detta förbättrar prestanda och minskar minnesanvändningen genom att minska antalet separata miljöer som startas. Lägg till STRICT ISOLATION egenskapssatsen för att säkerställa att en UDF alltid körs i en helt isolerad miljö. Se Miljöisolering.
  • SQL-fönsterfunktioner i metrikvyer: Du kan nu använda SQL-fönsterfunktioner i metrikvyer för att beräkna löpande totaler, rankningar och andra fönsterbaserade beräkningar.
  • Dynamiska shuffle-partitioner i stateless streaming: Du kan nu ändra antalet shuffle-partitioner i stateless streaming-frågor utan att starta om frågan.
  • AQE och AOS i stateless streaming: Adaptive Query Execution (AQE) och auto-optimized shuffle (AOS) stöds nu i stateless streaming-frågor.
  • Parametermarkörer: Du kan nu använda namngivna (:param) och namnlösa (?) parametermarkörer praktiskt taget var som helst där ett literalt värde av lämplig typ kan användas. Detta inkluderar DDL-instruktioner som CREATE VIEW v AS SELECT ? AS c1, kolumntyper DECIMAL(:p, :s)eller COMMENT ON t IS :comment. Mer information finns i Parametermarkörer .
  • IDENTIFIER klausul: Räckvidden för IDENTIFIER-klausulen, som kastar strängar till SQL-objektnamn, har utökats till nästan överallt där en identifierare är tillåten. Mer information finns i IDENTIFIER-satsen.
  • BITMAP_AND_AGG: Det befintliga biblioteket av BITMAP funktioner inkluderar nu en ny BITMAP_AND_AGG-funktion.
  • Theta sketch-funktioner: Du kan nu använda ett nytt bibliotek av funktioner för ungefärliga distinkta antal- och uppsättningsoperationer med Datasketches Theta Sketch. Se theta_sketch_agg och relaterade funktioner.
  • KLL-funktioner: Du kan nu använda ett nytt bibliotek av funktioner för ungefärlig kvantilberäkning med hjälp av KLL Sketches. Se kll_sketch_agg_bigint och relaterade funktioner.
  • Nya geospatiala funktioner: st_azimuth, st_boundary, st_closestpoint och st_geogfromewkt finns nu tillgängliga.
  • GeometryType och GeographyType: Apache Spark stöder nu nativeGeometryType- och GeographyType datatyper i PySpark- och Java-API:erna. De här typerna stöder arrow-serialisering och Parquet-läsning och -skrivning och skiljer sig från SQL-geospatiala funktioner.
  • approx_top_k: Den nya approx_top_k aggregatfunktionen returnerar de ungefärliga topp-K-värdena som är mest frekventa i en kolumn med hjälp av en platseffektiv skissalgoritm.
  • Spark Connect JDBC-drivrutin: Apache Spark inkluderar nu en JDBC-drivrutin för Spark Connect, vilket gör det möjligt för JDBC-baserade klienter och verktyg att ansluta till Spark via Spark Connect-protokollet.
  • Iterator[pandas.DataFrame] I applyInPandas: DataFrame.applyInPandas accepterar nu en funktion med en Iterator[pandas.DataFrame] signatur, vilket minskar overhead vid behandling av stora grupper genom att strömma data i batchar.
  • Kontrollbegränsningar: Stöder nu jämförelser av nullvärden i begränsningsuttrycket.
  • State repartition API för TransformWithState: Ett nytt state repartition API finns tillgängligt för TransformWithState streamingoperatörer i Scala, vilket låter dig ändra nyckelpartitioneringen av stateful data vid omstarter av förfrågningar. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.
  • Python 3.14 i pyspark-connect: pyspark-client och pyspark-connect stöder nu Python 3.14.

Kända problemområden

  • Apache Avro snabbläsare kan tömma exekutörminne i långvariga jobb: I Databricks Runtime 18 LTS aktiverar Apache Avro 1.12.1 Avro snabbläsaren (org.apache.avro.fastread) som standard. Dess läsarcache per schema rensas inte, så en JVM-process som kör länge och läser många Avro-filer med olika skrivarscheman ackumulerar läsarobjekt i exekverarens heap-minne. Detta påverkar långvariga jobb som Structured Streaming eller Auto Loader-jobb som använder en stor maxFilesPerTrigger. Under loppet av flera timmar stiger heapens lägstanivå efter GC tills processer misslyckas med java.lang.OutOfMemoryError: GC overhead limit exceeded. Databricks Runtime 17.3 och tidigare påverkas inte eftersom den snabba läsaren var avstängd som standard. Detta spåras uppströms i AVRO-4253.

    För att kringgå detta, stäng av Avro-snabbläsaren genom att lägga till -Dorg.apache.avro.fastread=false i JVM-alternativen för både drivrutinen och exekutorerna i ditt klusters Spark-konfiguration. spark.driver.extraJavaOptions och spark.executor.extraJavaOptions innehåller vardera en enda mellanslagsseparerad sträng, så lägg till denna flagga till eventuella alternativ du redan har ställt in istället för att ersätta dem. Till exempel, när inga andra alternativ är satta:

    spark.driver.extraJavaOptions -Dorg.apache.avro.fastread=false
    spark.executor.extraJavaOptions -Dorg.apache.avro.fastread=false
    

    Starta om klustret för att ändringen ska träda i kraft.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:

    • anyio från 4.6.2 till 4.7.0
    • asttokens från 2.0.5 till 3.0.0
    • azure-core från 1.34.0 till 1.37.0
    • azure-mgmt-core från 1.5.0 till 1.6.0
    • azure-storage-blob från 12.23.0 till 12.28.0
    • azure-storage-file-datalake från 12.17.0 till 12.22.0
    • boto3 från 1.36.2 till 1.40.45
    • botocore från 1.36.3 till 1.40.45
    • certifi från 2025.1.31 till 2025.4.26
    • klicka från 8.1.7 till 8.1.8
    • kryptografi från 43.0.3 till 44.0.1
    • Cython från 3.0.12 till 3.1.5
    • databricks-sdk från 0.49.0 till 0.67.0
    • Inaktuell från 1.2.13 till 1.2.18
    • körs från 0.8.3 till 1.2.0
    • fastapi från 0,115,12 till 0,128,0
    • filelock från 3.18.0 till 3.17.0
    • google-api-core från 2.20.0 till 2.28.1
    • google-auth från 2.40.0 till 2.47.0
    • google-cloud-core från 2.4.3 till 2.5.0
    • google-cloud-storage från 3.1.0 till 3.7.0
    • google-crc32c från 1.7.1 till 1.8.0
    • google-resumable-media från 2.7.2 till 2.8.0
    • h11 från 0.14.0 till 0.16.0
    • httpcore från 1.0.2 till 1.0.9
    • httpx från 0.27.0 till 0.28.1
    • isodate från 0.6.1 till 0.7.2
    • Jinja2 från 3.1.5 till 3.1.6
    • jupyter-events från 0.10.0 till 0.12.0
    • jupyter-lsp från 2.2.0 till 2.2.5
    • jupyter_server från 2.14.1 till 2.15.0
    • jupyter_server_terminals från 0.4.4 till 0.5.3
    • mistune från 2.0.4 till 3.1.2
    • mlflow-skinny från 3.0.1 till 3.8.1
    • mmh3 från 5.1.0 till 5.2.0
    • msal från 1.32.3 till 1.34.0
    • nbclient från 0.8.0 till 0.10.2
    • nbconvert från 7.16.4 till 7.16.6
    • nodeenv från 1.9.1 till 1.10.0
    • notebook_shim från 0.2.3 till 0.2.4
    • opentelemetry-api från 1.32.1 till 1.39.1
    • opentelemetry-sdk från 1.32.1 till 1.39.1
    • opentelemetry-semantic-conventions från 0.53b1 till 0.60b1
    • platformdirs från 3.10.0 till 4.3.7
    • prometheus_client från 0.21.0 till 0.21.1
    • proto-plus från 1.26.1 till 1.27.0
    • psycopg2 från 2.9.3 till 2.9.11
    • pyarrow från 19.0.1 till 21.0.0
    • Pygments från 2.15.1 till 2.19.1
    • pyiceberg från 0.9.0 till 0.10.0
    • python-lsp-server från 1.12.0 till 1.12.2
    • rep från 1.12.0 till 1.13.0
    • s3transfer från 0.11.3 till 0.14.0
    • scipy från 1.15.1 till 1.15.3
    • setuptools från 74.0.0 till 78.1.1
    • sex från 1.16.0 till 1.17.0
    • sqlparse från 0.5.3 till 0.5.5
    • stack-data från 0.2.0 till 0.6.3
    • starlette från 0.46.2 till 0.50.0
    • tornado från 6.4.2 till 6.5.1
    • types-python-dateutil från 2.9.0.20241206 till 2.9.0.20251115
    • uvicorn från 0.34.2 till 0.40.0
    • webcolors från 24.11.1 till 25.10.0
  • Uppgraderade R-bibliotek:

    • pil från 19.0.1 till 22.0.0
    • bas från 4.4.2 till 4.5.1
    • bigD från 0.3.0 till 0.3.1
    • broom från 1.0.7 till 1.0.10
    • klockan från 0.7.2 till 0.7.3
    • commonmark från 1.9.5 till 2.0.0
    • kompilator från 4.4.2 till 4.5.1
    • autentiseringsuppgifter från 2.0.2 till 2.0.3
    • curl från 6.4.0 till 7.0.0
    • data.table från 1.17.0 till 1.17.8
    • datauppsättningar från 4.4.2 till 4.5.1
    • dbplyr från 2.5.0 till 2.5.1
    • devtools från 2.4.5 till 2.4.6
    • diffobj från 0.3.5 till 0.3.6
    • sammanfatta från 0.6.37 till 0.6.39
    • nedbelyst från 0.4.4 till 0.4.5
    • dtplyr från 1.3.1 till 1.3.2
    • utvärdera version från 1.0.3 till 1.0.5
    • fansi från 1.0.6 till 1.0.7
    • forcats från 1.0.0 till 1.0.1
    • fs från 1.6.5 till 1.6.6
    • från 1.34.0 till 1.68.0
    • future.apply från 1.11.3 till 1.20.0
    • gargle från 1.5.2 till 1.6.0
    • gert från 2.1.4 till 2.2.0
    • ggplot2 från 3.5.1 till 4.0.1
    • gh från 1.4.1 till 1.5.0
    • git2r från 0.35.0 till 0.36.2
    • glmnet från 4.1-8 till 4.1-10
    • googledrive från 2.1.1 till 2.1.2
    • googlesheets4 från 1.1.1 till 1.1.2
    • grafik från 4.4.2 till 4.5.1
    • grEnheter från 4.4.2 till 4.5.1
    • rutnät från 4.4.2 till 4.5.1
    • gt från 0.11.1 till 1.1.0
    • hardhat från 1.4.1 till 1.4.2
    • haven från 2.5.4 till 2.5.5
    • hms från 1.1.3 till 1.1.4
    • httpuv från 1.6.15 till 1.6.16
    • httr2 från 1.1.1 till 1.2.1
    • jsonlite från 1.9.1 till 2.0.0
    • senare från 1.4.1 till 1.4.4
    • lava från 1.8.1 till 1.8.2
    • listenv från 0.9.1 till 0.10.0
    • magrittr från 2.0.3 till 2.0.4
    • markdown från 1.13 till 2.0
    • metoder från 4.4.2 till 4.5.1
    • miniUI från 0.1.1.1 till 0.1.2
    • mlflow från 2.20.4 till 3.6.0
    • openssl från 2.3.3 till 2.3.4
    • parallell från 4.4.2 till 4.5.1
    • parallellt från 1.42.0 till 1.45.1
    • pelare från 1.11.0 till 1.11.1
    • pkgbuild från 1.4.6 till 1.4.8
    • pkgdown från 2.1.1 till 2.2.0
    • pkgload från 1.4.0 till 1.4.1
    • pROC från 1,18,5 till 1,19,0,1
    • prodlim från 2024.06.25 till 2025.04.28
    • progressr från 0.15.1 till 0.18.0
    • löften från 1.3.2 till 1.5.0
    • ps från 1.9.0 till 1.9.1
    • purrr från 1.0.4 till 1.2.0
    • ragg från 1.3.3 till 1.5.0
    • Rcpp från 1.0.14 till 1.1.0
    • readr från 2.1.5 till 2.1.6
    • recept från 1.2.0 till 1.3.1
    • omforma2 från 1.4.4 till 1.4.5
    • rmarkdown från 2.29 till 2.30
    • roxygen2 från 7.3.2 till 7.3.3
    • rprojroot från 2.0.4 till 2.1.1
    • RSQLite från 2.3.9 till 2.4.4
    • rversioner från 2.1.2 till 3.0.0
    • rvest från 1.0.4 till 1.0.5
    • sass från 0.4.9 till 0.4.10
    • skalar från 1.3.0 till 1.4.0
    • glänsande från 1.10.0 till 1.11.1
    • sparklyr uppdateras från 1.9.1 till 1.9.3
    • SparkR från 4.0.0 till 4.1.0
    • sparsevctrs från 0.3.1 till 0.3.4
    • splines från 4.4.2 till 4.5.1
    • statistik från 4.4.2 till 4.5.1
    • stats4 från 4.4.2 till 4.5.1
    • stringr från 1.5.1 till 1.6.0
    • systemfonts från 1.2.1 till 1.3.1
    • tcltk från 4.4.2 till 4.5.1
    • testthat från 3.2.3 till 3.3.0
    • textshaping från 1.0.0 till 1.0.4
    • timeDate från 4041.110 till 4051.111
    • tinytex från 0,56 till 0,58
    • verktyg från 4.4.2 till 4.5.1
    • usethis från 3.1.0 till 3.2.1
    • "utils från 4.4.2 till 4.5.1"
    • V8 från 6.0.2 till 8.0.1
    • vroom från 1.6.5 till 1.6.6
    • waldo från 0.6.1 till 0.6.2
    • xfun från 0,51 till 0,54
    • xml2 från 1.3.8 till 1.5.0
    • zeallot från 0.1.0 till 0.2.0
    • zip från 2.3.2 till 2.3.3
  • Uppgraderade Java-bibliotek:

    • com.amazonaws.amazon-kinesis-client från 1.12.0 till 1.15.3
    • com.amazonaws.aws-java-sdk-autoscaling från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudformation från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudfront från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudhsm från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudsearch från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudtrail från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudwatch från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-codedeploy från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cognitoidentity från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-cognitosync från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-config från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-core från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-datapipeline från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-directconnect från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-directory från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-dynamodb från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-ec2 från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-ecs från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-efs från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-elasticache från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-elasticbeanstalk från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-elasticloadbalancing från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-elastictranscoder från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-emr från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-glacier från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-glue från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-iam från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-importexport från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-kinesis från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-kms från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-lambda från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-logs från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-machinelearning från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-opsworks från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-rds från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-redshift från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-route53 från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-s3 från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-ses från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-simpledb från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-simpleworkflow från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-sns från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-sqs från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-ssm från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-storagegateway från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-sts från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-support från 1.12.638 till 1.12.681
    • com.amazonaws.aws-java-sdk-workspaces från 1.12.638 till 1.12.681
    • com.amazonaws.jmespath-java från 1.12.638 till 1.12.681
    • com.databricks.databricks-sdk-java från 0.27.0 till 0.53.0
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.18.2 till 2.18.3
    • com.github.luben.zstd-jni från 1.5.6-10 till 1.5.7-6
    • com.google.flatbuffers.flatbuffers-java från 24.3.25 till 25.2.10
    • com.google.guava.failureaccess från 1.0.2 till 1.0.3
    • com.google.guava.guava från 33.4.0-jre till 33.4.8-jre
    • com.microsoft.sqlserver.mssql-jdbc från 11.2.3.jre8 till 12.8.0.jre8
    • commons-cli.commons-cli från 1.9.0 till 1.10.0
    • commons-codec.commons-codec från 1.17.2 till 1.19.0
    • commons-fileupload.commons-fileupload från version 1.5 till version 1.6.0
    • commons-io.commons-io från 2.18.0 till 2.21.0
    • dev.ludovic.netlib.arpack från 3.0.3 till 3.0.4
    • dev.ludovic.netlib.blas från 3.0.3 till 3.0.4
    • dev.ludovic.netlib.lapack från 3.0.3 till 3.0.4
    • io.dropwizard.metrics.metrics-annotation från 4.2.30 till 4.2.37
    • io.dropwizard.metrics.metrics-core från 4.2.30 till 4.2.37
    • io.dropwizard.metrics.metrics-graphite från 4.2.30 till 4.2.37
    • io.dropwizard.metrics.metrics-healthchecks från 4.2.30 till 4.2.37
    • io.dropwizard.metrics.metrics-jmx från 4.2.30 till 4.2.37
    • Uppdatering av io.dropwizard.metrics.metrics-json från version 4.2.30 till 4.2.37
    • io.dropwizard.metrics.metrics-jvm från 4.2.30 till 4.2.37
    • io.dropwizard.metrics.metrics-servlets från 4.2.30 till 4.2.37
    • io.delta.delta-sharing-client_2.13 från 1.3.10 till 1.3.11
    • io.netty.netty-all från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-buffert från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-codec från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-codec-http från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-codec-http2 från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-codec-socks från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-common från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-handler från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-handler-proxy från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-resolver från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-tcnative-boringssl-static från 2.0.70.Final-db-r0-windows-x86_64 till 2.0.74.Final-db-r0-windows-x86_64
    • io.netty.netty-tcnative-classes från 2.0.70.Final till 2.0.74.Final
    • io.netty.netty-transport från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-transport-classes-epoll från 4.1.118.Final till 4.2.7.Final
    • io.netty.netty-transport-classes-kqueue från 4.1.118.Final till 4.2.7.Final
    • Uppdatera io.netty.netty-transport-native-epoll från 4.1.118.Final-linux-x86_64 till 4.2.7.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue från 4.1.118.Final-osx-x86_64 till 4.2.7.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common från 4.1.118.Final till 4.2.7.Final
    • joda-time.joda-time från 2.13.0 till 2.14.0
    • org.apache.arrow.arrow-format från 18.2.0 till 18.3.0
    • org.apache.arrow.arrow-memory-core från 18.2.0 till 18.3.0
    • org.apache.arrow.arrow-memory-netty från 18.2.0 till 18.3.0
    • org.apache.arrow.arrow-memory-netty-buffer-patch från 18.2.0 till 18.3.0
    • org.apache.arrow.arrow-vector från 18.2.0 till 18.3.0
    • org.apache.avro.avro från 1.12.0 till 1.12.1
    • org.apache.avro.avro-ipc från 1.12.0 till 1.12.1
    • org.apache.avro.avro-mapred från 1.12.0 till 1.12.1
    • org.apache.commons.commons-collections4 från 4.4 till 4.5.0
    • org.apache.commons.commons-compress från 1.27.1 till 1.28.0
    • org.apache.commons.commons-lang3 från 3.17.0 till 3.19.0
    • org.apache.commons.commons-text från 1.13.0 till 1.14.0
    • org.apache.curator.curator-client från 5.7.1 till 5.9.0
    • org.apache.curator.curator-framework från 5.7.1 till 5.9.0
    • org.apache.curator.curator-recipes från 5.7.1 till 5.9.0
    • org.apache.datasketches.datasketches-java från 6.1.1 till 6.2.0
    • org.apache.hadoop.hadoop-client-runtime från 3.4.1 till 3.4.2
    • org.apache.orc.orc-core från 2.1.1-shaded-protobuf till 2.2.0-shaded-protobuf
    • org.apache.orc.orc-format från 1.1.0-shaded-protobuf till 1.1.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 2.1.1-shaded-protobuf till 2.2.0-shaded-protobuf
    • org.apache.orc.orc-shims från 2.1.1 till 2.2.0
    • org.apache.xbean.xbean-asm9-shaded från 4.26 till 4.28
    • org.apache.zookeeper.zookeeper från 3.9.3 till 3.9.4
    • org.apache.zookeeper.zookeeper-jute från 3.9.3 till 3.9.4
    • org.eclipse.jetty.jetty-client från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-http från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-io från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-jndi från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-plus från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-proxy från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-security från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-server från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-servlet från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-servlets från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-util från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-webapp från 9.4.53.v20231009 till 10.0.26
    • org.eclipse.jetty.jetty-xml från 9.4.53.v20231009 till 10.0.26
    • org.mlflow.mlflow-spark_2.13 från 2.9.1 till 2.22.1
    • org.objenesis.objenesis från 3.3 till 3.4
    • org.scala-lang.modules.scala-xml_2.13 från 2.3.0 till 2.4.0

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

  • Operativsystem: Ubuntu 24.04.4 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Delta lake: 4.2.0

Installerade Python bibliotek

Denna lista inkluderar Python-paket som Ubuntu-systempaket installerar, såsom unattended-upgrades och ssh-import-id.

Bibliotek Version Bibliotek Version Bibliotek Version
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
kommenterad-dokument 0.0.4 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
arrow 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 attrs 24.3.0 autocommand 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
azure-storage-file-datalake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 black 24.10.0 bleach 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 click 8.1.8
cloudpickle 3.0.0 comm 0.2.1 contourpy 1.3.1
cryptography 44.0.1 cycler 0.11.0 Cython 3.1.5
Databricks-agenter 1.9.1 databricks-sdk 0.67.0 Dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 decorator 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
distlib 0.3.9 docstring-to-markdown 0.11 executing 1.2.0
facets-overview 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
filelock 3.17.0 fonttools 4.55.3 fqdn 1.5.1
frystelista 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.47.0
google-cloud-core 2.5.0 google-cloud-storage 3.7.0 google-crc32c 1.8.0
google-resumable-media 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 idna 3.7 importlib_metadata 8.5.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.7.2 isoduration 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.2 Jinja2 3.1.6
jiter 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch 1,33 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.15.0 jupyter_server_terminals 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 skumgodis 3.26.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
multidikt 6.1.0 mypy-extensions 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 notebook 7.3.2 notebook_shim 0.2.4
numpy 2.1.3 oauthlib 3.2.2 openai 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-semantic-conventions 0.60b1 orjson 3.11.5 overrides 7.4.0
packaging 24,2 pandas 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 patsy 1.0.1
pexpect 4.8.0 pillow 11.1.0 pip 25.0.1
platformdirs 4.3.7 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.1 prompt-toolkit 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyroaring 1.0.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.2 pytoolconfig 1.2.6 pytz 2024.1
PyYAML 6.0.2 pyzmq 26.2.0 referencing 0.30.2
regex 2024.11.6 requests 2.32.3 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
rope 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn 1.6.1 scipy 1.15.3
seaborn 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
shellingham 1.5.4 six 1.17.0 smmap 5.0.0
sniffio 1.3.0 sortedcontainers 2.4.0 soupsieve 2,5
sqlparse 0.5.5 ssh-import-id 5.11 stack-data 0.6.3
starlette 0.50.0 strictyaml 1.7.3 tenacity 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tiktoken 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 Tokeniserare 0.22.2
tomli 2.0.1 tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 skrivgranskning 0.9.0 typing_extensions 4.12.2
tzdata 2024.1 ujson 5.10.0 unattended-upgrades 0.1
uri-template 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 25.10.0 webencodings 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
närhelst 0.7.3 widgetsnbextension 3.6.6 wrapt 1.17.0
yapf 0.40.2 jarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

Installerade R-bibliotek

R-bibliotek installeras från CRAN-ögonblicksbilden i Posit Správca balíkov på PACKAGES.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 22.0.0 askpass 1.2.1 assertthat 0.2.1
backports 1.5.0 base 4.5.1 base64enc 0.1-3
bigD 0.3.1 bit 4.6.0 bit64 4.6.0-1
bitops 1.0-9 BLOB 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.10
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
caret 7.0-1 cellranger 1.1.0 chron 2.3-62
class 7.3-22 cli 3.6.5 clipr 0.8.0
clock 0.7.3 cluster 2.1.6 codetools 0.2-20
commonmark 2.0.0 compiler 4.5.1 config 0.3.2
conflicted 1.2.0 cpp11 0.5.2 crayon 1.5.3
autentiseringsuppgifter 2.0.3 curl 7.0.0 data.table 1.17.8
datasets 4.5.1 DBI 1.2.3 dbplyr 2.5.1
desc 1.4.3 devtools 2.4.6 diagram 1.6.5
diffobj 0.3.6 digest 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
ellipsis 0.3.2 evaluate 1.0.5 fansi 1.0.7
farver 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 foreign 0.8-86
fs 1.6.6 future 1.68.0 future.apply 1.20.0
gargle 1.6.0 generics 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
glue 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 graphics 4.5.1 grDevices 4.5.1
grid 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 hardhat 1.4.2
haven 2.5.5 highr 0.11 hms 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
iterators 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 knitr 1.50
labeling 0.4.3 later 1.4.4 lattice 0.22-5
lava 1.8.2 lifecycle 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
markdown 2.0 MASS 7.3-60.0.1 Matris 1.6-5
memoise 2.0.1 methods 4.5.1 mgcv 1.9-1
mime 0.13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv 2016.8-1.1 openssl 2.3.4
otel 0.2.0 parallel 4.5.1 parallelly 1.45.1
pillar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 praise 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 progress 1.2.3 progressr 0.18.0
promises 1.5.0 proto 1.0.0 proxy 0.4-27
ps 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 reactable 0.4.4 reactR 0.6.1
readr 2.1.6 readxl 1.4.5 recipes 1.3.1
rematch 2.0.0 rematch2 2.1.2 remotes 2.5.0
reprex 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 sass 0.4.10
scales 1.4.0 selectr 0.4-2 sessioninfo 1.2.3
shape 1.4.6.1 shiny 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spatial 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.5.1 stats4 4.5.1
stringi 1.8.7 stringr 1.6.0 survival 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 textshaping 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 timechange 0.3.0 timeDate 4051.111
tinytex 0.58 tools 4.5.1 tzdb 0.5.0
urlchecker 1.0.1 usethis 3.2.1 utf8 1.2.6
utils 4.5.1 uuid 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.6
waldo 0.6.2 whisker 0.4.1 withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
zip 2.3.3

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)

grupp-id Artefakt-ID Version
antlr antlr 2.7.7
com.clearspring.analytics stream 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value auto-value-annotations 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone error_prone_annotations 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava guava 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 2.0.2
io.delta delta-sharing-client_2.13 1.3.11
io.dropwizard.metrics metrics-annotation 4.2.37
io.dropwizard.metrics metrics-core 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics metrics-healthchecks 4.2.37
io.dropwizard.metrics metrics-jetty10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics metrics-servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx collector 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilkomprimering 18.3.0
org.apache.arrow arrow-format 18.3.0
org.apache.arrow arrow-memory-core 18.3.0
org.apache.arrow arrow-memory-netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.14.0
org.apache.curator curator-client 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator curator-recipes 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty jetty-plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty jetty-security 10.0.26
org.eclipse.jetty jetty-server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty jetty-webapp 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,41
org.glassfish.jersey.containers jersey-container-servlet-core 2,41
org.glassfish.jersey.core jersey-client 2,41
org.glassfish.jersey.core jersey-common 2,41
org.glassfish.jersey.core jersey-server 2,41
org.glassfish.jersey.inject jersey-hk2 2,41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest scalatest-compatible 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
stax stax-api 1.0.1