Dela via

Databricks Runtime 14.3 LTS

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 14.3 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i februari 2024.

Kommentar

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Nya funktioner och förbättringar

Stöd för arbetsytefilsystem i PySpark Användardefinierade funktioner (UDF: er) på delade kluster

PySpark-UDF:er på delade kluster kan nu importera Python-moduler från Git-mappar, arbetsytefiler eller UC-volymer.

Mer information om hur du arbetar med moduler i Git-mappar eller arbetsytefiler finns i Arbeta med Python- och R-moduler.

Stöd för borttagning av vektoroptimeringar MERGE utan Photon

Foton krävs inte längre för åtgärder för MERGE att utnyttja optimering av borttagningsvektorer. Se Vad är borttagningsvektorer?.

Spark-katalog-API:er stöds nu fullt ut i läget för delad åtkomst

Nu kan du använda alla funktioner i API:et spark.catalog i både Python och Scala vid beräkning som konfigurerats med läget för delad åtkomst.

Delta UniForm är nu allmänt tillgängligt

UniForm är nu allmänt tillgängligt och använder IcebergCompatV2 tabellfunktionen. Nu kan du aktivera eller uppgradera UniForm i befintliga tabeller. Se Använda UniForm för att läsa Delta-tabeller med Iceberg-klienter.

Ny SQL-funktion KÖR OMEDELBART

Nu kan du använda syntaxen EXECUTE IMMEDIATE för att stödja parametriserade frågor i SQL. Se KÖR OMEDELBART.

Omkomputera data som hoppar över statistik för Delta-tabeller

Nu kan du omkomputera statistik som lagras i Delta-loggen när du har ändrat kolumner som används för datahopp. Se Ange deltastatistikkolumner.

Fråga tillståndsinformation för tillståndskänsliga strömningsfrågor

Nu kan du fråga structured streaming state data och metadata. Se Läsa information om status för strukturerad direktuppspelning.

Använda Microsoft Entra-ID för Kafka-autentisering i delade kluster

Nu kan du autentisera Event Hubs-tjänster via OAuth med Microsoft Entra-ID vid beräkning som konfigurerats med läget för delad åtkomst. Se Autentisering med tjänstens huvudnamn med Microsoft Entra-ID och Azure Event Hubs.

Stöd har lagts till för fil- och partitionsrensning för att förbättra frågeprestanda

För att påskynda vissa frågor som förlitar sig på null-tolerant likhet i JOIN-villkor stöder DynamicFilePruning vi nu och DynamicPartitionPruning för operatorn EqualNullSafe i JOIN.

Deklarera tillfälliga variabler i en SQL-session

Den här versionen introducerar möjligheten att deklarera tillfälliga variabler i en session som kan anges och sedan refereras till inifrån frågor. Se Variabler.

Thriftserver-uppdateringar för att ta bort oanvända funktioner

Thriftserver-koden har uppdaterats för att ta bort kod för föråldrade funktioner. På grund av dessa ändringar stöds inte längre följande konfigurationer:

  • Hive-extra JAR:er, som konfigurerats med egenskapen hive.aux.jars.path , stöds inte längre för hive-thriftserver anslutningar.
  • Hive global init-filen (.hiverc), vars plats har konfigurerats med egenskapen hive.server2.global.init.file.location eller HIVE_CONF_DIR miljövariabeln, stöds inte längre för hive-thriftserver anslutningar.

Använda truststore- och keystore-filer i Unity Catalog-volymer

Nu kan du använda säkerhetsarkiv- och nyckelarkivfiler i Unity Catalog-volymer för att autentisera till ett Confluent Schema Registry för avro- eller protokollbuffertdata. Se dokumentationen för avro - eller protokollbuffertar.

Stöd för internt XML-filformat (offentlig förhandsversion)

Stöd för internt XML-filformat finns nu i offentlig förhandsversion. Stöd för XML-filformat möjliggör inmatning, frågor och parsning av XML-data för batchbearbetning eller strömning. Den kan automatiskt härleda och utveckla schema- och datatyper, stöder SQL-uttryck som from_xmloch kan generera XML-dokument. Det kräver inte externa jars och fungerar sömlöst med Auto Loader, read_files, COPY INTOoch Delta Live Tables. Se Läsa och skriva XML-filer.

Stöd för Cloudflare R2-lagring (offentlig förhandsversion)

Nu kan du använda Cloudflare R2 som molnlagring för data som registrerats i Unity Catalog. Cloudflare R2 är främst avsett för användningsfall för deltadelning där du vill undvika de avgifter för utgående data som debiteras av molnleverantörer när data korsar regioner. R2 Storage stöder alla Databricks-data och AI-tillgångar som stöds i AWS S3, Azure Data Lake Storage Gen2 och Google Cloud Storage. Se Använda Cloudflare R2-repliker eller migrera lagring till R2 och Skapa en lagringsautentiseringsuppgift för att ansluta till Cloudflare R2.

Spark- och dbutils-åtkomst till stöd för arbetsytefiler i Unity Catalog-kluster med delad åtkomst

Spark- och dbutils läs- och skrivåtkomst till arbetsytefiler stöds nu i Unity Catalog-kluster i läget för delad åtkomst. Se Arbeta med arbetsytefiler.

Stöd för Init-skript och klusterbibliotek på Unity Catalog-kluster med delad åtkomst

Installation av klusteromfattande init-skript och Python- och JAR-bibliotek i Unity Catalog-kluster i läget för delad åtkomst, inklusive installation med hjälp av klusterprinciper, är nu allmänt tillgänglig. Databricks rekommenderar att du installerar init-skript och bibliotek från Unity Catalog-volymer.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • fastjsonschema från 2.19.0 till 2.19.1
    • filelock från 3.12.4 till 3.13.1
    • googleapis-common-protos från 1.61.0 till 1.62.0
    • förpackning från 22.0 till 23.2
  • Uppgraderade R-bibliotek:
    • utländsk från 0,8-82 till 0,8-85
    • nlme från 3.1-162 till 3.1-163
    • rpart från 4.1.19 till 4.1.21
  • Uppgraderade Java-bibliotek:
    • com.databricks.databricks-sdk-java från 0.7.0 till 0.13.0
    • org.apache.orc.orc-core från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims från 1.9.1 till 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 från 2.9.0 till 2.11.0

Apache Spark

Databricks Runtime 14.3 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-46541] [SC-153546][SQL][ANSLUT] Åtgärda den tvetydiga kolumnreferensen i självkoppling
  • [SPARK-45433] Återställ "[SC-145163][SQL] Åtgärda CSV/JSON-schemaslut...
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][ANSLUT][SCALA] Gör addArtifact återförsöksbar
  • [SPARK-46660] [SC-153391][ANSLUT] ReattachExecute begär uppdateringar av sessionshållarens livskraft
  • [SPARK-46670] [SC-153273][PYTHON][SQL] Gör DataSourceManager själv klonad genom att separera statiska python-datakällor och körningsdatakällor
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Omstrukturera Python-datakälla så att den överensstämmer med andra inbyggda DSv2-datakällor
  • [SPARK-46684] [SC-153275][PYTHON][ANSLUT] Korrigera CoGroup.applyInPandas/Arrow för att skicka argument korrekt
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: Utlösa fel på flera XML-datakällor
  • [SPARK-46382] [SC-151881][SQL]XML: Standard ignoreSurroundingSpaces till true
  • [SPARK-46382] [SC-153178][SQL] XML: Uppdatera dokument för ignoreSurroundingSpaces
  • [SPARK-45292] Återställ "[SC-151609][SQL][HIVE] Ta bort Guava från delade klasser från IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][SQL][HIVE] Ta bort Guava från delade klasser från IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] Logga det slutliga tillståndet för drivrutiner under Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] Verifiera returnType för Arrow Python UDF
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] Åtgärda Avro-läsare för att hantera block med noll längd
  • [SPARK-46537] [SC-151286][SQL] Konvertera NPE och hävdar från kommandon till interna fel
  • [SPARK-46179] [SC-151678][SQL] Lägg till CrossDbmsQueryTestSuites, som kör andra DBMS mot gyllene filer med andra DBMS, från och med Postgres
  • [SPARK-44001] [SC-151413][PROTOBUF] Lägg till alternativ för att tillåta att protobuf-välkända omslutningstyper packas upp
  • [SPARK-40876] [SC-151786][SQL] Breddning av typhöjning för decimaler med större skala i Parquet-läsare
  • [SPARK-46605] [SC-151769][ANSLUT] Stöd för att skapa lit/typedLit funktion i connect-modulen s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][SQL] literalverifiering bör inte öka detaljnivån till null-fält
  • [SPARK-37039] [SC-153094][PS] Korrigering Series.astype för att fungera korrekt med värde som saknas
  • [SPARK-46312] [SC-150163][CORE] Använd lower_camel_case i store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML: Verifiera XML-elementnamnet vid skrivning
  • [SPARK-46627] [SC-152981][SS][Användargränssnitt] Åtgärda knappbeskrivningsinnehåll för tidslinjen i direktuppspelningsgränssnittet
  • [SPARK-46248] [SC-151774][SQL] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
  • [SPARK-46386] [SC-150766][PYTHON] Förbättra observationens försäkran (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Uppdatera kommentar om isZero i AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Åtgärda loggfel i handleStatusMessage
  • [SPARK-46568] [SC-151685][PYTHON] Gör Python-datakällans alternativ till en skiftlägeskänslig ordlista
  • [SPARK-46611] [SC-151783][CORE] Ta bort ThreadLocal genom att ersätta SimpleDateFormat med DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Skapa Literal.apply support s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][SQL][PYTHON] Åtgärda utdatanamnet för pyspark.sql.functions.user och session_user
  • [SPARK-46621] [SC-151794][PYTHON] Adress null från Exception.getMessage i Py4J-infångade undantag
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader bör respektera minnesläget när du skapar kolumnvektorer för den saknade kolumnen
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Logga fullständigt undantag när det inte gick att söka efter Python-datakällor
  • [SPARK-46559] [SC-151364][MLLIB] Omsluta export i paketnamnet med backticks
  • [SPARK-46522] [SC-151784][PYTHON] Blockera registrering av Python-datakälla med namnkonflikter
  • [SPARK-45580] [SC-149956][SQL] Referensfall där en kapslad underfråga blir en existenskoppling
  • [SPARK-46609] [SC-151714][SQL] Undvik exponentiell explosion i PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Åtgärda NPE när du beskriver utökad kolumn utan kolstatistik
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll
  • [SPARK-40876] [SC-151129][SQL] Breddning typ kampanjer i Parquet läsare
  • [SPARK-46179] [SC-151069][SQL] Hämta kod till återanvändbara funktioner i SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Support s.c.immutable.ArraySeq som customCollectionCls i MapObjects
  • [SPARK-46585] [SC-151622][CORE] Direkt konstruerad metricPeaks som en immutable.ArraySeq i stället för att användas mutable.ArraySeq.toSeq i Executor
  • [SPARK-46488] [SC-151173][SQL] Hoppar över trimAlla anrop under tidsstämpelparsning
  • [SPARK-46231] [SC-149724][PYTHON] Migrera alla återstående NotImplementedError & TypeError till PySpark-felramverket
  • [SPARK-46348] [SC-150281][CORE] Stöd spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Varaktighet för loggåterställning Spark HA
  • [SPARK-46358] [SC-150307][ANSLUT] Förenkla villkorskontrollen i ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL]Ersätt aktuell tid/datum innan du utvärderar infogade tabelluttryck.
  • [SPARK-46563] [SC-151441][SQL] Visa simpleString följer inte conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Minska stackdjupet genom att ersätta (string|array).size med (string|array).length
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(alla fält från en struct) resulterar i ett kontrollfel
  • [SPARK-46565] [SC-151414][PYTHON] Förfina felklasser och felmeddelanden för Python-datakällor
  • [SPARK-46576] [SC-151614][SQL] Förbättra felmeddelanden för sparandeläge för datakällor som inte stöds
  • [SPARK-46540] [SC-151355][PYTHON] Respektera kolumnnamn när Python-datakällan läser funktionen utdata med namnet Radobjekt
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite läcker Hive's SessionState
  • [SPARK-44556] [SC-151562][SQL] Återanvänd när OrcTail du aktiverar vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML: Åtgärda XSD-konvertering av stora heltal
  • [SPARK-46382] [SC-151297][SQL] XML: Samla in värden mellan element
  • [SPARK-46567] [SC-151447][CORE] Ta bort ThreadLocal för ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Automatisk registrering av Python-datakälla vid start
  • [SPARK-28386] [SC-151014][SQL] Det går inte att matcha ORDER BY-kolumner med GROUP BY och HAVING
  • [SPARK-46524] [SC-151446][SQL] Förbättra felmeddelanden för ogiltigt spara-läge
  • [SPARK-46294] [SC-150672][SQL] Rensa semantik för init jämfört med nollvärde
  • [SPARK-46301] [SC-150100][CORE] Stöd spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Ta bort kontrollen från c>=0 ExternalCatalogUtils#needsEscaping eftersom den alltid är sann
  • [SPARK-46553] [SC-151360][PS] FutureWarning för interpolate med objekt-dtype
  • [SPARK-45914] [SC-151312][PYTHON] Stöd för incheckning och avbruten API för skrivning av Python-datakälla
  • [SPARK-46543] [SC-151350][PYTHON][ANSLUT] Gör json_tuple kasta PySparkValueError för tomma fält
  • [SPARK-46520] [SC-151227][PYTHON] Stöd för överskrivningsläge för skrivning av Python-datakälla
  • [SPARK-46502] [SC-151235][SQL] Stöd för tidsstämpeltyper i UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][ANSLUT] Skicka meddelandeparametrar i metadata för ErrorInfo
  • [SPARK-46397] Återställ "[SC-151311][PYTHON][CONNECT] Funktionen sha2 bör höjas PySparkValueError för ogiltig numBits"
  • [SPARK-46170] [SC-149472][SQL] Stöd för att mata in anpassningsbara strategiregler för frågehanteraren i SparkSessionExtensions
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable bör inte läsa in tabellen
  • [SPARK-46397] [SC-151311][PYTHON][ANSLUT] Funktionen sha2 bör höjas PySparkValueError för ogiltig numBits
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables utlöser inte undantag när tabellen eller vyn inte hittas
  • [SPARK-46272] [SC-151012][SQL] Stöd för CTAS med DSv2-källor
  • [SPARK-46480] [SC-151127][CORE][SQL] Åtgärda NPE när uppgiftsförsök för tabellcache
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Minska stackdjupet genom att ersätta (string|array).size med (string|array).length
  • [SPARK-45795] [SC-150764][SQL] DS V2 stöder nedtryckningsläge
  • [SPARK-46485] [SC-151133][SQL] V1Write bör inte lägga till Sortera när det inte behövs
  • [SPARK-46468] [SC-151121] [SQL] Hantera COUNT-bugg för EXISTS-underfrågor med aggregering utan grupperingsnycklar
  • [SPARK-46246] [SC-150927][SQL] KÖR OMEDELBART SQL-stöd
  • [SPARK-46498] [SC-151199][CORE] Ta bort shuffleServiceEnabled från o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Ange ombaseringskonfigurationerna till CORRECTED läget som standard
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Stöd för skrivning av Python-datakälla med DSv2
  • [SPARK-46505] [SC-151187][ANSLUT] Gör bytetröskeln konfigurerbar i ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Ta bort den äldre datetime-ombaseringen av SQL-konfigurationer
  • [SPARK-46443] [SC-151123][SQL] Decimalprecision och skala bör bestämmas med H2-dialekt.
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][Användargränssnitt] Åtgärda stackdiagram för åtgärdsvaraktighet på sidan Strukturerad direktuppspelning
  • [SPARK-46207] [SC-151068][SQL] Stöd för MergeInto i DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Lägga till ett nytt API i DataWriter för att skriva en iterator med poster
  • [SPARK-46273] [SC-150313][SQL] Stöd för INSERT INTO/OVERWRITE med DSv2-källor
  • [SPARK-46344] [SC-150267][CORE] Varna korrekt när en drivrutin finns men huvudservern är frånkopplad
  • [SPARK-46284] [SC-149944][PYTHON][ANSLUT] Lägg till session_user funktion i Python
  • [SPARK-46043] [SC-149786][SQL] Stöd för att skapa tabell med DSv2-källor
  • [SPARK-46323] [SC-150191][PYTHON] Åtgärda utdatanamnet för pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][PYTHON][ANSLUT] Lägg till Column.isNaN i PySpark
  • [SPARK-46456] [SC-151050][CORE] Lägg till spark.ui.jettyStopTimeout för att ställa in tidsgränsen för jetty-serverns stopp för att avblockera SparkContext-avstängning
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: tillåt uppsändning av osignerade heltalstyper
  • [SPARK-46399] [SC-151013][14.x][Kärna] Lägg till avslutningsstatus i programsluthändelsen för användning av Spark-lyssnaren
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Gör Python Data Source-instansen till DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Stöd för Python-mått i Python-datakälla
  • [SPARK-46330] [SC-151015] Inläsning av Spark-gränssnittsblock under en lång tid när HybridStore är aktiverat
  • [SPARK-46378] [SC-150397][SQL] Ta fortfarande bort Sortera efter konvertering av aggregering till projekt
  • [SPARK-45506] [SC-146959][ANSLUT] Lägga till stöd för ivy-URI i SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][ANSLUT][SQL]Gör ArrowConverters.createEmptyArrowBatch-anropsstängning() för att undvika minnesläcka
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Ändra beskrivningen av Python-datakällan så att den är snygg i förklaringen
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Stöd för att skapa en tabell med hjälp av en Python-datakälla i SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][PYTHON] Lägga till getMessageParameters och getQueryContext-stöd
  • [SPARK-46453] [SC-150897][ANSLUT] Generera undantag från internalError() i SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Introducera en mapper för hadoop-komprimeringskodexer
  • [SPARK-46213] [PYTHON] Introduktion för PySparkImportError felramverk
  • [SPARK-46230] [SC-149960][PYTHON] Migrera RetriesExceeded till PySpark-fel
  • [SPARK-45035] [SC-145887][SQL] Åtgärda ignoreCorruptFiles/ignoreMissingFiles med flera csv/JSON rapporterar fel
  • [SPARK-46289] [SC-150846][SQL] Stöd för att beställa UDT i tolkat läge
  • [SPARK-46229] [SC-150798][PYTHON][ANSLUT] Lägg till applyInArrow i groupBy och cogroup i Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Ta bort oanvänd transport i SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migrera alla återstående RuntimeError till PySpark-felramverket
  • [SPARK-45796] [SC-150613][SQL] SupportLÄGE() INOM GRUPPEN (ORDER BY col)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Lägg till applyInArrow i groupBy och cogroup
  • [SPARK-46069] [SC-149672][SQL] Stöd för att packa upp tidsstämpeltypen hittills
  • [SPARK-46406] [SC-150770][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] Konvertera IllegalStateException till internalError i sessions iteratorer
  • [SPARK-45807] [SC-150751][SQL] Förbättra ViewCatalog API
  • [SPARK-46009] [SC-149771][SQL][ANSLUT] Sammanfoga parsningsregeln för PercentileCont och PercentileDisc till functionCall
  • [SPARK-46403] [SC-150756][SQL] Avkoda parquet-binär med getBytesUnsafe-metod
  • [SPARK-46389] [SC-150779][CORE] Stäng instansen RocksDB/LevelDB manuellt när checkVersion du genererar undantag
  • [SPARK-46360] [SC-150376][PYTHON] Förbättra felsökning av felmeddelanden med nytt getMessage API
  • [SPARK-46233] [SC-149766][PYTHON] Migrera alla återstående AttributeError till PySpark-felramverket
  • [SPARK-46394] [SC-150599][SQL] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema de är inställda på true
  • [SPARK-45964] [SC-148484][SQL] Ta bort privat SQL-accessor i XML- och JSON-paketet under katalysatorpaketet
  • [SPARK-45856] [SC-148691] Flytta ArtifactManager från Spark Connect till SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][ANSLUT] Åtgärda spark-connect-scala-client launch-script
  • [SPARK-46416] [SC-150699][CORE] Lägg till i @tailrecHadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Begränsa teckenuppsättningar i encode()
  • [SPARK-46253] [SC-150416][PYTHON] Planera läsning av Python-datakälla med MapInArrow
  • [SPARK-46339] [SC-150266][SS] Katalog med batchnummernamn ska inte behandlas som metadatalogg
  • [SPARK-46353] [SC-150396][CORE] Omstrukturera för att förbättra RegisterWorker enhetens testtäckning
  • [SPARK-45826] [SC-149061][SQL] Lägga till en SQL-konfiguration för stackspårningar i DataFrame-frågekontext
  • [SPARK-45649] [SC-150300][SQL] Förena förberedelseramverket för OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Åtgärda huvudservern för att uppdatera en arbetare från UNKNOWN till ALIVE på RegisterWorker msg
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis missar mönsterskyddet för query.resolved
  • [SPARK-46401] [SC-150609][CORE] Använd !isEmpty() på RoaringBitmap i stället för getCardinality() > 0 i RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Klassificera undantag i JDBC-tabellkatalogen
  • [SPARK-45798] [SC-150513][ANSLUT] Uppföljning: lägg till serverSessionId i SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: Lägg till stöd för TimestampNTZType
  • [SPARK-46075] [SC-150393][ANSLUT] Förbättringar av SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Ersätt felaktig dokumentationsanvändning av setConf med conf.set
  • [SPARK-46202] [SC-150420][ANSLUT] Exponera nya ArtifactManager-API:er för att stödja anpassade målkataloger
  • [SPARK-45824] [SC-147648][SQL] Framtvinga felklassen i ParseException
  • [SPARK-45845] [SC-148163][SS][Användargränssnitt] Lägga till antal borttagna tillståndsrader i direktuppspelningsgränssnittet
  • [SPARK-46316] [SC-150181][CORE] Aktivera buf-lint-action i core modulen
  • [SPARK-45816] [SC-147656][SQL] Returnera NULL vid spill under gjutning från tidsstämpel till heltal
  • [SPARK-46333] [SC-150263][SQL] Ersätt med IllegalStateException SparkException.internalError i katalysator
  • [SPARK-45762] [SC-148486][CORE] Stöd för shuffle-chefer som definierats i användarburkar genom att ändra startordning
  • [SPARK-46239] [SC-149752][CORE] Dölj Jetty information
  • [SPARK-45886] [SC-148089][SQL] Utdata för fullständig stackspårning i callSite DataFrame-kontext
  • [SPARK-46290] [SC-150059][PYTHON] Ändra saveMode till en boolesk flagga för DataSourceWriter
  • [SPARK-45899] [SC-148097][ANSLUT] Ange errorClass i errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Exponera stackspårning efter DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Stöd killall i REST Submission API
  • [SPARK-46234] [SC-149711][PYTHON] Introduktion för PySparkKeyError PySpark-felramverk
  • [SPARK-45606] [SC-147655][SQL] Versionsbegränsningar för körningsfilter i flera lager
  • [SPARK-45725] [SC-147006][SQL] Ta bort in-underkry runtime-filtret som inte är standard
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Rensa inaktuell API-användning View.force och ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] Gör mer withOrigin allmänt
  • [SPARK-46292] [SC-150086][CORE][Användargränssnitt] Visa en sammanfattning av arbetare i MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Använd LazyList i stället för Stream
  • [SPARK-45888] [SC-149945][SS] Tillämpa ramverk för felklass på tillståndsdatakälla (metadata)
  • [SPARK-46261] [SC-150111][ANSLUT] DataFrame.withColumnsRenamed ska behålla dikteringen/kartordningen
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][Användargränssnitt] Rensa SeqOps.view och ArrayOps.view konvertera
  • [SPARK-46029] [SC-149255][SQL] Undvik det enkla citatet _ och % för DS V2-pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Returnera null i tillåtande läge när deserialiseringen misslyckas.
  • [SPARK-46320] [SC-150187][CORE] Stöd spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] Tryck inte ned Parquet-radgruppfilter som spills över
  • [SPARK-46300] [SC-150097][PYTHON][ANSLUT] Matcha mindre beteendematchning i Kolumn med fullständig testtäckning
  • [SPARK-46298] [SC-150092][PYTHON][ANSLUT] Matcha utfasningsvarning, testfall och fel för Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Rensa den inaktuella API-användningen som är relaterad till StringContext/StringOps/RightProjection/LeftProjection/Either och typanvändning av BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Stöd FÖR SHOW TABLE EXTENDED in v2
  • [SPARK-45737] [SC-147011][SQL] Ta bort onödiga .toArray[InternalRow]SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Kräv instanslås för att hämta RocksDB-mått för att förhindra ras med bakgrundsåtgärder
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed bör respektera dikteringsordningen
  • [SPARK-46274] [SC-150043] [SQL] Åtgärda rangeoperatorn computeStats() för att kontrollera lång giltighet innan du konverterar
  • [SPARK-46040] [SC-149767][SQL][Python] Uppdatera UDTF-API:et för att "analysera" partitionerings-/ordningskolumner för att stödja allmänna uttryck
  • [SPARK-46287] [SC-149949][PYTHON][ANSLUT] DataFrame.isEmpty bör fungera med alla datatyper
  • [SPARK-45678] [SC-146825][CORE] Täcka BufferReleasingInputStream.available/reset under tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][ANSLUT] Rensa den inaktuella API-användningen som är relaterad till IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][SQL] introducerar select * except syntax
  • [SPARK-46269] [SC-149816][PS] Aktivera fler NumPy-kompatibilitetsfunktionstester
  • [SPARK-45807] [SC-149851][SQL] Lägg till createOrReplaceView(..) / replaceView(..) i ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][ANSLUT][MLLIB][PYTHON] Introducera en implicit funktion för Scala-matrisen som ska omslutas till immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][CORE] Förbättra PersistenceEngine prestanda med KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Returnera specifika felmeddelanden om UDTF-metoden "analysera" eller "eval" accepterar eller returnerar fel värden
  • [SPARK-46186] [SC-149707][ANSLUT] Åtgärda olaglig tillståndsövergång när ExecuteThreadRunner avbröts innan den startades
  • [SPARK-46262] [SC-149803][PS] Aktivera test för np.left_shift Pandas-on-Spark-objekt.
  • [SPARK-45093] [SC-149679][ANSLUT][PYTHON] Korrekt stöd för felhantering och konvertering för AddArtifactHandler
  • [SPARK-46188] [SC-149571][Doc][3.5] Åtgärda CSS för Spark Docs genererade tabeller
  • [SPARK-45940] [SC-149549][PYTHON] Lägg till InputPartition i DataSourceReader-gränssnittet
  • [SPARK-43393] [SC-148301][SQL] Fel vid spill av adresssekvensuttryck.
  • [SPARK-46144] [SC-149466][SQL] Infoga inte i ... REPLACE-instruktion om villkoret innehåller underfrågor
  • [SPARK-46118] [SC-149096][SQL][SS][ANSLUT] Använd SparkSession.sessionState.conf i stället för SQLContext.conf och markera SQLContext.conf som inaktuell
  • [SPARK-45760] [SC-147550][SQL] Lägg till med uttryck för att undvika duplicering av uttryck
  • [SPARK-43228] [SC-149670][SQL] Kopplingsnycklar matchar också PartitioningCollection i CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][PS] Testa SparkPandasNotImplementedError med rensning av oanvänd kod
  • [SPARK-46119] [SC-149205][SQL] Åsidosättningsmetod toString för UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Använda ett smalare omfångsfel för SQL-processor
  • [SPARK-46191] [SC-149565][CORE] Förbättra FileSystemPersistenceEngine.persist felet msg i händelse av den befintliga filen
  • [SPARK-46036] [SC-149356][SQL] Ta bort felklass från funktionen raise_error
  • [SPARK-46055] [SC-149254][SQL] Omskrivning av API:er för katalogdatabas
  • [SPARK-46152] [SC-149454][SQL] XML: Lägg till DecimalType-stöd i XML-schemainferens
  • [SPARK-45943] [SC-149452][SQL] Flytta DetermineTableStats till lösningsregler
  • [SPARK-45887] [SC-148994][SQL] Justera codegen- och icke-codegen-implementering av Encode
  • [SPARK-45022] [SC-147158][SQL] Ange kontext för API-fel för datauppsättning
  • [SPARK-45469] [SC-145135][CORE][SQL][ANSLUT][PYTHON] Ersätt toIterator med iterator för IterableOnce
  • [SPARK-46141] [SC-149357][SQL] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Ersätt IterableOnceOps#aggregate med IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Återanvänd Literal-objekt i ComputeCurrentTime-regeln
  • [SPARK-45803] [SC-147489][CORE] Ta bort den som inte längre används RpcAbortException
  • [SPARK-46148] [SC-149350][PS] Åtgärda pyspark.pandas.mlflow.load_model test (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Använda felklasser i modulerna catalog, conf, connect, observation, pandas
  • [SPARK-45827] [SC-149203][SQL] Variantkorrigeringar med kodgen och vektoriserad läsare inaktiverad
  • [SPARK-46080] Återställ "[SC-149012][PYTHON] Uppgradera Cloudpickle till 3.0.0"
  • [SPARK-45460] [SC-144852][SQL] Ersätt scala.collection.convert.ImplicitConversions till scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Ta bort den särskilda upplösningen för UnresolvedNamespace för vissa kommandon
  • [SPARK-45600] [SC-148976][PYTHON] Gör Python-datakällans registreringssessionsnivå
  • [SPARK-46074] [SC-149063][ANSLUT][SCALA] Otillräcklig information i felmeddelandet om UDF-fel
  • [SPARK-46114] [SC-149076][PYTHON] Lägg till PySparkIndexError för felramverk
  • [SPARK-46120] [SC-149083][ANSLUT][PYTHON] Ta bort hjälpfunktionen DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Uppdateringssökvägshantering för Python-datakälla
  • [SPARK-46062] [14.x][SC-148991][SQL] Synkronisera isStreaming-flaggan mellan CTE-definition och referens
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Rensa den inaktuella API-användningen som är relaterad till Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Flytta ut EliminateEventTimeWatermark till analysatorn och ändra så att den endast börjar gälla för löst underordnad
  • [SPARK-45922] [SC-149038][ANSLUT][KLIENT] Mindre återförsök vid refaktorisering (uppföljning av flera principer)
  • [SPARK-45851] [SC-148419][ANSLUT][SCALA] Stöd för flera principer i scala-klienten
  • [SPARK-45974] [SC-149062][SQL] Lägg till scan.filterAttributes icke-tom dom för RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][ANSLUT] Dataset.groupingSets i Scala Spark Connect-klienten
  • [SPARK-45136] [SC-146607][ANSLUT] Förbättra ClosureCleaner med Stöd för Ammonite
  • [SPARK-46084] [SC-149020][PS] Refaktorisering av datatyp för kategorisk typ.
  • [SPARK-46083] [SC-149018][PYTHON] Gör SparkNoSuchElementException till ett kanoniskt fel-API
  • [SPARK-46048] [SC-148982][PYTHON][ANSLUT] Stöd för DataFrame.groupingSets i Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Uppgradera Cloudpickle till 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][ANSLUT] Åtgärda protobuf-strängrepresentation för Pandas Functions API med Spark Connect
  • [SPARK-46065] [SC-148985][PS] Omstrukturera för (DataFrame|Series).factorize() att använda create_map.
  • [SPARK-46070] [SC-148993][SQL] Kompilera regex-mönster i SparkDateTimeUtils.getZoneId utanför den heta loopen
  • [SPARK-46063] [SC-148981][PYTHON][ANSLUT] Förbättra felmeddelanden relaterade till argumenttyper i söt, sammanslagning, groupby och pivot
  • [SPARK-44442] [SC-144120][MESOS] Ta bort Stöd för Mesos
  • [SPARK-45555] [SC-147620][PYTHON] Innehåller ett felsökningsbart objekt för misslyckad kontroll
  • [SPARK-46048] [SC-148871][PYTHON][SQL] Stöd för DataFrame.groupingSets i PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] Gör felhandler till en körningskonfiguration för Python-körning i SQL
  • [SPARK-45996] [SC-148586][PYTHON][ANSLUT] Visa meddelanden om rätt beroendekrav för Spark Connect
  • [SPARK-45681] [SC-146893][Användargränssnitt] Klona en js-version av UIUtils.errorMessageCell för konsekvent felåtergivning i användargränssnittet
  • [SPARK-45767] [SC-147225][CORE] Ta bort TimeStampedHashMap och dess UT
  • [SPARK-45696] [SC-148864][CORE] Fix method tryCompleteWith in trait Promise is deprecated
  • [SPARK-45503] [SC-146338][SS] Lägg till konfiguration för att ange RocksDB-komprimering
  • [SPARK-45338] [SC-143934][CORE][SQL] Ersätt scala.collection.JavaConverters till scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Åtgärda ArrayIndexOutOfBoundsException i conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Förbättring av XSDToSchema API: Ändra till HDFS API för molnlagringstillgänglighet
  • [SPARK-45819] [SC-147570][CORE] Stöd clear i REST Submission API
  • [SPARK-45552] [14.x][SC-146874][PS] Introducera flexibla parametrar för assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Direktuppspelning][14.x][CHERRY-PICK] Ange ett gränssnitt för andra direktuppspelningskällor för att lägga _metadata till kolumner
  • [SPARK-45929] [SC-148692][SQL] Stöd för groupingSets-åtgärd i api för dataram
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader bör inte läsa rullande loggar om appstatusfilen saknas
  • [SPARK-45965] [SC-148575][SQL] Flytta DSv2-partitioneringsuttryck till functions.partitioning
  • [SPARK-45971] [SC-148541][CORE][SQL] Korrigera paketnamnet för SparkCollectionUtils till org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Rensa den inaktuella API-användningen som är relaterad till MapOps & Fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Åtgärda typehints för att hantera list GenericAlias i Python 3.11+
  • [SPARK-45999] [SC-148595][PS] Använda dedikerad PandasProduct i cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Korrigering pyspark.ml.torch.tests.test_distributor i Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Ändra description-file till description_file
  • [SPARK-45575] [SC-146713][SQL] Stöd för tidsresor för DF Read API
  • [SPARK-45747] [SC-148404][SS] Använda prefixnyckelinformation i tillståndsmetadata för att hantera lästillstånd för sessionsfönsteraggregering
  • [SPARK-45898] [SC-148213][SQL] Skriv om katalogtabell-API:er för att använda en olöst logisk plan
  • [SPARK-45828] [SC-147663][SQL] Ta bort inaktuell metod i dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][ANSLUT] Uppgradera protobuf till 4.25.1 för att stödja Python 3.11
  • [SPARK-45911] [SC-148226][CORE] Gör TLS1.3 till standard för RPC SSL
  • [SPARK-45955] [SC-148429][Användargränssnitt] Dölj stöd för information om flamegraph och tråddumpar
  • [SPARK-45936] [SC-148392][PS] Optimera Index.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Rätt metaundantagsmatchningsregel för att hämta partitionsmetadata
  • [SPARK-45655] [SC-148085][SQL][SS] Tillåt icke-deterministiska uttryck i AggregateFunctions i CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Åtgärda användningen av inaktuell FileUtils-skrivning för att skicka standardteckenuppsättningen i RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Tillståndsdatakälla – läsare
  • [SPARK-45918] [SC-148293][PS] Optimera MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][ANSLUT][PYTHON] Returnera de observerade måtten från kommandon
  • [SPARK-45867] [SC-147916][CORE] Stöd spark.worker.idPattern
  • [SPARK-45945] [SC-148418][ANSLUT] Lägga till en hjälpfunktion för parser
  • [SPARK-45930] [SC-148399][SQL] Stöd för icke-deterministiska UDF:er i MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] Skapa Python UDTF API för att sluta använda rader från indatatabellen
  • [SPARK-45731] [SC-147929][SQL] Uppdatera även partitionsstatistik med ANALYZE TABLE kommandot
  • [SPARK-45868] [SC-148355][ANSLUT] Se till att spark.table använda samma parser med vaniljgnistor
  • [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec-spridningspartitionering bör respektera CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][SQL] Tilldela namn till fel _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][SQL] Behandla decimaler(x, 0) samma som IntegralType i PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Åtgärda felaktiga multiplikations- och divisionsresultat för decimaler
  • [SPARK-45871] [SC-148084][ANSLUT] Optimeringssamlingskonvertering relaterad till .toBuffer i modulerna connect
  • [SPARK-45822] [SC-147546][ANSLUT] SparkConnectSessionManager kan slå upp en stoppad sparkcontext
  • [SPARK-45913] [SC-148289][PYTHON] Gör de interna attributen privata från PySpark-fel.
  • [SPARK-45827] [SC-148201][SQL] Lägg till datatypen Variant i Spark.
  • [SPARK-44886] [SC-147876][SQL] Introducera CLUSTER BY-sats för CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Stöd spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][ANSLUT] Bekräfta sessions-ID på serversidan
  • [SPARK-45896] [SC-148091][SQL] Skapa ValidateExternalType med rätt förväntad typ
  • [SPARK-45902] [SC-148123][SQL] Ta bort oanvänd funktion resolvePartitionColumns från DataSource
  • [SPARK-45909] [SC-148137][SQL] Ta bort NumericType gjuten om den på ett säkert sätt kan IsNotNull
  • [SPARK-42821] [SC-147715][SQL] Ta bort oanvända parametrar i splitFiles-metoder
  • [SPARK-45875] [SC-148088][CORE] Ta bort MissingStageTableRowData från core modulen
  • [SPARK-45783] [SC-148120][PYTHON][ANSLUT] Förbättra felmeddelanden när Spark Connect-läget är aktiverat men fjärr-URL:en inte har angetts
  • [SPARK-45804] [SC-147529][Användargränssnitt] Lägg till spark.ui.threadDump.flamegraphEnabled config för att slå på/av flamdiagram
  • [SPARK-45664] [SC-146878][SQL] Introducera en mappare för orc-komprimeringskodex
  • [SPARK-45481] [SC-146715][SQL] Introducera en mapper för parquet-komprimerings codecs
  • [SPARK-45752] [SC-148005][SQL] Förenkla koden för att kontrollera Ouppnåeliga CTE-relationer
  • [SPARK-44752] [SC-146262][SQL] XML: Uppdatera Spark Docs
  • [SPARK-45752] [SC-147869][SQL] Ouppnåelig CTE bör kontrolleras av CheckAnalysis0
  • [SPARK-45842] [SC-147853][SQL] Api:er för refaktorkatalogfunktion för att använda analysverktyg
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Stöd för inläsning av Python-datakällor i DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Problem med korrekthet i AQE med InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Introducera tillståndsmetadatakälla för att fråga informationen om metadata för strömmande tillstånd
  • [SPARK-45739] [SC-147059][PYTHON] Fånga IOException i stället för enbart EOFException för felhandler
  • [SPARK-45677] [SC-146700] Bättre felloggning för observations-API
  • [SPARK-45544] [SC-146873][CORE] Integrera SSL-stöd i TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Lägg till skriv-API för Python-datakälla
  • [SPARK-45771] [SC-147270][CORE] Aktivera spark.eventLog.rolling.enabled som standard
  • [SPARK-45713] [SC-146986][PYTHON] Stöd för registrering av Python-datakällor
  • [SPARK-45656] [SC-146488][SQL] Åtgärda observation vid namngivna observationer med samma namn på olika datauppsättningar
  • [SPARK-45808] [SC-147571][ANSLUT][PYTHON] Bättre felhantering för SQL-undantag
  • [SPARK-45774] [SC-147353][CORE][Användargränssnitt] Support spark.master.ui.historyServerUrl i ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Ta bort den defensiva null-kontrollen för MapOutputTrackerMaster#unregisterShuffle tillagd i SPARK-39553
  • [SPARK-45780] [SC-147410][ANSLUT] Sprida alla Spark Connect-klienttrådar i InheritableThread
  • [SPARK-45785] [SC-147419][CORE] Stöd spark.deploy.appNumberModulo för att rotera appnummer
  • [SPARK-45793] [SC-147456][CORE] Förbättra de inbyggda komprimeringskodcerna
  • [SPARK-45757] [SC-147282][ML] Undvik beräkning av NNZ i Binarizer
  • [SPARK-45209] [SC-146490][CORE][Användargränssnitt] Stöd för Flame Graph för dumpsidan för körtråd
  • [SPARK-45777] [SC-147319][CORE] Support spark.test.appId i LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] Omstrukturera null-kontrollen för att ha genvägar
  • [SPARK-45711] [SC-146854][SQL] Introducera en mapper för avro-komprimerings codecs
  • [SPARK-45523] [SC-146077][Python] Returnera användbart felmeddelande om UDTF returnerar Ingen för en kolumn som inte kan null
  • [SPARK-45614] [SC-146729][SQL] Tilldela namn till fel _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Förbättra Dataset.isEmpty() genom att tillämpa global gräns 1
  • [SPARK-45569] [SC-145915][SQL] Tilldela namnet till felet _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Korrigering Spark History Server för att sortera Duration kolumnen korrekt
  • [SPARK-45754] [SC-147169][CORE] Stöd spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Förenkla DataFrameStatFunctions.countMinSketch med CountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Stöd spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][Användargränssnitt] Förbättra MasterPage om du bara vill visa Resource kolumnen när den finns
  • [SPARK-45112] [SC-143259][SQL] Använda unresolvedFunction-baserad lösning i SQL Dataset-funktioner

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 14.3.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta lake: 3.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Comm 0.1.2
contourpy 1.0.5 kryptografi 39.0.1 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
felsökning 1.6.7 dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
Verkställande 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 nyckelring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook-fil 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 emballage 23.2 Pandas 1.5.3
pandocfilter 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantisk 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
begäranden 2.28.1 rep 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sex 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
orubblighet 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tromb 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
hjul 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 12.0.1 askpass 1,1 assertthat 0.2.1
backportar 1.4.1 bas 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
start 1.3-28 brygga 1.0-8 Brio 1.1.3
kvast 1.0.5 bslib 0.5.0 cachem 1.0.8
anropare 3.7.3 textmarkör 6.0-94 cellranger 1.1.0
Chron 2.3-61 klass 7.3-22 cli 3.6.1
clipr 0.8.0 klocka 0.7.0 cluster 2.1.4
codetools 0.2-19 färgområde 2.1-0 commonmark 1.9.0
kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 krita 1.5.2 autentiseringsuppgifter 1.3.2
hårlock 5.0.1 data.table 1.14.8 datauppsättningar 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
smälta 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellips 0.3.2
evaluate (utvärdera) 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 främmande 0.8-85 smida 0.2.0
Fs 1.6.2 framtid 1.33.0 future.apply 1.11.0
gurgla 1.5.1 Generika 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 lim 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.1 grDevices 4.3.1 gitter 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 hamn 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 stickning 1,43
Märkning 0.4.2 senare 1.3.1 Galler 0.21-8
lava 1.7.2.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSA 7.3-60 Matris 1.5-4.1 pmise 2.0.1
metoder 4.3.1 mgcv 1.8-42 MIME 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 berömma 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
proxyserver 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recept 1.0.6
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.6 våg 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 form 1.4.6
skinande 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
rumslig 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 statistik 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 överlevnad 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 avmarkera 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
verktyg 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 verktyg 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 morrhår 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
Zip 2.3.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pilvektor 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1