Dela via

Databricks Runtime 15.3

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 15.3, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i juni 2024.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Nya funktioner och förbättringar

PySpark DataSources har nu stöd för dataströmläsning och skrivning

PySpark DataSources, som gör det möjligt att läsa från anpassade datakällor och skriva till anpassade datamottagare, stöder nu dataströmläsning och skrivning. Se Anpassade datakällor i PySpark.

Inaktivera kolumnmappning med släppfunktion

Du kan nu använda DROP FEATURE för att inaktivera kolumnmappning i Delta-tabeller och nedgradera tabellprotokollet. Se Inaktivera kolumnmappning.

Syntax och funktioner för varianttyp i offentlig förhandsversion

Inbyggt Apache Spark-stöd för att arbeta med halvstrukturerade data som VARIANT typ är nu tillgängligt i Spark DataFrames och SQL. Se Frågevariantdata.

Stöd för varianttyp för Delta Lake i offentlig förhandsversion

Du kan nu använda VARIANT för att lagra halvstrukturerade data i tabeller som backas upp av Delta Lake. Se Variantstöd i Delta Lake.

Stöd för olika schemautvecklingslägen i vyer

MED CREATE VIEW och ALTER VIEW kan du nu ange ett schemabindningsläge, vilket förbättrar hur vyer hanterar schemaändringar i underliggande objekt. Med den här funktionen kan vyer antingen tolerera eller anpassa sig till schemaändringar i de underliggande objekten. Den åtgärdar ändringar i frågeschemat till följd av ändringar i objektdefinitioner.

Stöd för metoder som observe() lagts till i Spark Connect Scala-klienten

Spark Connect Scala-klienten stöder Dataset.observe() nu metoderna. Med stöd för dessa metoder kan du definiera mått som ska observeras på ett Dataset objekt med hjälp av ds.observe("name", metrics...) metoderna eller ds.observe(observationObject, metrics...) .

Förbättrad svarstid för omstart av dataström för automatisk inläsning

Den här versionen innehåller en ändring som förbättrar svarstiden för omstart av dataströmmen för automatisk inläsning. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för strömmar med stora tillstånd, till exempel strömmar med ett stort antal redan inmatade filer.

Returnera en DataFrame som en pyarrow.Table

Den här versionen innehåller funktionen DataFrame.toArrow() för att kunna skriva en DataFrame direkt till ett Apache Arrow-objektpyarrow.Table. Mer information om hur du använder Pil i PySpark finns i Apache Arrow i PySpark.

Prestandaförbättring för vissa fönsterfunktioner

Den här versionen innehåller en ändring som förbättrar prestandan för vissa Spark-fönsterfunktioner, särskilt funktioner som inte innehåller en ORDER BY sats eller en window_frame parameter. I dessa fall kan systemet skriva om frågan för att köra den med hjälp av en mängdfunktion. Den här ändringen gör att frågan kan köras snabbare med hjälp av partiell aggregering och undvika omkostnaderna för att köra fönsterfunktioner. Parametern spark.databricks.optimizer.replaceWindowsWithAggregates.enabled Spark-konfiguration styr den här optimeringen och är inställd true på som standard. Om du vill inaktivera den här optimeringen anger du spark.databricks.optimizer.replaceWindowsWithAggregates.enabled till false.

Stöd för funktionen har lagts try_mod till

Den här versionen lägger till stöd för funktionen PySpark try_mod() . Den här funktionen stöder ANSI SQL-kompatibel beräkning av heltalsrester från att dela upp två numeriska värden. Om divisor-argumentet är 0 try_mod() returnerar funktionen null i stället för att utlösa ett undantag. Du kan använda try_mod() funktionen i stället för mod eller %, som utlöser ett undantag om divisor-argumentet är 0 och ANSI SQL är aktiverat.

Stöd för en valfri omfångsparameter i list_secrets()

Med den här versionen kan du begränsa resultatet av tabellfunktionen list_secrets() till ett specifikt omfång.

Felkorrigeringar

WriteIntoDeltaCommand mått i Spark-användargränssnittet visas nu korrekt

Den här versionen innehåller en korrigering av måtten som visas på fliken SQL i Spark-användargränssnittet för Execute WriteIntoDeltaCommand noden. Tidigare var måtten som visades för den här noden alla noll.

Funktionen groupby() i Pandas API ignorerade as_index=False argumentet

Den här versionen innehåller en korrigering för ett problem med groupby() funktionen i Pandas API på Spark. Före den här korrigeringen as_index=False innehöll en groupby() med ommärkning av aggregerade kolumner och argumentet inte gruppnycklar i resulterande DataFrame.

Parsningsfel med flera fönsterfunktioner som refererar till utdata från de andra funktionerna

Den här versionen åtgärdar ett problem som kan uppstå när en Spark-fråga har flera på varandra följande fönsterfunktioner, där fönsterfunktionerna refererar till utdata från de andra fönsterfunktionerna. I sällsynta fall kan systemet släppa en av referenserna, vilket leder till fel vid utvärdering av frågan. Den här korrigeringen projicerar dessa referenser för att säkerställa frågeutvärdering. Den här ändringen styrs av Spark-konfigurationsparametern spark.databricks.optimizer.collapseWindows.projectReferences, som är inställd true på som standard. Om du vill inaktivera den här ändringen anger du spark.databricks.optimizer.collapseWindows.projectReferences till false.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • filelock från 3.13.1 till 3.13.4
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • org.rocksdb.rocksdbjni från 8.3.2 till 8.11.4

Apache Spark

Databricks Runtime 15.3 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.2, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Återställ "[SC-165552][SQL] DB2: Läs SMALLINT som Sho...
  • [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] Återställ SPARK-47904: Bevara skiftläge i Avro-schema när du använder enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Lägg till källdatatyp för kopplingsuttryck
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Lagra sorteringsinformation i metadata och inte i typ för SER/DE
  • [SPARK-48172] [SC-166078][SQL] Åtgärda problem med att fly i JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Lägga till stöd för AbstractMapType
  • [SPARK-48031] [SC-166523] Äldre farfarsvyer till SCHEMABINDNING
  • [SPARK-48369] [SC-166566][SQL][PYTHON][ANSLUT] Lägg till funktion timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Åtgärda problemet med tidsgränsen för python-strömmande datakälla för ett stort utlösarintervall
  • [SPARK-48369] Återställ "[SC-166494][SQL][PYTHON][CONNECT] Lägg till funktion timestamp_add"
  • [SPARK-48336] [SC-166495][PS][ANSLUT] Implementera ps.sql i Spark Connect
  • [SPARK-48369] [SC-166494][SQL][PYTHON][ANSLUT] Lägg till funktion timestamp_add
  • [SPARK-47354] [SC-165546][SQL] Lägga till sorteringsstöd för variantuttryck
  • [SPARK-48161] [SC-165325][SQL] Åtgärda återställd PR – Lägg till sorteringsstöd för JSON-uttryck
  • [SPARK-48031] [SC-166391] Decompose viewSchemaMode config, lägg till STÖD FÖR SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][CORE] Lägga till en konfiguration för SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][SQL] Förbättra Prestanda för Alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][SQL] Hantera gemener i nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Tilldela namn till felklasserna _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] Tilldela namn till felklasserna _LEGACY_ERROR_TEMP_323[6-7] och _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][ANSLUT] Cachelagrade egenskaper måste returnera kopior
  • [SPARK-48308] [SC-166152][Kärna] Förena hämtar dataschema utan partitionskolumner i FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] Byt CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE namn till CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][ANSLUT] Tillämpa den inbyggda timestamp_diff metoden
  • [SPARK-47607] [SC-166129] Lägga till dokumentation för structured logging framework
  • [SPARK-48297] [SC-166136][SQL] Åtgärda en regressionstransformeringssats med tecken/varchar
  • [SPARK-47045] [SC-156808][SQL] SparkIllegalArgumentException Ersätt med IllegalArgumentException isql/api
  • [SPARK-46991] [SC-156399][SQL] SparkIllegalArgumentException Ersätt med IllegalArgumentException icatalyst
  • [SPARK-48031] [SC-165805][SQL] Schemautveckling för supportvy
  • [SPARK-48276] [SC-166116][PYTHON][ANSLUT] Lägg till den metod som saknas __repr__ för SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][ANSLUT] Förfina strängrepresentationen av Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][ANSLUT] Lägg till funktion timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] Utöka felmeddelandet för läsningsfel för decimalvärden
  • [SPARK-47158] [SC-158078][SQL] Tilldela rätt namn och sqlState till _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient kan NPE orsaka FetchFailedException
  • [SPARK-48277] [SC-166066] Förbättra felmeddelandet för ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][ANSLUT] Stöd för datauppsättning observe för Scala-klienten
  • [SPARK-48954] [SC-171672][SQL] Lägg till try_mod funktion
  • [SPARK-43258] [SC-158151][SQL] Tilldela namn till fel _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][SS] Regression e2e-test med SPARK-47305
  • [SPARK-48263] [SC-165925] Stöd för sortering av funktioner för icke-UTF8_BINARY strängar
  • [SPARK-48260] [SC-165883][SQL] Inaktivera koordination av utdataförpliktare i ett test av ParquetIOSuite
  • [SPARK-47834] [SC-165645][SQL][ANSLUT] Markera inaktuella funktioner med @deprecated i SQLImplicits
  • [SPARK-48011] [SC-164061][Kärna] Lagra LogKey-namn som ett värde för att undvika att generera nya stränginstanser
  • [SPARK-48074] [SC-164647][Kärna] Förbättra läsbarheten för JSON-loggningar
  • [SPARK-44953] [SC-165866][CORE] Logga en varning när shuffle tracking är aktiverat längs en annan mekanism som stöds av da
  • [SPARK-48266] [SC-165897][ANSLUT] Flytta paketobjektet org.apache.spark.sql.connect.dsl till testkatalogen
  • [SPARK-47847] [SC-165651][CORE] Ta avstånd från spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] Rensa användningen av inaktuella konstruktorer av o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] Direktpasskoppling i stället för alla argument för att hämtaBroadcastBuildSide och getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] Tillåt inte kartnycklar från att vara av varianttyp
  • [SPARK-48248] [SC-165791][PYTHON] Åtgärda kapslad matris för att respektera äldre konfiguration av inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] Lägg till stöd för sortering för StringTrim-typ av funktioner/uttryck (för UTF8_BINARY & LCASE)
  • [SPARK-48143] [ES-1095638][SQL] Använd enkla undantag för kontrollflöde mellan UnivocityParser och FailureSafeParser
  • [SPARK-48146] [SC-165668][SQL] Åtgärda aggregerad funktion i Underordnad uttryckskontroll
  • [SPARK-48161] Återställ "[SC-165325][SQL] Lägg till sorteringsstöd för JSON-uttryck"
  • [SPARK-47963] [CORE] Gör så att det externa Spark-ekosystemet kan använda strukturerade loggningsmekanismer
  • [SPARK-48180] [SC-165632][SQL] Förbättra felet när UDTF-anrop med TABLE arg glömmer parenteser runt flera PARTITION/ORDER BY-uttr
  • [SPARK-48002] [SC-164132][PYTHON][SS] Lägg till test för observerade mått i PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][SQL] Lägga till sorteringsstöd för URL-uttryck
  • [SPARK-48161] [SC-165325][SQL] Lägga till sorteringsstöd för JSON-uttryck
  • [SPARK-47359] [SC-164328][SQL] Stöd för funktionen TRANSLATE för att arbeta med sorterade strängar
  • [SPARK-47365] [SC-165643][PYTHON] Lägg till toArrow() DataFrame-metod i PySpark
  • [SPARK-48228] [SC-165649][PYTHON][ANSLUT] Implementera den saknade funktionsverifieringen i ApplyInXXX
  • [SPARK-47986] [SC-165549][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
  • [SPARK-47963] Återställ "[CORE] Gör så att det externa Spark-ekosystemet kan använda strukturerade loggningsmekanismer "
  • [SPARK-47963] [CORE] Gör så att det externa Spark-ekosystemet kan använda strukturerade loggningsmekanismer
  • [SPARK-48208] [SC-165547][SS] Hoppa över att ange minnesanvändningsmått från RocksDB om begränsad minnesanvändning är aktiverad
  • [SPARK-47566] [SC-164314][SQL] Stöd för funktionen SubstringIndex för att arbeta med sorterade strängar
  • [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: Migrera logError med variabler till ett strukturerat loggningsramverk
  • [SPARK-48205] [SC-165501][PYTHON] Ta bort den privata[sql]-modifieraren för Python-datakällor
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis bör se hela frågeplanen
  • [SPARK-48197] [SC-165520][SQL] Undvik kontrollfel för ogiltig lambda-funktion
  • [SPARK-47318] [SC-162573][CORE] Lägger till HKDF-avrundning till AuthEngine-nyckelhärledning för att följa standardmetoderna för KEX
  • [SPARK-48184] [SC-165335][PYTHON][ANSLUT] Ange alltid fröet för Dataframe.sample på klientsidan
  • [SPARK-48128] [SC-165004][SQL] För BitwiseCount/bit_count-uttryck löser du codegen-syntaxfel för booleska typindata
  • [SPARK-48147] [SC-165144][SS][ANSLUT] Ta bort lyssnare på klientsidan när den lokala Spark-sessionen tas bort
  • [SPARK-48045] [SC-165299][PYTHON] Pandas API groupby med multi-agg-relabel ignorerar as_index=False
  • [SPARK-48191] [SC-165323][SQL] Stöd FÖR UTF-32 för strängkodning och avkodning
  • [SPARK-45352] [SC-137627][SQL] Eliminera vikbara fönsterpartitioner
  • [SPARK-47297] [SC-165179][SQL] Lägga till sorteringsstöd för formatuttryck
  • [SPARK-47267] [SC-165170][SQL] Lägga till sorteringsstöd för hash-uttryck
  • [SPARK-47965] [SC-163822][CORE] Undvik orNull i TypedConfigBuilder och OptionalConfigEntry
  • [SPARK-48166] [SQL] Undvik att använda BadRecordException som användaranslutet fel i VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][SS] Åtgärda konkurrensvillkoret mellan avlastning av tillståndslager och ögonblicksbilder
  • [SPARK-47922] [SC-163997][SQL] Implementera uttrycket try_parse_json
  • [SPARK-47719] [SC-161909][SQL] Ändra spark.sql.legacy.timeParse...
  • [SPARK-48035] [SC-165136][SQL] Åtgärda att try_add/try_multiply är semantisk lika med att lägga till/multiplicera
  • [SPARK-48107] [SC-164878][PYTHON] Undanta tester från Python-distribution
  • [SPARK-46894] [SC-164447][PYTHON] Flytta PySpark-felvillkor till en fristående JSON-fil
  • [SPARK-47583] [SC-163825][CORE] SQL Core: Migrera logError med variabler till ett strukturerat loggningsramverk
  • [SPARK-48064] Återställ "[SC-164697][SQL] Uppdatera felmeddelanden för rutinmässiga relaterade felklasser"
  • [SPARK-48048] [SC-164846][ANSLUT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala
  • [SPARK-48064] [SC-164697][SQL] Uppdatera felmeddelanden för rutinrelaterade felklasser
  • [SPARK-48056] [SC-164715][ANSLUT][PYTHON] Kör planen igen om ett SESSION_NOT_FOUND fel utlöses och inget partiellt svar togs emot
  • [SPARK-48124] [SC-165009][CORE] Inaktivera strukturerad loggning för Connect-Repl som standard
  • [SPARK-47922] Återställ "[SC-163997][SQL] Implementera uttrycket try_parse_json"
  • [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys är för strikt
  • [SPARK-48114] [SC-164956][CORE] Förkompilera mallredomän för att undvika onödigt arbete
  • [SPARK-48067] [SC-164773][SQL] Åtgärda standardkolumner för variant
  • [SPARK-47922] [SC-163997][SQL] Implementera uttrycket try_parse_json
  • [SPARK-48075] [SC-164709] [SS] Lägg till typkontroll för PySpark avro-funktioner
  • [SPARK-47793] [SC-164324][SS][PYTHON] Implementera SimpleDataSourceStreamReader för python-strömmande datakälla
  • [SPARK-48081] [SC-164719] Åtgärda ClassCastException i NTile.checkInputDataTypes() när argumentet inte är vikbart eller av fel typ
  • [SPARK-48102] [SC-164853][SS] Spåra varaktighet för att hämta käll-/mottagarmått när du rapporterar förlopp för strömmande frågor
  • [SPARK-47671] [SC-164854][Kärna] Aktivera strukturerad loggning i log4j2.properties.template och uppdatera dokument
  • [SPARK-47904] [SC-163409][SQL] Bevara skiftläge i Avro-schema när du använder enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][ANSLUT] UserDefinedFunction.returnType parsa DDL-strängen
  • [SPARK-46922] [SC-156102][CORE][SQL] Omslut inte användarriktade körningsfel
  • [SPARK-48047] [SC-164576][SQL] Minska minnesbelastningen för tomma TreeNode-taggar
  • [SPARK-47934] [SC-164648] [CORE] Se till att avslutande snedstreck i HistoryServer URL-omdirigeringar
  • [SPARK-47921] [SC-163826][ANSLUT] Åtgärda skapandet av ExecuteJobTag i ExecuteHolder
  • [SPARK-48014] [SC-164150][SQL] Ändra felet makeFromJava i EvaluatePython till ett användaranslutet fel
  • [SPARK-47903] [SC-163424][PYTHON] Lägga till stöd för återstående skalärtyper i PySpark Variant-biblioteket
  • [SPARK-48068] [SC-164579][PYTHON] mypy ska ha --python-executable parametern
  • [SPARK-47846] [SC-163074][SQL] Lägga till stöd för varianttyp i from_json uttryck
  • [SPARK-48050] [SC-164322][SS] Logga logisk plan vid frågestart
  • [SPARK-47810] [SC-163076][SQL] Ersätt motsvarande uttryck till <=> i kopplingsvillkor
  • [SPARK-47741] [SC-164290] Stack overflow-hantering har lagts till i parser
  • [SPARK-48053] [SC-164309][PYTHON][ANSLUT] SparkSession.createDataFrame bör varna för alternativ som inte stöds
  • [SPARK-47939] [SC-164171][SQL] Implementera en ny Analyzer-regel för att flytta ParameterizedQuery inuti ExplainCommand och DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Aktivera spark.stage.ignoreDecommissionFetchFailure som standard
  • [SPARK-48016] [SC-164280][SQL] Åtgärda en bugg i try_divide funktion när med decimaler
  • [SPARK-48033] [SC-164291][SQL] Åtgärda RuntimeReplaceable uttryck som används i standardkolumner
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] Undvik upprepade anrop till conf.resolver i resolveExpression
  • [SPARK-48003] [SC-164323][SQL] Lägg till sorteringsstöd för hll-skissaggregering
  • [SPARK-47994] [SC-164175][SQL] Åtgärda bugg med CASE WHEN-kolumnfilter push-nedtryckning i SQLServer
  • [SPARK-47984] [SC-163837][ML][SQL] Ändra MetricsAggregate/V2Aggregator#serialize/deserialize för att anropa SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] Använd en tidsstämpelformaterare med tidszon på klassnivå i stället för att göra kopior på metodnivå
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Strukturerade loggmigreringar
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Strukturerade loggmigreringar
  • [SPARK-47567] [SC-164172][SQL] Stöd för funktionen LOCATE för att arbeta med sorterade strängar
  • [SPARK-47764] [SC-163820][CORE][SQL] Rensning av shuffle-beroenden baserat på ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][PYTHON][ANSLUT] Uppdatera felklassen för group.apply
  • [SPARK-47414] [SC-163831][SQL] Stöd för sortering av gemener för regexp-uttryck
  • [SPARK-47418] [SC-163818][SQL] Lägg till handgjorda implementeringar för gemener som är unicode-medvetna innehåller, startsWith och endsWith och optimera UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] SQL-katalysator: eliminera icke namngivna variabler i felloggar
  • [SPARK-47351] [SC-164008][SQL] Lägg till sorteringsstöd för stränguttryck för StringToMap och Mask
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue bör överväga null-typade värden
  • [SPARK-47476] [SC-164014][SQL] Stöd för funktionen REPLACE för att arbeta med sorterade strängar
  • [SPARK-47408] [SC-164104][SQL] Åtgärda mathExpressions som använder StringType
  • [SPARK-47350] [SC-164006][SQL] Lägg till sorteringsstöd för SplitPart-stränguttryck
  • [SPARK-47692] [SC-163819][SQL] Åtgärda standard stringtype-innebörden i implicit gjutning
  • [SPARK-47094] [SC-161957][SQL] SPJ: Balansera om antalet bucketar dynamiskt när de inte är lika med
  • [SPARK-48001] [SC-164000][CORE] Ta bort oanvänd private implicit def arrayToArrayWritable från SparkContext
  • [SPARK-47986] [SC-163999][ANSLUT][PYTHON] Det går inte att skapa en ny session när standardsessionen stängs av servern
  • [SPARK-48019] [SC-164121] Åtgärda felaktigt beteende i ColumnVector/ColumnarArray med ordlista och null
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Strukturerade loggmigreringar
  • [SPARK-47999] [SC-163998][SS] Förbättra loggning kring skapande av ögonblicksbilder och lägga till/ta bort poster från tillståndscachekartan i HDFS-backad tillståndslagerprovider
  • [SPARK-47417] [SC-162872][SQL] Sorteringsstöd: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][ANSLUT] Tillåt att plugin-program ansluter för att skapa och bearbeta datauppsättningar
  • [SPARK-47411] [SC-163351][SQL] Stöd för StringInstr- och FindInSet-funktioner för att arbeta med sorterade strängar
  • [SPARK-47360] [SC-163014][SQL] Sorteringsstöd: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] – lägg till stöd för delsträng/vänster/höger för sortering
  • [SPARK-47983] [SC-163835][SQL] Degradera spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled till intern
  • [SPARK-47964] [SC-163816][PYTHON][ANSLUT] Dölj SQLContext och HiveContext i pyspark-connect
  • [SPARK-47985] [SC-163841][PYTHON] Förenkla funktioner med lit
  • [SPARK-47633] [SC-163453][SQL] Inkludera planutdata på höger sida för LateralJoin#allAttributes mer konsekvent kanonisering
  • [SPARK-47909] Återställ "[PYTHON][CONNECT] Parent DataFrame class f...
  • [SPARK-47767] [SC-163096][SQL] Visa förskjutningsvärde i TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][SQL] Förhindra att hash-uttryck hashar variantdatatypen
  • [SPARK-47490] [SC-160494][SS] Åtgärda användning av RocksDB Logger-konstruktor för att undvika utfasningsvarning
  • [SPARK-47417] Återställ "[SC-162872][SQL] Sorteringsstöd: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460][SQL] Åtgärda ökad, lägre, InitCap-sorteringsmedvetenhet
  • [SPARK-47909] [PYTHON][ANSLUT] Överordnad DataFrame-klass för Spark Connect och Spark Classic
  • [SPARK-47417] [SC-162872][SQL] Sorteringsstöd: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Se Underhållsuppdateringar för Databricks Runtime 15.3.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta lake: 3.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
svart 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kryptografi 41.0.3 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
felsökning 1.6.7 dekoratör 5.1.1 distlib 0.3.8
entrypoints 0,4 Verkställande 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 nyckelring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 emballage 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantisk 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
begäranden 2.31.0 RSA 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sex 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 orubblighet 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tromb 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
hjul 0.38.4 zipp 3.11.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backportar 1.4.1 bas 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 start 1.3-28
brygga 1.0-10 Brio 1.1.4 kvast 1.0.5
bslib 0.6.1 cachem 1.0.8 anropare 3.7.3
textmarkör 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 cli 3.6.2 clipr 0.8.0
klocka 0.7.0 cluster 2.1.4 codetools 0.2-19
färgområde 2.1-0 commonmark 1.9.1 kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
krita 1.5.2 autentiseringsuppgifter 2.0.1 hårlock 5.2.0
data.table 1.15.0 datauppsättningar 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 smälta 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evaluate (utvärdera) 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-85 smida 0.2.0 Fs 1.6.3
framtid 1.33.1 future.apply 1.11.1 gurgla 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 gitter 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 hamn 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 stickning 1.45 Märkning 0.4.3
senare 1.3.2 Galler 0.21-8 lava 1.7.3
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matris 1.5-4.1 pmise 2.0.1 metoder 4.3.2
mgcv 1.8-42 MIME 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Förlopp 1.2.3
progressr 0.14.0 Löften 1.2.1 Proto 1.0.0
proxyserver 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reakterbar 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recept 1.0.9 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.4.2.1 reprex 2.1.0 omforma2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversioner 2.1.2 rvest 1.0.3 Sass 0.4.8
våg 1.3.0 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 skinande 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 rumslig 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
överlevnad 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
avmarkera 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 verktyg 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 verktyg 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1