Databricks Runtime 13.3 LTS

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 13.3 LTS, som drivs av Apache Spark 3.4.1.

Databricks släppte dessa bilder i augusti 2023.

Nya funktioner och förbättringar

Scala-stöd för delade kluster

Unity Catalog-aktiverade delade kluster stöder nu Scala när du använder Databricks Runtime 13.3 och senare.

Listan över tillåtna init-skript, JAR:er och Maven-koordinater i delade Unity Catalog-kluster finns i offentlig förhandsversion

Nu kan du använda Unity-katalogen allowlist för att styra installationen av init-skript, JAR:er och Maven-koordinater för beräkning med läget för delad åtkomst som kör Databricks Runtime 13.3 och senare. Se Tillåtlista bibliotek och init-skript för delad beräkning.

Volymstöd för init-skript och JAR:er finns i offentlig förhandsversion

Nu kan du använda Unity Catalog-volymer för att lagra init-skript och JAR:er vid beräkning med tilldelade eller delade åtkomstlägen som kör Databricks Runtime 13.3 och senare. Se Var kan init-skript installeras? och klusteromfångsbibliotek.

Säkra roller aktiverade som standard för åtgärder i Delta Lake

Delta UPDATE och MERGE åtgärder resulterar nu i ett fel när värden inte kan omvandlas till typen i måltabellschemat på ett säkert sätt. Alla implicita casts i Delta följer spark.sql.storeAssignmentPolicy nu i stället spark.sql.ansi.enabledför . Se ANSI-efterlevnad i Databricks Runtime.

Introduktion till taggar med Unity Catalog

Med Databricks Runtime 13.3 LTS och senare kan du använda taggar för dina skyddsbara objekt. Taggar hjälper dig att organisera skyddsbara objekt och förenkla sökning och identifiering av dina datatillgångar. Se Tillämpa taggar.

Databricks Runtime returnerar ett fel om en fil ändras mellan frågeplanering och anrop

Databricks Runtime-frågor returnerar nu ett fel om en fil uppdateras mellan frågeplanering och anrop. Före den här ändringen skulle Databricks Runtime läsa en fil mellan dessa steg, vilket ibland leder till oförutsägbara resultat.

Blockera schemaöverskrivning vid användning av dynamisk partitionsöverskrivning

Du kan inte ange overwriteSchema till true i kombination med dynamiska partitionsöverskrivningar i Delta Lake. Detta förhindrar eventuell tabellskada på grund av schemamatchningsfel. Se Dynamisk partitionsöverskrivning.

Integrera copyFile API i dbutils.fs.cp

Kommandot dbutils.fs.cp dbutils copy är nu optimerat för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärderna vara upp till 100 gånger snabbare, beroende på filstorleken. Funktionen är tillgänglig i alla filsystem som är tillgängliga i Azure Databricks, inklusive för Unity-katalogvolymer och Databricks-filsystemmonteringar.

Stöd för Databricks ODBC/JDBC-drivrutin

Azure Databricks har stöd för ODBC- och JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned den senaste drivrutinen på Ladda ned ODBC-drivrutin och ladda ned JDBC-drivrutin.

Stöd för namnlösa parametermarkörer (positionella)

API:et SparkSession.sql() stöder nu parametriserade frågor med hjälp av syntaxen ? utöver parametriserade frågor med hjälp av syntaxen :parm . Se parametermarkörer.

Aktivera kolumnetiketter för tidsserier

Nu kan du märka tidsseriekolumner när du skapar begränsningar för primärnyckel.

Nya BITMAP SQL-funktioner

Azure Databricks har nu en uppsättning funktioner som kan användas för att mappa integrerade numeriska värden till en bitmapp och aggregera dem. Detta kan användas för att förberäkna antalet distinkta värden.

Förbättrade krypteringsfunktioner

Funktionerna aes_encrypt, aes_decrypt och try_aes_decrypt har förbättrats med stöd för initieringsvektorer (IV) och autentiserade ytterligare data (AAD).

Stöd för Unity Catalog för REFRESH FOREIGN

Nu kan du uppdatera externa kataloger, scheman och tabeller i Unity Catalog med hjälp av REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAoch REFRESH FOREIGN TABLE. Se UPPDATERA SEKUNDÄR (KATALOG, SCHEMA och TABELL).

INFOGA EFTER NAMN

När du infogar rader i en tabell kan du nu låta Azure Databricks mappa kolumner och fält i källfrågan automatiskt till tabellens kolumner med deras namn. Se INFOGA I.

Dela materialiserade vyer med deltadelning

ALTER SHARE-instruktionen stöder nu materialiserade vyer.

Icke-bakåtkompatibla ändringar

Ändringar i implicit gjutning vid lagring av rader i en tabell med MERGE INTO och UPDATE

Azure Databricks följer nu konfigurationen spark.sql.storeAssignmentPolicy för implicit gjutning när rader lagras i en tabell. Standardvärdet ANSI utlöser ett fel när värden som spills över lagras. Tidigare skulle värden lagras som NULL standard.

Precis som i följande exempel kan du åtgärda spill genom att skriva om tabellen så att den använder en bredare typ för kolumnen som orsakar felet.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • felsökning från 1.5.1 till 1.6.0
    • distlib från 0.3.6 till 0.3.7
    • fastjsonschema från 2.16.3 till 2.18.0
    • filelock från 3.12.0 till 3.12.2
  • Uppgraderade R-bibliotek:
    • SparkR från 3.4.0 till 3.4.1
  • Uppgraderade Java-bibliotek:
    • org.apache.orc.orc-core från 1.8.3-shaded-protobuf till 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.8.3-shaded-protobuf till 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims från 1.8.3 till 1.8.4
    • org.eclipse.jetty.jetty-client från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api från 9.4.50.v2021201 till 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client från 9.4.50.v2021201 till 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server från 9.4.50.v20221201 till 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet från 9.4.50.v2021201 till 9.4.51.v20230217
    • org.xerial.snappy.snappy-java från 1.1.8.4 till 1.1.10.1

Apache Spark

Databricks Runtime 13.3 innehåller Apache Spark 3.4.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 13.2 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • Nu kan du ställa in klustermiljövariabeln SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 för att använda Spark-snowflake Connector v2.12.0.
  • [SPARK-43380] [DBRRM-383] Återställ "[SC-133100][SQL] Fix Avro data type conver...
  • [SPARK-44504] [Backport] [13.2] [13.x] [13.3] Avlastningsprovidern tvingar därmed DB-instansen att stänga och frigöra resurser vid fel i underhållsaktiviteten
  • [SPARK-44059] [SC-137023] Lägga till analysstöd för namngivna argument för inbyggda funktioner
  • [SPARK-44485] [SC-137653] [SQL] Optimera TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164] [SS] [PYTHON] Strömmande ForeachBatch i Python
  • [SPARK-44446] [SC-136994] [PYTHON] Lägga till kontroller för förväntade specialfall av listtyp
  • [SPARK-44439] [SC-136973] [ANSLUT] [SS] ListListeners har åtgärdats för att endast skicka tillbaka ID:er till klienten
  • [SPARK-44216] [SC-136941] [PYTHON] Göra assertSchemaEqual API offentligt
  • [SPARK-44201] [SC-136778] [ANSLUT] [SS] Lägg till stöd för strömningslyssnare i Scala för Spark Anslut
  • [SPARK-43915] [SC-134766] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Återställ "[SC-133990][SQL][PYTHON] Stöd för python-användardefinierade tabellfunktioner"
  • [SPARK-44398] [SC-136720] [ANSLUT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169] [CORE] [ANSLUT] Åtgärda populationen av artefakter för en JobArtifactState utan associerade artefakter
  • [SPARK-44269] [SC-135817] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744] [SQL] Uppdatera TVF-argument för att kräva parenteser kring identifierare efter nyckelordet TABLE
  • [SPARK-43915] [SC-134766] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794] [SPARK-43996] [ANSLUT] Lägga till stöd för UDFRegistration i Anslut Scala-klienten
  • [SPARK-44109] [SC-134755] [CORE] Ta bort duplicerade önskade platser för varje RDD-partition
  • [SPARK-44169] [SC-135497] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636] [SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720] [ANSLUT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977] [CORE] [Användargränssnitt] Stödkolumn Heap Histogram på Executors fliken
  • [SPARK-44044] [SC-135695] [SS] Förbättra felmeddelandet för fönsterfunktioner med direktuppspelning
  • [SPARK-43914] [SC-135414] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805] [PYTHON] Tillåt anpassad precision för fp ca likhet
  • [SPARK-44370] [SC-136575] [ANSLUT] Migrera Buf-fjärrgenererings alfa till fjärr-plugin-program
  • [SPARK-44410] [SC-136930] [PYTHON] [ANSLUT] Ange aktiv session i skapa, inte bara getOrCreate
  • [SPARK-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [ANSLUT] [PYTHON] Återanvändbara test_artifact med relevanta ändringar
  • [SPARK-44145] [SC-136698] [SQL] Återanrop när det är klart för körning
  • [SPARK-44264] [SC-136870] [PYTHON] [ML] FunctionPickler-klass
  • [SPARK-43986] [SC-135623] [SQL] Skapa felklasser för fel med HyperLogLog-funktionsanrop
  • [SPARK-44139] [SC-134967] [SQL] Ignorera helt nedtryckta filter i gruppbaserade MERGE-åtgärder
  • [SPARK-44338] [SC-136718] [SQL] Felmeddelande om felmatchning av visningsschema
  • [SPARK-44208] [SC-135505] [CORE] [SQL] Tilldela tydliga felklassnamn för viss logik som direkt använder undantag
  • [SPARK-44364] [SC-136773] [PYTHON] Lägg till stöd för datatypen List[Row] för förväntat
  • [SPARK-44180] [SC-136792] [SQL] DistributionAndOrderingUtils bör tillämpa ResolveTimeZone
  • [SPARK-43389] [SC-136772] [SQL] Ett null-kontroll för lineSep-alternativet har lagts till
  • [SPARK-44388] [SC-136695] [ANSLUT] Åtgärda problem med protobuf-cast när UDF-instansen uppdateras
  • [SPARK-44352] [SC-136373] [ANSLUT] Sätt tillbaka sameType och vänner i DataType.
  • [SPARK-43975] [SC-134265] [SQL] DataSource V2: Hantera UPDATE-kommandon för gruppbaserade källor
  • [SPARK-44360] [SC-136461] [SQL] Stöd för schemarensning i deltabaserade MERGE-åtgärder
  • [SPARK-44138] [SC-134907] [SQL] Förhindra icke-deterministiska uttryck, underfrågor och aggregeringar i MERGE-villkor
  • [SPARK-43321] [SC-136678] [Anslut][Uppföljning] Bättre namn för API:er som används i Scala-klientanslutningMed
  • [SPARK-44263] [SC-136447] [ANSLUT] Stöd för anpassade interceptorer
  • [SPARK-39851] [SC-123383] [SQL] Förbättra uppskattningen av kopplingsstatistik om ena sidan kan behålla unikheten
  • [SPARK-44390] [SC-136677] [CORE] [SQL] Byt SparkSerDerseUtils namn till SparkSerDeUtils
  • [SPARK-44004] [SC-134751] [SQL] Tilldela namn och förbättra felmeddelandet för frekventa LEGACY-fel.
  • [SPARK-44322] [SC-136204] [ANSLUT] Gör så att parser använder SqlApiConf i stället för SQLConf.
  • [SPARK-44271] [SC-136347] [SQL] Flytta standardvärden från StructType till ResolveDefaultColumns
  • [SPARK-44332] [SC-136413] [CORE] [WEBUI] Åtgärda sorteringsfelet för kolumnen Executor ID på sidan för körgränssnitt
  • [SPARK-44282] [SC-135948] [ANSLUT] Förbereda DataType-parsning för användning i Spark Anslut Scala-klienten
  • [SPARK-44349] [SC-136581] [R] Lägg till matematiska funktioner i SparkR
  • [SPARK-44397] [SC-136647] [PYTHON] Exponera assertDataFrameEqual i pyspark.testing.utils
  • [SPARK-42981] [SC-136620] [ANSLUT] Lägg till serialisering av direktpil
  • [SPARK-44373] [SC-136577] [SQL] Wrap withActive for Dataset API w/ parse logic to make parser related configuration work
  • [SPARK-44340] [SC-136574] [SQL] Definiera databehandlingslogiken via PartitionEvaluator-API:et och använd den i WindowGroupLimitExec
  • [SPARK-43665] [SC-136573] [ANSLUT] [PS] Aktivera PandasSQLStringFormatter.vformat för att arbeta med Spark Anslut
  • [SPARK-44325] [SC-136572] [SQL] Använda PartitionEvaluator-API i SortMergeJoinExec
  • [SPARK-44315] [SC-136171] [SQL] [ANSLUT] Flytta DefinedByConstructorParams till sql/api
  • [SPARK-44275] [SC-136184] [ANSLUT] Lägg till konfigurerbar mekanism för återförsök i Scala Spark-Anslut
  • [SPARK-44326] [SC-136208] [SQL] [ANSLUT] Flytta verktyg som används från Scala-klienten till vanliga moduler
  • [SPARK-43321] [SC-136156] [Anslut] Dataset#Joinwith
  • [SPARK-44343] [SC-136372] [ANSLUT] Förbereda ScalaReflection för övergången till SQL/API
  • [SPARK-44313] [SC-136081] [SQL] Åtgärda verifiering av genererade kolumnuttryck när det finns en tecken-/varchar-kolumn i schemat
  • [SPARK-43963] [SC-134145] [SQL] DataSource V2: Hantera MERGE-kommandon för gruppbaserade källor
  • [SPARK-44363] [SC-136433] [PYTHON] Visa procent av ojämlika rader i DataFrame-jämförelse
  • [SPARK-44251] [SC-136432] [SQL] Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling
  • [SPARK-43948] [SC-133366] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326] [ANSLUT] [PYTHON] Lägg till hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt i Scala och Python
  • [SPARK-44351] [SC-136353] [SQL] Gör vissa syntaktiska förenklingar
  • [SPARK-44281] [SC-135963] [SQL] Flytta QueryCompilation-fel som används av DataType till sql/api som DataTypeErrors
  • [SPARK-44283] [SC-136109] [ANSLUT] Flytta Ursprung till SQL/API
  • [SPARK-43926] [SC-135590] [ANSLUT] [PYTHON] Lägg till array_agg, array_size, kardinalitet, count_min_sketch,mask,named_struct,json_* i Scala och Python
  • [SPARK-44327] [SC-136187] [SQL] [ANSLUT] Lägga till funktioner any och len till Scala
  • [SPARK-44290] [SC-136300] [ANSLUT] Sessionsbaserade filer och arkiv i Spark Anslut
  • [SPARK-44061] [SC-136299] [PYTHON] Lägg till funktionen assertDataFrameEqual util
  • [SPARK-44331] [SC-136324] [ANSLUT] [PYTHON] Lägga till bitmappsfunktioner i Scala och Python
  • [SPARK-44342] [SC-136334] [SQL] Ersätt SQLContext med SparkSession för GenTPCDSData
  • [SPARK-42583] [SC-124190] [SQL] Ta bort den yttre kopplingen om de alla är distinkta aggregeringsfunktioner
  • [SPARK-44333] [SC-136206] [ANSLUT] [SQL] Flytta EnhancedLogicalPlan från ParserUtils
  • [SPARK-43824] [SC-132655] [SPARK-43825] [SQL] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602] [ANSLUT] [PYTHON] Lägga till try_*-funktioner i Scala och Python
  • [SPARK-44193] [SC-135886] [ANSLUT] Implementera GRPC-undantagsavlyssning för konvertering
  • [SPARK-44284] [SC-136107] [ANSLUT] Skapa ett enkelt konfigurationssystem för sql/api
  • [SPARK-43913] [SC-133368] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Återställ "[SC-135924][SPARK-43416][CONNECT] Korrigera felaktigt schema för intervallfråga"
  • [SPARK-44312] [SC-136185] [ANSLUT] [PYTHON] Tillåt att ange en användaragent med en miljövariabel
  • [SPARK-44154] [SC-136060] Implementera bitmappsfunktioner
  • [SPARK-43885] [SC-133996] [SQL] DataSource V2: Hantera MERGE-kommandon för deltabaserade källor
  • [SPARK-43924] [SC-135161] [ANSLUT] [PYTHON] Lägga till felfunktioner i Scala och Python
  • [SPARK-43969] [SC-134556] [SQL] Omstrukturera och tilldela namn till felklassen _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730] [SQL] Åtgärda inkonsekventa sökvägar mellan katalog- och dataåtgärder
  • [SPARK-44073] [SC-134562] [SQL] [PYTHON] [ANSLUT] Lägga till datumtidsfunktioner i Scala, Python och Anslut – del 2
  • [SPARK-43942] [SC-134527] [ANSLUT] [PYTHON] Lägga till strängfunktioner i Scala och Python – del 1
  • [SPARK-44266] [SC-135813] [SQL] Flytta Util.truncatedString till sql/api
  • [SPARK-44195] [SC-135722] [R] Lägg till JobTag-API:er i SparkR SparkContext
  • [SPARK-44200] [SC-135736] [SQL] Stöd för tabellargumentparserregel för TableValuedFunction
  • [SPARK-44254] [SC-135709] [SQL] Flytta QueryExecutionErrors som används av DataType till sql/api som DataTypeErrors
  • [SPARK-44291] [SC-135924] [SPARK-43416] [ANSLUT] Åtgärda felaktigt schema för intervallfråga
  • [SPARK-43922] [SC-135612] [SQL] Lägg till namngivet parameterstöd i parser för funktionsanrop
  • [SPARK-44300] [SC-135882] [ANSLUT] Åtgärda artefaktrensning för att begränsa borttagningsomfånget till sessionsspecifika artefakter
  • [SPARK-44293] [SC-135849] [ANSLUT] Åtgärda ogiltig URI för anpassade JAR:er i Spark Anslut
  • [SPARK-44215] [SC-135850] [SHUFFLE] Om antalet segment är 0 bör servern utlösa en RuntimeException
  • [SPARK-44245] [SC-135851] [PYTHON] pyspark.sql.dataframe sample() doctests bör endast vara illustrativa
  • [SPARK-44274] [SC-135814] [ANSLUT] Flytta ut användningsfunktioner som används av ArtifactManager till common/utils
  • [SPARK-44194] [SC-135815] [PYTHON] [CORE] Lägga till JobTag-API:er i PySpark SparkContext
  • [SPARK-42828] [SC-135733] [PYTHON] [SQL] Mer explicita Python-typanteckningar för GroupedData
  • [SPARK-44079] [SC-135486] [SQL] Åtgärda ArrayIndexOutOfBoundsException när matrisen parsas som struct med permissivt läge med skadad post
  • [SPARK-44255] [SC-135809] [SQL] Flytta StorageLevel till common/utils
  • [SPARK-42169] [SC-135795] [SQL] Implementera kodgenerering för funktionen to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] Omstrukturera PythonUDTFRunner för att skicka sin returtyp separat
  • [SPARK-43353] [SC-132734] [PYTHON] Migrera återstående sessionsfel till felklass
  • [SPARK-44211] [SC-135718] [PYTHON] [ANSLUT] Implementera SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] bör fortfarande skapa subDir när antalet subDir i sammanslagningsdir är mindre än conf
  • [SPARK-41599] [SC-135616] Minnesläcka i FileSystem.CACHE när appar skickas till ett säkert kluster med InProcessLauncher
  • [SPARK-44241] [SC-135613] [Kärna] Om du felaktigt anger io.connectionTimeout/connectionCreationTimeout till noll eller negativt orsakas oupphörliga körkondatorns nackdelar/destruktioner
  • [SPARK-44133] [SC-134795] [13.X] [PYTHON] Uppgradera MyPy från 0,920 till 0,982
  • [SPARK-42941] [SC-134707] [SS] [ANSLUT] [1/2] StreamingQueryListener – Event Serde i JSON-format
  • [SPARK-44188] [SC-135173] [CORE] Ta bort oanvändbar resetAllPartitions metod i ActiveJob
  • [SPARK-43757] [SC-135418] [ANSLUT] Ändra klientkompatibilitet från listan över tillåtna för att neka listan
  • [SPARK-43474] [SC-135521] [SS] [ANSLUT] Lägg till en Spark Connect-åtkomst till körningsdataramar efter ID.
  • [SPARK-44183] [SC-135209] [PYTHON] Skapa PyArrow lägsta version till 4.0.0
  • [SPARK-44248] [SC-135554] [SS] [SQL] [Kafka] Lägg till önskad plats i kafka source v2
  • [SPARK-43929] [SC-134510] [SQL] [PYTHON] [ANSLUT] Lägga till datumtidsfunktioner i Scala, Python och Anslut API – del 1
  • [SPARK-44161] [SC-135326] [Anslut] Hantera radindata för UDF:er
  • [SPARK-44227] [SC-135520] [SQL] Extrahera SchemaUtils från StructField
  • [SPARK-44064] [SC-135116] [CORE] [SQL] Lägg till en ny apply funktion i NonFateSharingCache
  • [SPARK-44171] [SC-135269] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2279-2282] & ta bort några oanvända felklasser
  • [SPARK-44056] [SC-134758] [SQL] Inkludera UDF-namn i felmeddelandet om UDF-körningsfel när det är tillgängligt
  • [SPARK-44205] [SC-135422] [SQL] Extrahera katalysatorkod från DecimalType
  • [SPARK-44220] [SC-135484] [SQL] Flytta StringConcat till sql/api
  • [SPARK-44146] [SC-135230] [ANSLUT] Isolera Spark Anslut Sessionsburkar och klassfiler
  • [SPARK-44206] [SC-135411] [SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417] [SQL] Åtgärda testfall tolkade frågor kan köra Codegen
  • [SPARK-44204] [SC-135253] [SQL] [HIVE] Lägg till saknad recordHiveCall för getPartitionNames
  • [SPARK-44237] [SC-135485] [CORE] Förenkla DirectByteBuffer-konstruktorsökningslogik
  • [SPARK-44189] [SC-135170] [ANSLUT] [PYTHON] Stöd för positionsparametrar efter sql()
  • [SPARK-44140] [SC-134893] [SQL] [PYTHON] Stöd för positionsparametrar i Python sql()
  • [SPARK-44164] [SC-135158] [SQL] Extrahera toAttribute-metoden från StructField till Util-klassen
  • [SPARK-44178] [SC-135113] [ANSLUT] Stöd för positionsparametrar i sql()
  • [SPARK-43208] [SC-128955] [SQL] [HIVE] IsolatedClassLoader bör stänga barriärklassen InputStream efter läsning
  • [SPARK-43063] [SC-128382] [SQL] df.show hantera null bör skriva ut NULL i stället för null
  • [SPARK-42539] [SC-124464] [SQL] [HIVE] Eliminera separat classloader när du använder "inbyggd" Hive-version för metadataklient
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listFunctions
  • [SPARK-44066] [SC-134878] [SQL] Stöd för positionsparametrar i Scala/Java sql()
  • [SPARK-44078] [SC-134869] [ANSLUT] [CORE] Lägga till stöd för classloader/resursisolering
  • [SPARK-43470] [SC-135187] [CORE] Lägg till os-, Java- och Python-versionsinformation i programloggen
  • [SPARK-43136] [SC-135238] [ANSLUT] [Uppföljning] Lägga till tester för KeyAs
  • [SPARK-39740] [SC-135093] [UI]: Uppgradera vis tidslinje till 7.7.2 för att åtgärda CVE-2020-28487
  • [SPARK-42298] [SC-133952] [SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listTables
  • [SPARK-44026] [SC-135181] Tillåt att inledande värde anges för SQLMetrics
  • [SPARK-44202] [SC-135244] [CORE] Lägga till JobTag-API:er i JavaSparkContext
  • [SPARK-44030] [SC-135237] [SQL] Implementera DataTypeExpression för att erbjuda Unapply för uttryck
  • [SPARK-43876] Återställ "[SC-134603][SQL] Aktivera snabb hashmap för distinkta frågor"
  • [SPARK-40082] [SC-126437] Schemalägg sammanslagningSluts när push-sammanslagning shuffleMapStage försöker igen men inga aktiviteter som körs
  • [SPARK-43888] [SC-132893] [CORE] Flytta loggning till common/utils
  • [SPARK-43474] [SC-134400] [SS] [ANSLUT] Lägg till sessionshållare i Spark Anslut Planner
  • [SPARK-43944] [SC-134490] [ANSLUT] [PYTHON] Lägga till strängfunktioner i Scala och Python – del 2
  • [SPARK-44134] [SC-134954] [CORE] Åtgärda inställningen av resurser (GPU/FPGA) till 0 när de anges i spark-defaults.conf
  • [SPARK-44142] [SC-134947] [PYTHON] Ersätt typ med tpe i verktyget för att konvertera Python-typer till spark-typer
  • [SPARK-43952] [SC-134695] [CORE] [ANSLUT] [SQL] Lägga till SparkContext-API:er för frågeavbokning efter tagg
  • [SPARK-44000] [SC-133634] [SQL] Lägg till tips för att inaktivera sändning och replikering på ena sidan av kopplingen
  • [SPARK-43937] [SC-134362] [ANSLUT] [PYTHON] Lägg till ifnull,isnotnull,equal_null,nullif,nvl,nvl2 i Scala och Python
  • [SPARK-43624] [13.x] [SC-134557] [PS] [ANSLUT] Lägg till EWM i Spark Anslut Planner.
  • [SPARK-44040] [SC-134366] [SQL] Åtgärda beräkningsstatistik när AggregateExec-noden ovanför QueryStageExec
  • [SPARK-43485] [SC-131264] [SQL] Åtgärda felmeddelandet för argumentet för unit funktionerna datetime add/diff
  • [SPARK-43794] [SC-132561] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749] [ANSLUT] [SS] Implementerade MapGroupsWithState- och FlatMapGroupsWithState-API:er för Spark Anslut
  • [SPARK-43529] [SQL] Stöd för CREATE/REPLACE TABLE OPTIONS-uttryck + rensning av kod
  • [SPARK-44106] [SC-134750] [PYTHON] [ANSLUT] Lägg till __repr__ för GroupedData
  • [SPARK-42299] [SC-133190] Tilldela namn till _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388] [SQL] Lägger till stöd för aes_encrypt IV:er och AAD
  • [SPARK-43932] [SC-134138] [SQL] [PYTHON] [ANSLUT] Lägga till current liknande funktioner i Scala och Python
  • [SPARK-43934] [SC-134108] [SQL] [PYTHON] [ANSLUT] Lägga till regexp_* funktioner i Scala och Python
  • [SPARK-44107] [SC-134746] [ANSLUT] [PYTHON] Dölj kolumnmetoder som inte stöds från automatisk slutförande
  • [SPARK-42941] [SC-134707] [SS] [ANSLUT] [1/2] StreamingQueryListener – Event Serde i JSON-format
  • [SPARK-43773] [SC-132659] [ANSLUT] [PYTHON] Implementera funktionerna "levenshtein(str1, str2[, threshold])" i Python-klienten
  • [SPARK-44125] [SC-134745] [R] Stöd för Java 21 i SparkR
  • [SPARK-43919] [SC-133374] [SQL] Extrahera JSON-funktioner från rad
  • [SPARK-43769] [SC-132520] [ANSLUT] Implementera funktionerna levenshtein(str1, str2[, threshold])"
  • [SPARK-44012] [SC-134662] [SS] KafkaDataConsumer för att skriva ut lässtatus
  • [SPARK-43876] [SC-134603] [SQL] Aktivera snabb hashmap för distinkta frågor
  • [SPARK-44024] [SC-134497] [SQL] Ändra till att använda map när unzip endast används för att extrahera ett enda element
  • [SPARK-43928] [SC-134467] [SQL] [PYTHON] [ANSLUT] Lägga till bitåtgärder i Scala-, Python- och Anslut-API:et
  • [SPARK-44092] [SC-134506] [CORE] Lägga till Utils.isJavaVersionAtLeast21 och göra core modulpass med Java 21
  • [SPARK-44018] [SC-134512] [SQL] Förbättra hashCode och toString för vissa DS V2-uttryck
  • [SPARK-44105] [SC-134582] [SQL] LastNonNull bör lösas lazily
  • [SPARK-44081] [SC-134434] Förenkla PartitionedFileUtil API lite
  • [SPARK-43791] [SC-132531] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definiera och använda Unresolved[Leaf|Unary]Node-egenskaper.
  • [SPARK-43852] [SC-132890] [SPARK-43853] [SPARK-43854] [SPARK-43855] [SPARK-43856] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684] [SQL] Refaktorisering av standardkolumnvärdesmatchning
  • [SPARK-43493] [SC-132063] [SQL] Lägg till ett argument för maximalt avstånd i funktionen levenshtein()
  • [SPARK-44075] [SC-134382] [ANSLUT] Gör transformStatCorr lat
  • [SPARK-43925] [SC-134381] [SQL] [PYTHON] [ANSLUT] Lägg till några, bool_or,bool_and,varje till Scala, Python och Anslut
  • [SPARK-43931] [SC-134158] [SQL] [PYTHON] [ANSLUT] Lägga till make_*-funktioner i Scala och Python
  • [SPARK-43762] [SC-132602] [SPARK-43763] [SPARK-43764] [SPARK-43765] [SPARK-43766] [SQL] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367] [SQL] Förbättra felmeddelanden: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887] [ANSLUT] [PYTHON] Lägga till to_*-funktioner i Scala och Python
  • [SPARK-44055] [SC-134321] [CORE] Ta bort redundanta override funktioner från CheckpointRDD
  • [SPARK-43802] [SC-132597] [SQL] Åtgärda codegen för unhex och unbase64 med failOnError=true
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Stöd för användardefinierade tabellfunktioner i Python
  • [SPARK-43941] [SC-134286] [SQL] [PYTHON] [ANSLUT] Lägg till any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, minska till Scala, Python och Anslut API
  • [SPARK-43380] [SC-133100] [SQL] Åtgärda problem med konvertering av Avro-datatyp för att undvika felaktiga resultat
  • [SPARK-43803] [SC-133729] [SS] [ANSLUT] Förbättra awaitTermination() för att hantera klientfrånkopplingar
  • [SPARK-43179] [SC-129070] [SHUFFLE] Låta appar styra om deras metadata sparas i databasen av den externa shuffle-tjänsten

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

  • Operativsystem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Deltasjön: 2.4.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 Blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
Certifi 2022.9.14 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Kryptografi 37.0.1
Apparat 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 felsökning 1.6.0 Dekoratör 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
entrypoints 0,4 Verkställande 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 Fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.2 Launchpadlib 1.10.16 Lazr.restfulclient 0.14.4
Lazr.uri 1.0.6 Markering Valv 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook-fil 6.4.12 Numpy 1.21.5
oauthlib 3.2.0 Förpackning 21,3 Pandas 1.4.4
pandocfilter 1.5.0 parso 0.8.3 pathspec 0.9.0
Patsy 0.5.2 Pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.2.0 Pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 Psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantisk 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 Pygobject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 Pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 begäranden 2.28.1
Rep 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
Scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Setuptools 63.4.1 Sex 1.16.0
soupsieve 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 Uthållighet 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 Tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 obevakade uppgraderingar 0,1
urllib3 1.26.11 Virtualenv 20.16.3 Wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
Hjul 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
Zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 10.0.1 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.3 bslib 0.4.2 cachem 1.0.6
anropare 3.7.3 textmarkör 6.0-93 cellranger 1.1.0
Chron 2.3-59 klass 7.3-21 cli 3.6.0
clipr 0.8.0 Klocka 0.6.1 cluster 2.1.4
Codetools 0.2-19 Färgrymd 2.1-0 commonmark 1.8.1
Kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
Krita 1.5.2 autentiseringsuppgifter 1.3.2 Curl 5.0.0
data.table 1.14.6 datauppsättningar 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellips 0.3.2 evaluate (utvärdera) 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Utländska 0.8-82
Forge 0.2.0 Fs 1.6.1 Framtiden 1.31.0
future.apply 1.10.0 Gurgla 1.3.0 Generika 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globals 0.16.2
Lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafik 4.2.2 grDevices 4.2.2
Rutnät 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Tillflyktsort 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 Kernsmooth 2.23-20 stickning 1.42
Märkning 0.4.2 Senare 1.3.0 Galler 0.20-45
Lava 1.7.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASSACHUSETTS 7.3-58.2 Matris 1.5-1 pmise 2.0.1
metoder 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallellt 1.34.0 Pelaren 1.8.1 pkgbuild 1.4.0
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.2 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recept 1.0.4
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.5 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 Rumsliga 7.3-15 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Överlevnad 3.5-3 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
Tibble 3.1.8 tidyr 1.3.0 avmarkera 1.2.0
tidyverse 1.3.2 timechange 0.2.0 Timedate 4022.108
tinytex 0.44 verktyg 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
verktyg 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
Morrhår 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.2.2

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.koffein Koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tingeling 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffert 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow pilvektor 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-fortsättning 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty brygga-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty brygga plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty brygga-server 9.4.51.v20230217
org.eclipse.jetty brygga-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty brygga-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1