Databricks Runtime 13.2 (stöds inte)

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 13.2, som drivs av Apache Spark 3.4.0.

Databricks släppte dessa bilder i juli 2023.

Nya funktioner och förbättringar

Kontrollpunkter för ändringsloggar för RocksDB-tillståndsarkiv

Du kan aktivera kontrollpunkter för ändringsloggar för att sänka varaktigheten för kontrollpunkt och svarstid från slutpunkt till slutpunkt för tillståndskänsliga strukturerade strömningsarbetsbelastningar. Databricks rekommenderar att du aktiverar kontrollpunkter för ändringslogg för alla tillståndsfrågor i Structured Streaming. Se Aktivera kontrollpunkter för ändringsloggar.

Förbättrad tillförlitlighet för VACUUM med grund klon i Unity Catalog.

När du använder hanterade Unity Catalog-tabeller för källan och målet för en ytlig kloningsåtgärd hanterar Unity Catalog de underliggande datafilerna för att förbättra tillförlitligheten för kloningsåtgärdens källa och mål. Om du kör VACUUM på källan för en ytlig klon bryts inte den klonade tabellen. Se Vakuum- och Unity Catalog-grunda kloner.

Stöd för Python-UDF:er i SQL

Nu kan du deklarera användardefinierade funktioner med hjälp av Python i SQL-instruktioner CREATE FUNCTION i Unity Catalog. Se Användardefinierade funktioner (UDF: er) i Unity Catalog.

Delta Lake UniForm for Iceberg är en offentlig förhandsversion

Med Delta Lake Universal Format (UniForm) kan du läsa Delta-tabeller med Iceberg-klienter. Se Använda UniForm för att läsa Deltatabeller med Iceberg-klienter.

Delta Lake liquid clustering är en offentlig förhandsversion

Delta Lake liquid clustering ersätter tabellpartitionering och ZORDER förenklar beslut om datalayout och optimerar frågeprestanda. Se Använda flytande klustring för Delta-tabeller.

Arkiveringsstöd i Azure Databricks

Arkiveringsstöd i Azure Databricks introducerar en samling funktioner som gör att du kan använda molnbaserade livscykelprinciper på molnobjektlagring som innehåller Delta-tabeller för att flytta filer till arkivlagringsnivåer. Se Arkiveringsstöd i Azure Databricks.

Stöd för IDENTIFIER-sats

Använd IDENTIFIER(:mytable) för att på ett säkert sätt parametrisera tabell-, kolumn-, funktions- och schemanamn i många SQL-instruktioner.

Stöd för Unity Catalog för Python- och Pandas-användardefinierade funktioner (UDF:er)

På Databricks Runtime 13.2 och senare stöds användardefinierade funktioner (UDF:er) som skrivits i Python i kluster som använder läget för delad åtkomst i en Unity Catalog-aktiverad arbetsyta. Detta inkluderar Python och Pandas UDF:er. Mer information om Python-UDF:er finns i Användardefinierade skalärfunktioner – Python.

Dela scheman med deltadelning

Databricks Runtime 13.2 lägger till möjligheten att använda ALTER SHARE <share-name> ADD SCHEMA <schema-name> för att dela ett helt schema med deltadelning, vilket ger mottagaren åtkomst till alla tabeller och vyer i schemat när du delar det, tillsammans med tabeller och vyer som läggs till i schemat i framtiden. Se Lägga till scheman i en resurs och ÄNDRA RESURS.

Felkorrigeringar

  • En bugg har åtgärdats med JSON-läsaren, där poster parsades i PERMISSIVE läge om failOnUnknownFieldsmode de var aktiverade. Poster släpps nu i DROPMALFORMEDparser läge eller skrivs ut till badRecordsPath, om något av dessa alternativ har angetts. FAILFAST genererar ett fel om en kolumntyp inte matchar.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • nodeenv från 1.7.0 till 1.8.0
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • io.delta.delta-sharing-spark_2.12 från 0.6.7 till 0.7.0

Apache Spark

Databricks Runtime 13.2 innehåller Apache Spark 3.4.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 13.1 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-42750] [SC-133452] [DBRRM-273] Instruktionen Infoga efter namn stöds
  • [SPARK-43133] [SC-133728] Stöd för Scala Client DataStreamWriter Foreach
  • [SPARK-43663] [SC-134135] [ANSLUT] [PS] Aktivera SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162] [SPARK-43685] [SPARK-43686] [SPARK-43691] [ANSLUT] [PS] Korrigering (NullOps|NumOps).(eq|ne) för Spark Anslut.
  • [SPARK-44021] [SC-134109] [SQL] Lägg till spark.sql.files.maxPartitionNum
  • [SPARK-43910] [SC-132936] [SQL] Ta bort __auto_generated_subquery_name från ID:t i fel
  • [SPARK-43976] [SC-133375] [CORE] Hantera det fall där modifiedConfigs inte finns i händelseloggar
  • [SPARK-32559] [SC-133992] [SQL] Åtgärda att trimlogik inte hanterade ASCII-kontrolltecken korrekt
  • [SPARK-43421] [SC-132930] [SS] Implementera ändringsloggbaserad kontrollpunkt för RocksDB State Store-provider
  • [SPARK-43594] [SC-133851] [SQL] Lägg till LocalDateTime i anyToMicros
  • [SPARK-43884] [SC-133867] Param-markörer i DDL
  • [SPARK-43398] [SC-133894] [CORE] Tidsgränsen för körningen ska vara högst för inaktiv shuffle och rdd-timeout
  • [SPARK-43610] [SC-133892] [ANSLUT] [PS] Aktivera InternalFrame.attach_distributed_column i Spark Anslut.
  • [SPARK-43971] [SC-133826] [ANSLUT] [PYTHON] Stöd för Pythons createDataFrame på strömningssätt
  • [SPARK-44006] [SC-133652] [ANSLUT] [PYTHON] Stöd för cacheartefakter
  • [SPARK-43790] [SC-133468] [PYTHON] [ANSLUT] [ML] Lägg till copyFromLocalToFs API
  • [SPARK-43921] [SC-133461] [PROTOBUF] Generera Protobuf-beskrivningsfiler vid bygget
  • [SPARK-43906] [SC-133638] [SC-133404] [PYTHON] [ANSLUT] Implementera filstöd i SparkSession.addArtifacts
  • [SPARK-44010] [SC-133744] [PYTHON] [SS] [MINOR] Python StreamingQueryProgress-raderKorrigering av typenPerSecond
  • [SPARK-43768] [SC-132398] [PYTHON] [ANSLUT] Stöd för Python-beroendehantering i Python Spark Anslut
  • [SPARK-43979] [13.X] Återställ "[SC-133456][SQL] CollectedMetrics bör behandlas som samma för självkoppling"
  • [SPARK-42290] [SC-133696] [SQL] Det går inte att rapportera OOM-felet när AQE på
  • [SPARK-43943] [SC-133648] [SQL] [PYTHON] [ANSLUT] Lägga till SQL-matematiska funktioner i Scala och Python
  • [SPARK-43747] [SC-132047] [PYTHON] [ANSLUT] Implementera pyfile-stödet i SparkSession.addArtifacts
  • [SPARK-43700] [SC-133726] [SPARK-43701] [ANSLUT] [PS] Aktivera TimedeltaOps.(sub|rsub) med Spark Anslut
  • [SPARK-43712] [SC-133641] [SPARK-43713] [ANSLUT] [PS] Aktivera paritetstest: test_line_plot, test_pie_plot.
  • [SPARK-43867] [SC-132895] [SQL] Förbättra föreslagna kandidater för olösta attribut
  • [SPARK-43901] [SC-133454] [SQL] Avro till Stöd för anpassad decimaltyp som backas upp av Long
  • [SPARK-43267] [SC-133024] [JDBC] Hantera postgres okänd användardefinierad kolumn som sträng i matris
  • [SPARK-43935] [SC-133637] [SQL] [PYTHON] [ANSLUT] Lägga till xpath_* funktioner i Scala och Python
  • [SPARK-43916] [SC-133647] [SQL] [PYTHON] [ANSLUT] Lägga till percentil i Scala- och Python-API:et
  • [SPARK-43717] [SC-133455] [ANSLUT] Scala-klientens reduce-agg kan inte hantera nullpartitioner för scala primitiva indata
  • [SPARK-43984] [SC-133469] [SQL] [PROTOBUF] Ändra till att använda foreach när map inte ger resultat
  • [SPARK-43612] [SC-132011] [ANSLUT] [PYTHON] Implementera SparkSession.addArtifact(er) i Python-klienten
  • [SPARK-44002] [SC-133606] [ANSLUT] Åtgärda artefaktstatushanteraren
  • [SPARK-43933] [SC-133470] [SQL] [PYTHON] [ANSLUT] Lägga till linjära regressionsaggregeringsfunktioner i Scala och Python
  • [SPARK-43920] [SC-133614] [SQL] [ANSLUT] Skapa sql/api-modul
  • [SPARK-43979] [SC-133456] [SQL] CollectedMetrics ska behandlas som samma för självkoppling
  • [SPARK-43977] [SC-133373] [ANSLUT] Åtgärda oväntat kontrollresultat av dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412] [PROTOBUF] spark protobuf: åtgärda uppräkningar som ints-bugg
  • [SPARK-43930] [SC-133406] [SQL] [PYTHON] [ANSLUT] Lägga till unix_*-funktioner i Scala och Python
  • [SPARK-43807] [SC-132545] [SQL] Migrera _LEGACY_ERROR_TEMP_1269 till PARTITION_SCHEMA_IS_EMPTY
  • [SPARK-43956] [SC-133123] [SQL] Åtgärda felet visar inte kolumnens sql för Percentile[Cont|Skiva]
  • [SPARK-42626] [SC-133248] [ANSLUT] Lägg till destruktiv iterator för SparkResult
  • [SPARK-43333] [SC-132898] [SQL] Tillåt att Avro konverterar unionstyp till SQL med fältnamnet stabilt med typen
  • [SPARK-43953] [SC-133134] [ANSLUT] Ta bort pass
  • [SPARK-43970] [SC-133403] [PYTHON] [ANSLUT] Dölj dataramsmetoder som inte stöds från automatisk slutförande
  • [SPARK-43973] [SC-133272] [SS] [Användargränssnitt] Det strukturerade direktuppspelningsgränssnittet bör visa misslyckade frågor korrekt
  • [SPARK-42577] [SC-125445] [CORE] Lägg till maxförsöksbegränsning för steg för att undvika potentiellt oändligt återförsök
  • [SPARK-43841] [SC-132699] [SQL] Hantera kandidatattribut utan prefix i StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795] [CORE] [Följ UPP] spark.rdd.cache.visibilityTracking.enabled Ändra konfigurationsstödversion till 3.5.0
  • [SPARK-37942] [SC-130983] [CORE] [SQL] Migrera felklasser
  • [SPARK-43898] [SC-132926] [CORE] Registrera dig immutable.ArraySeq$ofRef automatiskt för KryoSerializer Scala 2.13
  • [SPARK-43775] [SC-132891] [SQL] DataSource V2: Tillåt att uppdateringar representeras som borttagningar och infogningar
  • [SPARK-43817] [SC-132662] [SPARK-43702] [PYTHON] Stöd för UserDefinedType i createDataFrame från Pandas DataFrame och toPandas
  • [SPARK-43418] [SC-132753] [SC-130685] [ANSLUT] Lägg till SparkSession.Builder.getOrCreate
  • [SPARK-43549] [SC-132383] [SQL] Konvertera _LEGACY_ERROR_TEMP_0036 till INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
  • [SPARK-41497] [SC-124644] [CORE] Åtgärda ackumulatorns underkonto när det gäller återförsöksaktiviteten med rdd-cache
  • [SPARK-43892] [SC-133006] [PYTHON] Lägga till stöd för automatisk komplettering för df[|] i pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listDatabases
  • [SPARK-43205] [SC-132623] IDR-sats
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] Stöd för kapslad tidsstämpeltyp
  • [SPARK-43949] [SC-133048] [PYTHON] Uppgradera cloudpickle till 2.2.1
  • [SPARK-43760] [SC-132809] [SQL] Nullbarhet för skalära underfrågor
  • [SPARK-43696] [SC-132737] [SPARK-43697] [SPARK-43698] [SPARK-43699] [PS] Korrigering TimedeltaOps för Spark Anslut
  • [SPARK-43895] [SC-132897] [ANSLUT] [GO] Förbereda go-paketsökvägen
  • [SPARK-43894] [SC-132892] [PYTHON] Åtgärda bugg i df.cache()
  • [SPARK-43509] [SC-131625] [ANSLUT] Stöd för att skapa flera Spark Anslut-sessioner
  • [SPARK-43882] [SC-132888] [SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2122
  • [SPARK-43687] [SC-132747] [SPARK-43688] [SPARK-43689] [SPARK-43690] [PS] Korrigering NumOps för Spark Anslut
  • [SPARK-43604] [SC-132165] [SQL] INVALID_SQL_SYNTAX Omstrukturera för att undvika att bädda in feltexten i källkoden
  • [SPARK-43859] [SC-132883] [SQL] Åsidosätt toString i LateralColumnAliasReference
  • [SPARK-43792] [SC-132939] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listCatalogs
  • [SPARK-43353] Återställ "[SC-132734][PYTHON] Migrera återstående sessionsfel till felklass"
  • [SPARK-43375] [SC-130309] [ANSLUT] Förbättra felmeddelandena för INVALID_CONNECT_URL
  • [SPARK-43863] [SC-132721] [ANSLUT] Ta bort redundant toSeq från SparkConnectPlanner för Scala 2.13
  • [SPARK-43676] [SC-132708] [SPARK-43677] [SPARK-43678] [SPARK-43679] [PS] Korrigering DatetimeOps för Spark Anslut
  • [SPARK-43666] [SC-132689] [SPARK-43667] [SPARK-43668] [SPARK-43669] [PS] Korrigering BinaryOps för Spark Anslut
  • [SPARK-43680] [SC-132709] [SPARK-43681] [SPARK-43682] [SPARK-43683] [PS] Korrigering NullOps för Spark Anslut
  • [SPARK-43782] [SC-132885] [CORE] Stöd för konfiguration på loggnivå med statisk Spark-konfiguration
  • [SPARK-43132] [SC-131623] [SS] [ANSLUT] Python Client DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961] [SQL] Lägger till AES IV- och AAD-stöd för ExpressionImplUtils
  • [SPARK-43795] [SC-132532] [ANSLUT] Ta bort parametrar som inte används för Spark Anslut Planner
  • [SPARK-42317] [SC-129194] [SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_0017
  • [SPARK-43834] [SC-132679] [SQL] Använd felklasser i kompileringsfelen för ResolveDefaultColumns
  • [SPARK-43749] [SC-132423] [SPARK-43750] [SQL] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_240[4-5]
  • [SPARK-43576] [SC-132533] [CORE] Ta bort oanvända deklarationer från Core-modulen
  • [SPARK-43314] [SC-129970] [ANSLUT] [PYTHON] Migrera Spark Anslut-klientfel till felklass
  • [SPARK-43799] [SC-132715] [PYTHON] Lägg till alternativet descriptor binary i Pyspark Protobuf API
  • [SPARK-43837] [SC-132678] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750] [SQL] Tilldela ett namn till felklassen LEGACY_ERROR_TEMP(1254 & 1315)
  • [SPARK-43886] [SC-132808] [PYTHON] Acceptera generics-tuppeln som att skriva tips om Pandas UDF
  • [SPARK-43530] [SC-132653] [PROTOBUF] Skrivskyddad fil endast en gång
  • [SPARK-43820] [SC-132676] [SPARK-43822] [SPARK-43823] [SPARK-43826] [SPARK-43827] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_241[1–7]
  • [SPARK-43671] [SC-132519] [SPARK-43672] [SPARK-43673] [SPARK-43674] [PS] Korrigering CategoricalOps för Spark Anslut
  • [SPARK-39979] [SC-132685] [SQL] Lägg till alternativ för att använda stora variabelbreddsvektorer för pil-UDF-åtgärder
  • [SPARK-43692] [SC-132660] [SPARK-43693] [SPARK-43694] [SPARK-43695] [PS] Korrigering StringOps för Spark Anslut
  • [SPARK-43353] [SC-132734] [PYTHON] Migrera återstående sessionsfel till felklass
  • [SPARK-43815] [SC-132781] [SQL] Lägg till to_varchar alias för to_char
  • [SPARK-43543] [13.x] [SC-131839] [PYTHON] Åtgärda kapslat MapType-beteende i Pandas UDF
  • [SPARK-43361] [SC-131789] [PROTOBUF] uppdateringsdokumentation för fel relaterade till uppräkningsserierialisering
  • [SPARK-43740] [SC-132035] [PYTHON] [ANSLUT] Dölj metoder som session inte stöds från automatisk slutförande
  • [SPARK-43022] [SC-131681] [ANSLUT] Stöd för protobuf-funktioner för Scala-klienten
  • [SPARK-43304] [13.x] [SC-129969] [ANSLUT] [PYTHON] Migrera NotImplementedError till PySparkNotImplementedError
  • [SPARK-43860] [SC-132713] [SQL] Aktivera tail-rekursion där det är möjligt
  • [SPARK-42421] [SC-132695] [CORE] Använd verktygen för att hämta växeln för dynamisk allokering som används i den lokala kontrollpunkten
  • [SPARK-43590] [SC-132012] [ANSLUT] Gör connect-jvm-client-mima-check för att stödja mima-kontroll med protobuf modul
  • [SPARK-43315] [13.x] [ANSLUT] [PYTHON] [SS] Migrera återstående fel från DataFrame(Reader|Skrivare) i felklass
  • [SPARK-43361] [SC-130980] [PROTOBUF] spark-protobuf: tillåt serde med uppräkning som ints
  • [SPARK-43789] [SC-132397] [R] Använder "spark.sql.execution.arrow.maxRecordsPerBatch" i R createDataFrame med Pil som standard
  • [SPARK-43596] [SC-126994] [SQL] Hantera IsNull-predikat i omskrivningDomainJoins
  • [SPARK-42249] [SC-122565] [SQL] Förfina html-länken för dokumentation i felmeddelanden.
  • [SPARK-43128] [SC-131628] [ANSLUT] [SS] Gör recentProgress och lastProgress returnera överensstämmer StreamingQueryProgress med det interna Scala API:et
  • [SPARK-43387] [SC-130448] [SQL] Ange en mänsklig läsbar felkod för _LEGACY_ERROR_TEMP_1168.
  • [SPARK-43334] [SC-132358] [Användargränssnitt] Åtgärda fel vid serialisering av ExecutorPeakMetricsDistributions till API-svar
  • [SPARK-42958] [SC-131475] [ANSLUT] Omstrukturera för connect-jvm-client-mima-check att stödja mima-kontroll med avro-modul
  • [SPARK-43591] [SC-131977] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_0013
  • [SPARK-38464] [SC-132211] [CORE] Använda felklasser i org.apache.spark.io
  • [SPARK-43759] [SC-132189] [SQL] [PYTHON] Exponera TidsstämpelNTZType i pyspark.sql.types
  • [SPARK-43649] [SC-132036] [SPARK-43650] [SPARK-43651] [SQL] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_240[1-3]
  • [SPARK-43719] [SC-132016] [WEBUI] Handtagsfält missing row.excludedInStages
  • [SPARK-42956] [SC-127257] [ANSLUT] Stöd för avro-funktioner för Scala-klienten
  • [SPARK-43487] [SC-131975] [SQL] Åtgärda kapslat CTE-felmeddelande
  • [SPARK-43265] [SC-129653] Flytta felramverket till en vanlig verktygsmodul
  • [SPARK-40912] [SC-131547] [CORE] Omkostnader för undantag i KryoDeserializationStream
  • [SPARK-43583] [SC-131976] [CORE] hämta MergedBlockedMetaReqHandler från ombudet i stället för SaslRpcHandler-instansen
  • [SPARK-42996] [SC-131997] [ANSLUT] [PS] [ML] Skapa och tilldela rätt JIRA-biljetter för alla misslyckade tester.
  • [SPARK-38469] [SC-131425] [CORE] Använda felklassen i org.apache.spark.network
  • [SPARK-43718] [SC-132014] [SQL] Ange nullable korrekt för nycklar i USING-kopplingar
  • [SPARK-43502] [SC-131419] [PYTHON] [ANSLUT] DataFrame.drop bör acceptera tom kolumn
  • [SPARK-43743] [SC-132038] [SQL] Port HIVE-12188 (DoAs fungerar inte korrekt i icke-kerberos-skyddad HS2)
  • [SPARK-43598] [SC-131929] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2400
  • [SPARK-43138] [SC-131031] [CORE] Åtgärda ClassNotFoundException under migreringen
  • [SPARK-43360] [SC-131526] [SS] [ANSLUT] Scala-klienten StreamingQueryManager
  • [SPARK-38467] [SC-131025] [CORE] Använda felklasser i org.apache.spark.memory
  • [SPARK-43345] [SC-131790] [SPARK-43346] [SQL] Byt namn på felklasserna LEGACY_ERROR_TEMP[0041|1206]
  • [SPARK-42815] [SC-126450] [SQL] Kortkommandouttryck för underuttryckseliminering stöder genvägsuttryck
  • [SPARK-38462] [SC-130449] [CORE] Lägg till felklass INTERNAL_ERROR_EXECUTOR
  • [SPARK-43589] [SC-131798] [SQL] Korrigering cannotBroadcastTableOverMaxTableBytesError att använda bytesToString
  • [SPARK-43539] [SC-131830] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688] [SQL] Klona InMemoryRelation-cachelagrad plan för att förhindra att klonad plan refererar till samma objekt
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] Utöka INTERNAL_ERROR med kategorier och lägg till felklass INTERNAL_ERROR_BROADCAST
  • [SPARK-43281] [SC-131370] [SQL] Korrigering av samtidig skrivare uppdaterar inte filmått
  • [SPARK-43383] [SC-130660] [SQL] Lägga till rowCount statistik i LocalRelation
  • [SPARK-43574] [SC-131739] [PYTHON] [SQL] Stöd för att ställa in Körbar Python för UDF- och Pandas-funktions-API:er i arbetare under körning
  • [SPARK-43569] [SC-131694] [SQL] Ta bort lösning för HADOOP-14067
  • [SPARK-43183] [SC-128938] [SS] [13.x] Introducera ett nytt återanrop "onQueryIdle" till StreamingQueryListener
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] Stöd för duplicerade fältnamn i createDataFrame med Pandas DataFrame
  • [SPARK-43548] [SC-131686] [SS] Ta bort lösning för HADOOP-16255
  • [SPARK-43494] [SC-131272] [CORE] Anropa replicate() direkt i stället för HdfsDataOutputStreamBuilder reflektion i SparkHadoopUtil#createFile
  • [SPARK-43471] [SC-131063] [CORE] Hantera saknade hadoopEgenskaper och måttEgenskaper
  • [SPARK-42899] [SC-126456] [SQL] Åtgärda DataFrame.to(schema) för att hantera fallet där det finns ett icke-nullbart kapslat fält i ett null-fält
  • [SPARK-43302] [SC-129747] [SQL] Gör Python UDAF till AggregateFunction
  • [SPARK-43223] [SC-131270] [Anslut] Skrivet agg, reduce functions, RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375] [SS] Expandera QueryTerminatedEvent för att innehålla felklass om den finns i undantag
  • [SPARK-43359] [SC-131463] [SQL] Ta bort från Hive-tabellen bör utlösa "UNSUPPORTED_FEATURE. TABLE_OPERATION"
  • [SPARK-43284] [SC-130313] Växla tillbaka till url-kodade strängar
  • [SPARK-43492] [SC-131227] [SQL] Lägg till 3-args-funktionsalias DATE_ADD och DATE_DIFF
  • [SPARK-43473] [SC-131372] [PYTHON] Stöd för structtyp i createDataFrame från Pandas DataFrame
  • [SPARK-43386] [SC-131110] [SQL] Förbättra listan över föreslagna kolumner/attribut i UNRESOLVED_COLUMN.WITH_SUGGESTION felklassen
  • [SPARK-43443] [SC-131332] [SQL] Lägg till benchmark för slutsatsdragning av tidsstämpeltyp när ogiltigt värde används
  • [SPARK-43518] [SC-131420] [SQL] Konvertera _LEGACY_ERROR_TEMP_2029 till INTERNAL_ERROR
  • [SPARK-42604] [SC-130648] [ANSLUT] Implementera functions.typedlit
  • [SPARK-42323] [ES-669513] Återställ "[SC-123479][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2332"
  • [SPARK-43357] [SC-130649] [SQL] Filtrera offertdatum för datumtyp
  • [SPARK-43410] [SC-130526] [SQL] Förbättra vektoriserad loop för packade skipValues
  • [SPARK-43441] [SC-130995] [CORE] makeDotNode bör inte misslyckas när DeterministicLevel saknas
  • [SPARK-43324] [SC-130455] [SQL] Hantera UPDATE-kommandon för deltabaserade källor
  • [SPARK-43272] [SC-131168] [CORE] createFile Anropa direkt i stället för reflektion
  • [SPARK-43296] [13.x] [SC-130627] [ANSLUT] [PYTHON] Migrera Spark Anslut-sessionsfel till felklass
  • [SPARK-43405] [SC-130987] [SQL] Ta bort värdelös getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL metod
  • [SPARK-43447] [SC-131017] [R] Stöd för R 4.3.0
  • [SPARK-43425] [SC-130981] [SQL] Lägg till i TimestampNTZTypeColumnarBatchRow
  • [SPARK-41532] [SC-130523] [ANSLUT] [KLIENT] Lägg till kontroll av åtgärder som omfattar flera dataramar
  • [SPARK-43262] [SC-129270] [ANSLUT] [SS] [PYTHON] Migrera Spark Anslut Structured Streaming-fel till felklass
  • [SPARK-42992] [13.x] [SC-129465] [PYTHON] Presentera PySparkRuntimeError
  • [SPARK-43422] [SC-130982] [SQL] Behåll taggar på LogicalRelation med metadatautdata
  • [SPARK-43390] [SC-130646] [SQL] DSv2 tillåter att CTAS/RTAS reserverar schemats nullabilitet
  • [SPARK-43430] [SC-130989] [ANSLUT] [PROTO] ExecutePlanRequest stöder alternativ för godtyckliga begäranden.
  • [SPARK-43313] [SC-130254] [SQL] Lägga till saknade kolumnstandardvärden för MERGE INSERT-åtgärder
  • [SPARK-42842] [SC-130438] [SQL] Sammanfoga felklassen _LEGACY_ERROR_TEMP_2006 till REGEX_GROUP_INDEX
  • [SPARK-43377] [SC-130405] [SQL] Aktivera spark.sql.thriftServer.interruptOnCancel som standard
  • [SPARK-43292] [SC-130525] [CORE] [ANSLUT] Flytta ExecutorClassLoader till core modulen och förenkla Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310] [SQL] Förbättra stöd för TimestampNTZ-typ i JDBC-datakälla
  • [SPARK-43343] [SC-130629] [SS] FileStreamSource bör inaktivera en extra filglobkontroll när du skapar DataSource
  • [SPARK-43312] [SC-130294] [PROTOBUF] Alternativ för att konvertera alla fält till JSON
  • [SPARK-43404] [SC-130586] [SS] Hoppa över att återanvända sst-filen för samma version av RocksDB-tillståndsarkivet för att undvika felmatchning av ID
  • [SPARK-43397] [SC-130614] [CORE] Varaktighet för loggexekutoravstängning i executorLost metod
  • [SPARK-42388] [SC-128568] [SQL] Undvik parquet-sidfotläsningar två gånger i vektoriserad läsare
  • [SPARK-43306] [13.x] [SC-130320] [PYTHON] Migrera ValueError från Spark SQL-typer till felklass
  • [SPARK-43337] [SC-130353] [Användargränssnitt] [3.4] Asc/desc-pilikoner för sorteringskolumn visas inte i tabellkolumnen
  • [SPARK-43279] [SC-130351] [CORE] Rensa oanvända medlemmar från SparkHadoopUtil
  • [SPARK-43250] [SC-130147] [SQL] Ersätt felklassen _LEGACY_ERROR_TEMP_2014 med ett internt fel
  • [SPARK-43363] [SC-130299] [SQL] [PYTHON] astype Anropa endast kategoritypen när piltypen inte har angetts
  • [SPARK-43261] [SC-130154] [PYTHON] Migrera TypeError från Spark SQL-typer till felklass
  • [SPARK-41971] [SC-130230] [SQL] [PYTHON] Lägga till en konfiguration för Pandas-konvertering om hur du hanterar structtyper
  • [SPARK-43381] [SC-130464] [ANSLUT] Gör "transformStatCov" lat
  • [SPARK-43362] [SC-130481] [SQL] Särskild hantering av JSON-typ för MySQL-anslutningsprogram
  • [SPARK-42843] [SC-130196] [SQL] Uppdatera felklassen _LEGACY_ERROR_TEMP_2007 till REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968] [ANSLUT] Direktuppspelning av lokala relationer
  • [SPARK-43181] [SC-130476] [SQL] Visa UI WebURL i spark-sql gränssnittet
  • [SPARK-43051] [SC-130194] [ANSLUT] Lägg till alternativ för att generera standardvärden
  • [SPARK-43204] [SC-129296] [SQL] Justera MERGE-tilldelningar med tabellattribut
  • [SPARK-43348] [SC-130082] [PYTHON] Stöd Python 3.8 i PyPy3
  • [SPARK-42845] [SC-130078] [SQL] Uppdatera felklassen _LEGACY_ERROR_TEMP_2010 till InternalError
  • [SPARK-43211] [SC-128978] [HIVE] Ta bort Hadoop2-stöd i IsolatedClientLoader

Systemmiljö

  • Operativsystem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Deltasjön: 2.4.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 Blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
Certifi 2022.9.14 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Kryptografi 37.0.1
Apparat 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 felsökning 1.5.1 Dekoratör 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0,12
entrypoints 0,4 Verkställande 1.2.0 facets-overview 1.0.3
fastjsonschema 2.16.3 filelock 3.12.0 Fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.2 Launchpadlib 1.10.16 Lazr.restfulclient 0.14.4
Lazr.uri 1.0.6 Markering Valv 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook-fil 6.4.12 Numpy 1.21.5
oauthlib 3.2.0 Förpackning 21,3 Pandas 1.4.4
pandocfilter 1.5.0 parso 0.8.3 pathspec 0.9.0
Patsy 0.5.2 Pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.2.0 Pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 Psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantisk 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 Pygobject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 Pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 begäranden 2.28.1
Rep 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
Scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Setuptools 63.4.1 Sex 1.16.0
soupsieve 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 Uthållighet 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 Tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 obevakade uppgraderingar 0,1
urllib3 1.26.11 Virtualenv 20.16.3 Wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
Hjul 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
Zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 10.0.1 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.3 bslib 0.4.2 cachem 1.0.6
anropare 3.7.3 textmarkör 6.0-93 cellranger 1.1.0
Chron 2.3-59 klass 7.3-21 cli 3.6.0
clipr 0.8.0 Klocka 0.6.1 cluster 2.1.4
Codetools 0.2-19 Färgrymd 2.1-0 commonmark 1.8.1
Kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
Krita 1.5.2 autentiseringsuppgifter 1.3.2 Curl 5.0.0
data.table 1.14.6 datauppsättningar 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellips 0.3.2 evaluate (utvärdera) 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Utländska 0.8-82
Forge 0.2.0 Fs 1.6.1 Framtiden 1.31.0
future.apply 1.10.0 Gurgla 1.3.0 Generika 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globals 0.16.2
Lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafik 4.2.2 grDevices 4.2.2
Rutnät 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Tillflyktsort 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 Kernsmooth 2.23-20 stickning 1.42
Märkning 0.4.2 Senare 1.3.0 Galler 0.20-45
Lava 1.7.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASSACHUSETTS 7.3-58.2 Matris 1.5-1 pmise 2.0.1
metoder 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallellt 1.34.0 Pelaren 1.8.1 pkgbuild 1.4.0
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.2 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recept 1.0.4
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.5 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 Rumsliga 7.3-15 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Överlevnad 3.5-3 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
Tibble 3.1.8 tidyr 1.3.0 avmarkera 1.2.0
tidyverse 1.3.2 timechange 0.2.0 Timedate 4022.108
tinytex 0.44 verktyg 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
verktyg 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
Morrhår 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.2.2

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.koffein Koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tingeling 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffert 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow pilvektor 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-fortsättning 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty brygga-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty brygga plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty brygga-server 9.4.50.v20221201
org.eclipse.jetty brygga-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty brygga-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1