Databricks Runtime 14.2

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 14.2 som drivs av Apache Spark 3.5.0.

Databricks släppte dessa bilder i november 2023.

Nya funktioner och förbättringar

CACHE SELECT ignoreras nu

SQL-kommandot CACHE SELECT ignoreras nu till förmån för en förbättrad cachelagringsalgoritm. Se Optimera prestanda med cachelagring på Azure Databricks.

Åtgärdad skadad filhantering i DML-kommandon

DML-kommandona DELETE, UPDATEoch MERGE INTO respekterar inte längre läsalternativen ignoreCorruptFiles och ignoreMissingFiles. När du stöter på en oläsbar fil i en tabell misslyckas dessa kommandon nu även om dessa alternativ anges.

Nu kan du använda from_avrofunktionerna , to_avro, from_protobufoch to_protobuf Python med Schema Registry i delade kluster.

foreachBatch och StreamingListener support

Nu kan du använda API:erna foreachBatch() och StreamingListener med Strukturerad direktuppspelning i delade kluster. Se Använda foreachBatch för att skriva till godtyckliga datamottagare och övervaka strukturerade strömningsfrågor på Azure Databricks.

Samtidighet på radnivå är allmänt tillgänglig och aktiverad som standard

Samtidighet på radnivå minskar konflikterna mellan samtidiga skrivåtgärder genom att identifiera ändringar på radnivå. Samtidighet på radnivå stöds endast i tabeller utan partitionering, vilket inkluderar tabeller med flytande klustring. Samtidighet på radnivå är aktiverat som standard i Delta-tabeller med borttagningsvektorer aktiverade. Se Skriva konflikter med samtidighet på radnivå.

Deltadelning: Mottagare kan köra batch-, CDF- och strömningsfrågor i delade tabeller med borttagningsvektorer (offentlig förhandsversion)

Deltadelningsmottagare kan nu köra batch-, CDF- och strömningsfrågor på delade tabeller som använder borttagningsvektorer. På Databricks Runtime 14.1 kan de bara köra batchfrågor. Se Lägga till tabeller med borttagningsvektorer eller kolumnmappning till en resurs, Läs tabeller med borttagningsvektorer eller kolumnmappning aktiverat och Läs tabeller med borttagningsvektorer eller kolumnmappning aktiverat.

Ytlig klon för externa Unity Catalog-tabeller (offentlig förhandsversion)

Nu kan du använda en ytlig klon med externa Unity Catalog-tabeller. Se Ytlig klon för Unity Catalog-tabeller.

Ny algoritm för tilldelning av diskcachelagring

Spark-schemaläggaren använder nu en ny algoritm för diskcachelagring. Algoritmen förbättrar diskanvändningen och partitionstilldelningen mellan noder, med snabbare tilldelning både initialt och efter klusterskalningshändelser. Fästare cachetilldelning förbättrar konsekvensen mellan körningar och minskar data som flyttas under ombalanseringsåtgärder.

from_avro med schemaregisteranslutning lägger till stöd för schemautveckling

Nu kan du aktivera dina pipelines för att starta om när utvecklade poster identifieras. Tidigare, om schemautvecklingen skedde med anslutningsappen from_avro , skulle de nya kolumnerna returnera null. Se Läsa och skriva strömmande Avro-data.

Snabbare statistiksamling med flera trådar

Statistikinsamlingen är upp till 10 gånger snabbare på små kluster när du kör KONVERTERA TILL DELTA eller kloning från Iceberg- och Parquet-tabeller. Se Konvertera till Delta Lake - och Clone Parquet- och Iceberg-tabeller.

Pushdown-filter i DeltaSource på Delta-filer

För bättre användning skickas nu partitionsfilter på strömmande frågor för Delta-tabeller ned till Delta innan hastighetsbegränsningen.

Stöd för scala-skalära användardefinierade funktioner i delade kluster (offentlig förhandsversion)

Nu kan du använda Scala-skalära användardefinierade funktioner i Unity Catalog-aktiverade kluster som konfigurerats med läget för delad åtkomst. Se Användardefinierade skalärfunktioner – Scala.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • fastjsonschema från 2.18.0 till 2.19.0
    • filelock från 3.12.3 till 3.12.4
    • googleapis-common-protos från 1.60.0 till 1.61.0
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:

Apache Spark

Databricks Runtime 14.2 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.1, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-45592] [DBRRM-624] Återställ "[SC-146977][SQL] Korrekthetsproblem i AQE med InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Återställ "[SC-146319][PYTHON][SQL] Initial support f...
  • [SPARK-45433] [DBRRM-621] Återställ "[SC-145163][SQL] Åtgärda CSV/JSON-schemaslut...
  • [SPARK-45592] [SC-146977] [SQL] Problem med korrekthet i AQE med InMemoryTableScanExec
  • [SPARK-45354] Återställ "[SC-143991][SQL] Lös funktioner nedifrån och upp"
  • [SPARK-45680] [ENDAST TEST] [SASP-2347] [ANSLUT] Åtgärda tester
  • [SPARK-45680] [ANSLUT] Versionssession
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Åtgärda avmattning i Avro-läsning
  • [SPARK-45649] [SC-146742] [SQL] Förena förberedelseramverket för OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727] [PYTHON] [SQL] Skapa StructType från Json
  • [SPARK-45620] [SC-146225] [PYTHON] Åtgärda användarriktade API:er som är relaterade till Python UDTF för att använda camelCase
  • [SPARK-45727] [SC-146978] [SS] Ta bort oanvänd karta i simulering av vattenstämpelspridning
  • [SPARK-45723] [SC-146890] [PYTHON] [ANSLUT] Katalogmetoder undviker Pandas-konvertering
  • [SPARK-45574] [SC-146106] [SQL] Lägg till :: syntax som en förkortning för gjutning
  • [SPARK-45670] [SC-146725] [CORE] [3.5] SparkSubmit stöder --total-executor-cores inte vid distribution på K8:er
  • [SPARK-45661] [SC-146594] [SQL] [PYTHON] Lägg till toNullable i StructType, MapType och ArrayType
  • [SPARK-45524] [SC-146319] [PYTHON] [SQL] Initialt stöd för python-datakällans läs-API
  • [SPARK-45542] [SC-145892] [CORE] Ersätt setSafeMode(HdfsConstants.SafeModeAction, boolean) med setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641] [SQL] SPJ: Hantera tomma indatapartitioner efter dynamisk filtrering
  • [SPARK-45454] [SC-144846] [SQL] Ange tabellens standardägare till current_user
  • [SPARK-45554] [SC-146875] [PYTHON] Introducera flexibel parameter för assertSchemaEqual
  • [SPARK-45242] [SC-143410] [SQL] Använda DataFrame-ID för att semantiskt validera CollectMetrics
  • [SPARK-45674] [SC-146862] [ANSLUT] [PYTHON] Förbättra felmeddelandet för JVM-beroende attribut på Spark Anslut.
  • [SPARK-45646] [SC-146276] [SQL] Ta bort tidsvariabler för hårdkodning före Hive 2.0
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Åtgärda avmattning i Avro-läsning
  • [SPARK-45545] [SC-146484] [CORE] Skicka SSLOptions var vi än skapar en SparkTransportConf
  • [SPARK-45641] [SC-146260] [Användargränssnitt] Visa programmets starttid på AllJobsPage
  • [SPARK-40154] [SC-146491] [Python] [Docs] Rätt lagringsnivå i Docstring för Dataframe.cache
  • [SPARK-45626] [SC-146259] [SQL] Konvertera _LEGACY_ERROR_TEMP_1055 till REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900] [SQL] Korrigering av korrekthet för kapslade korrelerade skalära underfrågor med COUNT-aggregat
  • [SPARK-45619] [SC-146226] [ANSLUT] [PYTHON] Tillämpa de observerade måtten på observationsobjekt
  • [SPARK-45588] [SC-145909] [PROTOBUF] [ANSLUT] [MINOR] Scaladoc-förbättring för StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120] [CORE] Undvik ParVector, som inte sprider ThreadLocals eller SparkSession
  • [SPARK-45604] [SC-146105] [SQL] Lägg till LogicalType-kontroll på INT64 –> DateTime-konvertering på Parquet Vectorized Reader
  • [SPARK-44649] [SC-145891] [SQL] Körningsfilter har stöd för att skicka motsvarande uttryck för skapandesidan
  • [SPARK-41674] [SC-128408] [SQL] Körningsfilter bör ha stöd för multinivå shuffle join side as filter creation side
  • [SPARK-45547] [SC-146228] [ML] Validera vektorer med inbyggd funktion
  • [SPARK-45558] [SC-145890] [SS] Introducera en metadatafil för tillståndskänslig strömningsoperator
  • [SPARK-45618] [SC-146252] [CORE] Ta bort BaseErrorHandler
  • [SPARK-45638] [SC-146251] [SQL] [Avro] Förbättra testtäckningen för decimalkonvertering
  • [SPARK-44837] [SC-146020] [SQL] Felmeddelande om att ändra ALTER TABLE ALTER PARTITION-kolumn
  • [SPARK-45561] [SC-146264] [SQL] Lägga till rätt konverteringar för TINYINT i MySQLDialect
  • [SPARK-45632] [SC-146255] [SQL] Tabellcache bör undvika onödiga ColumnarToRow när du aktiverar AQE
  • [SPARK-45569] [SC-145932] [SQL] Tilldela namnet till felet _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015] [ANSLUT] Gör SBT-testning hermetisk.
  • [SPARK-45452] [SC-144836] [SQL] Förbättra InMemoryFileIndex användningen av FileSystem.listFiles API
  • [SPARK-44735] [SC-146186] [SQL] Lägg till varnings-msg när du infogar kolumner med samma namn efter rad som inte matchar
  • [SPARK-45351] [SC-144791] [CORE] Ändra spark.shuffle.service.db.backend standardvärdet till ROCKSDB
  • [SPARK-45553] [SC-145906] [PS] Inaktuell assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022] [CORE] Exponera DeterministicLevel som utvecklareApi
  • [SPARK-45549] [SC-145895] [CORE] Ta bort oanvänd numExistingExecutors i CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030] [ANSLUT] Inkludera SqlState i SparkThrowable proto-meddelande
  • [SPARK-45595] [SC-146037] exponera sqlstate i felmeddelande
  • [SPARK-45628] [SC-146123] [ML] Förbättra vector_to_array för .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884] [SQL] [FÖLJ UPP] Inaktivera dekorrelation i kopplingsvillkor för AQE InSubquery-test
  • [SPARK-45576] [SC-145883] [CORE] Ta bort onödiga felsökningsloggar i ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719] [ANSLUT] Förbättringar av användaragenten: Använd variabeln SPARK_CONNECT_USER_AGENT env och inkludera miljöspecifika attribut
  • [SPARK-45508] [SC-145513] [CORE] Lägg till "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" så att Plattformen kan komma åt Cleaner på Java 9+
  • [SPARK-45595] Återställ "[SC-146037] Exponera SQLSTATE i felmeddelandet"
  • [SPARK-45595] [SC-146037] Exponera SQLSTATE i felmeddelande
  • [SPARK-45112] Återställ "[SC-143259][SQL] Använd UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411] [CORE] Aktivera spark.eventLog.compress som standard
  • [SPARK-45586] [SC-145899] [SQL] Minska svarstiden för kompilatorer för planer med stora uttrycksträd
  • [SPARK-45517] [SC-145691] [ANSLUT] [14.x] Expandera fler undantagskonstruktorer för att stödja felramverksparametrar
  • [SPARK-45581] [SC-145896] Gör SQLSTATE obligatoriskt.
  • [SPARK-45427] [SC-145590] [CORE] Lägga till RPC SSL-inställningar i SSLOptions och SparkTransportConf
  • [SPARK-45261] [SC-143357] [CORE] Korrigering EventLogFileWriters för att hantera none som en codec
  • [SPARK-45582] [SC-145897] [SS] Se till att butiksinstansen inte används efter att incheckningen anropats i direktuppspelningsaggregering i utdataläge
  • [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: Gör "rowTag" till ett obligatoriskt alternativ
  • [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] Ersätt Class.newInstance() med Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163] [SQL] Åtgärda CSV/JSON-schemainferens när tidsstämplar inte matchar angivet tidsstämpelformat
  • [SPARK-45458] [SC-145011] [SQL] Konvertera IllegalArgumentException till SparkIllegalArgumentException i bitwiseExpressions
  • [SPARK-45564] [SC-145735] [SQL] Förenkla "DataFrameStatFunctions.bloomFilter" med uttrycket "BloomFilterAggregate"
  • [SPARK-45566] [SC-145777] [PS] Stöd för Pandas-liknande testverktyg för Pandas API på Spark
  • [SPARK-45498] [SC-145509] [CORE] Uppföljning: Ignorera slutförande av aktiviteter från den gamla fasen a...
  • [SPARK-45483] [SC-145152] [ANSLUT] Korrigera funktionsgrupperna i connect.functions
  • [SPARK-45577] [SC-145781] [PYTHON] Åtgärda UserDefinedPythonTableFunctionAnalyzeRunner för att skicka vikta värden från namngivna argument
  • [SPARK-45009] [SC-138223] [FÖLJ UPP] Inaktivera dekorrelation i kopplingsvillkor för AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Tillåt selektiv inaktivering av "fallocate" i RocksDB-tillståndsarkivet
  • [SPARK-45500] [SC-145134] [CORE] [WEBUI] Visa antalet onormalt slutförda drivrutiner i MasterPage
  • [SPARK-44120] [SC-144349] [PYTHON] Stöd för Python 3.12
  • [SPARK-45439] [SC-145589] [SQL] [Användargränssnitt] Minska minnesanvändningen för LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717] [Användargränssnitt] Onödig JSON.stringify- och JSON.parse-loop för uppgiftslista på sceninformation
  • [SPARK-45567] [SC-145718] [ANSLUT] Ta bort redundant om i org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259] [SQL] Använda unresolvedFunction-baserad lösning i SQL Dataset-funktioner
  • [SPARK-45486] [SASP-2457] [SC-145612] [ANSLUT] Gör add_artifact begäran idempotent
  • [SPARK-44913] [SC-144326] [SQL] DS V2 stöder push-nedtryckt V2 UDF som har en magisk metod
  • [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions bug
  • [SPARK-45491] [SC-145622] Lägg till SQLSTATES 2/2 som saknas
  • [SPARK-45009] [SC-145620] [SC-138223] [SQL] Dekorrelate predikatunderfrågor i kopplingsvillkor
  • [SPARK-45377] [SC-144377] [CORE] Hantera InputStream i NettyLogger
  • [SPARK-45248] [SC-143759] [CORE] Ange tidsgränsen för Spark-användargränssnittsservern
  • [SPARK-44594] [SC-145611] [SS] Ta bort redundant metodparameter i kafka-anslutningsprogrammet
  • [SPARK-45539] [SC-145621] [SS] Lägg till kontroll och logg för att ange att vattenstämpeldefinition krävs för strömningsaggregeringsfrågor i tilläggsläge
  • [SPARK-44262] [SC-145639] [SQL] Lägg till dropTable och getInsertStatement till JdbcDialect
  • [SPARK-45516] [SC-145480] [ANSLUT] Inkludera QueryContext i SparkThrowable proto-meddelande
  • [SPARK-45310] [SC-145127] [CORE] Status för rapportblandningsblock bör respektera shuffle-tjänsten under migrering av avveckling
  • [SPARK-45521] [SC-145487] [ML] Undvik beräkning av nnz i VectorAssembler
  • [SPARK-45418] [SC-145485] [SQL] [PYTHON] [ANSLUT] Ändra kolumnaliaset current_database() till current_schema()
  • [SPARK-45116] [SC-145142] [SQL] Lägg till en kommentar för param för JdbcDialect createTable
  • [SPARK-45495] [SC-145529] [kärna] Stöd för aktivitetsresursprofil på stegnivå för k8s-kluster när dynamisk allokering är inaktiverad
  • [SPARK-45487] [SC-145559] Åtgärda SQLSTATEs- och temp-fel
  • [SPARK-45505] [SC-145550] [PYTHON] Omstrukturera analyseraInPython för att göra den återanvändbar
  • [SPARK-45132] [SC-145425] [SQL] Åtgärda identifierare för funktionsanrop
  • [SPARK-45213] [SC-145020] [SQL] Tilldela namnet till felet _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126] [ANSLUT] Konsekvens för Sanity-kontroll av pilresultat
  • [SPARK-45163] [SC-143386] [SQL] Sammanfoga UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION och åtgärda ett problem
  • [SPARK-45421] [SC-144814] [SQL] Catch AnalysisException över InlineCTE
  • [SPARK-43664] [SC-145404] [ANSLUT] [PS] Skapa undantag för ps.sql med Pandas-on-Spark-objekt på Spark Anslut.
  • [SPARK-45402] [SC-145371] [SQL] [PYTHON] Lägg till UDTF-API för "eval" och "avsluta"-metoder för att använda tidigare "analysera"-resultat
  • [SPARK-36112] [SC-67885] [SQL] Stöd för korrelerade EXISTS- och IN-underfrågor med decorrelateInnerQuery-ramverk
  • [SPARK-45383] [SC-144929] [SQL] Åtgärda felmeddelande för tidsresor med en tabell som inte finns
  • [SPARK-43254] [SC-143318] [SQL] Tilldela ett namn till felet _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167] [ANSLUT] Lägg till valfri körhållare i Spark Anslut Planner
  • [SPARK-45451] [SC-145144] [SQL] Gör standardlagringsnivån för datamängdscache konfigurerbar
  • [SPARK-45192] [SC-143194] [Användargränssnitt] Åtgärda förfallna lineInterpolate-parametern för graphviz-gränsen
  • [SPARK-45467] [SC-145146] [CORE] Ersätt Proxy.getProxyClass() med Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139] [ML] [ANSLUT] Lägga till funktionstransformator för matrismonterare
  • [SPARK-44855] [SC-145226] [ANSLUT] Små justeringar för att koppla ExecuteGrpcResponseSender till ExecuteResponseObserver
  • [SPARK-45398] [SC-144796] [SQL] ESCAPE Lägg till i sql() uttrycket Like
  • [SPARK-45494] [SC-145129] [CORE] [PYTHON] Introducera util-funktioner för att läsa/skriva en bytematris för PythonWorkerUtils
  • [SPARK-45464] [SC-145125] [CORE] Åtgärda distributionsversionen av nätverksgarn
  • [SPARK-45461] [SC-144851] [CORE] [SQL] [MLLIB] Introducera en mappare för StorageLevel
  • [SPARK-45450] [SC-145009] [PYTHON] Åtgärda importer enligt PEP8: pyspark.pandas och pyspark (kärna)
  • [SPARK-45475] [SC-145018] [SQL] Använder DataFrame.foreachPartition i stället för RDD.foreachPartition i JdbcUtils
  • [SPARK-45271] [SC-143778] [SQL] Sammanfoga _LEGACY_ERROR_TEMP_1113 till TABLE_OPERATION och ta bort en metod som inte används i QueryCompilationErrors
  • [SPARK-45449] [SC-145013] [SQL] Problem med cachefel med JDBC-tabell
  • [SPARK-45473] [SC-145017] [SQL] Åtgärda fel felmeddelande för RoundBase
  • [SPARK-43299] [SC-145022] [SS] [ANSLUT] Konvertera StreamingQueryException i Scala-klienten
  • [SPARK-45474] [SC-145014] [CORE] [WEBUI] Stöd för toppnivåfiltrering i MasterPage JSON API
  • [SPARK-45205] [SC-145012] [SQL] CommandResultExec för att åsidosätta iteratormetoder för att undvika att utlösa flera jobb.
  • [SPARK-45472] [SC-145004] [SS] RocksDB State Store behöver inte kontrollera kontrollpunktssökvägen igen
  • [SPARK-45470] [SC-145010] [SQL] Undvik att klistra in strängvärdet för hive orc-komprimeringstyp
  • [SPARK-45448] [SC-144829] [PYTHON] Åtgärda importer enligt PEP8: pyspark.testing, pyspark.mllib, pyspark.resource och pyspark.streaming
  • [SPARK-45446] [SC-144828] [PYTHON] Åtgärda importer enligt PEP8: pyspark.errors och pyspark.ml
  • [SPARK-45239] [SC-144832] [ANSLUT] Minska standardvärdet för spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831] [PYTHON] [ANSLUT] DataFrame-metoder kontrollerar samma session
  • [SPARK-45413] [SC-144847] [CORE] Lägg till varning för stöd för prepare drop LevelDB
  • [SPARK-45462] [SC-144848] [CORE] [WEBUI] Visa Duration i ApplicationPage
  • [SPARK-44527] [SC-144855] [SQL] Ersätt ScalarSubquery med null om dess maxRows är 0
  • [SPARK-45401] [SC-144854] [PYTHON] Lägga till en ny metod cleanup i UDTF-gränssnittet
  • [SPARK-43704] [SC-144849] [ANSLUT] [PS] Stöd MultiIndex för to_series()
  • [SPARK-45424] [SC-144888] [SQL] Åtgärda TidsstämpelFormaterare returnerar valfria parsningsresultat när endast prefixmatchning
  • [SPARK-45441] [SC-144833] [PYTHON] Introducera fler util-funktioner för PythonWorkerUtils
  • [SPARK-45412] [SC-144803] [PYTHON] [ANSLUT] Verifiera planen och sessionen i DataFrame.__init__
  • [SPARK-45408] [SC-144810] [CORE] Lägga till RPC SSL-inställningar i TransportConf
  • [SPARK-45432] [SC-144818] [CORE] Ta bort inaktuell Hadoop-2-konstruktor LocatedFileStatus
  • [SPARK-45434] [SC-144819] [ML] [ANSLUT] LogisticRegression kontrollerar träningsetiketterna
  • [SPARK-45420] [SC-144808] [SQL] [PYTHON] [ANSLUT] Lägg till DataType.fromDDL i PySpark
  • [SPARK-45406] [SC-144793] [PYTHON] [ANSLUT] Ta bort schema från DataFrame-konstruktorn
  • [SPARK-45404] [SC-144799] [CORE] Stöd AWS_ENDPOINT_URL för env-variabel
  • [SPARK-43620] [SC-144792] [ANSLUT] [PS] Åtgärda Pandas-API:er beror på funktioner som inte stöds
  • [SPARK-45354] [SC-143991] [SQL] Lösa funktioner nedifrån och upp
  • [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [ANSLUT] Lägg till återförsök för artefakt-API:et. Förbättra felhanteringen (uppföljning till [SPARK-45093]).
  • [SPARK-45120] [SC-142780] [SPARK-45150] [Användargränssnitt] Uppgradera d3 från v3 till v7(v7.8.5) och tillämpa api-ändringar i användargränssnittet
  • [SPARK-44838] [SC-143983] [SQL] raise_error förbättring
  • [SPARK-45312] [SC-143754] [SQL] [Användargränssnitt] Stöd för att växla visning/dölj plan-svg på körningssidan
  • [SPARK-45378] [SC-144448] [CORE] Lägg till convertToNettyForSsl till ManagedBuffer
  • [SPARK-44762] [SC-144338] [ANSLUT] [CORE] Doc för Spark Anslut.addJobTag och Anslut SparkSession.addTag
  • [SPARK-45383] Hantera olösta RelationTimeTravel på ett smidigt sätt
  • [SPARK-45347] [SC-144512] [SQL] [ANSLUT] Inkludera SparkThrowable i FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512] [SQL] CheckAnalysis bör skapa inlindad plan i AnalysisException
  • [SPARK-45359] [SC-144336] [PYTHON] [ANSLUT] DataFrame.{columns, colRegex, explain} bör skapa undantag när planen är ogiltig
  • [SPARK-45227] [SC-144233] [CORE] Åtgärda ett subtilt trådsäkerhetsproblem med CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171] [PYTHON] Refaktorn ResolveFunctions analyzer rule för att fördröja lateral koppling när tabellargument används
  • [SPARK-45266] Återställ "[SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used"
  • [SPARK-45371] [SC-144389] [ANSLUT] Åtgärda skuggningsproblem i Spark Anslut Scala-klienten
  • [SPARK-45057] [SC-144214] [CORE] Undvik att hämta läslås när keepReadLock är falskt
  • [SPARK-45385] [SC-144357] [SQL] Inaktuell spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917] [SQL] Ta bort SQL-konfigurationen spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171] [PYTHON] Refaktorn ResolveFunctions analyzer rule för att fördröja lateral koppling när tabellargument används
  • [SPARK-45362] [SC-144198] [PYTHON] Projicera PARTITION BY-uttryck innan Python UDTF-metoden "eval" använder dem
  • [SPARK-45346] [SC-143925] [SQL] Parquet-schemainferens bör respektera skiftlägeskänslig flagga vid sammanslagning av schema
  • [SPARK-45341] [SC-143933] [CORE] Korrigera rubriknivån i kommentarerna i KVStore.java för att köra sbt doc med Java 17
  • [SPARK-45334] [SC-143914] [SQL] Ta bort vilseledande kommentar i parquetSchemaConverter
  • [SPARK-45337] [SC-143932] [CORE] AbstractCommandBuilder#getScalaVersion Omstrukturera för att ta bort kontrollen för Scala 2.12
  • [SPARK-45329] [SC-143918] [PYTHON] [ANSLUT] DataFrame-metoder hoppar över Pandas-konvertering
  • [SPARK-43662] [SC-143923] [PS] [ANSLUT] Stöd för merge_asof i Spark Anslut
  • [SPARK-44126] [SC-143751] [CORE] Antalet shuffle-migreringsfel bör inte öka när målexekutor inaktiveras
  • [SPARK-44550] [SC-119768] [SQL] Aktivera korrigeringar för korrekthet under null IN (empty list) ANSI
  • [SPARK-45316] [SC-143783] [CORE] [SQL] Lägg till nya parametrar ignoreCorruptFiles/ignoreMissingFiles i och HadoopRDDNewHadoopRDD
  • [SPARK-45093] [SC-143414] [ANSLUT] [PYTHON] Felrapportering för addArtifacts-fråga
  • [SPARK-44756] [SC-143787] [CORE] Executor låser sig när ÅterförsökBlockTransferor inte kan initiera ett nytt försök
  • [SPARK-45333] [SC-143768] [CORE] Åtgärda ett enhetsfel som rör spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750] [SQL] [ANSLUT] Hantera null-filnamn i stackspårningar av undantag
  • [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId lägger till kolumninformation
  • [SPARK-45235] [SC-143314] [ANSLUT] [PYTHON] Stöd för kart- och matrisparametrar efter sql()
  • [SPARK-45138] [SC-143309] [SS] Definiera en ny felklass och tillämpa den när kontrollpunktstillståndet på DFS misslyckas
  • [SPARK-45297] [SC-143644] [SQL] Ta bort lösning för dateformatter som lagts till i SPARK-31827
  • [SPARK-44345] [SC-143593] [CORE] Lägre unknown shuffle map output loggnivå till VARNA om shuffle-migrering är aktiverad
  • [SPARK-44463] [SC-143251] [SS] [ANSLUT] Förbättra felhanteringen för Anslut ångande Python-arbetare
  • [SPARK-45207] [SC-143603] [SQL] [ANSLUT] Implementera felberikning för Scala-klienten
  • [SPARK-45240] [SC-143602] [SQL] [ANSLUT] Implementera felberikning för Python-klienten
  • [SPARK-45216] [SC-143288] [SQL] Åtgärda icke-deterministiska seeded Dataset-API:er
  • [SPARK-45251] [SC-143419] [ANSLUT] Lägg till client_type fält för FetchErrorDetails
  • [SPARK-45137] [SC-143001] [ANSLUT] Stöd för kart-/matrisparametrar i parametriserat sql()
  • [SPARK-45224] [SC-143257] [PYTHON] Lägg till exempel med mappning och matris som parametrar för sql()
  • [SPARK-44622] [SC-143205] [SQL] [ANSLUT] Implementera FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089] Återställning för att köra en enda batch för Trigger.AvailableNow med källor som inte stöds i stället för att använda wrapper
  • [SPARK-44823] [14.x] [SC-142979] [PYTHON] Uppdatera svart till 23.9.1 och korrigeringsfelkontroll
  • [SPARK-45078] [SC-142954] [SQL] Åtgärda array_insert att ImplicitCastInputTypes inte fungerar
  • [SPARK-44579] [SC-138428] [SQL] Supportavbrott vid avbrott i SQLExecution
  • [SPARK-45252] [SC-143371] [CORE] Escape the greater/less than symbols in the comments to make sbt doc execute successfully
  • [SPARK-45189] [SC-142973] [SQL] Att skapa UnresolvedRelation från TableIdentifier bör innehålla katalogfältet
  • [SPARK-45229] [SC-143254] [CORE] [Användargränssnitt] Visa antalet drivrutiner som väntar i STATUS SKICKAD i MasterPage
  • [SPARK-43453] Återställ "[SC-143135][PS] Ignorera när namesMultiIndexaxis=1 för "concat

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

  • Operativsystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta lake: 3.0.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 Blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
Certifi 2022.12.7 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Comm 0.1.2
contourpy 1.0.5 Kryptografi 39.0.1 Apparat 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
felsökning 1.6.7 Dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
Verkställande 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 Fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
Ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.4 Launchpadlib 1.10.16 Lazr.restfulclient 0.14.4
Lazr.uri 1.0.6 Lxml 4.9.1 Markering Valv 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook-fil 6.5.2 notebook_shim 0.2.2 Numpy 1.23.5
oauthlib 3.2.0 Förpackning 22,0 Pandas 1.5.3
pandocfilter 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 Pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 Pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 Psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantisk 1.10.6 Pyflakes 3.1.0 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
begäranden 2.28.1 Rep 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 Scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Setuptools 65.6.3
Sex 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
Uthållighet 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.14
Virtualenv 20.16.7 Wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
Hjul 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
Zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 12.0.1 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.5 bslib 0.5.0 cachem 1.0.8
anropare 3.7.3 textmarkör 6.0-94 cellranger 1.1.0
Chron 2.3-61 klass 7.3-22 cli 3.6.1
clipr 0.8.0 Klocka 0.7.0 cluster 2.1.4
Codetools 0.2-19 Färgrymd 2.1-0 commonmark 1.9.0
Kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 Krita 1.5.2 autentiseringsuppgifter 1.3.2
Curl 5.0.1 data.table 1.14.8 datauppsättningar 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
Devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellips 0.3.2
evaluate (utvärdera) 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Utländska 0.8-82 Forge 0.2.0
Fs 1.6.2 Framtiden 1.33.0 future.apply 1.11.0
Gurgla 1.5.1 Generika 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lim 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.1 grDevices 4.3.1 Rutnät 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Tillflyktsort 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 Ini 0.3.1 Ipred 0.9-14
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 Kernsmooth 2.23-21 stickning 1,43
Märkning 0.4.2 Senare 1.3.1 Galler 0.21-8
Lava 1.7.2.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSACHUSETTS 7.3-60 Matris 1.5-4.1 pmise 2.0.1
metoder 4.3.1 Mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallellt 1.36.0 Pelaren 1.9.0 pkgbuild 1.4.2
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.5 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recept 1.0.6
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.6 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
Rumsliga 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 Statistik 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Överlevnad 3.5-5
sys 3.4.2 systemfonts 1.0.4 Tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 Tibble 3.2.1
tidyr 1.3.0 avmarkera 1.2.0 tidyverse 2.0.0
timechange 0.2.0 Timedate 4022.108 tinytex 0,45
verktyg 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 verktyg 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 Morrhår 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.7
Zip 2.3.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein Koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pilvektor 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1