Databricks Runtime 12.0 (stöds inte)

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 12.0, som drivs av Apache Spark 3.3.1.

Databricks släppte dessa bilder i december 2022.

Nya funktioner och förbättringar

Förutsägande I/O är GA

Prediktiv I/O är nu allmänt tillgänglig. Mer information finns i Vad är förutsägande I/O?.

Photon writer stöder zstd-komprimering

Photon native writer stöder nu zstd-komprimeringskodc när zstd aktiveras genom att ange spark.sql.parquet.compression.codec till zstd.

Stöd för aktivitetsresursprofil på stegnivå för fristående kluster

Nu kan du använda schemaläggning på stegnivå i fristående kluster när dynamisk allokering är inaktiverad. Om du vill använda den här funktionen anger du aktivitetsresurserna för ResourceProfileBuilder varje fas.

SQL-stöd för selektiv överskrivning med REPLACE WHERE

Nu kan du selektivt skriva över data som matchar ett godtyckligt uttryck i en Delta-tabell med hjälp av följande mönster.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Se Godtycklig selektiv överskrivning med replaceWhere.

Vattenstämplar stöds nu i SQL

Nu kan du ange vattenstämplar med sql-gränssnittet Delta Live Tables och i SQL-frågor mot strömmande DataFrames. Se WATERMARK-sats.

Minnesprofilering i PySpark

Minnesprofilering är nu aktiverat för användardefinierade PySpark-funktioner. Detta ger information om minnesökning, minnesanvändning och antal förekomster för varje kodrad i en användardefinierad funktion.

Dynamisk beskärning för DELETE och UPDATE

När du använder Photon-aktiverad beräkning DELETE och UPDATE nu använder dynamisk fil- och partitionsrensning där det förbättrar prestandan. Till exempel aktiveras dynamisk beskärning när en mindre källtabell används för att uppdatera eller ta bort rader i en större tabell.

Borttagningsmått på radnivå för partitionerade datamanipuleringsspråkåtgärder

Med partitionerade predikat kan användarna nu granska hur många rader som tas bort när du kör DML-åtgärder (datamanipuleringsspråk), till exempel DELETE, TRUNCATEoch replaceWhere.

Felkorrigeringar

Ett problem med JSON-parsning har åtgärdats i Auto Loader där alla kolumner lämnades som strängar. cloudFiles.inferColumnTypes Tidigare har inte angetts eller angetts till false och JSON innehåller kapslade objekt.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • argon2-cffi från 20.1.0 till 21.3.0
    • attrs från 21.2.0 till 21.4.0
    • backports.entry-points-selectable från 1.1.1 till 1.2.0
    • blekmedel från 4.0.0 till 4.1.0
    • boto3 från 1.21.18 till 1.21.32
    • botocore från 1.24.18 till 1.24.32
    • cffi från 1.14.6 till 1.15.0
    • klicka från 8.0.3 till 8.0.4
    • cycler från 0.10.0 till 0.11.0
    • Cython från 0.29.24 till 0.29.28
    • felsökning från 1.4.1 till 1.5.1
    • dekoratör från 5.1.0 till 5.1.1
    • entrypoints från 0.3 till 0.4
    • idna från 3.2 till 3.3
    • ipykernel från 6.12.1 till 6.15.3
    • ipython från 7.32.0 till 8.5.0
    • ipywidgets från 7.7.0 till 7.7.2
    • jedi från 0.18.0 till 0.18.1
    • joblib från 1.0.1 till 1.1.0
    • jsonschema från 3.2.0 till 4.4.0
    • kiwisolver från 1.3.1 till 1.3.2
    • matplotlib från 3.4.3 till 3.5.1
    • nbclient från 0.5.3 till 0.5.13
    • nbconvert från 6.1.0 till 6.4.4
    • nbformat från 5.1.3 till 5.3.0
    • nest-asyncio från 1.5.1 till 1.5.5
    • notebook-fil från 6.4.5 till 6.4.8
    • numpy från 1.20.3 till 1.21.5
    • förpackning från 21.0 till 21.3
    • pandas från 1.3.4 till 1.4.2
    • pandocfilter från 1.4.3 till 1.5.0
    • parso från 0.8.2 till 0.8.3
    • Kudde från 8.4.0 till 9.0.1
    • platformdirs från 2.5.2 till 2.5.4
    • ritat från 5.9.0 till 5.6.0
    • prometheus-client från 0.11.0 till 0.13.1
    • protobuf från 4.21.5 till 3.19.4
    • pycparser från 2,20 till 2,21
    • Pygments från 2.10.0 till 2.11.2
    • pyodbc från 4.0.31 till 4.0.32
    • pyzmq från 22.2.1 till 22.3.0
    • begäranden från 2.26.0 till 2.27.1
    • s3transfer från 0.5.2 till 0.5.0
    • scikit-learn från 0.24.2 till 1.0.2
    • scipy från 1.7.1 till 1.7.3
    • statsmodels från 0.12.2 till 0.13.2
    • terminado från 0,9,4 till 0,13,1
    • tomli från 2.0.1 till 1.2.2
    • drag från 5.1.0 till 5.1.1
    • urllib3 från 1.26.7 till 1.26.9
    • widgetsnbextension från 3.6.0 till 3.6.1
  • Uppgraderade R-bibliotek:
    • bas från 4.1.3 till 4.2.2
    • brygg från 1,0-7 till 1,0-8
    • bslib från 0.4.0 till 0.4.1
    • uppringare från 3.7.2 till 3.7.3
    • chron från 2.3-57 till 2.3-58
    • cli från 3.3.0 till 3.4.1
    • kluster från 2.1.3 till 2.1.4
    • commonmark från 1.8.0 till 1.8.1
    • kompilator från 4.1.3 till 4.2.2
    • cpp11 från 0.4.2 till 0.4.3
    • krita från 1.5.1 till 1.5.2
    • curl från 4.3.2 till 4.3.3
    • data.table från 1.14.2 till 1.14.4
    • datauppsättningar från 4.1.3 till 4.2.2
    • desc från 1.4.1 till 1.4.2
    • devtools från 2.4.4 till 2.4.5
    • sammanfatta från 0.6.29 till 0.6.30
    • e1071 från 1,7-11 till 1,7-12
    • utvärdera från 0,16 till 0,18
    • fontawesome från 0.3.0 till 0.4.0
    • från 1.28.0 till 1.29.0
    • future.apply från 1.9.1 till 1.10.0
    • gurgel från 1.2.0 till 1.2.1
    • gert från 1.8.0 till 1.9.1
    • ggplot2 från 3.3.6 till 3.4.0
    • gh från 1.3.0 till 1.3.1
    • gitcreds från 0.1.1 till 0.1.2
    • grafik från 4.1.3 till 4.2.2
    • grEnheter från 4.1.3 till 4.2.2
    • rutnät från 4.1.3 till 4.2.2
    • httpuv från 1.6.5 till 1.6.6
    • isoband från 0.2.5 till 0.2.6
    • jsonlite från 1.8.0 till 1.8.3
    • lava från 1.6.10 till 1.7.0
    • livscykel från 1.0.1 till 1.0.3
    • lubridat från 1.8.0 till 1.9.0
    • markdown från 1.1 till 1.3
    • MASS från 7,3-56 till 7,3-58
    • Matris från 1,4-1 till 1,5-1
    • metoder från 4.1.3 till 4.2.2
    • mgcv från 1,8-40 till 1,8-41
    • nlme från 3.1-157 till 3.1-160
    • nnet från 7.3-17 till 7.3-18
    • openssl från 2.0.2 till 2.0.4
    • parallell från 4.1.3 till 4.2.2
    • pkgload från 1.3.0 till 1.3.1
    • processx från 3.7.0 till 3.8.0
    • ps från 1.7.1 till 1.7.2
    • purrr från 0.3.4 till 0.3.5
    • ragg från 1.2.2 till 1.2.4
    • RcppEigen från 0.3.3.9.2 till 0.3.3.9.3
    • readr från 2.1.2 till 2.1.3
    • recept från 1.0.1 till 1.0.3
    • rlang från 1.0.5 till 1.0.6
    • rmarkdown från 2.16 till 2.18
    • rpart från 4.1.16 till 4.1.19
    • RSQLite från 2.2.16 till 2.2.18
    • glänsande från 1.7.2 till 1.7.3
    • SparkR från 3.3.0 till 3.3.1
    • splines från 4.1.3 till 4.2.2
    • statistik från 4.1.3 till 4.2.2
    • stats4 från 4.1.3 till 4.2.2
    • sys från 3.4 till 3.4.1
    • tcltk från 4.1.3 till 4.2.2
    • testthat från 3.1.4 till 3.1.5
    • tidyr från 1.2.0 till 1.2.1
    • tidyselect från 1.1.2 till 1.2.0
    • timeDate från 4021.104 till 4021.106
    • tinytex från 0,41 till 0,42
    • verktyg från 4.1.3 till 4.2.2
    • från 4.1.3 till 4.2.2
    • vctrs från 0.4.1 till 0.5.0
    • vroom från 1.5.7 till 1.6.0
    • xfun från 0,32 till 0,34
    • yaml från 2.3.5 till 2.3.6
    • zip från 2.2.0 till 2.2.2
  • Uppgraderade Java-bibliotek:
    • com.fasterxml.jackson.core.jackson-databind från 2.13.4 till 2.13.4.2
    • org.apache.parquet.parquet-column från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations från 0.5.0 till 0.13.0

Apache Spark

Databricks Runtime 12.0 innehåller Apache Spark 3.3.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.3 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-40844] [SC-116996] [12.x] [12.0] [12.0.0] Återställ "[SC-113542][SS] Vänd standardvärdet för Kafka offset fetching config"
  • [SPARK-40646] [SC-116061] Återställ "[SC-113379][SQL] Åtgärda returnerade partiella resultat i JSON-datakällan och JSON-funktioner"
  • [SPARK-41195] [SC-116305] [SQL] Stöd för PIVOT/UNPIVOT med kopplings underordnade
  • [SPARK-41178] [SC-116139] [SQL] Åtgärda parserregelprioritet mellan JOIN och kommatecken
  • [SPARK-41072] [SC-116140] [SC-116044] [SC-115852] [SQL] [SS] Lägg till felklassen STREAM_FAILED i StreamingQueryException
  • [SPARK-40921] Återställ "[SC-115140][SC-114585][SQL] Lägg till NÄR DEN INTE MATCHAS AV SOURCE-satsen för SAMMANFOGNING TILL
  • [SPARK-37980] [SC-115758] [SQL] Utöka metadatakolumnen för att stödja radindex för Parquet-filer
  • [SPARK-41055] [SC-115582] [SQL] Byt _LEGACY_ERROR_TEMP_2424 namn till GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849] [PYTHON] [PROTOBUF] Stöd för meddelandeklassnamn för PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL-motsvarighet för överskrivningskommando för dataram
  • [SPARK-41095] [SC-115659] [SQL] Konvertera olösta operatorer till interna fel
  • [SPARK-41144] [SC-115866] [SQL] Olöst tips får inte orsaka frågefel
  • [SPARK-41137] [SC-115858] [SQL] Byt LATERAL_JOIN_OF_TYPE namn till INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_0040 till INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130] [SQL] [PROTOBUF] UnitTest null-kontroll för datagenerator
  • [SPARK-40769] [SC-114923] [CORE] [SQL] Migrera typkontrollfel för aggregerade uttryck till felklasser
  • [SPARK-41043] [SC-115183] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_2429 till NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855] [SQL] [PROTOBUF] Protobuf-importstöd och flytt av felklasser.
  • [SPARK-41019] [SC-114987] [SQL] Ange en frågekontext till failAnalysis()
  • [SPARK-41027] [SC-115131] [SQL] Använd UNEXPECTED_INPUT_TYPE i stället för MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868] [SC-111163] [ML] [SQL] Minska shuffle-storleken på ALS
  • [SPARK-41134] [SC-115851] [SQL] Förbättra felmeddelandet om interna fel
  • [SPARK-37980] Återställ " [SQL] Utöka metadatakolumnen för att stödja radindex för Parquet-filer
  • [SPARK-41109] [SC-115788] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_1216 till INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844] [CORE] [SQL] Använd NON_FOLDABLE_INPUT i stället för FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828] [SQL] Optimera konstruktorns användning av GenericArrayData för Scala 2.13
  • [SPARK-40697] [SC-113648] [SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
  • [SPARK-40978] [SC-114574] [SQL] Migrera failAnalysis() en kontext till felklasser
  • [SPARK-40663] [SC-114586] [SQL] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672] [SC-112707] [SQL] DS V2: Stöd för körningsgruppfiltrering i kommandon på radnivå
  • [SPARK-40372] [SC-115668] [SQL] Migrera fel av matristypkontroller till felklasser
  • [SPARK-41038] [SC-115371] [SQL] Byt MULTI_VALUE_SUBQUERY_ERROR namn till SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_1208 till FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696] [SQL] Migrera typkontrollfel för villkor till felklasser
  • [SPARK-40371] [SC-114557] [SQL] Migrera typkontrollfel för NthValue och NTile till felklasser
  • [SPARK-41092] [SC-115547] [SQL] Använd inte identifierare för att matcha intervallenheter
  • [SPARK-41009] [SC-115360] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_1070 till LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Utöka metadatakolumnen för att stödja radindex för Parquet-filer
  • [SPARK-40967] [SC-114448] [SQL] Migrera failAnalysis() till felklasser
  • [SPARK-34265] [SC-115486] [SC-113788] [PYTHON] [SQL] Instrumentera Python-UDF:er med hjälp av SQL-mått
  • [SPARK-41012] [SC-114873] [SQL] Byt _LEGACY_ERROR_TEMP_1022 namn till ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142] [SQL] Byt PARSE_CHAR_MISSING_LENGTH namn till DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442] [SQL] Migrera typkontrollfel för feluttryck till felklasser
  • [SPARK-37945] [SC-115534] [SQL] [CORE] Använda felklasser i körningsfel för aritmetiska ops
  • [SPARK-40374] [SC-114705] [SQL] Migrera typkontrollfel för typskapare till felklasser
  • [SPARK-41056] [SC-115354] [R] Åtgärda nytt R_LIBS_SITE beteende som introduceras i R 4.2
  • [SPARK-41041] [SC-115357] [SQL] Integrera _LEGACY_ERROR_TEMP_1279 i TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852] [SQL] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_1019 till STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233] [SQL] Korrigera inte de vikbara underordnade funktioner i aggregerade funktioner i RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353] [SQL] Förbättra felklasser och meddelanden
  • [SPARK-40798] [SC-113782] [SQL] Ändra partition bör kontrollera att värdet följer storeAssignmentPolicy
  • [SPARK-40810] [SC-113533] [SQL] Använd SparkIllegalArgumentException i stället för IllegalArgumentException i CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140] [SC-114585] [SQL] LÄGG TILL NÄR DEN INTE MATCHAS AV SOURCE-satsen för SAMMANSLAGNING TILL
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS och NOT_FOUND undantag
  • [SPARK-41007] [SC-115085] [SQL] Lägg till serialiserare som saknas för java.math.BigInteger
  • [SPARK-40751] [SC-114254] [SQL] Migrera typkontrollfel för högordningsfunktioner till felklasser
  • [SPARK-40248] [SC-114704] [SQL] Använda ett större antal bitar för att skapa Bloom-filter
  • [SPARK-41040] [SC-115145] [SS] Åtgärda fel med direktuppspelning av självuppspelning när du använder readStream.table
  • [SPARK-32380] [SC-114966] [SQL] Åtgärda åtkomsten till HBase-tabellen via Hive från Spark
  • [SPARK-40749] [SC-114860] [SQL] Migrera typkontrollfel för generatorer till felklasser
  • [SPARK-40925] [SC-114445] [SQL] [SS] [WARMFIX] [12.x] Åtgärda tillståndskänsliga operatorn sent...
  • [SPARK-40654] [SC-112783] Ta bort tillfälliga loggrader
  • [SPARK-40742] [SC-114913] [SC-112646] [CORE] [SQL] Åtgärda Java-kompileringsvarningar relaterade till allmän typ
  • [SPARK-40657] [SC-113642] [Cherry-pick] Lägg till stöd för Java-klasser i Protob...
  • [SPARK-40898] [SC-113932] [SQL] Offertfunktionsnamn i felmatchningsfel för datatyp
  • [SPARK-40760] [SC-113750] [SQL] Migrera typkontrollfel för intervalluttryck till felklasser
  • [SPARK-36114] [SC-113771] [SQL] Stöd för underfrågor med korrelerade icke-likhetspredikat
  • [SPARK-40856] [SC-113738] [SQL] Uppdatera felmallen för WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251] [SQL] Migrera typkontrollfel i tidsfönstret till felklasser
  • [SPARK-40750] [SC-113812] [SQL] Migrera typkontrollfel för matematiska uttryck till felklasser
  • [SPARK-40756] [SC-113749] [SQL] Migrera typkontrollfel för stränguttryck till felklasser
  • [SPARK-40768] [SC-113640] [SQL] Migrera typkontrollfel för bloom_filter_agg() till felklasser
  • [SPARK-40369] [SC-113402] [CORE] [SQL] Migrera typkontrollfel för anrop via reflektion till felklasser
  • [SPARK-39445] [SQL] Ta bort fönstret om windowExpressions är tomt i kolumnrensning
  • [SPARK-40761] [SC-113245] [SQL] Migrera typkontrollfel för percentiluttryck till felklasser
  • [SPARK-40361] [SC-112789] [SQL] Migrera fel med aritmetiktypkontroll till felklasser
  • [SPARK-40714] [SC-112576] [SQL] Ta bort PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437] [SQL] Åtgärda partitionsspecifikationer i PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631] [SQL] Migrera fel vid kontroll av samlingstyp till felklasser
  • [SPARK-40910] [SC-114259] [SQL] Ersätt UnsupportedOperationException med SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429] [SQL] Lägga till UNPIVOT i SQL-syntax
  • [SPARK-39783] [SC-113389] [SQL] Quote qualifiedName för att åtgärda backticks för kolumnkandidater i felmeddelanden
  • [SPARK-40663] [SC-112520] [SQL] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555] [SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_0021 till UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472] [SQL] Eliminera fält för separata fel underklasser
  • [SPARK-40944] [SC-114530] [SQL] Avslappningsordningsbegränsning för kolumnalternativ för CREATE TABLE
  • [SPARK-40815] [SC-114528] [SQL] Lägg till DelegateSymlinkTextInputFormat i lösningsfel SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441] [SQL] Omimplement df.stat. {cov, corr} med inbyggda sql-funktioner
  • [SPARK-40932] [SC-114439] [CORE] Åtgärda problemmeddelanden för allGather är åsidosatta
  • [SPARK-39312] [SQL] Använd parquet native In predicate for in filter push down
  • [SPARK-40862] [SC-114352] [SQL] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446] [SQL] Ange nullable korrekt i projekt som skapats av ExtractGenerator
  • [SPARK-40663] [SC-112295] [SQL] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347] [SQL] [SS] Lös kravet på window_time regel – tillåt flera window_time-anrop
  • [SPARK-40540] [SC-111639] [SQL] Migrera kompileringsfel till felklasser: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258] [SQL] Korrigering för Unhex när indata har ett udda antal symboler
  • [SPARK-40821] [SC-113754] [SQL] [CORE] [PYTHON] [SS] Introducera window_time funktion för att extrahera händelsetid från fönsterkolumnen
  • [SPARK-40800] [SC-113772] [SQL] Alltid infogade uttryck i OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006] [SQL] Omimplementering frequentItems med dataramsåtgärder
  • [SPARK-40735] [SC-114022] [SC-112657] Anropa bash konsekvent med /usr/bin/env bash i skript för att göra koden mer portabel
  • [SPARK-40773] [SC-113091] [SQL] RefaktorkontrollCorrelationsInSubquery
  • [SPARK-40615] [SC-113400] [SQL] Kontrollera datatyper som inte stöds vid dekorrelering av underfrågor
  • [SPARK-40660] [SC-112293] [CORE] [SQL] Växla till XORShiftRandom för att distribuera element
  • [SPARK-40540] [SC-113926] [SC-111331] [SQL] Migrera kompileringsfel till felklasser
  • [SPARK-40551] [SC-113135] [SQL] DataSource V2: Lägg till API:er för deltabaserade åtgärder på radnivå
  • [SPARK-39391] [SC-110676] [CORE] Återanvända Partitioner-klasser
  • [SPARK-40368] [SC-113396] [SQL] Fel vid migrering av Bloom-filtertypkontroll till felklasser
  • [SPARK-39146] [SC-111814] [CORE] [SQL] Introducera lokal singleton för ObjectMapper som kan återanvändas
  • [SPARK-40357] [SC-113786] [SC-111352] [SQL] Migrera fel med fönstertypskontroll till felklasser
  • [SPARK-40874] [SC-113756] [PYTHON] Åtgärda sändningar i Python-UDF:er när kryptering är aktiverat
  • [SPARK-40359] [SC-113770] [SC-111146] [SQL] Migrering av typkontroll misslyckas i CSV/JSON-uttryck till felklasser
  • [SPARK-40880] [SC-113764] [SQL] Omimplementering summary med dataramsåtgärder
  • [SPARK-40877] [SC-113763] [SQL] Omimplementering crosstab med dataramsåtgärder
  • [SPARK-40382] [SC-113098] [SQL] Gruppera distinkta aggregeringsuttryck efter semantiskt likvärdiga underordnade i RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532] [SS] Lägg till ytterligare kontrollpunktsbyte för filkontroll
  • [SPARK-40829] [SC-113426] [SQL] LAGRAD SOM serde i vyn CREATE TABLE LIKE fungerar inte
  • [SPARK-40844] [SC-113542] [SS] Vänd standardvärdet för Kafka offset fetching config
  • [SPARK-40488] [SC-113568] [SC-111160] Omslut inte undantag som genereras när skrivning av datakälla misslyckas
  • [SPARK-40560] [SC-113631] [SC-111335] [SQL] Byt message namn till messageTemplateSTANDARD i felformat
  • [SPARK-40618] [SC-113096] [SQL] Åtgärda bugg i MergeScalarSubqueries-regeln med kapslade underfrågor med hjälp av referensspårning
  • [SPARK-40530] [SC-113528] [SC-111332] [SQL] Lägga till felrelaterade utvecklar-API:er
  • [SPARK-40806] [SC-113250] [SQL] Stavfelskorrigering: SKAPA TABELL –> ERSÄTT TABELL
  • [SPARK-40646] [SC-113379] [SQL] Åtgärda returnerade partiella resultat i JSON-datakällan och JSON-funktioner
  • [SPARK-40654] [Cherry-pick] [SC-112783] [SQL] Protobuf-stöd för Spark – från...
  • [SPARK-40753] [SC-113539] [SQL] Åtgärda bugg i testfall för katalogkatalogåtgärd
  • [SPARK-40765] [SC-113056] [SQL] Optimera redundant fs-åtgärd i CommandUtils#calculateSingleLocationSize#getPathSize metoden
  • [SPARK-40114] [ES-479282] [R] [11.X] Stöd för Pil 9.0.0 med SparkR
  • [SPARK-40479] [SC-110935] [SQL] Migrera oväntat indatatypsfel till en felklass
  • [SPARK-40473] [SC-113388] [SC-111141] [SQL] Migrera parsningsfel till felklasser
  • [SPARK-39853] [SC-111867] [CORE] Stöd för aktivitetsresursprofil på stegnivå för fristående kluster när dynamisk allokering är inaktiverad (backport från PR-47157)
  • [SPARK-40407] [SC-111161] [SQL] Åtgärda den potentiella dataförskjutning som orsakas av df.repartition
  • [SPARK-40425] [SC-110840] [SQL] DROP TABLE behöver inte göra tabellsökning
  • [SPARK-40703] [SC-113242] [SQL] Introducera shuffle på SinglePartition för att förbättra parallelliteten
  • [SPARK-40640] [SC-113138] [CORE] SparkHadoopUtil för att ange ursprung för hadoop/hive-konfigurationsalternativ
  • [SPARK-39062] [11.x] [CORE] Lägga till stöd för resursschemaläggning på fasnivå för fristående kluster
  • [SPARK-33861] [SC-109877] Återställ "[SQL] Förenkla villkorsstyrd i predikat"
  • [SPARK-40667] [SC-113136] [SQL] Alternativ för refaktorfildatakälla
  • [SPARK-40370] [SC-110677] [SQL] Migreringstypkontroll kan inte felklasser i CAST
  • [SPARK-40611] [SC-113105] [SQL] Förbättra prestandan setInterval för & getInterval för UnsafeRow
  • [SPARK-40733] [SC-113126] [SQL] Gör innehållet SERDEPROPERTIES i i resultatet av ShowCreateTableAsSerdeCommand har en fast ordning
  • [SPARK-40585] [SC-112180] [SQL] Stöd för dubbelnoterade identifierare
  • [SPARK-40772] [SC-112992] [SQL] Förbättra spark.sql.adaptive.skewJoin.skewedPartitionFactor för att stödja Double värden
  • [SPARK-40565] [SC-112417] [SQL] Skicka inte icke-deterministiska filter till V2-filkällor
  • [SPARK-8731] [SC-112784] Beeline fungerar inte med -e-alternativet när det startas i bakgrunden
  • [SPARK-35242] [SC-111398] [SQL] Stöd för ändring av sessionskatalogens standarddatabas
  • [SPARK-40426] [SC-110672] [SQL] Returnera en karta från SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655] [SC-111025] [CORE] [SQL] [ML] [MLLIB] Optimera prestanda keys.zipWithIndex.toMap för kodmönster
  • [SPARK-40521] [SC-112430] [SQL] Returen finns bara partitioner i PartitionsAlreadyExistException från Hive:s create-partition
  • [SPARK-40705] [SC-112567] [SQL] Hantera fall av användning av föränderlig matris när rad konverteras till JSON för Scala 2.13
  • [SPARK-39895] [SC-112590] [SQL] [PYTHON] Stöd för flera kolumnsläpp
  • [SPARK-40607] [SC-112296] [CORE] [SQL] [MLLIB] [SS] Ta bort redundanta stränginterpolatoråtgärder
  • [SPARK-40420] [SC-112604] [SC-110569] [SQL] Sortera felmeddelandeparametrar efter namn i JSON-format
  • [SPARK-40403] [SC-110564] [SQL] Beräkna osäker matrisstorlek med longs för att undvika negativ storlek i felmeddelandet
  • [SPARK-40482] [SC-110831] [SQL] Återgå SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555] [SC-110397] [SQL] Skicka felmeddelandeparametrar till undantag som kartor
  • [SPARK-40628] [SC-112414] [SQL] Push-överför inte komplext vänster semi/anti-kopplingsvillkor via projekt
  • [SPARK-40562] [SC-111455] [SQL] Add spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333] [SQL] Lägg till PushProjectionThroughLimit för Optimizer
  • [SPARK-39200] [SC-111244] [CORE] Gör Återställningslagring readFully på innehåll
  • [SPARK-38717] [SC-111241] [SQL] Hantera Hive:s bucketspecifikationsfall som bevarar beteendet
  • [SPARK-40385] [SC-111123] [SQL] Åtgärda tolkad sökväg för tillhörande objektkonstruktor
  • [SPARK-40216] [SC-112413] [SQL] Extrahera vanlig ParquetUtils.prepareWrite metod för att deduplicera kod i ParquetFileFormat och ParquetWrite
  • [SPARK-40636] [SC-112160] [CORE] Åtgärda fel kvarstod shuffles-logg i BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Åtgärda konkurrenstillstånd vid hanteringen av ExecutorMetricsPollers stageTCMP-poster
  • [SPARK-40618] [SC-112046] [SQL] Åtgärda bugg i MergeScalarSubqueries-regeln med kapslade underfrågor
  • [SPARK-40612] [SC-111933] [CORE] Åtgärda det huvudnamn som används för förnyelse av delegeringstoken på icke-YARN-resurshanterare
  • [SPARK-40595] [SC-111662] [SQL] Förbättra felmeddelandet för Oanvända CTE-relationer
  • [SPARK-40314] [SC-111879] [SQL] [PYTHON] Lägg till scala- och python-bindningar för infogade och inline_outer
  • [SPARK-40416] [SC-110945] [SQL] Flytta checkanalysuttrycket CheckAnalysis-felmeddelanden för att använda det nya felramverket
  • [SPARK-40318] [SC-111865] [SC-109986] [SQL] try_avg() bör utlösa undantagen från dess underordnade
  • [SPARK-40509] [SC-111644] [SS] [PYTHON] Lägg till exempel för applyInPandasWithState
  • [SPARK-40310] [SC-111329] [SC-109842] [SQL] try_sum() bör utlösa undantagen från dess underordnade
  • [SPARK-40016] [SQL] Ta bort onödiga TryEval i implementeringen av try_sum()
  • [SPARK-40527] [SC-111224] [SQL] Behåll structfältnamn eller kartnycklar i CreateStruct
  • [SPARK-38098] [SC-111178] [PYTHON] Lägg till stöd för ArrayType för kapslad StructType till pilbaserad konvertering
  • [SPARK-40324] [SC-111359] [SC-110293] [SQL] Ange frågekontext i AnalysisException
  • [SPARK-40492] [SC-111324] [SS] Utför underhåll innan statestore för direktuppspelning tas bort
  • [SPARK-40487] [SC-111124] [SQL] Kör defaultJoin i BroadcastNestedLoopJoinExec parallellt
  • [SPARK-40474] [SC-111273] [SQL] Korrigera CSV-schemainferens och dataparsingbeteende för kolumner med blandade datum och tidsstämplar
  • [SPARK-40508] [SC-111066] [SQL] Behandla okänd partitionering som UnknownPartitioning
  • [SPARK-40496] [SC-111234] [SC-111013] [SQL] Åtgärda konfigurationer för att styra "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214] [SS] [PYTHON] Lägga till testsviter för applyInPandasWithState i PySpark
  • [SPARK-40434] [SC-111125] [SS] [PYTHON] Implementera applyInPandasWithState i PySpark

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 12.0.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta lake: 2.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 svart 22.3.0 Blekmedel 4.1.0
boto3 1.21.32 botocore 1.24.32 Certifi 2021.10.8
Cffi 1.15.0 Chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 Kryptografi 3.4.8 Apparat 0.11.0
Cython 0.29.28 dbus-python 1.2.16 felsökning 1.5.1
Dekoratör 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0,4 Verkställande 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 Fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 Ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
Markering Valv 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook-fil 6.4.8 Numpy 1.21.5 Förpackning 21,3
Pandas 1.4.2 pandocfilter 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 Pexpect 4.8.0
pickleshare 0.7.5 Kudde 9.0.1 Pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 Psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
Pygobject 3.36.0 pyodbc 4.0.32 Pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 begäranden 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 Scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 Setuptools 58.0.4
Sex 1.16.0 soupsieve 2.3.1 ssh-import-id 5,10
stack-data 0.2.0 statsmodels 0.13.2 Uthållighet 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 Tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 obevakade uppgraderingar 0,1
urllib3 1.26.9 Virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 Hjul 0.37.0 widgetsnbextension 3.6.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-11-11.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 10.0.0 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.1 bslib 0.4.1 cachem 1.0.6
anropare 3.7.3 textmarkör 6.0-93 cellranger 1.1.0
Chron 2.3-58 klass 7.3-20 cli 3.4.1
clipr 0.8.0 Klocka 0.6.1 cluster 2.1.4
Codetools 0.2-18 Färgrymd 2.0-3 commonmark 1.8.1
Kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
Krita 1.5.2 autentiseringsuppgifter 1.3.2 Curl 4.3.3
data.table 1.14.4 datauppsättningar 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellips 0.3.2 evaluate (utvärdera) 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 Utländska 0.8-82
Forge 0.2.0 Fs 1.5.2 Framtiden 1.29.0
future.apply 1.10.0 Gurgla 1.2.1 Generika 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 Globals 0.16.1
Lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 grafik 4.2.2 grDevices 4.2.2
Rutnät 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Tillflyktsort 2.5.1
highr 0,9 Hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Id 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.6 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 Kernsmooth 2.23-20 stickning 1,40
Märkning 0.4.2 Senare 1.3.0 Galler 0.20-45
Lava 1.7.0 livscykel 1.0.3 lyssna 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASSACHUSETTS 7.3-58 Matris 1.5-1 pmise 2.0.1
metoder 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 Nlme 3.1-160 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallellt 1.32.1 Pelaren 1.8.1 pkgbuild 1.3.1
Pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Förlopp 1.2.2
progressr 0.11.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.2 Purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recept 1.0.3
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.2 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 Rumsliga 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
Överlevnad 3.4-0 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
Tibble 3.1.8 tidyr 1.2.1 avmarkera 1.2.0
tidyverse 1.3.2 timechange 0.1.1 Timedate 4021.106
tinytex 0.42 verktyg 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
verktyg 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
Morrhår 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.6 Zip 2.2.2

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffert 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pilvektor 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy Ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-kodning 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-fortsättning 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty brygga-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty brygga plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty brygga-server 9.4.46.v20220331
org.eclipse.jetty brygga-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty brygga-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Oanvända 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1