Databricks Runtime 11.2 (stöds inte)

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 11.2, som drivs av Apache Spark 3.3.0. Databricks släppte dessa bilder i september 2022.

Nya funktioner och förbättringar

Ändra till ALTER TABLE-behörigheter i tabellåtkomstkontroller (tabell-ACL:er)

Nu behöver MODIFY användarna bara behörigheter för att ändra en tabells schema eller egenskaper med ALTER TABLE. Ägarskap krävs fortfarande för att bevilja behörigheter för en tabell, ändra dess ägare och plats eller byta namn på den. Den här ändringen gör behörighetsmodellen för tabell-ACL:er konsekvent med Unity Catalog. Se ALTER TABLE(ÄNDRA TABELL).

Dynamisk beskärning för MERGE INTO

När du använder Photon-aktiverad beräkning MERGE INTO använder du nu dynamisk fil- och partitionsrensning när det är lämpligt för att förbättra prestanda, till exempel när en liten källtabell sammanfogas till en större måltabell.

Förbättrad konfliktidentifiering i Delta med dynamisk filrensning

När du söker efter potentiella konflikter under incheckningar tar konfliktidentifieringen nu hänsyn till filer som beskärs av dynamisk filrensning, men som inte skulle ha beskärts av statiska filter. Detta resulterar i ett minskat antal misslyckade transaktioner.

Nytt kort för integrering med öppen källkod i DSE/SQL-startsidor

Introduktion till det nya kortet "Integrering av öppen källkod" på startsidan för DSE/SQL som visar öppen källkod integreringsalternativ som Delta Live Tables och dbt core.

Förbättringar av identifiering av KONVERTERA TILL DELTA-partition

CONVERT TO DELTA härleder automatiskt partitionsschemat för Parquet-tabeller som är registrerade i Hive-metaarkivet eller Unity Catalog, vilket eliminerar behovet av att ange PARTITIONED BY -satsen.

CONVERT TO DELTA använder partitionsinformation från metaarkivet för att identifiera filer för en Parquet-tabell i stället för att visa hela bassökvägen, vilket säkerställer att borttagna partitioner inte läggs till i Delta-tabellen.

Se Konvertera till Delta Lake.

Tabellscheman stöder nu standardvärden för kolumner

Tabellscheman stöder nu inställning av standardvärden för kolumner. INSERT, UPDATE, och DELETE kommandon för dessa kolumner kan referera till dessa värden med nyckelordet DEFAULT . Följt av INSERT INTO t VALUES (1, DEFAULT) lägger till till exempel CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET raden (1, 42). Det här beteendet stöds för CSV-, JSON-, Orc- och Parquet-datakällor.

Nya geospatiala H3-funktioner

Nu kan du använda 28 nya inbyggda H3-uttryck för geospatial bearbetning i Photon-aktiverade kluster som är tillgängliga i SQL, Scala och Python. Se geospatiala H3-funktioner.

Nytt Databricks Runtime-beroende

Databricks Runtime är nu beroende av H3 Java-biblioteket version 3.7.0.

Ta med din egen nyckel: Kryptering av Git-autentiseringsuppgifter

Du kan använda Azure Key Vault för att kryptera en personlig Åtkomsttoken för Git (PAT) eller andra Git-autentiseringsuppgifter.

Se Konfigurera Databricks Git-mappar (Repos).

SQL: Ny mängdfunktion any_value

Den nya any_value mängdfunktionen returnerar ett slumpmässigt värde expr för för en grupp rader. Se den any_value mängdfunktionen.

Databricks Utilities-filsystemkommandon tillåts på fler klustertyper

dbutils.fs kommandon (förutom monteringsrelaterade kommandon) tillåts nu på användarisoleringskluster med Unity Catalog, samt äldre ACL-kluster för tabeller när användaren har ANY FILE behörighet.

CREATE-behörigheter kan nu beviljas på metaarkiv för Unity Catalog

SKAPA KATALOG, SKAPA EXTERN PLATS, SKAPA RESURS, SKAPA MOTTAGARE OCH SKAPA PROVIDER-privilegier kan nu beviljas på Unity Catalog-metaarkiv.

Optimerade skrivningar för opartitionerade tabeller i Photon-aktiverade kluster

Hanterade tabeller i Unity Catalog sparar nu automatiskt filer med en väljusterad storlek från opartitionerade tabeller för att förbättra frågehastigheten och optimera prestanda.

Photon-stöd för fler datakällor

Photon stöder nu fler datakällor, inklusive CSV och Avro, och är också kompatibelt med cachelagrade dataramar. Tidigare innebar genomsökning av dessa datakällor att hela frågan inte kunde fotoniseras, oavsett frågans operatorer eller uttryck. Nu kan frågor som söker igenom dessa datakällor fotoniseras, vilket låser upp betydande svarstider och TCO-förbättringar.

Den här funktionen är aktiverad som standard av konfigurationen spark.databricks.photon.photonRowToColumnar.enabled .

Begränsningar:

  • Scheman med kapslade typer stöds inte (t.ex. matriser, kartor och structs) i den här versionen.
  • ORC-, RDD-, Kinesis-, Kafka- och EventHub-källor stöds inte i den här versionen.

SQL: ALTER SHARE stöder nu START-VERSION

Kommandot ALTER SHARE har nu stöd START VERSIONför , vilket gör det möjligt för leverantörer att dela data från en viss tabellversion. Se ÄNDRA RESURS.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • distlib från 0.3.4 till 0.3.5
    • filelock från 3.7.1 till 3.8.0
    • ritat från 5.8.2 till 5.9.0
    • protobuf från 4.21.2 till 4.21.5
  • Uppgraderade R-bibliotek:
    • kvast från 0.8.0 till 1.0.0
    • bslib från 0.3.1 till 0.4.0
    • anropare från 3.7.0 till 3.7.1
    • caret från 6.0-92 till 6.0-93
    • dbplyr från 2.2.0 till 2.2.1
    • devtools från 2.4.3 till 2.4.4
    • utvärdera från 0,15 till 0,16
    • farver från 2.1.0 till 2.1.1
    • fontawesome från 0.2.2 till 0.3.0
    • från 1.26.1 till 1.27.0
    • generiska läkemedel från 0.1.2 till 0.1.3
    • gert från 1.6.0 till 1.7.0
    • globals från 0.15.1 till 0.16.0
    • googlesheets4 från 1.0.0 till 1.0.1
    • hardhat från 1.1.0 till 1.2.0
    • htmltools från 0.5.2 till 0.5.3
    • parallellt från 1.32.0 till 1.32.1
    • pelare från 1.7.0 till 1.8.0
    • pkgload från 1.2.4 till 1.3.0
    • processx från 3.6.1 till 3.7.0
    • Rcpp från 1.0.8.3 till 1.0.9
    • recept från 0.2.0 till 1.0.1
    • rlang från 1.0.2 till 1.0.4
    • roxygen2 från 7.2.0 till 7.2.1
    • RSQLite från 2.2.14 till 2.2.15
    • sass från 0.4.1 till 0.4.2
    • glänsande från 1.7.1 till 1.7.2
    • stringi från 1.7.6 till 1.7.8
    • tibble från 3.1.7 till 3.1.8
    • tidyverse från 1.3.1 till 1.3.2
    • timeDate från 3043.102 till 4021.104
    • xfun från 0,31 till 0,32
  • Uppgraderade Java-bibliotek:
    • org.apache.orc.orc-core från 1.7.4 till 1.7.5
    • org.apache.orc.orc-mapreduce från 1.7.4 till 1.7.5
    • org.apache.orc.orc-shims från 1.7.4 till 1.7.5

Apache Spark

Databricks Runtime 11.2 innehåller Apache Spark 3.3.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.1 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-40151] [WARMFIX] [SC-109002] [SC-108809] [SQL] Returnera bredare ANSI-intervalltyper från percentilfunktionerna
  • [SPARK-40054] [SQL] Återställa syntaxen för felhantering för try_cast()
  • [SPARK-39489] [CORE] Förbättra JsonProtocol-prestanda för händelseloggning med hjälp av Jackson i stället för Json4s
  • [SPARK-39319] [CORE] [SQL] Skapa frågekontexter som en del av SparkThrowable
  • [SPARK-40085] [SQL] Använd INTERNAL_ERROR felklass i stället för IllegalStateException för att indikera buggar
  • [SPARK-40001] [SQL] Skapa NULL-skrivningar till JSON DEFAULT-kolumner som skriver "null" till lagring
  • [SPARK-39635] [SQL] Stöd för drivrutinsmått i API för anpassade mått för DS v2
  • [SPARK-39184] [SQL] Hantera underdimensionerad resultatmatris i datum- och tidsstämpelsekvenser
  • [SPARK-40019] [SQL] Refaktorkommentaren för ArrayType innehållerNull och omstrukturerar missförståndslogikerna i collectionOperators uttryck om containsNull
  • [SPARK-39989] [SQL] Stöd för uppskattning av kolumnstatistik om det är ett vikbart uttryck
  • [SPARK-39926] [SQL] Åtgärda fel i kolumnen STANDARDstöd för icke-vektoriserade Parquet-genomsökningar
  • [SPARK-40052] [SQL] Hantera direkt bytebuffertar i VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Åtgärda målintervalltypen i gjutna spillfel
  • [SPARK-39835] [SQL] Åtgärda att EliminateSorts tar bort global sortering under den lokala sorteringen
  • [SPARK-40002] [SQL] Tryck inte ned gränsen genom fönstret med hjälp av ntile
  • [SPARK-39976] [SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
  • [SPARK-39985] [SQL] Aktivera implicita standardkolumnvärden i infogningar från DataFrames
  • [SPARK-39776] [SQL] JOIN utförlig sträng ska lägga till kopplingstyp
  • [SPARK-38901] [SQL] DS V2 stöder push-nedfelfunktioner
  • [SPARK-40028] [SQL] [Uppföljning] Förbättra exempel på strängfunktioner
  • [SPARK-39983] [CORE] [SQL] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
  • [SPARK-39812] [SQL] Förenkla kod som konstruerar AggregateExpression med toAggregateExpression
  • [SPARK-40028] [SQL] Lägga till binära exempel för stränguttryck
  • [SPARK-39981] [SQL] Kasta undantaget QueryExecutionErrors.castingCauseOverflowErrorInTableInsert i Cast
  • [SPARK-40007] [PYTHON] [SQL] Lägga till "läge" i funktioner
  • [SPARK-40008] [SQL] Stöd för gjutning av integraler till ANSI-intervall
  • [SPARK-40003] [PYTHON] [SQL] Lägga till "median" i funktioner
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand bör återskapa resultatrelationen
  • [SPARK-39951] [SQL] Uppdatera Parquet V2-kolumnkontroll för kapslade fält
  • [SPARK-33236] [shuffle] Bakåtportering till DBR 11.x: Aktivera push-baserad shuffle-tjänst för lagring av tillstånd i DATABAS på NM-nivå för arbete som bevarar omstart
  • [SPARK-39836] [SQL] Förenkla V2ExpressionBuilder genom att extrahera vanlig metod.
  • [SPARK-39873] [SQL] Ta bort OptimizeLimitZero och sammanfoga den till EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down översätter Cast om casten är säker
  • [SPARK-39872] [SQL] Ändra till användning BytePackerForLong#unpack8Values med api för matrisindata i VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Ta bort onödiga AliasHelper eller PredicateHelper för vissa regler
  • [SPARK-39900] [SQL] Hantera partiellt eller negerat villkor i binärt formats predikat-pushdown
  • [SPARK-39904] [SQL] Byt namn på inferDate till prefersDate and clarify semantics of the option in CSV data source
  • [SPARK-39958] [SQL] Lägg till varningslogg när det inte går att läsa in anpassade måttobjekt
  • [SPARK-39932] [SQL] WindowExec bör rensa den slutliga partitionsbufferten
  • [SPARK-37194] [SQL] Undvik onödig sortering i v1-skrivning om det inte är en dynamisk partition
  • [SPARK-39902] [SQL] Lägg till genomsökningsinformation i spark-plangenomsökningsnoden i SparkUI
  • [SPARK-39865] [SQL] Visa korrekta felmeddelanden om spillfelen i tabellinfogningen
  • [SPARK-39940] [SS] Uppdatera katalogtabellen för strömmande fråga med DSv1-mottagare
  • [SPARK-39827] [SQL] Använd felklassen ARITHMETIC_OVERFLOW vid int overflow i add_months()
  • [SPARK-39914] [SQL] Lägg till DS V2-filter i V1-filterkonvertering
  • [SPARK-39857] [SQL] Manuell DBR 11.x-backport; V2ExpressionBuilder använder fel LiteralValue-datatyp för In predicate #43454
  • [SPARK-39840] [SQL] [PYTHON] Factor PythonArrowInput out as a symmetry to PythonArrowOutput
  • [SPARK-39651] [SQL] Beskär filtervillkor om jämförelse med rand är deterministiskt
  • [SPARK-39877] [PYTHON] Lägga till unpivot till PySpark DataFrame API
  • [SPARK-39909] [SQL] Organisera kontrollen av push-ned information för JDBCV2Suite
  • [SPARK-39834] [SQL] [SS] Inkludera ursprungsstatistiken och begränsningarna för LogicalRDD om den kommer från DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) fyller saknade nya kolumner med null-värde
  • [SPARK-39860] [SQL] Fler uttryck bör utöka predikatet
  • [SPARK-39823] [SQL] [PYTHON] Byt namn på Dataset.as som Dataset.to och lägg till DataFrame.to i PySpark
  • [SPARK-39918] [SQL] [MINOR] Ersätt formuleringen "un-comparable" med "incomparable" i felmeddelandet
  • [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder använder fel LiteralValue-datatyp för I predikat
  • [SPARK-39862] [SQL] Manuell backport för PR 43654 för DBR 11.x: Uppdatera SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS för att tillåta/neka ALTER TABLE ... LÄGG TILL KOLUMN-kommandon separat.
  • [SPARK-39844] [SQL] Manuell backport för PR 43652 för DBR 11.x
  • [SPARK-39899] [SQL] Åtgärda överföring av meddelandeparametrar till InvalidUDFClassException
  • [SPARK-39890] [SQL] Gör till TakeOrderedAndProjectExec ärver AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Stöd för CharType i PySpark
  • [SPARK-38864] [SQL] Lägg till unpivot/melt i datauppsättningen
  • [SPARK-39864] [SQL] Registrera ExecutionListenerBus lazily
  • [SPARK-39808] [SQL] Stöd för aggregerat funktionsLÄGE
  • [SPARK-39875] [SQL] Ändra protected metod i slutklassen till private eller package-visible
  • [SPARK-39731] [SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
  • [SPARK-39805] [SS] Deprecate Trigger.Once och Promote Trigger.AvailableNow
  • [SPARK-39784] [SQL] Placera literalvärden till höger om datakällans filter efter översättning av Catalyst Expression till datakällans filter
  • [SPARK-39672] [SQL] [3.1] Åtgärda borttagning av projekt före filter med korrelerad underfråga
  • [SPARK-39552] [SQL] Förena v1 och v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists ska hantera kapslat namnområde
  • [SPARK-37287] [SQL] Hämta dynamisk partition och bucketsortering från FileFormatWriter
  • [SPARK-39469] [SQL] Härledningsdatumtyp för CSV-schemainferens
  • [SPARK-39148] [SQL] DS V2-aggregerad push-nedtryckning kan fungera med OFFSET eller LIMIT
  • [SPARK-39818] [SQL] Åtgärda bugg i ARRAY, STRUCT, MAP-typer med STANDARDvärden med NULL-fält
  • [SPARK-39792] [SQL] Lägg till DecimalDivideWithOverflowCheck för decimalgenomsnitt
  • [SPARK-39798] [SQL] Replcace toSeq.toArray med .toArray[Any] konstruktor av GenericArrayData
  • [SPARK-39759] [SQL] Implementera listIndex i JDBC (H2-dialekt)
  • [SPARK-39385] [SQL] Stöd för nedtryckning REGR_AVGX och REGR_AVGY
  • [SPARK-39787] [SQL] Använd felklassen i parsningsfelet för funktionen to_timestamp
  • [SPARK-39760] [PYTHON] Stöd för Varchar i PySpark
  • [SPARK-39557] [SQL] Manuell backport till DBR 11.x: StödMATRIS, STRUCT, MAP-typer som STANDARDvärden
  • [SPARK-39758] [SQL] [3.3] Åtgärda NPE från regexp-funktionerna på ogiltiga mönster
  • [SPARK-39749] [SQL] ANSI SQL-läge: Använd oformaterad strängrepresentation vid gjutning av decimaltecken till sträng
  • [SPARK-39704] [SQL] Implementera createIndex &dropIndex & indexExists i JDBC (H2-dialekt)
  • [SPARK-39803] [SQL] Använd LevenshteinDistance i stället för StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Stöd för TidsstämpelNTZ-typ i JDBC-datakälla
  • [SPARK-39781] [SS] Lägg till stöd för att tillhandahålla max_open_files till rocksdb state store-providern
  • [SPARK-39719] [R] Implementera databaseExists/getDatabase i SparkR stöder 3L-namnrymd
  • [SPARK-39751] [SQL] Byt namn på måttet för hash-aggregerade nyckelavsökningar
  • [SPARK-39772] [SQL]-namnområdet ska vara null när databasen är null i de gamla konstruktorerna
  • [SPARK-39625] [SPARK-38904] [SQL] Lägg till Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilera inbyggda linjära regressionsaggregatfunktioner för JDBC-dialekt
  • [SPARK-39720] [R] Implementera tableExists/getTable i SparkR för 3L-namnrymd
  • [SPARK-39744] [SQL] REGEXP_INSTR Lägg till funktionen
  • [SPARK-39716] [R] Gör currentDatabase/setCurrentDatabase/listCatalogs i SparkR-stöd för 3L-namnrymd
  • [SPARK-39788] [SQL] Byt catalogName namn till dialectName för JdbcUtils
  • [SPARK-39647] [CORE] Registrera kören med ESS innan du registrerar BlockManager
  • [SPARK-39754] [CORE] [SQL] Ta bort oanvända import eller onödiga {}
  • [SPARK-39706] [SQL] Ange kolumnen som saknas med defaultValue som konstant i ParquetColumnVector
  • [SPARK-39699] [SQL] Gör CollapseProject smartare när det gäller att skapa samlingsuttryck
  • [SPARK-39737] [SQL] PERCENTILE_CONT och PERCENTILE_DISC bör ha stöd för aggregeringsfilter
  • [SPARK-39579] [SQL] [PYTHON] [R] Gör ListFunctions/getFunction/functionExists kompatibel med 3-lagers namnområde
  • [SPARK-39627] [SQL] JDBC V2-pushdown bör förena kompilerings-API:et
  • [SPARK-39748] [SQL] [SS] Inkludera den logiska ursprungsplanen för LogicalRDD om den kommer från DataFrame
  • [SPARK-39385] [SQL] Översätt linjära regressionsaggregatfunktioner för pushdown
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Lägg till funktionen
  • [SPARK-39667] [SQL] Lägg till en annan lösning när det inte finns tillräckligt med minne för att skapa och sända tabellen
  • [SPARK-39666] [ES-337834] [SQL] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
  • [SPARK-39643] [SQL] Förhindra underfrågor i STANDARD-värden
  • [SPARK-38647] [SQL] Lägg till SupportsReportOrdering-mix i gränssnittet för genomsökning (DataSourceV2)
  • [SPARK-39497] [SQL] Förbättra analysfelet för kartnyckelkolumnen som saknas
  • [SPARK-39661] [SQL] Undvik att skapa onödig SLF4J-loggning
  • [SPARK-39713] [SQL] ANSI-läge: Lägg till förslag på att använda try_element_at för INVALID_ARRAY_INDEX fel
  • [SPARK-38899] [SQL] DS V2 stöder funktioner för nedtryckningsdatumtid
  • [SPARK-39638] [SQL] Ändra till att använda ConstantColumnVector för att lagra partitionskolumner i OrcColumnarBatchReader
  • [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Rensa från ColumnVectorUtils
  • [SPARK-39231] [SQL] Använd ConstantColumnVector i stället On/OffHeapColumnVector för att lagra partitionskolumner i VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog bör inte utlösa NoSuchDatabaseException i loadNamspaceMetadata
  • [SPARK-39447] [SQL] Undvik AssertionError i AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Omarbeta MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec bör respektera underordnad utdataordning
  • [SPARK-39606] [SQL] Använda underordnad statistik för att uppskatta orderoperatorn
  • [SPARK-39611] [PYTHON] [PS] Åtgärda fel alias i array_ufunc
  • [SPARK-39656] [SQL] [3.3] Åtgärda fel namnrymd i DescribeNamespaceExec
  • [SPARK-39675] [SQL] Växla konfigurationen "spark.sql.codegen.factoryMode" från testsyfte till internt syfte
  • [SPARK-39139] [SQL] DS V2 stöder push-nedtryckning av DS V2 UDF
  • [SPARK-39434] [SQL] Ange frågekontext för körningsfel när matrisindexet är utanför avgränsningen
  • [SPARK-39479] [SQL] DS V2 stöder push-nedtryckta matematiska funktioner (icke ANSI)
  • [SPARK-39618] [SQL] REGEXP_COUNT Lägg till funktionen
  • [SPARK-39553] [CORE] Avregistrera blandning med flera trådar bör inte utlösa NPE när du använder Scala 2.13
  • [SPARK-38755] [PYTHON] [3.3] Lägg till fil för att hantera saknade allmänna pandas-funktioner
  • [SPARK-39444] [SQL] Lägg till OptimizeSubqueries i listan nonExcludableRules
  • [SPARK-39316] [SQL] Sammanfoga PromotePrecision och CheckOverflow till decimal binär aritmetik
  • [SPARK-39505] [Användargränssnitt] Escape-logginnehåll renderat i användargränssnittet
  • [SPARK-39448] [SQL] Lägg till ReplaceCTERefWithRepartition i nonExcludableRules listan
  • [SPARK-37961] [SQL] Åsidosätt maxRows/maxRowsPerPartition för vissa logiska operatorer
  • [SPARK-35223] Återställ Lägg till IssueNavigationLink
  • [SPARK-39633] [SQL] Stöd för tidsstämpel i sekunder för TimeTravel med hjälp av dataramsalternativ
  • [SPARK-38796] [SQL] Uppdatera dokumentationen för nummerformatsträngar med funktionerna {try_}to_number
  • [SPARK-39650] [SS] Åtgärda felaktigt värdeschema i strömmande deduplicering med bakåtkompatibilitet
  • [SPARK-39636] [CORE] [Användargränssnitt] Åtgärda flera buggar i JsonProtocol, vilket påverkar heap StorageLevels och Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Returnera ELEMENT_AT_BY_INDEX_ZERO från element_at(*, 0)
  • [SPARK-39349] Lägga till en centraliserad CheckError-metod för QA för felsökväg
  • [SPARK-39453] [SQL] DS V2 har stöd för push-nedrullning av icke-aggregerade funktioner (inte ANSI)
  • [SPARK-38978] [SQL] DS V2 stöder push-down OFFSET-operatorn
  • [SPARK-39567] [SQL] Stöd för ANSI-intervall i percentilfunktionerna
  • [SPARK-39383] [SQL] Stöd för STANDARDkolumner i ALTER TABLE ALTER COLUMNS to V2 data sources
  • [SPARK-39396] [SQL] Åtgärda LDAP-inloggningsfelet "felkod 49 – ogiltiga autentiseringsuppgifter"
  • [SPARK-39548] [SQL] CreateView-kommandot med en fönstersatsfråga stötte på ett fel fönsterdefinitionsfel hittades inte
  • [SPARK-39575] [AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get in Avr...
  • [SPARK-39543] Alternativet DataFrameWriterV2 ska skickas till lagringsegenskaper om återställning till v1
  • [SPARK-39564] [SS] Exponera informationen i katalogtabellen för den logiska planen i strömningsfrågan
  • [SPARK-39582] [SQL] Åtgärda markören "Sedan" för array_agg
  • [SPARK-39388] [SQL] Återanvänd när orcSchema du trycker ned Orc-predikat
  • [SPARK-39511] [SQL] Förbättra push-nedtryckt lokal gräns 1 för höger sida av vänster halv/anti-koppling om kopplingsvillkoret är tomt
  • [SPARK-38614] [SQL] Tryck inte ned gränsen genom fönstret som använder percent_rank
  • [SPARK-39551] [SQL] Lägg till ogiltig AQE-plankontroll
  • [SPARK-39383] [SQL] Stöd för STANDARDkolumner i ALTER TABLE ADD COLUMNS to V2 data sources
  • [SPARK-39538] [SQL] Undvik att skapa onödig SLF4J-loggning
  • [SPARK-39383] [SQL] Manuell backportering till DBR 11.x: Kolumnstöd för omstrukturera standard för att hoppa över att skicka den primära analysatorn runt
  • [SPARK-39397] [SQL] Koppla från AliasAwareOutputExpression för att stödja alias med uttryck
  • [SPARK-39496] [SQL] Hantera null-struct i Inline.eval
  • [SPARK-39545] [SQL] Åsidosätt concat metoden för ExpressionSet i Scala 2.13 för att förbättra prestanda
  • [SPARK-39340] [SQL] DS v2 agg-pushdown bör tillåta punkter i namnet på kolumner på den översta nivån
  • [SPARK-39488] [SQL] Förenkla felhanteringen av TempResolvedColumn
  • [SPARK-38846] [SQL] Lägg till explicit datamappning mellan Teradata Numerisk typ och Spark DecimalType
  • [SPARK-39520] [SQL] Åsidosättningsmetod -- för ExpressionSet i Scala 2.13
  • [SPARK-39470] [SQL] Stöd för gjutning av ANSI-intervall till decimaler
  • [SPARK-39477] [SQL] Ta bort information om antalet frågor från de gyllene filerna i SQLQueryTestSuite
  • [SPARK-39419] [SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
  • [SPARK-39061] [SQL] Ange nullable korrekt för Inline utdataattribut
  • [SPARK-39320] [SQL] Stöd för aggregeringsfunktion MEDIAN
  • [SPARK-39261] [CORE] Förbättra ny formatering för felmeddelanden
  • [SPARK-39355] [SQL] En kolumn använder citerad för att konstruera UnresolvedAttribute
  • [SPARK-39351] [SQL] VISA SKAPA TABELL bör redigera egenskaper
  • [SPARK-37623] [SQL] Stöd för ANSI-mängdfunktion: regr_intercept
  • [SPARK-39374] [SQL] Förbättra felmeddelandet för den användardefinierade kolumnlistan
  • [SPARK-39255] [SQL] [3.3] Förbättra felmeddelanden
  • [SPARK-39321] [SQL] Omstrukturera TryCast för att använda RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Acceptera NumPy-matris i createDataFrame
  • [SPARK-39267] [SQL] Rensa dsl onödig symbol
  • [SPARK-39171] [SQL] Förena cast-uttrycket
  • [SPARK-28330] [SQL] Stöd för ANSI SQL: resultatförskjutningssats i frågeuttryck
  • [SPARK-39203] [SQL] Skriv om tabellplatsen till absolut URI baserat på databas-URI
  • [SPARK-39313] [SQL] toCatalystOrdering bör misslyckas om V2Expression inte kan översättas
  • [SPARK-39301] [SQL] [PYTHON] Utnyttja LocalRelation och respektera pilbatchstorlek i createDataFrame med piloptimering
  • [SPARK-39400] [SQL] spark-sql bör ta bort hive-resursdir i samtliga fall

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 11.2.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
svart 22.3.0 Blekmedel 4.0.0 boto3 1.21.18
botocore 1.24.18 Certifi 2021.10.8 Cffi 1.14.6
Chardet 4.0.0 charset-normalizer 2.0.4 klicka 8.0.3
Kryptografi 3.4.8 Apparat 0.10.0 Cython 0.29.24
dbus-python 1.2.16 felsökning 1.4.1 Dekoratör 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 Ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
Markering Valv 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook-fil 6.4.5 Numpy 1.20.3 Förpackning 21,0
Pandas 1.3.4 pandocfilter 1.4.3 parso 0.8.2
pathspec 0.9.0 Patsy 0.5.2 Pexpect 4.8.0
pickleshare 0.7.5 Kudde 8.4.0 Pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 Psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 Pygobject 3.36.0
pyodbc 4.0.31 Pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 begäranden 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 Scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 Setuptools 58.0.4
Sex 1.16.0 ssh-import-id 5,10 statsmodels 0.12.2
Uthållighet 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.1.0 skriva tillägg 3.10.0.2
obevakade uppgraderingar 0,1 urllib3 1.26.7 Virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 Hjul 0.37.0
widgetsnbextension 3.6.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-08-15.

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1,1 assertthat 0.2.1 Backports 1.4.1
bas 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 start 1.3-28
Brygga 1.0-7 Brio 1.1.3 Kvast 1.0.0
bslib 0.4.0 cachem 1.0.6 anropare 3.7.1
textmarkör 6.0-93 cellranger 1.1.0 Chron 2.3-57
klass 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 Codetools 0.2-18 Färgrymd 2.0-3
commonmark 1.8.0 Kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 Krita 1.5.1 autentiseringsuppgifter 1.3.2
Curl 4.3.2 data.table 1.14.2 datauppsättningar 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
Devtools 2.4.4 diffobj 0.3.5 Digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellips 0.3.2 evaluate (utvärdera) 0,16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
Utländska 0.8-82 Forge 0.2.0 Fs 1.5.2
Framtiden 1.27.0 future.apply 1.9.0 Gurgla 1.2.0
Generika 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
Globals 0.16.0 Lim 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafik 4.1.3
grDevices 4.1.3 Rutnät 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
Tillflyktsort 2.5.0 highr 0,9 Hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Id 1.0.1 Ini 0.3.1
Ipred 0.9-13 isoband 0.2.5 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 Kernsmooth 2.23-20
stickning 1.39 Märkning 0.4.2 Senare 1.3.0
Galler 0.20-45 Lava 1.6.10 livscykel 1.0.1
lyssna 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1,1 MASSACHUSETTS 7.3-56 Matris 1.4-1
pmise 2.0.1 metoder 4.1.3 Mgcv 1.8-40
Mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 Nlme 3.1-157
Nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallellt 1.32.1 Pelaren 1.8.0
pkgbuild 1.3.1 Pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
Beröm 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Förlopp 1.2.2 progressr 0.10.1 Löften 1.2.0.1
Proto 1.0.0 Proxy 0.4-27 Ps 1.7.1
Purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 Rcolorbrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recept 1.0.1 Returmatch 1.0.1 rematch2 2.1.2
Fjärrkontroller 2.4.2 reprex 2.0.1 omforma2 1.4.4
rlang 1.0.4 rmarkdown 2,14 RODBC 1.3-19
roxygen2 7.2.1 Rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversioner 2.1.1 rvest 1.0.2 Sass 0.4.2
Skalor 1.2.0 väljare 0.4-2 sessioninfo 1.2.2
Form 1.4.6 Blanka 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 Rumsliga 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Statistik 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 Överlevnad 3.2-13 sys 3.4
systemfonts 1.0.4 Tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 Tibble 3.1.8 tidyr 1.2.0
avmarkera 1.1.2 tidyverse 1.3.2 Timedate 4021.104
tinytex 0.40 verktyg 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
verktyg 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
Morrhår 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.5 Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffert 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pilvektor 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy Ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kodning 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-fortsättning 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty brygga-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty brygga plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty brygga-server 9.4.46.v20220331
org.eclipse.jetty brygga-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty brygga-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Oanvända 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1