Databricks Runtime 14.1

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 14.1 som drivs av Apache Spark 3.5.0.

Databricks släppte dessa bilder i oktober 2023.

Nya funktioner och förbättringar

array_insert() är 1-baserad för negativa index

Funktionen array_insert är 1-baserad för både positiva och negativa index. Det infogar nu ett nytt element i slutet av indatamatriserna för indexet -1. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.negativeIndexInArrayInsert till true.

Delta v2-kontrollpunkter aktiverade som standard med flytande klustring

Nyligen skapade Delta-tabeller med flytande klustring använder v2-kontrollpunkter som standard. Se Kompatibilitet för tabeller med flytande klustring.

Ta bort deltatabellfunktionen i offentlig förhandsversion

Nu kan du släppa vissa tabellfunktioner för Delta-tabeller. Aktuellt stöd omfattar att släppa deletionVectors och v2Checkpoint. Se Drop Delta table features (Ta bort deltatabellfunktioner).

Deltadelning: Mottagare kan köra batchfrågor på delade tabeller med borttagningsvektorer (offentlig förhandsversion)

Deltadelningsmottagare kan nu köra batchfrågor på delade tabeller som använder borttagningsvektorer. Se Lägga till tabeller med borttagningsvektorer eller kolumnmappning till en resurs, Läs tabeller med borttagningsvektorer eller kolumnmappning aktiverat och Läs tabeller med borttagningsvektorer eller kolumnmappning aktiverat.

Deltadelning: Mottagare kan köra batchfrågor på delade tabeller med kolumnmappning (offentlig förhandsversion)

Deltadelningsmottagare kan nu köra batchfrågor på delade tabeller som använder kolumnmappning. Se Lägga till tabeller med borttagningsvektorer eller kolumnmappning till en resurs, Läs tabeller med borttagningsvektorer eller kolumnmappning aktiverat och Läs tabeller med borttagningsvektorer eller kolumnmappning aktiverat.

Strömma från Unity-katalogvyer i offentlig förhandsversion

Nu kan du använda Structured Streaming för att utföra direktuppspelningsläsningar från vyer som registrerats med Unity Catalog. Azure Databricks stöder endast strömmande läsningar från vyer som definierats mot Delta-tabeller. Se Stream från Unity Catalog-vyer.

Apache Pulsar-anslutningsprogram i offentlig förhandsversion

Nu kan du använda Structured Streaming för att strömma data från Apache Pulsar på Azure Databricks. Se Stream från Apache Pulsar.

Uppgraderad Snowflake-drivrutin

Snowflake JDBC-drivrutinen använder nu version 3.13.33.

SQL-sessionsvariabler

Den här versionen introducerar möjligheten att deklarera tillfälliga variabler i en session som kan anges och sedan refereras till inifrån frågor. Se Variabler.

Namngivna parameteranrop för SQL och Python UDF.

Nu kan du använda anrop avnamngivna parametrar i SQL och Python UDF.

Tabellargument till funktioner stöder partitionering och ordning.

Nu kan du använda PARTITION BY och ORDER BY -satser för att styra hur tabellargument skickas till en funktion under funktionsanropet.

Nya och förbättrade inbyggda SQL-funktioner

Följande inbyggda funktioner har lagts till:

  • from_xml: Parsar en XML STRING till en STRUCT.
  • schema_of_xml: Härleder ett schema från en XML.STRING
  • session_user: Returnerar den inloggade användaren.
  • try_reflect: Returnerar NULL i stället för undantaget om en Java-metod misslyckas.

Följande inbyggda funktioner har förbättrats:

  • mode: Stöd för en valfri parameter som tvingar fram ett deterministiskt resultat.
  • to_char: Nytt stöd för DATE, TIMESTAMPoch BINARY.
  • to_varchar: Nytt stöd för DATE, TIMESTAMPoch BINARY.

Förbättrad hantering av korrelerade underfrågor

Möjligheten att bearbeta korrelation i underfrågor har utökats:

  • Hantera gräns och ordning efter i korrelerade skalära (laterala) underfrågor.
  • Stöd för fönsterfunktioner i korrelerade skalära underfrågor.
  • Stöd för korrelerade referenser i kopplingspredikat för skalär och lateral underfrågor

Beteendeförändring

Strikt typkontroll i Photon Parquet-läsare

Foton misslyckas när du försöker läsa ett decimalvärde från en Parquet-kolumn som inte är en decimaltyp. Foton misslyckas också när du läser en bytematris med fast längd från Parquet som en sträng.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • filelock från 3.12.2 till 3.12.3
    • s3transfer från 0.6.1 till 0.6.2
  • Uppgraderade Java-bibliotek:
    • com.uber.h3 från 3.7.0 till 3.7.3
    • io.airlift.aircompressor från 0,24 till 0,25
    • io.delta.delta-sharing-spark_2.12 från 0.7.1 till 0.7.5
    • io.netty.netty-all från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-buffert från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-codec från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-codec-http från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-codec-http2 från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-codec-socks från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-common från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-handler från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-handler-proxy från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-resolver från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-transport från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-transport-classes-epoll från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-transport-classes-kqueue från 4.1.93.Final till 4.1.96.Final
    • io.netty.netty-transport-native-epoll från 4.1.93.Final-linux-x86_64 till 4.1.96.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue från 4.1.93.Final-osx-x86_64 till 4.1.96.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common från 4.1.93.Final till 4.1.96.Final
    • net.snowflake.snowflake-jdbc från 3.13.29 till 3.13.33
    • org.apache.orc.orc-core från 1.9.0-shaded-protobuf till 1.9.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.9.0-shaded-protobuf till 1.9.1-shaded-protobuf
    • org.apache.orc.orc-shims från 1.9.0 till 1.9.1

Apache Spark

Databricks Runtime 14.1 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.0 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-45088] [DBRRM-557] Återställ "[SC-142785][PYTHON][CONNECT] Få getitem att fungera med duplicerad kolumn"
  • [SPARK-43453] [DBRRM-557] Återställ "[SC-143135][PS] Ignorera när namesMultiIndexaxis=1 för "concat
  • [SPARK-45225] [SC-143207] [SQL] XML: Stöd för XSD-fil-URL
  • [SPARK-45156] [SC-142782] [SQL] Radbryt inputName efter backticks i felklassen NON_FOLDABLE_INPUT
  • [SPARK-44910] [SC-143082] [SQL] Encoders.bean stöder inte superklasser med generiska typargument
  • [SPARK-43453] [SC-143135] [PS] Ignorera när namesMultiIndexaxis=1 för concat
  • [SPARK-44463] [SS] [ANSLUT] Förbättra felhanteringen för Anslut ångande Python-arbetare
  • [SPARK-44960] [SC-141023] [Användargränssnitt] Unescape och består av felsammanfattning på användargränssnittssidor
  • [SPARK-44788] [SC-142980] [ANSLUT] [PYTHON] [SQL] Lägg till from_xml och schema_of_xml i pyspark, spark connect och sql-funktion
  • [SPARK-44614] [SC-138460] [PYTHON] [ANSLUT] [3.5] Lägg till paket som saknas i setup.py
  • [SPARK-45151] [SC-142861] [CORE] [Användargränssnitt] Stöd för tråddump på aktivitetsnivå
  • [SPARK-45056] [SC-142779] [PYTHON] [SS] [ANSLUT] Avslutningstester för streamingQueryListener och foreachBatch
  • [SPARK-45084] [SC-142828] [SS] StateOperatorProgress för att använda korrekt effektivt shuffle-partitionsnummer
  • [SPARK-44872] [SC-142405] [ANSLUT] Servertestningsfras och ReattachableExecuteSuite
  • [SPARK-45197] [SC-142984] [CORE] Lägg StandaloneRestServer till i JavaModuleOptions drivrutiner
  • [SPARK-44404] [SC-139601] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
  • [SPARK-44647] [SC-142297] [SQL] Stöd för SPJ där anslutningsnycklar är mindre än klusternycklar
  • [SPARK-45088] [SC-142785] [PYTHON] [ANSLUT] Arbeta getitem med duplicerade kolumner
  • [SPARK-45128] [SC-142851] [SQL] Stöd CalendarIntervalType i pil
  • [SPARK-45130] [SC-142976] [ANSLUT] [ML] [PYTHON] Undvik Spark Connect ML-modell för att ändra pandas-dataram för indata
  • [SPARK-45034] [SC-142959] [SQL] Stöd för deterministisk lägesfunktion
  • [SPARK-45173] [SC-142931] [Användargränssnitt] Ta bort några onödiga sourceMapping-filer i användargränssnittet
  • [SPARK-45162] [SC-142781] [SQL] Stöd för kartor och matrisparametrar som skapats via call_function
  • [SPARK-45143] [SC-142840] [PYTHON] [ANSLUT] Gör PySpark kompatibelt med PyArrow 13.0.0
  • [SPARK-45174] [SC-142837] [CORE] Stöd spark.deploy.maxDrivers
  • [SPARK-45167] [SC-142956] [ANSLUT] [PYTHON] Python-klienten måste anropa release_all
  • [SPARK-36191] [SC-142777] [SQL] Hantera gräns och ordning efter i korrelerade skalära (laterala) underfrågor
  • [SPARK-45159] [SC-142829] [PYTHON] Hantera endast namngivna argument när det behövs
  • [SPARK-45133] [SC-142512] [ANSLUT] Gör spark-Anslut frågor slutförda när den senaste resultataktiviteten är klar
  • [SPARK-44801] [SC-140802] [SQL] [Användargränssnitt] Samla in analys av misslyckade frågor i lyssnaren och användargränssnittet
  • [SPARK-45139] [SC-142527] [SQL] Lägga till DatabricksDialect för att hantera SQL-typkonvertering
  • [SPARK-45157] [SC-142546] [SQL] Undvik upprepade if kontroller i [On|Off|HeapColumnVector
  • [SPARK-45077] Återställ "[SC-142069][UI] Uppgradera dagre-d3.js från 04.3 till 0.6.4"
  • [SPARK-45145] [SC-142521] [EXEMPEL] Lägg till JavaSparkSQLCli-exempel
  • [SPARK-43295] Återställ "[SC-142254][PS] Stöd för strängtypkolumner för DataFrameGroupBy.sum"
  • [SPARK-44915] [SC-142383] [CORE] Verifiera kontrollsumman för återmonterade PVC:s shuffle-data före återställning
  • [SPARK-45147] [SC-142524] [CORE] Ta bort System.setSecurityManager användning
  • [SPARK-45104] [SC-142206] [Användargränssnitt] Uppgradera graphlib-dot.min.js till 1.0.2
  • [SPARK-44238] [SC-141606] [CORE] [SQL] Introducera en ny readFrom metod med bytematrisindata för BloomFilter
  • [SPARK-45060] [SC-141742] [SQL] Åtgärda ett internt fel från to_char()formatet NULL
  • [SPARK-43252] [SC-142381] [SQL] Ersätt felklassen _LEGACY_ERROR_TEMP_2016 med ett internt fel
  • [SPARK-45069] [SC-142279] [SQL] SQL-variabeln bör alltid matchas efter yttre referens
  • [SPARK-44911] [SC-142388] [SQL] Skapa hive-tabell med ogiltig kolumn bör returnera felklass
  • [SPARK-42754] [SC-125567] [SQL] [Användargränssnitt] Åtgärda problem med bakåtkompatibilitet i kapslad SQL-körning
  • [SPARK-45121] [SC-142375] [ANSLUT] [PS] Stöd Series.empty för Spark Anslut.
  • [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. bör fungera i en kolumnvektor som har en ordlista
  • [SPARK-45027] [SC-142248] [PYTHON] Dölj interna funktioner/variabler från pyspark.sql.functions automatisk slutförande
  • [SPARK-45073] [SC-141791] [PS] [ANSLUT] Ersätt LastNotNull med Last(ignoreNulls=True)
  • [SPARK-44901] [SC-141676] [SQL] Manuell backport: Lägg till API i Python UDTF-metoden "analysera" för att returnera partitionerings-/beställningsuttryck
  • [SPARK-45076] [SC-141795] [PS] Växla till inbyggd repeat funktion
  • [SPARK-44162] [SC-141605] [CORE] Stöd för G1GC i spark-mått
  • [SPARK-45053] [SC-141733] [PYTHON] [MINOR] Loggförbättring i python-versionsmatchning
  • [SPARK-44866] [SC-142221] [SQL] Lägg till SnowflakeDialect för att hantera BOOLEAN-typen korrekt
  • [SPARK-45064] [SC-141775] [PYTHON] [ANSLUT] Lägg till parametern som saknas scale i ceil/ceiling
  • [SPARK-45059] [SC-141757] [ANSLUT] [PYTHON] Lägga till try_reflect funktioner i Scala och Python
  • [SPARK-43251] [SC-142280] [SQL] Ersätt felklassen _LEGACY_ERROR_TEMP_2015 med ett internt fel
  • [SPARK-45052] [SC-141736] [SQL] [PYTHON] [ANSLUT] Göra utdatakolumnnamnet för funktionsalias konsekvent med SQL
  • [SPARK-44239] [SC-141502] [SQL] Ledigt minne som allokeras av stora vektorer när vektorer återställs
  • [SPARK-43295] [SC-142254] [PS] Stöd för strängtypskolumner för DataFrameGroupBy.sum
  • [SPARK-45080] [SC-142062] [SS] Uttryckligen anropa stöd för columnar i DSv2-strömmande datakällor
  • [SPARK-45036] [SC-141768] [SQL] SPJ: Förenkla logiken för att hantera delvis klustrad distribution
  • [SPARK-45077] [SC-142069] [Användargränssnitt] Uppgradera dagre-d3.js från 0.4.3 till 0.6.4
  • [SPARK-45091] [SC-142020] [PYTHON] [ANSLUT] [SQL] Funktionen floor/round/bround accepterar kolumntyp scale
  • [SPARK-45090] [SC-142019] [PYTHON] [ANSLUT] DataFrame.{cube, rollup} stödkolumnordinaler
  • [SPARK-44743] [SC-141625] [SQL] Lägg till try_reflect funktion
  • [SPARK-45086] [SC-142052] [Användargränssnitt] Visa hexadecimal för hash-kod för trådlås
  • [SPARK-44952] [SC-141644] [SQL] [PYTHON] Stöd för namngivna argument i aggregerade Pandas-UDF:er
  • [SPARK-44987] [SC-141552] [SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1100
  • [SPARK-45032] [SC-141730] [ANSLUT] Åtgärda kompileringsvarningar relaterade till Top-level wildcard is not allowed and will error under -Xsource:3
  • [SPARK-45048] [SC-141629] [ANSLUT] Lägga till ytterligare tester för Python-klienten och anslutningsbar körning
  • [SPARK-45072] [SC-141807] [ANSLUT] Åtgärda yttre omfång för ammonitklasser
  • [SPARK-45033] [SC-141759] [SQL] Stöd för kartor efter parametriserad sql()
  • [SPARK-45066] [SC-141772] [SQL] [PYTHON] [ANSLUT] Gör så att funktionen repeat accepterar kolumntyp n
  • [SPARK-44860] [SC-141103] [SQL] Lägg till funktionen SESSION_USER
  • [SPARK-45074] [SC-141796] [PYTHON] [ANSLUT] DataFrame.{sort, sortWithinPartitions} stödkolumnordinaler
  • [SPARK-45047] [SC-141774] [PYTHON] [ANSLUT] DataFrame.groupBy supportordinaler
  • [SPARK-44863] [SC-140798] [Användargränssnitt] Lägg till en knapp för att ladda ned tråddumpning som en txt i Spark-användargränssnittet
  • [SPARK-45026] [SC-141604] [ANSLUT] spark.sql bör ha stöd för datatyper som inte är kompatibla med pilen
  • [SPARK-44999] [SC-141145] [CORE] ExternalSorter Omstrukturera för att minska antalet kontroller shouldPartition vid anrop getPartition
  • [SPARK-42304] [SC-141501] [SQL] Byt _LEGACY_ERROR_TEMP_2189 namn till GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
  • [SPARK-43781] [SC-139450] [SQL] Åtgärda IllegalStateException när du grupperar två datauppsättningar som härletts från samma källa
  • [SPARK-45018] [SC-141516] [PYTHON] [ANSLUT] Lägga till CalendarIntervalType i Python-klienten
  • [SPARK-45024] [SC-141513] [PYTHON] [ANSLUT] Filtrera bort vissa konfigurationer när sessionen skapas
  • [SPARK-45017] [SC-141508] [PYTHON] Lägg till i CalendarIntervalType PySpark
  • [SPARK-44720] [SC-139375] [ANSLUT] Gör så att datauppsättningen använder kodare i stället för AgnosticEncoder
  • [SPARK-44982] [SC-141027] [ANSLUT] Markera Spark Anslut serverkonfigurationer som statiska
  • [SPARK-44839] [SC-140900] [SS] [ANSLUT] Bättre felloggning när användaren försöker serialisera Spark-sessionen
  • [SPARK-44865] [SC-140905] [SS] Skapa en kolumn för StreamingRelationV2-stöd för metadata
  • [SPARK-45001] [SC-141141] [PYTHON] [ANSLUT] Implementera DataFrame.foreachPartition
  • [SPARK-44497] [SC-141017] [WEBUI] Visa aktivitetspartitions-ID i aktivitetstabellen
  • [SPARK-45006] [SC-141143] [Användargränssnitt] Använd samma datumformat som andra UI-datumelement för tidslinjens x-axel
  • [SPARK-45000] [SC-141135] [PYTHON] [ANSLUT] Implementera DataFrame.foreach
  • [SPARK-44967] [SC-141137] [SQL] [ANSLUT] Enheten bör övervägas först innan boolesk för TreeNodeTag används
  • [SPARK-44993] [SC-141088] [CORE] Lägg till ShuffleChecksumUtils.compareChecksums genom att återanvända ShuffleChecksumTestHelp.compareChecksums
  • [SPARK-44807] [SC-140176] [ANSLUT] Lägg till Dataset.metadataColumn i Scala-klienten
  • [SPARK-44965] [SC-141098] [PYTHON] Dölj interna funktioner/variabler från pyspark.sql.functions
  • [SPARK-44983] [SC-141030] [SQL] Konvertera binärt till sträng to_char med för formaten: hex, base64, utf-8
  • [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [ANSLUT] Åtgärda ärvda namedtuples för att fungera i createDataFrame
  • [SPARK-44985] [SC-141033] [CORE] Använd toString i stället för stacktrace för task reaper threadDump
  • [SPARK-44984] [SC-141028] [PYTHON] [ANSLUT] Ta bort _get_alias från DataFrame
  • [SPARK-44975] [SC-141013] [SQL] Ta bort BinaryArithmetic värdelös åsidosättning löst
  • [SPARK-44969] [SC-140957] [SQL] Återanvänd i ArrayInsertArrayAppend
  • [SPARK-44549] [SC-140714] [SQL] Stödfönsterfunktioner i korrelerade skalära underfrågor
  • [SPARK-44938] [SC-140811] [SQL] Ändra standardvärdet spark.sql.maxSinglePartitionBytes till 128 m
  • [SPARK-44918] [SC-140816] [SQL] [PYTHON] Stöd för namngivna argument i skalär Python/Pandas UDF:er
  • [SPARK-44966] [SC-140907] [CORE] [ANSLUT] Ändra aldrig ändras var till val
  • [SPARK-41471] [SC-140804] [SQL] Minska Spark-blandning när endast en sida av en koppling är KeyGroupedPartitioning
  • [SPARK-44214] [SC-140528] [CORE] Stöd för Live Log-användargränssnitt för Spark-drivrutin
  • [SPARK-44861] [SC-140716] [CONNECT] jsonignore SparkListener Anslut OperationStarted.planRequest
  • [SPARK-44776] [SC-140519] [ANSLUT] Lägg till ProducedRowCount i SparkListener Anslut OperationFinished
  • [SPARK-42017] [SC-140765] [PYTHON] [ANSLUT] df['col_name'] ska verifiera kolumnnamnet
  • [SPARK-40178] [SC-140433] [SQL] [COONECT] Stöd för sammansmältningstips med lätthet för PySpark och R
  • [SPARK-44840] [SC-140593] [SQL] Skapa array_insert() 1-baserad för negativa index
  • [SPARK-44939] [SC-140778] [R] Stöd för Java 21 i SparkR SystemRequirements
  • [SPARK-44936] [SC-140770] [CORE] Förenkla loggen när Spark HybridStore når minnesgränsen
  • [SPARK-44908] [SC-140712] [ML] [ANSLUT] Åtgärda funktioner för foldCol-param för korsverifierare
  • [SPARK-44816] [SC-140717] [ANSLUT] Förbättra felmeddelandet när UDF-klassen inte hittas
  • [SPARK-44909] [SC-140710] [ML] Hoppa över startfackdistributörens loggströmningsserver när den inte är tillgänglig
  • [SPARK-44920] [SC-140707] [CORE] Använd await() i stället för awaitUninterruptibly() i TransportClientFactory.createClient()
  • [SPARK-44905] [SC-140703] [SQL] Tillståndskänslig lastRegex orsakar NullPointerException på eval för regexp_replace
  • [SPARK-43987] [SC-139594] [Blanda] Separat slutförShuffleMerge-bearbetning till dedikerade trådpooler
  • [SPARK-42768] [SC-140549] [SQL] Aktivera cachelagrad plan tillämpa AQE som standard
  • [SPARK-44741] [SC-139447] [CORE] Stöd för regex-baserat MetricFilter i StatsdSink
  • [SPARK-44751] [SC-140532] [SQL] Implementering av XML-filformatgränssnitt
  • [SPARK-44868] [SC-140438] [SQL] Konvertera datetime till sträng efter to_char/to_varchar
  • [SPARK-44748] [SC-140504] [SQL] Frågekörning för PARTITION BY-satsen i UDTF TABLE-argument
  • [SPARK-44873] [SC-140427] Stöd för ändringsvy med kapslade kolumner i Hive-klienten
  • [SPARK-44876] [SC-140431] [PYTHON] Åtgärda piloptimerad Python UDF på Spark Anslut
  • [SPARK-44520] [SC-137845] [SQL] Ersätt termen UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY med UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY och röjande av rot-AE
  • [SPARK-42664] [SC-139769] [ANSLUT] Supportfunktion bloomFilter för DataFrameStatFunctions
  • [SPARK-43567] [SC-139227] [PS] Stöd use_na_sentinel för factorize
  • [SPARK-44859] [SC-140254] [SS] Åtgärda felaktigt egenskapsnamn i det strukturerade direktuppspelningsdokumentet
  • [SPARK-44822] [SC-140182] [PYTHON] [SQL] Gör Python-UDF:er som standard icke-deterministiska
  • [SPARK-44731] [SC-139524] [PYTHON] [ANSLUT] Få TimestampNTZ att fungera med literaler i Python Spark Anslut
  • [SPARK-44836] [SC-140180] [PYTHON] Refaktorpil Python UDTF
  • [SPARK-44714] [SC-139238] Förenkla begränsningen av LCA-lösning när det gäller frågor med
  • [SPARK-44749] [SC-139664] [SQL] [PYTHON] Stöd för namngivna argument i Python UDTF
  • [SPARK-44737] [SC-139512] [SQL] [Användargränssnitt] Bör inte visa json-formatfel på SQL-sidan för icke-SparkThrowables på SQL-fliken
  • [SPARK-44665] [SC-139307] [PYTHON] Lägga till stöd för Pandas DataFrame assertDataFrameEqual
  • [SPARK-44736] [SC-139622] [ANSLUT] Lägg till Dataset.explode i Spark Anslut Scala-klienten
  • [SPARK-44732] [SC-139422] [SQL] Inbyggt stöd för XML-datakälla
  • [SPARK-44694] [SC-139213] [PYTHON] [ANSLUT] Omstrukturera aktiva sessioner och exponera dem som ett API
  • [SPARK-44652] [SC-138881] Generera fel när endast en df är Ingen
  • [SPARK-44562] [SC-138824] [SQL] Lägg till OptimizeOneRowRelationSubquery i batchen subquery
  • [SPARK-44717] [SC-139319] [PYTHON] [PS] Respektera tidsstämpelNTZ vid omsampling
  • [SPARK-42849] [SC-139365] [SQL] Sessionsvariabler
  • [SPARK-44236] [SC-139239] [SQL] Inaktivera Vem leStageCodegen när det är inställt spark.sql.codegen.factoryMode på NO_CODEGEN
  • [SPARK-44695] [SC-139316] [PYTHON] Förbättra felmeddelandet för DataFrame.toDF
  • [SPARK-44680] [SC-139234] [SQL] Förbättra felet för parametrar i DEFAULT
  • [SPARK-43402] [SC-138321] [SQL] FileSourceScanExec stöder push-nedtryckt datafilter med skalär underfråga
  • [SPARK-44641] [SC-139216] [SQL] Felaktigt resultat i vissa scenarier när SPJ inte utlöses
  • [SPARK-44689] [SC-139219] [ANSLUT] Gör undantagshanteringen av funktionen SparkConnectPlanner#unpackScalarScalaUDF mer universell
  • [SPARK-41636] [SC-139061] [SQL] Kontrollera att selectFilters returnerar predikat i deterministisk ordning
  • [SPARK-44132] [SC-139197] [SQL] Materialisera Stream kopplingskolumnnamn för att undvika codegen-fel
  • [SPARK-42330] [SC-138838] [SQL] Tilldela namnet RULE_ID_NOT_FOUND till felklassen _LEGACY_ERROR_TEMP_2175
  • [SPARK-44683] [SC-139214] [SS] Loggningsnivån skickas inte till RocksDB-tillståndslagerprovidern korrekt
  • [SPARK-44658] [SC-138868] [CORE] ShuffleStatus.getMapStatus bör returneras None i stället för Some(null)
  • [SPARK-44603] [SC-138353] Lägg till pyspark.testing i setup.py
  • [SPARK-44252] [SC-137505] [SS] Definiera en ny felklass och tillämpa för det fall där inläsningstillståndet från DFS misslyckas
  • [SPARK-29497] [DBRRM-396] [SC-138477] [ANSLUT] Utlöser fel när UDF inte är deserializable.
  • [SPARK-44624] [DBRRM-396] [SC-138900] [ANSLUT] Försök köra om ExecutePlan om den första begäran inte nådde servern
  • [SPARK-41400] [DBRRM-396] [SC-138287] [ANSLUT] Ta bort Anslut-klientkatalysatorberoende
  • [SPARK-44059] [SC-138833] [SQL] Lägga till bättre felmeddelanden för SQL med namnet argumnts
  • [SPARK-44620] [SC-138831] [SQL] [PS] [ANSLUT] Behåll ResolvePivotPlan_ID_TAG
  • [SPARK-43838] [SC-137413] [SQL] Det går inte att optimera underfrågor i en enskild tabell med ha-satsen
  • [SPARK-44555] [SC-138820] [SQL] Använd checkError() för att kontrollera undantag i kommandosviten och tilldela några felklassnamn
  • [SPARK-44280] [SC-138821] [SQL] Lägg till convertJavaTimestampToTimestamp i JDBCDialect API
  • [SPARK-44602] [SC-138337] [SQL] [ANSLUT] [PS] Behåll WidenSetOperationTypesPlan_ID_TAG
  • [SPARK-42941] [SC-138389] [SS] [ANSLUT] Python StreamingQueryListener
  • [SPARK-43838] Återställ "[SC-137413][SQL] Åtgärda underfrågor på enstaka ta...
  • [SPARK-44538] [SC-138178] [ANSLUT] [SQL] Återställ Row.jsonValue och vänner
  • [SPARK-44421] [SC-138434] [SPARK-44423] [ANSLUT] Återaktiveringsbar körning i Spark Anslut
  • [SPARK-43838] [SC-137413] [SQL] Det går inte att optimera underfrågor i en enskild tabell med ha-satsen
  • [SPARK-44587] [SC-138315] [SQL] [ANSLUT] Öka rekursionsgränsen för protobuf marshaller
  • [SPARK-44605] [SC-138338] [CORE] Förfina internt ShuffleWriteProcessor-API
  • [SPARK-44394] [SC-138291] [ANSLUT] [WEBUI] Lägg till en Spark-användargränssnittssida för Spark Anslut
  • [SPARK-44585] [SC-138286] [MLLIB] Åtgärda varningsvillkor i MLLib RankingMetrics ndcgAk
  • [SPARK-44198] [SC-138137] [CORE] Stöd för spridning av loggnivån till körarna
  • [SPARK-44454] [SC-138071] [SQL] [HIVE] HiveShim getTablesByType har stöd för återställning
  • [SPARK-44425] [SC-138135] [ANSLUT] Verifiera att användardefinerat sessionId är ett UUID
  • [SPARK-43611] [SC-138051] [SQL] [PS] [CONNCECT] Behåll ExtractWindowExpressionsPLAN_ID_TAG
  • [SPARK-44560] [SC-138117] [PYTHON] [ANSLUT] Förbättra tester och dokumentation för Arrow Python UDF
  • [SPARK-44482] [SC-138067] [ANSLUT] Anslut servern ska kunna ange bindningsadressen
  • [SPARK-44528] [SC-138047] [ANSLUT] Stöd för korrekt användning av hasattr() för Anslut dataram
  • [SPARK-44525] [SC-138043] [SQL] Förbättra felmeddelandet när metoden Invoke inte hittas
  • [SPARK-44355] [SC-137878] [SQL] Flytta WithCTE till kommandofrågor

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

  • Operativsystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta lake: 3.0.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 Blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
Certifi 2022.12.7 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Comm 0.1.2
contourpy 1.0.5 Kryptografi 39.0.1 Apparat 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
felsökning 1.6.7 Dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
Verkställande 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.3 Fonttools 4.25.0 GCC-körningsbibliotek 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 Ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keyring 23.5.0 kiwisolver 1.4.4 Launchpadlib 1.10.16
Lazr.restfulclient 0.14.4 Lazr.uri 1.0.6 Lxml 4.9.1
Markering Valv 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook-fil 6.5.2 notebook_shim 0.2.2
Numpy 1.23.5 oauthlib 3.2.0 Förpackning 22,0
Pandas 1.5.3 pandocfilter 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 Pexpect 4.8.0
pickleshare 0.7.5 Kudde 9.4.0 Pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
Psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantisk 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
begäranden 2.28.1 Rep 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Setuptools 65.6.3 Sex 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.13.5 Uthållighet 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 Tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
obevakade uppgraderingar 0,1 urllib3 1.26.14 Virtualenv 20.16.7
Wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 Hjul 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 Zipp 1.0.0
Scipy 1.10.1

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 12.0.1 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.5 bslib 0.5.0 cachem 1.0.8
anropare 3.7.3 textmarkör 6.0-94 cellranger 1.1.0
Chron 2.3-61 klass 7.3-22 cli 3.6.1
clipr 0.8.0 Klocka 0.7.0 cluster 2.1.4
Codetools 0.2-19 Färgrymd 2.1-0 commonmark 1.9.0
Kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 Krita 1.5.2 autentiseringsuppgifter 1.3.2
Curl 5.0.1 data.table 1.14.8 datauppsättningar 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
Devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellips 0.3.2
evaluate (utvärdera) 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Utländska 0.8-82 Forge 0.2.0
Fs 1.6.2 Framtiden 1.33.0 future.apply 1.11.0
Gurgla 1.5.1 Generika 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lim 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.1 grDevices 4.3.1 Rutnät 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Tillflyktsort 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 Ini 0.3.1 Ipred 0.9-14
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 Kernsmooth 2.23-21 stickning 1,43
Märkning 0.4.2 Senare 1.3.1 Galler 0.21-8
Lava 1.7.2.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSACHUSETTS 7.3-60 Matris 1.5-4.1 pmise 2.0.1
metoder 4.3.1 Mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallellt 1.36.0 Pelaren 1.9.0 pkgbuild 1.4.2
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.5 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recept 1.0.6
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.6 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 Rumsliga 7.3-15 Splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
Överlevnad 3.5-5 sys 3.4.2 systemfonts 1.0.4
Tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
Tibble 3.2.1 tidyr 1.3.0 avmarkera 1.2.0
tidyverse 2.0.0 timechange 0.2.0 Timedate 4022.108
tinytex 0,45 verktyg 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
verktyg 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
Morrhår 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.3.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein Koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-spark_2.12 0.7.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pilvektor 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1