Databricks Runtime 10.2 (stöds inte)
Följande viktig information innehåller information om Databricks Runtime 10.2 och Databricks Runtime 10.2 Photon, som drivs av Apache Spark 3.2.0. Databricks släppte dessa bilder i december 2021. Foton finns i offentlig förhandsversion.
Nya funktioner och förbättringar
- Använda filer i lagringsplatser med Spark Streaming
- Databricks Utilities lägger till ett uppdateringsmonteringskommando
- Delta Lake stöder namnbyte av kolumner (offentlig förhandsversion)
- Delta Lake-tabellhistorik lägger till information om Databricks Runtime-version
- Databricks Utilities lägger till den senaste informationen om ändringstid när kataloger visas
- Spark SQL lägger till en
approx_top_kfunktion för att returnera de översta objekten och deras antal - Trigger.AvailableNow är nu tillgängligt i Python samt Scala
- Automatisk inläsning stöder nu schemautveckling för Avro (offentlig förhandsversion)
Använda filer i lagringsplatser med Spark Streaming
Nu kan du komma åt filer i lagringsplatser från Spark Streaming.
Databricks Utilities lägger till ett uppdateringsmonteringskommando
Det nya dbutils.fs.updateMount kommandot liknar dbutils.fs.mount, men det här nya kommandot uppdaterar en befintlig monteringspunkt i stället för att skapa en ny. Se updateMount-kommandot (dbutils.fs.updateMount).
Delta Lake stöder namnbyte av kolumner (offentlig förhandsversion)
Delta Lake stöder nu kolumnbyte. Om du vill byta namn på kolumnen i en Delta-tabell måste du uppgradera deltatabellens version och sedan ange kolumnmappningsläget till namnmappning. Se Byt namn på och släpp kolumner med Delta Lake-kolumnmappning.
Delta Lake-tabellhistorik lägger till information om Databricks Runtime-version
När en skrivning nu görs till en Delta-tabell registreras även information om Databricks Runtime-versionen som gjorde skrivning. Om du vill hämta versionsinformationen DESCRIBE HISTORY kör du kommandot i tabellen och ser engineInfo sedan kolumnen i utdata. Se BESKRIVA HISTORIA och Arbeta med Delta Lake-tabellhistorik.
Databricks Utilities lägger till den senaste informationen om ändringstid när kataloger visas
Kommandot dbutils.fs.ls för att visa innehållet i en katalog matar nu ut ett modificationTime fält. Det här fältet innehåller den senaste ändringstiden för varje listad fil eller katalog. Se ls-kommandot (dbutils.fs.ls).
Spark SQL lägger till en approx_top_k funktion för att returnera de översta objekten och deras antal
Den nya approx_top_k funktionen returnerar de vanligaste objektvärdena, tillsammans med deras ungefärliga antal, för det angivna uttrycket. Vissa exempel inkluderar:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
Resultatet av att köra något av exemplen är:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Se approx_top_k mängdfunktion.
Trigger.AvailableNow är nu tillgängligt i Python samt Scala
Den här ändringen stöder strömningsfrågor för Trigger.AvailableNow Delta-källa i Python och Scala. Databricks Runtime 10.1 introducerade stöd för den här utlösaren i Scala. Databricks Runtime 10.2 stöder nu även den här utlösaren i Python. Se täckning för Trigger.AvailableNow i Vad är automatisk inläsning?.
Automatisk inläsning stöder nu schemautveckling för Avro (offentlig förhandsversion)
Se Konfigurera schemainferens och utveckling i Automatisk inläsning.
Biblioteksuppgraderingar
- Uppgraderade Python-bibliotek:
- filelock från 3.3.1 till 3.4.0
- ritat från 5.3.0 till 5.3.1
- Uppgraderade R-bibliotek:
- bas från 4.1.1 till 4.1.2
- kompilator från 4.1.1 till 4.1.2
- datauppsättningar från 4.1.1 till 4.1.2
- grafik från 4.1.1 till 4.1.2
- grEnheter från 4.1.1 till 4.1.2
- rutnät från 4.1.1 till 4.1.2
- metoder från 4.1.1 till 4.1.2
- parallell från 4.1.1 till 4.1.2
- Rserve från 1,8-8 till 1,8-10
- splines från 4.1.1 till 4.1.2
- statistik från 4.1.1 till 4.1.2
- stats4 från 4.1.1 till 4.1.2
- tcltk från 4.1.1 till 4.1.2
- verktyg från 4.1.1 till 4.1.2
- från 4.1.1 till 4.1.2
- backportar från 1.2.1 till 1.4.0
- kvast från 0.7.9 till 0.7.10
- cli från 3.0.1 till 3.1.0
- cpp11 från 0.4.0 till 0.4.1
- krita från 1.4.1 till 1.4.2
- autentiseringsuppgifter från 1.3.1 till 1.3.2
- från 1.22.1 till 1.23.0
- gert från 1.4.1 till 1.4.3
- glmnet från 4.1-2 till 4.1-3
- lim från 1.4.2 till 1.5.0
- pmise från 2.0.0 till 2.0.1
- parallellt från 1.28.1 till 1.29.0
- readr från 2.0.2 till 2.1.0
- sessioninfo från 1.1.1 till 1.2.1
- stringi från 1.7.5 till 1.7.6
- tibble från 3.1.5 till 3.1.6
- tinytex från 0,34 till 0,35
- tzdb från 0.1.2 till 0.2.0
- usethis från 2.1.2 till 2.1.3
- uuid från 0.1-4 till 1.0-3
- vroom från 1.5.5 till 1.5.6
- xfun från 0,27 till 0,28
- Uppgraderade Java-bibliotek:
- com.fasterxml.jackson från 2.12.2 till 2.12.3
- io.airlift.aircompressor från 0.19 till 0.21
- io.netty.netty-all från 4.1.63.Final till 4.1.68.Final
- joda-time.joda-time från 2.10.5 till 2.10.10
- org.apache.commons.commons-compress från 1.20 till 1.21
- org.apache.orc från 1.6.10 till 1.6.12
- org.eclipse.jetty från 9.4.40.v20210413 till 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 från 1.0 till 1.2
- org.scalanlp.breeze_2.12 från 1.0 till 1.2
- org.org.typelevel.algebra_2.12 från 2.0.0 till 2.0.1
- org.typelevel.cats-kernel_2.12 från 2.0.0 till 2.0.1
Apache Spark
Databricks Runtime 10.2 innehåller Apache Spark 3.2.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.1 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() resulterar i en lat val
- [SPARK-37468] [SQL] Stöd för ANSI-intervall och tidsstämpelNTZ för UnionEstimation
- [SPARK-37464] [SQL] SCHEMA och DATABAS bör helt enkelt vara alias för NAMESPACE
- [SPARK-37452] [SQL] Char och Varchar bryter bakåtkompatibiliteten mellan v3.1 och v2
- [SPARK-36861] [SQL] Använd
yyyy-MM-ddsom datummönster i partitionsidentifiering - [SPARK-37456] [SQL] SKAPA NAMNOMRÅDE bör kvalificera platsen för v2-kommandot
- [SPARK-37357] [SQL] Lägg till liten partitionsfaktor för ombalanseringspartitioner
- [SPARK-37446] [SQL] Använd reflektion för getWithoutRegisterFns för att tillåta olika Hive-versioner för att skapa
- [SPARK-37444] [SQL] ÄNDRA NAMNRYMD ... SET LOCATION ska hantera en tom plats konsekvent över v1- och v2-kommandot
- [SPARK-36357] [SQL] Stöd för tidsstämpel för pushdown utan tidszon för orc
- [SPARK-36346] [SQL] Stöd för TidsstämpelNTZ-typ i Orc-filkälla
- [SPARK-36646] [SQL] Push-ned gruppera efter partitionskolumn för aggregering
- [SPARK-34960] [SQL] Aggregerad push-nedtryckning för ORC
- [SPARK-37386] [SQL] Förenkla OptimizeSkewedJoin för att inte köra kostnadsutvärderingen
- [SPARK-36073] [SQL] EquivalentExpressions-korrigeringar och förbättringar
- [SPARK-35352] [SQL] Lägg till kod-gen för fullständig yttre sorteringskoppling
- [SPARK-37292] [SQL] Tar bort yttre koppling om den bara har DISTINCT på strömmad sida med alias
- [SPARK-37371] [SQL] UnionExec bör ha stöd för columnar om alla underordnade stöder columnar
- [SPARK-36645] [SQL] Aggregerad (min/max/antal) push-ned för Parquet
- [SPARK-37379] [SQL] Lägga till trädmönsterrensning i CTESubstitution-regeln
- [SPARK-37332] [SQL] Tillåt ANSI-intervall i
ALTER TABLE .. ADD COLUMNS - [SPARK-37224] [SS] Optimera skrivsökvägen på RocksDB-tillståndslagerprovidern
- [SPARK-37304] [SQL] Tillåt ANSI-intervall i v2
ALTER TABLE .. REPLACE COLUMNS - [SPARK-36924] [SQL] CAST mellan ANSI-intervall och IntegralType
- [SPARK-37289] [SQL] Ta bort
partitionSchemaOptionfunktion - [SPARK-37270] [SQL] Åtgärda push-vikbar överföring i CaseWhen-grenar om elseValue är tomt
- [SPARK-35345] [SQL] Lägga till Parquet-tester i BloomFilterBenchmark
- [SPARK-37341] [SQL] Undvik onödig buffert och kopiera i fullständig yttre sorteringskoppling
- [SPARK-37266] [SQL] Visa text kan bara vara SELECT-frågor
- [SPARK-37288] [PYTHON] [3.2] Backport sedan anteckningsuppdatering
- [SPARK-37262] [SQL] Logga inte tom aggregering och gruppera efter i JDBCScan
- [SPARK-37283] [SQL] Försök inte lagra en V1-tabell som innehåller ANSI-intervall i Hive-kompatibelt format
- [SPARK-37221] [SQL] Det insamlingsliknande API:et i SparkPlan bör ha stöd för kolumnutdata
- [SPARK-37202] [SQL] Använda AnalysisContext för att spåra refererade temp-funktioner
- [SPARK-37023] [CORE] Undvik att hämta sammanslagningsstatus när shuffleMergeEnabled är falskt för en shuffleDependency vid återförsök
- [SPARK-37307] [CORE] Hämta inte JDBC-anslutning för tomma partitioner
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions stöder optimering av nod som inte är rot
- [SPARK-36799] [SQL] Skicka queryExecution-namn i CLI
- [SPARK-37261] [SQL] Tillåt tillägg av partitioner med ANSI-intervall i DSv2
- [SPARK-37203] [SQL] Åtgärda NotSerializableException när du observerar med TypedImperativeAggregate
- [SPARK-37199] [SQL] Lägga till deterministiskt fält i QueryPlan
- [SPARK-37253] [PYTHON]
try_simplify_tracebackbör inte misslyckas närtb_frame.f_linenoär Ingen - [SPARK-37214] [SQL] Felfrågeanalys tidigare med ogiltiga identifierare
- [SPARK-37240] [SQL] Hantera ANSI-intervall efter
ColumnVectorUtils.populate() - [SPARK-35437] [SQL] Använda uttryck för att filtrera Hive-partitioner på klientsidan
- [SPARK-32940] [SQL] Samla in, först och sist ska vara deterministiska aggregeringsfunktioner
- [SPARK-37231] [SQL] Dynamiska skrivningar/läsningar av ANSI-intervallpartitioner
- [SPARK-37038] [SQL] DSV2-exempel på nedtryckning
- [SPARK-36665] [SQL] Lägg till fler förenklingar av operatorn Inte
- [SPARK-37150] [SQL] Migrera DESCRIBE NAMESPACE för att använda V2-kommandot som standard
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale kunde inte returnera null
- [SPARK-37212] [SQL] Förbättra implementering av aggregerad pushdown.
- [SPARK-37190] [SQL] Förbättra felmeddelanden för Cast under ANSI-läge
- [SPARK-37161] [SQL] RowToColumnConverter stöder AnsiIntervalType
- [SPARK-37160] [SQL] Lägg till en konfiguration för att eventuellt inaktivera utfyllnad för typ av tecken
- [SPARK-36554] [SQL] [PYTHON] Exponera make_date uttryck i functions.scala
- [SPARK-37200] [SQL] Stöd för drop-index för Data Source V2
- [SPARK-37179] [SQL] ANSI-läge: Lägg till en konfiguration för att tillåta gjutning mellan Datetime och Numeriskt
- [SPARK-37168] [SQL] Förbättra felmeddelanden för SQL-funktioner och -operatorer i ANSI-läge
- [SPARK-36935] [SQL] Utöka ParquetSchemaConverter för att beräkna Parquet-upprepning och definitionsnivå
- [SPARK-37066] [SQL] Förbättra felmeddelandet för att visa filsökvägen när det inte gick att läsa nästa fil
- [SPARK-32567] [SQL] Lägg till kod-gen för fullständig yttre blandad hashkoppling
- [SPARK-37176] [SQL] Synkronisera JsonInferSchema#infer-metodens undantagsreferenslogik med JacksonParser#parse-metoden
- [SPARK-37149] [SQL] Förbättra felmeddelanden för aritmetiska överflödesfel i ANSI-läge
- [SPARK-37136] [SQL] Ta bort kod om hive buildin-funktionen men implementera inte i spark
- [SPARK-16280][SPARK-37082] [SQL] Implementerar histogram_numeric sammansättningsfunktion som stöder partiell aggregering.
- [SPARK-36975] [SQL] Korrigera hive-klientanropens mått i HiveClientImpl
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 10.2.
Systemmiljö
- Operativsystem: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rullande) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | Blekmedel | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | Certifi | 2020.12.5 | Cffi | 1.14.5 |
| Chardet | 4.0.0 | Apparat | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | Dekoratör | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | distro-info | 0.23ubuntu1 | entrypoints | 0,3 |
| facets-overview | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | Ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | Jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | Koalas | 1.8.2 |
| Markering Valv | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | notebook-fil | 6.3.0 | Numpy | 1.19.2 |
| Förpackning | 20.9 | Pandas | 1.2.4 | pandocfilter | 1.4.3 |
| parso | 0.7.0 | Patsy | 0.5.1 | Pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Kudde | 8.2.0 | Pip | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2,20 | Pygments | 2.8.1 |
| Pygobject | 3.36.0 | Pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| begäranden | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | Scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | Setuptools | 52.0.0 | Sex | 1.15.0 |
| ssh-import-id | 5,10 | statsmodels | 0.12.2 | Uthållighet | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| Tornado | 6.1 | traitlets | 5.0.5 | obevakade uppgraderingar | 0,1 |
| urllib3 | 1.25.11 | Virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | Hjul | 0.36.2 | widgetsnbextension | 3.5.1 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-11-30.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.4.0 |
| bas | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | start | 1.3-28 |
| Brygga | 1.0-6 | Brio | 1.1.2 | Kvast | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | anropare | 3.7.0 |
| textmarkör | 6.0-90 | cellranger | 1.1.0 | Chron | 2.3-56 |
| klass | 7.3-19 | cli | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | Codetools | 0.2-18 | Färgrymd | 2.0-2 |
| commonmark | 1,7 | Kompilator | 4.1.2 | config | 0.3.1 |
| cpp11 | 0.4.1 | Krita | 1.4.2 | autentiseringsuppgifter | 1.3.2 |
| Curl | 4.3.2 | data.table | 1.14.2 | datauppsättningar | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | Desc | 1.4.0 |
| Devtools | 2.4.2 | diffobj | 0.3.5 | Digest | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| ellips | 0.3.2 | evaluate (utvärdera) | 0,14 | fansi | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | Utländska | 0.8-81 |
| Forge | 0.2.0 | Fs | 1.5.0 | Framtiden | 1.23.0 |
| future.apply | 1.8.1 | Gurgla | 1.2.0 | Generika | 0.1.1 |
| Gert | 1.4.3 | ggplot2 | 3.3.5 | Gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | Globals | 0.14.0 |
| Lim | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| Gower | 0.2.2 | grafik | 4.1.2 | grDevices | 4.1.2 |
| Rutnät | 4.1.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | Tillflyktsort | 2.4.3 | highr | 0,9 |
| Hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | Id | 1.0.1 | Ini | 0.3.1 |
| Ipred | 0.9-12 | isoband | 0.2.5 | Iteratorer | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | Kernsmooth | 2.23-20 |
| stickning | 1.36 | Märkning | 0.4.2 | Senare | 1.3.0 |
| Galler | 0.20-45 | Lava | 1.6.10 | livscykel | 1.0.1 |
| lyssna | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| Markdown | 1,1 | MASSACHUSETTS | 7.3-54 | Matris | 1.3-4 |
| pmise | 2.0.1 | metoder | 4.1.2 | Mgcv | 1.8-38 |
| Mime | 0,12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | Nlme | 3.1-152 | Nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| parallellt | 1.29.0 | Pelaren | 1.6.4 | pkgbuild | 1.2.0 |
| Pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | Beröm | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| Förlopp | 1.2.2 | progressr | 0.9.0 | Löften | 1.2.0.1 |
| Proto | 1.0.0 | Proxy | 0.4-26 | Ps | 1.6.0 |
| Purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| Rcolorbrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | recept | 0.1.17 |
| Returmatch | 1.0.1 | rematch2 | 2.1.2 | Fjärrkontroller | 2.4.1 |
| reprex | 2.0.1 | omforma2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2,11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| Rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0,13 | rversioner | 2.1.1 |
| rvest | 1.0.2 | Sass | 0.4.0 | Skalor | 1.1.1 |
| väljare | 0.4-2 | sessioninfo | 1.2.1 | Form | 1.4.6 |
| Blanka | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | Rumsliga | 7.3-11 | Splines | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | Statistik | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| Överlevnad | 3.2-13 | sys | 3.4 | Tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | Tibble | 3.1.6 |
| tidyr | 1.1.4 | avmarkera | 1.1.1 | tidyverse | 1.3.1 |
| Timedate | 3043.102 | tinytex | 0,35 | verktyg | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | utf8 | 1.2.2 |
| verktyg | 4.1.2 | uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | Vroom | 1.5.6 | Waldo | 0.3.1 |
| Morrhår | 0,4 | withr | 2.4.2 | xfun | 0,28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| Yaml | 2.2.1 | Zip | 2.2.0 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Klasskamrat | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.koffein | Koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Tingeling | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profilerare | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | Arpack | 1.3.2 |
| dev.ludovic.netlib | Blas | 1.3.2 |
| dev.ludovic.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Samlare | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivering | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-träd | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pilvektor | 2.0.0 |
| org.apache.avro | Avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recept | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shims | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-kodning | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | åhörarkommentarer | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-fortsättning | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | brygga-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | brygga plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | brygga-server | 9.4.43.v20210629 |
| org.eclipse.jetty | brygga-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | brygga-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anteckningar | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Oanvända | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |