Dela via

Databricks Runtime 10.5 (EoS)

Anmärkning

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i End-of-support and end-of-life history (Slut på support och historik för slutet av livet). Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande releasenoter ger information om Databricks Runtime 10.5, som drivs av Apache Spark 3.2.1. Databricks släppte den här versionen i maj 2022.

Nya funktioner och förbättringar

SQL: Nya funktioner to_number och try_to_number

Med to_number funktionen och try_to_number funktionen kan du konvertera teckenrepresentationer av tal i olika format till DECIMAL.

SQL: Ny funktion try_sum

Till skillnad från sumreturnerar aggregeringsfunktionentry_sum NULL i stället för ett fel när ett spill uppstår.

SQL: Uppdatera till ceil, ceilingoch floor funktioner

Funktionenceil, ceiling funktionen och floor funktionen stöder nu ett andra valfritt argument för att ange en målskala.

SQL: Nya mängdfunktioner regr_avgx och regr_avgy

Den nya regr_avgx aggregerade funktionen och regr_avgy den aggregerade funktionen stöder linjära regressioner.

SQL: Uppdatera till contains, startswithoch endswith funktioner

Funktionencontains, startswith funktionen och endswith funktionen stöder nu binära datatyper som indata utöver strängar.

SQL: Ny funktion array_size

Den nya array_size funktionen beräknar storleken på en matris.

Unity Catalog: SQL-utdata LIST tar bort kolumn is_directory och lägger till slutliga / för mappvägar (offentlig förhandsversion)

Utdata från SQL LIST-instruktionen för att visa sökvägar som styrs av Unity Catalog har ändrats. Kolumnen is_directory visas inte längre. I stället slutar sökvägar som representerar kataloger nu med ett avslutande snedstreck (/) för kolumnerna path och name . Den här ändringen är för att säkerställa konsekvens med utdata från kommandot dbutils.fs.ls.

Automatisk inläsning: ny SQL-funktion CLOUD_FILES_STATE

Du kan använda den nya CLOUD_FILES_STATE funktionen för att fråga efter det interna tillståndet för en automatisk inläsningsström. Mer information finns i Fråga efter filer som identifieras av Auto Loader.

Automatisk inläsning: stöd för filmeddelanden är nu GA

Stöd för filmeddelanden för Vad är automatisk inläsning? i Google Cloud är nu allmänt tillgängligt.

Delta Lake: nytt maxRecordsPerFile alternativ för maximalt antal poster skrivna till en enda fil

När du använder DataFrame-API:erna för att skriva till en Delta-tabell kan du använda maxRecordsPerFile alternativet för att ange det maximala antalet poster som ska skrivas till en enda fil. Att ange ett värde på noll eller ett negativt värde representerar ingen gräns. Se Kontrollera storleken på datafilen.

Utfasning av Koalas

Koalas är nu inaktuell. Koalas tillhandahåller Pandas-API:er ovanpå Apache Spark. Koalas bidrogs till av communityn och har varit tillgängligt som Pandas API på Spark med början i Apache Spark 3.2. Koalas fortsätter att förinstalleras för Databricks Runtime 10.5, men Koalas kommer inte längre att förinstalleras från och med nästa Databricks Runtime-version.

Mer information om Pandas API på Spark finns i:

Ny _metadata kolumn för alla filformat

Du kan hämta metadatainformation för indatafiler med kolumnen _metadata. Kolumnen _metadata är dold. Den här kolumnen är tillgänglig för alla indatafilformat. Om du vill inkludera _metadata kolumnen i en returnerad DataFramemåste du uttryckligen referera till den här kolumnen i din fråga. Se Filmetadatakolumnen.

Testa din pipeline med "Databricks Runtime 10.5"

Databricks Runtime 10.5 är nu den stödda versionen preview för Lakeflow Spark Deklarativa Datarörledningar. Om du vill testa din pipeline med Databricks Runtime 10.5 anger du channel inställningen till preview i pipelineinställningarna.

Felkorrigeringar

  • Åtgärdade visning av numUpdatedRows och numCopiedRows måttresultat för uppdateringsåtgärder i Delta-tabeller med aktiverad ändringsdatainsamling (CDC).

Biblioteksuppgraderingar

  • Uppgraderade Python bibliotek:
    • plotly från 5.5.0 till 5.6.0
  • Uppgraderade R-bibliotek:
    • basversion från 4.1.2 upp till 4.1.3
    • caret från 6.0-90 till 6.0-91
    • kluster från 2.1.2 till 2.1.3
    • commonmark från 1.7 till 1.8.0
    • kompilator från 4.1.2 till 4.1.3
    • krita från 1.5.0 till 1.5.1
    • datauppsättningar från 4.1.2 till 4.1.3
    • desc från 1.4.0 till 1.4.1
    • fansi från 1.0.2 till 1.0.3
    • lim från 1.6.1 till 1.6.2
    • grafik från 4.1.2 till 4.1.3
    • grEnheter från 4.1.2 till 4.1.3
    • rutnät från 4.1.2 till 4.1.3
    • knitr från 1.37 till 1.38
    • MASS från 7.3-55 till 7.3-56
    • Matris från 1,4-0 till 1,4-1
    • metoder från 4.1.2 till 4.1.3
    • mgcv från 1,8-39 till 1,8-40
    • nlme från 3.1-155 till 3.1-157
    • openssl från 1.4.6 till 2.0.0
    • parallell från 4.1.2 till 4.1.3
    • plyr från 1.8.6 till 1.8.7
    • processx från 3.5.2 till 3.5.3
    • r2d3 från 0.2.5 till 0.2.6
    • Rcpp från 1.0.8 till 1.0.8.3
    • rlang från 1.0.1 till 1.0.2
    • rmarkdown från 2.11 till 2.13
    • RSQLite från 2.2.10 till 2.2.11
    • sass från 0.4.0 till 0.4.1
    • splines från 4.1.2 till 4.1.3
    • statistik från 4.1.2 till 4.1.3
    • stats4 från 4.1.2 till 4.1.3
    • tcltk från 4.1.2 till 4.1.3
    • verktyg från 4.1.2 till 4.1.3
    • utils från 4.1.2 till 4.1.3
    • uuid från 1.0-3 till 1.0-4
    • waldo från 0.3.1 till 0.4.0
    • withr från 2.4.3 till 2.5.0
    • xfun från 0,29 till 0,30
  • Uppgraderade Java bibliotek:
    • com.h2database.h2 från 1.4.195 till 2.1.210
    • org.apache.hadoop.hadoop-client-api från 3.3.1-databricks till 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime från 3.3.1 till 3.3.2
    • org.rocksdb.rocksdbjni från 6.24.2 till 6.20.3

Apache Spark

Databricks Runtime 10.5 innehåller Apache Spark 3.2.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.4 LTS (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-38354] [SC-97886] Återställ "[SQL] Lägg till hash-avsökningsmått för blandad hashkoppling"
  • [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrument PySpark SQL-modul med allmän användningsloggare
  • [SPARK-38333] [SQL] PlanExpression-uttrycket bör hoppa över funktionen addExprTree i Executor
  • [SPARK-38646] [PYTHON][10.x] Dra ut ett drag för Python funktioner
  • [SPARK-38674] [PHOTON] Lägga till ett mått i PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Ersätt det hittade värdet med element som inte är null i den återstående listan för nyckel och ta bort återstående null-element från värden i keyWithIndexToValue-arkivet för stream-stream-kopplingar
  • [SPARK-38446] [Kärna] Åtgärda dödläget mellan ExecutorClassLoader och FileDownloadCallback som orsakas av Log4j
  • [SPARK-38705] [SQL] Använd funktionsidentifierare i kommandona create function och drop function
  • [SPARK-38684] [SS] Åtgärda problem med korrekthet på strömströmmens yttre koppling med RocksDB-tillståndslagerprovidern
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase kan inte hitta förskjutningsraden vars indata inte är null
  • [SPARK-38204] [SS] Använd StatefulOpClusteredDistribution för tillståndskänsliga operatorer med avseende på bakåtkompatibilitet
  • [SPARK-38616] [SQL] Hålla reda på SQL-frågetext i Catalyst TreeNode
  • [SPARK-38600] [SQL] Inkludera unit i SQL-strängen av TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Sprida metadata från kapslade kolumner i alias
  • [SPARK-38535] [SQL] datetimeUnit Lägg till enum och använd den i TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Uppdatera resultattypen histogram_numeric (x, y) för att göra x == indatatypen
  • [SPARK-38148] [SQL] Lägg inte till dynamisk partitionsrensning om det finns statisk partitionsrensning
  • [SPARK-37527] [SQL] Kompilera COVAR_POP, COVAR_SAMP och CORR i H2Dialet
  • [SPARK-38510] [SQL] Prova ClassSymbol.selfType igen för att kringgå cykliska referenser
  • [SPARK-38509] [SQL] Avregistrera TIMESTAMPADD/DIFF funktionerna och ta bort DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Det går inte att läsa TimestampNTZ som TimestampLTZ
  • [SPARK-38526] [SQL] Rätta vilseledande funktionsaliasnamn för RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementera parsningsstöd för standardkolumnvärden
  • [SPARK-38593] [SS] Överföra måttet för antalet borttagna sena händelser till SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Lägg till numRowsDroppedByWatermark till SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Återställa beteendet to_timestamp för som tillåter numeriska typer
  • [SPARK-38481] [SQL] Ersätt Java-överflödesundantag från TIMESTAMPADD med Spark-undantag
  • [SPARK-37753] [SQL] Finjustera logik för att degradera broadcast-hashkoppling i DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH bör ha stöd för både sträng- och binärtyper
  • [SPARK-38345] [SQL] Introducera SQL-funktion ARRAY_SIZE
  • [SPARK-38385] [SQL] Förbättra felmeddelanden för tom instruktion och <EOF> i ParseException
  • [SPARK-37614] [SQL] Stöd för ANSI-mängdfunktion: regr_avgx & regr_avgy
  • [SPARK-38560] [SQL] Om Sum, Count, Any används med distinkt, kan partiell aggregeringspushning inte utföras.
  • [SPARK-38360] [SQL][ss][PYTHON] Introducera en exists funktion för TreeNode att eliminera duplicerade kodmönster
  • [SPARK-38385] [SQL] Förbättra felmeddelanden om "felmatchade indata"-fall från ANTLR
  • [SPARK-38240] [SQL] Förbättra RuntimeReplaceable och lägg till en riktlinje för att lägga till nya funktioner
  • [SPARK-38542] [SQL]UnsafeHashedRelation ska serialisera numKeys ut
  • [SPARK-38521] [SQL] Ändra partitionOverwriteMode från sträng till variabel i Scala
  • [SPARK-38558] [SQL] Ta bort onödiga kast mellan IntegerType och IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly stöder vikbara uttryck
  • [SPARK-38410] [SQL] Stöd för att ange inledande partitionsnummer för ombalansering
  • [SPARK-38107] [SQL] Använda felklasser i kompileringsfel för PYTHON/Pandas UDF:er
  • [SPARK-38354] [SQL] Lägg till hash-avsökningsmått för blandad hashkoppling
  • [SPARK-38112] [SQL] Använda felklasser i körningsfelen för datum-/tidsstämpelhantering
  • [SPARK-38361] [SQL] Lägg till fabriksmetoden getConnection i JDBCDialect.
  • [SPARK-37865] [SQL] Åtgärda korrekthetsfel i unionsdeduplicering
  • [SPARK-38298] [SQL][tests] Fixa DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite i ANSI-läge
  • [SPARK-38407] [SQL] ANSI-gjutning: lossa begränsningen för gjutning av komplexa typer som inte är null
  • [SPARK-38352] [SQL] Åtgärda DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite under ANSI-läge
  • [SPARK-38054] [SQL] Stöder listnamnområden i JDBC v2 MySQL-dialekt
  • [SPARK-37960] [SQL] Ett nytt ramverk för att representera katalysatoruttryck i DS v2-API:er
  • [SPARK-38103] [SQL] Migrera parsningsfel av transformationer till det nya felhanteringsramverket
  • [SPARK-38519] [SQL] AQE-undantag ska respektera SparkFatalException
  • [SPARK-38528] [SQL] Iterera ivrigt över aggregerad sekvens när du skapar en projektlista i ExtractGenerator
  • [SPARK-38320] [SS] Åtgärda flatMapGroupsWithState-timeout i batch med data för nyckel
  • [SPARK-38442] [SQL] Åtgärda ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite i ANSI-läge
  • [SPARK-38268] [SQL] Dölj fältet "failOnError" i metoden toString i Abs/CheckOverflow
  • [SPARK-37949] [SQL] Förbättra beräkning av ombalanseringsstatistik
  • [SPARK-38450] [SQL] Åtgärda HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite i ANSI-läge
  • [SPARK-38501] [SQL] Åtgärda fel med thriftservertest i ANSI-läge
  • [SPARK-37895] [SQL] Filtrera nedtryckt kolumn med angivna kolumner
  • [SPARK-38449] [SQL] Undvik anropet createTable när ignoreIfExists=true och tabellen finns
  • [SPARK-38406] [SQL] Förbättra prestanda för ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Extrahera generator från GeneratorOuter-uttrycket som ingår i en Generate-operator.
  • [SPARK-38309] [CORE] Åtgärda SHS shuffleTotalReads - och shuffleTotalBlocks percentilmått
  • [SPARK-38412] [SS] Korrigera den ombytta sekvensen från och till i StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][sql][SS] Ersätt mönstermatchningar på booleska uttryck med villkorssatser
  • [SPARK-38104] [SQL] Migrera parsningsfel för fönstret till det nya felramverket
  • [SPARK-38434] [SQL] Korrekt semantik för metoden CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Det går inte att starta SS-bearbetningen eftersom ...
  • [SPARK-38378] [SQL] Omstrukturera ANTLR-grammatikdefinitionen till separata Parser- och Lexer-filer
  • [SPARK-37475] [SQL] Lägga till skalningsparameter i funktionerna floor och ceil
  • [SPARK-38411] [CORE] Använd UTF-8 vid doMergeApplicationListingInternal läsning av händelseloggar
  • [SPARK-36553] [ML] KMeans undviker beräkningshjälpstatistik för stora K
  • [SPARK-38393] [SQL] Rensa inaktuell användning av GenSeq/GenMap
  • [SPARK-38389] [SQL] Lägg till aliasen DATEDIFF() och DATE_DIFF() för TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Korrigera beräkning av shuffle-indexcachevikt för små indexfiler
  • [SPARK-38353] [PYTHON] Implementera __enter__ och __exit__ magiska metoder för Pandas API på Spark
  • [SPARK-38323] [SQL][streaming] Stöd för dolda filmetadata i Direktuppspelning
  • [SPARK-38138] [SQL] Materialisera QueryPlan-underfrågor
  • [SPARK-38094] Aktivera matchande schemakolumnnamn efter fält-ID
  • [SPARK-37923] [SQL] Generera partitionstransformeringar för BucketSpec inuti parsern
  • [SPARK-38363] [SQL] Undvik körningsfel i Dataset.summary()/Dataset.describe() när ANSI-läget är på
  • [SPARK-38284] [SQL] TIMESTAMPDIFF() Lägg till funktionen
  • [SPARK-38251] [SQL] Ändra Cast.toString som "cast" i stället för "ansi_cast" under ANSI-läge
  • [SPARK-38314] [SQL] Korrigering av att det inte går att läsa parquet-filer när du har skrivit dolda filmetadata i

Se Underhållsuppdateringar för Databricks Runtime 10.5.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta lake: 1.2.1

Installerade Python bibliotek

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
Antergos Linux 2015.10 (ISO-Löpande) appdirs 1.4.4 argon2-cffi 20.1.0
Asynkron generator 1.10 egenskaper 20.3.0 återanrop 0.2.0
(If no change is necessary, the translation remains as "bidict") 0.21.4 blekmedel 3.3.0 boto3 1.16.7
botocore 1.19.7 certifikat/certifiering 2020.12.5 cffi 1.14.5
chardet 4.0.0 cyklist 0.10.0 Cython 0.29.23
dbus-python 1.2.16 dekoratör 5.0.6 defusedxml 0.7.1
distlib 0.3.4 Distro-info 0.23ubuntu1 Ingångspunkter 0,3
Översikt av aspekter 1.0.0 fillåsning 3.6.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-klient 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver (ett verktyg/programvara) 1.3.1 Koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 felstämning 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 anteckningsbok 6.3.0 numpy 1.20.1
emballage 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0
pickleshare 0.7.5 Kudde 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-verktygslåda 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing (ett Python-bibliotek för att analysera text) 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn (en maskininlärningsbibliotek) 0.24.1 scipy 1.6.2 född vid havet 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels (ett verktyg för statistisk modellering) 0.12.2 uthållighet 8.0.1
avslutad 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornad 6.1 Traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webbkodningar 0.5.1 hjul 0.36.2 widgetsnbextension 3.5.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-snapshoten den 28 mars 2022.

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
askpass 1.1 säkerställ att 0.2.1 backporteringar 1.4.1
bas 4.1.3 base64enc 0.1-3 lite grann 4.0.4
bit64 4.0.5 klump 1.2.2 stövel 1.3-28
bryggning 1.0-7 Brio 1.1.3 kvast 0.7.12
bslib 0.3.1 kaschmir 1.0.6 samtalsapp 3.7.0
Caret 6.0-91 cellranger 1.1.0 kronometer 2,3-56
klass 7.3-20 CLI 3.2.0 klipparen 0.8.0
kluster 2.1.3 codetools 0.2-18 färgrymd 2.0-3
commonmark 1.8.0 kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 autentiseringsuppgifter 1.3.2
lockig 4.3.2 datatabell 1.14.2 Datauppsättningar 4.1.3
DBI 1.1.2 dbplyr 2.1.1 beskrivning 1.4.1
devtools 2.4.3 diffobj 0.3.5 bearbeta/smält​ 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellips... 0.3.2 utvärdera 0.15 fans 1.0.3
färger 2.1.0 snabbkarta 1.1.0 Font Awesome 0.2.2
forcats 0.5.1 foreach (en loop som itererar över varje element i en samling) 1.5.2 utländsk 0.8-82
skapa 0.2.0 fs 1.5.2 framtid 1.24.0
framtid.applicera 1.8.1 gurgla 1.2.0 Generika 0.1.2
Gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafik 4.1.3 grDevices 4.1.3
rutnät 4.1.3 gridExtra 2.3 gsubfn 0.7
g-tabell 0.3.0 skyddshjälm 0.2.0 fristad 2.4.3
högre 0,9 HMS 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Idn 1.0.1
-ini 0.3.1 IPRED-direktivet 0.9-12 isoband 0.2.5
Iteratörer 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1,38 Märkning 0.4.2
senare 1.3.0 Gitter 0.20-45 lava 1.6.10
livscykel 1.0.1 lyssnav 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 Massa 7.3-56
Matris 1.4-1 lagra i minnet 2.0.1 metoder 4.1.3
mgcv 1.8-40 pantomime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 OpenSSL 2.0.0
parallel 4.1.3 parallellt 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 berömma 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
Prodlim 2019.11.13 Förlopp 1.2.2 progressr 0.10.0
löften 1.2.0.1 proto 1.0.0 proxy 0.4-26
P.S. 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 läs excel 1.3.1
recipes 0.2.0 Revanschmatch 1.0.1 omkamp2 2.1.2
fjärrkontroller 2.4.2 reproducerbart exempel 2.0.1 omforma2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
fjäll 1.1.1 Selectr 0.4-2 Sessioninformation 1.2.2
form 1.4.6 glänsande 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatiala 7.3-11
spliner 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
statistik 4.1.3 statistik4 4.1.3 sträng 1.7.6
stringr 1.4.0 överlevnad 3.2-13 sys 3.4
tcl/tk-programmeringsspråk 4.1.3 Undervisningsdemos 2.10 Testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 datumTid 3043.102 tinytex 0,37
verktyg 4.1.3 tzdb 0.2.0 använd detta 2.1.5
utf8 1.2.2 hjälpmedel 4.1.3 Universellt unik identifierare (UUID) 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 viskare 0,4 vissna 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 ZIP-fil 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

grupp-id Artefakt-ID Utgåva
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-klient 1.12.0
com.amazonaws AWS Java SDK-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws AWS Java SDK för CodeDeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws Konfiguration för aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs (ingen översättning behövs, eftersom det är ett tekniskt namn) 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (en mjukvarusats som används för att interagera med Amazon Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (programvaruutvecklingspaket från Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (ett Java SDK för AWS import/export) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-maskininlärning 1.12.189
com.amazonaws aws-java-sdk-opsworks (ett mjukvarubibliotek för AWS OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws AWS Java SDK för Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws AWS Java SDK för SES 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-stöd 1.12.189
com.amazonaws aws-java-sdk-swf-biblioteker 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryogent skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-inhemska 1.1
com.github.fommil.netlib inhemskt_system-java 1.1
com.github.fommil.netlib nativesystem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Klirr 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava (en tropisk frukt) 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.Utgåva
com.lihaoyi källkod_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (komprimera-lzf) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.linser linser_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
gemensamma-samlingar gemensamma-samlingar 3.2.2
commons-dbcp commons-dbcp 1,4
filuppladdning på commons filuppladdning på commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging (en mjukvarubibliotek) commons-logging (en mjukvarubibliotek) 1.1.3
commons-net commons-net 3.1
allmänna poolen allmänna poolen 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tråkig 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luftkompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics Kärnenhet för mätvärden 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics mätvärden-hälsokontroller 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics Metrics-JVM 4.1.1
io.dropwizard.metrics mätdata-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus enkelklient_gemensam 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 04:30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snöflinga-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_kombinerad_alla 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-minneskärna 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vektorpil 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.13.0
org.apache.curator kuratorsramverk 2.13.0
org.apache.curator kuratorsrecept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-klient-api 3.3.2-databricks
org.apache.hadoop hadoop-klient-körtid 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-klient 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-tillägg 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-allmänn 2.3.9
org.apache.hive.shims Hive-shims-schemaläggare 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy murgröna 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims (en typ av programmeringskomponent) 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kodning 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus publikens kommentarer 0.5.0
org.apache.zookeeper djurparkskötare 3.6.2
org.apache.zookeeper Zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino allmän kompilator 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty Jetty-fortsättning 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty Jetty-IO 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty Jetty Plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty Jetty-säkerhet 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty Jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty Jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty Jetty-webapplikation 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-klient 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket webbsockets-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resurslokaliserare 1.0.3
org.glassfish.hk2.external aopalliance-ompaketerad 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core (en Java-bibliotek för serverutveckling) 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core tröja-vanlig 2.34
org.glassfish.jersey.core Jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client (MariaDB Java-klient) 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap spånskivor 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testgränssnitt 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark oanvänd 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typnivå algebra_2.12 2.0.1
org.typnivå cats-kernel_2.12 (paketnamn) 2.1.1
org.typnivå macro-compat_2.12 1.1.1
org.typnivå spire-macros_2.12 0.17.0
org.typnivå spire-platform_2.12 0.17.0
org.typnivå spire-util_2.12 0.17.0
org.typnivå spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
programvara.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on