Databricks Runtime 10.4 LTS

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 10.4 LTS och Databricks Runtime 10.4 LTS Photon, som drivs av Apache Spark 3.2.1. Foton finns i offentlig förhandsversion. Databricks släppte dessa bilder i mars 2022.

Kommentar

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Nya funktioner och förbättringar

Isberg till Delta-tabellkonverterare (offentlig förhandsversion)

Konvertera till Delta stöder nu konvertering av en isbergstabell till en Delta-tabell på plats. Det gör den med hjälp av isbergs interna metadata och filmanifest. Se Konvertera till Delta Lake.

Återställningar av automatisk komprimering är nu aktiverade som standard

Den här versionen förbättrar beteendet för Delta Lake-skrivningar som checkas in när det finns samtidiga autokomprimeringstransaktioner. Före den här versionen skulle sådana skrivningar ofta avslutas på grund av samtidiga ändringar i en tabell. Skrivningar lyckas nu även om det finns samtidiga transaktioner för automatisk komprimering.

Låg blandningssammanslagning är nu aktiverat som standard

Kommandot MERGE INTO använder nu alltid den nya implementeringen med låg blandning. Det här beteendet förbättrar prestandan för MERGE INTO kommandot avsevärt för de flesta arbetsbelastningar. Konfigurationsinställningen som tidigare användes för att aktivera den här funktionen har tagits bort. Se Låg blandningssammanslagning i Azure Databricks.

Infogningsordningstaggar bevaras nu för UPDATEs och DELETEs

Kommandona UPDATE och DELETE bevarar nu befintlig klustringsinformation (inklusive Z-beställning) för filer som uppdateras eller tas bort. Det här beteendet är ett metodtips och den här metoden gäller inte för fall då filer är så små att dessa filer kombineras under uppdateringen eller borttagningen.

HikariCP är nu standardanslutningspoolen för Hive-metaarkiv

HikariCP ger många stabilitetsförbättringar för Åtkomst till Hive-metaarkiv samtidigt som färre anslutningar bibehålls jämfört med den tidigare implementeringen av BoneCP-anslutningspoolen. HikariCP är aktiverat som standard på alla Databricks Runtime-kluster som använder Databricks Hive-metaarkivet (till exempel när spark.sql.hive.metastore.jars inte har angetts). Du kan också uttryckligen växla till andra implementeringar av anslutningspoolen, till exempel BoneCP, genom att ange spark.databricks.hive.metastore.client.pool.type.

Azure Synapse-anslutningsappen gör det nu möjligt att ange det maximala antalet tillåtna avvisande rader

Azure Synapse-anslutningsappen stöder nu ett maxErrors DataFrame-alternativ. Med den här uppdateringen kan du konfigurera det maximala antalet avvisade rader som tillåts under läsningar och skrivningar innan inläsningen avbryts. Alla avvisade rader ignoreras. Om två av tio poster till exempel har fel bearbetas endast åtta poster.

Det här alternativet mappar direkt till REJECT_VALUE alternativet för -instruktionen CREATE EXTERNAL TABLE i PolyBase och till MAXERRORS alternativet för Azure Synapse-anslutningsappens COPY kommando.

Som standard maxErrors är värdet inställt på 0: alla poster förväntas vara giltiga.

Asynkron kontrollpunkt för tillstånd är nu allmänt tillgänglig

Du kan aktivera asynkrona kontrollpunkter för tillstånd i tillståndskänsliga strömningsfrågor med stora tillståndsuppdateringar. Detta kan minska svarstiden från slutpunkt till slutpunkt för mikrobatch. Funktionen är nu allmänt tillgänglig. Se Asynkrona kontrollpunkter för tillstånd för tillståndskänsliga frågor.

Parameterstandarder kan nu anges för SQL-användardefinierade funktioner

När du skapar en SQL-användardefinierad funktion (SQL UDF) kan du nu ange standarduttryck för SQL UDF:s parametrar. Du kan sedan anropa SQL UDF utan att ange argument för dessa parametrar, och Databricks fyller i standardvärdena för dessa parametrar. Se CREATE FUNCTION (SQL och Python).

Nya Spark SQL-funktioner

Följande Spark SQL-funktioner är nu tillgängliga med den här versionen:

  • try_multiply: Returnerar multiplier multiplicerat multiplicandmed , eller NULL vid spill.
  • try_subtract: Returnerar subtraktionen från expr2expr1, eller NULL på spill.

Ny arbetskatalog för kluster med hög samtidighet

I kluster med hög samtidighet med antingen tabellåtkomstkontroll eller genomströmning av autentiseringsuppgifter aktiverat är den aktuella arbetskatalogen för notebook-filer nu användarens hemkatalog. Tidigare var /databricks/driverarbetskatalogen .

Stöd för identitetskolumner i Delta-tabeller är nu allmänt tillgängligt

Delta Lake stöder nu identitetskolumner. När du skriver till en Delta-tabell som definierar en identitetskolumn, och du inte anger värden för den kolumnen, tilldelar Delta nu automatiskt ett unikt och statistiskt ökande eller minskande värde. Se SKAPA TABELL [USING].

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • filelock från 3.4.2 till 3.6.0
  • Uppgraderade R-bibliotek:
    • brygg från 1,0-6 till 1,0-7
    • kvast från 0.7.11 till 0.7.12
    • cli från 3.1.0 till 3.2.0
    • clipr från 0.7.1 till 0.8.0
    • colorspace från 2.0-2 till 2.0-3
    • krita från 1.4.2 till 1.5.0
    • dplyr från 1.0.7 till 1.0.8
    • dtplyr från 1.2.0 till 1.2.1
    • utvärdera från 0,14 till 0,15
    • foreach från 1.5.1 till 1.5.2
    • från 1.23.0 till 1.24.0
    • generiska läkemedel från 0.1.1 till 0.1.2
    • lim från 1.6.0 till 1.6.1
    • gower från 0.2.2 till 1.0.0
    • iteratorer från 1.0.13 till 1.0.14
    • jsonlite från 1.7.3 till 1.8.0
    • magrittr från 2.0.1 till 2.0.2
    • mgcv från 1,8-38 till 1,8-39
    • pelare från 1.6.4 till 1.7.0
    • randomForest från 4,6-14 till 4,7-1
    • readr från 2.1.1 till 2.1.2
    • recept från 0.1.17 till 0.2.0
    • rlang från 0.4.12 till 1.0.1
    • rpart från 4.1-15 till 4.1.16
    • RSQLite från 2.2.9 till 2.2.10
    • sparklyr från 1.7.4 till 1.7.5
    • testthat från 3.1.1 till 3.1.2
    • tidyr från 1.1.4 till 1.2.0
    • tidyselect från 1.1.1 till 1.1.2
    • tinytex från 0,36 till 0,37
    • yaml från 2.2.1 till 2.3.5
  • Uppgraderade Java-bibliotek:
    • io.delta.delta-sharing-spark_2.12 från 0.3.0 till 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS innehåller Apache Spark 3.2.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.3 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-38322] [SQL] Stöd för körningsstatistik för frågesteg i formaterat förklaringsläge
  • [SPARK-38162] [SQL] Optimera en radplan i normal och AQE Optimizer
  • [SPARK-38229] [SQL] Ska inte kontrollera temp/external/ifNotExists med visitReplaceTable när parser
  • [SPARK-34183] [SS] DataSource V2: Nödvändig distribution och beställning i mikrobatchkörning
  • [SPARK-37932] [SQL] Vänta med att lösa saknade attribut innan du tillämpar DeduplicateRelations
  • [SPARK-37904] [SQL] Förbättra ombalanseringPartitioner i regler för Optimizer
  • [SPARK-38236] [SQL] [3.2] [3.1] Kontrollera om tabellplatsen är absolut med "new Path(locationUri).isAbsolute" i tabellen create/alter
  • [SPARK-38035] [SQL] Lägga till docker-tester för JDBC-kompilering
  • [SPARK-38042] [SQL] Kontrollera att ScalaReflection.dataTypeFor fungerar på aliasmatristyper
  • [SPARK-38273] [SQL] decodeUnsafeRows' s iteratorer bör stänga underliggande indataströmmar
  • [SPARK-38311] [SQL] Åtgärda DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite under ANSI-läge
  • [SPARK-38305] [CORE] Kontrollera uttryckligen om källan finns i unpack() innan du anropar FileUtil-metoder
  • [SPARK-38275] [SS] Inkludera writeBatchs minnesanvändning som den totala minnesanvändningen för RocksDB-tillståndsarkivet
  • [SPARK-38132] [SQL] Ta bort NotPropagation regel
  • [SPARK-38286] [SQL] Unionens maxRows och maxRowsPerPartition kan spilla över
  • [SPARK-38306] [SQL] Åtgärda ExplainSuite,StatisticsCollectionSuite och StringFunctionsSuite under ANSI-läge
  • [SPARK-38281] [SQL] [Tester] Åtgärda AnalysisSuite under ANSI-läge
  • [SPARK-38307] [SQL] [Tester] Åtgärda ExpressionTypeCheckingSuite och CollectionExpressionsSuite under ANSI-läge
  • [SPARK-38300] [SQL] Använd ByteStreams.toByteArray för att förenkla fileToString och resourceToBytes i catalyst.util
  • [SPARK-38304] [SQL] Elt() ska returnera null om indexet är null under ANSI-läge
  • [SPARK-38271] PoissonSampler kan mata ut fler rader än MaxRows
  • [SPARK-38297] [PYTHON] Omvandla uttryckligen returvärdet till DataFrame.to_numpy i POS
  • [SPARK-38295] [SQL] [Tester] Åtgärda ArithmeticExpressionSuite under ANSI-läge
  • [SPARK-38290] [SQL] Åtgärda JsonSuite och ParquetIOSuite i ANSI-läge
  • [SPARK-38299] [SQL] Rensa inaktuell användning av StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respektera allowNonNumericNumbers vid parsning av citerade NaN- och Infinity-värden i JSON-läsare
  • [SPARK-38276] [SQL] Lägga till godkända TPCDS-planer i ANSI-läge
  • [SPARK-38206] [SS] Ignorera nullbarhet vid jämförelse av datatypen för kopplingsnycklar vid stream-stream-anslutning
  • [SPARK-37290] [SQL] – Exponentiell planeringstid vid icke-deterministisk funktion
  • [SPARK-38232] [SQL] Förklara formaterad samlar inte in underfrågor under frågesteget i AQE
  • [SPARK-38283] [SQL] Testa ogiltig datetime-parsning under ANSI-läge
  • [SPARK-38140] [SQL] Desc-kolumnstatistik (min, max) för tidsstämpeltyp överensstämmer inte med värdena på grund av tidszonsskillnad
  • [SPARK-38227] [SQL] [SS] Tillämpa strikt nullabilitet för kapslad kolumn i tidsfönster/sessionsfönster
  • [SPARK-38221] [SQL] Iterera ivrigt över groupingExpressions när du flyttar komplexa grupperingsuttryck från en aggregerad nod
  • [SPARK-38216] [SQL] Misslyckas tidigt om alla kolumner är partitionerade kolumner när du skapar en Hive-tabell
  • [SPARK-38214] [SS] Du behöver inte filtrera fönster när windowDuration är flera av slideDuration
  • [SPARK-38182] [SQL] Åtgärda NoSuchElementException om push-filter inte innehåller några referenser
  • [SPARK-38159] [SQL] Lägg till en ny FileSourceMetadataAttribute för metadata för dolda filer
  • [SPARK-38123] [SQL] Enhetlig användning från och targetType med DataTypeQueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(fel datatyp) i HAVING-satsen bör utlösa fel vid matchning av data
  • [SPARK-35173] [SQL] [PYTHON] Lägga till flera kolumner som lägger till stöd
  • [SPARK-38177] [SQL] Åtgärda fel transformExpressions i Optimizer
  • [SPARK-38228] [SQL] Äldre lagringstilldelning bör inte misslyckas vid fel i ANSI-läge
  • [SPARK-38173] [SQL] Det går inte att identifiera den citerade kolumnen korrekt när den citerasRegexColumnNa...
  • [SPARK-38130] [SQL] Ta bort array_sort kontroll av beställbara poster
  • [SPARK-38199] [SQL] Ta bort den oanvända dataType som anges i definitionen av IntervalColumnAccessor
  • [SPARK-38203] [SQL] Åtgärda SQLInsertTestSuite och SchemaPruningSuite i ANSI-läge
  • [SPARK-38163] [SQL] Bevara felklassen SparkThrowable för när funktionsbyggaren konstrueras
  • [SPARK-38157] [SQL] Ange uttryckligen ANSI till false i testtidsstämpelNTZ/timestamp.sql och SQLQueryTestSuite för att matcha förväntade gyllene resultat
  • [SPARK-38069] [SQL] [SS] Förbättra beräkningen av tidsfönstret
  • [SPARK-38164] [SQL] Nya SQL-funktioner: try_subtract och try_multiply
  • [SPARK-38176] [SQL] ANSI-läge: Tillåt implicit gjutning av sträng till andra enkla typer
  • [SPARK-37498] [PYTHON] Lägg till så småningom för test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL] [3.2] Åtgärda QueryExecution.debug#toFile använder det som skickades i maxFields när explainMode är CodegenMode
  • [SPARK-38131] [SQL] Använd endast felklasser i användarinriktade undantag
  • [SPARK-37652] [SQL] Lägg till test för att optimera skev koppling via union
  • [SPARK-37585] [SQL] Uppdatera InputMetric i DataSourceRDD med TaskCompletionListener
  • [SPARK-38113] [SQL] Använda felklasser i körningsfel vid pivotering
  • [SPARK-38178] [SS] Korrigera logiken för att mäta minnesanvändningen för RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat bör kontrollera fältnamnet
  • [SPARK-37652] Återställ "[SQL]Lägg till test för att optimera skev koppling via union"
  • [SPARK-38124] [SQL] [SS] Introducera StatefulOpClusteredDistribution och tillämpa på stream-stream-anslutning
  • [SPARK-38030] [SQL] Canonicalization bör inte ta bort nullabiliteten för AttributeReference dataType
  • [SPARK-37907] [SQL] InvokeLike stöder ConstantFolding
  • [SPARK-37891] [CORE] Lägg till scalastyle-kontroll för att inaktivera scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Uppdatera kommentaren för RelationConversions
  • [SPARK-37943] [SQL] Använda felklasser i kompileringsfelen för gruppering
  • [SPARK-37652] [SQL] Lägg till test för att optimera skev koppling via union
  • [SPARK-38056] [Webbgränssnitt] [3.2] Åtgärda problem med att strukturerad direktuppspelning inte fungerar i historikservern när du använder LevelDB
  • [SPARK-38144] [CORE] Ta bort oanvänd spark.storage.safetyFraction konfiguration
  • [SPARK-38120] [SQL] Åtgärda HiveExternalCatalog.listPartitions när partitionskolumnens namn är versaler och punkt i partitionsvärde
  • [SPARK-38122] [Docs] Uppdatera appnyckeln för DocSearch
  • [SPARK-37479] [SQL] Migrera DROP NAMESPACE för att använda V2-kommandot som standard
  • [SPARK-35703] [SQL] Minska begränsningen för bucketkoppling och ta bort HashClusteredDistribution
  • [SPARK-37983] [SQL] Säkerhetskopiera tidsmått för agg-generering från sorteringsaggregat
  • [SPARK-37915] [SQL] Kombinera fackföreningar om det finns ett projekt mellan dem
  • [SPARK-38105] [SQL] Använda felklasser i parsningsfel för kopplingar
  • [SPARK-38073] [PYTHON] Uppdatera funktionen atexit för att undvika problem med sen bindning
  • [SPARK-37941] [SQL] Använda felklasser i kompileringsfel vid gjutning
  • [SPARK-37937] [SQL] Använda felklasser i parsningsfel för lateral koppling
  • [SPARK-38100] [SQL] Ta bort oanvänd privat metod i Decimal
  • [SPARK-37987] [SS] Åtgärda det flakiga testet StreamingAggregationSuite.changing-schemat för tillstånd när frågan startas om
  • [SPARK-38003] [SQL] LookupFunctions-regeln bör endast söka efter funktioner från det skalära funktionsregistret
  • [SPARK-38075] [SQL] Korrigering hasNext i HiveScriptTransformationExeciteratorn för processutdata
  • [SPARK-37965] [SQL] Ta bort namn på kontrollfält när du läser/skriver befintliga data i Orc
  • [SPARK-37922] [SQL] Kombinera till en gjuten om vi på ett säkert sätt kan uppgjuta två kast (för dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Förhindra överskrivning av sammanslagna push shuffle-filer när shuffle har slutförts
  • [SPARK-38011] [SQL] Ta bort duplicerad och värdelös konfiguration i ParquetFileFormat
  • [SPARK-37929] [SQL] Stöd för kaskadläge för dropNamespace API
  • [SPARK-37931] [SQL] Ange kolumnnamnet om det behövs
  • [SPARK-37990] [SQL] StödtidsstämpelNTZ i RowToColumnConverter
  • [SPARK-38001] [SQL] Ersätt felklasserna som är relaterade till funktioner som inte stöds av UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 stöder partiell aggregerad push-down AVG
  • [SPARK-37878] [SQL] Migrera SHOW CREATE TABLE för att använda v2-kommandot som standard
  • [SPARK-37731] [SQL] Refaktoriserings- och rensningsfunktionsökning i Analyzer
  • [SPARK-37979] [SQL] Växla till mer allmänna felklasser i AES-funktioner
  • [SPARK-37867] [SQL] Kompilera aggregerade funktioner för JDBC-dialekt
  • [SPARK-38028] [SQL] Exponera pilvektor från ArrowColumnVector
  • [SPARK-30062] [SQL] Lägg till IMMEDIATE-instruktionen i implementeringen av db2-dialektens trunkering
  • [SPARK-36649] [SQL] Stöd Trigger.AvailableNow för Kafka-datakälla
  • [SPARK-38018] [SQL] Åtgärda ColumnVectorUtils.populate för att hantera CalendarIntervalType korrekt
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved ska hantera ExecutorDecommission som färdigt
  • [SPARK-38019] [CORE] Gör ExecutorMonitor.timedOutExecutors deterministisk
  • [SPARK-37957] [SQL] Skicka deterministisk flagga korrekt för skalärfunktioner i V2
  • [SPARK-37985] [SQL] Åtgärda flagnande test för SPARK-37578
  • [SPARK-37986] [SQL] Stöd för tidsstämpelNTZ i radixsortering
  • [SPARK-37967] [SQL] Literal.create stöder ObjectType
  • [SPARK-37827] [SQL] Placera vissa inbyggda tabellegenskaper i V1Table.propertie för att anpassa till V2-kommandot
  • [SPARK-37963] [SQL] Behöver uppdatera partitions-URI efter att du har bytt namn på tabellen i InMemoryCatalog
  • [SPARK-35442] [SQL] Stöd för spridning av tom relation via aggregering/union
  • [SPARK-37933] [SQL] Ändra blädderingsmetoden för V2ScanRelationPushDown-nedtryckningsregler
  • [SPARK-37917] [SQL] Tryck ned gränsen 1 för höger sida av vänster halv/anti koppling om kopplingsvillkoret är tomt
  • [SPARK-37959] [ML] Åtgärda UT för att kontrollera normen i KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql bör inte skicka den senaste kommentaren till serverdelen
  • [SPARK-37627] [SQL] Lägg till sorterad kolumn i BucketTransform

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 10.4 LTS.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Blekmedel 3.3.0 boto3 1.16.7
botocore 1.19.7 Certifi 2020.12.5 Cffi 1.14.5
Chardet 4.0.0 Apparat 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratör 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 Ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 Koalas 1.8.2
Markering Valv 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook-fil 6.3.0 Numpy 1.20.1
Förpackning 20.9 Pandas 1.2.4 pandocfilter 1.4.3
parso 0.7.0 Patsy 0.5.1 Pexpect 4.8.0
pickleshare 0.7.5 Kudde 8.2.0 Pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 Setuptools 52.0.0 Sex 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 Uthållighet 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Hjul 0.36.2 widgetsnbextension 3.5.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-02-24.

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1,1 assertthat 0.2.1 Backports 1.4.1
bas 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 start 1.3-28
Brygga 1.0-7 Brio 1.1.3 Kvast 0.7.12
bslib 0.3.1 cachem 1.0.6 anropare 3.7.0
textmarkör 6.0-90 cellranger 1.1.0 Chron 2.3-56
klass 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 Codetools 0.2-18 Färgrymd 2.0-3
commonmark 1,7 Kompilator 4.1.2 config 0.3.1
cpp11 0.4.2 Krita 1.5.0 autentiseringsuppgifter 1.3.2
Curl 4.3.2 data.table 1.14.2 datauppsättningar 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
Devtools 2.4.3 diffobj 0.3.5 Digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellips 0.3.2 evaluate (utvärdera) 0,15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 Utländska 0.8-82
Forge 0.2.0 Fs 1.5.2 Framtiden 1.24.0
future.apply 1.8.1 Gurgla 1.2.0 Generika 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
Lim 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafik 4.1.2 grDevices 4.1.2
Rutnät 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 Tillflyktsort 2.4.3
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Id 1.0.1
Ini 0.3.1 Ipred 0.9-12 isoband 0.2.5
Iteratorer 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
Kernsmooth 2.23-20 stickning 1,37 Märkning 0.4.2
Senare 1.3.0 Galler 0.20-45 Lava 1.6.10
livscykel 1.0.1 lyssna 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1,1 MASSACHUSETTS 7.3-55
Matris 1.4-0 pmise 2.0.1 metoder 4.1.2
Mgcv 1.8-39 Mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 Nlme 3.1-155
Nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallellt 1.30.0 Pelaren 1.7.0
pkgbuild 1.3.1 Pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Förlopp 1.2.2 progressr 0.10.0
Löften 1.2.0.1 Proto 1.0.0 Proxy 0.4-26
Ps 1.6.0 Purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 Rcolorbrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recept 0.2.0 Returmatch 1.0.1 rematch2 2.1.2
Fjärrkontroller 2.4.2 reprex 2.0.1 omforma2 1.4.4
rlang 1.0.1 rmarkdown 2,11 RODBC 1.3-19
roxygen2 7.1.2 Rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversioner 2.1.1 rvest 1.0.2 Sass 0.4.0
Skalor 1.1.1 väljare 0.4-2 sessioninfo 1.2.2
Form 1.4.6 Blanka 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 Rumsliga 7.3-11
Splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
Statistik 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 Överlevnad 3.2-13 sys 3.4
Tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
Tibble 3.1.6 tidyr 1.2.0 avmarkera 1.1.2
tidyverse 1.3.1 Timedate 3043.102 tinytex 0,37
verktyg 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 verktyg 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.3.1 Morrhår 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 Yaml 2.3.5 Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kodning 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-fortsättning 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty brygga-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty brygga plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty brygga-server 9.4.43.v20210629
org.eclipse.jetty brygga-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty brygga-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Oanvända 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1