Databricks Runtime 10.5 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.5, mogelijk gemaakt door Apache Spark 3.2.1. Databricks heeft deze afbeeldingen uitgebracht in mei 2022.

Nieuwe functies en verbeteringen

SQL: Nieuwe functies to_number en try_to_number

Met de functie to_number en try_to_number kunt u tekenweergaven van getallen in verschillende notaties converteren naar DECIMAL.

SQL: Nieuwe functie try_sum

In tegenstelling tot sum, retourneert de statistische functie try_sum NULL in plaats van een fout wanneer er een overloop optreedt.

SQL: Bijwerken naar ceil, ceilingen floor functies

De ceil-functie, plafondfunctie en vloerfunctie ondersteunen nu een tweede optioneel argument om een doelschaal op te geven.

SQL: Nieuwe statistische functies regr_avgx en regr_avgy

De nieuwe regr_avgx statistische functie en regr_avgy statistische functie ondersteunen lineaire regressies.

SQL: Bijwerken naar contains, startswithen endswith functies

De bevat functie, startswith- en endswith-functie ondersteunen nu binaire gegevenstypen als invoer naast tekenreeksen.

SQL: Nieuwe functie array_size

De nieuwe array_size-functie berekent de grootte van een matrix.

Unity Catalog: SQL-uitvoer LIST verwijdert is_directory kolom en voegt volgvolging / toe voor mappaden (openbare preview)

De uitvoer van de SQL LIST-instructie voor het weergeven van paden die onder Unity Catalog vallen, is gewijzigd. De is_directory kolom wordt niet meer weergegeven. In plaats daarvan eindigen paden die mappen vertegenwoordigen nu met een afsluitende slash (/) voor de path en name kolommen. Deze wijziging is voor consistentie met de uitvoer van de dbutils.fs.ls opdracht.

Automatisch laden: nieuwe SQL-functie CLOUD_FILES_STATE

U kunt de nieuwe CLOUD_FILES_STATE functie gebruiken om een query uit te voeren op de interne status van een Stroom voor automatisch laden. Zie Query's uitvoeren op bestanden die zijn gedetecteerd door automatisch laden.

Automatisch laden: ondersteuning voor bestandsmeldingen is nu algemeen beschikbaar

Ondersteuning voor bestandsmeldingen voor Wat is Automatisch laden? in Google Cloud is nu algemeen beschikbaar.

Delta Lake: nieuwe maxRecordsPerFile optie voor maximale records die naar één bestand zijn geschreven

Wanneer u de DataFrame-API's gebruikt om naar een Delta-tabel te schrijven, kunt u de maxRecordsPerFile optie gebruiken om het maximum aantal records op te geven dat naar één bestand moet worden geschreven. Het opgeven van een waarde van nul of een negatieve waarde vertegenwoordigt geen limiet. Zie Delta Lake configureren voor het beheren van de bestandsgrootte.

Afschaffing van Koala's

Koalas is nu afgeschaft. Koalas biedt pandas-API's bovenop Apache Spark. Koalas is door de community bijgedragen en is beschikbaar als pandas-API in Spark vanaf Apache Spark 3.2. Koalas blijft vooraf geïnstalleerd voor Databricks Runtime 10.5, maar Koalas wordt niet meer vooraf geïnstalleerd vanaf de volgende Databricks Runtime-versie.

Zie voor meer informatie over pandas-API in Spark:

Nieuwe _metadata kolom voor alle bestandsindelingen

U kunt metagegevensgegevens ophalen voor invoerbestanden met de _metadata kolom. De _metadata kolom is verborgen. Deze kolom is beschikbaar voor alle invoerbestandsindelingen. Als u de _metadata kolom in een geretourneerde DataFramekolom wilt opnemen, moet u expliciet verwijzen naar deze kolom in uw query. Zie de kolom Bestandsmetagegevens.

Uw Delta Live Tables-pijplijn testen met Databricks Runtime 10.5

Databricks Runtime 10.5 is nu de ondersteunde preview versie voor Delta Live Tables. Als u uw pijplijn wilt testen met Databricks Runtime 10.5, stelt u de channel instelling preview in op in uw pijplijninstellingen.

Bugfixes

  • De weergave van numUpdatedRows en numCopiedRows metrische resultaten voor updatebewerkingen in Delta-tabellen waarvoor CDC (Change Data Capture) is ingeschakeld, is opgelost.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • plotly from 5.5.0 to 5.6.0
  • Bijgewerkte R-bibliotheken:
    • basis van 4.1.2 tot 4.1.3
    • caret van 6,0-90 tot 6,0-91
    • cluster van 2.1.2 tot 2.1.3
    • commonmark tussen 1.7 en 1.8.0
    • compiler van 4.1.2 tot 4.1.3
    • krijt van 1.5.0 tot 1.5.1
    • gegevenssets van 4.1.2 tot 4.1.3
    • desc van 1.4.0 tot 1.4.1
    • fansi van 1.0.2 tot 1.0.3
    • lijm van 1.6.1 tot 1.6.2
    • afbeeldingen van 4.1.2 tot 4.1.3
    • grDevices van 4.1.2 tot 4.1.3
    • raster van 4.1.2 tot 4.1.3
    • breisel van 1,37 tot 1,38
    • MASSA van 7,3-55 tot 7,3-56
    • Matrix van 1,4-0 tot 1,4-1
    • methoden van 4.1.2 tot 4.1.3
    • mgcv van 1,8-39 tot 1,8-40
    • nlme van 3.1-155 tot 3.1-157
    • openssl van 1.4.6 tot 2.0.0
    • parallel van 4.1.2 tot 4.1.3
    • plyr van 1.8.6 tot 1.8.7
    • processx van 3.5.2 tot 3.5.3
    • r2d3 van 0.2.5 tot 0.2.6
    • Rcpp van 1.0.8 tot 1.0.8.3
    • rlang van 1.0.1 tot 1.0.2
    • rmarkdown van 2.11 tot 2.13
    • RSQLite van 2.2.10 tot 2.2.11
    • sass van 0.4.0 tot 0.4.1
    • splines van 4.1.2 tot 4.1.3
    • statistieken van 4.1.2 tot 4.1.3
    • stats4 van 4.1.2 tot 4.1.3
    • tcltk van 4.1.2 tot 4.1.3
    • hulpprogramma's van 4.1.2 tot 4.1.3
    • hulpmiddelen van 4.1.2 tot 4.1.3
    • uuid van 1,0-3 tot 1,0-4
    • waldo van 0.3.1 tot 0.4.0
    • metr van 2.4.3 tot 2.5.0
    • xfun van 0,29 tot 0,30
  • Bijgewerkte Java-bibliotheken:
    • com.h2database.h2 van 1.4.195 tot 2.1.210
    • org.apache.hadoop.hadoop-client-api van 3.3.1-databricks naar 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime van 3.3.1 tot 3.3.2
    • org.rocksdb.rocksdbjni van 6.24.2 tot 6.20.3

Apache Spark

Databricks Runtime 10.5 bevat Apache Spark 3.2.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 10.4 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-38354] [SC-97886] Revert "[SQL] Add hash probes metric for shuffled hash join"
  • [SPARK-38484] [SAS-103] [SAS-111] [SAS-113] [SC-98102] [Cherry-Pick] Instrument PySpark SQL-module met algemene gebruikslogger
  • [SPARK-38333] [SQL] De expressie PlanExpression moet de addExprTree-functie in Executor overslaan
  • [SPARK-38646] [PYTHON] [10.x] Een eigenschap ophalen voor Python-functies
  • [SPARK-38674] [FOTON] Een metrische waarde toevoegen aan PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Vervang de gevonden waarde door een niet-null-element in de resterende lijst voor sleutel en verwijder resterende null-elementen uit waarden in het sleutelarchiefWithIndexToValue voor stream-stream-joins
  • [SPARK-38446] [Core] Impasse opgelost tussen ExecutorClassLoader en FileDownloadCallback veroorzaakt door Log4j
  • [SPARK-38705] [SQL] Functie-id gebruiken in de opdracht Functie maken en neerzetten
  • [SPARK-38684] [SS] Corrigeer het probleem met de juistheid van stream-stream outer join met rocksDB-statusarchiefprovider
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase kan de offsetrij waarvan de invoer niet null is, niet vinden
  • [SPARK-38204] [SS] StatefulOpClusteredDistribution gebruiken voor stateful operators met betrekking tot compatibiliteit met eerdere versies
  • [SPARK-38616] [SQL] SQL-querytekst bijhouden in Catalyst TreeNode
  • [SPARK-38600] [SQL] Opnemen unit in de SQL-tekenreeks van TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Metagegevens van geneste kolommen doorgeven in Alias
  • [SPARK-38535] [SQL] Voeg de datetimeUnit opsomming toe en gebruik deze in TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Werk het resultaattype histogram_numeric (x, y) bij om x == het invoertype te maken
  • [SPARK-38148] [SQL] Voeg geen dynamische partities toe als er statische partities worden verwijderd
  • [SPARK-37527] [SQL] Compileren COVAR_POPen CORRCOVAR_SAMP inH2Dialet
  • [SPARK-38510] [SQL] Probeer ClassSymbol.selfType opnieuw om cyclische verwijzingen te omzeilen
  • [SPARK-38509] [SQL] Registratie van de TIMESTAMPADD/DIFF functies ongedaan maken en verwijderen DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Kan TimestampNTZ niet lezen als TimestampLTZ
  • [SPARK-38526] [SQL] De naam van de misleidende functiealias voor RuntimeReplaceable corrigeren
  • [SPARK-38335] [SQL] Ondersteuning voor parser implementeren voor STANDAARDkolomwaarden
  • [SPARK-38593] [SS] Voer de metrische gegevens over van het aantal verwijderde late gebeurtenissen naar SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Toevoegen numRowsDroppedByWatermark aan SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Herstel het gedrag van to_timestamp dat numerieke typen toestaat
  • [SPARK-38481] [SQL] Vervang java-overloopuitzondering door TIMESTAMPADD Spark-uitzondering
  • [SPARK-37753] [SQL] Logica verfijnen om broadcast-hash-join te degraderen in DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583] [SQL] CONTAINS, STARTSWITH, ENDSWITH moet ondersteuning bieden voor zowel tekenreeks- als binaire typen
  • [SPARK-38345] [SQL] Een SQL-functie introduceren ARRAY_SIZE
  • [SPARK-38385] [SQL] Foutberichten van lege instructie en <EOF> in ParseException verbeteren
  • [SPARK-37614] [SQL] Ondersteuning voor ansi-statistische functie: regr_avgx ®r_avgy
  • [SPARK-38560] [SQL] Als Sum, Countbij Any afzonderlijke, kan niet gedeeltelijke agg omlaag duwen.
  • [SPARK-38360] [SQL] [SS] [PYTHON] exists Een functie introduceren om TreeNode dubbele codepatronen te elimineren
  • [SPARK-38385] [SQL] Foutberichten van 'niet-overeenkomende invoer' van ANTLR verbeteren
  • [SPARK-38240] [SQL] RuntimeReplaceable verbeteren en een richtlijn toevoegen voor het toevoegen van nieuwe functies
  • [SPARK-38542] [SQL] OnveiligeHashedRelation moet numKeys serialiseren
  • [SPARK-38521] [SQL] Wijzigen partitionOverwriteMode van tekenreeks in variabele in Scala
  • [SPARK-38558] [SQL] Verwijder overbodige casts tussen IntegerType en IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly ondersteunt vouwbare expressies
  • [SPARK-38410] [SQL] Ondersteuning geeft het eerste partitienummer op voor herverdeling
  • [SPARK-38107] [SQL] Foutklassen gebruiken in de compilatiefouten van python/pandas UDF's
  • [SPARK-38354] [SQL] Metrische waarde voor hash-tests toevoegen voor hash-join in willekeurige volgorde
  • [SPARK-38112] [SQL] Foutklassen gebruiken in de uitvoeringsfouten van de verwerking van datum-/tijdstempels
  • [SPARK-38361] [SQL] Voeg de factorymethode getConnection toe aan JDBCDialect.
  • [SPARK-37865] [SQL] Probleem met fout in samenvoegingsontdubbeling oplossen
  • [SPARK-38298] [SQL] [Tests] Oplossing voor DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite onder ANSI-modus
  • [SPARK-38407] [SQL] ANSI Cast: versoepel de beperking van het casten van niet-null complexe typen
  • [SPARK-38352] [SQL] Oplossing voor DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite onder ANSI-modus
  • [SPARK-38054] [SQL] Ondersteunt lijstnaamruimten in JDBC v2 MySQL-dialect
  • [SPARK-37960] [SQL] Een nieuw framework voor katalysatorexpressies in DS v2-API's
  • [SPARK-38103] [SQL] Parseringsfouten van transformatie migreren naar het nieuwe foutframework
  • [SPARK-38519] [SQL] Uitzondering voor AQE-throw moet SparkFatalException respecteren
  • [SPARK-38528] [SQL] Gretig herhalen over de aggregatiesreeks bij het bouwen van een projectlijst in ExtractGenerator
  • [SPARK-38320] [SS] Time-out van flatMapGroupsWithState in batch opgelost met gegevens voor sleutel
  • [SPARK-38442] [SQL] Fix ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite onder ANSI-modus
  • [SPARK-38268] [SQL] Het veld failOnError verbergen in de toString-methode van Abs/CheckOverflow
  • [SPARK-37949] [SQL] Schatting van statistieken voor opnieuw verdelen verbeteren
  • [SPARK-38450] [SQL] HiveQuerySuite//PushFoldableIntoBranchesSuite/TransponerenWindowSuite onder ANSI-modus herstellen
  • [SPARK-38501] [SQL] Thriftserver-testfouten onder ANSI-modus oplossen
  • [SPARK-37895] [SQL] Kolom omlaag pushen met tussen aangeschreven kolommen filteren
  • [SPARK-38449] [SQL] Maaktabel niet aanroepen wanneer ignoreIfExists=true bestaat en tabel bestaat
  • [SPARK-38406] [SQL] Prestaties van ShufflePartitionsUtil createSkewPartitionSpecs verbeteren
  • [SPARK-37947] [SQL] Generator extraheren uit de GeneratorOuter-expressie die is opgenomen in een generate-operator.
  • [SPARK-38309] [CORE] ShS shuffleTotalReads - en shuffleTotalBlocks percentielgegevens herstellen
  • [SPARK-38412] [SS] De gewisselde reeks van en naar in StateSchemaCompatibilityChecker herstellen
  • [SPARK-38267] [CORE] [SQL] [SS] Patroonovereenkomsten op Booleaanse expressies vervangen door voorwaardelijke instructies
  • [SPARK-38104] [SQL] Parseringsfouten van venster migreren naar het nieuwe foutframework
  • [SPARK-38434] [SQL] De semantische methode CheckAnalysis.getDataTypesAreCompatibleFn corrigeren
  • [SPARK-38033] [SS] De SS-verwerking kan niet worden gestart omdat de com...
  • [SPARK-38378] [SQL] Herstructureren van de ANTLR-grammaticadefinitie in afzonderlijke Parser- en Lexer-bestanden
  • [SPARK-37475] [SQL] Schaalparameter toevoegen aan vloer- en ceil-functies
  • [SPARK-38411] [CORE] Gebruiken UTF-8 wanneer doMergeApplicationListingInternal gebeurtenislogboeken worden gelezen
  • [SPARK-36553] [ML] KMeans vermijden rekenhulpstatistieken voor grote K
  • [SPARK-38393] [SQL] Afgeschaft gebruik van GenSeq/GenMap
  • [SPARK-38389] [SQL] Voeg de DATEDIFF() en DATE_DIFF() aliassen toe voor TIMESTAMPDIFF()
  • [SPARK-33206] [CORE] [3.2] Berekening van het gewicht van de willekeurige indexcache corrigeren voor kleine indexbestanden
  • [SPARK-38353] [PYTHON] Magic-methoden voor het invoeren en afsluiten van instrumenten voor Pandas-API in Spark
  • [SPARK-38323] [SQL] [Streaming] Ondersteuning voor de metagegevens van verborgen bestanden in Streaming
  • [SPARK-38138] [SQL] QueryPlan-subquery's materialiseren
  • [SPARK-38094] Overeenkomende schemakolomnamen inschakelen op veld-id's
  • [SPARK-37923] [SQL] Partitietransformaties genereren voor BucketSpec binnen parser
  • [SPARK-38363] [SQL] Runtimefout voorkomen in Dataset.summary()/Dataset.describe() wanneer de ANSI-modus is ingeschakeld
  • [SPARK-38284] [SQL] De TIMESTAMPDIFF() functie toevoegen
  • [SPARK-38251] [SQL] Cast.toString wijzigen als cast in plaats van 'ansi_cast' onder ANSI-modus
  • [SPARK-38314] [SQL] Oplossing voor het niet lezen van Parquet-bestanden na het schrijven van de metagegevens van het verborgen bestand in

Zie onderhoudsupdates voor Databricks Runtime 10.5.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Bleekmiddel 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 Cffi 1.14.5
Chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23opgegeven1 invoerpunten 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 Ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koala's 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 Numpy 1.20.1
Verpakking 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 Pexpect 4.8.0
pickleshare 0.7.5 Kussen 8.2.0 Pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 Setuptools 52.0.0 Zes 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Vasthoudendheid 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Wiel 0.36.2 widgetsnbextension 3.5.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-03-28.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 opstarten 1.3-28
Brouwsel 1.0-7 Brio 1.1.3 Bezem 0.7.12
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
caret 6.0-91 cellranger 1.1.0 Chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 Codetools 0.2-18 Colorspace 2.0-3
commonmark 1.8.0 Compiler 4.1.3 configuratie 0.3.1
cpp11 0.4.2 Crayon 1.5.1 aanmeldingsgegevens 1.3.2
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
Devtools 2.4.3 diffobj 0.3.5 Digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 Buitenlandse 0.8-82
Forge 0.2.0 Fs 1.5.2 Toekomst 1.24.0
future.apply 1.8.1 Gorgelen 1.2.0 Generics 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
Lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 afbeeldingen 4.1.3 grDevices 4.1.3
Raster 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
Ini 0.3.1 Ipred 0.9-12 isoband 0.2.5
Iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
Kernsmooth 2.23-20 breiwerk 1.38 Labeling 0.4.2
Later 1.3.0 Lattice 0.20-45 lava 1.6.10
levenscyclus 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 MASS 7.3-56
Matrix 1.4-1 memoise 2.0.1 methoden 4.1.3
Mgcv 1.8-40 Mime 0,12 ModelMetrics 1.2.2.2
modeller 0.1.8 munsell 0.5.0 Nlme 3.1-157
Nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallel 1.30.0 Pijler 1.7.0
pkgbuild 1.3.1 Pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.3
prodlim 2019.11.13 Voortgang 1.2.2 progressr 0.10.0
Beloften 1.2.0.1 Proto 1.0.0 Proxy 0.4-26
ps 1.6.0 Purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 Rcolorbrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 leesbewerking 2.1.2 readxl 1.3.1
recepten 0.2.0 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2 reprex 2.0.1 hervorm2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 Rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
Schalen 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
Vorm 1.4.6 Glanzende 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 Ruimtelijke 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 Overleving 3.2-13 sys 3.4
Tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 Timedate 3043.102 tinytex 0,37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 Yaml 2.3.5 Zip 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib Lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-codering 1.12.0-databricks-0004
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-vervolg 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1