Share via

Databricks Runtime 10.0 (EoL)

Notitie

Deze Databricks Runtime-versie heeft het einde van de levensduur bereikt en is niet meer beschikbaar. Zie End-of-Support en end-of-life history voor einddatums. Zie de ondersteuningslevenscycli van Databricks Runtime voor informatie over het ondersteuningsbeleid en de planning van Databricks.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.0 en Databricks Runtime 10.0 Photon, mogelijk gemaakt door Apache Spark 3.2.0. Databricks heeft deze versie uitgebracht in oktober 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

Nieuwe versie van Apache Spark

Databricks Runtime 10.0 en Databricks Runtime 10.0 Photon bevatten Apache Spark 3.2.0. Zie Apache Spark voor meer informatie.

SELECT-instructie ondersteunt nu QUALIFY-clausule voor het filteren van resultaten van vensterfuncties

De SELECT instructie ondersteunt nu de QUALIFY clausule. QUALIFY kan worden gebruikt om de resultaten van vensterfuncties te filteren. Een of meer vensterfuncties moeten aanwezig zijn in de SELECT lijst of de voorwaarde QUALIFY. Voorbeeld:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Clusterondersteuning voor JDK 11 (openbare preview)

Databricks biedt nu clusterondersteuning voor Java Development Kit (JDK) 11.

Wanneer u een cluster maakt, kunt u opgeven dat het cluster JDK 11 gebruikt (voor zowel het stuurprogramma als de uitvoerder). Voeg hiervoor de volgende omgevingsvariabele toe aan Geavanceerde opties > voor Spark-omgevingsvariabelen>:

JNAME=zulu11-ca-amd64

Auto Loader behandelt schema's nu als nullable

Auto Loader behandelt nu alle afgeleide en door de gebruiker opgegeven schema's standaard als nullable. Dit is om mogelijke gegevenscorruptie te voorkomen in gevallen waarin de gegevens lege velden bevatten voor niet-lege kolommen. Er wordt een nieuwe configuratie geïntroduceerd om dit gedrag bij te houden. spark.databricks.cloudFiles.schema.forceNullable Deze configuratie bevat standaard de instelling van spark.sql.streaming.fileSource.schema.forceNullable, die de FileStreamSource in Apache Spark gebruikt en standaard is ingesteld op true.

Wijzigingen die fouten veroorzaken

Belangrijke wijzigingen voor alle Spark SQL-gebruikers

  • Nieuwe spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled configuratie: wanneer deze is ingesteld op true, kunt u een subset van gecorreleerde gelijkheidspredicaten toestaan wanneer een subquery wordt samengevoegd. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled configuratie: wanneer deze is ingesteld op true, blokkeert u het automatisch genereren van aliassen wanneer weergaven worden gemaakt. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled-configuratie: wanneer deze is ingesteld op true, is CREATE TABLE AS SELECT met een niet-lege locatie niet toegestaan. De standaardinstelling is true. Houd er rekening mee dat wanneer spark.sql.legacy.allowNonEmptyLocationInCTAS ook is ingesteld op true, deze configuratie geen effect heeft en CREATE TABLE AS SELECT met een niet-lege locatie altijd is toegestaan.

Belangrijke wijzigingen voor Spark SQL-gebruikers die de ANSI-modus inschakelen

Zie ANSI-naleving in Databricks Runtime voor meer informatie over de ANSI-modus.

  • Nieuwe spark.databricks.behaviorChange.SC83587NextDayDOW.enabled configuratie: wanneer deze is ingesteld op true, genereert een ongeldig dayOfWeek argument voor de next_day functie een IllegalArgumentException in de ANSI-modus; anders wordt nullgeretourneerd. De standaardinstelling is true.

  • Nieuwe spark.databricks.behaviorChange.SC83796CanCast.enabled configuratie: als deze is ingesteld op true, schakelt u nieuwe expliciete cast-syntaxisregels in in de ANSI-modus. De standaardinstelling is true.

  • Nieuwe spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled configuratie: wanneer deze is ingesteld op true, wordt er een uitzondering voor parseringsfouten gegenereerd bij het casten van een tekenreeks naar een Booleaanse waarde; retourneert anders null. De standaardinstelling is true.

  • Nieuwe spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled configuratie: wanneer deze is ingesteld op true, genereert de abs functie een uitzondering als de invoer buiten het bereik valt. De standaardinstelling is true.

Belangrijke wijzigingen voor alle Python-gebruikers

  • De Python-API delta.tables.DeltaTable.convertToDelta retourneert nu het juiste DeltaTable Python-object dat kan worden gebruikt om Delta Lake-opdrachten uit te voeren. Eerder retourneerde het een intern object dat niet rechtstreeks kon worden aangeroepen.

Bibliotheekupgrades

Apache Hadoop 3 upgrade

  • Databricks Runtime 10.0 werkt de Hadoop-afhankelijkheid van Hadoop 2.7.4 bij naar Hadoop 3.3.1.

Gedragswijzigingen

  • Hadoop 3 maakt gebruik van de hadoop-client-api en hadoop-client-runtimebibliotheken in plaats van de hadoop-gemeenschappelijke bibliotheek, waarmee bepaalde afhankelijkheden van derden worden gearceerde die mogelijk kunnen worden gebruikt in openbare Hadoop-API's of extensies.
  • Hadoop 3-configuratieopties zijn gewijzigd sinds Hadoop 2. Zie core-default.xml voor Hadoop 3.3.1-opties.
  • Databricks heeft enkele van de standaardconfiguraties voor Hadoop 3 bijgewerkt zodat deze consistent zijn met Hadoop 2 om ervoor te zorgen dat opslagconnectors dezelfde standaardverificatie-instellingen en prestatieniveaus hebben:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • De Google Cloud Storage-connector (GCS) is bijgewerkt van 2.1.6 naar 2.2.2.
  • De Amazon Redshift-connector maakt nu gebruik van het s3a:// schema. Het s3n:// schema is afgeschaft.
  • Behandelt de OSS-klassenamen voor de Amazon S3 MetadataStore API naast geshadowde klassen. Hierdoor kunnen OSS-configuraties worden verwerkt zonder dat de gearceerde klassenamen vereist zijn.
    • U kunt bijvoorbeeld de org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore klasse opgeven in de Hadoop-configuratie.
  • Maakt de new Configuration() en sparkContext.hadoopConfiguration consistente.
    • Telkens wanneer er een nieuwe Hadoop-configuratie wordt gemaakt, is deze consistent met de vooraf gedefinieerde Hadoop-configuratie in sparkContext.hadoopConfiguration de Databricks Runtime, inclusief bestandssysteemschema's en hun standaardconfiguratie.
  • Hoewel Hadoop-opslagconnectors die zijn opgenomen in de Databricks Runtime volledig compatibel zijn met Hadoop 3.3.1, zijn ze niet gegarandeerd gesynchroniseerd met OSS Hadoop 3.3.1-connectors en hebben ze mogelijk ander gedrag.
    • De Amazon S3-connector staat nog steeds toe (hoewel met een waarschuwing) authenticatie met gebruiker:geheim in S3-URL's, vergeleken met HADOOP-14833 waarbij deze functionaliteit wordt verwijderd.
  • globStatus retourneert nu altijd gesorteerde resultaten (HADOOP-10798)
  • fs.s3a.endpoint toegevoegd indien niet ingesteld en fs.s3a.endpoint-regio is null (SPARK-35878)
    • Databricks kan in sommige gevallen de automatische resolutie voor Amazon S3-regio's niet activeren doordat het globale eindpunt is ingesteld. Dit is geen probleem, omdat de AWS SDK de regio correct oplost.
  • Fs.s3a.downgrade.syncable.exceptions toevoegen als deze niet is ingesteld (SPARK-35868)
  • LZ4- en Snappy-codecs zijn niet afhankelijk van de systeemeigen Hadoop-bibliotheek (HADOOP-17125)

Bekende problemen

  • SPARK-36681 Het gebruik van SnappyCodec om een sequentiebestand te schrijven zal falen met UnsatisfiedLinkError vanwege een bekend probleem in Hadoop 3.3.1 (HADOOP-17891)

Apache Spark

Databricks Runtime 10.0 bevat Apache Spark 3.2.0.

In deze sectie:

Hoogtepunten

Core en Spark SQL

Verbeteringen in ANSI SQL-compatibiliteit

  • ANSI SQL INTERVAL-typen ondersteunen (SPARK-27790)
  • Syntaxisregels voor nieuwe typen coercion in ANSI-modus (SPARK-34246)

Prestatieverbeteringen

  • Queryoptimalisatie
    • Redundante aggregaties verwijderen in de Optimizer(SPARK-33122)
    • Duw beperking door Project met Join(SPARK-34622)
    • Kardinaliteitschatting van samenvoeging, sortering en bereikoperator (SPARK-33411)
    • UnwrapCastInBinaryComparison-ondersteuning in/InSet predicaat (SPARK-35316)
    • Houd de benodigde statistieken na het snoeien van partities(SPARK-34119)
  • Query uitvoeren
    • Standaard Zstandard-buffergroep inschakelen (SPARK-34340, SPARK-34390)
    • Codegeneratie toevoegen voor alle typen joins van de sort merge join (SPARK-34705)
    • Verbetering van geneste lusdeelname uitzenden(SPARK-34706)
    • Ondersteuning voor twee niveaus van hash-maps voor definitieve hashaggregatie (SPARK-35141)
    • Sta gelijktijdige schrijvers toe voor het schrijven van dynamische partities en bucket-tabel(SPARK-26164)
    • Verbeter de prestaties van FETCH_PRIOR-verwerking in Thriftserver (SPARK-33655)

Connectorverbeteringen

  • Parket
    • Parquet upgraden naar 1.12.1 (SPARK-36726)
    • Niet-ondertekende parquet-typen lezen die zijn opgeslagen als fysiek int32-type in Parquet (SPARK-34817)
    • Lees Parquet niet-ondertekende int64-logisch type dat wordt opgeslagen als ondertekend int64-fysiek type naar decimaal(20, 0) (SPARK-34786)
    • Parquet verbeteren in filterpushdown (SPARK-32792)
  • ORC
    • ORC upgraden naar versie 1.6.11 (SPARK-36482)
    • Ondersteuning voor geforceerde positionele evolutie van ORC (SPARK-32864)
    • Ondersteuning voor geneste kolommen in de ORC-gevectoriseerde lezer(SPARK-34862)
    • Ondersteuning voor ZSTD- en LZ4-compressie in ORC-gegevensbron (SPARK-33978, SPARK-35612)
  • Avro
    • Avro upgraden naar versie 1.10.2 (SPARK-34778)
    • Ondersteuning voor avro-schemaontwikkeling voor gepartitioneerde Hive-tabellen met 'avro.schema.literal'(SPARK-26836)
    • Nieuwe opties voor Avro-gegevensbronnen toevoegen om het wijzigen van datum/tijd te beheren in read (SPARK-34404)
    • Ondersteuning toevoegen voor door de gebruiker opgegeven schema-URL in Avro(SPARK-34416)
    • Ondersteuning toevoegen voor positionele Catalyst-to-Avro schema-matching(SPARK-34365)
  • JSON
    • Jackson upgraden naar versie 2.12.3 (SPARK-35550)
    • Toestaan dat Json-gegevensbronnen niet-ascii-tekens schrijven als codepunten (SPARK-35047)
  • JDBC
    • Nauwkeurigere partitie-stride berekenen in JDBCRelation(SPARK-34843)
  • Hive Metastore-ondersteuningsfilter op niet-in (SPARK-34538)

Functieverbeteringen

  • Subquery
  • Nieuwe ingebouwde functies
  • Apache Hadoop 3.3.1 standaard gebruiken (SPARK-29250)
  • Controlesom toevoegen voor shuffle blokken (SPARK-35275)
  • Spark.storage.replication.proactive standaard inschakelen (SPARK-33870)
  • Ondersteuning voor het opschonen van terugvalopslag tijdens het stoppen van SparkContext (SPARK-34142)
  • Ondersteuning voor Java-opsommingen van Scala Dataset-API (SPARK-23862)
  • ADD JAR met ivycoördinaten moeten compatibel zijn met Hive-transitief gedrag(SPARK-34506)
  • Ondersteuning voor ADD ARCHIVE- en LIST ARCHIVES-opdracht(SPARK-34603)
  • Ondersteuning voor meerdere paden voor ADD FILE/JAR/ARCHIVE-opdrachten(SPARK-35105)
  • Ondersteuning voor archiefbestanden als resources voor de USING-syntaxis van CREATE FUNCTION (SPARK-35236)
  • SparkSessionExtensions laden vanuit ServiceLoader (SPARK-35380)
  • Voeg de sentence-functie toe aan de functies.{scala,py}(SPARK-35418)
  • Pas spark.sql.hive.metastorePartitionPruning toe voor niet-Hive-tabellen die de Hive-metastore gebruiken voor partitiebeheer(SPARK-36128)
  • Reden voor exec-verlies doorgeven aan webgebruikersinterface (SPARK-34764)
  • Vermijd het inlinen van niet-deterministische WITH-CTE's (SPARK-36447)
  • Ondersteuning voor het analyseren van alle tabellen in een specifieke database(SPARK-33687)
  • Uitzonderingsberichten standaardiseren in Spark (SPARK-33539)
  • Ondersteuning voor (IGNORE | RESPECT) NULLS in LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE (SPARK-30789)

Andere belangrijke wijzigingen

  • Monitor
    • Nieuwe metrische gegevens voor ExternalShuffleService (SPARK-35258)
    • Nieuwe REST API's en parameters op faseniveau toevoegen (SPARK-26399)
    • Ondersteuning voor taak- en uitvoerdersdistributies metrische gegevensdistributies in de REST API (SPARK-34488)
    • Metrische terugvalgegevens voor hashaggregaties toevoegen (SPARK-35529)
  • Voeg count_distinct toe als optie voor Gegevensset#summary (SPARK-34165)
  • ScriptTransform implementeren in sql/core (SPARK-31936)
  • Heartbeat-time-out van BlockManagerMaster-stuurprogramma configureren (SPARK-34278)
  • De naam van de shuffle-service aan de clientzijde configureerbaar maken en configuratie-overschrijvingen op basis van classpath aan de serverzijde toestaan (SPARK-34828)
  • ExecutorMetricsPoller moet fase-invoer in stageTCMP behouden totdat een heartbeat plaatsvindt (SPARK-34779)
  • Vervang "if" door filterclausule in RewriteDistinctAggregates (SPARK-34882)
  • Fout opgelost bij het toepassen van CostBasedJoinReorder op self-join(SPARK-34354)
  • CREATE TABLE LIKE moet de eigenschappen van de gereserveerde tabel (SPARK-34935) respecteren
  • Verzend het ivySettings-bestand naar de driver in YARN-clustermodus (SPARK-34472)
  • Dubbele kolommen oplossen van USING/NATURAL JOIN(SPARK-34527)
  • Interne weergave-eigenschappen verbergen voor beschrijven tabel cmd(SPARK-35318)
  • Ondersteuning bij het oplossen van ontbrekende attributen voor verdeling/clustering op basis van repartition-hint (SPARK-35331)
  • Negeer de fout bij het controleren van het pad in FileStreamSink.hasMetadata (SPARK-34526)
  • Verbeter de ondersteuning voor s3a magic committer door ontbrekende configuraties af te leiden (SPARK-35383)
  • Toestaan om : weg te laten in de tekenreeks van het type STRUCT (SPARK-35706)
  • Voeg een nieuwe operator toe om te onderscheiden of AQE veilig kan optimaliseren (SPARK-35786)
  • Nieuwe geneste structvelden toevoegen in plaats van te sorteren op unionByName met null-vulling (SPARK-35290)
  • ArraysZip moet veldnamen behouden om te voorkomen dat ze opnieuw worden geschreven door analyzer/optimizer (SPARK-35876)
  • Void gebruiken als de typenaam van NullType (SPARK-36224)
  • Introduceer nieuwe API voor FileCommitProtocol: flexibele bestandsnaamgeving (SPARK-33298)

Wijzigingen in gedrag

Zie de migratiehandleidingen voor elk onderdeel: Spark Core.

Gestructureerd streamen

Belangrijke functies

  • Sessiebeheer op basis van EventTime (sessievenster)(SPARK-10816)
  • Kafka-client upgraden naar 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow voor het uitvoeren van streamingquery's zoals Trigger.Once in meerdere batches in Scala (SPARK-36533)

Andere belangrijke wijzigingen

  • Introduceer een nieuwe optie in Kafka-bron om een minimum aantal records op te geven dat per trigger moet worden gelezen (SPARK-35312)
  • De laatste offsets toevoegen aan de voortgang van de bron (SPARK-33955)

PySpark

Project Zen

Andere belangrijke wijzigingen

  • Vastgemaakte threadmodus standaard inschakelen (SPARK-35303)
  • NullType-ondersteuning toevoegen voor pijluitvoeringen (SPARK-33489)
  • Arrow self_destruct-ondersteuning toevoegen aan toPandas (SPARK-32953)
  • Thread target wrapper-API toevoegen voor pyspark-threadmodus (SPARK-35498)

Wijzigingen in gedrag

Zie de migratiehandleidingen.

MLlib

Prestatieverbeteringen

  • BucketedRandomProjectionLSH-transformatieoptimalisatie (SPARK-34220)
  • w2v findSynonyms optimization (SPARK-34189)
  • sparse GEMM optimaliseren door controle van de grenzen over te slaan(SPARK-35707)
  • Prestaties verbeteren van ML ALS recommendForAll door GEMV (SPARK-33518)

Modeltrainingsverbeteringen

  • Logistieke Aggregator herstructureren - ondersteuning voor virtual centering (SPARK-34797)
  • Binaire logistieke regressie met snijpuntondersteuning (SPARK-34858, SPARK-34448)
  • Multinomial Logistische Regressie met ondersteuning voor centreren van de intercept (SPARK-34860)

BLAS-verbeteringen

  • vervang volledig com.github.fommil.netlib door dev.ludovic.netlib:2.0(SPARK-35295)
  • Een gevectoriseerde BLAS-implementatie toevoegen (SPARK-33882)
  • Terugval BLAS versnellen met dev.ludovic.netlib (SPARK-35150)

Andere belangrijke wijzigingen

  • OVR-transformatie lost potentiële kolomconflicten op(SPARK-34356)

Uitfaseringen en verwijderingen

  • Spark.launcher.childConnectionTimeout (SPARK-33717) verwijderen
  • Deprecate GROUP BY … GROEPERINGSSETS (...) en promoot GROUP BY GROEPERINGSSETS (...)(SPARK-34932)
  • Ps.broadcast-API (SPARK-35810) verwijderen
  • Het num_files argument verwijderen (SPARK-35807)
  • DataFrame.to_spark_io (SPARK-35811) verwijderen

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 10.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) 1.4.4 terugroepactie 0.2.0
boto3 1.16.7 botocore 1.19.7 certificaat 2020.12.5
chardet 4.0.0 wielrijder 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorateur 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facettenoverzicht 1.0.0 bestandsvergrendeling 3.0.12
IDNA 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Kussen 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-hulpmiddelenpakket 3.0.17 protocolbuffers 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.1 pytz 2020.5 pyzmq 20.0.0
Verzoeken 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.6.2 geboren op zee 0.11.1
setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 52.0.0 Zes 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 vasthoudendheid 8.0.1 threadpoolctl 2.1.0
tornado 6.1 Traitlets (Python library voor het configureren van Python-objecten) 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wiel 0.36.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-09-21.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
wachtwoord vragen 1.1 verzeker dat 0.2.1 terugimporten 1.2.1
basis 4.1.1 base64enc 0.1-3 beetje 4.0.4
64-bitsysteem 4.0.5 Druppel 1.2.2 opstarten 1.3-28
brouwsel 1.0-6 Brio 1.1.2 bezem 0.7.9
bslib 0.3.0 cachem 1.0.6 beller 3.7.0
Caret 6.0-88 cellranger (softwaretool voor genetische analyse) 1.1.0 Chron 2.3-56
klasse 7.3-19 CLI 3.0.1 Clipr 0.7.1
groep 2.1.2 codetools 0.2-18 kleurenruimte 2.0-2
commonmark 1,7 programmacompileerder 4.1.1 configuratie 0.3.1
cpp11 0.3.1 kleurpotlood 1.4.1 geloofsbrief 1.3.1
curl 4.3.2 gegevenstabel 1.14.0 gegevenssets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Beschrijving 1.3.0
devtools 2.4.2 diffobj 0.3.4 verwerken 0.6.27
dplyr (een R-pakket voor gegevensmanipulatie) 1.0.7 dtplyr 1.1.0 beletselteken 0.3.2
beoordelen 0,14 fans 0.5.0 kleuren 2.1.0
snelle kaart 1.1.0 dwangarbeiders 0.5.1 foreach 1.5.1
buitenlands 0.8-81 smeden 0.2.0 fs 1.5.0
toekomst 1.22.1 future.apply 1.8.1 gorgelen 1.2.0
Generics 0.1.0 Gert 1.4.1 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globale variabelen 0.14.0 lijm 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 afbeeldingen 4.1.1
grDevices 4.1.1 netwerk 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 toevluchtsoord/schuilplaats 2.4.3
hoger 0,9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 identiteiten 1.0.1
ini 0.3.1 IPRED 0.9-12 isoband 0.2.5
Iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 etikettering 0.4.2
daarna 1.3.0 latwerk 0.20-44 lava 1.6.10
levenscyclus 1.0.0 luisteren 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1.1 MASSA 7.3-54
Matrix 1.3-4 memoriseer 2.0.0 methoden 4.1.1
mgcv 1.8-37 Mime 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8 tot 1.1 OpenSSL-software 1.4.5
evenwijdig 4.1.1 parallel 1.28.1 pilaar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 prijzen 1.0.0
prettyunits 1.1.1 pROC 1.18.0 Processx 3.5.2
prodlim 2019.11.13 Voortgang 1.2.2 progressr 0.8.0
Beloften 1.2.0.1 Proto 1.0.0 P.S. 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl (een programma voor het lezen van Excel-bestanden) 1.3.1 recepten 0.1.16 Rematch 1.0.1
opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.0 reprex (reproduceerbaar voorbeeld) 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart (een R-pakket voor beslissingsboommodellering) 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest (een softwarepakket voor webscraping) 1.0.1
Sass 0.4.0 weegschaal 1.1.1 Selectr 0,4-2
sessiegegevens 1.1.1 vorm 1.4.6 glanzend en nieuw 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
ruimtelijk 7.3-11 Splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 Statistieken 4.1.1 statistieken4 4.1.1
strings 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 OnderwijsDemo's 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 tijd en datum 3043.102
tinytex 0,33 gereedschappen 4.1.1 tzdb 0.1.2
gebruik dit 2.0.1 utf8 1.2.2 hulpmiddelen 4.1.1
UUID (Universally Unique Identifier) 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 snor 0,4
verwelken 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 YAML 2.2.1
zip-bestand 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuratie) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws AWS Java SDK Datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.11.655
com.amazonaws aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK Import/Export 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logbestanden 1.11.655
com.amazonaws AWS-Java-SDK-MachineLearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-ondersteuning 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_systeem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native systeem voor Linux x86_64, inclusief natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.ning compress-lzf (een compressie-algoritme) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-dbcp commons-dbcp 1.4
bestandsupload van commons bestandsupload van commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-net commons-net 3.1
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib LAPACK 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics graphite-metriek 4.1.1
io.dropwizard.metrics metrische gezondheidscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.1.1
io.dropwizard.metrics metriekgegevens voor JVM 4.1.1
io.dropwizard.metrics metrieke gegevens-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
Maven-bomen hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pyroliet 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.13.3
net.sneeuwvlok spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow pijlpunt-geheugen-kern 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro AVRO 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress - een bibliotheek voor compressie 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-tekst 1.6
org.apache.curator beheerder-cliënt 2.13.0
org.apache.curator curatorraamwerk 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-uitvoeringsomgeving 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-opslag-API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-kolom 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-codering 1.12.0-databricks-0003
org.apache.parquet Parquetformatstructuren 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotaties voor specifieke doelgroepen 0.5.0
org.apache.zookeeper dierentuinverzorger 3.6.2
org.apache.zookeeper dierentuinopzichter-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-vervolg 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty Jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.40.v20210413
org.eclipse.jetty Jetty-beveiliging 9.4.40.v20210413
org.eclipse.jetty Jetty Server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket WebSocket-API 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core Algemene Jersey 2,34
org.glassfish.jersey.core Jersey-Server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap vulplaatjes 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework kern van Spring 4.1.4.RELEASE
org.springframework lente-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on