Share via

Databricks Runtime 8.0 (EoL)

Notitie

Deze Databricks Runtime-versie heeft het einde van de levensduur bereikt en is niet meer beschikbaar. Zie End-of-Support en end-of-life history voor einddatums. Zie de ondersteuningslevenscycli van Databricks Runtime voor informatie over het ondersteuningsbeleid en de planning van Databricks.

Databricks heeft deze versie uitgebracht in maart 2021.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 8.0, mogelijk gemaakt door Apache Spark 3.1.1.

Nieuwe functies

Databricks Runtime 8.0 bevat Apache Spark 3.1.1. Zie Apache Spark voor meer informatie.

Verbeteringen

Delta is nu de standaardindeling wanneer een indeling niet is opgegeven

Databricks Runtime 8.0 wijzigt de standaardindeling om delta het eenvoudiger te maken om een Delta-tabel te maken. Wanneer u een tabel maakt met behulp van SQL-opdrachten of {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API's en u geen indeling opgeeft, is deltade standaardindeling.

Met Delta Lake krijgt u betere prestaties ten opzichte van Parquet, betere betrouwbaarheid van gegevens met uitgebreide schemavalidatie, kwaliteitsbeperkingen en transactionele garanties. Met Delta Lake kunt u uw gegevenspijplijnen vereenvoudigen met geïntegreerde gestructureerde streaming en batchverwerking op één gegevensbron.

Hoewel Databricks het gebruik van Delta Lake aanbeveelt om uw gegevens op te slaan, hebt u mogelijk verouderde werkstromen waarvoor migratie naar Delta Lake is vereist. Zie Wat is Delta Lake in Azure Databricks voor informatie over het migreren van bestaande werkstromen.

Nieuwe standaardtriggerinterval voor gestructureerd streamen vermindert de kosten

Als u geen triggerinterval instelt in Trigger.ProcessingTime uw streamingquery, wordt het interval ingesteld op 500 ms. Voorheen was het standaardinterval 0 ms. Deze wijziging moet het aantal lege triggers verminderen en de kosten voor cloudopslag zoals lijstbewerkingen verlagen.

De LDA-transformatiefunctie gebruiken met referentiepassthrough (openbare preview)

U kunt nu de LDA-transformatiefunctie gebruiken op een cluster dat is geconfigureerd voor het gebruik van credential passthrough voor verificatie.

Clusters van één gebruiker die zijn geconfigureerd met referentiepassthrough, vereisen geen vertrouwde bestandssysteems meer (openbare preview)

U hoeft geen lokale bestandssysteems meer te configureren als vertrouwde bestandssysteemen wanneer u een standaardcluster of taakcluster gebruikt dat is geconfigureerd voor referentiepassthrough met één gebruiker. Deze wijziging verwijdert onnodige bestandssysteembeperkingen bij het uitvoeren van taken op één gebruikerscluster.

Bibliotheekupgrades

Apache Spark

Databricks Runtime 8.0 bevat Apache Spark 3.1.1.

In deze sectie:

Core en Spark SQL

Markeren

ANSI SQL-compatibiliteitsverbeteringen

  • Ondersteuning voor char/varchar gegevenstype (SPARK-33480)
  • ANSI-modus: runtimefouten in plaats van null te retourneren (SPARK-33275)
  • ANSI-modus: nieuwe expliciete cast-syntaxisregels (SPARK-33354)
  • SQL Standard-opdracht SET TIME ZONE toevoegen (SPARK-32272)
  • De SQL-syntaxis van een tabel samenvoegen (SPARK-31257)
  • Tijdelijke weergave en permanent weergavegedrag samenvoegen (SPARK-33138)
  • Lijst van kolommen ondersteunen in de INSERT instructie (SPARK-32976)
  • Ondersteuning voor ANSI geneste opmerkingen tussen haakjes (SPARK-28880)

Prestatieverbeteringen

  • Host-local shuffle-gegevens lezen zonder shuffle-service (SPARK-32077)
  • Redundante sorteringen verwijderen voordat u knooppunten opnieuw partitioneert (SPARK-32276)
  • Gedeeltelijk omlaag duwen predicaten (SPARK-32302, SPARK-32352)
  • Filters omlaag pushen via uitvouwen (SPARK-33302)
  • Push meer mogelijke predicaten via Join via CNF-conversie (SPARK-31705)
  • Verwijder shuffle door uitvoerpartitionering van broadcast-hash-join (SPARK-31869) te behouden
  • Verwijder shuffle door de herordening van joinsleutels te optimaliseren (SPARK-32282)
  • Verwijder willekeurige volgorde door uitvoerpartitionering en sorteervolgorde te normaliseren (SPARK-33399)
  • Verbetering van hash-join in willekeurige volgorde (SPARK-32461)
    • Behoud de geshufflede partities aan de buildzijde van de hash-join (SPARK-32330)
    • Preserve hash join (BHJ en SHJ) volgorde aan de streamzijde (SPARK-32383)
    • Samenvoegen van gebucketiseerde tabellen voor sort merge join (SPARK-32286)
    • Code-gen toevoegen voor geshuffelde hash-join (SPARK-32421)
    • Volledige ondersteuning voor outer join in geshashte hash join (SPARK-32399)
  • Ondersteuning voor subexpressieverwijdering in project met geheel-fase-codegen (SPARK-33092)
  • Ondersteuning voor subexpressieverwijdering in voorwaardelijke expressies (SPARK-33337)
  • Ondersteuning voor subexpressieverwijdering voor evaluatie van geïnterpreteerde expressies (SPARK-33427)
  • Ondersteuning voor subexpressieverwijdering voor geïnterpreteerd predicaat (SPARK-33540)
  • Andere optimizer-regels
    • Regel ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regel EliminateNullAwareAntiJoin (SPARK-32573)
    • Regel EliminateAggregateFilter (SPARK-32540)
    • Regel UnwrapCastInBinaryComparison (SPARK-32858)
    • Regel DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regel CoalesceBucketsInJoin (SPARK-31350)
    • Overbodige geneste velden verwijderen uit de gegenereerde output zonder project (SPARK-29721)
    • Overbodige geneste velden uit het aggregaat verwijderen en uitbreiden (SPARK-27217)
    • Overbodige geneste velden verwijderen uit repartition-by-expression en join (SPARK-31736)
    • Overbodige geneste velden snoeien van cosmetische variaties (SPARK-32163)
    • Overbodige geneste velden uit venster verwijderen en sorteren (SPARK-32059)
    • De grootte van CreateArray/CreateMap optimaliseren om deze aan te passen aan de grootte van de onderliggende elementen (SPARK-33544)

Uitbreidingen van uitbreidbaarheid

  • API's toevoegen SupportsPartitions op DataSourceV2 (SPARK-31694)
  • API toevoegen SupportsMetadataColumns op DataSourceV2 (SPARK-31255)
  • Serialisatie pluggable voor SQL-cache maken (SPARK-32274)
  • Introduceer de purge optie in TableCatalog.dropTable voor de v2-catalogus (SPARK-33364)

Connectorverbeteringen

  • Verbetering van pushdown van Hive Metastore-partitiefilters (SPARK-33537)
    • Ondersteuning bevat, begint met en eindigt met filters (SPARK-33458)
    • Ondersteuningsfilter op datumtype (SPARK-33477)
    • Ondersteun het filteren op niet-gelijk-aan (SPARK-33582)
  • Parket
    • Complexe typen toestaan als sleuteltype in map van Parquet (SPARK-32639)
    • Opslaan en laden van INT96 in Parquet toestaan zonder herberekening (SPARK-33160)
  • ORC
  • CSV
    • Sql-tekstgegevensbron gebruiken tijdens deductie van CSV-schema 's (SPARK-32270)
  • JSON
    • Ondersteuning voor pushdownfilters in JSON-gegevensbron (SPARK-30648)
  • JDBC
  • Avro
    • Ondersteuning voor pushdownfilters in Avro-gegevensbron (SPARK-32346)

Functieverbeteringen

  • Knooppunt buiten gebruik stellen (SPARK-20624)
    • Basisframework (SPARK-20628)
    • RDD-blokken migreren tijdens decommissioneren (SPARK-20732)
    • Probleemloos buiten gebruik stellen als onderdeel van dynamisch schalen (SPARK-31198)
    • Shuffle-blokken migreren tijdens decommissioning (SPARK-20629)
    • Alleen de uitvoering beëindigen van de executor wanneer taken en blokmigratie zijn voltooid (SPARK-31197)
    • Ondersteuning voor fallback opslag tijdens ontmanteling (SPARK-33545)
  • Nieuwe ingebouwde functies
  • EXPLAIN opdrachtverbetering (SPARK-32337, SPARK-31325)
  • Geef een optie op om door de gebruiker geleverde hints uit te schakelen (SPARK-31875)
  • Ondersteuning voor Hive-stijl REPLACE COLUMNS syntaxis (SPARK-30613)
  • Ondersteuning LIKE ANY en LIKE ALL operatoren (SPARK-30724)
  • Onbeperkte ondersteuning voor MATCHED en NOT MATCHED in MERGE INTO (SPARK-32030)
  • Ondersteuning Fvoor letterlijke float-achtervoegsels (SPARK-32207)
  • Ondersteuningssyntaxis RESET voor het opnieuw instellen van één configuratie (SPARK-32406)
  • Ondersteuningsfilterexpressie maakt gelijktijdig gebruik van DISTINCT (SPARK-30276) mogelijk
  • Ondersteuning voor het commando 'alter table add/drop partition' voor DSv2 (SPARK-32512)
  • Ondersteuning voor NOT IN subquery's binnen geneste OR voorwaarden (SPARK-25154)
  • Ondersteuningsopdracht REFRESH FUNCTION (SPARK-31999)
  • Toevoegen sameSemantics en sementicHash methoden in gegevensset (SPARK-30791)
  • Ondersteuning voor samengesteld type caseklasse in UDF (SPARK-31826)
  • Opsomming in encoders ondersteunen (SPARK-32585)
  • Ondersteuning voor geneste veld-API's withField en dropFields (SPARK-31317, SPARK-32511)
  • Ondersteuning voor het doorvoeren van null-waarden voor ontbrekende kolommen in unionByName (SPARK-29358)
  • Ondersteuning DataFrameReader.table voor het nemen van de opgegeven opties (SPARK-32592, SPARK-32844)
  • HDFS-locatie ondersteunen in spark.sql.hive.metastore.jars (SPARK-32852)
  • Ondersteuningsoptie --archives standaard (SPARK-33530, SPARK-33615)
  • Api ExecutorPlugin verbeteren om methoden op te nemen voor begin- en eindgebeurtenissen van taken (SPARK-33088)

Andere belangrijke wijzigingen

  • Zoekfunctie opgeven op de Spark-docs-site (SPARK-33166)
  • Apache Arrow upgraden naar 2.0.0 (SPARK-33213)
  • Het inschakelen van de Java 8 tijd-API in de thrift-server (SPARK-31910)
  • Java 8-tijd-API inschakelen in UDF's (SPARK-32154)
  • Overloopcontrole voor geaggregeerde som met decimalen (SPARK-28067)
  • Doorvoerconflicten in dynamische partitieoverschrijfmodus oplossen (SPARK-27194, SPARK-29302)
  • Verwijzingen naar slave, blacklist en whitelist verwijderd (SPARK-32004, SPARK-32036, SPARK-32037)
  • Verwijder de controle van de grootte van taakresultaten voor de shuffle map fase (SPARK-32470)
  • Generaliseren ExecutorSource om door de gebruiker opgegeven bestandssysteemschema's beschikbaar te maken (SPARK-33476)
  • Toevoegen StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Metrische geheugengegevens van uitvoerders beschikbaar maken in de webgebruikersinterface voor uitvoerders (SPARK-23432)
  • Metrische geheugengegevens van uitvoerders beschikbaar maken op faseniveau, op het tabblad Fasen (SPARK-26341)
  • Reparatie voor expliciete configuratieset in YARN-clustermodus (SPARK-29465)
  • Configuratie toevoegen spark.submit.waitForCompletion om het afsluiten van spark-submit te beheren in de zelfstandige clustermodus (SPARK-31486)
  • yarn.Client Instellen voor het afdrukken van directe koppelingen naar stuurprogramma stdout/stderr (SPARK-33185)
  • Geheugenlek oplossen wanneer delen van uitzending niet kunnen worden opgeslagen (SPARK-32715)
  • Maak de BlockManagerMaster driver-heartbeat-time-out configureerbaar (SPARK-34278)
  • Het gedrag van de cache samenvoegen en voltooien (SPARK-33507)

PySpark

Project Zen

  • Project Zen: De bruikbaarheid van Python verbeteren (SPARK-32082)
  • Ondersteuning voor hints voor PySpark-typen (SPARK-32681)
  • Documentatie voor PySpark opnieuw ontwerpen (SPARK-31851)
  • Migreren naar NumPy-documentatiestijl (SPARK-32085)
  • Installatieoptie voor PyPI-gebruikers (SPARK-32017)
  • DataFrame-schema weer mogelijk gemaakt uit lijst van woordenboeken (SPARK-32686)
  • Vereenvoudig het uitzonderingsbericht van Python UDF's (SPARK-33407)

Andere belangrijke wijzigingen

  • Deterministische PythonUDF-aanroepen ontdubbelen (SPARK-33303)
  • Ondersteuning voor functies in hogere volgorde in PySpark-functies (SPARK-30681)
  • Ondersteuning voor gegevensbron v2x schrijf-API's (SPARK-29157)
  • Ondersteuning percentile_approx in PySpark-functies (SPARK-30569)
  • Ondersteuning inputFiles in PySpark DataFrame (SPARK-31763)
  • Ondersteuning van withField in PySpark-kolom (SPARK-32835)
  • Ondersteunt dropFields in PySpark kolom (SPARK-32511)
  • Ondersteuning nth_value in PySpark-functies (SPARK-33020)
  • Ondersteuning acosh, asinh en atanh (SPARK-33563)
  • Ondersteuningsmethode getCheckpointDir in PySpark SparkContext (SPARK-33017)
  • Ondersteuning voor het doorvoeren van null's voor ontbrekende kolommen in unionByName (SPARK-32798)
  • Bijwerken cloudpickle naar v1.5.0 (SPARK-32094)
  • Ondersteuning toevoegen MapType voor PySpark met Pijl (SPARK-24554)
  • DataStreamReader.table en DataStreamWriter.toTable (SPARK-33836)

Gestructureerd streamen

Prestatieverbeteringen

  • Door cache opgehaalde lijst met bestanden buiten maxFilesPerTrigger als ongelezen bestand (SPARK-30866)
  • Stroomlijn de logica voor bestandsstroombron en -bestemming in het metagegevenslogboek (SPARK-30462)
  • Vermijd het lezen van compact metagegevenslogboek twee keer als de query opnieuw wordt opgestart vanuit een compacte batch (SPARK-30900)

Functieverbeteringen

  • API toevoegen DataStreamReader.table (SPARK-32885)
  • API toevoegen DataStreamWriter.toTable (SPARK-32896)
  • Linker semi stream-stream join (SPARK-32862)
  • Volledige outer stream-stream join (SPARK-32863)
  • Geef een nieuwe optie op voor bewaren op uitvoerbestanden (SPARK-27188)
  • Ondersteuning voor Spark Structured Streaming History Server toevoegen (SPARK-31953)
  • Introductie van statusschemavalidatie bij opnieuw opstarten van query's (SPARK-27237)

Andere belangrijke wijzigingen

  • Schemavalidatie introduceren voor streamingstatusopslag (SPARK-31894)
  • Ondersteuning voor het gebruik van een andere compressiecodec in de statusopslag (SPARK-33263)
  • Kafka-connector oneindig wachten omdat metagegevens nooit zijn bijgewerkt (SPARK-28367)
  • Kafka upgraden naar 2.6.0 (SPARK-32568)
  • Ondersteuning voor paginering voor pagina's van de gestructureerde streaming-ui (SPARK-31642, SPARK-30119)
  • Statusinformatie in Structured Streaming UI (SPARK-33223)
  • Informatie over watermerkgaten in Structured Streaming UI (SPARK-33224)
  • Informatie over aangepaste statusgegevens beschikbaar maken in de SS-gebruikersinterface (SPARK-33287)
  • Een nieuwe metrische waarde toevoegen met betrekking tot het aantal rijen later dan watermerk (SPARK-24634)

MLlib

Hoogtepunten

  • LinearSVC maakt inputvectoren blokvormig (SPARK-30642)
  • LogisticRegression blokkeert invoervectoren (SPARK-30659)
  • LinearRegression blokkeer invoervectoren (SPARK-30660)
  • AFT verdeelt inputvectoren in blokken (SPARK-31656)
  • Ondersteuning voor koppelingsregels toevoegen in ML (SPARK-19939)
  • Trainingsoverzicht toevoegen voor LinearSVCModel (SPARK-20249)
  • Samenvatting toevoegen aan RandomForestClassificationModel (SPARK-23631)
  • Trainingsoverzicht toevoegen aan FMClassificationModel (SPARK-32140)
  • Samenvatting toevoegen aan MultilayerPerceptronClassificationModel (SPARK-32449)
  • FMClassifier toevoegen aan SparkR (SPARK-30820)
  • SparkR LinearRegression wrapper (SPARK-30818) toevoegen
  • FMRegressor-wrapper toevoegen aan SparkR (SPARK-30819)
  • SparkR-wrapper toevoegen voor vector_to_array (SPARK-33040)
  • exemplaren adaptief blokiseren - LinearSVC (SPARK-32907)
  • Laat CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer ondersteuning bieden voor Python backend schatter/evaluator (SPARK-33520)
  • Prestaties verbeteren van ML ALS recommendForAll door GEMV (SPARK-33518)
  • UnivariateFeatureSelector toevoegen (SPARK-34080)

Andere belangrijke wijzigingen

  • GMM-berekening samenvatting en update distributies in één taak (SPARK-31032)
  • ChiSqSelector-afhankelijkheid van mllib verwijderen. ChiSqSelectorModel (SPARK-31077)
  • Het resultaatgegevensframe van tests in testChiSquare (SPARK-31301) plat maken
  • Optimalisatie van MinHash keyDistance (SPARK-31436)
  • KMeans-optimalisatie op basis van driehoekongelijkheid (SPARK-31007)
  • Ondersteuning voor gewicht toevoegen in ClusteringEvaluator (SPARK-31734)
  • GetMetrics toevoegen in Evaluators (SPARK-31768)
  • Ondersteuning voor instantiegewicht toevoegen in LinearRegressionSummary (SPARK-31944)
  • Door de gebruiker opgegeven vouwkolom toevoegen aan CrossValidator (SPARK-31777)
  • Standaardwaardepariteit van ML-parameters in functie en afstemming (SPARK-32310)
  • Dubbele caching in KMeans/BiKMeans oplossen (SPARK-32676)
  • Optimalisatie van de AFT-transformatie (SPARK-33111)
  • Optimalisatie van FeatureHasher-transformatie (SPARK-32974)
  • Voeg array_to_vector functie toe voor de gegevensframekolom (SPARK-33556)
  • Standaardwaardepariteit van ML-parameters in classificatie, regressie, clustering en fpm (SPARK-32310)
  • Summary.totalIterations groter dan maxIters (SPARK-31925)
  • optimalisatie van voorspellingen van boommodellen (SPARK-32298)

SparkR

  • SparkR-interface toevoegen voor functies met hogere volgorde (SPARK-30682)
  • Ondersteuning voor het doorvoeren van null's voor ontbrekende kolommen in unionByName (SPARK-32798)
  • Ondersteuning metColumn in SparkR-functies (SPARK-32946)
  • Ondersteuning voor timestamp_seconds in SparkR-functies (SPARK-32949)
  • Ondersteuning voor nth_value in SparkR-functies (SPARK-33030)
  • De Minimum Arrow versie is verhoogd naar 1.0.0 (SPARK-32452)
  • Ondersteuning voor array_to_vector in SparkR-functies (SPARK-33622)
  • Ondersteuning voor acosh, asinh en atanh (SPARK-33563)
  • Ondersteuning voor from_avro en to_avro (SPARK-33304)

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 8.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (bijgewerkt vanaf 3.8.6 in 26 mei 2021 onderhoudsupdate)
  • R: R versie 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) 1.4.4 asn1crypto 1.4.0 terugroepactie 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certificaat 2020.12.5 cffi 1.14.3 chardet 3.0.4
cryptografie 3.1.1 wielrijder 0.10.0 Cython 0.29.21
decorateur 4.4.2 distlib 0.3.1 docutils 0.15.2
invoerpunten 0,3 bestandsvergrendeling 3.0.12 IDNA 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
Jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
Pandas 1.1.3 parso 0.7.0 Patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-hulpmiddelenpakket 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.1 pytz 2020.1 pyzmq 19.0.2
Verzoeken 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
Scipy (een wetenschappelijke bibliotheek voor Python) 1.5.2 geboren op zee 0.10.0 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 50.3.1
Zes 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 Traitlets (Python library voor het configureren van Python-objecten) 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wiel 0.35.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
wachtwoord vragen 1.1 verzeker dat 0.2.1 terugimporten 1.2.1
basis 4.0.3 base64enc 0.1-3 BH 1.72.0-3
beetje 4.0.4 64-bitsysteem 4.0.5 Druppel 1.2.1
opstarten 1.3-25 brouwsel 1.0-6 Brio 1.1.0
bezem 0.7.2 beller 3.5.1 Caret 6.0-86
cellranger (softwaretool voor genetische analyse) 1.1.0 Chron 2.3-56 klasse 7.3-17
CLI 2.2.0 Clipr 0.7.1 groep 2.1.0
codetools 0.2-18 kleurenruimte 2.0-0 commonmark 1,7
programmacompileerder 4.0.3 configuratie 0,3 covr 3.5.1
cpp11 0.2.4 kleurpotlood 1.3.4 inloggegevens 1.3.0
Overspraak 1.1.0.1 curl 4.3 gegevenstabel 1.13.4
gegevenssets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
Beschrijving 1.2.0 devtools 2.3.2 diffobj 0.3.2
verwerken 0.6.27 dplyr (een R-pakket voor gegevensmanipulatie) 1.0.2 DT 0,16
beletselteken 0.3.1 beoordelen 0,14 fans 0.4.1
kleuren 2.0.3 snelle kaart 1.0.1 dwangarbeiders 0.5.0
foreach 1.5.1 buitenlands 0.8-79 smeden 0.2.0
fs 1.5.0 toekomst 1.21.0 Generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globale variabelen 0.14.0
lijm 1.4.2 Gower 0.2.2 afbeeldingen 4.0.3
grDevices 4.0.3 netwerk 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 toevluchtsoord/schuilplaats 2.3.1
hoger 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
IPRED 0.9-9 isoband 0.2.3 Iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
etikettering 0.4.2 daarna 1.1.0.1 latwerk 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 levenscyclus 0.2.0
luisteren 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASSA 7.3-53 Matrix 1.2-18
memoriseer 1.1.0 methoden 4.0.3 mgcv 1.8-33
Mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8 tot 1.1 OpenSSL-software 1.4.3 evenwijdig 4.0.3
parallel 1.22.0 pilaar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 prijzen 1.0.0 prettyunits 1.1.1
pROC 1.16.2 Processx 3.4.5 prodlim 2019.11.13
Voortgang 1.2.2 Beloften 1.1.1 Proto 1.0.0
P.S. 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl (een programma voor het lezen van Excel-bestanden) 1.3.1 recepten 0.1.15
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.2.0
reprex (reproduceerbaar voorbeeld) 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart (een R-pakket voor beslissingsboommodellering) 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest (een softwarepakket voor webscraping) 0.3.6 weegschaal 1.1.1
Selectr 0,4-2 sessiegegevens 1.1.1 vorm 1.4.5
glanzend en nieuw 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 ruimtelijk 7.3-11 Splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 Statistieken 4.0.3
statistieken4 4.0.3 strings 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
OnderwijsDemo's 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
tijd en datum 3043.102 tinytex 0,28 gereedschappen 4.0.3
gebruik dit 2.0.0 utf8 1.1.4 hulpmiddelen 4.0.3
UUID (Universally Unique Identifier) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 snor 0,4 verwelken 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 YAML 2.2.1 zip-bestand 2.1.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuratie) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws AWS Java SDK Datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK Import/Export 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logbestanden 1.11.655
com.amazonaws AWS-Java-SDK-MachineLearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-ondersteuning 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_systeem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native systeem voor Linux x86_64, inclusief natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.ning compress-lzf (een compressie-algoritme) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
bestandsupload van commons bestandsupload van commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-net commons-net 3.1
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.10
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics graphite-metriek 4.1.1
io.dropwizard.metrics metrische gezondheidscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.1.1
io.dropwizard.metrics metriekgegevens voor JVM 4.1.1
io.dropwizard.metrics metrieke gegevens-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine Pyroliet 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.12.8
net.sneeuwvlok spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow pijlpunt-geheugen-kern 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro AVRO 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress - een bibliotheek voor compressie 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-tekst 1.6
org.apache.curator beheerder-cliënt 2.7.1
org.apache.curator curatorraamwerk 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-authenticatie 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop-HDFS (Hadoop Distributed File System) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (gebruikelijk in softwareterminologie) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core (kernmodule van hadoop-mapreduce-client) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common (hadoop-yarn-server-algemeen) 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore (metadata opslag voor Hive) 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-opslag-API 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubatie
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-kolom 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-codering 1.10.1-databricks6
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity snelheid 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotaties voor specifieke doelgroepen 0.5.0
org.apache.zookeeper dierentuinverzorger 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-vervolg 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty Jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.34.v20201102
org.eclipse.jetty Jetty-beveiliging 9.4.34.v20201102
org.eclipse.jetty Jetty Server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core Algemene Jersey 2.30
org.glassfish.jersey.core Jersey-Server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap vulplaatjes 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework kern van Spring 4.1.4.RELEASE
org.springframework lente-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52
  • Last updated on