Share via

Databricks Runtime 10.2 (EoL)

Notitie

Deze Databricks Runtime-versie heeft het einde van de levensduur bereikt en is niet meer beschikbaar. Zie End-of-Support en end-of-life history voor einddatums. Zie de ondersteuningslevenscycli van Databricks Runtime voor informatie over het ondersteuningsbeleid en de planning van Databricks.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.2 en Databricks Runtime 10.2 Photon, mogelijk gemaakt door Apache Spark 3.2.0. Databricks heeft deze versie uitgebracht in december 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

Bestanden gebruiken in repositories met Spark Streaming

U hebt nu toegang tot bestanden in opslagplaatsen vanuit Spark Streaming.

Databricks Utilities voegt een opdracht voor het koppelen van updates toe

De nieuwe dbutils.fs.updateMount opdracht is vergelijkbaar met dbutils.fs.mount, maar met deze nieuwe opdracht wordt een bestaand koppelpunt bijgewerkt in plaats van een nieuw koppelpunt te maken. Zie de opdracht updateMount (dbutils.fs.updateMount).

Delta Lake biedt ondersteuning voor het wijzigen van de naam van kolommen (openbare preview)

Delta Lake biedt nu ondersteuning voor het wijzigen van kolomnamen. Als u de naam van de kolom van een Delta-tabel wilt wijzigen, moet u de versie van de Delta-tabel bijwerken en vervolgens de kolomtoewijzingsmodus instellen op naamtoewijzing. Zie Kolommen hernoemen en verwijderen met Delta Lake-kolomtoewijzing.

Delta Lake-tabelgeschiedenis voegt versiegegevens van Databricks Runtime toe

Wanneer er nu een schrijfbewerking wordt uitgevoerd naar een Delta-tabel, wordt ook informatie over de Databricks Runtime-versie vastgelegd die de schrijfbewerking heeft gemaakt. Als u de versiegegevens wilt ophalen, voert u de opdracht DESCRIBE HISTORY uit in de tabel en ziet u vervolgens de kolom engineInfo in de uitvoer. Zie DESCRIBE HISTORY en werk met tabelgeschiedenis.

Databricks Utilities voegt informatie over de meest recente wijzigingstijd toe wanneer mappen worden vermeld

Met de dbutils.fs.ls opdracht voor het weergeven van de inhoud van een map wordt nu een modificationTime veld getoond. Dit veld bevat de meest recente wijzigingstijd voor elk vermeld bestand of elke map. Zie de opdracht ls (dbutils.fs.ls).

Spark SQL voegt een approx_top_k functie toe om de belangrijkste items en het aantal items te retourneren

De nieuwe approx_top_k-functie retourneert de meest voorkomende itemwaarden, samen met hun geschatte tellingen, voor de opgegeven expressie. Enkele voorbeelden:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Het resultaat van het uitvoeren van een van beide voorbeelden is:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Zie approx_top_k aggregatiefunctie.

Trigger.AvailableNow nu beschikbaar in Python en Scala

Deze wijziging ondersteunt de Delta-bronstreamingquery's Trigger.AvailableNow in Python en Scala. Databricks Runtime 10.1 heeft ondersteuning voor deze trigger geïntroduceerd in Scala. Databricks Runtime 10.2 biedt nu ook ondersteuning voor deze trigger in Python. Zie de beschrijving van Trigger.AvailableNow in What is Auto Loader?.

Auto Loader ondersteunt nu de ontwikkeling van schema's voor Avro (openbare preview)

Zie Schemadeductie en evolutie configureren in AutoLoader.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • filelock van 3.3.1 naar 3.4.0
    • plotly van 5.3.0 naar 5.3.1
  • Bijgewerkte R-bibliotheken:
    • basis van 4.1.1 tot 4.1.2
    • compiler van 4.1.1 tot 4.1.2
    • gegevenssets van 4.1.1 tot 4.1.2
    • afbeeldingen van 4.1.1 tot 4.1.2
    • grDevices van 4.1.1 tot 4.1.2
    • raster van 4.1.1 tot 4.1.2
    • methoden van 4.1.1 tot 4.1.2
    • parallel van 4.1.1 tot 4.1.2
    • Rserve van 1,8-8 tot 1,8-10
    • splines van 4.1.1 tot 4.1.2
    • statistieken van 4.1.1 tot 4.1.2
    • stats4 van 4.1.1 tot 4.1.2
    • tcltk van 4.1.1 tot 4.1.2
    • hulpprogramma's van 4.1.1 tot 4.1.2
    • hulpmiddelen van 4.1.1 tot 4.1.2
    • backports van versie 1.2.1 naar 1.4.0
    • bezem van 0.7.9 tot 0.7.10
    • cli van 3.0.1 tot 3.1.0
    • cpp11 van 0.4.0 tot 0.4.1
    • krijt van 1.4.1 tot 1.4.2
    • referenties van 1.3.1 tot en met 1.3.2
    • update van 1.22.1 naar 1.23.0
    • Overgang van 1.4.1 naar 1.4.3
    • glmnet van 4.1-2 tot 4.1-3
    • lijm van 1.4.2 tot 1.5.0
    • memoise van 2.0.0 naar 2.0.1
    • parallel van 1.28.1 tot 1.29.0
    • readr van 2.0.2 naar 2.1.0
    • sessioninfo van 1.1.1 tot 1.2.1
    • stringi van 1.7.5 tot 1.7.6
    • tibble van 3.1.5 tot 3.1.6
    • tinytex van 0,34 tot 0,35
    • tzdb van 0.1.2 tot 0.2.0
    • usethis bijgewerkt van versie 2.1.2 naar 2.1.3
    • uuid van 0,1-4 tot 1,0-3
    • vroom van 1.5.5 tot 1.5.6
    • xfun van 0,27 tot 0,28
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson van 2.12.2 tot 2.12.3
    • io.airlift.aircompressor van 0.19 tot 0.21
    • io.netty.netty-all van 4.1.63.Final tot 4.1.68.Final
    • joda-time.joda-time van 2.10.5 naar 2.10.10
    • org.apache.commons.commons-compress van versie 1.20 naar versie 1.21
    • org.apache.orc van 1.6.10 tot 1.6.12
    • org.eclipse.jetty van 9.4.40.v20210413 tot 9.4.43.v20210629
    • org.scalanlp.breeze-macros_2.12 van 1.0 tot 1.2
    • org.scalanlp.breeze_2.12 van 1.0 tot 1.2
    • org.org.typelevel.algebra_2.12 van 2.0.0 tot 2.0.1
    • org.typelevel.cats-kernel_2.12 van 2.0.0 tot 2.0.1

Apache Spark

Databricks Runtime 10.2 bevat Apache Spark 3.2.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 10.1 (EoL) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() resulteert in een luie val
  • [SPARK-37468] [SQL] ANSI-intervallen en tijdstempelNTZ voor UnionEstimation ondersteunen
  • [SPARK-37464] [SQL] SCHEMA en DATABASE moeten alleen aliassen van NAAMRUIMTE zijn
  • [SPARK-37452] [SQL] Char en Varchar breken de achterwaartse compatibiliteit tussen v3.1 en v2
  • [SPARK-36861] [SQL] Gebruik yyyy-MM-dd als datumpatroon in partitiedetectie
  • [SPARK-37456] [SQL] CREATE NAMESPACE moet de locatie kwalificeren voor het v2-commando
  • [SPARK-37357] [SQL] Kleine partitiefactor toevoegen voor het opnieuw verdelen van partities
  • [SPARK-37446] [SQL] Gebruik reflectie voor getWithoutRegisterFns om verschillende Hive-versies toe te staan voor het bouwen
  • [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION moet een lege locatie consistent verwerken in v1- en v2-opdracht
  • [SPARK-36357] [SQL] Ondersteuning voor pushdowntijdstempel zonder tijdzone voor orc
  • [SPARK-36346] [SQL] Ondersteuning voor het type TimestampNTZ in de Orc-bestandsbron
  • [SPARK-36646] [SQL] Groep omlaag pushen op partitiekolom voor aggregaties
  • [SPARK-34960] [SQL] Aggregaat omlaag voor ORC
  • [SPARK-37386] [SQL] Vereenvoudig OptimizeSkewedJoin om de kosten evaluator niet uit te voeren
  • [SPARK-36073] [SQL] EquivalentExpressions fixes en verbeteringen
  • [SPARK-35352] [SQL] Code-gen toevoegen voor volledige outer sort merge join
  • [SPARK-37292] [SQL] Verwijdert outer join als het alleen DISTINCT heeft aan de gestreamde zijde met alias
  • [SPARK-37371] [SQL] UnionExec moet kolomvorming ondersteunen als alle onderliggende datavelden kolomvorming ondersteunen
  • [SPARK-36645] [SQL] Aggregatiefunctie (min/max/aantal) doorschuiven voor Parquet
  • [SPARK-37379] [SQL] Boomstructuurpatroon knippen toevoegen aan CTESubstitutieregel
  • [SPARK-37332] [SQL] ANSI-intervallen toestaan in ALTER TABLE .. ADD COLUMNS
  • [SPARK-37224] [SS] Schrijfpad optimaliseren op de provider van de RocksDB-toestandsopslag
  • [SPARK-37304] [SQL] ANSI-intervallen in v2 toestaan ALTER TABLE .. REPLACE COLUMNS
  • [SPARK-36924] [SQL] CAST tussen ANSI-intervallen en IntegralType
  • [SPARK-37289] [SQL] partitionSchemaOption-functie verwijderen
  • [SPARK-37270] [SQL] Push vouwbaar in CaseWhen-vertakkingen herstellen als elseValue leeg is
  • [SPARK-35345] [SQL] Parquet-tests toevoegen aan BloomFilterBenchmark
  • [SPARK-37341] [SQL] Vermijd onnodige buffer en kopieer deze in volledige outer sort merge join
  • [SPARK-37266] [SQL] Weergavetekst kan alleen worden SELECT query's
  • [SPARK-37288] [PYTHON][3.2] Backport sinds de update van annotaties
  • [SPARK-37262] [SQL] Log geen lege aggregaties en groepering in JDBCScan
  • [SPARK-37283] [SQL] Probeer een V1-tabel die ANSI-intervallen bevat niet op te slaan in Hive-compatibel formaat.
  • [SPARK-37221] [SQL] De collect-achtige API in SparkPlan moet ondersteuning bieden voor kolomuitvoer
  • [SPARK-37202] [SQL] AnalysisContext gebruiken om verwezen tijdelijke functies bij te houden
  • [SPARK-37023] [CORE] Voorkom dat de merge status wordt opgehaald wanneer shuffleMergeEnabled false is voor een shuffleDependency tijdens een retry
  • [SPARK-37307] [CORE] Geen JDBC-verbinding verkrijgen voor lege partities
  • [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions ondersteunt het optimaliseren van niet-hoofdknooppunten
  • [SPARK-36799] [SQL] Geef de naam van queryExecution door in CLI
  • [SPARK-37261] [SQL] Het toestaan van het toevoegen van partities met ANSI-intervallen in DSv2
  • [SPARK-37203] [SQL] NotSerializableException corrigeren wanneer u observeert met TypedImperativeAggregate
  • [SPARK-37199] [SQL] Deterministisch veld toevoegen aan QueryPlan
  • [SPARK-37253] [PYTHON] try_simplify_traceback mag niet mislukken wanneer tb_frame.f_lineno geen is
  • [SPARK-37214] [SQL] Mislukte queryanalyse eerder met ongeldige id's
  • [SPARK-37240] [SQL] ANSI-intervallen verwerken op ColumnVectorUtils.populate()
  • [SPARK-35437] [SQL] Expressies gebruiken om Hive-partities aan clientzijde te filteren
  • [SPARK-32940] [SQL] Verzamelen, eerste en laatste moeten deterministische statistische functies zijn
  • [SPARK-37231] [SQL] Dynamische schrijf-/leesbewerkingen van ANSI-intervalpartities
  • [SPARK-37038] [SQL] DSV2-voorbeeldpush omlaag
  • [SPARK-36665] [SQL] Meer vereenvoudigingen van not-operatoren toevoegen
  • [SPARK-37150] [SQL] DESCRIBE NAMESPACE migreren om standaard V2-opdracht te gebruiken
  • [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale faalde en retourneerde null
  • [SPARK-37212] [SQL] Verbeter de implementatie van geaggregeerde pushdown.
  • [SPARK-37190] [SQL] Foutberichten voor Cast verbeteren onder ANSI-modus
  • [SPARK-37161] [SQL] RowToColumnConverter ondersteunt AnsiIntervalType
  • [SPARK-37160] [SQL] Voegt een configuratie toe om de opvulling voor het tekenreeks type optioneel uit te schakelen
  • [SPARK-36554] [SQL][python] Make_date-expressie beschikbaar maken in functions.scala
  • [SPARK-37200] [SQL] Ondersteuning voor drop index voor Data Source V2
  • [SPARK-37179] [SQL] ANSI-modus: Een configuratie toevoegen om cast-conversie toe te staan tussen Datum/tijd en Numeriek
  • [SPARK-37168] [SQL] Foutberichten voor SQL-functies en -operators verbeteren in de ANSI-modus
  • [SPARK-36935] [SQL] ParquetSchemaConverter uitbreiden om het herhalings- en definitieniveau van Parquet te berekenen
  • [SPARK-37066] [SQL] Foutbericht verbeteren om bestandspad weer te geven wanneer het volgende bestand niet kan worden gelezen
  • [SPARK-32567] [SQL] Voeg code-generatie toe voor een volledige geshuffelde outer hash-join
  • [SPARK-37176] [SQL] Synchroniseer de exceptieafhandelingslogica van de JsonInferSchema#infer-methode met de JacksonParser#parse-methode
  • [SPARK-37149] [SQL] Foutberichten verbeteren voor uitzonderingen voor rekenkundige overloop onder de ANSI-modus
  • [SPARK-37136] [SQL] Code over hive buildin-functie verwijderen, maar niet implementeren in Spark
  • [SPARK-16280][SPARK-37082] [SQL] Implementeert histogram_numeric aggregatiefunctie die gedeeltelijke aggregatie ondersteunt.
  • [SPARK-36975] [SQL] Corrigeer de metrische gegevens van de hive-clientaanroepen in HiveClientImpl

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 10.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.58.0.13-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 kenmerken 20.3.0 terugroepactie 0.2.0
bidict 0.21.4 bleekmiddel 3.3.0 boto3 1.16.7
botocore 1.19.7 certificaat 2020.12.5 cffi 1.14.5
chardet 4.0.0 wielrijder 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorateur 5.0.6 defusedxml 0.7.1
distlib 0.3.3 distro-info 0.23ubuntu1 invoerpunten 0,3
facettenoverzicht 1.0.0 bestandsvergrendeling 3.4.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 onstemmen 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notitieboekje 6.3.0 numpy 1.19.2
verpakking 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Kussen 8.2.0 pip 21.0.1
plotly 5.3.1 prometheus-client 0.10.1 prompt-hulpmiddelenpakket 3.0.17
protocolbuffers 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
Verzoeken 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.6.2 geboren op zee 0.11.1
Send2Trash 1.5.0 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 52.0.0 Zes 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 vasthoudendheid 8.0.1
afgerond 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 Traitlets (Python library voor het configureren van Python-objecten) 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Webencoderingen 0.5.1 wiel 0.36.2 widgetsnbextension 3.5.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-11-30.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
wachtwoord vragen 1.1 verzeker dat 0.2.1 terugimporten 1.4.0
basis 4.1.2 base64enc 0.1-3 beetje 4.0.4
64-bitsysteem 4.0.5 Druppel 1.2.2 opstarten 1.3-28
brouwsel 1.0-6 Brio 1.1.2 bezem 0.7.10
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
Caret 6.0-90 cellranger (softwaretool voor genetische analyse) 1.1.0 Chron 2.3-56
klasse 7.3-19 CLI 3.1.0 Clipr 0.7.1
groep 2.1.2 codetools 0.2-18 kleurenruimte 2.0-2
commonmark 1,7 programmacompileerder 4.1.2 configuratie 0.3.1
cpp11 0.4.1 kleurpotlood 1.4.2 geloofsbrief 1.3.2
curl 4.3.2 Data-tabel 1.14.2 gegevenssets 4.1.2
DBI 1.1.1 dbplyr 2.1.1 Beschrijving 1.4.0
devtools 2.4.2 diffobj 0.3.5 verwerken 0.6.28
dplyr (een R-pakket voor gegevensmanipulatie) 1.0.7 dtplyr 1.1.0 e1071 1.7-9
beletselteken 0.3.2 beoordelen 0,14 fans 0.5.0
kleuren 2.1.0 snelle kaart 1.1.0 Fontawesome 0.2.2
dwangarbeiders 0.5.1 foreach 1.5.1 buitenlands 0.8-81
smeden 0.2.0 fs 1.5.0 toekomst 1.23.0
future.apply 1.8.1 gorgelen 1.2.0 Generics 0.1.1
Gert 1.4.3 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globale variabelen 0.14.0
lijm 1.5.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 afbeeldingen 4.1.2 grDevices 4.1.2
netwerk 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 toevluchtsoord/schuilplaats 2.4.3 hoger 0,9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 identiteiten 1.0.1 ini 0.3.1
IPRED 0.9-12 isoband 0.2.5 Iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 etikettering 0.4.2 daarna 1.3.0
latwerk 0.20-45 lava 1.6.10 levenscyclus 1.0.1
luisteren 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1.1 MASSA 7.3-54 Matrix 1.3-4
memoriseer 2.0.1 methoden 4.1.2 mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8 tot 1.1 OpenSSL-software 1.4.5 evenwijdig 4.1.2
parallel 1.29.0 pilaar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 prijzen 1.0.0 prettyunits 1.1.1
pROC 1.18.0 Processx 3.5.2 prodlim 2019.11.13
Voortgang 1.2.2 progressr 0.9.0 Beloften 1.2.0.1
Proto 1.0.0 tussenpersoon 0.4-26 P.S. 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 RcppEigen 0.3.3.9.1
readr 2.1.0 readxl (een programma voor het lezen van Excel-bestanden) 1.3.1 recepten 0.1.17
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.1
reprex (reproduceerbaar voorbeeld) 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart (een R-pakket voor beslissingsboommodellering) 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.8 rstudioapi 0,13 rversions 2.1.1
rvest (een softwarepakket voor webscraping) 1.0.2 Sass 0.4.0 weegschaal 1.1.1
Selectr 0,4-2 sessiegegevens 1.2.1 vorm 1.4.6
glanzend en nieuw 1.7.1 sourcetools 0.1.7 sparklyr 1.7.2
SparkR 3.2.0 ruimtelijk 7.3-11 Splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 Statistieken 4.1.2
statistieken4 4.1.2 strings 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
OnderwijsDemo's 2.10 testthat 3.1.0 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
tijd en datum 3043.102 tinytex 0,35 gereedschappen 4.1.2
tzdb 0.2.0 gebruik dit 2.1.3 utf8 1.2.2
hulpmiddelen 4.1.2 UUID (Universally Unique Identifier) 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 Vroom 1.5.6 Waldo 0.3.1
snor 0,4 verwelken 2.4.2 xfun 0,28
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
YAML 2.2.1 zip-bestand 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuratie) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws AWS Java SDK Datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.11.655
com.amazonaws aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK Import/Export 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logbestanden 1.11.655
com.amazonaws AWS-Java-SDK-MachineLearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-ondersteuning 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_systeem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native systeem voor Linux x86_64, inclusief natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (een compressie-algoritme) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-dbcp commons-dbcp 1.4
bestandsupload van commons bestandsupload van commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-net commons-net 3.1
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib LAPACK 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.21
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics graphite-metriek 4.1.1
io.dropwizard.metrics metrische gezondheidscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.1.1
io.dropwizard.metrics metriekgegevens voor JVM 4.1.1
io.dropwizard.metrics metrieke gegevens-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
Maven-bomen hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pyroliet 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.13.3
net.sneeuwvlok spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow pijlpunt-geheugen-kern 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro AVRO 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress - een bibliotheek voor compressie 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-tekst 1.6
org.apache.curator beheerder-cliënt 2.13.0
org.apache.curator curatorraamwerk 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop Hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-uitvoeringsomgeving 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-opslag-API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-kolom 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-codering 1.12.0-databricks-0003
org.apache.parquet Parquetformatstructuren 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotaties voor specifieke doelgroepen 0.5.0
org.apache.zookeeper dierentuinverzorger 3.6.2
org.apache.zookeeper dierentuinopzichter-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-vervolg 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty Jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.43.v20210629
org.eclipse.jetty Jetty-beveiliging 9.4.43.v20210629
org.eclipse.jetty Jetty Server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core Algemene Jersey 2,34
org.glassfish.jersey.core Jersey-Server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap vulplaatjes 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework kern van Spring 4.1.4.RELEASE
org.springframework lente-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on