Share via

Databricks Runtime 8.4 (EoL)

Notitie

Deze Databricks Runtime-versie heeft het einde van de levensduur bereikt en is niet meer beschikbaar. Zie End-of-Support en end-of-life history voor einddatums. Zie de ondersteuningslevenscycli van Databricks Runtime voor informatie over het ondersteuningsbeleid en de planning van Databricks.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 8.4 en Databricks Runtime 8.4 Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze versie uitgebracht in juli 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

Delta Lake-functies en -verbeteringen

Delta-tabel: gegevensfeed wijzigen (GA)

De gegevensfeed voor wijzigingen in de Delta-tabel is nu algemeen beschikbaar. Het vertegenwoordigt de wijzigingen op rijniveau tussen verschillende versies van de tabel. Wanneer deze optie is ingeschakeld, wordt aanvullende informatie vastgelegd met betrekking tot wijzigingen op rijniveau voor elke schrijfbewerking in de tabel. Zie Delta Lake-wijzigingsgegevensfeed gebruiken in Azure Databricks.

Gedeelde Delta-tabellen eenvoudig laden met Databricks Runtime

De Apache Spark-connector voor Delta Sharing 0.1.0 bevindt zich nu in Databricks Runtime. U kunt een gedeelde tabel spark.read.format("deltaSharing").load(uri) rechtstreeks laden zonder de Delta Sharing Spark-connector aan uw cluster te koppelen.

Meer tabellen profiteren van dynamisch verwijderen van bestanden

De functie voor dynamisch bestanden pruning is afgestemd om te activeren bij tabellen met een kleiner aantal bestanden. Zie Dynamisch bestand verwijderen.

Betere prestaties met automatisch afstemmen van doelbestandsgrootte

De doelbestandsgrootte voor Delta-tabellen wordt nu automatisch afgestemd op basis van de tabelgrootte. Voorheen was de doelbestandsgrootte voor OPTIMIZE en OPTIMIZE ZORDER BY was deze 1 GB. Met automatisch afstemmen op basis van tabelgrootte gebruiken Delta-tabellen tot 2,56 TB 256 MB als doelgrootte. Tabellen die groter zijn dan 10 TB, gebruiken 1 GB zoals voorheen. Tabellen tussen deze grootten maken gebruik van doelgrootten die proportioneel toenemen met de tabelgrootte. Zie De grootte van het gegevensbestand beheren.

Meer manieren om tabellen op te geven in DeltaTable.forName

DeltaTable.forName ondersteunt nu het gebruik van delta.`<path>` om tabellen te identificeren.

Robuuste schrijfbewerkingen voor meerdere tabellen streamen met foreachBatch

Idempotente Delta streaming-schrijfacties binnen de foreachBatch() opdracht worden nu ondersteund. Zie Idempotente schrijfbewerkingen voor meerdere tabellen voor meer informatie.

Verbeterde prestaties van leesqueries in bepaalde workloads door geoptimaliseerde controlepunten.

Delta Lake stelt nu af hoe vaak het verbeterde controlepuntprocessen uitvoert. In plaats van controlepunten met een vast interval, past Delta de controlepuntfrequentie dynamisch aan op basis van bepaalde gebeurtenistriggers. Dit verbetert de prestaties van leesvragen in workloads waarbij bepaalde optimalisaties voor het overslaan van gegevens voorheen niet konden worden toegepast. Als u deze optimalisaties wilt gebruiken, moet u uw taken bijwerken die naar Delta Lake schrijven naar Databricks Runtime 8.4.

Maken GroupState om door de gebruiker gedefinieerde Structured Streaming-functies te testen

Tot nu toe kon alleen de Structured Streaming engine exemplaren van GroupState maken. Daarom moeten alle eenheidstests van de door de gebruiker gedefinieerde functie een streamingquery uitvoeren in Apache Spark.

Nu kunt u instanties van GroupState maken met behulp van TestGroupState.create(…). Hiermee kunt u een door de gebruiker gedefinieerde functie testen in eenvoudige eenheidstests waarvoor spark niet hoeft te worden uitgevoerd. Zie De mapGroupsWithState updatefunctie testen. Het produceert met name exemplaren van het type TestGroupState die de interface GroupState uitbreiden met aanvullende methoden voor het introspecteren van de interne status nadat de door de gebruiker gedefinieerde functie is toegepast.

Functies en verbeteringen voor automatisch laden

Backfilling configureren om gemiste bestanden vast te leggen

Auto Loader biedt nu ondersteuning voor het asynchroon uitvoeren van backfills om bestanden vast te leggen die mogelijk zijn gemist met bestandsmeldingen. Bestandsopslagsystemen en meldingssystemen kunnen niet garanderen dat alle bestandsevenementen 100% worden geleverd. Daarom raadt Databricks aan om periodieke aanvullingen in te schakelen om al uw gegevens vast te leggen met Auto Loader. Gebruik de cloudFiles.backfillInterval optie om regelmatige backfills te plannen voor uw gegevens. Zie algemene opties voor automatisch laden.

Beperkte opslagvoetafdruk voor grote volumestromen

U kunt Auto Loader nu configureren om vermeldingen in RocksDB te laten vervallen en te verwijderen, zodat de opslagvoetafdruk op de controlepuntlocatie beperkt blijft. Databricks raadt u niet aan om te gebruiken, tenzij u gegevens in de volgorde van miljoenen bestanden per uur opneemt. Als u deze optie onjuist instelt of probeert af te stemmen, kan dit leiden tot veel problemen met de gegevenskwaliteit, zoals niet-verwerkte bestanden die worden genegeerd of gedupliceerd van sommige bestanden in plaats van precies één keer te verwerken. Zie Het bijhouden van bestandsevenementen voor meer informatie.

Vereenvoudigde configuratie met padloze ondersteuning

S3-buckets

U kunt nu de SQS-wachtrij definiëren die gebeurtenissen van meerdere paden of S3-buckets ontvangt. Als u de URL van de SQS-wachtrij opgeeft, is de path optie niet vereist voor deze use-case. Auto Loader bouwt S3-paden met behulp van de bucket en key van de S3-evenementen. Als u de bestanden wilt lezen via DBFS-koppelpunten, kunt u padvoorvoegsels cloudFiles.pathRewrites wijzigen in DBFS. Dit is niet vereist, tenzij u toegang hebt tot gegevens in verschillende accounts met AssumeRole.

Zie opties voor bestandsmeldingen.

Azure Data Lake Storage-containers

U kunt nu de Azure-wachtrij opgeven die gebeurtenissen van meerdere containers ontvangt. Als u de azure-wachtrijnaam opgeeft, is de path optie niet vereist. Standaard construeert Auto Loader Azure Data Lake Storage-paden met behulp van de container en sleutel in de bestandsgebeurtenissen. Als u WASB-paden of DBFS-koppelpunten wilt gebruiken, kunt u cloudFiles.pathRewrites gebruiken om padvoorvoegsels te wijzigen.

Zie opties voor bestandsmeldingen.

Connectorupgrades

  • De Snowflake Spark-connector is bijgewerkt naar v2.9.0.
  • KMS-versleuteling wordt nu ondersteund in de UNLOAD instructie van de Redshift-connector.

Bugfixes

  • Er is een probleem opgelost voor clusters die zijn ingeschakeld met toegangsbeheer voor tabellen, waarbij select * from folder mapinhoud kan worden weergegeven, zelfs als de gebruiker geen machtiging voor bestandstoegang heeft.
  • Eigenaren van niet-beheerdersdatabases kunnen nu niet-eigendomstabellen in databases verwijderen. Hiermee wordt het probleem opgelost waarbij database-eigenaren een database niet konden verwijderen als er niet-eigendom tabellen in de database bestonden.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • certifi bijgewerkt van 2020.12.5 naar 2021.5.30
    • distill bijgewerkt van 0.3.1 naar 0.3.2
    • koalas bijgewerkt van 1.8.0 naar 1.8.1
    • protobuf bijgewerkt van 3.17.0 naar 3.17.3
  • Bijgewerkte R-bibliotheken:
    • basis van 4.0.4 tot 4.1.0
    • Patch van 1.3-27 naar 1.3-28
    • klasse van 7,3-18 tot 7,3-19
    • cluster van 2.1.1 tot 2.1.2
    • compiler van 4.0.4 tot 4.1.0
    • gegevenssets van 4.0.4 tot 4.1.0
    • afbeeldingen van 4.0.4 tot 4.1.0
    • grDevices van 4.0.4 tot 4.1.0
    • grid van 4.0.4 tot 4.1.0
    • KernSmooth van 2.23-18 tot 2.23-20
    • tralie van 0,20-41 tot 0,20-44
    • MASSA van 7.3-53.1 tot 7,3-54
    • Matrix van 1,3-2 tot 1,3-3
    • methoden van 4.0.4 tot 4.1.0
    • mgcv van 1,8-33 tot 1,8-35
    • nnet van 7.3-15 tot 7.3-16
    • parallel van 4.0.4 tot 4.1.0
    • Rserve van 1,8-7 tot 1,8-8
    • SparkR van 3.1.1 tot 3.1.2
    • splines van 4.0.4 tot 4.1.0
    • statistieken van 4.0.4 tot 4.1.0
    • stats4 update van versie 4.0.4 naar versie 4.1.0
    • overleving van 3,2-7 tot 3,2-11
    • tcltk van 4.0.4 tot 4.1.0
    • hulpprogramma's van 4.0.4 tot 4.1.0
    • utils van 4.0.4 tot 4.1.0
  • Bijgewerkte Java-bibliotheken:
    • snowflake-jdbc van 3.12.8 tot 3.13.3
    • spark-snowflake_2.12 van 2.8.1-spark_3.0 tot 2.9.0-spark_3.1
    • RoaringBitmap van 0.9.0 tot 0.9.14
    • shims van 0.9.0 tot 0.9.14
    • rocksdbjni vanm 6.2.2 tot 6.20.3

Apache Spark

Databricks Runtime 8.4 bevat Apache Spark 3.1.2. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 8.3 (EoL) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-35792] [SQL] Weergave mag geen configuraties vastleggen die worden gebruikt in RelationConversions
  • [SPARK-35700] [SQL] Het lezen van een char/varchar Orc-tabel die gemaakt en geschreven is door externe systemen
  • [SPARK-35636] [SQL] Lambda-sleutels mogen niet buiten de lambda-functie worden verwezen
  • [SPARK-35800] [Cherry Pick] De testbaarheid van GroupState verbeteren door TestGroupState te introduceren
  • [SPARK-35391] Geheugenlek in ExecutorAllocationListener oplossen
  • [SPARK-35799] [CherryPick] De meetwaarde allUpdatesTimeMs opgelost in FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] De opsommingsafhankelijkheid van de subklasse StateStoreCustomMetric verwijderen
  • [c0>SPARK-35791 [SQL] Vrijgeven lopende kaart correct naar behoren voor NULL-aware ANTI join
  • [SPARK-35695] [SQL] Waargenomen metrieke gegevens verzamelen uit cache- en adaptieve uitvoeringssubstructuren
  • [SPARK-35767] [SQL] Voorkom het tweemaal uitvoeren van een kindplan in CoalesceExec
  • [SPARK-35746] [UI] Taak-id herstellen in de tijdlijn van de fasepaginataak
  • [SPARK-35673] [SQL] Door de gebruiker gedefinieerde hint en niet-herkende hint in subquery herstellen.
  • [SPARK-35714] [CORE] Bugfix voor deadlock tijdens het afsluiten van de executor
  • [SPARK-35689] [SS] Logboek waarschuwen toevoegen wanneer keyWithIndexToValue null-waarde retourneert
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint mag tijdens het bijwerken het bestand met alleen indexen niet negeren
  • [SPARK-35643] [PYTHON] Dubbelzinnige verwijzing in functions.py column() oplossen
  • [SPARK-35652] [SQL] joinWith op twee tabellen die zijn gegenereerd op basis van dezelfde tabel
  • [SPARK-35679] [SQL] instantToMicros overflow
  • [SPARK-35602] [SS] Statusschema bijwerken om JSON met lange lengte te kunnen accepteren
  • [SPARK-35653] [SQL] Fix CatalystToExternalMap geïnterpreteerd pad mislukt voor Kaart met caseklassen als sleutels of waarden
  • [SPARK-35296] [SQL] Toestaan dat Dataset.observe werkt, zelfs als CollectMetricsExec in een taak meerdere partities verwerkt.
  • [SPARK-35659] [SS] Vermijd schrijven van null naar StateStore
  • [SPARK-35665] [SQL] Het oplossen van UnresolvedAlias in CollectMetrics
  • [SPARK-35558] Optimaliseert voor het ophalen van meerdere kwantielen
  • [SPARK-35621] [SQL] Regel-id's verwijderen aan de TypeCoercion-regel toevoegen
  • [SPARK-35077] [SQL] Overgaan naar transformWithPruning voor overgebleven optimizer regels
  • [SPARK-35610] [CORE] Los het geheugenlek op dat is geïntroduceerd door de stop shutdown hook van de Executor
  • [SPARK-35544] [SQL] Boomstructuurpatroon snoeien toevoegen aan de Analyserregels
  • [SPARK-35566] [SS] StateStoreRestoreExec-uitvoerrijen repareren
  • [SPARK-35454] [SQL][3.1] Eén LogicalPlan kan overeenkomen met meerdere gegevensset-id's
  • [SPARK-35538] [SQL] TransformAllExpressions-aanroepsites migreren om transformAllExpressionsWithPruning te gebruiken
  • [SPARK-35106] [Core][sql] Vermijd mislukte naamswijziging veroorzaakt door doelmap bestaat niet
  • [SPARK-35287] [SQL] Sta RemoveRedundantProjects toe om ProjectExec te behouden, die een UnsafeRow genereert voor DataSourceV2ScanRelation.
  • [SPARK-35495] [R] SparkR-onderhouder voor CRAN wijzigen
  • [SPARK-27991] [CORE] De ophaalaanvraag op Netty OOM uitstellen
  • [SPARK-35171] [R] Declareer het Markdown-pakket als een afhankelijkheid van het SparkR-pakket
  • [SPARK-35454] [SQL] Eén LogicalPlan kan overeenkomen met meerdere gegevensset-id's
  • [SPARK-35298] [SQL] Migreren naar transformWithPruning voor regels in Optimizer.scala
  • [SPARK-35480] [SQL] Zorg ervoor dat percentile_approx werkt met draaitabel
  • [SPARK-35093] [SQL] AQE maakt nu gebruik van het newQueryStage-plan als sleutel voor het opzoeken van uitwisselingen in de cache voor hergebruik
  • [SPARK-35146] [SQL] Migreren naar transformWithPruning of resolveWithPruning voor regels in finishAnalysis.scala
  • [SPARK-35411] [SQL] Essentiële informatie toevoegen tijdens het serialiseren van TreeNode aan json
  • [SPARK-35294] [SQL] Boomtraversering snoeien toevoegen in regels met speciale bestanden onder de optimizer
  • [SPARK-34897] [SQL][3.1] Ondersteuning voor het afstemmen van schema's op basis van index na het verwijderen van geneste kolommen
  • [SPARK-35144] [SQL] Migreren naar transformWithPruning voor objectregels
  • [SPARK-35155] [SQL] Regel-id's verwijderen aan Analyzer-regels toevoegen
  • [SPARK-35382] [PYTHON] Los problemen met de naam van lambda-variabelen in geneste DataFrame-functies in de Python-API's op.
  • [SPARK-35359] [SQL] Het invoegen van gegevens met teken-/varchar-gegevenstype mislukt wanneer de gegevenslengte de lengtelimiet overschrijdt
  • [SPARK-35381] [R] Los problemen met de naam van lambda-variabelen op in geneste hogere orde functies bij de R-API

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) 1.4.4 asn1crypto 1.4.0 terugroepactie 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certificaat 2021.5.30 cffi 1.14.3 chardet 3.0.4
cryptografie 3.1.1 wielrijder 0.10.0 Cython 0.29.21
decorateur 4.4.2 distlib 0.3.2 docutils 0.15.2
invoerpunten 0,3 facettenoverzicht 1.0.0 bestandsvergrendeling 3.0.12
IDNA 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-hulpmiddelenpakket 3.0.8
protocolbuffers 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.1 pytz 2020.5 pyzmq 19.0.2
Verzoeken 2.24.0 Opnieuw proberen... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 Scipy (een wetenschappelijke bibliotheek voor Python) 1.5.2 geboren op zee 0.10.0
setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 50.3.1 Zes 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 Traitlets (Python library voor het configureren van Python-objecten) 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wiel 0.35.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
wachtwoord vragen 1.1 verzeker dat 0.2.1 terugimporten 1.2.1
basis 4.1.0 base64enc 0.1-3 BH 1.72.0-3
beetje 4.0.4 64-bitsysteem 4.0.5 Druppel 1.2.1
opstarten 1.3-28 brouwsel 1.0-6 Brio 1.1.0
bezem 0.7.2 beller 3.5.1 Caret 6.0-86
cellranger (softwaretool voor genetische analyse) 1.1.0 Chron 2.3-56 klasse 7.3-19
CLI 2.2.0 Clipr 0.7.1 groep 2.1.2
codetools 0.2-18 kleurenruimte 2.0-0 commonmark 1,7
programmacompileerder 4.1.0 configuratie 0,3 covr 3.5.1
cpp11 0.2.4 kleurpotlood 1.3.4 aanmeldingsgegevens 1.3.0
Overspraak 1.1.0.1 curl 4.3 gegevenstabel 1.13.4
gegevenssets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Beschrijving 1.2.0 devtools 2.3.2 diffobj 0.3.2
verwerken 0.6.27 dplyr (een R-pakket voor gegevensmanipulatie) 1.0.2 DT 0,16
beletselteken 0.3.1 beoordelen 0,14 fans 0.4.1
kleuren 2.0.3 snelle kaart 1.0.1 dwangarbeiders 0.5.0
foreach 1.5.1 buitenlands 0.8-81 smeden 0.2.0
fs 1.5.0 toekomst 1.21.0 Generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globale variabelen 0.14.0
lijm 1.4.2 Gower 0.2.2 afbeeldingen 4.1.0
grDevices 4.1.0 netwerk 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 toevluchtsoord/schuilplaats 2.3.1
hoger 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
IPRED 0.9-9 isoband 0.2.3 Iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
etikettering 0.4.2 daarna 1.1.0.1 latwerk 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 levenscyclus 0.2.0
luisteren 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASSA 7.3-54 Matrix 1.3-3
memoriseer 1.1.0 methoden 4.1.0 mgcv 1.8-35
Mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8 tot 1.1 OpenSSL-software 1.4.3 evenwijdig 4.1.0
parallel 1.22.0 pilaar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 prijzen 1.0.0 prettyunits 1.1.1
pROC 1.16.2 Processx 3.4.5 prodlim 2019.11.13
Voortgang 1.2.2 Beloften 1.1.1 Proto 1.0.0
P.S. 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl (een programma voor het lezen van Excel-bestanden) 1.3.1 recepten 0.1.15
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.2.0
reprex (reproduceerbaar voorbeeld) 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart (een R-pakket voor beslissingsboommodellering) 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest (een softwarepakket voor webscraping) 0.3.6 weegschaal 1.1.1
Selectr 0,4-2 sessiegegevens 1.1.1 vorm 1.4.5
glanzend en nieuw 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 ruimtelijk 7.3-11 Splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 Statistieken 4.1.0
statistieken4 4.1.0 strings 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
OnderwijsDemo's 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
tijd en datum 3043.102 tinytex 0,28 gereedschappen 4.1.0
gebruik dit 2.0.0 utf8 1.1.4 hulpmiddelen 4.1.0
UUID (Universally Unique Identifier) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 snor 0,4 verwelken 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 YAML 2.2.1 zip-bestand 2.1.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuratie) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws AWS Java SDK Datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.11.655
com.amazonaws aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK Import/Export 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logbestanden 1.11.655
com.amazonaws AWS-Java-SDK-MachineLearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-ondersteuning 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_systeem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native systeem voor Linux x86_64, inclusief natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (een compressie-algoritme) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
bestandsupload van commons bestandsupload van commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-net commons-net 3.1
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics graphite-metriek 4.1.1
io.dropwizard.metrics metrische gezondheidscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.1.1
io.dropwizard.metrics metriekgegevens voor JVM 4.1.1
io.dropwizard.metrics metrieke gegevens-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
Maven-bomen hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pyroliet 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.13.3
net.sneeuwvlok spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow pijlpunt-geheugen-kern 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro AVRO 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress - een bibliotheek voor compressie 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-tekst 1.6
org.apache.curator beheerder-cliënt 2.7.1
org.apache.curator curatorraamwerk 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-authenticatie 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop-HDFS (Hadoop Distributed File System) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (gebruikelijk in softwareterminologie) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core (kernmodule van hadoop-mapreduce-client) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common (hadoop-yarn-server-algemeen) 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-opslag-API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubatie
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-kolom 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-codering 1.10.1-databricks9
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotaties voor specifieke doelgroepen 0.5.0
org.apache.zookeeper dierentuinverzorger 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-vervolg 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty Jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.36.v20210114
org.eclipse.jetty Jetty-beveiliging 9.4.36.v20210114
org.eclipse.jetty Jetty Server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core Algemene Jersey 2.30
org.glassfish.jersey.core Jersey-Server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap vulplaatjes 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework kern van Spring 4.1.4.RELEASE
org.springframework lente-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52
  • Last updated on