Delen via

Databricks Runtime 8.4 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 8.4 en Databricks Runtime 8.4 Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze versie uitgebracht in juli 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

Delta Lake-functies en -verbeteringen

Delta-tabel: gegevensfeed wijzigen (GA)

De gegevensfeed voor wijzigingen in de Delta-tabel is nu algemeen beschikbaar. Het vertegenwoordigt de wijzigingen op rijniveau tussen verschillende versies van de tabel. Wanneer deze optie is ingeschakeld, wordt aanvullende informatie vastgelegd met betrekking tot wijzigingen op rijniveau voor elke schrijfbewerking in de tabel. Zie Delta Lake-wijzigingsgegevensfeed gebruiken in Azure Databricks.

Gedeelde Delta-tabellen eenvoudig laden met Databricks Runtime

De Apache Spark-connector voor Delta Sharing 0.1.0 bevindt zich nu in Databricks Runtime. U kunt een gedeelde tabel spark.read.format("deltaSharing").load(uri) rechtstreeks laden zonder de Delta Sharing Spark-connector aan uw cluster te koppelen.

Meer tabellen profiteren van dynamisch verwijderen van bestanden

De functie voor het dynamisch verwijderen van bestanden is afgestemd op triggers in tabellen met minder bestanden. Zie Dynamisch bestand verwijderen.

Betere prestaties met automatisch afstemmen van doelbestandsgrootte

De doelbestandsgrootte voor Delta-tabellen wordt nu automatisch afgestemd op basis van de tabelgrootte. Voorheen was de doelbestandsgrootte voor OPTIMIZE en OPTIMIZE ZORDER BY was deze 1 GB. Met automatisch afstemmen op basis van tabelgrootte gebruiken Delta-tabellen tot 2,56 TB 256 MB als doelgrootte. Tabellen die groter zijn dan 10 TB, gebruiken 1 GB zoals voorheen. Tabellen tussen deze grootten maken gebruik van doelgrootten die proportioneel toenemen met de tabelgrootte. Zie Delta Lake configureren voor het beheren van de bestandsgrootte.

Meer manieren om tabellen op te geven in DeltaTable.forName

DeltaTable.forName ondersteunt nu het gebruik van tabellen delta.`<path>` om tabellen te identificeren.

Robuuste schrijfbewerkingen voor meerdere tabellen streamen met foreachBatch

Idempotent Delta-streaming-schrijfbewerkingen binnen de foreachBatch() opdracht worden nu ondersteund. Zie Idempotente schrijfbewerkingen voor meerdere tabellen voor meer informatie.

Verbeterde prestaties van leesquery's in bepaalde workloads vanwege afgestemde controlepunten

Delta Lake tunest nu hoe vaak het verbeterde controlepunten doet. In plaats van controlepunten met een vast interval, past Delta de controlepuntfrequentie dynamisch aan op basis van bepaalde gebeurtenistriggers. Dit verbetert de prestaties van leesquery's in workloads waarbij sommige optimalisatie voor het overslaan van gegevens niet eerder kon worden toegepast. Als u deze optimalisaties wilt gebruiken, moet u uw taken bijwerken die naar Delta Lake schrijven naar Databricks Runtime 8.4. Zie Verbeterde controlepunten inschakelen voor Structured Streaming-query's.

Maken GroupState om door de gebruiker gedefinieerde Structured Streaming-functies te testen

Tot nu toe kon alleen de Structured Streaming-engine exemplaren van GroupState. Daarom moeten alle eenheidstests van de door de gebruiker gedefinieerde functie een streamingquery uitvoeren in Apache Spark.

U kunt nu exemplaren GroupState van het gebruik TestGroupState.create(…)maken. Hiermee kunt u een door de gebruiker gedefinieerde functie testen in eenvoudige eenheidstests waarvoor spark niet hoeft te worden uitgevoerd. Zie De updatefunctie mapGroupsWithState testen. Het produceert met name exemplaren van het type TestGroupState die de interface GroupState uitbreiden met aanvullende methoden voor het introspecteren van de interne status nadat de door de gebruiker gedefinieerde functie is toegepast.

Functies en verbeteringen voor automatisch laden

Backfilling configureren om gemiste bestanden vast te leggen

Auto Loader biedt nu ondersteuning voor het asynchroon uitvoeren van backfills om bestanden vast te leggen die mogelijk zijn gemist met bestandsmeldingen. Bestandsopslagsystemen en meldingssystemen kunnen niet garanderen dat alle bestandsevenementen 100% worden geleverd. Daarom raadt Databricks aan periodieke backfills in te schakelen om al uw gegevens vast te leggen met automatisch laden. Gebruik de cloudFiles.backfillInterval optie om regelmatige backfills te plannen voor uw gegevens. Zie algemene opties voor automatisch laden.

Gebonden opslagvoetafdruk voor grote volumestromen

U kunt autolader nu configureren om te verlopen en vermeldingen in RocksDB te verwijderen om de opslagvoetafdruk te beperken op de controlepuntlocatie. Databricks raadt u niet aan om te gebruiken, tenzij u gegevens in de volgorde van miljoenen bestanden per uur opneemt. Als u deze optie onjuist instelt of probeert af te stemmen, kan dit leiden tot veel problemen met de gegevenskwaliteit, zoals niet-verwerkte bestanden die worden genegeerd of gedupliceerd van sommige bestanden in plaats van precies één keer te verwerken. Zie Retentie van gebeurtenissen voor meer informatie.

Vereenvoudigde configuratie met padloze ondersteuning

S3-buckets

U kunt nu de SQS-wachtrij opgeven die gebeurtenissen van meerdere paden of S3-buckets ontvangt. Als u de URL van de SQS-wachtrij opgeeft, is de path optie niet vereist voor deze use-case. Auto Loader bouwt S3-paden met behulp van de bucket en sleutel van de S3-gebeurtenissen. Als u de bestanden wilt lezen via DBFS-koppelpunten, kunt u padvoorvoegsels cloudFiles.pathRewrites wijzigen in DBFS. Dit is niet vereist, tenzij u toegang hebt tot gegevens in verschillende accounts met AssumeRole.

Zie opties voor bestandsmeldingen.

Azure Data Lake Storage Gen2-containers

U kunt nu de Azure-wachtrij opgeven die gebeurtenissen van meerdere containers ontvangt. Als u de azure-wachtrijnaam opgeeft, is de path optie niet vereist. Auto Loader maakt standaard Azure Data Lake Storage Gen2-paden met behulp van de container en sleutel in de bestandsevenementen. Als u WASB-paden of DBFS-koppelpunten wilt gebruiken, kunt cloudFiles.pathRewrites u padvoorvoegsels wijzigen.

Zie opties voor bestandsmeldingen.

Connectorupgrades

  • De Snowflake Spark-connector is bijgewerkt naar v2.9.0.
  • KMS-versleuteling wordt nu ondersteund in de UNLOAD instructie van de Redshift-connector.

Bugfixes

  • Er is een probleem opgelost voor clusters die zijn ingeschakeld met toegangsbeheer voor tabellen, waarbij select * from folder mapinhoud kan worden weergegeven, zelfs als de gebruiker geen machtiging voor bestandstoegang heeft.
  • Eigenaren van niet-beheerdersdatabases kunnen nu niet-eigendomstabellen in databases verwijderen. Hiermee wordt het probleem opgelost waarbij database-eigenaren een database niet konden verwijderen als er niet-eigendom tabellen in de database bestonden.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • certifi bijgewerkt van 2020.12.5 naar 2021.5.30
    • distilleer geüpgraded van 0.3.1 naar 0.3.2
    • koalas bijgewerkt van 1.8.0 naar 1.8.1
    • protobuf bijgewerkt van 3.17.0 naar 3.17.3
  • Bijgewerkte R-bibliotheken:
    • basis van 4.0.4 tot 4.1.0
    • opstarten van 1.3-27 tot 1.3-28
    • klasse van 7,3-18 tot 7,3-19
    • cluster van 2.1.1 tot 2.1.2
    • compiler van 4.0.4 tot 4.1.0
    • gegevenssets van 4.0.4 tot 4.1.0
    • afbeeldingen van 4.0.4 tot 4.1.0
    • grDevices van 4.0.4 tot 4.1.0
    • raster van 4.0.4 tot 4.1.0
    • KernSmooth van 2.23-18 tot 2.23-20
    • rooster van 0,20-41 tot 0,20-44
    • MASSA van 7.3-53.1 tot 7,3-54
    • Matrix van 1,3-2 tot 1,3-3
    • methoden van 4.0.4 tot 4.1.0
    • mgcv van 1,8-33 tot 1,8-35
    • nnet van 7.3-15 tot 7.3-16
    • parallel van 4.0.4 tot 4.1.0
    • Rserve van 1,8-7 tot 1,8-8
    • SparkR van 3.1.1 tot 3.1.2
    • splines van 4.0.4 tot 4.1.0
    • statistieken van 4.0.4 tot 4.1.0
    • stats4 van 4.0.4 tot 4.1.0
    • overleving van 3,2-7 tot 3,2-11
    • tcltk van 4.0.4 tot 4.1.0
    • hulpprogramma's van 4.0.4 tot 4.1.0
    • hulpmiddelen van 4.0.4 tot 4.1.0
  • Bijgewerkte Java-bibliotheken:
    • snowflake-jdbc van 3.12.8 tot 3.13.3
    • spark-snowflake_2.12 van 2.8.1-spark_3.0 tot 2.9.0-spark_3.1
    • RoaringBitmap van 0.9.0 tot 0.9.14
    • shims van 0.9.0 tot 0.9.14
    • rocksdbjni vanm 6.2.2 tot 6.20.3

Apache Spark

Databricks Runtime 8.4 bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 8.3 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-35792] [SQL] Weergave mag geen configuraties vastleggen die worden gebruikt in RelationConversions
  • [SPARK-35700] [SQL] Char/varchar orc-tabel lezen met gemaakt en geschreven door externe systemen
  • [SPARK-35636] [SQL] Lambda-sleutels mogen niet buiten de lambda-functie worden verwezen
  • [SPARK-35800] [Cherry Pick] De testbaarheid van GroupState verbeteren door TestGroupState te introduceren
  • [SPARK-35391] Geheugenlek in ExecutorAllocationListener oplossen
  • [SPARK-35799] [CherryPick] De meetwaarde allUpdatesTimeMs opgelost in FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] De opsommingsafhankelijkheid van de subklasse StateStoreCustomMetric verwijderen
  • [SPARK-35791 [SQL] Release on-going map correct for NULL-aware ANTI join
  • [SPARK-35695] [SQL] Waargenomen metrische gegevens verzamelen uit substructuren voor in de cache opgeslagen en adaptieve uitvoering
  • [SPARK-35767] [SQL] Vermijd het uitvoeren van een onderliggend abonnement twee keer in CoalesceExec
  • [SPARK-35746] [UI] Taak-id herstellen in de tijdlijn van de fasepaginataak
  • [SPARK-35673] [SQL] Door de gebruiker gedefinieerde hint en niet-herkende hint in subquery herstellen.
  • [SPARK-35714] [CORE] Opgeloste fout voor impasse tijdens het afsluiten van de uitvoerder
  • [SPARK-35689] [SS] Logboek waarschuwen toevoegen wanneer keyWithIndexToValue null-waarde retourneert
  • [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint mag tijdens het bijwerken het bestand met alleen indexen niet negeren
  • [SPARK-35643] [PYTHON] Dubbelzinnige verwijzing in functions.py column() oplossen
  • [SPARK-35652] [SQL] joinWith op twee tabellen die zijn gegenereerd op basis van dezelfde tabel
  • [SPARK-35679] [SQL] instantToMicros-overloop
  • [SPARK-35602] [SS] Statusschema bijwerken om JSON met lange lengte te kunnen accepteren
  • [SPARK-35653] [SQL] Fix CatalystToExternalMap geïnterpreteerd pad mislukt voor Kaart met caseklassen als sleutels of waarden
  • [SPARK-35296] [SQL] Toestaan dat Dataset.observe werkt, zelfs als CollectMetricsExec in een taak meerdere partities verwerkt.
  • [SPARK-35659] [SS] Schrijf null naar StateStore voorkomen
  • [SPARK-35665] [SQL] UnresolvedAlias oplossen in CollectMetrics
  • [SPARK-35558] Optimaliseert voor het ophalen van meerdere kwantielen
  • [SPARK-35621] [SQL] Regel-id's verwijderen aan de TypeCoercion-regel toevoegen
  • [SPARK-35077] [SQL] Migreren naar transformWithPruning voor restover optimizer-regels
  • [SPARK-35610] [CORE] Los het geheugenlek op dat is geïntroduceerd door de afsluithaak van de uitvoerder
  • [SPARK-35544] [SQL] Structuurpatroon voor het verwijderen van analyseregels toevoegen
  • [SPARK-35566] [SS] StateStoreRestoreExec-uitvoerrijen herstellen
  • [SPARK-35454] [SQL] [3.1] Eén LogicalPlan kan overeenkomen met meerdere gegevensset-id's
  • [SPARK-35538] [SQL] TransformAllExpressions-aanroepsites migreren om transformAllExpressionsWithPruning te gebruiken
  • [SPARK-35106] [Core] [SQL] Voorkomen dat de naam van de doelmap niet bestaat
  • [SPARK-35287] [SQL] Allow RemoveRedundantProjects to preserve ProjectExec which generates UnsafeRow for DataSourceV2ScanRelation
  • [SPARK-35495] [R] SparkR-onderhouder voor CRAN wijzigen
  • [SPARK-27991] [CORE] De ophaalaanvraag op Netty OOM uitstellen
  • [SPARK-35171] [R] Declareer het Markdown-pakket als een afhankelijkheid van het SparkR-pakket
  • [SPARK-35454] [SQL] Eén LogicalPlan kan overeenkomen met meerdere gegevensset-id's
  • [SPARK-35298] [SQL] Migreren naar transformWithPruning voor regels in Optimizer.scala
  • [SPARK-35480] [SQL] Percentile_approx werken met draaitabel
  • [SPARK-35093] [SQL] AQE maakt nu gebruik van het newQueryStage-plan als sleutel voor het opzoeken van uitwisselingen in de cache voor hergebruik
  • [SPARK-35146] [SQL] Migreren naar transformWithPruning of resolveWithPruning voor regels in finishAnalysis.scala
  • [SPARK-35411] [SQL] Essentiële informatie toevoegen tijdens het serialiseren van TreeNode aan json
  • [SPARK-35294] [SQL] Structuurkruising toevoegen in regels met toegewezen bestanden onder optimizer
  • [SPARK-34897] [SQL] [3.1] Ondersteuning voor het afstemmen van schema's op basis van index na het verwijderen van geneste kolommen
  • [SPARK-35144] [SQL] Migreren naar transformWithPruning voor objectregels
  • [SPARK-35155] [SQL] Regel-id's verwijderen aan Analyzer-regels toevoegen
  • [SPARK-35382] [PYTHON] Los problemen met de naam van lambda-variabelen op in geneste DataFrame-functies in Python-API's.
  • [SPARK-35359] [SQL] Het invoegen van gegevens met teken-/varchar-gegevenstype mislukt wanneer de gegevenslengte de lengtelimiet overschrijdt
  • [SPARK-35381] [R] Los problemen met de naam van lambda-variabelen op in geneste functies in hogere volgorde bij R-API's

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffiffi 1.14.3 chardet 3.0.4
cryptografie 3.1.1 wielrijder 0.10.0 Cython 0.29.21
decorateur 4.4.2 distlib 0.3.2 docutils 0.15.2
invoerpunten 0,3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koala's 1.8.1 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pit 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 Opnieuw proberen... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Zes 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wiel 0.35.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
opstarten 1.3-28 brouwsel 1.0-6 Brio 1.1.0
bezem 0.7.2 beller 3.5.1 caret 6.0-86
cellranger 1.1.0 Chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
compiler 4.1.0 configuratie 0,3 covr 3.5.1
cpp11 0.2.4 Crayon 1.3.4 aanmeldingsgegevens 1.3.0
Overspraak 1.1.0.1 curl 4.3 data.table 1.13.4
gegevenssets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
verteren 0.6.27 dplyr 1.0.2 DT 0,16
beletselteken 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 buitenlands 0.8-81 smeden 0.2.0
Fs 1.5.0 toekomst 1.21.0 Generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
lijm 1.4.2 Gower 0.2.2 afbeeldingen 4.1.0
grDevices 4.1.0 rooster 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 breiwerk 1,30
Labeling 0.4.2 later 1.1.0.1 latwerk 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 levenscyclus 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASSA 7.3-54 Matrix 1.3-3
memoise 1.1.0 methoden 4.1.0 mgcv 1.8-35
Mime 0,9 ModelMetrics 1.2.2.2 modeller 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallel 1.22.0 pilaar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 loven 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Voortgang 1.2.2 Beloften 1.1.1 Proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
leesbewerking 1.4.0 readxl 1.3.1 recepten 0.1.15
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.2.0
reprex 0.3.0 hervorm2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 weegschaal 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 vorm 1.4.5
glanzend 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 ruimtelijk 7.3-11 Splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 Stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
overleving 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 snor 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 ritssluiting 2.1.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-codering 1.10.1-databricks9
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-gearceerd 4.15
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-vervolg 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52