Databricks Runtime 7.3 LTS (niet ondersteund)
Databricks heeft deze afbeelding uitgebracht in september 2020. Het werd in oktober 2020 gedeclareerd als Long Term Support (LTS).
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.3 LTS, mogelijk gemaakt door Apache Spark 3.0.
Zie de Databricks Runtime 7.x-migratiehandleiding (niet ondersteund) voor hulp bij migratie vanuit Databricks Runtime 6.x.
Nieuwe functies
Delta Lake-functies en -verbeteringen
Deze release biedt de volgende Delta Lake-functies en -verbeteringen:
In deze sectie
- Optimalisaties van Delta Lake-prestaties verminderen de overhead aanzienlijk
- Kloongegevens zijn nu beschikbaar
- Verbeteringen in Delta Lake
MERGE INTO - Geef de initiële positie op voor Delta Lake Structured Streaming-bron
Optimalisaties van Delta Lake-prestaties verminderen de overhead aanzienlijk
Deze release maakt een verzameling optimalisaties mogelijk die de overhead van Delta Lake-bewerkingen van seconden tot tientallen milliseconden verminderen. Als u deze optimalisaties wilt inschakelen, moet u alle clusters bijwerken die schrijven naar en lezen van uw Delta-tabel naar Databricks Runtime 7.3 LTS of hoger.
Zie Verbeterde controlepunten voor query's met lage latentie voor meer informatie en opmerkingen.
Kloongegevens zijn nu beschikbaar
Metrische gegevens voor kloonbewerkingen worden nu vastgelegd en kunnen worden weergegeven wanneer u deze uitvoert DESCRIBE HISTORY. Zie De details van de Delta Lake-tabel bekijken met een beschrijving van de details.
Verbeteringen in Delta Lake MERGE INTO
- Samenvoegen ondersteunt nu een willekeurig aantal
MATCHEDenNOT MATCHEDcomponenten. - Samenvoegquery's die overeenkomende rijen onvoorwaardelijke verwijderen, genereren geen fouten meer bij meerdere overeenkomsten.
Geef de initiële positie op voor Delta Lake Structured Streaming-bron
De Delta Lake Structured Streaming-connector ondersteunt startingVersion nu en startingTimestamp opties om het beginpunt van de streamingquery op te geven zonder de hele tabel te verwerken. Zie Beginpositie opgeven voor meer informatie.
Adaptieve queryuitvoering
Adaptieve queryuitvoering (AQE) is een framework voor het opnieuw optimaliseren van query's waarmee queryplannen dynamisch worden aangepast tijdens de uitvoering op basis van verzamelde runtimestatistieken. AQE is standaard ingeschakeld in Databricks Runtime 7.3 LTS. U kunt nu alle AQE-functies uitproberen. Zie Adaptieve queryuitvoering voor meer informatie.
Verbeteringen
Automatisch laden
- Biedt nu ondersteuning voor Azure Data Lake Storage Gen1 in de modus directory-vermelding
- Als de bestandsindeling is
textofbinaryFileu het schema niet meer hoeft op te geven. Omdat de twee bestandsindelingen een vast schema hebben, kan Automatisch laden automatisch een vast schema gebruiken.
Besturingselement voor kolomlengte van nieuwe Azure Synapse Analytics-connector
U kunt nu een nieuwe parameter maxbinlength gebruiken om de kolomlengte van BinaryType kolommen te bepalen. Deze parameter wordt vertaald als VARBINARY(maxbinlength).
De vorige (niet-configureerbare) standaardwaarde was VARBINARY(MAX), wat problemen veroorzaakte bij het maken van tabellen met binaire kolommen en het standaardindexeringsschema. Het maken van de tabel mislukt, omdat de standaard columnstore-index niet wordt ondersteund MAX in de tekenreeks- en binaire kolommen.
Pandas naar Spark DataFrame-conversie vereenvoudigd
Als u de volgende verbeteringen wilt inschakelen, stelt u de Spark-configuratie spark.databricks.execution.pandasZeroConfConversion.enabledin:
createDataFrame(pandas_df)is geoptimaliseerd voor Azure Databricks.- Er wordt een waarschuwing weergegeven als de conversie niet efficiënt kan worden uitgevoerd of niet mogelijk is.
Nieuw maxResultSize in toPandas() gesprek
Met een nieuwe configuratie-instelling (spark.databricks.driver.localMaxResultSize) kunt u maxResultSize bepalen voor een df.toPandas() gesprek. De limiet wordt tijdelijk gewijzigd in max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). De standaardwaarde voor de configuratie-instelling is de fysieke geheugengrootte gedeeld door 4.
Er wordt een waarschuwing weergegeven als de df.toPandas() resultaatgrootte groter is dan spark.driver.maxResultSize en kleiner is dan spark.databricks.driver.localMaxResultSize.
Deze configuratie-instelling is alleen van invloed op DataFrames die zijn gemaakt door een df.toPandas() aanroep.
Notitie
spark.databricks.driver.localMaxResultSize wordt alleen van kracht wanneer spark.databricks.execution.pandasZeroConfConversion.enabled waar is.
Foutopsporing van pandas en PySpark UDF's
Wanneer een pandas- of PySpark UDF mislukt in een Azure Databricks-notebook, bevat het foutbericht nu het regelnummer waarin de code is mislukt en informatie over de hoofdoorzaak.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- koalas bijgewerkt van 1.1.0 naar 1.2.0.
- pyarrow bijgewerkt van 0.15.1 naar 1.0.1.
- Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
- OpenJDK 8-build wordt gewijzigd van Ubuntu OpenJDK 8 in Zulu OpenJDK 8.
Apache Spark
Databricks Runtime 7.3 LTS bevat Apache Spark 3.0.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 7.2 (niet ondersteund) en de volgende aanvullende foutoplossingen en verbeteringen die zijn aangebracht in Spark:
- [SPARK-32302][SPARK-28169] [SQL] Gedeeltelijk disjunctive predicaten pushen via Join/Partitions
- [SPARK-32337] [SQL] Eerste plan weergeven in de tekenreeks van de AQE-planstructuur
- [SPARK-30662] De API-wijzigingen voor HasBlockSize terugzetten
- [SPARK-32620] [SQL] De metrische waarde numPartitions opnieuw instellen wanneer DPP is ingeschakeld
- [SPARK-32646] [SQL] ORC predicaat pushdown moet werken met hoofdlettergevoelige analyse
- [SPARK-32676] [ML] Dubbele caching in KMeans/BiKMeans oplossen
- [SPARK-32092] [ML] [PYSPARK] Aan foldCol gerelateerde code verwijderd
- [SPARK-32594] [SQL] Juliaanse dagen overschrijven
get()en gebruiken inDaysWritable - [SPARK-32608] [SQL] De waarde VOOR HET TRANSFORMEREN VAN RIJOPMAAK VAN HET SCRIPT moet de waarde opmaken
- [SPARK-32092] [ML] [PYSPARK] Parameters die niet worden gekopieerd in CrossValidatorModel.copy(), read() en write() herstellen
- [SPARK-32672] [SQL] Gegevensbeschadiging in booleaanse bitsetcompressie herstellen
- [SPARK-32663] [CORE] Vermijd afzonderlijke sluiting van gegroepeerde TransportClients (die moeten worden gesloten via de pool)
- [SPARK-32621] De optie van het pad [SQL] kan problemen veroorzaken tijdens het uitstellen van het schema in CSV-/JSON-gegevensbronnen
- [SPARK-28863] [SQL] Het fysieke plan niet opnieuw gebruiken
- [SPARK-32608] [SQL] De waarde VOOR HET TRANSFORMEREN VAN RIJOPMAAK VAN HET SCRIPT moet de waarde opmaken
- [SPARK-28863] [SQL] Introduceer AlreadyPlanned om heranalyse van V1FallbackWriters te voorkomen
- [SPARK-32451] [R] Ondersteuning voor Apache Arrow 1.0.0
- [SPARK-32652] [SQL] ObjectSerializerPruning mislukt voor RowEncoder
- [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks moeten rekening houden met allerlei soorten resources
- [SPARK-32559] [SQL] Corrigeer de trimlogica in UTF8String.toInt/toLong niet correct met niet-ASCII-tekens
- [SPARK-32625] [SQL] Logboekfoutbericht bij terugvallen naar interpretermodus
- [SPARK-32543] [R] Pijl verwijderen::as_tibble gebruik in SparkR
- [SPARK-31703] [SQL] Parquet RLE float/double worden onjuist gelezen op big endian platforms
- [SPARK-32586] [SQL] Foutbericht NumberFormatException opgelost wanneer ansi is ingeschakeld
- [SPARK-32456] [SS] Controleer de Distinct door ervan uit te gaan dat het aggregaat voor gestructureerd streamen
- [SPARK-32576] [SQL] Ondersteuning voor postgreSQL-type
bpcharen -matrix van tekentype - [SPARK-32559] [SQL] Corrigeer de trimlogica in UTF8String.toInt/toLong niet correct met niet-ASCII-tekens
- [SPARK-32560] [SQL] Uitzonderingsbericht bij InsertIntoHiveTable.processInsert verbeteren
- [SPARK-32546] [SQL] Tabelnamen rechtstreeks uit Hive-tabellen ophalen
- [SPARK-32529] [CORE] Fix Historyserver log scan aborted by application status change
- [SPARK-32003] [CORE] Wanneer de externe shuffle-service wordt gebruikt, moet u de registratie van uitvoer voor uitvoerders bij het ophalen van fouten ongedaan maken nadat de uitvoerder verloren is gegaan
- [SPARK-32160] [CORE] [PYSPARK] Wijzig de naam van de configuratie om sparkContext in uitvoerders toe te staan/te weigeren
- [SPARK-32160] [CORE] [PYSPARK] Een configuratie toevoegen om te schakelen tussen toestaan/niet toestaan om SparkContext te maken in uitvoerders
- [SPARK-32083] [SQL] AQE mag geen partities voor SinglePartition samenvoegen
- [SPARK-32509] [SQL] Ongebruikt DPP True Filter in Canonicalization negeren
- [SPARK-32332] [SQL] Ondersteuning voor kolomuitwisselingen
- [SPARK-32227] Regressiefout in load-spark-env.cmd met Spark 3.0.0 oplossen
- [SPARK-32478] [R] [SQL] Foutbericht om aan te geven dat het schema niet overeenkomt met pijlvectorisatie
- [SPARK-32030] [SQL] Ondersteuning voor onbeperkte MATCHED- en NOT MATCHED-componenten in MERGE INTO in de SQL-parser
- [SPARK-32175] [CORE] De volgorde tussen initialisatie voor ExecutorPlugin en het starten van heartbeat-thread herstellen
- [SPARK-32283] [CORE] Kryo moet meerdere gebruikersregisters ondersteunen
- [SPARK-32424] [SQL] Wijziging van stille gegevens corrigeren voor het parseren van tijdstempels als er een f-overloop plaatsvindt
- [SPARK-32430] [SQL] SparkSessionExtensions uitbreiden om regels in de voorbereiding van de AQE-queryfase te injecteren
- [SPARK-32310] [ML] [PYSPARK] Standaardwaardepariteit ml-parameters
- [SPARK-32237] [SQL] Hint in CTE oplossen
- [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight mag alleen kenmerken herschrijven voor bovenliggende knooppunten van het conflictplan
- [SPARK-32364] [SQL] Toevoegen aanMap om originalMap en documentatie te retourneren
- [SPARK-32364] [SQL] Use CaseInsensitiveMap for DataFrameReader/Writer options
- [SPARK-32377] [SQL] CaseInsensitiveMap moet deterministisch zijn voor toevoeging
- [SPARK-32365] [SQL] Een grensvoorwaarde voor negatieve index toevoegen in regexp_extract
- [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup en basePath moeten rekening houden met niet-hoofdlettergevoeligheid
- [SPARK-32344] [SQL] Onbetaalbare expr is ingesteld op FIRST/LAST ignoreNullsExpr in afzonderlijke aggregaties
- [SPARK-32234] [SQL] Spark SQL-opdrachten mislukken bij het selecteren van de orc-tabellen
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 7.3 LTS.
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
- Scala: 2.12.10
- Python: 3.7.5
- R: R versie 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | Cffi | 1.14.0 |
| Chardet | 3.0.4 | Cryptografie | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | Decorator | 4.4.1 | Docutils | 0.15.2 |
| invoerpunten | 0,3 | idna | 2.8 | ipykernel | 5.1.4 |
| Ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koala's | 1.2.0 |
| matplotlib | 3.1.3 | Numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.5.2 | Patsy | 0.5.1 | Pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | Pygobject | 3.26.1 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | Scipy | 1.4.1 | seaborn | 0.10.0 |
| Setuptools | 45.2.0 | Zes | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | Tornado | 6.0.3 | traitlets | 4.3.3 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.25.8 | Virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | Wiel | 0.34.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit Microsoft CRAN-momentopname op 2020-07-14.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| opstarten | 1.3-25 | Brouwsel | 1.0-6 | Bezem | 0.7.0 |
| beller | 3.4.3 | caret | 6.0-86 | cellranger | 1.1.0 |
| Chron | 2.3-55 | class | 7.3-17 | cli | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | Codetools | 0.2-16 |
| Colorspace | 1.4-1 | commonmark | 1,7 | Compiler | 3.6.3 |
| configuratie | 0,3 | covr | 3.5.0 | Crayon | 1.3.4 |
| Overspraak | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| gegevenssets | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| Desc | 1.2.0 | Devtools | 2.3.0 | Digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0,14 | ellipsis | 0.3.1 |
| evaluate | 0,14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| Buitenlandse | 0.8-76 | Forge | 0.2.0 | Fs | 1.4.2 |
| Generics | 0.0.2 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.12.5 |
| Lijm | 1.4.1 | Gower | 0.2.2 | afbeeldingen | 3.6.3 |
| grDevices | 3.6.3 | Raster | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.2 | Iterators | 1.0.12 |
| jsonlite | 1.7.0 | Kernsmooth | 2.23-17 | breiwerk | 1,29 |
| Labeling | 0,3 | Later | 1.1.0.1 | Lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1.1 |
| MASS | 7.3-52 | Matrix | 1.2-18 | memoise | 1.1.0 |
| methoden | 3.6.3 | Mgcv | 1.8-32 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modeller | 0.1.8 | munsell | 0.5.0 |
| Nlme | 3.1-149 | Nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | Pijler | 1.4.6 |
| pkgbuild | 1.1.0 | Pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | Lof | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | Voortgang | 1.2.2 | Beloften | 1.1.1 |
| Proto | 1.0.0 | ps | 1.3.3 | Purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 |
| Rcpp | 1.0.5 | leesbewerking | 1.3.1 | readxl | 1.3.1 |
| recepten | 0.1.13 | Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 |
| Afstandsbedieningen | 2.1.1 | reprex | 0.3.0 | hervorm2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest | 0.3.5 | Schalen | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | Vorm | 1.4.4 | Glanzende | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| Ruimtelijke | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | Stats | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | Overleving | 3.1-12 |
| sys | 3.3 | Tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | Timedate | 3043.102 |
| tinytex | 0,24 | tools | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | whisker | 0,4 |
| withr | 2.2.0 | xfun | 0,15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | Yaml | 2.2.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.15.1 |
| org.apache.arrow | pijlgeheugen | 0.15.1 |
| org.apache.arrow | pijlvector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-codering | 1.10.1-databricks6 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | snelheid | 1.5 |
| org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-vervolg | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |