Databricks Runtime 6.3 (niet ondersteund)
Databricks heeft deze afbeelding uitgebracht in januari 2020.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 6.3, mogelijk gemaakt door Apache Spark.
Nieuwe functies
Delta Lake
Deze release introduceert verbeterde gelijktijdigheid. De belangrijkste functies zijn:
Verbeterde gelijktijdigheid voor alle Delta Lake-bewerkingen: u kunt nu meer Delta Lake-bewerkingen gelijktijdig uitvoeren. Het optimistische gelijktijdigheidsbeheer van Delta Lake is verbeterd door conflictdetectie nauwkeuriger te maken. Hierdoor kunt u eenvoudiger complexe werkstromen uitvoeren op Delta-tabellen. Voorbeeld:
- Het uitvoeren van verwijderingen (bijvoorbeeld voor AVG-naleving) gelijktijdig op oudere partities terwijl nieuwere partities worden toegevoegd.
- Updates uitvoeren en gelijktijdig samenvoegen op niet-aaneengesloten sets partities.
- Bestandscompressies gelijktijdig uitvoeren met toevoegsels.
Bekijk isolatieniveaus en schrijfconflicten in Azure Databricks.
Verbeterde ondersteuning voor bestandscompressie : u kunt bestanden nu comprimeren door ze te herschrijven met de
DataFrameWriteroptiedataChangeingesteld opfalse. Met deze optie kan een compressiebewerking gelijktijdig worden uitgevoerd met andere batch- en streamingbewerkingen. Zie Compacte bestanden voor meer informatie.Verbeterde prestaties voor alleen-invoegen samenvoegen - Delta Lake biedt nu meer geoptimaliseerde prestaties voor samenvoegbewerkingen met alleen invoegcomponenten en geen updatecomponenten. Bovendien zorgt Delta Lake ervoor dat schrijfbewerkingen van dergelijke invoegbewerkingen alleen nieuwe gegevens aan de tabel toevoegen. Daarom kunt u nu Structured Streaming en alleen-invoegen samenvoegen gebruiken om continue ontdubbeling van gegevens (bijvoorbeeld logboeken) uit te voeren. Zie Gegevensontdubbeling bij het schrijven naar Delta-tabellen voor meer informatie.
Extra poorten toevoegen om lijst toe te staan wanneer procesisolatie is ingeschakeld
Notitie
Dit artikel bevat verwijzingen naar de whitelist met termen, een term die azure Databricks niet gebruikt. Zodra de term uit de software wordt verwijderd, verwijderen we deze uit dit artikel.
Wanneer u beveiligingsfuncties inschakelt, zoals tabel-ACL's of referentiepassthrough op het cluster, kunt u nu aanvullende uitgaande poorten opgeven die u wilt dat Python-processen toegang hebben door de Spark-configuratiespark.databricks.pyspark.iptable.outbound.whitelisted.ports in te stellen op de poorten die moeten worden toegestaan. De ondersteunde indeling van de configuratiewaarde is [port[:port][,port[:port]]...]bijvoorbeeld: 21,22,9000:9999. De poort moet binnen het geldige bereik liggen, bijvoorbeeld 0-65535.
Taakuitvoer uitschakelen voor Scala-taken
Taakuitvoer, zoals logboekuitvoer die naar stdout wordt verzonden, is onderworpen aan een maximale grootte van 20 MB.
U kunt voorkomen dat stdout wordt geretourneerd van het stuurprogramma naar Azure Databricks door de spark.databricks.driver.disableScalaOutput Spark-configuratie in te stellen op true. De vlag bepaalt de celuitvoer voor Scala JAR-taken en Scala-notebooks. Zie limieten voor uitvoergrootte voor Jar-taken.
Inline Matplotlib-afbeeldingen worden nu ondersteund in Azure Databricks-notebooks (openbare preview)
U kunt nu automatisch Matplotlib-afbeeldingen weergeven zonder dat u de afbeelding aan de display methode hoeft door te geven. Zie Matplotlib voor meer informatie.
Nieuwe parameter toegevoegd aan Azure Synapse Analytics
De parameter applicationName is standaard ingesteld op Databricks-User-Query. Met de standaardwaarde voorkomt u dat het azure DB-bewakingsprogramma valse SQL-injectiewaarschuwingen genereert voor query's. Als deze niet is opgegeven of als de waarde een lege tekenreeks is, wordt de standaardwaarde van de tag toegevoegd aan de JDBC-URL. Zie naslaginformatie over azure Databricks Synapse-connectoropties.
Verbeteringen
shutil.copytreenu werken voor/dbfs.- Bij het uitvoeren van gestructureerde streaming-productietaken op clusters met hoge gelijktijdigheidsmodus mislukt het opnieuw opstarten van een taak af en toe, omdat de eerder uitgevoerde taak niet correct is beëindigd. Als u ervoor wilt zorgen dat de vorige uitvoering stopt, stelt u de SQL-configuratie
spark.sql.streaming.stopActiveRunOnRestart truein uw cluster in. In het geval dat de stream niet goed kan worden gestopt, wordt er binnen 15 seconden een time-outuitzondering gegenereerd. In dit geval raden we u aan uw cluster opnieuw op te starten. - Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
Apache Spark
Databricks Runtime 6.3 bevat Apache Spark 2.4.4. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 6.2 (niet ondersteund) en de volgende aanvullende foutoplossingen en verbeteringen in Spark:
- [SPARK-30198][CORE] BytesToBytesMap groeit niet interne lange matrix zoals verwacht
- [SPARK-29918][SQL] RecordBinaryComparator moet de endianiteit controleren wanneer deze wordt vergeleken met lange
- [SPARK-30274][CORE] Zoekactie van BytesToBytesMap voor altijd vastlopen bij het vasthouden van sleutels die maximale capaciteit bereiken
- [SPARK-25392][CORE] [WEBUI] Foutpagina voorkomen bij het openen van de pagina Pools vanaf de geschiedenisserver
- [SPARK-30263][CORE] Registreer mogelijk gevoelige waarde van niet-Spark-eigenschappen die worden genegeerd in spark-submit niet
- [SPARK-28637][SQL] Ondersteuningsintervaltype Thriftserver
- [SPARK-30238][SQL] Het snoeien van hive-partities kan alleen ondersteuning bieden voor tekenreeks- en integrale typen
- [SPARK-30198][CORE] BytesToBytesMap groeit niet interne lange matrix zoals verwacht
- [SPARK-24666][ML] Oneindigheidsvectoren herstellen die door Word2Vec worden geproduceerd wanneer numIterations groot zijn
- [SPARK-30129][CORE] De client-id instellen in TransportClient na geslaagde verificatie
- [SPARK-30050][SQL] tabel analyseren en de naam van de tabel wijzigen mag geen informatie over bucketing van hive-tabellen wissen
- [SPARK-28152][SQL] ShortType toegewezen aan SMALLINT en FloatType naar REAL voor MsSqlServerDialect
- [SPARK-29971][CORE] Bufferlekken in oplossen
TransportFrameDecoder/TransportCipher - [SPARK-29970][WEBUI] De status Van tijdlijnweergave openen/sluiten behouden
- [SPARK-29949][SQL] Opmaak van tijdstempels door JSON/CSV-gegevensbronnen herstellen
- [SPARK-27558][CORE] Probleemloos opschonen van taak wanneer deze mislukt met OOM-uitzondering
- [SPARK-29758][SQL] Het afkappen van aangevraagde tekenreeksvelden in
json_tuple - [SPARK-29949][SQL] Opmaak van tijdstempels door JSON/CSV-gegevensbronnen herstellen
- [SPARK-29936][R] SparkR-lintfouten oplossen en lint-r GitHub Action toevoegen
- [SPARK-29904][SQL] Tijdstempels parseren in microsecondenprecisie door JSON/CSV-gegevensbronnen
- [SPARK-29904][SQL] Tijdstempels parseren in microsecondenprecisie door JSON/CSV-gegevensbronnen
- [SPARK-26499][SQL] JdbcUtils.makeGetter verwerkt ByteType niet
- [SPARK-29682][SQL] Conflicterende kenmerken in Uitvouwen correct oplossen
- [SPARK-29875][PYTHON] [SQL] Vermijd het gebruik van afgeschafte pyarrow.open_stream-API in Spark 2.4.x
- [SPARK-29850][SQL] sort-merge-join een lege tabel mag geen geheugenlek bevatten
- [SPARK-28939][SQL] SQLConf doorgeven voor plannen die worden uitgevoerd door toRdd
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 6.3.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 3.7.3
- R: R versie 3.6.2 (2019-12-12)
- Delta Lake: 0.5.0
Notitie
Hoewel Scala 2.12 beschikbaar is als experimentele functie in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 6.3.
In deze sectie:
- Geïnstalleerde Python-bibliotheken
- Geïnstalleerde R-bibliotheken
- Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | backcall | 0.1.0 | Boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| Cffi | 1.12.2 | Chardet | 3.0.4 | Cryptografie | 2.6.1 |
| cycler | 0.10.0 | Cython | 0.29.6 | Decorator | 4.4.0 |
| Docutils | 0,14 | idna | 2.8 | ipykernel | 5.1.0 |
| Ipython | 7.4.0 | ipython-genutils | 0.2.0 | Jedi | 0.13.3 |
| jmespath | 0.9.4 | jupyter-client | 5.2.4 | jupyter-core | 4.4.0 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | Numpy | 1.16.2 |
| Pandas | 0.24.2 | parso | 0.3.4 | Patsy | 0.5.1 |
| Pexpect | 4.6.0 | pickleshare | 0.7.5 | Pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | Pycurl | 7.43.0 |
| Pygments | 2.3.1 | Pygobject | 3.20.0 | Pyopenssl | 19.0.0 |
| Pyparsing | 2.4.6 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pyzmq | 18.0.0 |
| requests | 2.21.0 | s3transfer | 0.2.1 | scikit-learn | 0.20.3 |
| Scipy | 1.2.1 | seaborn | 0.9.0 | Setuptools | 40.8.0 |
| Zes | 1.12.0 | ssh-import-id | 5.5 | statsmodels | 0.9.0 |
| Tornado | 6.0.2 | traitlets | 4.3.2 | upgrades zonder toezicht | 0,1 |
| urllib3 | 1.24.1 | Virtualenv | 16.4.1 | wcwidth | 0.1.7 |
| Wiel | 0.33.1 |
Geïnstalleerde R-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Abind | 1.4-5 | Askpass | 1.1 | assertthat | 0.2.1 |
| Backports | 1.1.5 | base | 3.6.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| Bitops | 1.0-6 | blob | 1.2.0 | opstarten | 1.3-23 |
| Brouwsel | 1.0-6 | beller | 3.3.2 | car | 3.0-4 |
| carData | 3.0-2 | caret | 6.0-84 | cellranger | 1.1.0 |
| Chron | 2.3-54 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.7.0 | clisymbolen | 1.2.0 | cluster | 2.1.0 |
| Codetools | 0.2-16 | Colorspace | 1.4-1 | commonmark | 1,7 |
| Compiler | 3.6.2 | configuratie | 0,3 | covr | 3.3.2 |
| Crayon | 1.3.4 | Overspraak | 1.0.0 | curl | 4.2 |
| data.table | 1.12.6 | gegevenssets | 3.6.2 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | Desc | 1.2.0 | Devtools | 2.2.1 |
| Digest | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0,9 | ellipsis | 0.3.0 | evaluate | 0,14 |
| fansi | 0.4.0 | fastmap | 1.0.1 | forcats | 0.4.0 |
| foreach | 1.4.7 | Buitenlandse | 0.8-74 | Forge | 0.2.0 |
| Fs | 1.3.1 | gbm | 2.1.5 | Generics | 0.0.2 |
| ggplot2 | 3.2.1 | Gh | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | Lijm | 1.3.1 | Gower | 0.2.1 |
| afbeeldingen | 3.6.2 | grDevices | 3.6.2 | Raster | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.0 |
| h2o | 3.26.0.2 | haven | 2.1.1 | Hms | 0.5.1 |
| htmltools | 0.4.0 | htmlwidgets | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| Ini | 0.3.1 | Ipred | 0.9-9 | Iterators | 1.0.12 |
| jsonlite | 1.6 | Kernsmooth | 2.23-16 | Labeling | 0,3 |
| Later | 1.0.0 | Lattice | 0.20-38 | lava | 1.6.6 |
| lazyeval | 0.2.2 | levenscyclus | 0.1.0 | Littler | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1.5 |
| Mapproj | 1.2.6 | Kaarten | 3.3.0 | maptools | 0.9-8 |
| MASS | 7.3-51.5 | Matrix | 1.2-18 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | methoden | 3.6.2 | Mgcv | 1.8-31 |
| Mime | 0,7 | minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| munsell | 0.5.0 | Mvtnorm | 1.0-11 | Nlme | 3.1-143 |
| nloptr | 1.2.1 | Nnet | 7.3-12 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | openxlsx | 4.1.2 | parallel | 3.6.2 |
| pbkrtest | 0.4-7 | Pijler | 1.4.2 | pkgbuild | 1.0.6 |
| Pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | plyr | 1.8.4 | Lof | 1.0.0 |
| prettyunits | 1.0.2 | Proc | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | Voortgang | 1.2.2 | Beloften | 1.1.0 |
| Proto | 1.0.0 | ps | 1.3.0 | Purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| Rcolorbrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | leesbewerking | 1.3.1 | readxl | 1.3.1 |
| recepten | 0.1.7 | Rematch | 1.0.1 | Afstandsbedieningen | 2.1.0 |
| hervorm2 | 1.4.3 | Rex | 1.1.2 | Rio | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversions | 2.0.0 |
| Schalen | 1.0.0 | sessioninfo | 1.1.1 | Glanzende | 1.4.0 |
| sourcetools | 0.1.7 | Sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | SparseM | 1.77 | Ruimtelijke | 7.3-11 |
| Splines | 3.6.2 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.32 | Stats | 3.6.2 | stats4 | 3.6.2 |
| stringi | 1.4.3 | stringr | 1.4.0 | Overleving | 2.44-1.1 |
| sys | 3.3 | Tcltk | 3.6.2 | TeachingDemos | 2.10 |
| testthat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | Timedate | 3043.102 | tools | 3.6.2 |
| usethis | 1.5.1 | utf8 | 1.1.4 | utils | 3.6.2 |
| vctrs | 0.2.0 | viridisLite | 0.3.0 | whisker | 0,4 |
| withr | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.0 | zeallot | 0.1.0 |
| Zip | 2.0.4 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
| io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | activering | 1.1.1 |
| javax.annotatie | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.validation | validatie-API | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| Junit | Junit | 4.12 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.10.0 |
| org.apache.arrow | pijlgeheugen | 0.10.0 |
| org.apache.arrow | pijlvector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-codering | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-gearceerd | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-vervolg | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | sluimerstand-validator | 5.1.1.Final |
| org.iq80.snappy | Snappy | 0,2 |
| org.javassist | Javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | Xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| Oro | Oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |