Databricks Runtime 5.5 LTS (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks heeft deze versie uitgebracht in juli 2019. Het werd in augustus 2019 gedeclareerd als Long Term Support (LTS). Ondersteuning is beëindigd op 27 juli 2021. Databricks Runtime 5.5 Extended Support (EoS) is uitgebracht op 8 juli 2021 en breidt 5,5 ondersteuning uit tot december 2021. Het maakt gebruik van Ubuntu 18.04.5 LTS in plaats van de afgeschafte Ubuntu 16.04.6 LTS-distributie die wordt gebruikt in de oorspronkelijke Databricks Runtime 5.5 LTS. Ubuntu 16.04.6 LTS-ondersteuning is beëindigd op 1 april 2021.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 5.5, mogelijk gemaakt door Apache Spark.
Nieuwe functies
Delta Lake in Azure Databricks Auto Optimize
Wanneer u gegevens naar cloudopslag schrijft, moet u bestanden comprimeren voor optimale I/O-prestaties. U moet zich zorgen maken over de juiste bestandsgrootte, hoe vaak de bestanden moeten worden gecomprimeerd, hoe groot een cluster moet worden, enzovoort. Om deze klasse problemen op te lossen, kondigen we de algemene beschikbaarheid van Auto Optimize met Delta Lake op Azure Databricks aan. Tijdens elke schrijfbewerking naar Delta-tabellen bepalen we automatisch de juiste bestandsgrootten en compacte bestanden, zodat u zich geen zorgen hoeft te maken over het optimaliseren van de opslagindeling. Tijdens schrijfbewerkingen bepaalt auto-optimize trueAzure Databricks automatisch of een optimalisatie vereist is en optimaliseert de kleine bestanden. Zie Delta Lake configureren voor het beheren van de bestandsgrootte.
Delta Lake in Azure Databricks heeft de prestaties van de aggregatiequery min, max en count verbeterd
De prestaties van aggregatiequery's voor min, max en count voor Delta Lake in Azure Databricks zijn aanzienlijk verbeterd door de hoeveelheid gegevens te verminderen die wordt gelezen. Deze query's worden nu uitgevoerd met behulp van statistieken en partitiewaarden in de metagegevens, in plaats van de gegevens te scannen.
Snellere pijplijnen voor modeldeductie met verbeterde binaire bestandsgegevensbron en scalaire iterator pandas UDF (openbare preview)
Machine learning-taken, met name in het afbeeldings- en videodomein, moeten vaak worden uitgevoerd op een groot aantal bestanden. In Databricks Runtime 5.4 hebben we de gegevensbron van het binaire bestand al beschikbaar gemaakt om ETL willekeurige bestanden zoals afbeeldingen in Spark-tabellen te helpen. In Databricks Runtime 5.5 hebben we een optie recursiveFileLookuptoegevoegd om bestanden recursief te laden vanuit geneste invoermappen. Zie binair bestand.
Met de gegevensbron van het binaire bestand kunt u modeldeductietaken parallel uitvoeren vanuit Spark-tabellen met behulp van een scalaire pandas UDF. Mogelijk moet u het model echter initialiseren voor elke recordbatch, wat overhead introduceert. In Databricks Runtime 5.5 hebben we een nieuwe pandas UDF-type met de naam scalaire iterator uit apache Spark-master gebackporteerd. Hiermee kunt u een model slechts eenmaal initialiseren en het model toepassen op veel invoerbatches, wat kan leiden tot een snelheid van 2-3x voor modellen zoals ResNet50. Zie Reeks naar scalaire UDF.
Geheimen-API in R-notebooks
Met de Geheimen-API kunt u geheimen in notebooks injecteren zonder ze vast te leggen. Deze API is nu beschikbaar in R-notebooks, naast bestaande ondersteuning voor Python- en Scala-notebooks. U kunt de dbutils.secrets.get functie gebruiken om geheimen op te halen. Geheimen worden bewerkt voordat ze worden afgedrukt naar een notebookcel.
Verbeteringen
- Ondersteuning voor het uitvoeren van Delta Lake SQL-bewerkingen in Python
foreachBatch: we hebben de bekende beperking opgelost van het niet kunnen schrijven naar Delta-tabellen vanuitforeachBatcheen structured streaming-query die is gedefinieerd in Python. Dit is handig in een algemene Python-streamingworkload; Bijvoorbeeld het schrijven van streamingaggregaties in de updatemodus met behulp van MERGE en foreachBatch. - Prestaties van Delta-tabellen die zijn opgeslagen in Azure Data Lake Gen2: De controle op de nieuwste versie van een Delta-tabel in ADLS Gen2 controleert nu alleen het einde van het transactielogboek in plaats van alle beschikbare versies weer te bieden. Deze optimalisatie maakt
UPDATEeen constante tijdbewerking, waardoor de latentie aanzienlijk wordt verbeterd. - Schaalbaarheid van Optimaliseren
ZORDER BY: Z-Ordering op zeer grote Delta-tabellen maakt nu gebruik van kleinere werkeenheden die onder geavanceerde toegangsbeheer vallen. Deze functie verbetert de stabiliteit van deze bewerking zonder dat dit ten koste gaat van het clustergebruik. - Verbeterde prestaties van DML-opdrachten in tabellen met een groot aantal kolommen: we voeren nu betere kolomsnoeien uit bij het scannen op overeenkomende gegevens in
UPDATE,DELETEenMERGEopdrachten. - Ondersteuning voor het instellen van VNet + Service-eindpunten in Spark - Synapse Analytics-connector: We hebben ADL Gen2-paden toegevoegd aan een acceptatielijst als tijdelijke gegevenslocaties (
.option("tempDir", "abfss://...")) en een nieuwe optie toegevoegd,useAzureMSIdie moet worden gebruikt in plaats vanforward_spark_azure_storage_credentialsin het geval uw Synapse Analytics is geconfigureerd voor verificatie via beheerde identiteiten voor uw V2-opslagaccount. - Automatische ongeldigheid voor schijfcaching: schijfcaching detecteert nu automatisch bestanden die zijn gewijzigd of overschreven nadat ze in de cache zijn opgeslagen. Verouderde vermeldingen worden automatisch ongeldig gemaakt en verwijderd uit de cache. Zie Prestaties optimaliseren met caching in Azure Databricks.
- Python-bibliotheekwiel bijgewerkt van 0.33.3 tot 0.33.4.
- R library nlme bijgewerkt van 3.1-139 naar 3.1-140.
Bugfixes
- Annulering opgelost voor R-opdrachten die geen Spark-taken uitvoeren. Voorheen konden R-opdrachten die Spark-taken niet uitvoeren, worden geannuleerd, maar de status van de notebooks zou verloren gaan; opdrachten kunnen nu worden geannuleerd zonder de notebookstatus te verliezen.
- Als u een beheerde tabel neerzet of verplaatst, wordt het Delta Lake-logboek in de cache ongeldig.
- Er is een fout opgelost waardoor het schrijven van Delta Lake-controlepunt mogelijk mislukt vanwege
FileAlreadyExistsException. - Scala REPL stelt nu de juiste
-target:jvm-1.8vlag in om ondersteuning te bieden voor het aanroepen van Java-methoden die gebruikmaken van Java 8-functies.
Apache Spark
Databricks Runtime 5.5 bevat Apache Spark 2.4.3. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 5.4 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-24695] UDF's toestaan om CalendarInterval te retourneren
- [SPARK-28056] docstring/doctest toevoegen voor SCALAR_ITER pandas UDF
- [SPARK-28185] Sluit de generator wanneer Python UDF's vroeg stoppen
- [SPARK-24703] Ondersteuning voor intervalvermeniging
- [SPARK-27018][CORE] Corrigeer onjuiste verwijdering van controlepuntbestand in PeriodicCheckpointer
- [SPARK-28127][SQL] Microoptimalisatie op de mapChildren-methode van TreeNode
- [SPARK-26038] Decimaal toScalaBigInt/toJavaBigInteger voor decimalen die niet lang passen
- [SPARK-26555][SQL] het controleren van thread met ScalaReflection-subtype veilig maken
- [SPARK-28081][ML] Grote vocabaantallen verwerken in word2vec
- [SPARK-21882][CORE] OutputMetrics telt geschreven bytes niet correct in de functie saveAsHadoopDataset
- [SPARK-28030] filePath converteren naar URI in binaire bestandsgegevensbron
- [SPARK-27803][SQL] [PYTHON] Kolomsnoeien voor Python UDF oplossen
- [SPARK-27917][SQL] canonieke vorm van CaseWhen-object is onjuist
- [SPARK-27798][SQL] from_avro mag niet dezelfde waarde produceren wanneer deze wordt geconverteerd naar lokale relatie
- [SPARK-27873][SQL] columnNameOfCorruptRecord mag niet worden gecontroleerd met kolomnamen in CSV-koptekst bij het uitschakelen van enforceSchema
- [SPARK-27907][SQL] HiveUDAF moet NULL retourneren in het geval van 0 rijen
- [SPARK-27699][SQL] Gedeeltelijk naar beneden duwen disjunctive predicated in Parquet/ORC
- [SPARK-27868][CORE] Betere standaardwaarde en documentatie voor backlog van socketservers.
- [SPARK-27869][CORE] Gevoelige informatie redact in System Properties from UI
- [SPARK-27863][SQL] [BACKPORT-2.4] Metagegevensbestanden en tijdelijke bestanden mogen niet worden meegeteld als gegevensbestanden
- [SPARK-27657][ML] De logboekindeling van ml.util.Instrumentation.logFai herstellen...
- [SPARK-27858][SQL] Oplossing voor Avro-deserialisatie voor samenvoegtypen met meerdere niet-null-typen
- [SPARK-27711][CORE] InputFileBlockHolder aan het einde van taken ongedaan maken
- [SPARK-27351][SQL] Verkeerde schatting van outputRows na aggregateEstimation met alleen een kolom met null-waarden
- [SPARK-27539][SQL] Corrigeer onjuiste schatting van uitvoerrows met kolom met null-waarden'
- [SPARK-27800][SQL] Fout antwoord corrigeren in BitwiseXor-testcases
- [SPARK-27639][SQL] InMemoryTableScan toont indien mogelijk de tabelnaam in de gebruikersinterface
- [SPARK-27726][CORE] De prestaties van ElementTrackingStore-verwijderingen oplossen bij het gebruik van InMemoryStore onder hoge belastingen
- [SPARK-27771][SQL] SQL-beschrijving toevoegen voor groeperingsfuncties (kubus, samenvouwen, groeperen en grouping_id)
- [SPARK-27735][SS] Intervaltekenreeks parseren moet hoofdlettergevoelig zijn in SS
- [SPARK-26856][PYSPARK] Python-ondersteuning voor from_avro- en to_avro-API's
- [SPARK-26870][SQL] Verplaats to_avro/from_avro naar een functieobject vanwege java-compatibiliteit
- [SPARK-26812][SQL] De juiste null-waarde rapporteren voor complexe gegevenstypen in Union
- [SPARK-27671][SQL] Fout opgelost bij het casten van een geneste null in een struct
- [SPARK-27673][SQL] Informatie toevoegen
sinceaan willekeurige, regex- en null-expressies - [SPARK-27672][SQL] Informatie toevoegen
sinceaan tekenreeksexpressies - [SPARK-25139][SPARK-18406][CORE] Vermijd Niet-fatallen om de uitvoerder te doden in PythonRunner
- [SPARK-27624][CORE] Fix CalenderInterval om een leeg interval correct weer te geven
- [SPARK-27577][MLLIB] Juiste drempelwaarden ondersampled in BinaryClassificationMetrics
- [SPARK-27621][ML] Lineaire regressie : trainingsgerelateerde params valideren, zoals verlies alleen tijdens de montagefase
- [SPARK-26048][SPARK-24530] Cherrypick alle ontbrekende doorvoeringen naar 2.4-releasescript
- [SPARK-24935][SQL] ondersteuning voor INIT -> UPDATE -> SAMENVOEGEN -> FINISH in Hive UDAF-adapter
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 5.5.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
- R: R versie 3.6.0 (2019-04-26)
- GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
- Tesla bestuurder 375.66
- CUDA 9.0
- cuDNN 7.0
Notitie
Hoewel Scala 2.12 wordt ondersteund in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 5.5.
In deze sectie:
- Geïnstalleerde Python-bibliotheken
- Geïnstalleerde R-bibliotheken
- Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffiffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptografie | 1.5 | wielrijder | 0.10.0 | Cython | 0.24.1 |
| decorateur | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Kussen | 3.3.1 |
| pit | 19.1.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | schuren | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Zes | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wiel | 0.33.4 |
| wsgiref | 0.1.2 |
Geïnstalleerde R-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | opstarten | 1.3-20 |
| brouwsel | 1.0-6 | beller | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-82 | cellranger | 1.1.0 |
| Chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbolen | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1,7 |
| compiler | 3.6.0 | configuratie | 0,3 | Crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | gegevenssets | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| devtools | 2.0.1 | verteren | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | beletselteken | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | buitenlands | 0.8-71 |
| smeden | 0.2.0 | Fs | 1.2.7 | gbm | 2.1.5 |
| Generics | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | lijm | 1.3.1 |
| Gower | 0.2.0 | afbeeldingen | 3.6.0 | grDevices | 3.6.0 |
| rooster | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Labeling | 0,3 |
| latwerk | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| Littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Kaarten | 3.3.0 |
| maptools | 0.9-5 | MASSA | 7.3-51.1 | Matrix | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methoden | 3.6.0 |
| mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | pilaar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| loven | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Voortgang | 1.2.0 |
| Proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | leesbewerking | 1.3.1 |
| readxl | 1.3.1 | recepten | 0.1.5 | Rematch | 1.0.1 |
| Afstandsbedieningen | 2.0.2 | hervorm2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | weegschaal | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | SparseM | 1.77 | ruimtelijk | 7.3-11 |
| Splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | Stats | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | overleving | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | snor | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| ritssluiting | 2.0.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stroom | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasgenoot | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guave | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
| io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | activering | 1.1.1 |
| javax.annotatie | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validatie-API | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | tekenreekstemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.10.0 |
| org.apache.arrow | pijlgeheugen | 0.10.0 |
| org.apache.arrow | pijlvector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | klimop | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-codering | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-gearceerd | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-vervolg | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | sluimerstand-validator | 5.1.1.Final |
| org.iq80.snappy | bits | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | ongebruikt | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |