Databricks Runtime 5.0 (niet ondersteund)

  • Artikel

Databricks heeft deze afbeelding uitgebracht in november 2018.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 5.0, mogelijk gemaakt door Apache Spark.

Nieuwe functies

  • Delta Lake

    • Subquery's worden nu ondersteund in de WHERE component voor de ondersteuning voor DELETE en UPDATE opdrachten.
    • Nieuwe schaalbare implementatie voor MERGE opdrachten.

  • Gestructureerd streamen

    • Streamingbron voor azure Blob Storage-bestand op basis van meldingen. Dit kan de kosten voor het weergeven aanzienlijk verlagen bij het uitvoeren van een Structured Streaming-query op bestanden in Azure Blob Storage. In plaats van een vermelding te gebruiken om nieuwe bestanden te vinden voor verwerking, kan deze streamingbron meldingen van bestandsevenementen rechtstreeks lezen om nieuwe bestanden te vinden. Zie de Azure Blob Storage-bestandsbron met Azure Queue Storage (verouderd).

  • Er is ondersteuning toegevoegd voor TensorBoard voor het bewaken van deep learning-taken. Zie TensorBoard.

Verbeteringen

  • Delta Lake
    • OPTIMIZE prestaties en stabiliteit.
      • Met de OPTIMIZE opdracht worden batches zo snel mogelijk doorgevoerd, in plaats van aan het einde.
      • Het standaardaantal threads OPTIMIZE is parallel verminderd. Dit is een strikte prestatieverhoging voor grote tabellen.
      • Schrijfbewerkingen worden versneld OPTIMIZE door te voorkomen dat gegevens onnodig worden gesorteerd bij het schrijven naar een gepartitioneerde tabel.
      • Sped up OPTIMIZE ZORDER BY door het incrementeel te maken. Dit betekent dat met de opdracht nu geen gegevensbestanden worden herschreven die al door dezelfde kolom(en) zijn geordend. Zie Gegevens overslaan voor Delta Lake.
    • Isolatie van momentopnamen bij het uitvoeren van query's op Delta-tabellen. Elke query met meerdere verwijzingen naar een Delta-tabel (bijvoorbeeld self-join) leest uit dezelfde momentopname van de tabel, zelfs als er gelijktijdige updates voor de tabel zijn.
    • Verbeterde querylatentie bij het lezen van kleine (< 2000 bestanden) Delta-tabellen door metagegevens in het stuurprogramma op te cachen.
  • Verbeterde logistieke regressieprestaties van MLlib.
  • Verbeterde prestaties van MLlib-structuuralgoritmen.
  • Er zijn verschillende Java- en Scala-bibliotheken bijgewerkt. Zie Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie).
  • Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
    • pip: 10.0.1 tot 18.0
    • setuptools: 39.2.0 tot 40.4.1
    • tornado: 5.0.2 tot 5.1.1
  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.

Bugfixes

  • Delta Lake
    • Configuraties die zijn ingesteld in SQL Conf, zijn nu correct van toepassing op Delta Lake-bewerkingen die voor het eerst in een ander notebook zijn geladen.
    • Er is een fout opgelost in DELETE de opdracht waarbij de rijen onjuist zouden worden verwijderd waarbij de voorwaarde null evalueert.
    • Streams die meer dan twee dagen nodig hebben om de eerste batch te verwerken (dat wil gezegd gegevens in de tabel toen de stream werd gestart) mislukken FileNotFoundException niet meer bij het herstellen van een controlepunt.
    • Vermijdt een racevoorwaarde die tot gevolg heeft NoClassDefError bij het laden van een nieuwe tabel.
    • Oplossing voor VACUUM waar de bewerking kan mislukken met een AssertionError met de mededeling: 'Mag hier geen absolute paden voor verwijdering hebben'.
    • Er is een vaste SHOW CREATE TABLE opdracht opgelost om door Hive gegenereerde opslageigenschappen niet op te nemen.
  • Uitvoerders die veel NoClassDefFoundError fouten genereren voor interne Spark-klassen, worden nu automatisch opnieuw opgestart om het probleem op te lossen.

Bekende problemen

  • Kolomnamen die zijn opgegeven in de optie voor overwrite de replaceWhere modus in Delta Lake, zijn hoofdlettergevoelig, zelfs als hoofdlettergevoeligheid is ingeschakeld (dit is de standaardinstelling).
  • De Snowflake-connector voor Databricks Runtime 5.0 is in preview.
  • Als u een actieve streamingcel annuleert in een notebook dat is gekoppeld aan een Databricks Runtime 5.0-cluster, kunt u geen volgende opdrachten uitvoeren in het notebook, tenzij u de status van het notitieblok wist of het cluster opnieuw opstart. Zie de Knowledge Base voor een tijdelijke oplossing.

Apache Spark

Databricks Runtime 5.0 bevat Apache Spark 2.4.0.

Core en Spark SQL

Notitie

Dit artikel bevat verwijzingen naar de term slave, een term die azure Databricks niet gebruikt. Zodra de term uit de software wordt verwijderd, verwijderen we deze uit dit artikel.

Belangrijke functies

  • Uitvoeringsmodus barrière: [SPARK-24374] Ondersteunt de uitvoeringsmodus voor barrières in de planner om beter te integreren met deep learning-frameworks.
  • Scala 2.12-ondersteuning: [SPARK-14220] Experimentele Scala 2.12-ondersteuning toevoegen. Nu kunt u Spark bouwen met Scala 2.12 en Spark-toepassingen schrijven in Scala 2.12.
  • Functies in hogere volgorde: [SPARK-23899] Voeg veel nieuwe ingebouwde functies toe, waaronder functies in hoge volgorde, om het werken met complexe gegevenstypen eenvoudiger te maken. Zie ingebouwde Apache Spark-functies.
  • Ingebouwde Avro-gegevensbron: [SPARK-24768] Inline Spark-Avro-pakket met ondersteuning voor logisch type, betere prestaties en bruikbaarheid.

API

  • [SPARK-24035] SQL-syntaxis voor Pivot
  • [SPARK-24940] Hint voor samenvoeging en opnieuw partitioneren voor SQL-query's
  • [SPARK-19602] Ondersteuning voor kolomomzetting van volledig gekwalificeerde kolomnaam
  • [SPARK-21274] IMPLEMENTEREN BEHALVE ALL en INTERSECT ALL

Prestaties en stabiliteit

  • [SPARK-16406] Verwijzingsresolutie voor een groot aantal kolommen moet sneller zijn
  • [SPARK-23486] Cache de functienaam uit de externe catalogus voor lookupFunctions
  • [SPARK-23803] Ondersteuningsbucket verwijderen
  • [SPARK-24802] Uitsluiting van optimalisatieregels
  • [SPARK-4502] Geneste schema's verwijderen voor Parquet-tabellen
  • [SPARK-24296] Ondersteuning voor replicatieblokken die groter zijn dan 2 GB
  • [SPARK-24307] Ondersteuning voor het verzenden van berichten van meer dan 2 GB vanuit het geheugen
  • [SPARK-23243] Shuffle+Repartition op een RDD kan leiden tot onjuiste antwoorden
  • [SPARK-25181] Beperkt de grootte van BlockManager-master- en slaafthreadpools, waardoor geheugenoverhead wordt verlaagd wanneer het netwerk traag is

Connectoren

PySpark

  • [SPARK-24215] Gretige evaluatie implementeren voor DataFrame-API's
  • [SPARK-22274] - [SPARK-22239] Door de gebruiker gedefinieerde aggregatiefuncties met pandas udf
  • [SPARK-24396] Structured Streaming ForeachWriter voor Python toevoegen
  • [SPARK-23874] Apache Arrow upgraden naar 0.10.0
  • [SPARK-25004] Limiet voor spark.executor.pyspark.memory toevoegen
  • [SPARK-23030] De pijlstroomindeling gebruiken om pandas DataFrames te maken en te verzamelen
  • [SPARK-24624] Ondersteuning voor combinatie van Python UDF en Scalar pandas UDF

Andere belangrijke wijzigingen

Programmeerhandleidingen: Spark RDD Programming Guide en Spark SQL DataFrames and Datasets Guide.

Gestructureerd streamen

Belangrijke functies

  • [SPARK-24565] De uitvoerrijen van elke microbatch als een DataFrame weergegeven met behulp van foreachBatch (Python, Scala en Java)
  • [SPARK-24396] Python-API toegevoegd voor foreach en ForeachWriter
  • [SPARK-25005] Ondersteuning voor kafka.isolation.level om alleen vastgelegde records uit Kafka-onderwerpen te lezen die zijn geschreven met behulp van een transactionele producent.

Andere belangrijke wijzigingen

  • [SPARK-24662] Ondersteuning voor de LIMIT-operator voor streams in de modus Toevoegen of Volledig
  • [SPARK-24763] Redundante sleutelgegevens verwijderen uit waarde in streamingaggregatie
  • [SPARK-24156] Sneller genereren van uitvoerresultaten en/of statusopruiming met stateful bewerkingen (mapGroupsWithState, stream-stream join, streamingaggregatie, streaming dropDuplicates) wanneer er geen gegevens in de invoerstroom zijn.
  • [SPARK-24730] Ondersteuning voor het kiezen van het min- of maximumwatermerk wanneer er meerdere invoerstromen in een query zijn
  • [SPARK-25399] Er is een fout opgelost waarbij het hergebruik van uitvoeringsthreads van continue verwerking voor het streamen van microbatch kan leiden tot een probleem met de juistheid
  • [SPARK-18057] Kafka-clientversie bijgewerkt van 0.10.0.1 naar 2.0.0

Programmeerhandleiding: Structured Streaming Programming Guide.

MLlib

Belangrijke functies

Andere belangrijke wijzigingen

Programmeerhandleiding: Handleiding voor Machine Learning Library (MLlib).

SparkR

Programmeerhandleiding: SparkR (R in Spark).

GraphX

  • [SPARK-25268] Parallel gepersonaliseerde PageRank uitvoeren genereert serialisatie-uitzondering

Programmeerhandleiding: GraphX Programming Guide.

Afgeschafte onderdelen

Wijzigingen in gedrag

  • [SPARK-23549] Casten naar tijdstempel bij het vergelijken van tijdstempel met datum
  • [SPARK-24324] Pandas Grouped Map UDF moet resultaatkolommen op naam toewijzen
  • [SPARK-25088] Standaardupdates voor Rest Server en docs
  • [SPARK-23425] gegevens laden voor hdfs-bestandspad met jokertekens werkt niet goed
  • [SPARK-23173] from_json kan null-waarden produceren voor velden die zijn gemarkeerd als niet-nullbaar
  • [SPARK-24966] Prioriteitsregels voor setbewerkingen implementeren
  • [SPARK-25708] HET HEBBEN zonder GROUP BY moet een globale statistische functie zijn
  • [SPARK-24341] In subquery met meerdere waarden correct verwerken
  • [SPARK-19724] Een beheerde tabel maken met een bestaande standaardlocatie moet een uitzondering genereren

Zie de migratiehandleiding voor alle gedragswijzigingen.

Bekende problemen

  • [SPARK-25793] Fout bij het laden van model in BisectingKMeans
  • [SPARK-25271] CTAS met Hive Parquet-tabellen moeten gebruikmaken van systeemeigen parquet-bron
  • [SPARK-24935] Probleem met het uitvoeren van Hive UDAF's vanaf Spark 2.2 en hoger

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 5.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 16.04.5 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
  • R: R versie 3.4.4 (2018-03-15)
  • GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
    • Tesla bestuurder 375.66
    • CUDA 9.0
    • cuDNN 7.0

Notitie

Hoewel Scala 2.12 wordt ondersteund in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 5.0.

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
Boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 Cffi 1.7.0
Chardet 2.3.0 colorama 0.3.7 Configobj 5.0.6
Cryptografie 1.5 cycler 0.10.0 Cython 0.24.1
Decorator 4.0.10 Docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
Ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
Lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 Numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
Pexpect 4.0.1 pickleshare 0.7.4 Kussen 3.3.1
Pip 18,0 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 Pygobject 3.20.0 Pyopenssl 16.0.0
Pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
Scipy 0.18.1 Schuren 0.32 seaborn 0.7.1
Setuptools 40.4.1 Simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Zes 1.10.0 statsmodels 0.6.1
Tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
Virtualenv 15.0.1 wcwidth 0.1.7 Wiel 0.31.1
Wsgiref 0.1.2

Geïnstalleerde R-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Abind 1.4-5 assertthat 0.2.0 Backports 1.1.2
base 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 bit 1.1-14
bit64 0.9-7 Bitops 1.0-6 blob 1.1.1
opstarten 1.3-20 Brouwsel 1.0-6 Bezem 0.5.0
beller 3.0.0 car 3.0-2 carData 3.0-1
caret 6.0-80 cellranger 1.1.0 Chron 2.3-52
class 7.3-14 cli 1.0.0 cluster 2.0.7-1
Codetools 0.2-15 Colorspace 1.3-2 commonmark 1.5
Compiler 3.4.4 Crayon 1.3.4 curl 3.2
CVST 0.2-2 data.table 1.11.4 gegevenssets 3.4.4
DBI 1.0.0 ddalpha 1.3.4 DEoptimR 1.0-8
Desc 1.2.0 Devtools 1.13.6 Digest 0.6.16
dimRed 0.1.0 doMC 1.3.5 dplyr 0.7.6
DRR 0.0.3 fansi 0.3.0 forcats 0.3.0
foreach 1.4.4 Buitenlandse 0.8-70 gbm 2.1.3
Geometrie 0.3-6 ggplot2 3.0.0 git2r 0.23.0
glmnet 2.0-16 Lijm 1.3.0 Gower 0.1.2
afbeeldingen 3.4.4 grDevices 3.4.4 Raster 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.20.0.2
haven 1.1.2 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ipred 0.9-7
Iterators 1.0.10 jsonlite 1.5 kernlab 0.9-27
Kernsmooth 2.23-15 Labeling 0,3 Lattice 0.20-35
lava 1.6.3 lazyeval 0.2.1 Littler 0.3.4
lme4 1.1-18-1 lubridate 1.7.4 Magic 1.5-8
magrittr 1.5 Mapproj 1.2.6 Kaarten 3.3.0
maptools 0.9-3 MASS 7.3-50 Matrix 1.2-14
MatrixModels 0.4-1 memoise 1.1.0 methoden 3.4.4
Mgcv 1.8-24 Mime 0,5 minqa 1.2.4
ModelMetrics 1.2.0 munsell 0.5.0 Mvtnorm 1.0-8
Nlme 3.1-137 nloptr 1.0.4 Nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.2 openxlsx 4.1.0
parallel 3.4.4 pbkrtest 0.4-7 Pijler 1.3.0
pkgbuild 1.0.0 Pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.0 plogr 0.2.0 Pls 2.7-0
plyr 1.8.4 Lof 1.0.0 prettyunits 1.0.2
Proc 1.12.1 processx 3.2.0 prodlim 2018.04.18
Proto 1.0.0 ps 1.1.0 Purrr 0.2.5
quantreg 5,36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.2.2 randomForest 4.6-14
Rcolorbrewer 1.1-2 Rcpp 0.12.18 RcppEigen 0.3.3.4.0
RcppRoll 0.3.0 RCurl 1.95-4.11 leesbewerking 1.1.1
readxl 1.1.0 recepten 0.1.3 Rematch 1.0.1
hervorm2 1.4.3 Rio 0.5.10 rlang 0.2.2
Robustbase 0.93-2 RODBC 1.3-15 roxygen2 6.1.0
Rpart 4.1-13 rprojroot 1.3-2 Rserve 1.7-3
RSQLite 2.1.1 rstudioapi 0,7 Schalen 1.0.0
sfsmisc 1.1-2 Sp 1.3-1 SparkR 2.4.0
SparseM 1.77 Ruimtelijke 7.3-11 Splines 3.4.4
sqldf 0.4-11 SQUAREM 2017.10-1 statmod 1.4.30
Stats 3.4.4 stats4 3.4.4 stringi 1.2.4
stringr 1.3.1 Overleving 2.42-6 Tcltk 3.4.4
TeachingDemos 2.10 testthat 2.0.0 tibble 1.4.2
tidyr 0.8.1 tidyselect 0.2.4 Timedate 3043.102
tools 3.4.4 utf8 1.1.4 utils 3.4.4
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 Zip 1.0.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db7-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db7-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.0.0
com.fasterxml.jackson.core jackson-annotaties 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrische gegevenskern 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrische gegevensgrafiet 3.1.5
io.dropwizard.metrics metrische statuscontroles 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Collector 0,7
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validatie-API 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.10.0
org.apache.arrow pijlgeheugen 0.10.0
org.apache.arrow pijlvector 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks2
org.apache.parquet parquet-common 1.10.1-databricks2
org.apache.parquet parquet-codering 1.10.1-databricks2
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks2
org.apache.parquet parquet-jackson 1.10.1-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-gearceerd 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.9
org.codehaus.janino Janino 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-vervolg 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate sluimerstand-validator 5.1.1.Final
org.iq80.snappy Snappy 0,2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark Ongebruikte 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
Oro Oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52