Databricks Runtime 4.3 (niet ondersteund)

Databricks heeft deze afbeelding uitgebracht in augustus 2018.

Belangrijk

Deze release is afgeschaft op 9 april 2019. Zie de ondersteuningslevenscycli van Databricks Runtime voor meer informatie over het afschaffingsbeleid en de planning van Databricks Runtime.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.3, mogelijk gemaakt door Apache Spark.

Nieuwe functies

  • Delta Lake
    • TRUNCATE TABLE opdracht: Alle rijen uit een tabel verwijderen. In tegenstelling tot de tegenhanger van Spark-tabellen bieden Delta-tabellen geen ondersteuning voor het verwijderen van specifieke partities.
    • ALTER TABLE REPLACE COLUMNS opdracht: Kolommen in een Delta-tabel vervangen. Het ondersteunt het wijzigen van de opmerking van een kolom en het opnieuw rangschikken van meerdere kolommen.
    • FSCK REPAIR TABLE opdracht: Verwijder de bestandsvermeldingen uit het transactielogboek van een Delta-tabel die niet meer kan worden gevonden in het onderliggende bestandssysteem. Dit kan gebeuren wanneer deze bestanden handmatig zijn verwijderd.
    • Ondersteuning voor query's op verouderde Delta-tabellen om de interactieve query-ervaring te verbeteren: query's op Delta-tabellen kunnen nu worden uitgevoerd op een verouderde versie van de tabel wanneer bijgewerkte resultaten niet nodig zijn. Deze functie vermindert de latentie van query's, met name wanneer onderliggende Delta-tabellen continu worden bijgewerkt via stromen.
  • Gestructureerd streamen
    • Schaalbare ondersteuning voor het schrijven van streaming voor Azure Synapse Analytics Verbinding maken or.
    • Ondersteuning voor foreachBatch() in Python (al beschikbaar in Scala). Zie de documentatie voor foreach en foreachBatch voor meer informatie.
    • Ondersteuning voor het kiezen van het min- of maximumwatermerk wanneer er meerdere invoerstromen in een query zijn. Voorheen werd altijd de minimale tijdstempel gebruikt. Zie het beleid voor meerdere watermerken voor meer informatie.
    • Ondersteuning voor de LIMIT operator voor streams in Append en Complete uitvoermodi. Als u OOM-fouten in het stuurprogramma wilt minimaliseren, LIMIT wordt deze automatisch toegepast wanneer u ongebonden streams gebruikt display() .

Verbeteringen

  • Delta Lake

    • Privévoorbeeld van nieuwe schaalbare implementatie van MERGE INTO opdracht waarvoor de invoeglimiet van 10000 rijen niet is bereikt. Neem contact op met de ondersteuning als u dit wilt proberen.
    • Betere prestaties en schaalbaarheid van de OPTIMIZE opdracht, met name op grotere clusters.
    • De opdracht OPTIMIZE voert nu stapsgewijs door naar de tabel, wat betekent dat als de opdracht mislukt, de volledige gegevensset niet opnieuw hoeft te worden verwerkt.
    • Verminder het aantal RPC's van het bestandssysteem dat nodig is om nieuwe gegevens te detecteren bij het gebruik van Delta Lake als streamingbron.
    • Er is ondersteuning toegevoegd voor df.writeStream.table(table-name) in Python om een Delta-tabel te maken vanuit een stream.
  • Verbeterde prestaties voor query's met meerdere joins, aggregaties of vensters.

  • Verbeterde efficiëntie voor het verwijderen op partitieniveau in query's met broadcast-hash-joins.

  • Verbeteringen in het genereren van hele fasecode om dubbele expressies te detecteren, de hoeveelheid gegenereerde code te verminderen en de prestaties voor bepaalde expressietypen te verbeteren.

  • Clusters met hoge gelijktijdigheid bieden nu ondersteuning voor uitvoering %fs in notebooks.

  • Py4J bijgewerkt die door PySpark wordt gebruikt naar 0.10.7.

  • Verbeterde prestaties van schijfcaching op exemplaren van de Azure Ls-serie. De cache is nu standaard ingeschakeld op deze exemplaren, waardoor workloads die parquet-bestanden herhaaldelijk lezen, worden versneld.

Afgeschafte functies

  • Gegevens die buiten Databricks Delta worden overgeslagen, worden afgeschaft. Een verbeterde versie van het overslaan van gegevens blijft beschikbaar als onderdeel van Delta Lake. We raden u aan over te schakelen naar het gebruik van Delta Lake om te blijven profiteren van deze functie. Zie Databricks Delta Data Skipping voor meer informatie.

Bugfixes

  • Er is een onjuiste predicaatpushdown-instructie MERGE INTO voor Delta opgelost toen de ON-voorwaarde predicaten had waarnaar alleen naar de doeltabel werd verwezen.

  • Er is een fout opgelost in mapGroupsWithState en flatMapGroupsWithState dat verhinderde time-outs voor het instellen van de status wanneer de status is verwijderd (SPARK-22187).

  • Er is een probleem opgelost waarbij het voorkomen van watermerken correct Trigger.Once werkt (SPARK-24699).

  • Met de opdracht Bijwerken worden nu de kolommen in de SET-component gevalideerd om ervoor te zorgen dat alle kolommen daadwerkelijk bestaan en dat er meer dan één kolom is ingesteld.

  • Er is een mogelijke racevoorwaarde opgelost die impasses kon veroorzaken voor het doorvoeren van mappen.

  • Er is een fout opgelost waardoor een afgeschafte versie van de DBFS-client werd gebruikt bij het vernieuwen van koppelingen.

Bekende problemen

  • Delta Lake-configuratieopties voor een tabel worden alleen van kracht in het eerste notebook waarmee de tabel wordt geladen.

Apache Spark

Databricks Runtime 4.3 bevat Apache Spark 2.3.1. Deze release bevat alle fixes en verbeteringen die zijn opgenomen in Databricks Runtime 4.2 (niet-ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-24934][SQL] Ondersteunde typen expliciet toestaan in boven-/ondergrenzen voor het verwijderen van partities in het geheugen
    • Wanneer complexe gegevenstypen worden gebruikt in queryfilters voor gegevens in de cache, retourneert Spark altijd een lege resultatenset. Bij het wissen op basis van statistieken in het geheugen worden onjuiste resultaten gegenereerd, omdat null is ingesteld voor boven-/ondergrenzen voor complexe typen. De oplossing is het niet gebruiken van op statistieken gebaseerde op statistieken gebaseerde pruning voor complexe typen.
  • [SPARK-24957][SQL] Het gemiddelde met decimaal gevolgd door aggregatie retourneert een onjuist resultaat
    • De onjuiste resultaten van GEMIDDELDE kunnen worden geretourneerd. De CAST die is toegevoegd in de operator Gemiddelde, wordt overgeslagen als het resultaat van Divide hetzelfde type is als waarnaar deze wordt gecast.
  • [SPARK-24867][SQL] AnalysisBarrier toevoegen aan DataFrameWriter
    • SQL-cache wordt niet gebruikt bij het gebruik van DataFrameWriter voor het schrijven van een DataFrame met UDF. Dit is een regressie die wordt veroorzaakt door de wijzigingen die we in AnalysisBarrier hebben aangebracht, omdat niet alle Analyzer-regels idempotent zijn.
  • [SPARK-24790][SQL] Complexe statistische expressies in Pivot toestaan
    • Versoepeling van de controle om complexe statistische expressies toe te staan, zoals ceil(sum(col1)) of sum(col1) + 1, wat ongeveer elke statistische expressie betekent die in een aggregaatplan kan worden weergegeven, met uitzondering van pandas UDF.
  • [SPARK-24870][SQL] Cache werkt normaal niet als er hoofdletters in SQL zijn
    • Lost een probleem met de canonicalisatie van een plan op.
  • [SPARK-24852]Laat spark.ml training gebruikmaken van bijgewerkte Instrumentation-API's .
  • [SPARK-24891][SQL] HandleNullInputsForUDF-regel herstellen
    • Maak HandleNullInputsForUDF-regel idempotent om te voorkomen dat plannen niet overeenkomen in cachebeheer wanneer een plan meerdere keren wordt geanalyseerd.
  • [SPARK-24878][SQL] Omgekeerde functie herstellen voor matrixtype van primitief type dat null bevat.
  • [SPARK-24871][SQL] Herstructureer Concat en MapConcat om te voorkomen dat er voor elke rij een samenvoegobject wordt gemaakt.
  • [SPARK-24802][SQL] Een nieuwe configuratie toevoegen voor uitsluiting van optimalisatieregels
    • Biedt een configuratie voor gebruikers om bepaalde optimalisatieregels uit te sluiten.
  • [SPARK-24879][SQL] NPE in de pushdown van het Hive-partitiefilter herstellen
    • Wanneer het partitiepredicaat iets is als col IN (1, null), wordt er een NPE gegenereerd. Deze patch lost deze op.
  • [SPARK-23731][SQL] FileSourceScanExec canonicalizable maken nadat ze zijn geserialiseerd (gedeserialiseerd)
  • [SPARK-24755][CORE] Uitvoerderverlies kan ertoe leiden dat de taak niet opnieuw wordt verzonden
    • Lost een fout op die spark mogelijk niet opnieuw kan verzenden door uitvoerdersverlies. Deze fout is geïntroduceerd in Spark 2.3.
  • [SPARK-24677][CORE] Vermijd NoSuchElementException van MedianHeap
    • Lost een speculatieve taakgerelateerde fout op bij het verzamelen van metrische gegevens over de duur van taken.
  • [SPARK-24868][PYTHON] een reeksfunctie toevoegen in Python
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Type coercions en nullabiliteiten corrigeren.
  • [SPARK-24699][SS] Watermerken laten werken met Trigger.Eenmaal door bijgewerkt watermerk op te slaan om logboek door te voeren
  • [SPARK-24537][R] Voeg array_remove / array_zip / map_from_arrays / array_distinct
  • [SPARK-22187][SS] Onveiligerow-indeling voor opgeslagen status bijwerken in flatMapGroupsWithState om time-outs met verwijderde status (4.x) toe te staan
  • [SPARK-24681][SQL] Geneste kolomnamen controleren in Hive-metastore
    • Zorg ervoor dat geneste kolomnamen geen ',', ':' en ';' bevatten in de Hive-metastore
  • [SPARK-23486]cache van de functienaam uit de externe catalogus voor lookupFunctions
    • Functiezoekacties versnellen.
  • [SPARK-24781][SQL] Het gebruik van een verwijzing uit de gegevensset in Filter/Sort werkt mogelijk niet
  • [SPARK-24208][SQL] Kenmerkontdubbeling voor FlatMapGroupsInPandas herstellen
    • Self-joinfout in een gegevensset oplossen die een FlatMapGroupsInPandas bevat vanwege dubbele kenmerken
  • [SPARK-24530][PYTHON] Een besturingselement toevoegen om python-versie af te dwingen in Sphinx via omgevingsvariabele SPHINXPYTHON
  • [SPARK-24250]ondersteuning voor toegang tot SQLConf binnen taken
    • Sla alle SQL-configuraties op in taakeigenschappen wanneer een SQL-uitvoering wordt geactiveerd. Aan de uitvoerzijde bouwen we de SQLConf opnieuw op vanuit taakeigenschappen.
  • [SPARK-23936][SQL] Map_concat implementeren
  • [SPARK-23914][SQL] Functie array_union toevoegen
  • [SPARK-24732][SQL] Typ coercion tussen MapTypes.
    • Hiermee wordt ondersteuning toegevoegd voor type coercion tussen MapTypes, waarbij zowel de sleuteltypen als de waardetypen compatibel zijn. Typen MapType(IntegerType, FloatType) en MapType(LongType, DoubleType) kunnen bijvoorbeeld worden afgetrokken van het type MapType(LongType, DoubleType)
  • [SPARK-24662][SQL] [SS] Ondersteuningslimiet in gestructureerd streamen
  • [SPARK-24730][SS] Beleid toevoegen om maximaal als globaal watermerk te kiezen wanneer streamingquery meerdere watermerken heeft (branch-4.x)
  • [SPARK-24596][SQL] Ongeldige cache voor niet-trapsgewijze cache
    • Wanneer u de cache ongedaan maakt of de tijdelijke weergave neer zet, is het niet nodig om alle plannen die afhankelijk zijn van de weergave trapsgewijs op te heffen, omdat de onderliggende gegevens niet worden gewijzigd.
  • [SPARK-23927][SQL] Expressie 'sequence' toevoegen
  • [SPARK-24636][SQL] Type coercion van matrices voor array_join functie
  • [SPARK-22384][SQL] Partitiesnoei verfijnen wanneer het kenmerk wordt verpakt in Cast
    • Verbeter het verwijderen van partities, kan partitiepredicaten omlaag pushen met veilige type cast(int tot lang, niet lang tot int).
  • [SPARK-24385][SQL] Ambiguïteit van self-joinvoorwaarde voor EqualNullSafe oplossen
    • Hiermee wordt EqualNullSafe geïmplementeerd voor dubbelzinnigheid bij het oplossen van dubbelzinnigheid voor self-join-voorwaarden.
  • [SPARK-24696][SQL] ColumnPruning-regel kan geen extra Project verwijderen
    • Lost een fout op in de ColumnPruning-regel die een oneindige lusfout heeft veroorzaakt in de Optimizer.
  • [SPARK-24603][SQL] Fix findTightestCommonType reference in comments
  • [SPARK-24613][SQL] Cache met UDF kan niet worden vergeleken met volgende afhankelijke caches
    • Verpakt het logische plan met een AnalysisBarrier voor de compilatie van het uitvoeringsplan in CacheManager om te voorkomen dat het plan opnieuw wordt geanalyseerd. Dit is ook een regressie van Spark 2.3.
  • [SPARK-24017][SQL] ExternalCatalog herstructureren als interface
  • [SPARK-24324][PYTHON] Pandas Grouped Map UDF moet resultaatkolommen op naam toewijzen
    • Hiermee worden resultaatkolommen toegewezen op schemanaam als de gebruiker is gelabeld met tekenreeksen, anders met behulp van positie.
  • [SPARK-23778][CORE] Vermijd onnodige willekeurige volgorde wanneer de samenvoeging een lege RDD krijgt
    • Negeert binnenkomende lege RDD's in de samenvoegmethode om onnodige extra shuffle te voorkomen wanneer alle andere RDD's dezelfde partitionering hebben.
  • [SPARK-24552][CORE] [SQL] Gebruik een unieke id in plaats van een pogingsnummer voor schrijfbewerkingen.
    • Geeft de unieke taakpoging-id door in plaats van een pogingsnummer naar v2-gegevensbronnen, omdat het pogingsnummer opnieuw wordt gebruikt wanneer fasen opnieuw worden geprobeerd. Dit is van invloed op de gegevensbron-API's V1 en V2, maar de bestandsindeling-API's worden niet beïnvloed omdat DBR gebruikmaakt van een ander doorvoerprotocol.
  • [SPARK-24588][SS] Streaming join moet HashClusteredPartitioning van onderliggende items vereisen.
  • [SPARK-24589][CORE] Identificeer taken in de uitvoerdoorvoeringscoördinator op de juiste manier.
    • Voegt meer informatie toe aan de fasestatus die wordt bijgehouden door de coördinator, zodat slechts één taak de uitvoer mag doorvoeren. Met deze oplossing worden ook de nutteloze codewijzigingen verwijderd die zijn geïntroduceerd door SPARK-18113.
  • [SPARK-23933][SQL] Functie map_from_arrays toevoegen
  • [SPARK-24583][SQL] Verkeerd schematype in InsertIntoDataSourceCommand
    • Bij het maken van een Delta-tabel met NOT NULL-beperkingen kunnen we null-waarden verwijderen en de NULL-waarden invoegen zonder de schending te controleren.
  • [SPARK-24542][SQL] UDF-serie UDFXPathXXXX stelt gebruikers in staat om zorgvuldig gemaakte XML door te geven voor toegang tot willekeurige bestanden
    • Dit is een beveiligingspatch die door de community wordt gerapporteerd. Met UDF-serie UDFXPathXXXX KUNNEN gebruikers zorgvuldig gemaakte XML doorgeven voor toegang tot willekeurige bestanden. Wanneer gebruikers de bibliotheek voor extern toegangsbeheer gebruiken, kunnen gebruikers deze overslaan en toegang krijgen tot de inhoud van het bestand.
  • [SPARK-23934][SQL] Functie map_from_entries toevoegen
  • [SPARK-23912][SQL] Array_distinct toevoegen
  • [SPARK-24574][SQL] functies voor array_contains, array_position, array_remove en element_at hebben betrekking op kolomtype

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 4.3.

Systeemomgeving

  • Besturingssysteem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
  • R: R versie 3.4.4 (2018-03-15)
  • GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
    • Tesla bestuurder 375.66
    • CUDA 9.0
    • cuDNN 7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
Boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 Cffi 1.7.0
Chardet 2.3.0 colorama 0.3.7 Configobj 5.0.6
Cryptografie 1.5 cycler 0.10.0 Cython 0.24.1
Decorator 4.0.10 Docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
Ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
Lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 Numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
Pexpect 4.0.1 pickleshare 0.7.4 Kussen 3.3.1
Pip 10.0.1 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 Pygobject 3.20.0 Pyopenssl 16.0.0
Pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
Scipy 0.18.1 Schuren 0.32 seaborn 0.7.1
Setuptools 39.2.0 Simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Zes 1.10.0 statsmodels 0.6.1
Tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
Virtualenv 15.0.1 wcwidth 0.1.7 Wiel 0.31.1
Wsgiref 0.1.2

Geïnstalleerde R-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Abind 1.4-5 assertthat 0.2.0 Backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
Bitops 1.0-6 blob 1.1.1 opstarten 1.3-20
Brouwsel 1.0-6 Bezem 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
Chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 Codetools 0.2-15 Colorspace 1.3-2
commonmark 1.4 Compiler 3.4.4 Crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
gegevenssets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 Devtools 1.13.5
dichromat 2.0-0 Digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 Buitenlandse 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 Lijm 1.2.0 Gower 0.1.2
afbeeldingen 3.4.4 grDevices 3.4.4 Raster 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ipred 0.9-6
Iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
Kernsmooth 2.23-15 Labeling 0,3 Lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 Littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
Mapproj 1.2.6 Kaarten 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrix 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methoden 3.4.4 Mgcv 1.8-24
Mime 0,5 minqa 1.2.4 Mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 Mvtnorm 1.0-7
Nlme 3.1-137 nloptr 1.0.4 Nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 Pijler 1.2.1
Pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 Lof 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 Proto 1.0.0
Psych 1.8.3.3 Purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 Rcolorbrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 leesbewerking 1.1.1 readxl 1.0.0
recepten 0.1.2 Rematch 1.0.1 hervorm2 1.4.3
Rio 0.5.10 rlang 0.2.0 Robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 Rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 Schalen 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.1 SparseM 1.77
Ruimtelijke 7.3-11 Splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 Stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
Overleving 2.42-3 Tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 Timedate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-gearceerd 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.0.0
com.fasterxml.jackson.core jackson-annotaties 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrische gegevenskern 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrische gegevensgrafiet 3.1.5
io.dropwizard.metrics metrische statuscontroles 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Collector 0,7
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validatie-API 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.8.0
org.apache.arrow pijlgeheugen 0.8.0
org.apache.arrow pijlvector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-codering 1.8.3-databricks2
org.apache.parquet parquet-indeling 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-gearceerd 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-vervolg 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate sluimerstand-validator 5.1.1.Final
org.iq80.snappy Snappy 0,2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark Ongebruikte 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
Oro Oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52