Databricks Runtime 5.4 (niet ondersteund)
Databricks heeft deze afbeelding uitgebracht in juni 2019.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 5.4, mogelijk gemaakt door Apache Spark.
Nieuwe functies
Delta Lake in Azure Databricks voegt Automatisch optimaliseren (openbare preview) toe
Wanneer u gegevens naar cloudopslag schrijft, moet u bestanden comprimeren voor optimale I/O-prestaties. U moet zich zorgen maken over de juiste bestandsgrootte, hoe vaak de bestanden moeten worden gecomprimeerd, hoe groot een cluster moet worden, enzovoort. Om deze klasse problemen op te lossen, introduceren we Auto Optimize met Delta Lake in Azure Databricks. Tijdens elke schrijfbewerking naar Delta-tabellen bepalen we automatisch de juiste bestandsgrootten en compacte bestanden, zodat u zich geen zorgen hoeft te maken over het optimaliseren van de opslagindeling. Tijdens schrijfbewerkingen bepaalt auto-optimizetrueAzure Databricks automatisch of een optimalisatie vereist is en optimaliseert de kleine bestanden. Zie Delta Lake configureren voor het beheren van de bestandsgrootte.
Bibliotheekhulpprogramma's algemeen beschikbaar
Bibliotheekhulpprogramma's zijn nu algemeen beschikbaar. Met deze functie kunt u Python-bibliotheken bewerken vanuit het bereik van een notebooksessie. Zie bibliotheekhulpprogramma (dbutils.library) (verouderd).
Databricks Verbinding maken algemeen beschikbaar
Databricks Verbinding maken is nu algemeen beschikbaar. Deze functie is een Spark-clientbibliotheek waarmee u uw favoriete IDE (IntelliJ, Eclipse, PyCharm, RStudio), notebookserver (Zeppelin, Jupyter) en andere aangepaste toepassingen kunt verbinden met Azure Databricks-clusters en Spark-code kunt uitvoeren. Zie Databricks Verbinding maken.
Binaire bestandsgegevensbron
De binaire bestandsgegevensbron leest binaire bestanden en converteert elk bestand naar één record die de onbewerkte inhoud en metagegevens van het bestand bevat. U kunt nu efficiënt willekeurige bestanden lezen in een Spark DataFrame zonder de inhoud van de bestanden te bezoeken. Dit is vooral handig als u Spark wilt gebruiken om grote bestanden, zoals afbeeldingen, te laden voor scoren. Zie binair bestand.
Verbeteringen
Schijfcache
Schijfcache is nu vooraf geconfigureerd voor Lsv2-exemplaren. De cache is echter niet standaard ingeschakeld. Zie De schijfcache in- of uitschakelen voor informatie over hoe u deze inschakelt.
Passthrough voor Azure Data Lake Storage Gen2 Azure AD-referenties
DBFS-koppeling van azure Data Lake Storage (ADLS) Gen2-bestandssysteem met Microsoft Entra ID -referentiepassthrough (voorheen Azure Active Directory) wordt nu ondersteund. Zie Azure Data Lake Storage Gen2.
R bijgewerkt naar 3.6.0
R-basis wordt bijgewerkt van 3.5.2 naar 3.6.0.
Apache Spark
Databricks Runtime 5.4 bevat Apache Spark 2.4.3. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 5.3 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-27596][SQL] De JDBC-optie 'query' werkt niet voor Oracle-database
- [SPARK-27240][PYTHON] Gebruik pandas DataFrame voor het argument structtype in Scalar pandas UDF.
- [SPARK-26745][SQL] [TESTS] JsonSuite-testcase: lege regel -> 0 recordaantal
- [SPARK-25535][CORE] Het omzeilen van slechte foutafhandeling in commons-crypto.
- [SPARK-26891][YARN] Flaky test herstellen in YarnSchedulerBackendSuite
- [SPARK-27563][SQL] [TEST] automatisch de nieuwste Spark-versies ophalen in HiveExternalCatalogVersionsSuite
- [SPARK-27494][SS] Null-waarden werken niet in Kafka-bron v2
- [SPARK-27550][TEST] Probleem opgelost test-dependencies.sh kafka-0-8-profiel niet gebruiken voor Scala-2.12
- [SPARK-26992][STS] Juiste levering van STS-scheduler-pool herstellen
- [SPARK-27544][PYTHON] [TEST] Python-testscript herstellen om te werken aan scala-2.12 build
- [SPARK-27539][SQL] Onnauwkeurige schatting van uitvoerRows corrigeren met kolom met null-waarden
- [SPARK-27469][BUILD] Commons-beanutils deps op de meest recente 1.9.3
- [SPARK-27419][OPVOLGEN] [DOCS] Opmerking toevoegen over het wijzigen van spark.executor.heartbeatInterval in de migratiehandleiding
- [SPARK-27496][CORE] Fatale fouten moeten ook worden teruggestuurd naar de afzender
- [SPARK-25079][PYTHON] python3 uitvoerbaar bestand bijwerken naar 3.6.x
- [SPARK-27163][PYTHON] Pandas UDF-functionaliteit opschonen en consolideren
- [SPARK-27403][SQL] UpdateTableStats herstellen om tabelstatistieken altijd bij te werken met nieuwe statistieken of Geen
- [SPARK-27479][BUILD] API-documenten verbergen voor org.apache.spark.util.kvstore
- [SPARK-27446][R] Gebruik bestaande spark conf indien beschikbaar.
- [SPARK-27453] Pass partitionBy als opties in DataFrameWriter
- [SPARK-27454][SPARK-27454][HOT-FIX] [ML] [SQL] Cherrypick (Oplossing in spark-afbeeldingsgegevensbron mislukt wanneer er illegale afbeeldingen worden aantreft)
- [SPARK-27351][SQL] Verkeerde schatting van outputRows na aggregateEstimation met alleen een kolom met null-waarden
- [SPARK-27314][SQL] ExprIds ontdubbelen voor Union.
- [SPARK-27394][WEBUI] LiveEntity zo nodig leegmaken bij ontvangst van SparkListenerExecutorMetricsUpdate (backport 2.4)
- [SPARK-27406][SQL] Serialisatie van OnveiligeArrayData-onderbrekingen wanneer twee computers een andere grootte hebben
- [SPARK-27419][CORE] Vermijd het casten van heartbeatinterval tot seconden (2,4)
- [SPARK-27391][SS] Initialiseer geen luie val in ContinuousExecution-taak.
- [SPARK-27390][CORE] [SQL] [TEST] De pakketnaam komt niet overeen
- [SPARK-27358][UI] Jquery bijwerken naar 1.12.x om beveiligingsoplossingen op te halen
- [SPARK-27216][CORE] Upgrade RoaringBitmap naar 0.7.45 om kryo onveilig ser/dser-probleem op te lossen
- [SPARK-27382][SQL] [TEST] Spark 2.4.x-testen bijwerken in HiveExternalCatalogVersionsSuite
- [SPARK-27338][CORE] Impasse tussen UnsafeExternalSorter en TaskMemoryManager oplossen
- [SPARK-27338][CORE] [OPVOLGEN] Volgruimte verwijderen
- [SPARK-27338][CORE] Impasse opgelost in OnveiligExternalSorter.SpillableIterator bij het vergrendelen van zowel UnsafeExternalSorter.SpillableIterator als TaskMemoryManager
- [SPARK-27346][SQL] Los de voorwaarde voor de nieuwe regel assertie in het veld 'voorbeelden' in ExpressionInfo los
- [SPARK-26998][CORE] SSL-configuratie verwijderen uit uitvoerders
- [SPARK-27244][CORE] [TEST] [FOLLOWUP] toDebugString redacts gevoelige informatie
- [SPARK-27267][OPVOLGEN] Hadoop-2.6-afhankelijkheidsmanifest bijwerken
- [SPARK-27267][CORE] Snappy bijwerken om fouten te voorkomen bij het decomprimeren van lege geserialiseerde gegevens
- [SPARK-27301][DSTREAM] Verkort de levenscyclus van het bestandssysteem in de cache naar het binnenste bereik van de opschoonmethode
- [SPARK-27244][CORE] Wachtwoorden redact while using Option logConf=true
- [SPARK-26208][SQL] kopteksten toevoegen aan lege CSV-bestanden wanneer header=true
- [SPARK-27275][CORE] Mogelijke beschadiging in EncryptedMessage.transferTo herstellen (2.4)
- [SPARK-23836][PYTHON] Ondersteuning voor StructType-retour toevoegen in Scalar pandas UDF
- [SPARK-26961][CORE] Mogelijkheid voor parallel laden van klassen inschakelen
- [SPARK-27274][DOCS] Verwijzingen naar scala 2.11 corrigeren in 2.4.1+ docs; Opmerking 2.11-ondersteuning is afgeschaft in 2.4.1+
- [SPARK-27198][CORE] Heartbeat-interval komt niet overeen in stuurprogramma en uitvoerder
- [SPARK-27094][YARN] Werk rond RackResolver die threadonderbreking doorslikt.
- [SPARK-24935][SQL] Hive UDAF herstellen met twee aggregatiebuffers
- [SPARK-27160][SQL] DecimalType herstellen bij het bouwen van orc-filters
- [SPARK-26606][CORE] Stuurprogrammaopties correct verwerken bij het verzenden naar de zelfstandige clustermodus via verouderde client
- [SPARK-27221][SQL] Het assert-foutbericht in TreeNode.parseToJson (5.x) verbeteren
- [SPARK-27102][R] [PYTHON] [CORE] Verwijder de verwijzingen naar Scala-codes van Python in de Scala-codes van R
- [SPARK-27159][SQL] mssql server dialect bijwerken ter ondersteuning van binair type
- [SPARK-27112][CORE] : Maak een resourcevolgorde tussen threads om de impasses op te lossen die zijn opgetreden bij het doden van uitvoerders vanwege dynamische toewijzing of een bloklijst
- [SPARK-27178][K8S] nss-pakket toevoegen om tests op te lossen
- [SPARK-27045][SQL] Het tabblad SQL in de gebruikersinterface toont werkelijke SQL in plaats van aanroepen in het geval van SparkSQLDriver
- [SPARK-27119][SQL] Schema niet afleiden bij het lezen van hive-serde-tabel met systeemeigen gegevensbron
- [SPARK-27165][SPARK-27107][BUILD] [SQL] Apache ORC upgraden naar 1.5.5
- [SPARK-26742][K8S] K8s-clientversie bijwerken naar 4.1.2
- [SPARK-26927][CORE] Zorg ervoor dat de uitvoerder actief is bij het verwerken van gebeurtenissen in dynamische toewijzingsbeheer.
- [SPARK-27097][CHERRY-PICK 2.4] Vermijd het insluiten van platformafhankelijke offsets letterlijk in volledig gegenereerde code
- [SPARK-27111][SS] Een race herstellen die een continue query kan mislukken met InterruptedException (5.x)
- [SPARK-27111][SS] Een race herstellen die een continue query kan mislukken met InterruptedException
- [SPARK-27080][SQL] bug fix: mergeWithMetastoreSchema with uniform lower case comparison
- [SPARK-26604][CORE] Kanaalregistratie opschonen voor StreamManager
- [SPARK-27016][SQL] [BUILD] Alle antlr-waarschuwingen behandelen als fouten tijdens het genereren van parser uit het SQL-grammaticabestand
- [SPARK-25863][SPARK-21871][SQL] Controleer of statistieken van de codegrootte leeg zijn of niet in updateAndGetCompilationStats
- [SPARK-27078][SQL] NoSuchFieldError herstellen bij het lezen van gerealiseerde Hive-weergaven
- [SPARK-27019][SQL] [WEBUI] onJobStart treedt op nadat onExecutionEnd kvstore niet mag overschrijven
- [SPARK-27065][CORE] vermijd meer dan één actieve takensetmanagers voor een fase
- [SPARK-24669][SQL] Tabellen ongeldig maken in geval van DROP DATABASE CASCADE
- [SPARK-26932][DOC] Een waarschuwing toevoegen voor probleem met Hive 2.1.1 ORC-lezer
- [SPARK-25139][SPARK-18406][CORE] Vermijd Niet-fatallen om de uitvoerder te doden in PythonRunner
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 5.4.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
- R: R versie 3.6.0 (2019-04-26)
- GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
- Tesla bestuurder 375.66
- CUDA 9.0
- cuDNN 7.0
Notitie
Hoewel Scala 2.12 wordt ondersteund in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 5.4.
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| Boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | Cffi | 1.7.0 |
| Chardet | 2.3.0 | colorama | 0.3.7 | Configobj | 5.0.6 |
| Cryptografie | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| Decorator | 4.0.10 | Docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| Ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| Lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | Numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| Pexpect | 4.0.1 | pickleshare | 0.7.4 | Kussen | 3.3.1 |
| Pip | 19.1.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | Pygobject | 3.20.0 | Pyopenssl | 16.0.0 |
| Pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| Scipy | 0.18.1 | Schuren | 0.32 | seaborn | 0.7.1 |
| Setuptools | 41.0.1 | Simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Zes | 1.10.0 | statsmodels | 0.6.1 |
| Tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| Virtualenv | 16.1.0 | wcwidth | 0.1.7 | Wiel | 0.33.3 |
| Wsgiref | 0.1.2 |
Geïnstalleerde R-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Abind | 1.4-5 | Askpass | 1.1 | assertthat | 0.2.1 |
| Backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| Bitops | 1.0-6 | blob | 1.1.1 | opstarten | 1.3-20 |
| Brouwsel | 1.0-6 | beller | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-82 | cellranger | 1.1.0 |
| Chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbolen | 1.2.0 | cluster | 2.0.8 |
| Codetools | 0.2-16 | Colorspace | 1.4-1 | commonmark | 1,7 |
| Compiler | 3.6.0 | configuratie | 0,3 | Crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | gegevenssets | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| Devtools | 2.0.1 | Digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellipsis | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | Buitenlandse | 0.8-71 |
| Forge | 0.2.0 | Fs | 1.2.7 | gbm | 2.1.5 |
| Generics | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | Lijm | 1.3.1 |
| Gower | 0.2.0 | afbeeldingen | 3.6.0 | grDevices | 3.6.0 |
| Raster | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| Ini | 0.3.1 | Ipred | 0.9-8 | Iterators | 1.0.10 |
| jsonlite | 1.6 | Kernsmooth | 2.23-15 | Labeling | 0,3 |
| Lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| Littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | Mapproj | 1.2.6 | Kaarten | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matrix | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methoden | 3.6.0 |
| Mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | Mvtnorm | 1.0-10 |
| Nlme | 3.1-139 | nloptr | 1.2.1 | Nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | Pijler | 1.3.1 |
| pkgbuild | 1.0.3 | Pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| Lof | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Voortgang | 1.2.0 |
| Proto | 1.0.0 | ps | 1.3.0 | Purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| Rcolorbrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | leesbewerking | 1.3.1 |
| readxl | 1.3.1 | recepten | 0.1.5 | Rematch | 1.0.1 |
| Afstandsbedieningen | 2.0.2 | hervorm2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | Schalen | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.3 | SparseM | 1.77 | Ruimtelijke | 7.3-11 |
| Splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | Stats | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | Overleving | 2.43-3 |
| sys | 3.1 | Tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | Timedate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | Yaml | 2.2.0 |
| Zip | 2.0.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
| io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Collector | 0,7 |
| javax.activation | activering | 1.1.1 |
| javax.annotatie | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.validation | validatie-API | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.10.0 |
| org.apache.arrow | pijlgeheugen | 0.10.0 |
| org.apache.arrow | pijlvector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-codering | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-gearceerd | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-vervolg | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | sluimerstand-validator | 5.1.1.Final |
| org.iq80.snappy | Snappy | 0,2 |
| org.javassist | Javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | Xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| Oro | Oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |