Databricks Runtime 4.0 (stöds inte)

  • Artikel

Databricks släppte den här bilden i mars 2018.

Viktigt!

Den här versionen blev inaktuell den 1 november 2018. Mer information om utfasningsprincipen och schemat för Databricks Runtime finns i Supportlivscykler för Databricks-körning.

Följande viktig information innehåller information om Databricks Runtime 4.0 som drivs av Apache Spark.

Ändringar och förbättringar

  • JSON-datakällan försöker nu identifiera kodningen automatiskt i stället för att anta att den är UTF-8. I de fall då automatisk identifiering misslyckas kan användarna ange teckenuppsättningsalternativet för att framtvinga en viss kodning. Se Automatisk identifiering av teckenuppsättning.
  • Bedömning och förutsägelse med Spark MLlib-pipelines i Strukturerad direktuppspelning stöds fullt ut.
  • Databricks ML-modellexport stöds fullt ut. Med den här funktionen kan du träna en Spark MLlib-modell på Databricks, exportera den med ett funktionsanrop och använda ett Databricks-bibliotek i det system du väljer för att importera modellen och poängsätta nya data.
  • En ny Implementering av Spark-datakälla ger skalbar läs-/skrivåtkomst till Azure Synapse Analytics. Se Spark – Synapse Analytics Anslut or.
  • Schemat för from_json funktionen konverteras nu alltid till en nullbar. Med andra ord kan alla fält, inklusive kapslade fält, vara null. Detta säkerställer att data är kompatibla med schemat, vilket förhindrar skador efter att ha skrivit data för att parquet när ett fält saknas i data och det användardefinierade schemat deklarerar fältet som icke-nullbart.
  • Uppgraderade några installerade Python-bibliotek:
    • terminer: från 3.1.1 till 3.2.0
    • pandas: från 0.18.1 till 0.19.2
    • pyarrow: från 0.4.1 till 0.8.0
    • setuptools: från 38.2.3 till 38.5.1
    • tornado: 4.5.2 till 4.5.3
  • Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.
  • Uppgraderade AWS Java SDK från 1.11.126 till 1.11.253.
  • Uppgraderade SQL Server JDBC-drivrutinen från 6.1.0.jre8 till 6.2.2.jre8.
  • Uppgraderade PostgreSQL JDBC-drivrutinen från 9.4-1204-jdbc41 till 42.1.4.

Apache Spark

Databricks Runtime 4.0 innehåller Apache Spark 2.3.0.

Core, PySpark och Spark SQL

Viktiga funktioner

  • Vektoriserad ORC-läsare: [SPARK-16060]: Lägger till stöd för ny ORC-läsare som avsevärt förbättrar ORC-genomflödet genom vektorisering (2–5x). Om du vill aktivera läsaren kan användarna ange spark.sql.orc.impl till native.
  • Spark History Server V2: [SPARK-18085]: En ny SHS-serverdel (Spark History Server) som ger bättre skalbarhet för storskaliga program med en effektivare mekanism för händelselagring.
  • API för datakälla V2: [SPARK-15689][SPARK-22386]: Ett experimentellt API för att ansluta till nya datakällor i Spark. Det nya API:et försöker åtgärda flera begränsningar i V1-API:et och syftar till att underlätta utvecklingen av högpresterande, lättanvända och utökningsbara externa datakällor. Det här API:et genomgår fortfarande aktiv utveckling och icke-bakåtkompatibla ändringar bör förväntas.
  • Prestandaförbättringar i PySpark: [SPARK-22216][SPARK-21187]: Betydande förbättringar i Pythons prestanda och samverkan genom snabb dataserialisering och vektoriserad körning.

Prestanda och stabilitet

Andra viktiga ändringar

Programmeringsguider: Spark RDD Programming Guide och Spark SQL DataFrames and Datasets Guide.

Strukturerad direktuppspelning

Kontinuerlig bearbetning

  • En ny körningsmotor som kan köra strömmande frågor med svarstid under millisekunder från slutpunkt till slutpunkt genom att endast ändra en enda rad med användarkod. Mer information finns i programmeringsguiden.

Stream-Stream-kopplingar

  • Möjlighet att ansluta två dataströmmar och buffrar rader tills matchande tupplar kommer till den andra strömmen. Predikat kan användas mot händelsetidskolumner för att binda mängden tillstånd som måste behållas.

API V2 för direktuppspelning

  • Ett experimentellt API för att ansluta till ny källa och mottagare som fungerar för batch, mikrobatch och kontinuerlig körning. Det här API:et genomgår fortfarande aktiv utveckling och icke-bakåtkompatibla ändringar bör förväntas.

Programmeringsguide: Programmeringsguide för strukturerad direktuppspelning.

MLlib

Höjdpunkter

  • ML Prediction fungerar nu med Structured Streaming med hjälp av uppdaterade API:er. Information följer.

Nya och förbättrade API:er

  • [SPARK-21866]: Inbyggt stöd för att läsa bilder i en DataFrame (Scala/Java/Python).
  • [SPARK-19634]: DataFrame-funktioner för beskrivande sammanfattningsstatistik över vektorkolumner (Scala/Java).
  • [SPARK-14516]: ClusteringEvaluator för justering av klustringsalgoritmer, stöd för Cosinus silhuett och kvadratiska euklidiska silhuettmått (Scala/Java/Python).
  • [SPARK-3181]: Robust linjär regression med Huber-förlust (Scala/Java/Python).
  • [SPARK-13969]: FeatureHasher transformerare (Scala/Java/Python).
  • Stöd för flera kolumner för flera funktionstransformatorer:
  • [SPARK-21633] och SPARK-21542]: Förbättrat stöd för anpassade pipelinekomponenter i Python.

Nya funktioner

  • [SPARK-21087]: CrossValidator och TrainValidationSplit kan samla in alla modeller vid montering (Scala/Java). På så sätt kan du inspektera eller spara alla anpassade modeller.
  • [SPARK-19357]: Metaalgoritmer CrossValidator, , TrainValidationSplitstöderOneVsRest en parallellitetsparam för att passa flera undermodeller i parallella Spark-jobb.
  • [SPARK-17139]: Modellsammanfattning för multinom logistisk regression (Scala/Java/Python)
  • [SPARK-18710]: Lägg till förskjutning i GLM.
  • [SPARK-20199]: Param har lagts featureSubsetStrategy till i GBTClassifier och GBTRegressor. Om du använder detta för att dela upp funktioner kan du avsevärt förbättra träningshastigheten. det här alternativet har varit en viktig styrka för xgboost.

Andra viktiga ändringar

  • [SPARK-22156]: Fast Word2Vec skalning av inlärningshastighet med num iterationer. Den nya inlärningsfrekvensen är inställd på att matcha den ursprungliga Word2Vec C-koden och bör ge bättre resultat från träningen.
  • [SPARK-22289]: Lägg till JSON stöd för matrisparametrar (Detta åtgärdade ett fel för ML-beständighet med LogisticRegressionModel när du använder gränser för koefficienter.)
  • [SPARK-22700]: Bucketizer.transform felaktigt släpper rad som innehåller NaN. När Param handleInvalid var inställt på "hoppa över" Bucketizer skulle släppa en rad med ett giltigt värde i indatakolumnen om en annan (irrelevant) kolumn hade ett NaN värde.
  • [SPARK-22446]: Katalysatoroptimeraren orsakade StringIndexerModel ibland ett felaktigt undantag för "Ej osynlig etikett" när handleInvalid det var inställt på "fel". Detta kan inträffa för filtrerade data på grund av predikatnedtryckning, vilket orsakar fel även efter att ogiltiga rader redan har filtrerats från indatauppsättningen.
  • [SPARK-21681]: Åtgärdade ett gränsfallsfel i multinom logistisk regression som resulterade i felaktiga koefficienter när vissa funktioner hade noll varians.
  • Större optimeringar:
    • [SPARK-22707]: Minskad minnesförbrukning för CrossValidator.
    • [SPARK-22949]: Minskad minnesförbrukning för TrainValidationSplit.
    • [SPARK-21690]: Imputer bör träna med hjälp av en enda passering över data.
    • [SPARK-14371]: OnlineLDAOptimizer undviker att samla in statistik till drivrutinen för varje mini-batch.

Programmeringsguide: MLlib-guide (Machine Learning Library).

SparkR

Huvudfokus för SparkR i 2.3.0-versionen var att förbättra stabiliteten hos UDF:er och lägga till flera nya SparkR-omslutningar kring befintliga API:er:

Viktiga funktioner

Programmeringsguide: SparkR (R på Spark).

GraphX

Optimeringar

  • [SPARK-5484]: Pregel nu kontrollpunkter regelbundet för att undvika StackOverflowErrors.
  • [SPARK-21491]: Liten prestandaförbättring på flera platser.

Programmeringsguide: Programmeringsguide för GraphX.

Utfasningar

Python

  • [SPARK-23122]: Inaktuell register* för UDF:er i SQLContext och Catalog i PySpark

MLlib

  • [SPARK-13030]: OneHotEncoder har blivit inaktuell och tas bort i 3.0. Den har ersatts av den nya OneHotEncoderEstimator. OneHotEncoderEstimator kommer att byta namn till OneHotEncoder i 3.0 (men OneHotEncoderEstimator behålls som ett alias).

Beteendeändringar

SparkSQL

  • [SPARK-22036]: Som standard returnerar aritmetiska åtgärder mellan decimaler ett avrundat värde om en exakt representation inte är möjlig (i stället för att NULL returneras i tidigare versioner)
  • [SPARK-22937]: När alla indata är binära returnerar SQL elt() utdata som binär. Annars returneras den som en sträng. I tidigare versioner returnerades den alltid som en sträng oavsett indatatyper.
  • [SPARK-22895]: Kopplings-/filtrets deterministiska predikat som är efter de första icke-deterministiska predikaten trycks också ned/genom de underordnade operatorerna, om möjligt. I tidigare versioner var dessa filter inte berättigade till predikat-pushdown.
  • [SPARK-22771]: När alla indata är binära returnerar functions.concat() ett utdata som binärt. Annars returneras den som en sträng. I tidigare versioner returnerades den alltid som en sträng oavsett indatatyper.
  • [SPARK-22489]: När någon av kopplingssidorna kan sändas föredrar vi att sända tabellen som uttryckligen anges i ett sändningstips.
  • [SPARK-22165]: Inferens för partitionskolumner hittades tidigare felaktig gemensam typ för olika härledda typer. Tidigare slutade det till exempel med double typ som vanlig typ för double typ och date typ. Nu hittar den rätt vanliga typ för sådana konflikter. Mer information finns i migreringsguiden.
  • [SPARK-22100]: Funktionen percentile_approx accepterade numeric tidigare typindata och utdatatypresultat double . Nu har den stöd för date typ, timestamp typ och numeric typer som indatatyper. Resultattypen ändras också så att den är samma som indatatypen, vilket är mer rimligt för percentiler.
  • [SPARK-21610]: frågorna från råa JSON/CSV-filer tillåts inte när de refererade kolumnerna endast innehåller den interna korrupta postkolumnen (namngiven _corrupt_record som standard). I stället kan du cachelagra eller spara de parsade resultaten och sedan skicka samma fråga.
  • [SPARK-23421]: Eftersom Spark 2.2.1 och 2.3.0 härleds schemat alltid vid körning när datakällans tabeller har kolumnerna som finns i både partitionsschemat och dataschemat. Det härledda schemat har inte de partitionerade kolumnerna. När du läser tabellen respekterar Spark partitionsvärdena för dessa överlappande kolumner i stället för värdena som lagras i datakällans filer. I versionen 2.2.0 och 2.1.x partitioneras det härledda schemat, men data i tabellen är osynliga för användarna (dvs. resultatuppsättningen är tom).

PySpark

  • [SPARK-19732]: na.fill() eller fillna accepterar också booleskt värde och ersätter null-värden med booleska värden. I tidigare Spark-versioner ignorerar PySpark den och returnerar den ursprungliga datauppsättningen/dataramen.
  • [SPARK-22395]: Pandas 0.19.2 eller upper krävs för användning av Pandas-relaterade funktioner, till exempel toPandas, createDataFrame från Pandas DataFrame osv.
  • [SPARK-22395]: Beteendet för tidsstämpelvärden för Pandas-relaterade funktioner ändrades för att respektera sessionstidszonen, som ignoreras i tidigare versioner.
  • [SPARK-23328]: df.replace tillåter inte att utelämna value när to_replace inte är en ordlista. value Tidigare kunde utelämnas i andra fall och hade None som standard, vilket är kontraintuitivt och felbenäget.

MLlib

  • Icke-bakåtkompatibla API-ändringar: Klass- och egenskapshierarkin för sammanfattningar av logistiska regressionsmodeller ändrades till att vara renare och bättre hantera tillägget av sammanfattningen för flera klasser. Det här är en icke-bakåtkompatibel ändring för användarkod som omvandlar en LogisticRegressionTrainingSummary till en BinaryLogisticRegressionTrainingSummary. Användarna bör i stället använda model.binarySummary metoden. Mer information finns i [SPARK-17139]: (observera att detta är ett @Experimental API). Detta påverkar inte Python-sammanfattningsmetoden, som fortfarande fungerar korrekt för både multinom- och binärfall.
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): första punkten (0.0, 1.0) är missvisande och har ersatts av (0,0, p) där precision p matchar den lägsta träffpunkten.
  • [SPARK-16957]: Beslutsträd använder nu viktade mittpunkter när du väljer delade värden. Detta kan ändra resultatet av modellträningen.
  • [SPARK-14657]: RFormula utan en skärningspunkt matas referenskategorin ut när strängtermer kodas för att matcha det interna R-beteendet. Detta kan ändra resultatet av modellträningen.
  • [SPARK-21027]: Standardparallelliteten som används i OneVsRest är nu inställd på 1 (dvs. seriell). I 2.2 och tidigare versioner var nivån av parallellitet inställd på standardstorleken för trådpoolen i Scala. Detta kan ändra prestanda.
  • [SPARK-21523]: Uppgraderade Breeze till 0.13.2. Detta inkluderade en viktig buggkorrigering i stark Wolfe-linjesökning efter L-BFGS.
  • [SPARK-15526]: JPMML-beroendet är nu skuggat.
  • Se även avsnittet "Buggkorrigeringar" för beteendeändringar som beror på att buggar åtgärdas.

Kända problem

  • [SPARK-23523][SQL]: Felaktigt resultat som orsakas av regeln OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: Buggar i stream-stream-självkopplingar.

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 4.0.

Systemmiljö

  • Operativsystem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (eller 3.5.2 om du använder Python 3)
  • R: R version 3.4.3 (2017-11-30)
  • GPU-kluster: Följande NVIDIA GPU-bibliotek är installerade:
    • Tesla-förare 375,66
    • CUDA 8.0
    • CUDNN 6.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
Boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 Certifi 2016.2.28 Cffi 1.7.0
Chardet 2.3.0 Colorama 0.3.7 Configobj 5.0.6
Kryptografi 1.5 Apparat 0.10.0 Cython 0.24.1
Dekoratör 4.0.10 Docutils 0,14 uppräkning 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Terminer 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 Ip 1.0.16
Ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
Lxml 3.6.4 Markering Valv 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 Numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
Pexpect 4.0.1 pickleshare 0.7.4 Kudde 3.3.1
Pip 9.0.1 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2,14
Pygments 2.1.3 Pygobject 3.20.0 Pyopenssl 16.0.0
Pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
begäranden 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
Scipy 0.18.1 Skura 0.32 seaborn 0.7.1
Setuptools 38.5.1 Simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Sex 1.10.0 statsmodels 0.6.1
Tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
Virtualenv 15.0.1 wcwidth 0.1.7 Hjul 0.30.0
Wsgiref 0.1.2

Installerade R-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Abind 1.4-5 assertthat 0.2.0 Backports 1.1.1
bas 3.4.3 BH 1.65.0-1 bindning 0,1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
Bitops 1.0-6 blob 1.1.0 start 1.3-20
Brygga 1.0-6 Kvast 0.4.3 car 2.1-6
textmarkör 6.0-77 Chron 2.3-51 klass 7.3-14
cluster 2.0.6 Codetools 0.2-15 Färgrymd 1.3-2
commonmark 1.4 Kompilator 3.4.3 Krita 1.3.4
Curl 3,0 CVST 0.2-1 data.table 1.10.4-3
datauppsättningar 3.4.3 DBI 0,7 ddalpha 1.3.1
DEoptimR 1.0-8 Desc 1.1.1 Devtools 1.13.4
dichromat 2.0-0 Digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 Utländska 0.8-69 Gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
Lim 1.2.0 Gower 0.1.2 grafik 3.4.3
grDevices 3.4.3 Rutnät 3.4.3 gsubfn 0.6-6
gtable 0.2.0 H2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ipred 0.9-6
Iteratorer 1.0.8 jsonlite 1.5 kernlab 0.9-25
Kernsmooth 2.23-15 Märkning 0,3 Galler 0.20-35
Lava 1.5.1 lazyeval 0.2.1 Littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
Mapproj 1.2-5 Kartor 3.2.0 MASSACHUSETTS 7.3-48
Matris 1.2-11 MatrixModels 0.4-1 pmise 1.1.0
metoder 3.4.3 Mgcv 1.8-23 Mime 0,5
minqa 1.2.4 Mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 Mvtnorm 1.0-6 Nlme 3.1-131
nloptr 1.0.4 Nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
Pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 Beröm 1.0.0 Proc 1.10.0
prodlim 1.6.1 Proto 1.0.0 Psych 1.7.8
Purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 Rcolorbrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recept 0.1.1 omforma2 1.4.2 rlang 0.1.4
Robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
Rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0,7 Skalor 0.5.0
sfsmisc 1.1-1 Sp 1.2-5 SparkR 2.3.0
SparseM 1.77 Rumsliga 7.3-11 Splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 Statistik 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
Överlevnad 2.41-3 Tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 Tibble 1.3.4 tidyr 0.7.2
avmarkera 0.2.3 Timedate 3042.101 tools 3.4.3
verktyg 3.4.3 viridisLite 0.2.0 Morrhår 0.3-2
withr 2.1.0 xml2 1.1.1

Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-skuggad 3.0.3
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.0.0
com.fasterxml.jackson.core jackson-anteckningar 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1,1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Samlare 0,7
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolit 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 0.8.0
org.apache.arrow pilminne 0.8.0
org.apache.arrow pilvektor 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-inkubering
org.apache.calcite calcite-core 1.2.0-inkubering
org.apache.calcite calcite-linq4j 1.2.0-inkubering
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recept 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anteckningar 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-kodning 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-fortsättning 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty brygga-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty brygga plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty brygga-server 9.3.20.v20170531
org.eclipse.jetty brygga-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty brygga-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate vilolägesverifierare 5.1.1.Final
org.iq80.snappy Snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metaarkiv 1.2.1.spark2
org.spark-project.spark Oanvända 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52