Databricks Runtime 5.5 LTS (stöds inte)
Databricks släppte den här bilden i juli 2019. Det förklarades som långsiktigt stöd (LTS) i augusti 2019. Supporten upphörde den 27 juli 2021. Databricks Runtime 5.5 Extended Support (stöds inte) släpptes den 8 juli 2021 och utökar 5,5 support till och med december 2021. Den använder Ubuntu 18.04.5 LTS i stället för den inaktuella Ubuntu 16.04.6 LTS-distributionen som användes i den ursprungliga Databricks Runtime 5.5 LTS. Stöd för Ubuntu 16.04.6 LTS upphörde den 1 april 2021.
Följande viktig information innehåller information om Databricks Runtime 5.5, som drivs av Apache Spark.
Nya funktioner
Delta Lake på Azure Databricks Auto Optimize
I dag när du skriver data till molnlagring måste du komprimera filer för optimalA I/O-prestanda. Du måste oroa dig för rätt filstorlek, hur ofta filerna ska komprimeras, hur stort ett kluster ska användas och så vidare. För att lösa den här klassen av problem är vi glada över att kunna meddela den allmänna tillgängligheten för automatisk optimering med Delta Lake i Azure Databricks. Under varje skrivning till Delta-tabeller tar vi automatiskt reda på rätt filstorlekar och kompakta filer så att du inte behöver oroa dig för att optimera lagringslayouten. Om alternativet är trueunder skrivningar auto-optimize avgör Azure Databricks automatiskt om en optimering krävs och optimerar de små filerna. Mer information finns i Konfigurera Delta Lake för att styra datafilstorleken.
Delta Lake på Azure Databricks förbättrade prestanda för min-, max- och count-sammansättningsfrågor
Prestanda för min-, max- och count-aggregeringsfrågor för Delta Lake på Azure Databricks har förbättrats avsevärt genom att minska mängden data som läse. Dessa frågor körs nu med hjälp av statistik och partitionsvärden i metadata, i stället för att genomsöka data.
Snabbare modellinferenspipelines med förbättrad datakälla för binära filer och skalär iterator pandas UDF (offentlig förhandsversion)
Maskininlärningsuppgifter, särskilt i bild- och videodomänen, måste ofta användas på ett stort antal filer. I Databricks Runtime 5.4 har vi redan gjort den binära fildatakällan tillgänglig för att hjälpa ETL-godtyckliga filer, till exempel bilder, till Spark-tabeller. I Databricks Runtime 5.5 har vi lagt till ett alternativ, recursiveFileLookup, för att läsa in filer rekursivt från kapslade indatakataloger. Se Binär fil.
Med datakällan för binära filer kan du köra modellinferensaktiviteter parallellt från Spark-tabeller med hjälp av en skalär Pandas UDF. Du kan dock behöva initiera modellen för varje postbatch, vilket medför kostnader. I Databricks Runtime 5.5 serverporterade vi en ny Pandas UDF-typ med namnet "scalar iterator" från Apache Spark-mastern. Med den kan du bara initiera en modell en gång och tillämpa modellen på många indatabatch, vilket kan resultera i en hastighet på 2–3 gånger för modeller som ResNet50. Se Serie till skalär UDF.
Api för hemligheter i R-notebook-filer
Med API:et Hemligheter kan du mata in hemligheter i notebook-filer utan att hårdkoda dem. Det här API:et är nu tillgängligt i R-notebook-filer utöver befintligt stöd för Python- och Scala-notebook-filer. Du kan använda dbutils.secrets.get funktionen för att hämta hemligheter. Hemligheter redigeras innan de skrivs ut till en notebook-cell.
Förbättringar
- Stöd för att köra Delta Lake SQL-åtgärder i Python
foreachBatch: Vi har åtgärdat den kända begränsningen att inte kunna skriva till Delta-tabeller inifrånforeachBatchen fråga för strukturerad direktuppspelning som definierats i Python. Detta är användbart i vanliga Python-strömningsarbetsbelastningar. Till exempel Skriva strömningsaggregeringar i uppdateringsläge med hjälp av MERGE och foreachBatch. - Prestanda för Delta-tabeller som lagras i Azure Data Lake Gen2: Kontrollen av den senaste versionen av en Delta-tabell på ADLS Gen2 kontrollerar nu bara slutet av transaktionsloggen i stället för att visa alla tillgängliga versioner. Den här optimeringen gör
UPDATEen konstant tidsåtgärd, vilket avsevärt förbättrar svarstiden. - Skalbarhet för Optimize
ZORDER BY: Z-Ordering på mycket stora Delta-tabeller använder nu mindre arbetsenheter som styrs av avancerad antagningskontroll. Den här funktionen förbättrar stabiliteten för den här åtgärden utan att offra klusteranvändningen. - Förbättrade prestanda för DML-kommandon i tabeller med ett stort antal kolumner: Vi utför nu bättre kolumnrensning vid genomsökning efter matchande data i
UPDATEkommandona ,DELETEochMERGE. - Stöd för konfiguration av VNet + Tjänstslutpunkter i Spark – Synapse Analytics-anslutningsprogram: Vi har lagt till ADL Gen2-sökvägar i en lista över tillåtna data som temporära dataplatser (
.option("tempDir", "abfss://...")) och lagt till ett nytt alternativ med namnetuseAzureMSI, som ska användas i stället förforward_spark_azure_storage_credentialsom Synapse Analytics har konfigurerats för att autentisera via hanterade identiteter till ditt V2-lagringskonto. - Automatisk ogiltighet för diskcachelagring: Diskcachelagring identifierar nu automatiskt filer som har ändrats eller skrivits över när de har cachelagrats. Inaktuella poster ogiltigförklaras automatiskt och avlägsnas från cacheminnet. Se Optimera prestanda med cachelagring på Azure Databricks.
- Uppgraderade Python-bibliotekshjulet från 0.33.3 till 0.33.4.
- Uppgraderat R-bibliotek nlme från 3.1-139 till 3.1-140.
Felkorrigeringar
- Annullering har åtgärdats för R-kommandon som inte kör Spark-jobb. Tidigare kunde R-kommandon som inte kör Spark-jobb avbrytas, men notebook-filernas tillstånd skulle gå förlorat. kommandon kan nu avbrytas utan att notebook-tillstånd förloras.
- Om du släpper eller flyttar en hanterad tabell ogiltigförklaras nu den cachelagrade Delta Lake-loggen.
- En bugg har åtgärdats som tyder på att det inte går att
FileAlreadyExistsExceptionskriva Delta Lake-kontrollpunkten på grund av . - Scala REPL anger nu rätt
-target:jvm-1.8flagga för att stödja anrop av Java-metoder som använder Java 8-funktioner.
Apache Spark
Databricks Runtime 5.5 innehåller Apache Spark 2.4.3. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 5.4 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-24695] Tillåt UDF:er att returnera CalendarInterval
- [SPARK-28056] lägg till docstring/doctest för SCALAR_ITER Pandas UDF
- [SPARK-28185] Stänger generatorn när Python-UDF:er slutar tidigt
- [SPARK-24703] Stöd för intervall multiplikation
- [SPARK-27018][CORE] Åtgärda felaktig borttagning av kontrollpunktsfil i PeriodicCheckpointer
- [SPARK-28127][SQL] Mikrooptimering på TreeNodes mapChildren-metod
- [SPARK-26038] Decimal tillScalaBigInt/toJavaBigInteger för decimaler som inte passar i långa
- [SPARK-26555][SQL] gör ScalaReflection-undertypskontroll av tråden säker
- [SPARK-28081][ML] Hantera stora vocab-antal i word2vec
- [SPARK-21882][CORE] OutputMetrics räknar inte skrivna byte korrekt i funktionen saveAsHadoopDataset
- [SPARK-28030] konvertera filePath till URI i datakällan för binära filer
- [SPARK-27803][SQL] [PYTHON] Åtgärda kolumnrensning för Python UDF
- [SPARK-27917][SQL] kanonisk form av CaseWhen-objektet är felaktigt
- [SPARK-27798][SQL] from_avro bör inte generera samma värde när de konverteras till lokal relation
- [SPARK-27873][SQL] columnNameOfCorruptRecord bör inte kontrolleras med kolumnnamn i CSV-huvudet när enforceSchema inaktiveras
- [SPARK-27907][SQL] HiveUDAF bör returnera NULL om det finns 0 rader
- [SPARK-27699][SQL] Tryck delvis ned disjunctive predikat i Parquet/ORC
- [SPARK-27868][CORE] Bättre standardvärde och dokumentation för socketserver-kvarvarande uppgifter.
- [SPARK-27869][CORE] Redigera känslig information i Systemegenskaper från användargränssnittet
- [SPARK-27863][SQL] [BACKPORT-2.4] Metadatafiler och temporära filer ska inte räknas som datafiler
- [SPARK-27657][ML] Korrigera loggformatet för ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Korrigering för Avro-deserialisering för unionstyper med flera typer som inte är null
- [SPARK-27711][CORE] Ta bort InputFileBlockHolder i slutet av aktiviteterna
- [SPARK-27351][SQL] Fel outputRows-uppskattning efter AggregateEstimation med endast null-värdekolumn
- [SPARK-27539][SQL] Åtgärda felaktiga aggregerade utdataRows-uppskattning med kolumn som innehåller null-värden"
- [SPARK-27800][SQL] Åtgärda fel svar på BitwiseXor-testfall
- [SPARK-27639][SQL] InMemoryTableScan visar tabellnamnet i användargränssnittet om möjligt
- [SPARK-27726][CORE] Åtgärda prestanda för ElementTrackingStore-borttagningar när du använder InMemoryStore under hög belastning
- [SPARK-27771][SQL] Lägg till SQL-beskrivning för grupperingsfunktioner (kub, sammanslagning, gruppering och grouping_id)
- [SPARK-27735][SS] Parsningsintervallsträngen ska vara skiftlägeskänslig i SS
- [SPARK-26856][PYSPARK] Python-stöd för API:er för from_avro och to_avro
- [SPARK-26870][SQL] Flytta to_avro/from_avro till funktionsobjekt på grund av Java-kompatibilitet
- [SPARK-26812][SQL] Rapportera korrekt nullabilitet för komplexa datatyper i unionen
- [SPARK-27671][SQL] Åtgärda fel vid gjutning från en kapslad null i en struct
- [SPARK-27673][SQL] Lägg till
sinceinformation i slumpmässiga, regex- och null-uttryck - [SPARK-27672][SQL] Lägga till
sinceinformation i stränguttryck - [SPARK-25139][SPARK-18406][CORE] Undvik NonFatals för att döda executorn i PythonRunner
- [SPARK-27624][CORE] Korrigera CalenderInterval för att visa ett tomt intervall korrekt
- [SPARK-27577][MLLIB] Korrigera tröskelvärden som har minskats i BinaryClassificationMetrics
- [SPARK-27621][ML] Linjär regression – validera träningsrelaterade paramer, till exempel förlust endast under monteringsfasen
- [SPARK-26048][SPARK-24530] Cherrypick alla saknade incheckningar till 2.4-versionsskript
- [SPARK-24935][SQL] stöder INIT –> UPDATE –> MERGE –> FINISH in Hive UDAF adapter
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 5.5.
Systemmiljö
- Operativsystem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 för Python 2-kluster och 3.5.2 för Python 3-kluster.
- R: R version 3.6.0 (2019-04-26)
- GPU-kluster: Följande NVIDIA GPU-bibliotek är installerade:
- Tesla-förare 375,66
- CUDA 9.0
- cuDNN 7.0
Kommentar
Även om Scala 2.12 stöds i Apache Spark 2.4 stöds det inte i Databricks Runtime 5.5.
I detta avsnitt:
- Installerade Python-bibliotek
- Installerade R-bibliotek
- Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| Boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | Certifi | 2016.2.28 | Cffi | 1.7.0 |
| Chardet | 2.3.0 | Colorama | 0.3.7 | Configobj | 5.0.6 |
| Kryptografi | 1.5 | Apparat | 0.10.0 | Cython | 0.24.1 |
| Dekoratör | 4.0.10 | Docutils | 0,14 | uppräkning 34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Terminer | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | Ip | 1.0.16 |
| Ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| Lxml | 3.6.4 | Markering Valv | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | Numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| Pexpect | 4.0.1 | pickleshare | 0.7.4 | Kudde | 3.3.1 |
| Pip | 19.1.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
| Pygments | 2.1.3 | Pygobject | 3.20.0 | Pyopenssl | 16.0.0 |
| Pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| begäranden | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| Scipy | 0.18.1 | Skura | 0.32 | seaborn | 0.7.1 |
| Setuptools | 41.0.1 | Simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Sex | 1.10.0 | statsmodels | 0.6.1 |
| Tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| Virtualenv | 16.1.0 | wcwidth | 0.1.7 | Hjul | 0.33.4 |
| Wsgiref | 0.1.2 |
Installerade R-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Abind | 1.4-5 | Askpass | 1,1 | assertthat | 0.2.1 |
| Backports | 1.1.3 | bas | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| Bitops | 1.0-6 | blob | 1.1.1 | start | 1.3-20 |
| Brygga | 1.0-6 | anropare | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | textmarkör | 6.0-82 | cellranger | 1.1.0 |
| Chron | 2.3-53 | klass | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| Codetools | 0.2-16 | Färgrymd | 1.4-1 | commonmark | 1,7 |
| Kompilator | 3.6.0 | config | 0,3 | Krita | 1.3.4 |
| Curl | 3.3 | data.table | 1.12.0 | datauppsättningar | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| Devtools | 2.0.1 | Digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellips | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | Utländska | 0.8-71 |
| Forge | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| Generika | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | Lim | 1.3.1 |
| Gower | 0.2.0 | grafik | 3.6.0 | grDevices | 3.6.0 |
| Rutnät | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | H2o | 3.22.1.1 | Tillflyktsort | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| Ini | 0.3.1 | Ipred | 0.9-8 | Iteratorer | 1.0.10 |
| jsonlite | 1.6 | Kernsmooth | 2.23-15 | Märkning | 0,3 |
| Galler | 0.20-38 | Lava | 1.6.5 | lazyeval | 0.2.2 |
| Littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | Mapproj | 1.2.6 | Kartor | 3.3.0 |
| maptools | 0.9-5 | MASSACHUSETTS | 7.3-51.1 | Matris | 1.2-17 |
| MatrixModels | 0.4-1 | pmise | 1.1.0 | metoder | 3.6.0 |
| Mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | Mvtnorm | 1.0-10 |
| Nlme | 3.1-140 | nloptr | 1.2.1 | Nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | Pelaren | 1.3.1 |
| pkgbuild | 1.0.3 | Pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| Beröm | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Förlopp | 1.2.0 |
| Proto | 1.0.0 | Ps | 1.3.0 | Purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| Rcolorbrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recept | 0.1.5 | Returmatch | 1.0.1 |
| Fjärrkontroller | 2.0.2 | omforma2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | Skalor | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | SparseM | 1.77 | Rumsliga | 7.3-11 |
| Splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | Statistik | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | Överlevnad | 2.43-3 |
| sys | 3.1 | Tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | Tibble | 2.1.1 | tidyr | 0.8.3 |
| avmarkera | 0.2.5 | Timedate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | verktyg | 3.6.0 |
| viridisLite | 0.3.0 | Morrhår | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | Yaml | 2.2.0 |
| Zip | 2.0.1 |
Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Klasskamrat | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-lagring | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | aktivering | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-träd | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-träd | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolit | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 0.10.0 |
| org.apache.arrow | pilminne | 0.10.0 |
| org.apache.arrow | pilvektor | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-inkubering |
| org.apache.calcite | calcite-core | 1.2.0-inkubering |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubering |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-kodning | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-fortsättning | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-server | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | vilolägesverifierare | 5.1.1.Final |
| org.iq80.snappy | Snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metaarkiv | 1.2.1.spark2 |
| org.spark-project.spark | Oanvända | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | Xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |