Databricks Runtime 8.3 (stöds inte)
Följande viktig information innehåller information om Databricks Runtime 8.3 och Databricks Runtime 8.3 Photon, som drivs av Apache Spark 3.1.1. Databricks släppte dessa bilder i juni 2021. Foton finns i offentlig förhandsversion.
Nya funktioner och förbättringar
- Genererade kolumner i Delta-tabeller (offentlig förhandsversion)
- Funktioner och förbättringar för automatisk inläsning
- Skapa Delta-tabeller med nya programmatiska API:er (offentlig förhandsversion)
- Korrekt beräkning av Delta-tabellstorlekar i SQL
ANALYZE - Detaljerade mått för RocksDB-prestanda när du använder RocksDBStateStore
- Automatiska optimerade skrivningar
- Aktivera bucketade kopplingar om endast en kopplingssida är bucketad
- Förbättrad säkerhet vid definition av Spark UDF:er (offentlig förhandsversion)
- Minskat antal begäranden till schemaregistret för frågor med
from_avro - Flera resultat i R med ListResults (offentlig förhandsversion)
Genererade kolumner i Delta-tabeller (offentlig förhandsversion)
Delta Lake stöder nu genererade kolumner, som är en särskild typ av kolumn vars värden genereras automatiskt baserat på en användardefinerad funktion över andra kolumner i Delta-tabellen. Du kan använda de flesta inbyggda SQL-funktioner för att generera värdena för dessa genererade kolumner. Du kan till exempel automatiskt generera en datumkolumn (för partitionering av tabellen efter datum) från tidsstämpelkolumnen. skrivningar till tabellen behöver bara ange data för tidsstämpelkolumnen. Du kan skapa Delta-tabeller med genererade kolumner med SQL-, Scala-, Java- eller Python-API:er.
Mer information finns i Delta Lake-genererade kolumner.
Funktioner och förbättringar för automatisk inläsning
- Schemainferens för CSV-filer i Auto Loader
- Förbättrad starttid för automatiska inläsningsströmmar
- Snabbare kataloglista i Auto Loader
- Lägre lagringskostnader för autoinläsningskontroller
- Automatisk inläsning innehåller filsökvägen i den räddade datakolumnen när den är tillgänglig
- Automatisk inläsning stöder filbyten i Azure Data Lake Storage Gen2 i filmeddelandeläge
Schemainferens för CSV-filer i Auto Loader
Automatisk inläsning stöder nu schemainferens och utveckling på CSV-filer. Automatisk inläsning innehåller följande funktioner ovanpå den befintliga CSV-parsern i Apache Spark:
- Schemasammanslagningen: Automatisk inläsning kan mata in CSV-filer som har olika scheman (olika antal kolumner, olika ordning på kolumner) mellan filer.
- Räddad datakolumn: Du kan använda den räddade datakolumnen för att rädda oväntade data som kan visas i dina CSV-filer. Detta inkluderar data som inte kan parsas i den datatyp som förväntas, kolumner som har ett annat hölje eller null-värden i huvudet eller ytterligare kolumner som inte ingick i det förväntade schemat.
Mer information finns i Konfigurera schemainferens och utveckling i Auto Loader.
Förbättrad starttid för automatiska inläsningsströmmar
Automatiska inläsningsströmmar utför nu den första återfyllningen för strömmen asynkront när den startas för första gången, vilket leder till en mycket snabbare starttid för strömmen. På så sätt kan du iterera snabbt på koden med produktionsdata, särskilt när du måste mata in data från kataloger som innehåller miljontals eller miljarder filer.
Dessutom förbättras bootstrap-tiden för strömmar som startas om, eftersom vi har parallelliserat nedladdningen och uppladdningen av RocksDB-filerna som Auto Loader använder för att tillhandahålla exakt en gång semantik.
Snabbare kataloglista i Auto Loader
Vi har avsevärt förbättrat effektiviteten i kataloglistan i Auto Loader. En bieffekt av den här prestandaförbättringen är att strömmen kan generera fler listbegäranden till lagringssystemet när det inte finns några nya data att bearbeta, vilket kan leda till en ökning av listbegärandeavgifter. Som en allmän metod rekommenderar Databricks att du anger ett rimligt utlösarintervall för pipelines för produktionsströmning. Se Produktionsöverväganden för strukturerad direktuppspelning.
Lägre lagringskostnader för autoinläsningskontroller
Automatiska inläsningsströmmar rensar nu automatiskt inaktuella filer i kontrollpunktskatalogen asynkront för att hålla kontrollpunktskatalogens storlek från att växa på obestämd tid och minska lagringskostnaderna.
Automatisk inläsning innehåller filsökvägen i den räddade datakolumnen när den är tillgänglig
Den räddade datakolumnen tillhandahåller automatiskt filsökvägen för de räddade data när det är tillämpligt i en kolumn med namnet _file_ path. Detta kan hjälpa dig att spåra rotorsaken till datakvalitetsproblem. Kolumnen ingår inte om dataschemat innehåller en kolumn med namnet _file_path. Du kan använda SQL-konfigurationen spark.databricks.sql.rescuedDataColumn.filePath.name för att byta namn på kolumnen om det behövs.
Automatisk inläsning stöder filbyten i Azure Data Lake Storage Gen2 i filmeddelandeläge
Automatisk inläsning stöder nu BlobRenamed-händelser för Azure Data Lake Storage Gen2 när du kör i filmeddelandeläge. Om du vill bearbeta filer som laddas upp till en Azure Data Lake Storage Gen2-container via en namnbytesåtgärd med filmeddelanden startar du en ny ström med Automatisk inläsning med Databricks Runtime 8.3. För att säkerställa att en fil bearbetas exakt en gång kontrollerar du att källkatalogen som filen byts namn från inte övervakas av Auto Loader.
Skapa Delta-tabeller med nya programmatiska API:er (offentlig förhandsversion)
Nu kan du skapa nya Delta-tabeller programmatiskt (med Scala, Java och Python) utan att använda DataFrame-API:er. Med nya DeltaTableBuilder API:er och DeltaColumnBuilder API:er kan du ange all tabellinformation som du kan ange med hjälp av SQL CREATE TABLE.
Mer information finns i Skapa en tabell.
Korrekt beräkning av Delta-tabellstorlekar i SQL ANALYZE
Befintlig analyslogik beräknar felaktigt tabellstorleken för Delta-tabeller och uppdaterar katalogen med felaktig storlek. Korrigeringen är att hämta storleken på en Delta-tabell från Delta-loggen.
Detaljerade mått för RocksDB-prestanda när du använder RocksDBStateStore
Om du har konfigurerat din structured streaming-fråga att använda RocksDB som tillståndsarkiv kan du nu få bättre insyn i prestanda för RocksDB, med detaljerade mått för get/put-svarstider, komprimeringsfördröjningar, cacheträffar och så vidare. Dessa mått är tillgängliga via API:erna och för övervakning av StreamingQueryProgress en strömningsfråga.StreamingQueryListener
Mer information finns i Konfigurera RocksDB-tillståndslager på Azure Databricks.
Automatiska optimerade skrivningar
Optimerade skrivningar på partitionerade Delta-tabeller aktiveras nu automatiskt för att uppdatera och ta bort frågor som innehåller underfrågor.
Aktivera bucketade kopplingar om endast en kopplingssida är bucketad
En ny konfiguration spark.databricks.sql.minBucketsForBucketedJoin möjliggör en bucketad koppling om endast en kopplingssida är bucketad och antalet bucketar inte är mindre än det här konfigurationsvärdet. Som standard är det här konfigurationsvärdet detsamma som standardvärdet för shuffle-partitioner (200).
Förbättrad säkerhet vid definition av Spark UDF:er (offentlig förhandsversion)
Användarinformationsfunktioner current_user och is_member kan inte längre åsidosättas av tillfälliga funktioner som Python spark.udf.register eller SQL create or replace temp function.
Minskat antal begäranden till schemaregistret för frågor med from_avro
Frågor med from_avro stöd för schemaregister genererar inte längre så många begäranden till schemaregistertjänsten, vilket sparar driftskostnader.
Flera resultat i R med ListResults (offentlig förhandsversion)
Databricks R-notebook-filer stöder nu flera resultat i varje cell. Tidigare renderades endast ett enda resultat för varje notebook-cell. För närvarande visas resultatet av en enskild cell i R-notebook-filer i följande ordning:
- RShiny-URL
- Diagram
- displayHTML-utdata
- Tabeller
- stdout
Biblioteksuppgraderingar
- Uppgraderat Python-bibliotek:
- koalas uppgraderade från 1.7.0 till 1.8.0.
- pandas uppgraderade från 1.1.3 till 1.1.5.
- s3transfer uppgraderad från 0.3.4 till 0.3.6.
- Uppgraderat R-bibliotek:
- SparkR har uppgraderats från 3.1.1 till 3.1.2.
- Uppgraderat Java-bibliotek:
- mariadb-java-client från 2.1.2 till 2.2.5.
- parquet-column från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-common från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-encoding från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-hadoop från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-jackson från 1.10.1-databricks6 till 1.10.1-databricks9
Apache Spark
Databricks Runtime 8.3 innehåller Apache Spark 3.1.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 8.2 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-34614] [SQL] ANSI-läge: Gjutning av sträng till booleskt värde bör utlösa undantag vid parsningsfel
- [SPARK-34246] [UPPFÖLJNING] Ändra definitionen av "findTightestCommonT...
- [SPARK-35213] [SQL] Behåll rätt ordning på kapslade structs i kedjade medField-åtgärder
- [SPARK-35096] [SQL] SchemaPruning bör följa spark.sql.caseSensitiv konfiguration
- [SPARK-35227] [BUILD] Uppdatera matcharen för Spark-paket i SparkSubmit
- [SPARK-35224] [SQL] Åtgärda buffertspill i
MutableProjectionSuite - [SPARK-34245] [CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
- [SPARK-34856] [SQL] ANSI-läge: Tillåt gjutning av komplexa typer som strängtyp
- [SPARK-34946] [SQL] Blockera korrelerad skalära underfrågor som inte stöds i aggregering
- [SPARK-35014] Åtgärda mönstret PhysicalAggregation så att de inte skriver om de vikbara uttrycken
- [SPARK-34769] [SQL] AnsiTypeCoercion: returnera närmaste...
Systemmiljö
- Operativsystem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (version 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R version 4.0.4 (2021-02-15)
- Delta Lake 1.0.0
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| Certifi | 2020.12.5 | Cffi | 1.14.3 | Chardet | 3.0.4 |
| Kryptografi | 3.1.1 | Apparat | 0.10.0 | Cython | 0.29.21 |
| Dekoratör | 4.4.2 | distlib | 0.3.1 | Docutils | 0.15.2 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | Ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koalas | 1.8.0 | matplotlib | 3.2.2 |
| Numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | Pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| begäranden | 2.24.0 | Försöker | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | Scipy | 1.5.2 | seaborn | 0.10.0 |
| Setuptools | 50.3.1 | Sex | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | Tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | Virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| Hjul | 0.35.1 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-11-02.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| bas | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| start | 1.3-27 | Brygga | 1.0-6 | Brio | 1.1.0 |
| Kvast | 0.7.2 | anropare | 3.5.1 | textmarkör | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | klass | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| Codetools | 0.2-18 | Färgrymd | 2.0-0 | commonmark | 1,7 |
| Kompilator | 4.0.4 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Krita | 1.3.4 | autentiseringsuppgifter | 1.3.0 |
| Överhörning | 1.1.0.1 | Curl | 4.3 | data.table | 1.13.4 |
| datauppsättningar | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | Devtools | 2.3.2 | diffobj | 0.3.2 |
| Digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| ellips | 0.3.1 | evaluate (utvärdera) | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Utländska | 0.8-81 | Forge | 0.2.0 |
| Fs | 1.5.0 | Framtiden | 1.21.0 | Generika | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globals | 0.14.0 |
| Lim | 1.4.2 | Gower | 0.2.2 | grafik | 4.0.4 |
| grDevices | 4.0.4 | Rutnät | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Tillflyktsort | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.3 | Iteratorer | 1.0.13 |
| jsonlite | 1.7.2 | Kernsmooth | 2.23-18 | stickning | 1,30 |
| Märkning | 0.4.2 | Senare | 1.1.0.1 | Galler | 0.20-41 |
| Lava | 1.6.8.1 | lazyeval | 0.2.2 | livscykel | 0.2.0 |
| lyssna | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1,1 | MASSACHUSETTS | 7.3-53.1 | Matris | 1.3-2 |
| pmise | 1.1.0 | metoder | 4.0.4 | Mgcv | 1.8-33 |
| Mime | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | Nlme | 3.1-152 | Nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| parallellt | 1.22.0 | Pelaren | 1.4.7 | pkgbuild | 1.1.0 |
| Pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Beröm | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Förlopp | 1.2.2 | Löften | 1.1.1 | Proto | 1.0.0 |
| Ps | 1.5.0 | Purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recept | 0.1.15 |
| Returmatch | 1.0.1 | rematch2 | 2.1.2 | Fjärrkontroller | 2.2.0 |
| reprex | 0.3.0 | omforma2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2,6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | Rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversioner | 2.0.2 | rvest | 0.3.6 | Skalor | 1.1.1 |
| väljare | 0.4-2 | sessioninfo | 1.1.1 | Form | 1.4.5 |
| Blanka | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | Rumsliga | 7.3-11 | Splines | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | Statistik | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| Överlevnad | 3.2-7 | sys | 3.4 | Tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | Tibble | 3.0.4 |
| tidyr | 1.1.2 | avmarkera | 1.1.0 | tidyverse | 1.3.0 |
| Timedate | 3043.102 | tinytex | 0,28 | verktyg | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | verktyg | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | Morrhår | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | Zip | 2.1.1 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Klasskamrat | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | Koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profilerare | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Samlare | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-träd | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pilvektor | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metaarkiv | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-kodning | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | hastighet | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | åhörarkommentarer | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-fortsättning | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-server | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Shims | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Oanvända | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |