Databricks Runtime 8.4 (stöds inte)
Följande viktig information innehåller information om Databricks Runtime 8.4 och Databricks Runtime 8.4 Photon, som drivs av Apache Spark 3.1.2. Databricks släppte dessa bilder i juli 2021. Foton finns i offentlig förhandsversion.
Nya funktioner och förbättringar
- Funktioner och förbättringar i Delta Lake
- Funktioner och förbättringar för automatisk inläsning
- Anslut eller uppgraderingar
- Felkorrigeringar
Funktioner och förbättringar i Delta Lake
- Dataflöde för ändring av deltatabell (GA)
- Läs enkelt in delade Delta-tabeller med Databricks Runtime
- Fler tabeller drar nytta av dynamisk filrensning
- Bättre prestanda med automatisk justering av målfilstorlek
- Fler sätt att ange tabeller i
DeltaTable.forName - Robust direktuppspelning av flera tabellskrivningar med
foreachBatch - Förbättrad läsfrågasprestanda i vissa arbetsbelastningar på grund av finjusterade kontrollpunkter
- Skapa
GroupStateför att testa användardefinierade funktioner för strukturerad direktuppspelning
Dataflöde för ändring av deltatabell (GA)
Dataflödet deltatabelländring är nu allmänt tillgängligt. Den representerar radnivåändringarna mellan olika versioner av tabellen. När det är aktiverat registreras ytterligare information om ändringar på radnivå för varje skrivåtgärd i tabellen. Se Använda Delta Lake-ändringsdataflöde i Azure Databricks.
Läs enkelt in delade Delta-tabeller med Databricks Runtime
Apache Spark-Anslut eller för Delta Sharing 0.1.0 finns nu i Databricks Runtime. Du kan läsa in en delad tabell direkt spark.read.format("deltaSharing").load(uri) utan att koppla Delta Sharing Spark-anslutningsappen till klustret.
Fler tabeller drar nytta av dynamisk filrensning
Funktionen för dynamisk filrensning har finjusterats för att utlösas på tabeller med färre filer. Se Dynamisk filrensning.
Bättre prestanda med automatisk justering av målfilstorlek
Målfilens storlek för Delta-tabeller justeras nu automatiskt baserat på tabellstorleken. Tidigare var målfilens storlek för OPTIMIZE och OPTIMIZE ZORDER BY 1 GB. Med automatisk tunning baserat på tabellstorlek använder Delta-tabeller upp till 2,56 TB 256 MB som målstorlek. Tabeller som är större än 10 TB använder 1 GB som tidigare. Tabeller mellan dessa storlekar använder målstorlekar som växer proportionellt med tabellstorleken.
Se Konfigurera Delta Lake för att styra datafilstorleken.
Fler sätt att ange tabeller i DeltaTable.forName
DeltaTable.forName stöder nu användning delta.`<path>` för att identifiera tabeller.
Robust direktuppspelning av flera tabellskrivningar med foreachBatch
Idempotent Delta-strömningsskrivningar foreachBatch() i kommandot stöds nu. Mer information finns i Idempotent multi-table writes(Idempotent multi-table writes).
Förbättrad läsfrågasprestanda i vissa arbetsbelastningar på grund av finjusterade kontrollpunkter
Delta Lake spelar nu in hur ofta det gör förbättrade kontrollpunkter. I stället för kontrollpunkter med ett fast intervall justerar Delta nu kontrollpunktsfrekvensen dynamiskt baserat på vissa händelseutlösare. Detta förbättrar läsfrågeprestanda i arbetsbelastningar där vissa data som hoppar över optimering inte kunde tillämpas tidigare. Om du vill använda de här optimeringarna uppgraderar du dina jobb som skriver till Delta Lake till Databricks Runtime 8.4. Se Aktivera förbättrade kontrollpunkter för frågor om strukturerad direktuppspelning.
Skapa GroupState för att testa användardefinierade funktioner för strukturerad direktuppspelning
Hittills har endast motorn för strukturerad direktuppspelning kunnat skapa instanser av GroupState. Därför måste alla enhetstester av den användardefinierade funktionen köra en direktuppspelningsfråga i Apache Spark.
Nu kan du skapa instanser av med hjälp TestGroupState.create(…)av GroupState . På så sätt kan du testa en användardefinierad funktion i enkla enhetstester som inte kräver att Spark körs. Se Testa uppdateringsfunktionen mapGroupsWithState. Mer specifikt skapas instanser av typen TestGroupState som utökar gränssnittet GroupState med ytterligare metoder för att introspektera det interna tillståndet när den användardefinierade funktionen har tillämpats.
Funktioner och förbättringar för automatisk inläsning
- Konfigurera återfyllnad för att samla in missade filer
- Bundet lagringsfotavtryck för stora volymströmmar
- Förenklad konfiguration med stöd för sökvägslös
Konfigurera återfyllnad för att samla in missade filer
Automatisk inläsning har nu stöd för att utföra återfyllnad asynkront för att samla in filer som kan ha missats med filmeddelanden. Fillagringssystem och meddelandesystem kan inte garantera 100 % leverans av alla filhändelser. Därför rekommenderar Databricks att du aktiverar periodiska återfyllnad för att samla in alla dina data med Auto Loader. Använd alternativet cloudFiles.backfillInterval för att schemalägga regelbundna återfyllnad över dina data. Se Vanliga alternativ för automatisk inläsning.
Bundet lagringsfotavtryck för stora volymströmmar
Nu kan du konfigurera automatisk inläsning så att den upphör att gälla och ta bort poster i RocksDB för att binda dess lagringsfotavtryck på kontrollpunktsplatsen. Databricks rekommenderar inte att du använder om du inte matar in data i storleksordningen miljontals filer i timmen. Om du anger det här alternativet felaktigt eller försöker justera det kan det leda till många datakvalitetsproblem, till exempel att obearbetade filer ignoreras eller dupliceras av vissa filer i stället för exakt en gång bearbetning. Mer information finns i Kvarhållning av händelser.
Förenklad konfiguration med stöd för sökvägslös
S3-bucketar
Nu kan du ange den SQS-kö som tar emot händelser från flera sökvägar eller S3-bucketar.
Om du anger URL:en för SQS-kön path krävs inte alternativet för det här användningsfallet.
Auto Loader skapar S3-sökvägar med hjälp av bucketen och nyckeln från S3-händelserna. Om du vill läsa filerna via DBFS-monteringspunkter kan du använda cloudFiles.pathRewrites för att ändra sökvägsprefix till DBFS. Detta krävs inte om du inte har åtkomst till data i olika konton med AssumeRole.
Se Alternativ för filavisering.
Azure Data Lake Storage Gen2-containrar
Nu kan du ange den Azure-kö som tar emot händelser från flera containrar.
Om du anger Azure-könamnet krävs inte alternativet path .
Som standard skapar Auto Loader Azure Data Lake Storage Gen2-sökvägar med hjälp av containern och nyckeln i filhändelserna.
Om du vill använda WASB-sökvägar eller DBFS-monteringspunkter kan du använda cloudFiles.pathRewrites för att ändra sökvägsprefix.
Se Alternativ för filavisering.
Anslut eller uppgraderingar
- Snowflake Spark-anslutningsappen har uppdaterats till v2.9.0.
- KMS-kryptering stöds nu i instruktionen
UNLOADför Redshift-anslutningsappen.
Felkorrigeringar
- Ett problem har åtgärdats för kluster som är aktiverade med åtkomstkontroll för tabeller där
select * from foldermappinnehåll kan visas även om användaren inte har behörighet till filåtkomst. - Databasägare som inte är administratörer kan nu släppa icke-ägda tabeller i databaser. Detta åtgärdar problemet där databasägare inte kunde släppa en databas om det fanns icke-ägda tabeller i databasen.
Biblioteksuppgraderingar
- Uppgraderade Python-bibliotek:
- certifi har uppgraderats från 2020.12.5 till 2021.5.30
- destill uppgraderas från 0.3.1 till 0.3.2
- koalas uppgraderade från 1.8.0 till 1.8.1
- protobuf uppgraderas från 3.17.0 till 3.17.3
- Uppgraderade R-bibliotek:
- bas från 4.0.4 till 4.1.0
- starta från 1.3-27 till 1.3-28
- klass från 7.3-18 till 7.3-19
- kluster från 2.1.1 till 2.1.2
- kompilator från 4.0.4 till 4.1.0
- datauppsättningar från 4.0.4 till 4.1.0
- grafik från 4.0.4 till 4.1.0
- grDevices från 4.0.4 till 4.1.0
- rutnät från 4.0.4 till 4.1.0
- KernSmooth från 2.23-18 till 2.23-20
- lattice från 0.20-41 till 0.20-44
- MASS från 7.3-53.1 till 7.3-54
- Matris från 1,3-2 till 1,3-3
- metoder från 4.0.4 till 4.1.0
- mgcv från 1,8-33 till 1,8-35
- nnet från 7.3-15 till 7.3-16
- parallell från 4.0.4 till 4.1.0
- Rserve från 1,8-7 till 1,8-8
- SparkR från 3.1.1 till 3.1.2
- splines från 4.0.4 till 4.1.0
- statistik från 4.0.4 till 4.1.0
- stats4 från 4.0.4 till 4.1.0
- överlevnad från 3,2-7 till 3,2-11
- tcltk från 4.0.4 till 4.1.0
- verktyg från 4.0.4 till 4.1.0
- från 4.0.4 till 4.1.0
- Uppgraderade Java-bibliotek:
- snowflake-jdbc från 3.12.8 till 3.13.3
- spark-snowflake_2.12 från 2.8.1-spark_3.0 till 2.9.0-spark_3.1
- RoaringBitmap från 0.9.0 till 0.9.14
- shims från 0.9.0 till 0.9.14
- rocksdbjni fromm 6.2.2 till 6.20.3
Apache Spark
Databricks Runtime 8.4 innehåller Apache Spark 3.1.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 8.3 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-35792] [SQL] Vyn bör inte avbilda konfigurationer som används i
RelationConversions - [SPARK-35700] [SQL] Läs char/varchar orc-tabell med skapad och skriven av externa system
- [SPARK-35636] [SQL] Lambda-nycklar ska inte refereras utanför lambda-funktionen
- [SPARK-35800] [Cherry Pick] Förbättra TestGroupState-testbarheten genom att introducera TestGroupState
- [SPARK-35391] Åtgärda minnesläcka i ExecutorAllocationListener
- [SPARK-35799] [CherryPick] Åtgärda måttet all Uppdateringar TimeMs i FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] Ta bort statestorecustommetric-underklassens uppräkningsberoende
- [SPARK-35791 [SQL] Frisläpp den pågående kartan korrekt för NULL-medveten ANTI-koppling
- [SPARK-35695] [SQL] Samla in observerade mått från cachelagrade och anpassningsbara körningsunderträd
- [SPARK-35767] [SQL] Undvik att köra en underordnad plan två gånger i CoalesceExec
- [SPARK-35746] [Användargränssnitt] Åtgärda taskid på tidslinjen för aktivitetshändelsen på scensidan
- [SPARK-35673] [SQL] Åtgärda användardefinierade tips och okända tips i underfrågor.
- [SPARK-35714] [CORE] Felkorrigering för dödläge under körningsavstängningen
- [SPARK-35689] [SS] Lägg till logg varning när keyWithIndexToValue returnerar null-värde
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint bör inte ignorera en shuffle-fil med endast index under uppdateringen
- [SPARK-35643] [PYTHON] Åtgärda tvetydig referens i functions.py column()
- [SPARK-35652] [SQL] joinWith på två tabeller som genererats från samma tabell
- [SPARK-35679] [SQL] instantToMicros-spill
- [SPARK-35602] [SS] Uppdatera tillståndsschemat för att kunna acceptera JSON med lång längd
- [SPARK-35653] [SQL] Fix CatalystToExternalMap tolkad sökväg misslyckas för Map med skiftlägesklasser som nycklar eller värden
- [SPARK-35296] [SQL] Tillåt att Dataset.observe fungerar även om CollectMetricsExec i en uppgift hanterar flera partitioner.
- [SPARK-35659] [SS] Undvik att skriva null till StateStore
- [SPARK-35665] [SQL] Lösa UnresolvedAlias i CollectMetrics
- [SPARK-35558] Optimerar för hämtning av flera kvantiler
- [SPARK-35621] [SQL] Lägg till regel-ID-beskärning i TypeCoercion-regeln
- [SPARK-35077] [SQL] Migrera till transformWithPruning för regler för överblivna optimerare
- [SPARK-35610] [CORE] Åtgärda minnesläckan som introducerades av körens stoppavstängningskrok
- [SPARK-35544] [SQL] Lägga till trädmönsterrensning i Analyzer-regler
- [SPARK-35566] [SS] Åtgärda StateStoreRestoreExec-utdatarader
- [SPARK-35454] [SQL] [3.1] En logisk plan kan matcha flera datauppsättnings-ID:er
- [SPARK-35538] [SQL] Migrera transformAllExpressions-anropswebbplatser för att använda transformAllExpressionsWithPruning
- [SPARK-35106] [Kärna] [SQL] Undvik att byta namn på fel som orsakas av att målkatalogen inte finns
- [SPARK-35287] [SQL] Tillåt RemoveRedundantProjects att bevara ProjectExec som genererar UnsafeRow för DataSourceV2ScanRelation
- [SPARK-35495] [R] Ändra SparkR-underhållare för CRAN
- [SPARK-27991] [CORE] Skjut upp hämtningsbegäran på Netty OOM
- [SPARK-35171] [R] Deklarera markdown-paketet som ett beroende av SparkR-paketet
- [SPARK-35454] [SQL] En Logisk plan kan matcha flera datamängds-ID:t
- [SPARK-35298] [SQL] Migrera till transformWithPruning för regler i Optimizer.scala
- [SPARK-35480] [SQL] Få percentile_approx att fungera med pivot
- [SPARK-35093] [SQL] AQE använder nu newQueryStage-plan som nyckel för att söka efter cachelagrade utbyten för återanvändning
- [SPARK-35146] [SQL] Migrera till transformWithPruning eller resolveWithPruning för regler i finishAnalysis.scala
- [SPARK-35411] [SQL] Lägg till viktig information vid serialisering av TreeNode till json
- [SPARK-35294] [SQL] Lägg till trädblädderingsrensning i regler med dedikerade filer under optimizer
- [SPARK-34897] [SQL] [3.1] Stöd för att stämma av scheman baserat på index efter kapslad kolumnrensning
- [SPARK-35144] [SQL] Migrera till transformWithPruning för objektregler
- [SPARK-35155] [SQL] Lägga till regel-ID-beskärning i Analyzer-regler
- [SPARK-35382] [PYTHON] Åtgärda problem med lambda-variabelnamn i kapslade DataFrame-funktioner i Python-API:er.
- [SPARK-35359] [SQL] Infoga data med datatypen char/varchar misslyckas när datalängden överskrider längdbegränsningen
- [SPARK-35381] [R] Åtgärda problem med lambda-variabelnamn i kapslade funktioner med högre ordning på R-API:er
Systemmiljö
- Operativsystem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| Certifi | 2021.5.30 | Cffi | 1.14.3 | Chardet | 3.0.4 |
| Kryptografi | 3.1.1 | Apparat | 0.10.0 | Cython | 0.29.21 |
| Dekoratör | 4.4.2 | distlib | 0.3.2 | Docutils | 0.15.2 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | Ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koalas | 1.8.1 | matplotlib | 3.2.2 |
| Numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | Pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| begäranden | 2.24.0 | Försöker | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | Scipy | 1.5.2 | seaborn | 0.10.0 |
| Setuptools | 50.3.1 | Sex | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | Tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | Virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| Hjul | 0.35.1 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-11-02.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| bas | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| start | 1.3-28 | Brygga | 1.0-6 | Brio | 1.1.0 |
| Kvast | 0.7.2 | anropare | 3.5.1 | textmarkör | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | klass | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| Codetools | 0.2-18 | Färgrymd | 2.0-0 | commonmark | 1,7 |
| Kompilator | 4.1.0 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Krita | 1.3.4 | autentiseringsuppgifter | 1.3.0 |
| Överhörning | 1.1.0.1 | Curl | 4.3 | data.table | 1.13.4 |
| datauppsättningar | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | Devtools | 2.3.2 | diffobj | 0.3.2 |
| Digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| ellips | 0.3.1 | evaluate (utvärdera) | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Utländska | 0.8-81 | Forge | 0.2.0 |
| Fs | 1.5.0 | Framtiden | 1.21.0 | Generika | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globals | 0.14.0 |
| Lim | 1.4.2 | Gower | 0.2.2 | grafik | 4.1.0 |
| grDevices | 4.1.0 | Rutnät | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Tillflyktsort | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.3 | Iteratorer | 1.0.13 |
| jsonlite | 1.7.2 | Kernsmooth | 2.23-20 | stickning | 1,30 |
| Märkning | 0.4.2 | Senare | 1.1.0.1 | Galler | 0.20-44 |
| Lava | 1.6.8.1 | lazyeval | 0.2.2 | livscykel | 0.2.0 |
| lyssna | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1,1 | MASSACHUSETTS | 7.3-54 | Matris | 1.3-3 |
| pmise | 1.1.0 | metoder | 4.1.0 | Mgcv | 1.8-35 |
| Mime | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | Nlme | 3.1-152 | Nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallellt | 1.22.0 | Pelaren | 1.4.7 | pkgbuild | 1.1.0 |
| Pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Beröm | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Förlopp | 1.2.2 | Löften | 1.1.1 | Proto | 1.0.0 |
| Ps | 1.5.0 | Purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recept | 0.1.15 |
| Returmatch | 1.0.1 | rematch2 | 2.1.2 | Fjärrkontroller | 2.2.0 |
| reprex | 0.3.0 | omforma2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2,6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | Rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversioner | 2.0.2 | rvest | 0.3.6 | Skalor | 1.1.1 |
| väljare | 0.4-2 | sessioninfo | 1.1.1 | Form | 1.4.5 |
| Blanka | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | Rumsliga | 7.3-11 | Splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | Statistik | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| Överlevnad | 3.2-11 | sys | 3.4 | Tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | Tibble | 3.0.4 |
| tidyr | 1.1.2 | avmarkera | 1.1.0 | tidyverse | 1.3.0 |
| Timedate | 3043.102 | tinytex | 0,28 | verktyg | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | verktyg | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | Morrhår | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | Zip | 2.1.1 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Klasskamrat | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | Koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profilerare | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Samlare | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-träd | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pilvektor | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-kodning | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | åhörarkommentarer | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-fortsättning | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-server | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Oanvända | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |