Databricks Runtime 8.3 (EoS)
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.
Následující poznámky k verzi obsahují informace o Databricks Runtime 8.3 a Databricks Runtime 8.3 Photon s využitím Apache Sparku 3.1.1. Databricks vydala tuto verzi v červnu 2021. Photon je ve verzi Public Preview.
Nové funkce a vylepšení
- Generované sloupce v tabulkách Delta (Public Preview)
- Funkce a vylepšení automatického zavaděče
- Vytváření tabulek Delta pomocí nových programových rozhraní API (Public Preview)
- Oprava výpočtu velikostí tabulek Delta v SQL
ANALYZE - Podrobné metriky výkonu RocksDB při použití úložiště RocksDBStateStore
- Automatické optimalizované zápisy
- Povolení spojení v kontejnerech, pokud je v kontejneru pouze jedna strana spojení
- Vylepšené zabezpečení při definování funkcí definovaných uživatelem Sparku (Public Preview)
- Omezený počet požadavků na registr schématu pro dotazy s využitím
from_avro - Více výsledků v R s listResults (Public Preview)
Generované sloupce v tabulkách Delta (Public Preview)
Delta Lake teď podporuje generované sloupce, což je speciální typ sloupce, jehož hodnoty se automaticky generují na základě uživatelem zadané funkce v tabulce Delta. K vygenerování hodnot těchto vygenerovaných sloupců můžete použít většinu předdefinovaných funkcí SQL. Můžete například automaticky vygenerovat sloupec kalendářního data (pro dělení tabulky podle data) ze sloupce časového razítka; Všechny zápisy do tabulky potřebují pouze data pro sloupec časového razítka. Tabulky Delta můžete vytvářet s vygenerovanými sloupci pomocí rozhraní SQL, Scala, Java nebo Python API.
Další informace naleznete v tématu Delta Lake generované sloupce.
Funkce a vylepšení automatického zavaděče
- Odvození schématu pro soubory CSV v automatickém zavaděče
- Vylepšený čas spuštění datových proudů automatického zavaděče
- Rychlejší výpis adresáře v automatickém zavaděče
- Nižší režijní náklady na úložiště pro kontrolní body automatického zavaděče
- Automatický zavaděč obsahuje cestu k souboru ve sloupci zachráněných dat, pokud je k dispozici.
- Automatický zavaděč podporuje přejmenování souborů v Azure Data Lake Storage Gen2 v režimu oznámení souborů.
Odvození schématu pro soubory CSV v automatickém zavaděče
Auto Loader teď podporuje odvození schématu a vývoj souborů CSV. Auto Loader poskytuje nad stávajícím analyzátorem CSV v Apache Sparku následující funkce:
- Slučování schématu: Automatický zavaděč může ingestovat soubory CSV, které mají jiné schéma (různý počet sloupců, různé řazení sloupců) v souborech.
- Sloupec zachráněných dat: K záchraně neočekávaných dat, která se můžou objevit v souborech CSV, můžete použít záchranný datový sloupec. To zahrnuje data, která nelze analyzovat v očekávaném datovém typu, sloupce s jinou velikostí písmen nebo nulovými hodnotami v záhlaví nebo další sloupce, které nebyly součástí očekávaného schématu.
Podrobnosti najdete v tématu Konfigurace odvozování schématu a vývoje v auto loaderu.
Vylepšený čas spuštění datových proudů automatického zavaděče
Automatické streamy zavaděče teď provádějí počáteční obnovení streamu asynchronně při prvním spuštění, což vede k mnohem rychlejšímu spuštění datového proudu. To vám umožní rychle iterovat kód s produkčními daty, zejména pokud potřebujete ingestovat data z adresářů, které obsahují miliony nebo miliardy souborů.
Kromě toho se zlepšila také doba spouštění datových proudů, které se restartují, protože jsme paralelizovali stahování a nahrávání souborů RocksDB, které Auto Loader využívá k poskytování sémantiky přesně jednou.
Rychlejší výpis adresáře v automatickém zavaděče
Výrazně jsme vylepšili efektivitu výpisu adresářů v auto loaderu. Vedlejším účinkem tohoto zlepšení výkonu je, že datový proud může generovat více požadavků na seznam do systému úložiště, pokud neexistují žádná nová data ke zpracování, což může vést k nárůstu poplatků za žádosti o seznam. Jako obecný osvědčený postup doporučuje Databricks nastavit přiměřený interval aktivačních událostí pro kanály streamování v produkčním prostředí. Viz aspekty produkce strukturovaného streamování.
Nižší režijní náklady na úložiště pro kontrolní body automatického zavaděče
Automatické streamy zavaděče teď automaticky vyčistí zastaralé soubory v adresáři kontrolních bodů asynchronně, aby se velikost adresáře kontrolního bodu neustále zvětšila a snížila náklady na úložiště.
Automatický zavaděč obsahuje cestu k souboru ve sloupci zachráněných dat, pokud je k dispozici.
Sloupec zachráněných dat automaticky poskytuje cestu k souboru záchranných dat, pokud je k dispozici ve sloupci s názvem _file_ path. To vám může pomoct zjistit původní příčinu problémů s kvalitou dat. Sloupec není zahrnut, pokud schéma dat obsahuje sloupec s názvem _file_path. V případě potřeby můžete sloupec přejmenovat pomocí konfigurace spark.databricks.sql.rescuedDataColumn.filePath.name SQL.
Automatický zavaděč podporuje přejmenování souborů v Azure Data Lake Storage Gen2 v režimu oznámení souborů.
Auto Loader teď podporuje události BlobRenamed pro Azure Data Lake Storage Gen2 při spuštění v režimu oznámení souboru. Pokud chcete zpracovat soubory nahrané do kontejneru Azure Data Lake Storage Gen2 prostřednictvím operace přejmenování s oznámeními o souborech, spusťte nový datový proud s automatickým zavaděčem pomocí Databricks Runtime 8.3. Pokud chcete zajistit, aby se soubor zpracovával přesně jednou, ujistěte se, že zdrojový adresář, ze kterého se soubor přejmenovává, není automaticky zavaděčem sledovaný.
Vytváření tabulek Delta pomocí nových programových rozhraní API (Public Preview)
Nové tabulky Delta teď můžete vytvářet programově (pomocí scaly, Javy a Pythonu) bez použití rozhraní DATAFrame API. Nová DeltaTableBuilder rozhraní DeltaColumnBuilder API umožňují zadat všechny podrobnosti tabulky, které můžete zadat pomocí SQL CREATE TABLE.
Další informace najdete v tématu Vytvoření tabulky.
Oprava výpočtu velikostí tabulek Delta v SQL ANALYZE
Existující logika analýzy nesprávně vypočítá velikost tabulky pro tabulky Delta a aktualizuje katalog s nesprávnou velikostí. Opravou je získání velikosti tabulky Delta z protokolu Delta.
Podrobné metriky výkonu RocksDB při použití úložiště RocksDBStateStore
Pokud jste dotaz strukturovaného streamování nakonfigurovali tak, aby jako úložiště stavů používal RocksDB, můžete teď získat lepší přehled o výkonu RocksDB s podrobnými metrikami o latencích get/put, latencích komprimace, přístupech do mezipaměti atd. Tyto metriky jsou k dispozici prostřednictvím StreamingQueryProgress StreamingQueryListener rozhraní API pro monitorování streamovacího dotazu.
Další informace najdete v tématu Konfigurace úložiště stavů RocksDB v Azure Databricks.
Automatické optimalizované zápisy
Optimalizované zápisy v dělených tabulkách Delta jsou teď automaticky povolené pro aktualizace a odstraňování dotazů obsahujících poddotazy.
Povolení spojení v kontejnerech, pokud je v kontejneru pouze jedna strana spojení
Nová konfigurace spark.databricks.sql.minBucketsForBucketedJoin umožňuje kontejnerové spojení, pokud je v kontejneru pouze jedna strana spojení a počet kbelíků není menší než tato hodnota konfigurace. Ve výchozím nastavení je tato hodnota konfigurace stejná jako výchozí číslo oddílů náhodného prohazování (200).
Vylepšené zabezpečení při definování funkcí definovaných uživatelem Sparku (Public Preview)
Funkce informací o uživatelích current_user a is_member nelze je přepsat dočasnými funkcemi, včetně Pythonu spark.udf.register nebo SQL create or replace temp function.
Omezený počet požadavků na registr schématu pro dotazy s využitím from_avro
Dotazy s from_avro podporou registru schématu už negenerují tolik požadavků na službu registru schématu, což šetří provozní náklady.
Více výsledků v R s listResults (Public Preview)
Poznámkové bloky Databricks R teď podporují více výsledků v každé buňce. Pro každou buňku poznámkového bloku se dříve vykresloval jenom jeden výsledek. V současné době se výsledky jedné buňky v poznámkových blocích R zobrazují v následujícím pořadí:
- RShiny URL
- Vykreslit
- displayHTML – výstupy
- Tabulky
- stdout
Upgrady knihoven
- Upgradovaná knihovna Pythonu:
- koalas upgradoval z verze 1.7.0 na verzi 1.8.0.
- Pandas upgradoval z verze 1.1.3 na verzi 1.1.5.
- s3transfer byl upgradován z verze 0.3.4 na verzi 0.3.6.
- Upgradovaná knihovna R:
- SparkR upgradoval z verze 3.1.1 na verzi 3.1.2.
- Upgradovaná knihovna Java:
- mariadb-java-client od 2.1.2 do 2.2.5.
- parquet-column from 1.10.1-databricks6 to 1.10.1-databricks9
- parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
- parquet-encoding from 1.10.1-databricks6 to 1.10.1-databricks9
- parquet-hadoop od 1.10.1-databricks6 do 1.10.1-databricks9
- parquet-jackson z 1.10.1-databricks6 na 1.10.1-databricks9
Apache Spark
Databricks Runtime 8.3 zahrnuje Apache Spark 3.1.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 8.2 (EoS) a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-34614] [SQL] Režim ANSI: Přetypování řetězce na logickou hodnotu by mělo vyvolat výjimku při chybě analýzy
- [SPARK-34246] [ZPRACOVAT] Změňte definici findTightestCommonT...
- [SPARK-35213] [SQL] Udržujte správné pořadí vnořených struktur v řetězených operacích withField.
- [SPARK-35096] [SQL] Spuštění schématu by mělo dodržovat spark.sql.caseSensitive config
- [SPARK-35227] [BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
- [SPARK-35224] [SQL] Oprava přetečení vyrovnávací paměti v
MutableProjectionSuite - [SPARK-34245] [JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
- [SPARK-34856] [SQL] Režim ANSI: Povolit přetypování složitých typů jako typ řetězce
- [SPARK-34946] [SQL] Blokování nepodporovaných skalárních poddotazů v agregaci
- [SPARK-35014] Oprava vzoru Fyzické agregace, aby se nepřepsaly skládací výrazy
- [SPARK-34769] [SQL] AnsiTypeCoercion: return nejbližší con...
Prostředí systému
- Operační systém: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R verze 4.0.4 (2021-02-15)
- Delta Lake 1.0.0
Nainstalované knihovny Pythonu
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| kryptografie | 3.1.1 | cyklista | 0.10.0 | Cython | 0.29.21 |
| dekoratér | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| vstupní body | 0.3 | přehled omezujících vlastností | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| verizonsolver | 1.3.0 | Koaly | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| bábovka | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| jádro | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| žádosti | 2.24.0 | Opakování... | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | Šest | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornádo | 6.0.4 | vlastnosti | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| kolo | 0.35.1 |
Nainstalované knihovny jazyka R
Knihovny R se instalují ze snímku Microsoft CRAN 2020-11-02.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backporty | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bitové | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| startování | 1.3-27 | vařit | 1.0-6 | verva | 1.1.0 |
| koště | 0.7.2 | volající | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-18 |
| Rozhraní příkazového řádku | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | barevný prostor | 2.0-0 | commonmark | 1,7 |
| – kompilátor | 4.0.4 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | pastelka | 1.3.4 | přihlašovací údaje | 1.3.0 |
| nežádoucí signál | 1.1.0.1 | kudrna | 4.3 | data.table | 1.13.4 |
| Power BI | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| trávit | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| tři tečky | 0.3.1 | evaluate | 0,14 | fanynky | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | zahraniční | 0.8-81 | kovat | 0.2.0 |
| Fs | 1.5.0 | budoucnost | 1.21.0 | Generik | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globálních objektů | 0.14.0 |
| lepidlo | 1.4.2 | Gower | 0.2.2 | Grafika | 4.0.4 |
| grDevices | 4.0.4 | mřížka | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | útočiště | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Iterátory | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | pletení | 1,30 |
| značení | 0.4.2 | později | 1.1.0.1 | mříž | 0.20-41 |
| láva | 1.6.8.1 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| sleva | 1,1 | MŠE | 7.3-53.1 | Matice | 1.3-2 |
| memoise | 1.1.0 | metody | 4.0.4 | mgcv | 1.8-33 |
| mim | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| paralelně | 1.22.0 | pilíř | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | chválit | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Průběh | 1.2.2 | sliby | 1.1.1 | proto | 1.0.0 |
| PS | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| Analýza rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recepty | 0.1.15 |
| odvetný zápas | 1.0.1 | rematch2 | 2.1.2 | vzdálená zařízení | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | váhy | 1.1.1 |
| selektor | 0.4-2 | sessioninfo | 1.1.1 | tvar | 1.4.5 |
| lesklý | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | prostorový | 7.3-11 | spline křivky | 4.0.4 |
| sqldf | 0.4-11 | ČTVEREC | 2020.5 | statistické údaje | 4.0.4 |
| Statistiky 4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| přežití | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | tools | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.0.4 |
| Uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | vous | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | podpora aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.kofein | kofein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | nativní native_ref javy | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | nativní native_system javy | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metriky – jádro | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metriky – servlety | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | sběratel | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.kurátor | kurátor-client | 2.7.1 |
| org.apache.kurátor | kurátor-framework | 2.7.1 |
| org.apache.kurátor | kurátor-recepty | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | Hive – společné | 2.3.7 |
| org.apache.hive | Hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubační |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | břečťan | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | kódování parquet | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | rychlost | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | cílové skupiny a poznámky | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | pokračování jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | žerzejové společné | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | Hibernate-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Podložky | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | nepoužitý | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | kočky-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | makro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |