Databricks Runtime 5.5 LTS (nepodporované)
Databricks vydala tuto image v červenci 2019. V srpnu 2019 bylo deklarováno dlouhodobé podpory (LTS). Podpora skončila 27. července 2021. Rozšířená podpora Databricks Runtime 5.5 (nepodporovaná) byla vydána 8. července 2021 a rozšiřuje podporu 5.5 do prosince 2021. Místo zastaralé distribuce Ubuntu 16.04.6 LTS použité v původní verzi Databricks Runtime 5.5 LTS používá Ubuntu 16.04.6 LTS. Podpora Ubuntu 16.04.6 LTS skončila 1. dubna 2021.
Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 5.5, který využívá Apache Spark.
Nové funkce
Rozdílové jezero v Azure Databricks – automatická optimalizace
Když dnes zapisujete data do cloudového úložiště, potřebujete komprimovat soubory pro optimální výkon vstupně-výstupních operací. Musíte se starat o správnou velikost souboru, jak často komprimovat soubory, jak velký cluster používat atd. Abychom tuto třídu problémů vyřešili, s radostí oznamujeme obecnou dostupnost automatické optimalizace pomocí Delta Lake v Azure Databricks. Během každého zápisu do tabulek Delta automaticky zjistíme správné velikosti souborů a kompaktní soubory, abyste se nemuseli starat o optimalizaci rozložení úložiště. Pokud se truejedná o auto-optimize možnost zápisu, Azure Databricks automaticky určí, jestli je potřeba provést optimalizaci, a optimalizuje malé soubory. Podrobnosti najdete v tématu Konfigurace Delta Lake pro řízení velikosti datového souboru.
Delta Lake v Azure Databricks vylepšil minimální, maximální a počet agregačních dotazů
Výkon dotazů na agregaci min, max a count pro Delta Lake v Azure Databricks se výrazně zlepšil snížením množství načtených dat. Tyto dotazy se teď spouštějí pomocí statistik a hodnot oddílů v metadatech a neskenují data.
Rychlejší kanály odvozování modelů s vylepšeným zdrojem dat binárního souboru a skalárním iterátorem pandas UDF (Public Preview)
Úlohy strojového učení, zejména v doméně obrázků a videí, často musí pracovat s velkým počtem souborů. Ve službě Databricks Runtime 5.4 jsme už zpřístupnili zdroj dat binárního souboru, který pomáhá ETL libovolným souborům, jako jsou obrázky, do tabulek Sparku. Ve službě Databricks Runtime 5.5 jsme přidali možnost , recursiveFileLookupkterá rekurzivně načítá soubory z vnořených vstupních adresářů. Viz Binární soubor.
Binární souborový zdroj dat umožňuje spouštět úlohy odvozování modelu paralelně z tabulek Spark pomocí skalárního objektu UDF pandas. Možná ale budete muset inicializovat model pro každou dávku záznamů, což představuje režii. V Databricks Runtime 5.5 jsme backportovali nový typ UDF pandas s názvem skalární iterátor z hlavního serveru Apache Spark. S ním můžete inicializovat model pouze jednou a použít ho na mnoho vstupních dávek, což může vést k 2-3x zrychlení pro modely, jako je ResNet50. Viz řady pro skalární definovanou uživatelem.
Rozhraní API pro tajné kódy v poznámkových blocích R
Rozhraní API pro tajné kódy umožňuje vkládat tajné kódy do poznámkových bloků bez jejich pevně zakódování. Toto rozhraní API je teď k dispozici v poznámkových blocích R kromě stávající podpory pro poznámkové bloky Python a Scala. Pomocí funkce můžete dbutils.secrets.get získat tajné kódy. Tajné kódy jsou před tiskem do buňky poznámkového bloku znovu upraveny.
Vylepšení
- Podpora spouštění operací Delta Lake SQL v Pythonu
foreachBatch: Opravili jsme známé omezení nemožnosti zapisovat do tabulek Delta z dotazuforeachBatchstrukturovaného streamování definovaného v Pythonu. To je užitečné v běžných úlohách streamování Pythonu; Například zápis agregací streamování v režimu aktualizace pomocí funkce MERGE a foreachBatch. - Výkon tabulek Delta uložených v Azure Data Lake Gen2: Kontrola nejnovější verze tabulky Delta v ADLS Gen2 teď kontroluje pouze konec transakčního protokolu, a ne výpis všech dostupných verzí. Tato optimalizace zajišťuje
UPDATEkonstantní časovou operaci, což výrazně zlepšuje latenci. - Škálovatelnost optimalizace
ZORDER BY: Řazení Z u velmi velkých tabulek Delta teď používá menší jednotky práce, které se řídí pokročilým řízením přístupu. Tato funkce zlepšuje stabilitu této operace bez obětování využití clusteru. - Vylepšený výkon příkazů DML u tabulek s velkým počtem sloupců: Při vyhledávání odpovídajících dat a
UPDATEDELETEMERGEpříkazů teď provádíme lepší vyřazování sloupců. - Podpora nastavení koncových bodů virtuální sítě a služeb ve Sparku – Synapse Analytics: Přidali jsme cesty ADL Gen2 do seznamu povolených jako dočasná umístění dat (
.option("tempDir", "abfss://...")) a přidali jsme novou možnostuseAzureMSI, která se má použít místoforward_spark_azure_storage_credentialstoho, aby se služba Synapse Analytics nakonfigurovala pro ověření prostřednictvím spravovaných identit do účtu úložiště V2. - Automatické zneplatnění ukládání do mezipaměti disku: Ukládání do mezipaměti disku teď automaticky rozpozná soubory, které byly změněny nebo přepsány po uložení do mezipaměti. Všechny zastaralé položky se automaticky zneplatní a vyřadí se z mezipaměti. Viz Optimalizace výkonu s využitím ukládání do mezipaměti v Azure Databricks.
- Upgradovali jste kolo knihovny Pythonu z verze 0.33.3 na 0.33.4.
- Upgrade knihovny R nlme z verze 3.1-139 na verzi 3.1-140.
Opravy chyb
- Opravili jsme zrušení příkazů R, které nespustila úlohy Sparku. Dříve bylo možné zrušit příkazy jazyka R, které nespouštějí úlohy Sparku, ale stav poznámkových bloků by se ztratil; Příkazy je teď možné zrušit bez ztráty stavu poznámkového bloku.
- Vyřazení nebo přesunutí spravované tabulky teď zneplatní protokol Delta Lake v mezipaměti.
- Opravili jsme chybu, která způsobovat selhání kontrolního bodu Delta Lake kvůli
FileAlreadyExistsExceptionchybě . - Scala REPL teď nastaví správný
-target:jvm-1.8příznak pro podporu volání metod Javy, které používají funkce Java 8.
Apache Spark
Databricks Runtime 5.5 zahrnuje Apache Spark 2.4.3. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 5.4 (nepodporované) a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-24695] Povolit funkcím definovaným uživatelem vrátit hodnotu CalendarInterval
- [SPARK-28056] přidání řetězce docstring/doctest pro UDF SCALAR_ITER pandas
- [SPARK-28185] Zavře generátor, když se uživatelem definované funkce Pythonu zastaví brzy.
- [SPARK-24703] Podpora násobení intervalů
- [SPARK-27018][JÁDRO] Oprava nesprávného odebrání kontrolního bodu souboru v PeriodicCheckpointer
- [SPARK-28127][SQL] Micro optimization on TreeNode's mapChildren method
- [SPARK-26038] Desetinné číslo toScalaBigInt/toJavaBigInteger pro desetinné čárky, které se nevepisují dlouho
- [SPARK-26555][SQL] zajištění bezpečnosti podtypu Scala Reflexe ion
- [SPARK-28081][ML] Zpracování velkých počtů vocab ve word2vec
- [SPARK-21882][JÁDRO] OutputMetrics nepočítá správně zapsané bajty ve funkci saveAsHadoopDataset
- [SPARK-28030] convert filePath to URI in binary file data source
- [SPARK-27803][SQL] [PYTHON] Oprava vyřezávání sloupců pro UDF v Pythonu
- [SPARK-27917][SQL] Kanonická forma objektu CaseWhen je nesprávná.
- [SPARK-27798][SQL] from_avro by při převodu na místní relaci neměla vytvářet stejnou hodnotu.
- [SPARK-27873][SQL] columnNameOfCorruptRecord by neměl být při zakazování vynuceníSchema zaškrtnuté u názvů sloupců v hlavičce CSV.
- [SPARK-27907][SQL] HiveUDAF by měl v případě 0 řádků vrátit hodnotu NULL.
- [SPARK-27699][SQL] Částečně odsunout disjunktiv predikovaný v Parquet/ORC
- [SPARK-27868][JÁDRO] Lepší výchozí hodnota a dokumentace pro backlog serveru soketů
- [SPARK-27869][JÁDRO] Redact sensitive information in System Properties from UI
- [SPARK-27863][SQL] [BACKPORT-2.4] Soubory metadat a dočasné soubory by se neměly počítat jako datové soubory.
- [SPARK-27657][ML] Oprava formátu protokolu ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Oprava deserializace Avro u sjednocovacího typu s více typy bez hodnoty null
- [SPARK-27711][JÁDRO] Zrušení nastavení InputFileBlockHolder na konci úkolů
- [SPARK-27351][SQL] Nesprávný odhad outputRows po AggregateEstimation s pouze sloupcem s hodnotou null
- [SPARK-27539][SQL] Oprava nepřesného agregovaného odhadu outputRows se sloupcem obsahujícím hodnoty null
- [SPARK-27800][SQL] Oprava nesprávné odpovědi u testovacích případů BitwiseXor
- [SPARK-27639][SQL] InMemoryTableScan zobrazuje název tabulky v uživatelském rozhraní, pokud je to možné.
- [SPARK-27726][JÁDRO] Oprava výkonu odstranění ElementTrackingStore při použití InMemoryStore při vysokém zatížení
- [SPARK-27771][SQL] Přidání popisu SQL pro seskupovací funkce (datová krychle, kumulativní, seskupování a grouping_id)
- [SPARK-27735][SS] Řetězec intervalu analýzy by měl být nerozlišující malá a velká písmena v SS.
- [SPARK-26856][PYSPARK] Podpora Pythonu pro rozhraní API pro from_avro a to_avro
- [SPARK-26870][SQL] Přesunutí to_avro/from_avro do objektu funkcí kvůli kompatibilitě Javy
- [SPARK-26812][SQL] Nahlášení správné hodnoty null pro komplexní datové typy v Unii
- [SPARK-27671][SQL] Oprava chyby při přetypování z vnořené hodnoty null ve struktuře
- [SPARK-27673][SQL] Přidání
sinceinformací do náhodných výrazů, výrazů regex a null - [SPARK-27672][SQL] Přidání
sinceinformací do řetězcových výrazů - [SPARK-25139][SPARK-18406][JÁDRO] Vyhýbejte se nefatalům k ukončení exekutoru v PythonRunneru
- [SPARK-27624][JÁDRO] Oprava calenderInterval pro zobrazení prázdného intervalu správně
- [SPARK-27577][MLLIB] Správné prahové hodnoty převzorkované v BinaryClassificationMetrics
- [SPARK-27621][ML] Lineární regrese – ověřte parametry související s trénováním, jako je ztráta pouze během fáze montáže.
- [SPARK-26048][SPARK-24530] Cherrypick všechny chybějící potvrzení do skriptu verze 2.4
- [SPARK-24935][SQL] podpora INIT –> UPDATE –> MERGE –> FINISH v adaptéru Hive UDAF
Aktualizace údržby
Viz aktualizace údržby Databricks Runtime 5.5.
Prostředí systému
- Operační systém: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 pro clustery Python 2 a 3.5.2 pro clustery Python 3.
- R: R verze 3.6.0 (2019-04-26)
- Clustery GPU: Nainstalují se následující knihovny NVIDIA GPU:
- Ovladač Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Poznámka:
I když se Scala 2.12 podporuje v Apache Sparku 2.4, nepodporuje se v Databricks Runtime 5.5.
V této části:
- Nainstalované knihovny Pythonu
- Nainstalované knihovny jazyka R
- Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)
Nainstalované knihovny Pythonu
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| pivovar2mpl | 1.4.1 | Certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| Kryptografie | 1.5 | Cyklovač | 0.10.0 | Cython | 0.24.1 |
| Dekoratér | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | Revize Sejf | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Polštář | 3.3.1 |
| Pip | 19.1.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| žádosti | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | Pročesat | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Šest | 1.10.0 | statsmodels | 0.6.1 |
| Tornádo | 5.1.1 | vlastnosti | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | Kolo | 0.33.4 |
| wsgiref | 0.1.2 |
Nainstalované knihovny jazyka R
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| Backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bitové | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | startování | 1.3-20 |
| Vařit | 1.0-6 | volající | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | Rozhraní příkazového řádku | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | barevný prostor | 1.4-1 | commonmark | 1,7 |
| – kompilátor | 3.6.0 | config | 0.3 | Pastelka | 1.3.4 |
| Curl | 3.3 | data.table | 1.12.0 | Power BI | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| devtools | 2.0.1 | Digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | tři tečky | 0.1.0 | fanynky | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | Zahraniční | 0.8-71 |
| Forge | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| Generik | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | Lepidlo | 1.3.1 |
| Gower | 0.2.0 | Grafika | 3.6.0 | grDevices | 3.6.0 |
| Mřížky | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | Útočiště | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| Ini | 0.3.1 | ipred | 0.9-8 | Iterátory | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Označování | 0.3 |
| Mříže | 0.20-38 | Láva | 1.6.5 | lazyeval | 0.2.2 |
| malý | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Mapy | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matrice | 1.2-17 |
| Maticové modely | 0.4-1 | memoise | 1.1.0 | metody | 3.6.0 |
| mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | Pilíř | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| Chvála | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Průběh | 1.2.0 |
| proto | 1.0.0 | Ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | Analýza rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recepty | 0.1.5 | Zápas | 1.0.1 |
| vzdálená zařízení | 2.0.2 | reshape2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | Váhy | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | Řídký čas | 1.77 | Prostorové | 7.3-11 |
| Křivky | 3.6.0 | sqldf | 0.4-11 | ČTVEREC | 2017.10-1 |
| statmod | 1.4.30 | Statistiky | 3.6.0 | Statistiky 4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | Přežití | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | vousa | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| Zip | 2.0.1 |
Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | podpora aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | datový proud | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Spolužák | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | nativní native_ref javy | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | nativní native_system javy | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metriky – jádro | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metriky – kontroly stavu | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metriky – servlety | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | aktivace | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extra | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolit | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | šipka – paměť | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-inkubační |
| org.apache.calcite | kalcite-core | 1.2.0-inkubační |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubační |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.kurátor | kurátor-client | 2.7.1 |
| org.apache.kurátor | kurátor-framework | 2.7.1 |
| org.apache.kurátor | kurátor-recepty | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubační |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | kódování parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | pokračování jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | žerzejové společné | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | Hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | Elegantní | 0,2 |
| org.javassist | Javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Podložky | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Nepoužité | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | Xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | makro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| Oro | Oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |