Databricks Runtime 4.3 (EoS)
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.
Databricks vydala tuto verzi v srpnu 2018.
Důležité
Tato verze byla vyřazena 9. dubna 2019. Další informace o zásadách vyřazení databricks Runtime a plánu najdete v tématu Životní cyklus podpory Databricks.
Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 4.3, který využívá Apache Spark.
Nové funkce
- Delta Lake
TRUNCATE TABLEpříkaz: Odstraňte všechny řádky z tabulky. Na rozdíl od protějšku tabulek Sparku tabulky Delta nepodporují odstraňování konkrétních oddílů.ALTER TABLE REPLACE COLUMNSpříkaz: Nahraďte sloupce v tabulce Delta. Podporuje změnu komentáře sloupce a změnu pořadí více sloupců.FSCK REPAIR TABLEpříkaz: Odeberte položky souboru z transakčního protokolu tabulky Delta, které již nelze najít v základním systému souborů. K tomu může dojít, když se tyto soubory odstraní ručně.- Podpora dotazů na zastaralé tabulky Delta za účelem zlepšení interaktivního prostředí dotazů: Dotazy na tabulky Delta se teď můžou spouštět na zastaralé verzi tabulky, pokud nejsou potřeba aktuální výsledky. Tato funkce snižuje latenci dotazů zejména v případě, že se podkladové tabulky Delta průběžně aktualizují prostřednictvím datových proudů.
- Strukturované streamování
- Škálovatelná podpora zápisu streamování pro konektor Azure Synapse Analytics
- Podpora v
foreachBatch()Pythonu (už je dostupná v jazyce Scala). Další podrobnosti najdete v dokumentaci foreach a foreachBatch. - Podpora pro výběr minimálního nebo maximálního vodoznaku, pokud je v dotazu více vstupních datových proudů. Dříve se vždy používalo minimální časové razítko. Další podrobnosti najdete v zásadách s více vodoznaky.
- Podpora operátoru
LIMITpro streamy vAppendaCompletevýstupních režimech. Chcete-li minimalizovat chyby OOM na ovladači,LIMITpoužije se automaticky při použitídisplay()u nevázaných datových proudů.
Vylepšení
Delta Lake
- Privátní verze Preview nové škálovatelné implementace
MERGE INTOpříkazu, která nemá limit vložení 1 0000 řádků. Pokud to chcete vyzkoušet, obraťte se na podporu. - Lepší výkon a škálovatelnost
OPTIMIZEpříkazu, zejména ve větších clusterech. - Příkaz OPTIMIZE se teď potvrdí do tabulky přírůstkově, což znamená, že pokud příkaz selže, nebude potřeba zpracovat celou datovou sadu.
- Snížil se počet rpcs systému souborů potřebných ke zjišťování nových dat při použití Delta Lake jako zdroje streamování.
- Přidání podpory pro
df.writeStream.table(table-name)vytvoření tabulky Delta ze streamu v Pythonu
- Privátní verze Preview nové škálovatelné implementace
Vylepšený výkon dotazů s více spojeními, agregacemi nebo okny
Vylepšená efektivita vyřazení na úrovni oddílů v dotazech s spojeními hash všesměrového vysílání.
Vylepšení generování kódu celé fáze pro detekci duplicitních výrazů, snížení množství vygenerovaného kódu a zlepšení výkonu pro určité typy výrazů.
Clustery s vysokou souběžností teď podporují spouštění
%fsv poznámkových blocích.Upgradoval Py4J používaný PySpark na verzi 0.10.7.
Vylepšený výkon ukládání do mezipaměti disků v instancích řady Azure Ls Mezipaměť je teď u těchto instancí ve výchozím nastavení povolená a urychluje úlohy, které opakovaně čtou soubory Parquet.
Zastaralé funkce
- Vynechání dat mimo Databricks Delta je zastaralé. Rozšířená verze přeskočení dat bude nadále dostupná jako součást Delta Lake. Doporučujeme přepnout na používání Delta Lake, abyste mohli tuto funkci dál využívat. Podrobnosti najdete v tématu Databricks Delta Data Skipping .
Opravy chyb
Opravili jsme nesprávný příkaz predikátu pushdownu
MERGE INTOpro Delta, když podmínka ON obsahovala predikáty, které odkazovaly pouze na cílovou tabulku.Opravili jsme chybu,
mapGroupsWithStateflatMapGroupsWithStatekterá bránila vypršení časových limitů nastavení při odebrání stavu (SPARK-22187).Opravili jsme chybu, která bránila správné práci s vodoznakem
Trigger.Once(SPARK-24699).Příkaz Update teď ověří sloupce v klauzuli SET, aby se ujistil, že všechny sloupce skutečně existují a že žádný sloupec není nastavený více než jednou.
Opravili jsme potenciální stav časování, který mohl způsobit zablokování pro potvrzení adresáře.
Opravili jsme chybu, která způsobovala, že se při aktualizaci připojení používala zastaralá verze klienta DBFS.
Známé problémy
- Možnosti konfigurace Delta Lake pro tabulku se projeví jenom v prvním poznámkovém bloku, který tabulku načte.
Apache Spark
Databricks Runtime 4.3 zahrnuje Apache Spark 2.3.1. Tato verze zahrnuje všechny opravy a vylepšení zahrnutá v Databricks Runtime 4.2 (EoS) a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-24934][SQL] Explicitní povolení podporovaných typů v horních a dolních mezích pro vyřezávání oddílů v paměti
- Pokud se ve filtrech dotazů na data v mezipaměti používají složité datové typy, Spark vždy vrátí prázdnou sadu výsledků. Vyřazení založené na statistikách v paměti generuje nesprávné výsledky, protože hodnota null je nastavena pro horní a dolní hranice pro komplexní typy. Oprava je nepoužívat statistiky založené na paměti pro vyřazení komplexních typů.
- [SPARK-24957][SQL] Průměr s desítkovým číslem následovaným agregací vrátí nesprávný výsledek.
- Mohou se vrátit nesprávné výsledky funkce PRŮMĚR. Funkce CAST přidaná v operátoru Průměr bude vynechána, pokud je výsledek dělení stejný typ, na který se přetypuje.
- [SPARK-24867][SQL] Přidání AnalysisBarrieru do prvku DataFrameWriter
- Mezipaměť SQL se nepoužívá při použití DataFrameWriter k zápisu datového rámce s UDF. Jedná se o regresi způsobenou změnami, které jsme provedli v AnalysisBarrieru, protože ne všechna pravidla Analyzátoru jsou idempotentní.
- [SPARK-24790][SQL] Povolit komplexní agregační výrazy v pivotu
- Uvolněte kontrolu a povolte komplexní agregační výrazy, jako jsou ceil(sum(col1)) nebo sum(col1) + 1, což zhruba znamená, že jakýkoli agregační výraz, který by se mohl zobrazit v agregačním plánu s výjimkou UDF knihovny pandas.
- [SPARK-24870][SQL] Mezipaměť nemůže normálně fungovat, pokud v SQL existují velká písmena
- Řeší problém s kanonizací plánu.
- [SPARK-24852]Mít spark.ml trénování používat aktualizovaná rozhraní API instrumentace .
- [SPARK-24891][SQL] Oprava pravidla HandleNullInputsForUDF
- Nastavit HandleNullInputsForUDF pravidlo idempotentní, aby se zabránilo neshodě plánů ve Správci mezipaměti, když je plán analyzován více než jednou.
- [SPARK-24878][SQL] Oprava zpětné funkce pro typ pole primitivního typu obsahující hodnotu null.
- [SPARK-24871][SQL] Refaktorujte Concat a MapConcat, abyste se vyhnuli vytváření objektu zřetězení pro každý řádek.
- [SPARK-24802][SQL] Přidání nové konfigurace pro vyloučení pravidla optimalizace
- Poskytuje konfiguraci pro uživatele, aby vyloučili některá pravidla optimalizátoru.
- [SPARK-24879][SQL] Oprava NPE v odsdílení filtru Hive při vyřazení filtru
- Pokud je predikát oddílu něco jako sloupec IN (1, null), vyvolá se NPE. Tato oprava ji opraví.
- [SPARK-23731][SQL] Nastavit FileSourceScanExec canonicalizable po (de)serializaci
- [SPARK-24755][JÁDRO] Ztráta exekutoru může způsobit, že úloha nebude znovu odeslána.
- Opraví chybu, která spark nemusí znovu odeslat úlohy, které selhaly ztrátou exekutoru. Tato chyba byla zavedena ve Sparku 2.3.
- [SPARK-24677][JÁDRO] Vyhněte se NoSuchElementException z MedianHeap
- Řeší chybu související se spekulativními úkoly při shromažďování metrik doby trvání úkolů.
- [SPARK-24868][PYTHON] Přidání sekvenční funkce v Pythonu
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Oprava převodů typů a závazků null
- [SPARK-24699][SS] Vytváření vodoznaků s triggerem.Jednou uložením aktualizovaného vodoznaku do protokolu potvrzení
- [SPARK-24537][R] Přidat array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-22187][SS] Aktualizace nebezpečného formátu pro uložený stav v flatMapGroupsWithState, aby se povolil časový limit s odstraněným stavem (4.x)
- [SPARK-24681][SQL] Ověření názvů vnořených sloupců v metastoru Hive
- Ujistěte se, že názvy vnořených sloupců neobsahují v metastoru Hive ",", ":" a ";".
- [SPARK-23486]uložení názvu funkce do mezipaměti z externího katalogu pro funkci lookupFunctions
- Urychlíte vyhledávání funkcí.
- [SPARK-24781][SQL] Použití odkazu z datové sady ve filtru nebo řazení nemusí fungovat
- [SPARK-24208][SQL] Oprava odstranění duplicitních dat atributu pro FlatMapGroupsInPandas
- Oprava selhání samoobslužného připojení u datové sady, která obsahuje FlatMapGroupsInPandas kvůli duplicitním atributům
- [SPARK-24530][PYTHON] Přidání ovládacího prvku pro vynucení verze Pythonu ve Sphinxu prostřednictvím proměnné prostředí SPHINXPYTHON
- [SPARK-24250]podpora přístupu k SQLConf v rámci úloh
- Při aktivaci spuštění SQL uložte všechny konfigurace SQL do vlastností úlohy. Na straně exekutoru znovu sestavíme SQLConf z vlastností úlohy.
- [SPARK-23936][SQL] Implementace map_concat
- [SPARK-23914][SQL] Přidání funkce array_union
- [SPARK-24732][SQL] Převod typů mezi typy MapTypes
- Přidává podporu pro převod typů mezi MapTypes, kde jsou kompatibilní jak typy klíčů, tak typy hodnot. Například typy MapType(IntegerType, FloatType) a MapType(LongType, DoubleType) lze zadat typ MapType(LongType, DoubleType).
- [SPARK-24662][SQL] [SS] Omezení podpory ve strukturovaném streamování
- [SPARK-24730][SS] Přidání zásad pro výběr maximálního globálního vodoznaku, pokud má streamovací dotaz více vodoznaků (branch-4.x)
- [SPARK-24596][SQL] Ne cascading Cache Invalidation
- Při zrušení mezipaměti nebo vyřazení dočasného zobrazení není nutné kaskádově zrušit ukládání všech plánů závislých na zobrazení, protože podkladová data se nezmění.
- [SPARK-23927][SQL] Přidání výrazu sequence
- [SPARK-24636][SQL] Převod typů polí pro funkci array_join
- [SPARK-22384][SQL] Upřesnění vyřazování oddílů při zabalení atributu v přetypování
- Vylepšete vyřezávání oddílů, které umožňují nasdílet predikáty oddílů pomocí bezpečného přetypování typu (int až long, not long to int).
- [SPARK-24385][SQL] Řešení nejednoznačnosti podmínky samoobslužného spojení pro EqualNullSafe
- Implementuje EqualNullSafe pro řešení nejednoznačnosti podmínky samoobslužného spojení.
- [SPARK-24696][SQL] Pravidlo columnPruning se nepovede odebrat další projekt
- Opraví chybu v pravidle ColumnPruning, která způsobila chybu nekonečné smyčky v Optimalizátoru.
- [SPARK-24603][SQL] Oprava odkazu findTightestCommonType v komentářích
- [SPARK-24613][SQL] Mezipaměť s UDF se nedá spárovat s následnými závislými mezipaměťmi.
- Zabalí logický plán pomocí analysisBarrieru pro kompilaci plánu provádění v CacheManager, aby se zabránilo opětovné analýze plánu. Jedná se také o regresi Sparku 2.3.
- [SPARK-24017][SQL] Refaktoring ExternalCatalog na rozhraní
- [SPARK-24324][PYTHON] UDF seskupené mapy pandas by měly přiřazovat sloupce výsledků podle názvu.
- Přiřadí sloupce výsledků podle názvu schématu, pokud uživatel označený řetězci, jinak použije pozici.
- [SPARK-23778][JÁDRO] Vyhněte se nepotřebným náhodnému prohazu, když sjednocení získá prázdnou rdD
- Ignoruje příchozí prázdné sady RDD v sjednocovací metodě, aby nedocházelo k nepotřebným nadbytečným náhodnému náhodnému prohazování, pokud mají všechny ostatní sady RDD stejné dělení.
- [SPARK-24552][JÁDRO] [SQL] Místo počtu pokusů o zápis použijte jedinečné ID.
- Předá jedinečné ID pokusu o úkol místo pokusu o číslo zdroje dat v2, protože při opakování fází se znovu použije číslo pokusu. To má vliv na rozhraní API zdroje dat V1 a V2, ale rozhraní API formátu souboru nebudou ovlivněna, protože DBR používající jiný protokol potvrzení.
- [SPARK-24588]Připojení ke streamování [SS] by mělo vyžadovat hashClusteredPartitioning z podřízených položek.
- [SPARK-24589][JÁDRO] Správně identifikujte úkoly ve výstupním koordinátoru potvrzení.
- Přidá do stavu fáze sledovaného koordinátorem další informace, takže výstup může potvrdit pouze jeden úkol. Tato oprava také odebere zbytečné změny kódu zavedené SPARK-18113.
- [SPARK-23933][SQL] Přidání funkce map_from_arrays
- [SPARK-24583][SQL] Nesprávný typ schématu v insertIntoDataSourceCommand
- Při vytváření tabulky Delta s omezeními NOT NULL bychom mohli vynechat hodnotu null a vložit hodnoty NULL bez kontroly porušení.
- [SPARK-24542][SQL] Řada UDF UDFXPathXXXX umožňuje uživatelům předávat pečlivě vytvořené XML pro přístup k libovolným souborům.
- Jedná se o opravu zabezpečení hlášenou komunitou. Řada UDF UDFXPathXXXXXX umožňuje uživatelům předávat pečlivě vytvořené XML pro přístup k libovolným souborům. Když uživatelé používají knihovnu externího řízení přístupu, můžou je uživatelé obejít a získat přístup k obsahu souboru.
- [SPARK-23934][SQL] Přidání funkce map_from_entries
- [SPARK-23912][SQL] Přidání array_distinct
- [SPARK-24574][SQL] Funkce array_contains, array_position, array_remove a element_at pracují s typem sloupce.
Aktualizace údržby
Viz aktualizace údržby Databricks Runtime 4.3.
Prostředí systému
- Operační systém: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 pro clustery Python 2 a 3.5.2 pro clustery Python 3.
- R: R verze 3.4.4 (2018-03-15)
- Clustery GPU: Nainstalují se následující knihovny NVIDIA GPU:
- Ovladač Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Nainstalované knihovny Pythonu
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| pivovar2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| kryptografie | 1.5 | cyklista | 0.10.0 | Cython | 0.24.1 |
| dekoratér | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | budoucnosti | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | bábovka | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Polštář | 3.3.1 |
| jádro | 10.0.1 | dýha | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| žádosti | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | drhnout | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Šest | 1.10.0 | statsmodels | 0.6.1 |
| tornádo | 5.0.2 | vlastnosti | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | kolo | 0.31.1 |
| wsgiref | 0.1.2 |
Nainstalované knihovny jazyka R
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backporty | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bitové | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | startování | 1.3-20 |
| vařit | 1.0-6 | koště | 0.4.4 | car | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | Rozhraní příkazového řádku | 1.0.0 |
| cluster | 2.0.7-1 | codetools | 0.2-15 | barevný prostor | 1.3-2 |
| commonmark | 1.4 | – kompilátor | 3.4.4 | pastelka | 1.3.4 |
| kudrna | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| Power BI | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | Desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | trávit | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | zahraniční | 0.8-70 |
| Gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | lepidlo | 1.2.0 | Gower | 0.1.2 |
| Grafika | 3.4.4 | grDevices | 3.4.4 | mřížka | 3.4.4 |
| gsubfn | 0,7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| útočiště | 1.1.1 | Hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| Iterátory | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | značení | 0.3 | mříž | 0.20-35 |
| láva | 1.6.1 | lazyeval | 0.2.1 | menší | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | mapy | 3.3.0 | maptools | 0.9-2 |
| MŠE | 7.3-50 | Matice | 1.2-14 | Maticové modely | 0.4-1 |
| memoise | 1.1.0 | metody | 3.4.4 | mgcv | 1.8-24 |
| mim | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pilíř | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | chválit | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| zkratka psychologie | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recepty | 0.1.2 | odvetný zápas | 1.0.1 | reshape2 | 1.4.3 |
| Rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0,7 | váhy | 0.5.0 | sfsmisc | 1.1-2 |
| Sp | 1.2-7 | SparkR | 2.3.1 | Řídký čas | 1.77 |
| prostorový | 7.3-11 | spline křivky | 3.4.4 | sqldf | 0.4-11 |
| ČTVEREC | 2017.10-1 | statmod | 1.4.30 | statistické údaje | 3.4.4 |
| Statistiky 4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| přežití | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| vous | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | podpora aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | datový proud | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | Kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | spolužák | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | nativní native_ref javy | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | nativní native_system javy | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1,1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2,2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,8 |
| io.dropwizard.metrics | metriky – jádro | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metriky – kontroly stavu | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metriky – servlety | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | sběratel | 0,7 |
| javax.activation | aktivace | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extra | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolit | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | šipka – paměť | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-inkubační |
| org.apache.calcite | kalcite-core | 1.2.0-inkubační |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubační |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.kurátor | kurátor-client | 2.7.1 |
| org.apache.kurátor | kurátor-framework | 2.7.1 |
| org.apache.kurátor | kurátor-recepty | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubační |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | břečťan | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | kódování parquet | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | Janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | pokračování jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | žerzejové společné | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | Hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | kousavý | 0,2 |
| org.javassist | Javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | nepoužitý | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | makro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |