Databricks Runtime 10.2 (nepodporované)
Následující poznámky k verzi obsahují informace o Databricks Runtime 10.2 a Databricks Runtime 10.2 Photon s využitím Apache Sparku 3.2.0. Databricks vydala tyto image v prosinci 2021. Photon je ve verzi Public Preview.
Nové funkce a vylepšení
- Použití souborů v reposech se streamováním Sparku
- Nástroje Databricks přidávají příkaz update mount
- Delta Lake podporuje přejmenování sloupců (Public Preview)
- Historie tabulek Delta Lake přidává informace o verzi databricks Runtime
- Nástroje Databricks přidávají informace o čase poslední úpravy, když jsou uvedeny adresáře
- Spark SQL přidá
approx_top_kfunkci, která vrátí nejvyšší položky a jejich počty. - Trigger.AvailableNow je teď k dispozici v Pythonu a také v jazyce Scala
- Auto Loader teď podporuje vývoj schématu pro Avro (Public Preview)
Použití souborů v reposech se streamováním Sparku
K souborům v repos teď můžete přistupovat ze streamování Sparku.
Nástroje Databricks přidávají příkaz update mount
Nový dbutils.fs.updateMount příkaz je podobný dbutils.fs.mount, ale tento nový příkaz aktualizuje existující přípojný bod místo vytvoření nového. Viz příkaz updateMount (dbutils.fs.updateMount).
Delta Lake podporuje přejmenování sloupců (Public Preview)
Delta Lake teď podporuje přejmenování sloupců. Pokud chcete přejmenovat sloupec tabulky Delta, musíte upgradovat verzi tabulky Delta a pak nastavit režim mapování sloupců na mapování názvů. Viz Přejmenování a vyřazení sloupců s mapováním sloupců Delta Lake.
Historie tabulek Delta Lake přidává informace o verzi databricks Runtime
Při zápisu do tabulky Delta se zaznamenávají také informace o verzi Databricks Runtime, která zápis provedla. Informace o verzi získáte spuštěním DESCRIBE HISTORY příkazu v tabulce a následným zobrazením engineInfo sloupce ve výstupu. Viz POPIS HISTORIE a práce s historií tabulek Delta Lake.
Nástroje Databricks přidávají informace o čase poslední úpravy, když jsou uvedeny adresáře
Příkaz dbutils.fs.ls pro výpis obsahu adresáře teď vypíše modificationTime pole. Toto pole obsahuje nejnovější čas úprav pro každý uvedený soubor nebo adresář. Viz příkaz ls (dbutils.fs.ls).
Spark SQL přidá approx_top_k funkci, která vrátí nejvyšší položky a jejich počty.
Nová approx_top_k funkce vrátí nejčastěji se vyskytující hodnoty položek spolu s jejich přibližnými počty pro zadaný výraz. Mezi některé příklady patří:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
Výsledkem spuštění některého příkladu je:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Viz approx_top_k agregační funkce.
Trigger.AvailableNow je teď k dispozici v Pythonu a také v jazyce Scala
Tato změna podporuje dotazy Trigger.AvailableNow na streamování zdroje Delta v Pythonu i Scala. Databricks Runtime 10.1 zavedl podporu tohoto triggeru v jazyce Scala. Databricks Runtime 10.2 teď podporuje i tento trigger v Pythonu. Podívejte se na pokrytí v části Trigger.AvailableNowCo je automatický zavaděč?.
Auto Loader teď podporuje vývoj schématu pro Avro (Public Preview)
Viz Konfigurace odvození schématu a vývoj v automatickém zavaděče.
Upgrady knihoven
- Upgradované knihovny Pythonu:
- filelock from 3.3.1 to 3.4.0
- vykreslovat od 5.3.0 do 5.3.1
- Upgradované knihovny jazyka R:
- základ od 4.1.1 do 4.1.2
- kompilátor z verze 4.1.1 do 4.1.2
- datové sady od 4.1.1 do 4.1.2
- grafika od 4.1.1 do 4.1.2
- grDevices od 4.1.1 do 4.1.2
- mřížka od 4.1.1 do 4.1.2
- metody od 4.1.1 do 4.1.2
- paralelní od 4.1.1 do 4.1.2
- Rserve od 1.8-8 do 1.8-10
- splines from 4.1.1 to 4.1.2
- Statistiky od 4.1.1 do 4.1.2
- Statistiky 4 od 4.1.1 do 4.1.2
- tcltk od 4.1.1 do 4.1.2
- nástroje od 4.1.1 do 4.1.2
- nástroje od 4.1.1 do 4.1.2
- backporty od 1.2.1 do 1.4.0
- koště od 0.7.9 do 0.7.10
- cli from 3.0.1 to 3.1.0
- cpp11 od 0.4.0 do 0.4.1
- crayon od 1.4.1 do 1.4.2
- přihlašovací údaje od 1.3.1 do 1.3.2
- budoucí od 1.22.1 do 1.23.0
- gert od 1.4.1 do 1.4.3
- glmnet od 4.1-2 do 4.1-3
- připevnění z 1.4.2 na 1.5.0
- memoise od 2.0.0 do 2.0.1
- paralelně od 1.28.1 do 1.29.0
- readr od 2.0.2 do 2.1.0
- sessioninfo od 1.1.1 do 1.2.1
- stringi od 1.7.5 do 1.7.6
- tibble od 3.1.5 do 3.1.6
- tinytex od 0,34 do 0,35
- tzdb od 0.1.2 do 0.2.0
- usethis from 2.1.2 to 2.1.3
- uuid od 0.1-4 do 1.0-3
- vroom od 1.5.5 do 1.5.6
- xfun od 0.27 do 0.28
- Upgradované knihovny Java:
- com.fasterxml.jackson od 2.12.2 do 2.12.3
- io.airlift.aircompressor od 0.19 do 0.21
- io.netty.netty-all od 4.1.63.Final do 4.1.68.Final
- joda-time.joda-time od 2.10.5 do 2.10.10
- org.apache.commons.commons-compress from 1.20 to 1.21
- org.apache.orc od 1.6.10 do 1.6.12
- org.eclipse.jetty od 9.4.40.v20210413 do 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 od 1.0 do 1.2
- org.scalanlp.breeze_2.12 od 1.0 do 1.2
- org.org.typelevel.algebra_2.12 od 2.0.0 do 2.0.1
- org.typelevel.cats-kernel_2.12 od 2.0.0 do 2.0.1
Apache Spark
Databricks Runtime 10.2 zahrnuje Apache Spark 3.2.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 10.1 (nepodporované) a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-37447] [SQL] Výsledkem cache LogicalPlan.isStreaming() je opožděná hodnota
- [SPARK-37468] [SQL] Podpora intervalů ANSI a timestampNTZ pro UnionEstimation
- [SPARK-37464] [SQL] SCHÉMA a DATABÁZE by měly být jednoduše aliasy oboru názvů.
- [SPARK-37452] [SQL] Znak a Varchar přeruší zpětnou kompatibilitu mezi verzemi 3.1 a v2
- [SPARK-36861] [SQL] Použije
yyyy-MM-ddse jako vzor data při zjišťování oddílů. - [SPARK-37456] [SQL] Vytvoření oboru názvů by mělo mít nárok na umístění pro příkaz v2.
- [SPARK-37357] [SQL] Přidání malého faktoru oddílu pro oddíly pro vyrovnávání
- [SPARK-37446] [SQL] Použití reflexe pro getWithoutRegisterFns k povolení různých verzí Hive pro sestavování
- [SPARK-37444] [SQL] ALTER NAMESPACE ... NASTAVENÍ UMÍSTĚNÍ by mělo konzistentně zpracovávat prázdné umístění napříč příkazem v1 a v2.
- [SPARK-36357] [SQL] Podpora časového razítka posunu bez časového pásma pro orc
- [SPARK-36346] [SQL] Podpora typu TimestampNTZ ve zdroji souborů Orc
- [SPARK-36646] [SQL] Odeslání skupiny dolů podle sloupce oddílu pro agregaci
- [SPARK-34960] [SQL] Agregace posunu dolů pro ORC
- [SPARK-37386] [SQL] Zjednodušení funkce OptimizeSkewedJoin, aby nespustí vyhodnocovače nákladů
- [SPARK-36073] [SQL] Opravy a vylepšení ekvivalentních výrazů
- [SPARK-35352] [SQL] Přidání kódu Gen pro úplné spojení sloučení vnějšího řazení
- [SPARK-37292] [SQL] Odebere vnější spojení, pokud má na streamované straně pouze DISTINCT s aliasem.
- [SPARK-37371] [SQL] UnionExec by měl podporovat sloupcový sloupec, pokud všechny podřízené sloupce podporují
- [SPARK-36645] [SQL] Agregace (Min/Max/Count) pro Parquet
- [SPARK-37379] [SQL] Přidání vzorek stromu vyřazování do pravidla CTESubstitution
- [SPARK-37332] [SQL] Povolit intervaly ANSI v
ALTER TABLE .. ADD COLUMNS - [SPARK-37224] [SS] Optimalizace cesty zápisu u poskytovatele úložiště stavů RocksDB
- [SPARK-37304] [SQL] Povolit intervaly ANSI ve verzi 2
ALTER TABLE .. REPLACE COLUMNS - [SPARK-36924] [SQL] PŘETYPOVÁNÍ mezi intervaly ANSI a IntegralType
- [SPARK-37289] [SQL] Funkce Remove
partitionSchemaOption - [SPARK-37270] [SQL] Oprava skládacího vložení do větví CaseWhen, pokud je elseValue prázdný
- [SPARK-35345] [SQL] Přidání testů Parquet do BloomFilterBenchmark
- [SPARK-37341] [SQL] Vyhněte se zbytečné vyrovnávací paměti a kopírování v úplném spojení sloučení vnějšího řazení
- [SPARK-37266] [SQL] Zobrazit text může být pouze dotazy SELECT.
- [SPARK-37288] [PYTHON] [3.2] Backport od aktualizace poznámek
- [SPARK-37262] [SQL] Nezaprohledat prázdné agregace a seskupení podle v nástroji JDBCScan
- [SPARK-37283] [SQL] Nepokoušejte se uložit tabulku V1, která obsahuje intervaly ANSI ve formátu kompatibilním s Hivem.
- [SPARK-37221] [SQL] Rozhraní API podobné shromažďování ve SparkPlanu by mělo podporovat sloupcový výstup.
- [SPARK-37202] [SQL] Použití AnalysisContext ke sledování odkazových dočasných funkcí
- [SPARK-37023] [JÁDRO] Vyhněte se načítání stavu sloučení, pokud je při opakování shuffleMergeEnabled false pro shuffleDependency
- [SPARK-37307] [JÁDRO] Nezískute připojení JDBC pro prázdné oddíly
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions podporují optimalizaci ne kořenového uzlu
- [SPARK-36799] [SQL] Předání názvu queryExecution v rozhraní příkazového řádku
- [SPARK-37261] [SQL] Povolit přidávání oddílů s intervaly ANSI v DSv2
- [SPARK-37203] [SQL] Oprava notSerializableException při sledování s TypedImperativeAggregate
- [SPARK-37199] [SQL] Přidání deterministického pole do QueryPlan
- [SPARK-37253] [PYTHON]
try_simplify_tracebackby nemělo selhat, pokudtb_frame.f_linenoje žádná - [SPARK-37214] [SQL] Selhání analýzy dotazů dříve s neplatnými identifikátory
- [SPARK-37240] [SQL] Zpracování intervalů ANSI podle
ColumnVectorUtils.populate() - [SPARK-35437] [SQL] Použití výrazů k filtrování oddílů Hive na straně klienta
- [SPARK-32940] [SQL] Funkce collect, first and last by měly být deterministické agregační funkce.
- [SPARK-37231] [SQL] Dynamické zápisy a čtení oddílů intervalů ANSI
- [SPARK-37038] [SQL] Ukázka DSV2 – posun dolů
- [SPARK-36665] [SQL] Přidání dalších zjednodušení operátoru Not
- [SPARK-37150] [SQL] Migrace oboru názvů DESCRIBE pro použití příkazu V2 ve výchozím nastavení
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale failed return null
- [SPARK-37212] [SQL] Vylepšete implementaci agregovaného odsdílení změn.
- [SPARK-37190] [SQL] Vylepšení chybových zpráv pro přetypování v režimu ANSI
- [SPARK-37161] [SQL] RowToColumnConverter podporuje AnsiIntervalType
- [SPARK-37160] [SQL] Přidání konfigurace pro volitelné zakázání odsazení pro typ znaku
- [SPARK-36554] [SQL] [PYTHON] Zveřejnění výrazu make_date ve functions.scala
- [SPARK-37200] [SQL] Index vyřazení podpory pro zdroj dat V2
- [SPARK-37179] [SQL] Režim ANSI: Přidání konfigurace pro povolení přetypování mezi datem a časem a číselným kódem
- [SPARK-37168] [SQL] Vylepšení chybových zpráv pro funkce a operátory SQL v režimu ANSI
- [SPARK-36935] [SQL] Rozšíření ParquetSchemaConverter na výpočetní úroveň opakování a definice Parquet
- [SPARK-37066] [SQL] Zlepšení chybové zprávy, aby se zobrazila cesta k souboru, když se nepovedlo přečíst další soubor
- [SPARK-32567] [SQL] Přidání kódu Gen pro úplné vnější náhodné spojení hash
- [SPARK-37176] [SQL] Synchronizace logiky zpracování výjimek jsonInferSchema#infer method s metodou JacksonParser#parse
- [SPARK-37149] [SQL] Vylepšení chybových zpráv pro aritmetické výjimky přetečení v režimu ANSI
- [SPARK-37136] [SQL] Odebrání kódu o funkci sestavení Hive, ale neimplementuje se ve Sparku
- [SPARK-16280][SPARK-37082] [SQL] Implementuje histogram_numeric agregační funkci, která podporuje částečnou agregaci.
- [SPARK-36975] [SQL] Oprava metrik volání klienta Hive v HiveClientImpl
Aktualizace údržby
Viz aktualizace údržby Databricks Runtime 10.2.
Prostředí systému
- Operační systém: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
Nainstalované knihovny Pythonu
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1,10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | Bělidla | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | Certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | Cyklovač | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | Dekoratér | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | informace o distribuci | 0.23ubuntu1 | vstupní body | 0.3 |
| přehled omezujících vlastností | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | Jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgety | 1.0.0 | verizonsolver | 1.3.1 | Koaly | 1.8.2 |
| Revize Sejf | 2.0.1 | matplotlib | 3.4.2 | špatně zamyšlení | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | poznámkový blok | 6.3.0 | numpy | 1.19.2 |
| Obalu | 20.9 | pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Polštář | 8.2.0 | Pip | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2,20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| žádosti | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | Šest | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | Houževnatost | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| Tornádo | 6.1 | vlastnosti | 5.0.5 | bezobslužné upgrady | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | Kolo | 0.36.2 | widgetsnbextension | 3.5.1 |
Nainstalované knihovny jazyka R
Knihovny R se instalují ze snímku Microsoft CRAN na 30. 11. 2021.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bitové | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | startování | 1.3-28 |
| Vařit | 1.0-6 | Brio | 1.1.2 | Koště | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | volající | 3.7.0 |
| caret | 6.0-90 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-19 | Rozhraní příkazového řádku | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | barevný prostor | 2.0-2 |
| commonmark | 1,7 | – kompilátor | 4.1.2 | config | 0.3.1 |
| cpp11 | 0.4.1 | Pastelka | 1.4.2 | přihlašovací údaje | 1.3.2 |
| Curl | 4.3.2 | data.table | 1.14.2 | Power BI | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | Desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | Digest | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| tři tečky | 0.3.2 | evaluate | 0,14 | fanynky | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | Zahraniční | 0.8-81 |
| Forge | 0.2.0 | Fs | 1.5.0 | Budoucnosti | 1.23.0 |
| future.apply | 1.8.1 | Kloktadlo | 1.2.0 | Generik | 0.1.1 |
| Gert | 1.4.3 | ggplot2 | 3.3.5 | Gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | Globals | 0.14.0 |
| Lepidlo | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| Gower | 0.2.2 | Grafika | 4.1.2 | grDevices | 4.1.2 |
| Mřížky | 4.1.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | Útočiště | 2.4.3 | highr | 0,9 |
| Hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | Id | 1.0.1 | Ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | Iterátory | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| pletení | 1.36 | Označování | 0.4.2 | Později | 1.3.0 |
| Mříže | 0.20-45 | Láva | 1.6.10 | lifecycle | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| Markdown | 1,1 | MASS | 7.3-54 | Matrice | 1.3-4 |
| memoise | 2.0.1 | metody | 4.1.2 | mgcv | 1.8-38 |
| Mime | 0.12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| paralelně | 1.29.0 | Pilíř | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | Chvála | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| Průběh | 1.2.2 | progressr | 0.9.0 | Sliby | 1.2.0.1 |
| proto | 1.0.0 | Proxy | 0.4-26 | Ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | Analýza rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | recepty | 0.1.17 |
| Zápas | 1.0.1 | rematch2 | 2.1.2 | vzdálená zařízení | 2.4.1 |
| reprex | 2.0.1 | reshape2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2.11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0,13 | rversions | 2.1.1 |
| rvest | 1.0.2 | Sass | 0.4.0 | Váhy | 1.1.1 |
| selektor | 0.4-2 | sessioninfo | 1.2.1 | Obrazec | 1.4.6 |
| Lesklé | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | Prostorové | 7.3-11 | Křivky | 4.1.2 |
| sqldf | 0.4-11 | ČTVEREC | 2021.1 | Statistiky | 4.1.2 |
| Statistiky 4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| Přežití | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| timeDate | 3043.102 | tinytex | 0,35 | tools | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | utf8 | 1.2.2 |
| utils | 4.1.2 | Uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | vroom | 1.5.6 | Waldo | 0.3.1 |
| vousa | 0,4 | withr | 2.4.2 | xfun | 0,28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | Zip | 2.2.0 |
Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | podpora aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.kofein | Kofein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | nativní native_ref javy | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | nativní native_system javy | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 1.3.2 |
| dev.ludovic.netlib | Blas | 1.3.2 |
| dev.ludovic.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metriky – jádro | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metriky – servlety | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Kolekcí | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extra | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | Avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.kurátor | kurátor-client | 2.13.0 |
| org.apache.kurátor | kurátor-framework | 2.13.0 |
| org.apache.kurátor | kurátor-recepty | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-Databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-inkubační |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shims | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | kódování parquet | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | cílové skupiny a poznámky | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | pokračování jetty | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket – společné | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | žerzejové společné | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | Hibernate-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Poznámky | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Podložky | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Nepoužité | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | kočky-kernel_2.12 | 2.1.1 |
| org.typelevel | makro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |