Databricks Runtime 10.1 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.1 a Databricks Runtime 10.1 Photon s využitím Apache Sparku 3.2.0. Databricks vydala tuto verzi v listopadu 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

• Nové nastavení tabulky Delta pro komprimace malých souborů
• Metriky nové skupiny řádků pro prohledávání dotazů Parquet
• Trigger.AvailableNow pro dotazy na streamování zdroje Delta
• Trigger.AvailableNow pro automatický zavaděč
• Podpora delta pro konfigurace systému souborů Hadoop, které se předávají prostřednictvím možností datového rámce
• Asynchronní vytváření kontrolních bodů stavu se teď podporuje v stavových úlohách streamování (Public Preview)
• Sparklyr s předáváním přihlašovacích údajů
• Data nástrojů Databricks shrnují ovládací prvek přesnosti (Public Preview)
• Poznámkové bloky Azure Databricks je teď možné použít s jádrem IPython.
• Nové funkce ve Spark SQL

Nové nastavení tabulky Delta pro komprimace malých souborů

Vlastnost delta.autoOptimize.autoCompact tabulky Delta nyní přijímá nové hodnoty auto a legacy kromě existujících hodnot true a false. Pokud je nastavená hodnota auto (doporučeno), automatické komprimace používá lepší výchozí hodnoty, například nastavení 32 MB jako cílovou velikost souboru (i když výchozí chování se v budoucnu může změnit). Při nastavení legacy nebo true, automatické komprimace používá jako 128 MB jako cílovou velikost souboru.

Místo nastavení této vlastnosti pro jednotlivé tabulky můžete nastavit spark.databricks.delta.autoCompact.enabled konfiguraci na auto, legacynebo true povolit automatické komprimace pro všechny tabulky Delta. Tato konfigurace má přednost před vlastností související tabulky během aktuální relace.

Cílovou velikost souboru pro automatické komprimace lze řídit pomocí spark.databricks.delta.autoCompact.maxFileSize konfigurace.

Další informace o automatickém komprimování najdete v tématu Automatické komprimace pro Delta Lake v Azure Databricks.

Metriky nové skupiny řádků pro prohledávání dotazů Parquet

Dotazy s kontrolou Parquet teď v uživatelském rozhraní Sparku naskenují metriky skupiny řádků. Mezi tyto metriky skupin řádků patří:

• celkový počet skupin řádků parquet
• Počet přečtených skupin řádků parquet

Trigger.AvailableNow pro dotazy na streamování zdroje Delta

Tato změna podporuje nový typ triggeru pro dotazy na streamování zdroje Delta v jazyce Scala: Trigger.AvailableNow. Je to jako Trigger.Once, který zpracovává všechna dostupná data pak zastaví dotaz. Poskytuje Trigger.AvailableNow ale lepší škálovatelnost, protože data je možné zpracovávat v několika dávkách, nikoli v jedné. Tato změna nezavádí nové rozhraní; implementuje existující rozhraní Spark API. Tento trigger také podporuje všechny možnosti omezování rychlosti, které už Delta podporuje jako zdroj.

Příklad:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Podívejte se na pokrytí v části Trigger.AvailableNow Co je automatický zavaděč?.

Trigger.AvailableNow pro automatický zavaděč

Trigger.AvailableNow je nový režim triggeru streamování podobný Trigger.Once. Trigger.Once zpracuje všechna dostupná data a pak dotaz zastaví. Trigger.AvailableNow má lepší škálovatelnost, protože data je možné zpracovávat v několika dávkách, nikoli v jedné. Automatický zavaděč teď podporuje Trigger.AvailableNow režimy výpisu adresáře i oznámení o souborech pro Scala. Podívejte se na pokrytí v části Trigger.AvailableNow Co je automatický zavaděč?.

Podpora delta pro konfigurace systému souborů Hadoop, které se předávají prostřednictvím možností datového rámce

Podobně jako Parquet podporuje Delta čtení konfigurace systému souborů Hadoop z DataFrameReader a DataFrameWriter možnosti při čtení nebo zápisu tabulky pomocí DataFrameReader.load(path) nebo DataFrameWriter.save(path). Viz Konfigurace přihlašovacích údajů úložiště Delta.

Asynchronní vytváření kontrolních bodů stavu se teď podporuje v stavových úlohách streamování (Public Preview)

Asynchronní vytváření kontrolních bodů stavu je nová funkce, která potenciálně snižuje latenci mikrobatchu v stavových úlohách streamování s velkými aktualizacemi stavu. Viz Asynchronní vytváření kontrolních bodů stavu pro stavové dotazy.

Sparklyr s předáváním přihlašovacích údajů

Pomocí rozhraní API sparklyr teď můžete číst a zapisovat data do a z cloudového úložiště pomocí předávání přihlašovacích údajů. Tato funkce je omezená na standardní clustery s přístupem jednoho uživatele. Viz Přístup ke službě Azure Data Lake Storage pomocí předávání přihlašovacích údajů Microsoft Entra ID (starší verze).

Data nástrojů Databricks shrnují ovládací prvek přesnosti (Public Preview)

Nový precise parametr pro dbutils.data.summarize řízení přesnosti souhrnných výsledků. Pokud precise je nastavená hodnota false (výchozí), vrátí souhrn přibližné výsledky pro počet jedinečných položek, percentil a časté počty položek. Pokud precise je nastavena hodnota true, souhrny se teď počítají s přesným počtem jedinečných a častými počty položek s přesnějšími odhady percentilu. Viz příkaz summarize (dbutils.data.summarize).

Poznámkové bloky Azure Databricks je teď možné použít s jádrem IPython.

Teď můžete nakonfigurovat cluster Azure Databricks tak, aby ke spouštění kódu Pythonu používal jádro IPython. Použití jádra IPython v Azure Databricks přidává podporu pro nástroje IPython pro zobrazení a výstup. Jádro IPython také zachycuje výstupy stdout a stderr podřízených procesů vytvořených poznámkovým blokem, což umožňuje zahrnout tento výstup do výsledků příkazů poznámkového bloku.

Další informace najdete v tématu Jádro IPython.

Nové funkce ve Spark SQL

Pro práci s daty v Katalogu Unity (Preview) byly přidány následující objekty a příkazy:

• Externí umístění
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• VYTVOŘIT KATALOG
• VYTVOŘIT UMÍSTĚNÍ
• VYTVOŘIT PŘÍJEMCE
• POPIS KATALOGU
• POPIS PŘIHLAŠOVACÍCH ÚDAJŮ
• POPIŠTE UMÍSTĚNÍ
• DROP CATALOG
• DROP CREDENTIAL
• UMÍSTĚNÍ PŘETAŽENÍ
• SEZNAM
• ZOBRAZIT KATALOGY
• ZOBRAZIT PŘIHLAŠOVACÍ ÚDAJE
• ZOBRAZIT UMÍSTĚNÍ
• POUŽITÍ KATALOGU

Pro rozdílové sdílení (Preview) byly přidány následující příkazy, které umožňují sdílet data jen pro čtení s příjemci mimo vaši organizaci:

• Sdílení
• ALTER SHARE
• VYTVOŘIT SDÍLENOU SLOŽKU
• POPSAT PŘÍJEMCE
• POPIS SDÍLENÍ
• DROP RECIPIENT
• DROP SHARE
• UDĚLENÍ SDÍLENÉ SLOŽKY
• ODVOLAT SDÍLENOU SLOŽKU
• ZOBRAZIT VŠE VE SDÍLENÉ SLOŽCE
• ZOBRAZIT PŘÍJEMCE
• ZOBRAZIT SDÍLENÉ SLOŽKY
• SHOW GRANT ON SHARE
• ZOBRAZIT GRANTY PŘÍJEMCŮM

Opravy chyb

• Opravili jsme stav časování, který mohl způsobit selhání dotazu, IOException například No FileSystem for scheme nebo to mohlo způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • filelock od 3.0.12 do 3.3.1
  • koalas od 1.8.1 do 1.8.2
  • vykreslit od 5.1.0 do 5.3.0
• Upgradované knihovny jazyka R:
  • bslib od 0.3.0 do 0.3.1
  • stříšku od 6.0-88 do 6.0-90
  • cpp11 od 0.3.1 do 0.4.0
  • data.table od 1.14.0 do 1.14.2
  • desc od 1.3.0 do 1.4.0
  • rozdílobj od 0.3.4 do 0.3.5
  • digest od 0.6.27 do 0.6.28
  • generics from 0.1.0 to 0.1.1
  • hms od 1.1.0 do 1.1.1
  • pletení od 1.34 do 1.36
  • lattice od 0.20-44 do 0.20-45
  • životní cyklus od 1.0.0 do 1.0.1
  • lubridate od 1.7.10 do 1.8.0
  • mgcv od 1,8-37 do 1,8-38
  • mime od 0.11 do 0.12
  • pkgload od 1.2.2 do 1.2.3
  • progressr from 0.8.0 to 0.9.0
  • rcmdcheck od 1.3.3 do 1.4.0
  • readr od 2.0.1 do 2.0.2
  • recepty od 0.1.16 do 0.1.17
  • vzdáleně od 2.4.0 do 2.4.1
  • rlang od 0.4.11 do 0.4.12
  • rvest od 1.0.1 do 1.0.2
  • lesklý od 1.6.0 do 1.7.1
  • stringi od 1.7.4 do 1.7.5
  • test ze 3.0.4 do 3.1.0
  • tidyr od 1.1.3 do 1.1.4
  • tinytex od 0,33 do 0,34
  • usethis from 2.0.1 to 2.1.2
  • xfun od 0.26 do 0.27
• Upgradované knihovny Java:
  • com.zaxxer.HikariCP od 3.1.0 do 4.0.3

Apache Spark

Databricks Runtime 10.1 zahrnuje Apache Spark 3.2.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 10.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-37037] [SQL] Zlepšení řazení bajtů podle unify compareTo funkce UTF8String a ByteArray
• [SPARK-37091] [R] SystemRequirements to include Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: Podpora SSL (Secure-Socket-Layer) pro HMS
• [SPARK-37098] [SQL] Změna vlastností tabulky by měla zneplatnit mezipaměť.
• [SPARK-36992] [SQL] Zlepšení výkonu řazení bajtů pomocí unify getPrefix funkce UTF8String a ByteArray
• [SPARK-37047] [SQL] Přidání funkcí lpad a rpad pro binární řetězce
• [SPARK-37076] [SQL] Implementace StructType.toString explicitně pro Scala 2.13
• [SPARK-37075] [SQL] Přesun sestavení výrazu UDAF z sql/catalyst do sql/core
• [SPARK-37084] [SQL] Nastavení spark.sql.files.openCostInBytes na bytesConf
• [SPARK-37088] [PYSPARK] [SQL] Vlákno zápisu nesmí získat přístup ke vstupu po vrácení naslouchacího procesu dokončení úkolu
• [SPARK-37069] [SQL] Správně náhradní, pokud hive.getWithoutRegisterFns není k dispozici
• [SPARK-37050] [PYTHON] Aktualizace pokynů k instalaci Conda
• [SPARK-37067] [SQL] Použití ZoneId.of() ke zpracování řetězce časového pásma v DatetimeUtils
• [SPARK-35925] [SQL] Podpora DayTimeIntervalType ve funkci width-bucket
• [SPARK-35926] [SQL] Přidání podpory YearMonthIntervalType pro width_bucket
• [SPARK-35973] [SQL] Příkaz Přidat SHOW CATALOGS
• [SPARK-36922] [SQL] Funkce SIGN/SIGNUM by měly podporovat intervaly ANSI.
• [SPARK-37078] [JÁDRO] Podpora starých konstruktorů jímky se 3 parametry
• [SPARK-37061] [SQL] Oprava vlastních metrik při použití vnitřních tříd
• [SPARK-35918] [AVRO] Sjednocení zpracování neshod schématu pro čtení a zápis a vylepšení chybových zpráv
• [SPARK-36871] [SQL] Migrace příkazu CreateViewStatement do v2
• [SPARK-36898] [SQL] Nastavení konfigurovatelného faktoru náhodného spojení hash
• [SPARK-36921] [SQL] Podpora intervalů ANSI podle DIV
• [SPARK-36794] [SQL] Ignorovat duplicitní klíče spojení při vytváření relace pro SEMI/ANTI náhodné spojení hash
• [SPARK-36867] [SQL] Oprava chybové zprávy s aliasem GROUP BY
• [SPARK-36914] [SQL] Implementace dropIndex a listIndexes v JDBC (dialekt MySQL)
• [SPARK-35531] [SQL] Přímé předání tabulky HiveClient při volání getPartitions, aby se zabránilo zbytečnému převodu z HiveTable -> CatalogTable - -> HiveTable
• [SPARK-36718] [SQL] Sbalit projekty pouze v případě, že nezdvojíme nákladné výrazy.
• [SPARK-37046] [SQL]: Alter view nezachová případ sloupců
• [SPARK-36978] [SQL] Pravidlo Odvození omezení by mělo vytvořit omezení IsNotNull v přístupovém vnořeném poli místo kořenového vnořeného typu.
• [SPARK-37052] [JÁDRO] Spark by měl předat do hlavní třídy pouze příkazový argument, pokud je prostředí SQL Shell.
• [SPARK-37017] [SQL] Snižte rozsah synchronizovaných, aby se zabránilo možnému vzájemnému zablokování.
• [SPARK-37032] [SQL] Oprava nefunkčního odkazu na syntaxi SQL na stránce s referenčními informacemi SQL
• [SPARK-36905] [SQL] Oprava čtení zobrazení Hive bez explicitních názvů sloupců
• [SPARK-36678] Migrace příkazu SHOW TABLES pro použití příkazu V2 ve výchozím nastavení
• [SPARK-36943] [SQL] Zlepšení čitelnosti chybové zprávy chybějícího sloupce
• [SPARK-36980] [SQL] Vložení dotazu podpory pomocí CTE
• [SPARK-37001] [SQL] Zákaz dvou úrovní mapování pro konečnou agregaci hash ve výchozím nastavení
• [SPARK-36970] [SQL] Ruční zakázaný formát B funkce pro zajištění kompatibility date_format Javy 17 s Javou 8
• [SPARK-36546] [SQL] Přidání podpory pole do sjednocení podle názvu
• [SPARK-36979] [SQL] Přidání pravidla RewriteLateralSubquery do nonExcludableRules
• [SPARK-36949] [SQL] Zákaz tabulek zprostředkovatele Hive s intervaly ANSI
• [SPARK-36849] [SQL] Migrace rozhraní příkazového řádku UseStatement do v2
• [SPARK-36868] [SQL] Migrace CreateFunctionStatement do příkazového rozhraní v2
• [SPARK-36841] [SQL] Přidání syntaxe set catalog xxx ansi pro změnu aktuálního katalogu
• [SPARK-36821] [SQL] Make class ColumnarBatch extendable - addendum
• [SPARK-36963] [SQL] Přidání max_by/min_by do sql.functions
• [SPARK-36913] [SQL] Implementace createIndex a IndexExists v DS V2 JDBC (dialekt MySQL)
• [SPARK-36848] [SQL] Migrace Architektury příkazů ShowCurrentNamespaceStatement do architektury příkazů v2
• [SPARK-36526] [SQL] Podpora indexu DSV2: Přidání rozhraní supportsIndex
• [SPARK-36960] [SQL] Odsdílení filtrů s hodnotami intervalu ANSI do ORC
• [SPARK-36929] [SQL] Remove Unused Method EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat ORC
• [SPARK-34980] [SQL] Podpora sjednocení oddílů prostřednictvím sjednocení v AQE
• [SPARK-36809] [SQL] Odebrání vysílání pro InSubqueryExec použité v DPP
• [SPARK-36813] [SQL] [PYTHON] Návrh infrastruktury as-of join and imlement ps.merge_asof
• [SPARK-36918] [SQL] Ignorovat typy při porovnávání struktur pro unionByName
• [SPARK-36891] [SQL] Refaktoring SpecificParquetRecordReaderBase a přidání dalšího pokrytí vektorizované dekódování Parquet
• [SPARK-36920] [SQL] Podpora intervalů ANSI podle ABS()
• [SPARK-36888] [SQL] Přidání testovacích případů pro funkci sha2
• [SPARK-36889] [SQL] Respekt spark.sql.parquet.filterPushdown podle v2 parquet scan builder
• [SPARK-36830] [SQL] Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat JSON
• [SPARK-36870] [SQL] Představení třídy chyb INTERNAL_ERROR
• [SPARK-36831] [SQL] Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat CSV
• [SPARK-36550] [SQL] Příčina šíření v případě selhání odrazu UDF
• [SPARK-36866] [SQL] Odsdílení filtrů s hodnotami intervalu ANSI do parquetu
• [SPARK-33832] [SQL] Vynucení zjednodušení a vylepšování kódu nerovnoměrné distribuce
• [SPARK-36642] [SQL] Přidání rozhraní df.withMetadata pyspark API
• [SPARK-35765] [SQL] Odlišné agregace nejsou duplicitní.
• [SPARK-36825] [SQL] Datové rámce pro čtení a zápis s intervaly ANSI z/do souborů parquet
• [SPARK-36829] [SQL] Refaktoring kontroly NULL pro collectionOperátory
• [SPARK-32712] [SQL] Podpora zápisu tabulky s kontejnery Hive (formáty souborů Hive s hodnotou hash Hive)
• [SPARK-36797] [SQL] Sjednocení by mělo vyřešit vnořené sloupce jako sloupce nejvyšší úrovně.
• [SPARK-36838] [SQL] Vylepšení výkonu vygenerovaného kódu vygenerované v sadě InSet
• [SPARK-36683] [SQL] Přidání nových integrovaných funkcí SQL: SEC a CSC
• [SPARK-36721] [SQL] Zjednodušení logických rovná se, pokud je jedna strana literálová
• [SPARK-36760] [SQL] Přidání rozhraní SupportsPushDownV2Filters
• [SPARK-36652] [SQL] Výběr dynamického spojení AQE by neměl platit pro neekviňové spojení.
• [SPARK-36745] [SQL] Funkce ExtractEquiJoinKeys by měla vracet původní predikáty u klíčů join
• [SPARK-36107] [SQL] Refaktoring první sady chyb spuštění dotazu 20 pro použití tříd chyb
• [SPARK-32709] [SQL] Podpora zápisu tabulky s kontejnery Hive (formát Parquet/ORC s hodnotou hash Hive)
• [SPARK-36735] [SQL] Úprava režie vztahu mezipamětí pro DPP
• [SPARK-33832] [SQL] Podpora optimalizace nerovnoměrného připojení i v případě, že se zavádějí nadbytečné náhodné prohazy
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec by měl místo podmínky bez koňovitých použít všechny podmínky.
• [SPARK-35221] [SQL] Přidání kontroly podporovaných tipů pro připojení
• [SPARK-36814] [SQL] Make class ColumnarBatch extendable
• [SPARK-36663] [SQL] Podpora názvů sloupců jen pro čísla ve zdrojích dat ORC
• [SPARK-36751] [SQL] [PYTHON] [R] Přidání bitových/octet_length rozhraní API do Scala, Pythonu a R
• [SPARK-36733] [SQL] Oprava problému s výkonem ve SchématuPruning, pokud má struktura mnoho polí
• [SPARK-36724] [SQL] Podpora timestamp_ntz jako typ časového sloupce pro SessionWindow
• [SPARK-36556] [SQL] Přidání filtrů DSV2
• [SPARK-36687] [SQL] [JÁDRO] Přejmenování tříd chyb s příponou _ERROR
• [SPARK-35803] [SQL] Podpora DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Přidání df.withMetadata: syntaxe suger pro aktualizaci metadat datového rámce

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.1.

Prostředí systému

• Operační systém: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Nainstalované knihovny Pythonu

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
Antergos Linux	2015.10 (ISO-Rolling)	appdirs	1.4.4	argon2-cffi	20.1.0
async-generator	1,10	attrs	20.3.0	backcall	0.2.0
bělit	3.3.0	boto3	1.16.7	botocore	1.19.7
certifi	2020.12.5	cffi	1.14.5	chardet	4.0.0
cyklista	0.10.0	Cython	0.29.23	dbus-python	1.2.16
dekoratér	5.0.6	defusedxml	0.7.1	distlib	0.3.3
informace o distribuci	0.23ubuntu1	vstupní body	0.3	přehled omezujících vlastností	1.0.0
filelock	3.3.1	idna	2.10	ipykernel	5.3.4
ipython	7.22.0	ipython-genutils	0.2.0	ipywidgets	7.6.3
Jedi	0.17.2	Jinja2	2.11.3	jmespath	0.10.0
joblib	1.0.1	jsonschema	3.2.0	jupyter-client	6.1.12
jupyter-core	4.7.1	jupyterlab-pygments	0.1.2	jupyterlab-widgety	1.0.0
verizonsolver	1.3.1	Koaly	1.8.2	MarkupSafe	2.0.1
matplotlib	3.4.2	špatně zamyšlení	0.8.4	nbclient	0.5.3
nbconvert	6.0.7	nbformat	5.1.3	nest-asyncio	1.5.1
poznámkový blok	6.3.0	numpy	1.19.2	balení	20.9
pandas	1.2.4	pandocfilters	1.4.3	parso	0.7.0
bábovka	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Polštář	8.2.0	jádro	21.0.1	plotly	5.3.0
prometheus-client	0.10.1	prompt-toolkit	3.0.17	protobuf	3.17.2
psycopg2	2.8.5	ptyprocess	0.7.0	pyarrow	4.0.0
pycparser	2,20	Pygments	2.8.1	PyGObject	3.36.0
pyparsing	2.4.7	pyrsistent	0.17.3	python-apt	2.0.0+ubuntu0.20.4.6
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
žádosti	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
Send2Trash	1.5.0	setuptools	52.0.0	Šest	1.15.0
ssh-import-id	5.10	statsmodels	0.12.2	houževnatost	8.0.1
terminado	0.9.4	testpath	0.4.4	threadpoolctl	2.1.0
tornádo	6.1	vlastnosti	5.0.5	bezobslužné upgrady	0,1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
webencodings	0.5.1	kolo	0.36.2	widgetsnbextension	3.5.1

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2021-10-26.

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
askpass	1,1	assertthat	0.2.1	backporty	1.2.1
base	4.1.1	base64enc	0.1-3	bitové	4.0.4
bit64	4.0.5	blob	1.2.2	startování	1.3-28
vařit	1.0-6	verva	1.1.2	koště	0.7.9
bslib	0.3.1	cachem	1.0.6	volající	3.7.0
caret	6.0-90	cellranger	1.1.0	chron	2.3-56
class	7.3-19	Rozhraní příkazového řádku	3.0.1	clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	barevný prostor	2.0-2
commonmark	1,7	– kompilátor	4.1.1	config	0.3.1
cpp11	0.4.0	pastelka	1.4.1	přihlašovací údaje	1.3.1
kudrna	4.3.2	data.table	1.14.2	Power BI	4.1.1
DBI	1.1.1	dbplyr	2.1.1	Desc	1.4.0
devtools	2.4.2	diffobj	0.3.5	trávit	0.6.28
dplyr	1.0.7	dtplyr	1.1.0	e1071	1.7-9
tři tečky	0.3.2	evaluate	0,14	fanynky	0.5.0
farver	2.1.0	fastmap	1.1.0	fontawesome	0.2.2
forcats	0.5.1	foreach	1.5.1	zahraniční	0.8-81
kovat	0.2.0	Fs	1.5.0	budoucnost	1.22.1
future.apply	1.8.1	kloktadlo	1.2.0	Generik	0.1.1
Gert	1.4.1	ggplot2	3.3.5	Gh	1.3.0
gitcreds	0.1.1	glmnet	4.1-2	globálních objektů	0.14.0
lepidlo	1.4.2	googledrive	2.0.0	googlesheets4	1.0.0
Gower	0.2.2	Grafika	4.1.1	grDevices	4.1.1
mřížka	4.1.1	gridExtra	2.3	gsubfn	0,7
gtable	0.3.0	útočiště	2.4.3	highr	0,9
Hms	1.1.1	htmltools	0.5.2	htmlwidgets	1.5.4
httpuv	1.6.3	httr	1.4.2	hwriter	1.3.2
hwriterPlus	1.0-3	Id	1.0.1	ini	0.3.1
ipred	0.9-12	isoband	0.2.5	Iterátory	1.0.13
jquerylib	0.1.4	jsonlite	1.7.2	KernSmooth	2.23-20
pletení	1.36	značení	0.4.2	později	1.3.0
mříž	0.20-45	láva	1.6.10	lifecycle	1.0.1
listenv	0.8.0	lubridate	1.8.0	magrittr	2.0.1
sleva	1,1	MŠE	7.3-54	Matice	1.3-4
memoise	2.0.0	metody	4.1.1	mgcv	1.8-38
mim	0.12	ModelMetrics	1.2.2.2	modelr	0.1.8
munsell	0.5.0	nlme	3.1-152	nnet	7.3-16
numDeriv	2016.8-1.1	openssl	1.4.5	parallel	4.1.1
paralelně	1.28.1	pilíř	1.6.4	pkgbuild	1.2.0
pkgconfig	2.0.3	pkgload	1.2.3	plogr	0.2.0
plyr	1.8.6	chválit	1.0.0	prettyunits	1.1.1
pROC	1.18.0	processx	3.5.2	prodlim	2019.11.13
Průběh	1.2.2	progressr	0.9.0	sliby	1.2.0.1
proto	1.0.0	plná moc	0.4-26	PS	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	Analýza rcmdcheck	1.4.0
RColorBrewer	1.1-2	Rcpp	1.0.7	readr	2.0.2
readxl	1.3.1	recepty	0.1.17	odvetný zápas	1.0.1
rematch2	2.1.2	vzdálená zařízení	2.4.1	reprex	2.0.1
reshape2	1.4.4	rlang	0.4.12	rmarkdown	2.11
RODBC	1.3-19	roxygen2	7.1.2	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversions	2.1.1	rvest	1.0.2
drzá napodobenina	0.4.0	váhy	1.1.1	selektor	0.4-2
sessioninfo	1.1.1	tvar	1.4.6	lesklý	1.7.1
sourcetools	0.1.7	sparklyr	1.7.2	SparkR	3.2.0
prostorový	7.3-11	spline křivky	4.1.1	sqldf	0.4-11
ČTVEREC	2021.1	statistické údaje	4.1.1	Statistiky 4	4.1.1
stringi	1.7.5	stringr	1.4.0	přežití	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testthat	3.1.0	tibble	3.1.5	tidyr	1.1.4
tidyselect	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0.34	tools	4.1.1	tzdb	0.1.2
usethis	2.1.2	utf8	1.2.2	utils	4.1.1
Uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
vroom	1.5.5	Waldo	0.3.1	vous	0,4
withr	2.4.2	xfun	0.27	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
zip	2.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny	ID artefaktu	Verze
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	automatické škálování aws-java-sdk	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	podpora aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	datový proud	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	Kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	spolužák	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.12.2
com.fasterxml.jackson.core	jackson-core	2.12.2
com.fasterxml.jackson.core	jackson-databind	2.12.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.12.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.12.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.12.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.12.2
com.github.ben-manes.kofein	kofein	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	core	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	nativní native_ref javy	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	nativní native_system javy	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.luben	zstd-jni	1.5.0-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	Tink	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	profiler	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.istack	istack-commons-runtime	3.0.8
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.8.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	1.3.2
dev.ludovic.netlib	Blas	1.3.2
dev.ludovic.netlib	lapack	1.3.2
hive-2.3__hadoop-3.2	jets3t-0.7	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.19
io.delta	delta-sharing-spark_2.12	0.2.0
io.dropwizard.metrics	metriky – jádro	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metriky – kontroly stavu	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metriky – servlety	4.1.1
io.netty	netty-all	4.1.63.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	sběratel	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivace	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extra	1.2.17
log4j	log4j	1.2.17
maven-trees	hive-2.3__hadoop-3.2	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pyrolit	4.30
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	arrow-vector	2.0.0
org.apache.avro	avro	1.10.2
org.apache.avro	avro-ipc	1.10.2
org.apache.avro	avro-mapred	1.10.2
org.apache.commons	commons-compress	1.20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.kurátor	kurátor-client	2.13.0
org.apache.kurátor	kurátor-framework	2.13.0
org.apache.kurátor	kurátor-recepty	2.13.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.1-Databricks
org.apache.hadoop	hadoop-client-runtime	3.3.1
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.htrace	htrace-core4	4.1.0-inkubační
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	břečťan	2.5.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.6.10
org.apache.orc	orc-mapreduce	1.6.10
org.apache.orc	orc-shims	1.6.10
org.apache.parquet	parquet-column	1.12.0-databricks-0003
org.apache.parquet	parquet-common	1.12.0-databricks-0003
org.apache.parquet	kódování parquet	1.12.0-databricks-0003
org.apache.parquet	parquet-format-structures	1.12.0-databricks-0003
org.apache.parquet	parquet-hadoop	1.12.0-databricks-0003
org.apache.parquet	parquet-jackson	1.12.0-databricks-0003
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.20
org.apache.yetus	cílové skupiny a poznámky	0.5.0
org.apache.zookeeper	zookeeper	3.6.2
org.apache.zookeeper	zookeeper-jute	3.6.2
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	Janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.40.v20210413
org.eclipse.jetty	pokračování jetty	9.4.40.v20210413
org.eclipse.jetty	jetty-http	9.4.40.v20210413
org.eclipse.jetty	jetty-io	9.4.40.v20210413
org.eclipse.jetty	jetty-jndi	9.4.40.v20210413
org.eclipse.jetty	jetty-plus	9.4.40.v20210413
org.eclipse.jetty	jetty-proxy	9.4.40.v20210413
org.eclipse.jetty	jetty-security	9.4.40.v20210413
org.eclipse.jetty	jetty-server	9.4.40.v20210413
org.eclipse.jetty	jetty-servlet	9.4.40.v20210413
org.eclipse.jetty	jetty-servlets	9.4.40.v20210413
org.eclipse.jetty	jetty-util	9.4.40.v20210413
org.eclipse.jetty	jetty-util-ajax	9.4.40.v20210413
org.eclipse.jetty	jetty-webapp	9.4.40.v20210413
org.eclipse.jetty	jetty-xml	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-api	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-client	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket – společné	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-server	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-servlet	9.4.40.v20210413
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jaxb	jaxb-runtime	2.3.2
org.glassfish.jersey.containers	jersey-container-servlet	2.34
org.glassfish.jersey.containers	jersey-container-servlet-core	2.34
org.glassfish.jersey.core	jersey-client	2.34
org.glassfish.jersey.core	žerzejové společné	2.34
org.glassfish.jersey.core	jersey-server	2.34
org.glassfish.jersey.inject	jersey-hk2	2.34
org.hibernate.validator	Hibernate-validator	6.1.0.Final
org.javassist	Javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	anotace	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.2.19
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	Podložky	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.14
org.scala-lang	scala-library_2.12	2.12.14
org.scala-lang	scala-reflect_2.12	2.12.14
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	nepoužitý	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.8
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	kočky-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	makro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1