Share via

Databricks Runtime 10.0 (nepodporované)

  • Článek

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.0 a Databricks Runtime 10.0 Photon s využitím Apache Sparku 3.2.0. Databricks vydala tyto image v říjnu 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

Nová verze Apache Sparku

Databricks Runtime 10.0 a Databricks Runtime 10.0 Photon zahrnují Apache Spark 3.2.0. Podrobnosti najdete v Apache Sparku.

Příkaz SELECT teď podporuje klauzuli QUALIFY pro filtrování výsledků funkce okna.

Příkaz SELECT teď podporuje klauzuli QUALIFY . QUALIFY lze použít k filtrování výsledků funkcí okna. Jedna nebo více funkcí okna musí být v SELECT seznamu nebo podmínce QUALIFY . Příklad:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Podpora clusteru pro JDK 11 (Public Preview)

Databricks teď poskytuje podporu clusteru pro Sadu Java Development Kit (JDK) 11.

Při vytváření clusteru můžete určit, že cluster používá sadu JDK 11 (pro ovladač i exekutor). Uděláte to tak, že do proměnných prostředí Sparku > s rozšířenými možnostmi> přidáte následující proměnnou prostředí:

JNAME=zulu11-ca-amd64

Automatický zavaděč teď zpracovává schémata jako s možnou hodnotou null.

Automatický zavaděč teď zpracovává všechna odvozená schémata a schémata poskytovaná uživatelem jako ve výchozím nastavení s možnou hodnotou null. Tím se vyhnete potenciálnímu poškození dat v případech, kdy data obsahují pole null pro sloupce, které nemají hodnotu null. Zavádí se nová konfigurace pro sledování tohoto chování . spark.databricks.cloudFiles.schema.forceNullable Ve výchozím nastavení tato konfigurace obsahuje nastavení , které spark.sql.streaming.fileSource.schema.forceNullableFileStreamSource v Apache Sparku používá a je ve výchozím nastavení nastaveno true .

Změny způsobující chyby

Zásadní změny pro všechny uživatele Spark SQL

  • Nová spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled konfigurace: při nastavení trueumožňuje podmnožinu korelovaných predikátů rovnosti při agregaci poddotazů. Výchozí nastavení je true.
  • Nová spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled konfigurace: při nastavení na truehodnotu , blokuje automatické generování aliasů při vytváření zobrazení. Výchozí nastavení je true.
  • Nová spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled konfigurace: pokud je nastavená hodnota true, zakáže CREATE TABLE AS SELECT se neprázdné umístění. Výchozí nastavení je true. Všimněte si, že pokud spark.sql.legacy.allowNonEmptyLocationInCTAS je tato konfigurace nastavena, truenemá žádný vliv a CREATE TABLE AS SELECT umístění, které není prázdné, je vždy povoleno.

Zásadní změny pro uživatele Spark SQL, kteří aktivují režim ANSI

Informace o režimu ANSI najdete v tématu Dodržování předpisů ANSI v Databricks Runtime.

  • Nová spark.databricks.behaviorChange.SC83587NextDayDOW.enabled konfigurace: pokud je nastavena truehodnota , neplatný dayOfWeek argument funkce next_day vyvolá IllegalArgumentException v režimu ANSI; v opačném případě vrátí null. Výchozí nastavení je true.
  • Nová spark.databricks.behaviorChange.SC83796CanCast.enabled konfigurace: pokud je nastavená možnost true, povolí nová explicitní pravidla syntaxe přetypování v režimu ANSI. Výchozí nastavení je true.
  • Nová spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled konfigurace: při nastavení truena hodnotu , při přetypování řetězce do logické hodnoty vyvolá výjimka chyby analýzy; v opačném případě vrátí nullhodnotu . Výchozí nastavení je true.
  • Nová spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled konfigurace: při nastavení truefunkce abs vyvolá výjimku, pokud je vstup mimo rozsah. Výchozí nastavení je true.

Zásadní změny pro všechny uživatele Pythonu

  • Rozhraní Python API delta.tables.DeltaTable.convertToDelta teď vrací správný DeltaTable objekt Pythonu, který se dá použít ke spouštění příkazů Delta Lake. Dříve vrátil interní objekt, který nelze volat přímo.

Upgrady knihoven

Upgrade Apache Hadoop 3

  • Databricks Runtime 10.0 upgraduje závislost Hadoopu z Hadoopu 2.7.4 na Hadoop 3.3.1.

Změny chování

  • Hadoop 3 používá knihovnu hadoop-client-api a hadoop-client-runtime místo knihovny hadoop-common, která vysycuje určité závislosti třetích stran, které by se mohly použít ve veřejných rozhraních API nebo rozšířeních Hadoopu.
  • Možnosti konfigurace Hadoop 3 se od Systému Hadoop 2 změnily. Informace o možnostech Hadoopu 3.3.1 najdete v tématu core-default.xml.
  • Databricks aktualizoval některé z výchozích konfigurací pro Hadoop 3 tak, aby byly konzistentní s Hadoopem 2, aby se zajistilo, že konektory úložiště mají stejné výchozí nastavení ověřování a úrovně výkonu:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Konektor GCS (Google Cloud Storage) byl upgradován z verze 2.1.6 na 2.2.2.
  • Konektor Amazon Redshift teď používá s3a:// schéma. Schéma s3n:// je zastaralé.
  • Zpracovává názvy tříd OSS pro rozhraní API MetadataStore Amazon S3 kromě stínovaných tříd. To umožňuje zpracování konfigurací operačního systému bez nutnosti stínovaných názvů tříd.
    • Můžete například zadat org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore třídu v konfiguraci Hadoop.
  • Zpřístupňuje a sparkContext.hadoopConfiguration konzistentněnew Configuration().
    • Při každém vytvoření nové konfigurace Hadoopu bude konzistentní s předdefinovanou konfigurací Hadoopu v sparkContext.hadoopConfiguration prostředí Databricks Runtime, včetně schémat systému souborů a jejich výchozí konfigurace.
  • I když konektory úložiště Hadoop, které jsou součástí databricks Runtime, jsou plně kompatibilní s Hadoopem 3.3.1, není zaručeno, že jsou synchronizované s konektory OSS Hadoop 3.3.1 a můžou mít jiné chování.
    • Konektor Amazon S3 stále umožňuje (i když s upozorněním) ověřování user:secret v adresách URL S3 ve srovnání s HADOOP-14833 , které ho odebere.
  • globStatus nyní vždy vrací seřazené výsledky(HADOOP-10798)
  • Přidání fs.s3a.endpoint, pokud je oblast unset a fs.s3a.endpoint null(SPARK-35878)
    • Databricks poskytl automatické rozlišení oblasti Amazon S3 nemusí být v některých případech aktivováno kvůli nastavení globálního koncového bodu. Nejedná se o problém, protože sada AWS SDK správně vyřeší oblast.
  • Přidání fs.s3a.downgrade.syncable.exceptions, pokud není nastavená (SPARK-35868)
  • Kodeky LZ4 a Snappy nespoléhá na nativní knihovnu Hadoop (HADOOP-17125).

Známé problémy

  • Spark-36681 Použití snappyCodec k zápisu souboru sekvence selže s chybou UnsatisfiedLinkError kvůli známému problému v Hadoopu 3.3.1(HADOOP-17891)

Apache Spark

Databricks Runtime 10.0 zahrnuje Apache Spark 3.2.0.

V této části:

Nejzajímavější body

Core a Spark SQL

Vylepšení kompatibility ANSI SQL

  • Podpora typů INTERVALŮ SQL ANSI (SPARK-27790)
  • Nová pravidla syntaxe převodu typů v režimu ANSI(SPARK-34246)

Vylepšení výkonu

  • Optimalizace dotazů
    • Odebrání redundantních agregací v optimalizátoru (SPARK-33122)
    • Nasdílení limitu přes Project s využitím připojení (SPARK-34622)
    • Odhad kardinality operátoru sjednocení, řazení a rozsahu (SPARK-33411)
    • Podpora In/InSet predikátu UnwrapCastInBinaryComparison(SPARK-35316)
    • Zachování nezbytných statistik po vyřazení oddílů (SPARK-34119)
  • Provádění dotazů
    • Povolení fondu vyrovnávacích pamětí Zstandard ve výchozím nastavení (SPARK-34340, SPARK-34390)
    • Přidání genu kódu pro všechny typy spojení řazení sloučení (SPARK-34705)
    • Vylepšení spojení vnořené smyčky všesměrového vysílání (SPARK-34706)
    • Podpora dvou úrovní map hash pro konečnou agregaci hash (SPARK-35141)
    • Povolení souběžných zapisovačů pro zápis dynamických oddílů a tabulek kontejnerů (SPARK-26164)
    • Zvýšení výkonu FETCH_PRIOR zpracování v Thriftserveru (SPARK-33655)

vylepšení Připojení orů

  • Parketové
    • Upgrade Parquet na 1.12.1(SPARK-36726)
    • Čtení nepodepsaných typů parquet uložených jako fyzický typ int32 v parquet(SPARK-34817)
    • Čtení logického typu Bez znaménka Parquet int64 uloženého jako fyzický typ podepsaného int64 na desítkové číslo(20, 0)(SPARK-34786)
    • Vylepšení funkce Parquet In filter pushdown(SPARK-32792)
  • ORC
  • Avro
    • Upgrade Avro na verzi 1.10.2 (SPARK-34778)
    • Podpora vývoje schématu Avro pro dělené tabulky Hive s "avro.schema.literal"(SPARK-26836)
    • Přidánínovýchch
    • Přidání podpory adresy URL schématu poskytnutého uživatelem v Avro(SPARK-34416)
    • Přidání podpory pro porovnávání schématu positional Catalyst-to-Avro(SPARK-34365)
  • JSON
    • Upgrade Jacksona na verzi 2.12.3 (SPARK-35550)
    • Povolit zdrojům dat Json zapisovat znaky jiné než ascii jako body kódu (SPARK-35047)
  • JDBC
    • Výpočet přesnějšího kroku oddílu v JDBCRelation(SPARK-34843)
  • Metastore Hive podporuje filtr podle not-in (SPARK-34538)

Vylepšení funkcí

  • Poddotaz
  • Nové integrované funkce
  • Použití Apache Hadoopu 3.3.1 ve výchozím nastavení (SPARK-29250)
  • Přidání kontrolního součtu pro bloky náhodného prohazování (SPARK-35275)
  • Povolení spark.storage.replication.proaktivní ve výchozím nastavení (SPARK-33870)
  • Podpora náhradního čištění úložiště během zastavení SparkContext(SPARK-34142)
  • Podpora výčtů Java z rozhraní SCALA Dataset API(SPARK-23862)
  • ADD JAR se souřadnicemi ivy by měl být kompatibilní s tranzitivním chováním Hive (SPARK-34506)
  • Podpora příkazu ADD ARCHIVE AND LIST ARCHIVES (SPARK-34603)
  • Podpora více cest pro příkazy ADD FILE/JAR/ARCHIVE(SPARK-35105)
  • Podpora archivu souborů jako prostředků pro syntaxi CREATE FUNCTION USING (SPARK-35236)
  • Načítání SparkSessionExtensionExtension z ServiceLoader(SPARK-35380)
  • Přidání funkce vět do funkcí {scala,py} (SPARK-35418)
  • Použití spark.sql.hive.metastorePartitionPruning pro tabulky jiného typu než Hive, které používají metastor Hive pro správu oddílů (SPARK-36128)
  • Rozšíření důvodu ztráty exec do webového uživatelského rozhraní (SPARK-34764)
  • Vyhněte se inlineingu, který není deterministický with-CTEs(SPARK-36447)
  • Podpora analýzy všech tabulek v konkrétní databázi (SPARK-33687)
  • Standardizace zpráv výjimek ve Sparku (SPARK-33539)
  • Podpora (IGNOROVAT | RESPECT) NULLS for LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Další velmi vhodné změny

  • Sledování
    • Nové metriky pro ExternalShuffleService(SPARK-35258)
    • Přidání nových rozhraní REST API a parametrů na úrovni fáze (SPARK-26399)
    • Podpora distribuce metrik úloh a exekutorů v rozhraní REST API (SPARK-34488)
    • Přidání náhradních metrik pro agregaci hash (SPARK-35529)
  • Přidání count_distinct jako možnosti do datové sady#summary(SPARK-34165)
  • Implementace skriptuTransform v sql/core (SPARK-31936)
  • Nastavení časového limitu prezenčních signálů ovladače BlockManagerMaster (SPARK-34278)
  • Nastavení názvu služby pro náhodné prohazování konfigurovatelné na straně klienta a povolení přepsání konfigurace založené na cestě ke třídě na straně serveru (SPARK-34828)
  • ExecutorMetricsPoller by měl uchovávat položku fáze ve fáziTCMP, dokud nedojde k prezenčnímu signálu (SPARK-34779)
  • Replace if with filter clause in RewriteDistinctAggregates(SPARK-34882)
  • Oprava selhání při použití CostBasedJoinReorder u samoobslužného připojení (SPARK-34354)
  • FUNKCE CREATE TABLE LIKE by měla respektovat vlastnosti rezervované tabulky (SPARK-34935)
  • Odeslání souboru ivy Nastavení ovladači v režimu clusteru YARN (SPARK-34472)
  • Řešení duplicitních běžných sloupců z USING/NATURAL JOIN(SPARK-34527)
  • Skrytí vlastností interního zobrazení pro příkazy describe table cmd(SPARK-35318)
  • Podpora řešení chybějících attrů pro distribuci, cluster podle/repartition hint(SPARK-35331)
  • Ignorovat chybu při kontrole cesty v FileStreamSink.hasMetadata(SPARK-34526)
  • Vylepšení podpory potvrzení magic s3a odvozením chybějících konfigurací (SPARK-35383)
  • Povolit vynechání : v řetězci typu STRUCT (SPARK-35706)
  • Přidání nového operátoru pro rozlišení, jestli AQE dokáže bezpečně optimalizovat (SPARK-35786)
  • Připojte nová vnořená pole struktury místo řazení unionByName s vyplněním null(SPARK-35290)
  • ArraysZip by měl uchovávat názvy polí, aby se zabránilo opětovnému zápisu analyzátorem nebo optimalizátorem (SPARK-35876).
  • Jako název typu NullType (SPARK-36224) použijte Void.
  • Zavedení nového rozhraní API pro FileCommitProtocol umožňuje flexibilní pojmenování souborů (SPARK-33298)

Změny chování

Projděte si příručky k migraci jednotlivých komponent: Spark Core.

Strukturované streamování

Hlavní funkce

  • Relace na základě událostí (okno relace)(SPARK-10816)
  • Upgrade klienta Kafka na verzi 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow pro spouštění streamovaných dotazů, jako je Trigger.Once v několika dávkách v Scala(SPARK-36533)

Další velmi vhodné změny

  • Zavedení nové možnosti ve zdroji Kafka pro zadání minimálního počtu záznamů pro čtení na trigger (SPARK-35312)
  • Přidání nejnovějších posunů k průběhu zdroje (SPARK-33955)

PySpark

Projekt Zen

  • Rozhraní PANDAS API ve Sparku (SPARK-34849)
  • Selhání podpory pracovního procesu Pythonu (SPARK-36062)
  • Použití pravidla pojmenování hada napříč rozhraními API funkcí (SPARK-34306)
  • Povolení spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled ve výchozím nastavení (SPARK-35419)
  • Podpora odvození vnořeného diktování jako struktury při vytváření datového rámce (SPARK-35929)

Další velmi vhodné změny

  • Povolení režimu připnutého vlákna ve výchozím nastavení (SPARK-35303)
  • Přidání podpory typu NullType pro spouštění šipek (SPARK-33489)
  • Přidání podpory šipky self_destruct do toPandas (SPARK-32953)
  • Přidání rozhraní API cílového obálky vlákna pro pyspark pin režim vlákna (SPARK-35498)

Změny chování

Prohlédni si průvodce migrací.

MLlib

Zlepšení výkonu

  • Optimalizace transformace BucketedRandomProjectionLSH(SPARK-34220)
  • w2v findSynonyms optimization(SPARK-34189)
  • optimalizace řídké GEMM přeskočením kontroly vazby (SPARK-35707)
  • Zvýšení výkonu ML ALS recommendForAll by GEMV(SPARK-33518)

Vylepšení trénování modelů

  • Refaktoring logistického agregátoru – podpora virtuálního centeringu (SPARK-34797)
  • Binární logistická regrese s podporou průsečíku (SPARK-34858, SPARK-34448)
  • Multinomická logistická regrese s podporou průsečíku (SPARK-34860)

Vylepšení BLAS

  • Nahraďte plně com.github.fommil.netlib dev.ludovic.netlib:2.0(SPARK-35295)
  • Přidání vektorizované implementace BLAS (SPARK-33882)
  • Zrychlení záložního BLAS pomocí dev.ludovic.netlib(SPARK-35150)

Další velmi vhodné změny

  • Oprava potenciálního konfliktu sloupců transformace OVR (SPARK-34356)

Vyřazení a odebrání

  • Vyřazení spark.launcher.child Připojení ionTimeout(SPARK-33717)
  • deprecate GROUP BY ... SESKUPOVACÍ SADY (...) a zvýšení úrovně GROUP BY GROUPING SETS (...) (SPARK-34932)
  • Vyřazení rozhraní API ps.broadcast (SPARK-35810)
  • Vyřazení argumentu num_files (SPARK-35807)
  • Vyřazení DataFrame.to_spark_io(SPARK-35811)

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.0.

Prostředí systému

  • Operační systém: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 Certifi 2020.12.5
chardet 4.0.0 Cyklovač 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratér 5.0.6 distlib 0.3.3
informace o distribuci 0.23ubuntu1 přehled omezujících vlastností 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
verizonsolver 1.3.1 Koaly 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Polštář 8.2.0 Pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
žádosti 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 Šest 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 Houževnatost 8.0.1 threadpoolctl 2.1.0
Tornádo 6.1 vlastnosti 5.0.5 bezobslužné upgrady 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Kolo 0.36.2

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2021-09-21.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 Backports 1.2.1
base 4.1.1 base64enc 0.1-3 bitové 4.0.4
bit64 4.0.5 blob 1.2.2 startování 1.3-28
Vařit 1.0-6 Brio 1.1.2 Koště 0.7.9
bslib 0.3.0 cachem 1.0.6 volající 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 Rozhraní příkazového řádku 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 barevný prostor 2.0-2
commonmark 1,7 – kompilátor 4.1.1 config 0.3.1
cpp11 0.3.1 Pastelka 1.4.1 přihlašovací údaje 1.3.1
Curl 4.3.2 data.table 1.14.0 Power BI 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 Digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 tři tečky 0.3.2
evaluate 0,14 fanynky 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
Zahraniční 0.8-81 Forge 0.2.0 Fs 1.5.0
Budoucnosti 1.22.1 future.apply 1.8.1 Kloktadlo 1.2.0
Generik 0.1.0 Gert 1.4.1 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globals 0.14.0 Lepidlo 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 Grafika 4.1.1
grDevices 4.1.1 Mřížky 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Útočiště 2.4.3
highr 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Id 1.0.1
Ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iterátory 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 pletení 1.34 Označování 0.4.2
Později 1.3.0 Mříže 0.20-44 Láva 1.6.10
lifecycle 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1,1 MASS 7.3-54
Matice 1.3-4 memoise 2.0.0 metody 4.1.1
mgcv 1.8-37 Mime 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 paralelně 1.28.1 Pilíř 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 Chvála 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Průběh 1.2.2 progressr 0.8.0
Sliby 1.2.0.1 proto 1.0.0 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 Analýza rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recepty 0.1.16 Zápas 1.0.1
rematch2 2.1.2 vzdálená zařízení 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
Sass 0.4.0 Váhy 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 Obrazec 1.4.6 Lesklé 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
Prostorové 7.3-11 Křivky 4.1.1 sqldf 0.4-11
ČTVEREC 2021.1 Statistiky 4.1.1 Statistiky 4 4.1.1
stringi 1.7.4 stringr 1.4.0 Přežití 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
Uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 Waldo 0.3.1 vousa 0,4
withr 2.4.2 xfun 0.26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
Zip 2.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.kofein Kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet kódování parquet 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty pokračování jetty 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket – společné 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core žerzejové společné 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podložky 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Nepoužité 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel kočky-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1