Sdílet prostřednictvím

Databricks Runtime 11.0 (EoS)

  • Článek

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 11.0, který využívá Apache Spark 3.3.0. Databricks vydala tuto verzi v červnu 2022.

Nové funkce a vylepšení

Nová verze Apache Sparku

Databricks Runtime 11.0 a Databricks Runtime 11.0 Photon zahrnují Apache Spark 3.3.0. Podrobnosti najdete v Apache Sparku.

Poznámkové bloky Pythonu teď používají jádro IPython

V Databricks Runtime 11.0 a novějších používají poznámkové bloky Pythonu jádro IPython ke spuštění kódu Pythonu. Viz jádro IPython.

Podpora pro ipywidgets

Teď můžete použít nástroje ipywidgets k interaktivnímu poznámkovému bloku Pythonu Databricks. Viz ipywidgets.

Konektor Synapse teď zapisuje data Parquet v režimu, který není starší.

Konektor Azure Synapse teď zapisuje data Parquet v režimu, který není starší. Zachová formát časového razítka INT96 při použití PolyBase a COPY příkazů pro dávkové i streamované úlohy.

Schéma HTTPS se teď vynucuje, když klient ABFS používá token SAS.

Když klient systému souborů Azure Blob (ABFS) používá token sdíleného přístupového podpisu (SAS), schéma HTTPS se teď vynucuje.

SQL: DESC je teď aliasem pro DESCRIBE

Teď můžete použít DESC jako alias pro DESCRIBE popis externích umístění nebo přihlašovacích údajů úložiště. Příklad:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Podrobnosti o verzi nového current_version výstupu funkce

Nová current_version funkce vypíše aktuální verzi Databricks Runtime, pokud je k dispozici, aktuální verzi SQL Databricks, pokud je k dispozici, a další podrobnosti související verze. Tato nová funkce slouží k dotazování informací souvisejících s verzí. Viz current_version funkce.

Vyřazení chybějícího omezení tabulky Delta teď vyvolá chybu.

Pokud se teď pokusíte odstranit omezení tabulky Delta podle názvu a toto omezení neexistuje, zobrazí se chyba. Pokud chcete získat předchozí chování, které nevyvolá chybu, pokud omezení neexistuje, musíte nyní použít IF EXISTS příkaz. Viz ALTER TABLE.

SQL: Nová EXCEPT klauzule v SELECT příkazu vylučuje sloupce z výběru.

SELECT příkazy teď podporují klauzuli EXCEPT pro vyloučení sloupců z výběru. Například SELECT * EXCEPT (x) FROM table vrátí všechny tablesloupce s výjimkou x. Také jsou povoleny vnořené sloupce. Například SELECT * EXCEPT (x.a) FROM table vrátí všechny tablesloupce 's, ale vynechá pole a ze struktury x.

Podpora vyřazení sloupců v tabulkách Delta (Public Preview)

Sloupec nebo seznam sloupců můžete použít ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> nebo ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) vypustit z tabulky Delta jako operaci pouze metadat. Sloupce jsou efektivně "obnovitelné odstranění", protože jsou stále v podkladových souborech Parquet, ale už nejsou viditelné pro tabulku Delta.

Můžete použít REORG TABLE <table-name> APPLY (PURGE) k aktivaci přepsání souboru u souborů, které obsahují všechna obnovitelně odstraněná data, jako jsou vyřazené sloupce.

Můžete použít VACUUM k odebrání odstraněných souborů z fyzického úložiště, včetně starých souborů, které obsahují vynechané sloupce a byly přepsány REORG TABLE.

COPY INTO vylepšení

Teď můžete vytvořit prázdné zástupné tabulky Delta, aby se schéma později odvodilo během COPY INTO příkazu:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Předchozí příkaz SQL je idempotentní a je možné ho naplánovat tak, aby se data ingestovali přesně jednou do tabulky Delta.

Poznámka:

Prázdná tabulka Delta není použitelná mimo COPY INTO. Data nelze použít INSERT INTO a MERGE INTO zapisovat do tabulek Delta bez schématu. Po vložení dat do tabulky s COPY INTOtabulkou je možné ji dotazovat.

Pokud data, která ingestujete, nelze přečíst kvůli nějakému problému s poškozením, můžete poškozené soubory přeskočit nastavením ignoreCorruptFiles v true části FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Příkaz COPY INTO vrátí počet souborů, které byly vynechány kvůli poškození ve num_skipped_corrupt_files sloupci. Tato metrika se také zobrazí ve sloupci pod operationMetrics numSkippedCorruptFiles po spuštění DESCRIBE HISTORY v tabulce Delta.

Poškozené soubory nejsou sledovány COPY INTO, takže je lze znovu načíst v následném spuštění, pokud je poškození opraveno. Můžete zjistit, které soubory jsou poškozené spuštěním COPY INTO v VALIDATE režimu.

CONVERT TO DELTA je nyní podporován v prostředích s podporou katalogu Unity (Public Preview)

V prostředích CONVERT TO DELTA s podporou katalogu Unity teď můžete:

  • Převeďte soubory Parquet v externích umístěních na Delta Lake.
  • Převeďte externí tabulky Parquet na tabulky Delta.

Změny chování

SQL: lpad Funkce rpad teď podporují sekvence bajtů.

Funkce lpad a rpad byly aktualizovány tak, aby kromě řetězců přidaly podporu pro sekvence bajtů.

Formát řetězce v format_string a printf už neumožňuje %0$

Když zadáte formát ve funkcích %0$ format_string , printf zobrazí se ve výchozím nastavení chyba. Tato změna spočívá v zachování očekávaného chování v předchozích verzích databricks Runtime a běžných databází třetích stran. První argument by měl vždy odkazovat %1$ , když použijete index argumentu k označení pozice argumentu v seznamu argumentů.

Hodnoty null v souborech CSV se teď ve výchozím nastavení zapisují jako necitované prázdné řetězce.

Hodnoty null v souborech CSV byly dříve zapsány jako uvozované prázdné řetězce. V této verzi se hodnoty null v souborech CSV teď ve výchozím nastavení zapisují jako necitované prázdné řetězce. Pokud chcete změnit zpět na předchozí chování, nastavte možnost "" pro operace zápisunullValue.

Vlastnost external table je teď vyhrazená.

Vlastnost external je teď ve výchozím nastavení rezervovanou vlastností tabulky. Výjimky jsou nyní vyvolány při použití external vlastnosti s CREATE TABLE ... TBLPROPERTIES klauzulemi a ALTER TABLE ... SET TBLPROPERTIES klauzulemi.

Protokol 4j se upgraduje z Log4j 1 na Log4j 2.

Protokol 4j 1 se upgraduje na Log4j 2. Starší závislosti Log4j 1 se odebírají.

Pokud závisíte na třídách Log4j 1, které byly dříve zahrnuty do databricks Runtime, tyto třídy již neexistují. Závislosti byste měli upgradovat na Log4j 2.

Pokud máte vlastní moduly plug-in nebo konfigurační soubory, které závisí na log4j 2, nemusí už v této verzi fungovat s verzí Log4j 2. Pokud potřebujete pomoc, obraťte se na svůj tým účtů Azure Databricks.

Knihovny nainstalované z Mavenu se teď ve výchozím nastavení přeloží ve výpočetní rovině.

Knihovny Maven se teď ve výchozím nastavení přeloží ve výpočetní rovině při instalaci knihoven do clusteru. Cluster musí mít přístup k Centru Mavenu. Případně se můžete vrátit k předchozímu chování nastavením vlastnosti konfigurace Sparku:

spark.databricks.libraries.enableMavenResolution false

Opravy chyb

  • Byla opravena binární kompatibilita pro LeafNodeApache UnaryNodeSpark a BinaryNode Databricks Runtime a třídy jsou nyní kompatibilní s Apache Sparkem 3.3.0 a novějším. Pokud při použití balíčku třetí strany s modulem Databricks Runtime narazíte na následující nebo podobnou zprávu, znovu sestavte balíček pomocí Apache Sparku 3.3.0 nebo vyšší: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • platformdirs from 2.5.1 to 2.5.2
    • protobuf od 3.20.0 do 3.20.1
  • Upgradované knihovny jazyka R:
    • objekt blob od 1.2.2 do 1.2.3
    • koště od 0.7.12 do 0.8.0
    • stříšku od 6.0-91 do 6.0-92
    • cli od 3.2.0 do 3.3.0
    • dplyr od 1.0.8 do 1.0.9
    • budoucí od 1.24.0 do 1.25.0
    • future.apply from 1.8.1 to 1.9.0
    • gert od 1.5.0 do 1.6.0
    • ggplot2 od 3.3.5 do 3.3.6
    • glmnet od 4.1-3 do 4.1-4
    • haven from 2.4.3 to 2.5.0
    • httr od 1.4.2 do 1.4.3
    • pletení od 1,38 do 1,39
    • magrittr od 2.0.2 do 2.0.3
    • paralelně od 1.30.0 do 1.31.1
    • ps od 1.6.0 do 1.7.0
    • RColorBrewer od 1.1-2 do 1.1-3
    • RcppEigen od 0.3.3.9.1 do 0.3.3.9.2
    • readxl od 1.3.1 do 1.4.0
    • rmarkdown od 2.13 do 2.14
    • rprojroot od 2.0.2 do 2.0.3
    • RSQLite od 2.2.11 do 2.2.13
    • škálování od 1.1.1 do 1.2.0
    • test ze 3.1.2 do 3.1.4
    • tibble od 3.1.6 do 3.1.7
    • tinytex od 0,37 do 0,38
    • tzdb od 0.2.0 do 0.3.0
    • uuid od 1.0-4 do 1.1-0
    • vctrs od 0.3.8 do 0.4.1
  • Upgradované knihovny Java:
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.0 to 2.13.3
    • com.fasterxml.jackson.core.jackson-core od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-databind od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 od 2.13.0 do 2.13.3
    • com.google.crypto.tink.tink od 1.6.0 do 1.6.1
    • com.ning.compress-lzf od 1.0.3 do 1.1
    • dev.ludovic.netlib.arpack od 2.2.0 do 2.2.1
    • dev.ludovic.netlib.blas od 2.2.0 do 2.2.1
    • dev.ludovic.netlib.lapack od 2.2.0 do 2.2.1
    • io.netty.netty-all od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-buffer od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-codec od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-common od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-obslužná rutina od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-resolver od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-tcnative-classes from 2.0.46.Final až 2.0.48.Final
    • io.netty.netty-transport od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-classes-epoll od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-unix-common od 4.1.73.Final do 4.1.74.Final
    • joda-time.joda-time od 2.10.12 do 2.10.13
    • org.apache.commons.commons-math3 od 3.4.1 do 3.6.1
    • org.apache.httpcomponents.httpcore od 4.4.12 do 4.4.14
    • org.apache.orc.orc-core od 1.7.3 do 1.7.4
    • org.apache.orc.orc-mapreduce od 1.7.3 do 1.7.4
    • org.apache.orc.orc-shims od 1.7.3 do 1.7.4
    • org.eclipse.jetty.jetty-client od 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-pokračování od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io od 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-jndi od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus od 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-proxy od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server od 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-servlet od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client od 2.2.5 do 2.7.4
    • org.postgresql.postgresql od 42.2.19 do 42.3.3
    • org.roaringbitmap.RoaringBitmap od 0.9.23 do 0.9.25
    • org.roaringbitmap.shims od 0.9.23 do 0.9.25
    • org.rocksdb.rocksdbjni od 6.20.3 do 6.24.2
    • org.slf4j.jcl-over-slf4j od 1.7.32 do 1.7.36
    • org.slf4j.jul-to-slf4j od 1.7.32 do 1.7.36
    • org.slf4j.slf4j-api od 1.7.30 do 1.7.36

Apache Spark

Databricks Runtime 11.0 zahrnuje Apache Spark 3.3.0.

V této části:

Spark SQL a Core

Režim ANSI

  • Nová explicitní pravidla syntaxe přetypování v režimu ANSI (SPARK-33354)
  • Elt() by měla vrátit hodnotu null, pokud má index hodnotu null v režimu ANSI (SPARK-38304).
  • Volitelně vrátí výsledek null, pokud prvek v poli nebo mapě neexistuje (SPARK-37750)
  • Povolit přetypování mezi číselným typem a typem časového razítka (SPARK-37714)
  • Zakázání vyhrazených klíčových slov ANSI ve výchozím nastavení (SPARK-37724)
  • Použití pravidel přiřazení úložiště k překladu volání funkce (SPARK-37438)
  • Přidání konfigurace pro povolení přetypování mezi datem a číselným datem (SPARK-37179)
  • Přidání konfigurace pro volitelné vynucení vyhrazených klíčových slov ANSI (SPARK-37133)
  • Zakázat binární operace mezi intervalem a řetězcovým literálem (SPARK-36508)

Vylepšení funkcí

  • Podpora typů INTERVALŮ SQL ANSI (SPARK-27790)
  • Vylepšení chybových zpráv (SPARK-38781)
  • Podpora skrytých metadat souborů pro Spark SQL (SPARK-37273)
  • Podpora řetězcového literálu nezpracovaného řetězce (SPARK-36371)
  • Pomocná třída pro batch Dataset.observe() (SPARK-34806)
  • Podpora zadání počátečního čísla oddílu pro obnovení rovnováhy (SPARK-38410)
  • Podpora kaskádového režimu pro dropNamespace rozhraní API (SPARK-37929)
  • Povolit přiřazení úložiště a implicitní přetypování mezi typy data a času (SPARK-37707)
  • Shromažďování, první a poslední by měly být deterministické agregační funkce (SPARK-32940)
  • Přidání ExpressionBuilderu pro funkce s komplexními přetíženími (SPARK-37164)
  • Přidání podpory pole do sjednocení podle názvu (SPARK-36546)
  • Přidání df.withMetadata: syntaxe cukru pro aktualizaci metadat datového rámce (SPARK-36642)
  • Podpora řetězcového literálu nezpracovaného řetězce (SPARK-36371)
  • Použití funkce CAST při analýze kalendářních dat a časových razítek s výchozím vzorem (SPARK-36418)
  • Podpora hodnotové třídy ve vnořeném schématu pro datovou sadu (SPARK-20384)
  • Přidání podpory syntaxe AS OF (SPARK-37219)
  • Přidání opakovatelného souboru v tabulce TABLESAMPLE k určení počátečního data (SPARK-37165)
  • Přidání syntaxe set catalog xxx ansi pro změnu aktuálního katalogu (SPARK-36841)
  • Podpora ILIKE (ALL | ANY | SOME) – nerozlišující malá a velká písmena LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Fáze dotazu podpory zobrazuje statistiky modulu runtime v režimu vysvětlení ve formátu (SPARK-38322)
  • Přidání metrik velikosti přelití pro slučování řazení (SPARK-37726)
  • Aktualizace syntaxe SQL funkcí SHOW (SPARK-37777)
  • Podpora SYNTAXE DROP COLUMN [IF EXISTS] (SPARK-38939)
  • Nové integrované funkce a jejich rozšíření (SPARK-38783)

Vylepšení výkonu

  • Generování kódu celé fáze
    • Přidání agregace řazení podle kódu bez seskupovacích klíčů (SPARK-37564)
    • Přidání kódu Gen pro úplné spojení sloučení vnějšího řazení (SPARK-35352)
    • Přidání kódu Gen pro úplné vnější náhodné spojení hash (SPARK-32567)
    • Přidání kódu genu pro sloučení sloučení existence (SPARK-37316)
  • Posun dolů (filtry)
    • Nasdílení filtrů dolů prostřednictvím rebalancePartitions (SPARK-37828)
    • Nasdílení filtru logických sloupců dolů (SPARK-36644)
    • Pokud je podmínka spojení prázdná (SPARK-37917) pro pravou stranu levého polo-anti join limitu 1
    • Překlad standardních agregačních funkcí pro odsdílení změn (SPARK-37527)
    • Podpora šíření prázdné relace prostřednictvím agregace/sjednocení (SPARK-35442)
    • Filtrování modulu runtime na úrovni řádků (SPARK-32268)
    • Podpora levého spojení Semi v filtrech modulu runtime na úrovni řádků (SPARK-38565)
    • Podpora vyřazení predikátu a vyřazení sloupců pro vyřazení zdvojené CTE (SPARK-37670)
  • Vektorizace
    • Implementace ConstantColumnVectoru a zlepšení výkonu skrytých metadat souborů (SPARK-37896)
    • Povolení vektorizovaného čtení pro VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Kombinování, odebrání nebo nahrazení uzlů
    • Kombinování sjednocení, pokud mezi nimi existuje projekt (SPARK-37915)
    • Sloučit na jedno přetypování, pokud můžeme bezpečně přetypovat dvě přetypování (SPARK-37922)
    • Odeberte řazení, pokud se jedná o podřízenou položku RepartitionByExpression (SPARK-36703).
    • Odebere vnější spojení, pokud má na streamované straně pouze DISTINCT s aliasem (SPARK-37292).
    • Nahrazení hodnoty hash agregací řazení, pokud už je podřízené řazení (SPARK-37455)
    • Sbalit projekty jenom v případě, že nezdvojíme nákladné výrazy (SPARK-36718)
    • Odebrání redundantních aliasů po přepsáníPredicateSubquery (SPARK-36280)
    • Sloučení nesouvisených skalárních poddotazů (SPARK-34079)
  • Rozkládání
    • Nepřidávejte dynamické vyřazení oddílů, pokud existuje vyřazení statického oddílu (SPARK-38148)
    • Vylepšení vyvážení částí v pravidlech optimalizátoru (SPARK-37904)
    • Přidání malého faktoru oddílu pro rebalance oddílů (SPARK-37357)
  • Připojit
    • Vyladění logiky pro snížení úrovně spojení hash všesměrového vysílání v DynamicJoinSelection (SPARK-37753)
    • Ignorovat duplicitní klíče spojení při vytváření relace pro semi/ANTI náhodné spojení hash (SPARK-36794)
    • Podpora optimalizace nerovnoměrného spojení i v případě, že zavádíte nadbytečné náhodné prohazy (SPARK-33832)
  • AQE
    • Podpora eliminuje limity v optimalizátoru AQE (SPARK-36424)
    • Optimalizace jednoho plánu řádků v normálním režimu a optimalizátoru AQE (SPARK-38162)
  • Aggregate.groupOnly podporuje skládací výrazy (SPARK-38489)
  • ByteArrayMethods arrayEquals by měl rychle přeskočit kontrolu zarovnání s nezarovnanou platformou (SPARK-37796)
  • Přidání vyřazování vzoru stromu do pravidla CTESubstitution (SPARK-37379)
  • Přidání dalších zjednodušení operátoru Not (SPARK-36665)
  • Podpora typu BooleanType v UnwrapCastInBinaryComparison (SPARK-36607)
  • Funkce Coalesce ukončí všechny výrazy za prvním nenulovatelným výrazem (SPARK-36359)
  • Přidání návštěvníka logického plánu pro šíření jedinečných atributů (SPARK-36194)

Integrovaná vylepšení konektoru

  • Obecné
    • Lenient serializace datetime ze zdroje dat (SPARK-38437)
    • Umístění tabulky považuje za absolutní, když je první písmeno cesty lomítko v tabulce create/alter (SPARK-38236)
    • Odebrání úvodních nul z prázdného oddílu statického typu čísla (SPARK-35561)
    • Podpora ignoreCorruptFiles a ignoreMissingFiles možnosti zdroje dat (SPARK-38767)
    • Příkaz SHOW CATALOGS Přidat (SPARK-35973)
  • Parkety
    • Povolení odpovídajících názvů sloupců schématu podle ID polí (SPARK-38094)
    • Odebrání názvu zaškrtávacího pole při čtení a zápisu dat v parquetu (SPARK-27442)
    • Podporované vektorizované logické hodnoty čtení používají kódování RLE s Parquet DataPage V2 (SPARK-37864)
    • Podpora kódování datových stránek Parquet v2 (DELTA_BINARY_PACKED) pro vektorizovanou cestu (SPARK-36879)
    • Změna časových razítek v časovém pásmu relace uloženém v metadatech Parquet/Avro (SPARK-37705)
    • Odeslání skupiny dolů podle sloupce oddílu pro agregaci (SPARK-36646)
    • Agregace (Min/Max/Count) pro Parquet (SPARK-36645)
    • Parquet: Povolení odpovídajících sloupců schématu podle ID pole (SPARK-38094)
    • Zmenšení výchozí velikosti stránky LONG_ARRAY_OFFSET, pokud se používají G1GC a ON_HEAP (SPARK-37593)
    • Implementace vektorizovaných kódování DELTA_BYTE_ARRAY a DELTA_LENGTH_BYTE_ARRAY pro podporu Parquet V2 (SPARK-37974)
    • Podpora složitých typů pro vektorizovanou čtečku Parquet (SPARK-34863)
  • ORC
    • Odebrání názvu zaškrtávacího pole při čtení a zápisu existujících dat v Orc (SPARK-37965)
    • Agregační posun pro ORC (SPARK-34960)
    • Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat ORC (SPARK-36931)
    • Podpora názvů sloupců jen pro čísla ve zdrojích dat ORC (SPARK-36663)
  • JSON
    • Respektovat allowNonNumericNumbers při analýze hodnot NaN a Infinity ve čtečce JSON (SPARK-38060)
    • Použití funkce CAST pro datum a čas ve formátu CSV/JSON ve výchozím nastavení (SPARK-36536)
    • Zarovnání chybové zprávy pro nepodporované typy klíčů v MapType ve čtečce Json (SPARK-35320)
  • CSV
    • Oprava odkazu na poškozený sloupec záznamu ze souboru CSV (SPARK-38534)
    • Hodnoty null by měly být uloženy jako nic místo prázdných řetězců "" ve výchozím nastavení (SPARK-37575).
  • JDBC
    • Přidání příkazu IMMEDIATE do implementace dialektu DB2 truncate (SPARK-30062)
  • Úl
    • Podpora zápisu tabulky s kontejnery Hive (formáty souborů Hive s hodnotou hash Hive) (SPARK-32712)
    • Použití výrazů k filtrování oddílů Hive na straně klienta (SPARK-35437)
    • Podpora dynamického vyřazení oddílů pro HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir by měl použít zdroj dat, pokud je konvertibilní (SPARK-38215)
    • Podpora zápisu tabulky s kontejnery Hive (formát Parquet/ORC s hodnotou hash Hive) (SPARK-32709)

Vyřazení uzlu z provozu

  • Náhradní služba by se neměla pokoušet přeložit libovolný "vzdálený" název hostitele (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved by měl zpracovat ExecutorDecommission jako dokončený (SPARK-38023)

Další velmi vhodné změny

  • Přidání jemně odstupňovaného uzamčení do BlockInfoManageru (SPARK-37356)
  • Podpora mapování typů prostředků Gpu/fpga Sparku na vlastní typ prostředku YARN (SPARK-37208)
  • Oznamte přesnou velikost bloku náhodného prohazu, pokud je zašikmený (SPARK-36967)
  • Podpora protokolování Netty v síťové vrstvě (SPARK-36719)

Strukturované streamování

Hlavní funkce

  • Zavedení Trigger.AvailableNow pro spouštění streamovaných dotazů, jako je Trigger.Once v několika dávkách (SPARK-36533)

Další velmi vhodné změny

  • Použití StatefulOpClusteredDistribution pro stavové operátory s ohledem na zpětnou kompatibilitu (SPARK-38204)
  • Oprava časového limitu flatMapGroupsWithState v dávce s daty pro klíč (SPARK-38320)
  • Oprava problému správnosti u vnějšího spojení streamu streamu se zprostředkovatelem úložiště stavů RocksDB (SPARK-38684)
  • Podpora Trigger.AvailableNow ve zdroji dat Kafka (SPARK-36649)
  • Optimalizace cesty zápisu u poskytovatele úložiště stavů RocksDB (SPARK-37224)
  • Zavedení nového zdroje dat pro zajištění konzistentní sady řádků na mikrobatch (SPARK-37062)
  • Použití hashClusteredDistribution pro stavové operátory s ohledem na zpětnou kompatibilitu (SPARK-38204)

PySpark

Rozhraní Pandas API ve Sparku

Hlavní vylepšení
  • Optimalizace indexu distribuované sekvence s výchozím nastavením (SPARK-36559, SPARK-36338)
    • Podpora zadání typu a názvu indexu v rozhraní PANDAS API ve Sparku (SPARK-36709)
    • Zobrazení výchozího typu indexu v plánech SQL pro rozhraní PANDAS API ve Sparku (SPARK-38654)
Hlavní funkce
  • Implementace nativního ps.merge_asof SparkSQL (SPARK-36813)
  • Podpora TimedeltaIndex v rozhraní PANDAS API ve Sparku (SPARK-37525)
  • Podpora časovače Pythonu (SPARK-37275, SPARK-37510)
  • Implementace funkcí v CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Používá standardní formátovací modul řetězců Pythonu pro rozhraní SQL API v knihovně pandas API ve Sparku (SPARK-37436).
  • Podpora základních operací řady timedelta / indexu (SPARK-37510)
  • Podpora ps. MultiIndex.dtypes (SPARK-36930)
  • Implementace index.map (SPARK-36469)
  • Implementujte řadu.xor a řada.rxor (SPARK-36653)
  • Implementace unárního operátoru invert integrálního ps. Řada/index (SPARK-36003)
  • Implementace prvku DataFrame.cov (SPARK-36396)
  • Podpora str a časového razítka pro (řady|Datový rámec).describe() (SPARK-37657)
  • Podpora parametru lambda column (DataFrame.renameSPARK-38763)

Další velmi vhodné změny

Změny způsobující chyby
  • Odkazy na podporu Pythonu 3.6 v dokumentaci a pythonu/docs (SPARK-36977)
  • Odebrání pojmenovaného hack nahrazením integrovaného picklu na cloudpickle (SPARK-32079)
  • Minimální verze pandas na verzi 1.0.5 (SPARK-37465)
  • Hlavní vylepšení
    • Zadejte profiler pro uživatelem definované funkce Pythonu nebo Pandas (SPARK-37443)
    • Používá standardní formátovací modul řetězců Pythonu pro rozhraní SQL API v PySparku (SPARK-37516).
    • Zveřejnění stavu SQL a třídy chyb v výjimkách PySpark (SPARK-36953)
    • Pokuste se zachytit chybovýhanlder při chybovém ukončení pracovního procesu Pythonu (SPARK-36062)
Hlavní funkce
  • Implementace DataFrame.mapInArrow v Pythonu (SPARK-37228)
  • Používá standardní formátovací modul řetězců Pythonu pro rozhraní SQL API v PySparku (SPARK-37516).
  • Přidání rozhraní df.withMetadata pyspark API (SPARK-36642)
  • Podpora časovače Pythonu (SPARK-37275)
  • Zveřejnění tableExists v pyspark.sql.catalog (SPARK-36176)
  • Zveřejnění databaseExists v pyspark.sql.catalog (SPARK-36207)
  • Vystavení functionExists v katalogu pyspark sql (SPARK-36258)
  • Přidání dataframe.observation do PySparku (SPARK-36263)
  • Přidání rozhraní API max_by/min_by do PySparku (SPARK-36972)
  • Podpora odvození vnořeného diktování jako struktury při vytváření datového rámce (SPARK-35929)
  • Přidání bitových/octet_length rozhraní API do Scala, Pythonu a R (SPARK-36751)
  • Podpora rozhraní API ILIKE v Pythonu (SPARK-36882)
  • Přidání metody isEmpty pro rozhraní API datového rámce Pythonu (SPARK-37207)
  • Přidání více sloupců s podporou (SPARK-35173)
  • Přidání SparkContext.addArchive v PySparku (SPARK-38278)
  • Nastavit, aby reprs reprs eval-able (SPARK-18621)
  • Nápovědy k vloženým typům pro fpm.py v python/pyspark/mllib (SPARK-37396)
  • Implementace dropna parametru SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Hlavní funkce

  • Přidání parametru distanceMeasure pro trainKMeansModel (SPARK-37118)
  • Zveřejnění LogisticRegression.setInitialModel, jako je KMeans et al do (SPARK-36481)
  • Podpora modelu CrossValidatorModel získá směrodatnou odchylku metrik pro každou mapu paramMap (SPARK-36425)

Hlavní vylepšení

  • Optimalizace některých treeAggregates v MLlib zpožděním přidělení (SPARK-35848)
  • Přepsání _shared_params_code_gen.py na inline type hints for ml/param/shared.py (SPARK-37419)

Další velmi vhodné změny

SparkR

  • Migrace dokumentů SparkR do pkgdownu (SPARK-37474)
  • Zveřejnění výrazu make_date v R (SPARK-37108)
  • Přidání rozhraní API max_by/min_by do SparkR (SPARK-36976)
  • Podpora rozhraní ILIKE API v R (SPARK-36899)
  • Přidání sec a csc jako funkcí R (SPARK-36824)
  • Přidání bitových/octet_length rozhraní API do Scala, Pythonu a R (SPARK-36751)
  • Přidání postýlky jako funkce R (SPARK-36688)

Uživatelské rozhraní

  • Souhrn metrik spekulací na úrovni fáze (SPARK-36038)
  • Sjednocená doba čtení bloku náhodného náhodného náhodného prohazování čtení při načítání čekací doby ve StagePage (SPARK-37469)
  • Přidání upravených konfigurací pro spouštění SQL v uživatelském rozhraní (SPARK-34735)
  • Rozpoznávání thriftServeru spark.sql.redaction.string.regex (SPARK-36400)
  • Připojení a spuštění obslužné rutiny po spuštění aplikace v uživatelském rozhraní (SPARK-36237)
  • Přidání doby trvání potvrzení do uzlu grafu na kartě SQL (SPARK-34399)
  • Podpora back-endu RocksDB na serveru historie Sparku (SPARK-37680)
  • Zobrazení možností rozhraní Pandas API ve Sparku v uživatelském rozhraní (SPARK-38656)
  • Přejmenování SQL na SQL / Datový rámec na stránce uživatelského rozhraní SQL (SPARK-38657)

Sestavení

Aktualizace údržby

Viz Databricks Runtime 11.0 (EoS)

Prostředí systému

  • Operační systém: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bělit 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cyklista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 ladění 1.4.1 dekoratér 5.1.0
defusedxml 0.7.1 distlib 0.3.4 informace o distribuci 0.23ubuntu1
vstupní body 0.3 přehled omezujících vlastností 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 verizonsolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
špatně zamyšlení 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 poznámkový blok 6.4.5
numpy 1.20.3 balení 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 bábovka 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Polštář 8.4.0
jádro 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 žádosti 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 Šest 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 houževnatost 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornádo 6.1
vlastnosti 5.1.0 bezobslužné upgrady 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
kolo 0.37.0 widgetsnbextension 3.6.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN na 2022-05-06.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 backporty 1.4.1
base 4.1.3 base64enc 0.1-3 bitové 4.0.4
bit64 4.0.5 blob 1.2.3 startování 1.3-28
vařit 1.0-7 verva 1.1.3 koště 0.8.0
bslib 0.3.1 cachem 1.0.6 volající 3.7.0
caret 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 Rozhraní příkazového řádku 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 barevný prostor 2.0-3
commonmark 1.8.0 – kompilátor 4.1.3 config 0.3.1
cpp11 0.4.2 pastelka 1.5.1 přihlašovací údaje 1.3.2
kudrna 4.3.2 data.table 1.14.2 Power BI 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 trávit 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
tři tečky 0.3.2 evaluate 0.15 fanynky 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 zahraniční 0.8-82
kovat 0.2.0 Fs 1.5.2 budoucnost 1.25.0
future.apply 1.9.0 kloktadlo 1.2.0 Generik 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globálních objektů 0.14.0
lepidlo 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 Grafika 4.1.3 grDevices 4.1.3
mřížka 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 bezpečnostní přilba 0.2.0 útočiště 2.5.0
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
Id 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 pletení 1.39
značení 0.4.2 později 1.3.0 mříž 0.20-45
láva 1.6.10 lifecycle 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 sleva 1,1
MŠE 7.3-56 Matice 1.4-1 memoise 2.0.1
metody 4.1.3 mgcv 1.8-40 mim 0.12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 paralelně 1.31.1
pilíř 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
chválit 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 Průběh 1.2.2
progressr 0.10.0 sliby 1.2.0.1 proto 1.0.0
plná moc 0.4-26 PS 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 Analýza rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recepty 0.2.0 odvetný zápas 1.0.1
rematch2 2.1.2 vzdálená zařízení 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
drzá napodobenina 0.4.1 váhy 1.2.0 selektor 0.4-2
sessioninfo 1.2.2 tvar 1.4.6 lesklý 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
prostorový 7.3-11 spline křivky 4.1.3 sqldf 0.4-11
ČTVEREC 2021.1 statistické údaje 4.1.3 Statistiky 4 4.1.3
stringi 1.7.6 stringr 1.4.0 přežití 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 Uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
Waldo 0.4.0 vous 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws podpora aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty- common 4.1.74.Final
io.netty obslužná rutina netty 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy břečťan 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet kódování parquet 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty pokračování jetty 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket – společné 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core žerzejové společné 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Podložky 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark nepoužitý 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1