Databricks Runtime 11.0 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 11.0, který využívá Apache Spark 3.3.0. Databricks vydala tuto verzi v červnu 2022.

Nové funkce a vylepšení

Nová verze Apache Sparku

Databricks Runtime 11.0 a Databricks Runtime 11.0 Photon zahrnují Apache Spark 3.3.0. Podrobnosti najdete v Apache Sparku.

Python poznámkové bloky teď používají jádro IPython

V Databricks Runtime 11.0 a vyšších používají poznámkové bloky Pythonu jádro IPython pro provádění Python kódu. Viz jádro IPythonu v poznámkových blocích Databricks.

Podpora pro ipywidgets

Teď můžete použít ipywidgets k interaktivnímu vytváření poznámkových bloků Databricks Python. Viz Použití ipywidgetů v poznámkových blocích Databricks.

Konektor Synapse teď zapisuje data Parquet v moderním režimu.

Konektor Azure Synapse nyní zapisuje data Parquet v moderním režimu. Zachová formát časového razítka INT96 při použití PolyBase a COPY příkazů pro dávkové i streamované úlohy.

Schéma HTTPS se teď vynucuje, když klient ABFS používá token SAS.

Když klient systému souborů ABFS (Azure Blob File System) používá token sdíleného přístupového podpisu (SAS), schéma HTTPS se teď vynucuje.

SQL: DESC je teď aliasem pro DESCRIBE

Teď můžete použít DESC jako alias pro DESCRIBE při popisu externích umístění nebo přihlašovacích údajů k úložišti. Například:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nová funkce current_version zobrazuje podrobnosti o verzi

Nová current_version funkce vypíše aktuální verzi Databricks Runtime, pokud je k dispozici, aktuální verzi Databricks SQL, pokud je k dispozici, a další související podrobnosti o verzích. Tato nová funkce slouží k dotazování informací souvisejících s verzí. Viz current_version funkce.

Vyřazení chybějícího omezení tabulky Delta teď vyvolá chybu.

Pokud se teď pokusíte odstranit omezení tabulky Delta podle názvu a toto omezení neexistuje, zobrazí se chyba. Pokud chcete získat předchozí chování, které nevyvolá chybu, pokud omezení neexistuje, musíte nyní použít příkaz IF EXISTS. Viz ALTER TABLE.

SQL: Nová klauzule EXCEPT v příkazu SELECT vylučuje sloupce z výběru.

SELECT příkazy teď podporují klauzuli EXCEPT, která vylučuje sloupce z výběru. Například SELECT * EXCEPT (x) FROM table vrátí všechny tablesloupce s výjimkou x. Také jsou povoleny vnořené sloupce. Například SELECT * EXCEPT (x.a) FROM table vrátí všechny sloupce z table, ale vynechá pole a z struktury x.

Podpora vyřazení sloupců v tabulkách Delta (Public Preview)

Pomocí ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> nebo ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) můžete odstranit sloupec nebo seznam sloupců z tabulky Delta pouze jako operaci na úrovni metadat. Sloupce jsou efektivně „dočasně odstraněné“, protože jsou stále v podkladových souborech Parquet, ale už nejsou viditelné v tabulce Delta.

Pomocí REORG TABLE <table-name> APPLY (PURGE) můžete aktivovat přepsání souboru u souborů, které obsahují všechna obnovitelně odstraněná data, jako jsou vyřazené sloupce.

Můžete použít VACUUM k odebrání odstraněných souborů z fyzického úložiště, včetně starých souborů, které obsahují vynechané sloupce a byly přepsány REORG TABLE.

COPY INTO vylepšení

Teď můžete vytvořit prázdné zástupné tabulky Delta, aby bylo schéma později odvozeno během příkazu COPY INTO:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Předchozí příkaz SQL je idempotentní a je možné ho naplánovat tak, aby data byla ingestována do tabulky Delta přesně jednou.

Poznámka:

Prázdná tabulka Delta není použitelná mimo COPY INTO. Nelze použít INSERT INTO a MERGE INTO k zápisu dat do tabulek Delta bez schématu. Po vložení dat do tabulky s COPY INTOje tabulka dotazovatelná.

Pokud data, která ingestujete, nelze přečíst kvůli nějakému problému s poškozením, můžete soubory přeskočit, které jsou poškozené, tím, že nastavíte ignoreCorruptFiles na true v části FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Příkaz COPY INTO vrátí počet souborů, které byly vynechány kvůli poškození ve sloupci num_skipped_corrupt_files. Tato metrika se také zobrazí ve sloupci operationMetrics pod numSkippedCorruptFiles po spuštění DESCRIBE HISTORY v tabulce Delta.

Poškozené soubory nejsou systémem COPY INTO sledovány, takže je lze znovu načíst při dalším spuštění, pokud je poškození odstraněno. Můžete zjistit, které soubory jsou poškozené spuštěním COPY INTO v VALIDATE režimu.

CONVERT TO DELTA se teď podporuje v prostředích s podporou katalogu Unity (Public Preview)

Ve prostředí s Unity-Catalogzapnutým, nyní s CONVERT TO DELTA můžete:

  • Převeďte soubory Parquet v externích umístěních na Delta Lake.
  • Převeďte externí tabulky Parquet na tabulky Delta.

Změny chování

SQL: Funkce lpad a rpad teď podporují sekvence bajtů.

Funkce lpad a rpad byly aktualizovány tak, aby kromě řetězců přidaly podporu pro sekvence bajtů.

Formát řetězce v format_string a printf už neumožňuje %0$

Pokud ve funkcích %0$ a format_string specifikujete formát printf, ve výchozím nastavení se zobrazí chyba. Tato změna spočívá v zachování očekávaného chování v předchozích verzích databricks Runtime a běžných databází třetích stran. První argument by měl vždy odkazovat %1$ při použití indexu argumentu k označení pozice argumentu v seznamu argumentů.

Hodnoty null v souborech CSV se teď ve výchozím nastavení zapisují jako necitované prázdné řetězce.

Hodnoty null v souborech CSV byly dříve zapsány jako uvozované prázdné řetězce. V této verzi se hodnoty null v souborech CSV teď ve výchozím nastavení zapisují jako necitované prázdné řetězce. Pokud chcete změnit zpět na předchozí chování, nastavte možnost nullValue na "" pro operace zápisu.

Vlastnost tabulky external je teď rezervována.

Vlastnost external je nyní ve výchozím nastavení rezervovanou vlastností tabulky. Výjimky jsou nyní vyvolány, když použijete vlastnost external s klauzulí CREATE TABLE ... TBLPROPERTIES a ALTER TABLE ... SET TBLPROPERTIES.

Protokol 4j se upgraduje z Log4j 1 na Log4j 2.

Protokol 4j 1 se upgraduje na Log4j 2. Starší závislosti Log4j 1 se odebírají.

Pokud závisíte na třídách Log4j 1, které byly dříve zahrnuty do databricks Runtime, tyto třídy již neexistují. Měli byste aktualizovat své závislosti na Log4j 2.

Pokud máte vlastní moduly plug-in nebo konfigurační soubory, které závisí na log4j 2, nemusí už v této verzi fungovat s verzí Log4j 2. Pokud potřebujete pomoc, obraťte se na tým účtu Azure Databricks.

Knihovny nainstalované z Mavenu se teď ve výchozím nastavení vyřeší ve výpočetní rovině.

Knihovny Maven se ve výchozím nastavení nyní vyřeší ve vaší výpočetní vrstvě při instalaci knihoven do clusteru. Váš cluster musí mít přístup k Maven Central. Případně se můžete vrátit k předchozímu chování nastavením vlastnosti konfigurace Sparku:

spark.databricks.libraries.enableMavenResolution false

Opravy chyb

  • Byla opravena binární kompatibilita pro LeafNode, UnaryNode, a BinaryNode mezi Apache Sparkem a Databricks Runtime a nyní jsou třídy kompatibilní s Apache Sparkem verze 3.3.0 a vyšší. Pokud při použití balíčku třetí strany s modulem Databricks Runtime narazíte na následující nebo podobnou zprávu, znovu sestavte balíček pomocí Apache Sparku 3.3.0 nebo vyšší: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Upgrady knihoven

  • Upgradované knihovny Python:
    • platformdirs od 2.5.1 do 2.5.2
    • protobuf od 3.20.0 do 3.20.1
  • Upgradované knihovny jazyka R:
    • blob od 1.2.2 do 1.2.3
    • broom z verze 0.7.12 na 0.8.0
    • caret od 6.0-91 do 6.0-92
    • cli od 3.2.0 do 3.3.0
    • dplyr od 1.0.8 do 1.0.9
    • aktualizace z verze 1.24.0 na 1.25.0
    • future.apply verze 1.8.1 na 1.9.0
    • gert od 1.5.0 do 1.6.0
    • ggplot2 od 3.3.5 do 3.3.6
    • glmnet od 4.1-3 do 4.1-4
    • haven od verze 2.4.3 na verzi 2.5.0
    • httr od 1.4.2 do 1.4.3
    • knitr od 1,38 do 1,39
    • magrittr od 2.0.2 do 2.0.3
    • paralelně od 1.30.0 do 1.31.1
    • ps od 1.6.0 do 1.7.0
    • RColorBrewer od 1.1-2 do 1.1-3
    • RcppEigen od 0.3.3.9.1 do 0.3.3.9.2
    • readxl od 1.3.1 do 1.4.0
    • rmarkdown od 2.13 do 2.14
    • rprojroot od 2.0.2 do 2.0.3
    • RSQLite od 2.2.11 do 2.2.13
    • škálování od 1.1.1 do 1.2.0
    • testthat od verze 3.1.2 na verzi 3.1.4
    • tibble od 3.1.6 do 3.1.7
    • tinytex od 0,37 do 0,38
    • tzdb od 0.2.0 do 0.3.0
    • uuid od 1.0-4 do 1.1-0
    • vctrs od 0.3.8 do 0.4.1
  • Upgradované knihovny Java:
    • com.fasterxml.jackson.core.jackson-annotations od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-core od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-databind od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 od 2.13.0 do 2.13.3
    • com.google.crypto.tink.tink od verze 1.6.0 do verze 1.6.1
    • com.ning.compress-lzf od 1.0.3 do 1.1
    • dev.ludovic.netlib.arpack od 2.2.0 do 2.2.1
    • dev.ludovic.netlib.blas od 2.2.0 do 2.2.1
    • dev.ludovic.netlib.lapack od 2.2.0 do 2.2.1
    • io.netty.netty-all od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-buffer z 4.1.73.Final na 4.1.74.Final
    • io.netty.netty-codec od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-common od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-handler od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-resolver od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-tcnative-classes z 2.0.46.Final na 2.0.48.Final
    • io.netty.netty-transport od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-classes-epoll od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 od 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-native-unix-common od 4.1.73.Final do 4.1.74.Final
    • aktualizace joda-time.joda-time z verze 2.10.12 na verzi 2.10.13
    • org.apache.commons.commons-math3 od 3.4.1 do 3.6.1
    • org.apache.httpcomponents.httpcore od 4.4.12 do 4.4.14
    • org.apache.orc.orc-core od 1.7.3 do 1.7.4
    • org.apache.orc.orc-mapreduce od 1.7.3 do 1.7.4
    • org.apache.orc.orc-shims od 1.7.3 do 1.7.4
    • org.eclipse.jetty.jetty-client od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-pokračování od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp z verze 9.4.43.v20210629 na verzi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client od 2.2.5 do 2.7.4
    • org.postgresql.postgresql od 42.2.19 do 42.3.3
    • org.roaringbitmap.RoaringBitmap od 0.9.23 do 0.9.25
    • org.roaringbitmap.shims od 0.9.23 do 0.9.25
    • org.rocksdb.rocksdbjni od 6.20.3 do 6.24.2
    • org.slf4j.jcl-over-slf4j od 1.7.32 do 1.7.36
    • org.slf4j.jul-to-slf4j od 1.7.32 do 1.7.36
    • org.slf4j.slf4j-api od 1.7.30 do 1.7.36

Apache Spark

Databricks Runtime 11.0 zahrnuje Apache Spark 3.3.0.

V této části:

Spark SQL a Hlavní modul

Režim ANSI

  • Nová pravidla syntaxe explicitního přetypování v režimu ANSI (SPARK-33354)
  • Elt() by měla vrátit hodnotu null, pokud má index hodnotu null v režimu ANSI (SPARK-38304).
  • Volitelně vrátí výsledek null, pokud prvek v poli nebo mapě neexistuje (SPARK-37750)
  • Umožnit přetypování mezi číselným typem a typem časového razítka (SPARK-37714)
  • Zakázání vyhrazených klíčových slov ANSI ve výchozím nastavení (SPARK-37724)
  • Použijte pravidla přiřazení úložiště pro vyřešení volání funkce (SPARK-37438)
  • Přidat konfiguraci pro povolení přetypování mezi datem a časem a číselnými hodnotami (SPARK-37179)
  • Přidání konfigurace pro volitelné vynucení vyhrazených klíčových slov ANSI (SPARK-37133)
  • Zakázat binární operace mezi intervalem a řetězcovým literálem (SPARK-36508)

Vylepšení funkcí

  • Podpora typů INTERVALŮ SQL ANSI (SPARK-27790)
  • Vylepšení chybových zpráv (SPARK-38781)
  • Podpora skrytých metadat souborů pro Spark SQL (SPARK-37273)
  • Podpora literálu surového řetězce (SPARK-36371)
  • Pomocná třída pro batch Dataset.observe() (SPARK-34806)
  • Podpora určení počátečního čísla oddílu pro vyrovnávání (SPARK-38410)
  • Podpora kaskádového režimu pro dropNamespace rozhraní API (SPARK-37929)
  • Povolit přiřazení úložiště a implicitní přetypování mezi typy data a času (SPARK-37707)
  • Shromažďování, první a poslední by měly být deterministické agregační funkce (SPARK-32940)
  • Přidání ExpressionBuilderu pro funkce s komplexními přetíženími (SPARK-37164)
  • Přidání podpory pole do unie podle jména (SPARK-36546)
  • Přidání df.withMetadata: syntaktická zkratka pro aktualizaci metadat datového rámce (SPARK-36642)
  • Podpora literálu surového řetězce (SPARK-36371)
  • Použití funkce CAST při analýze kalendářních dat a časových razítek s výchozím vzorem (SPARK-36418)
  • Podpora hodnotové třídy ve vnořeném schématu pro Datovou sadu (SPARK-20384)
  • Přidání podpory syntaxe AS OF (SPARK-37219)
  • Přidejte REPEATABLE v TABLESAMPLE k určení hodnoty (SPARK-37165)
  • Přidej ansi syntaxi set catalog xxx pro změnu aktuálního katalogu (SPARK-36841)
  • Podpora ILIKE (ALL | ANY | SOME) – nerozlišující malá a velká písmena LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Fáze dotazu podpory zobrazuje statistiky modulu runtime v režimu vysvětlení (SPARK-38322)
  • Přidání metrik velikosti přetečení pro slučovací spojení (SPARK-37726)
  • Aktualizace syntaxe SQL SHOW FUNCTIONS (SPARK-37777)
  • Podpora syntaxe DROP COLUMN [IF EXISTS] (SPARK-38939)
  • Nové integrované funkce a jejich rozšíření (SPARK-38783)

Vylepšení výkonu

  • Generování kódu celé fáze
    • Přidejte generování kódu pro agregaci seřazení bez seskupovacích klíčů (SPARK-37564)
    • Přidání generování kódu pro úplné vnější spojení při třídicím sloučení (SPARK-35352)
    • Přidání kódu Gen pro úplné vnější náhodné spojení hash (SPARK-32567)
    • Přidání generování kódu pro sloučení řazení podle existence (SPARK-37316)
  • Posun dolů (filtry)
    • Nasdílení filtrů dolů prostřednictvím rebalancePartitions (SPARK-37828)
    • Nasdílení filtru logických sloupců (SPARK-36644)
    • Omezte limit na 1 pro pravou stranu levého semi/anti spojení, pokud je podmínka spojení prázdná (SPARK-37917)
    • Přeložit více standardních agregačních funkcí pro pushdown (SPARK-37527)
    • Podpora šíření prázdné relace prostřednictvím agregace/sjednocení (SPARK-35442)
    • Filtrování na úrovni řádků běhového prostředí (SPARK-32268)
    • Podpora levého spojení se středníky v filtrech modulu runtime na úrovni řádků (SPARK-38565)
    • Podpora propagace predikátu a ořezání sloupců pro odstraněné duplikáty CTE (SPARK-37670)
  • Vektorizace
    • Implementace ConstantColumnVectoru a zlepšení výkonu skrytých metadat souborů (SPARK-37896)
    • Povolení vektorizovaného čtení pro VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Kombinování, odebrání nebo nahrazení uzlů
    • Kombinujte sjednocení, pokud mezi nimi existuje projekt (SPARK-37915)
    • Sloučit do jednoho přetypování, pokud můžeme bezpečně proměnit dvě přetypování na vyšší typ (SPARK-37922)
    • Odeberte řazení, pokud se jedná o podřízenou položku RepartitionByExpression (SPARK-36703).
    • Odebere vnější spojení, pokud má na streamované straně pouze DISTINCT s aliasem (SPARK-37292)
    • Nahrazení hodnoty hash agregací řazení, pokud už je podřízené řazení (SPARK-37455)
    • Sbalit projekty pouze pokud nezdvojíme nákladné výrazy (SPARK-36718)
    • Odeberte redundantní aliasy po přepsání PredicateSubquery (SPARK-36280)
    • Sloučení nesouvisených skalárních poddotazů (SPARK-34079)
  • Rozkládání
    • Nepřidávejte dynamické ořezávání oddílů, pokud existuje ořezávání statického oddílu (SPARK-38148)
    • Vylepšit RebalancePartitions v pravidlech optimalizátoru (SPARK-37904)
    • Přidat malý faktor oddílu pro vyvážení oddílů (SPARK-37357)
  • Připojit
    • Vyladění logiky ke snížení priority vysílacího hash spojení v DynamicJoinSelection (SPARK-37753)
    • Ignorovat duplicitní klíče spojení při vytváření relace pro náhodně rozdělené hash spojení SEMI/ANTI (SPARK-36794)
    • Podpora optimalizace nerovnoměrného spojení i v případě, že by to vedlo k dalšímu přerozdělení dat (SPARK-33832)
  • AQE
    • Podpora pro eliminaci limitů v optimalizátoru AQE (SPARK-36424)
    • Optimalizace plánu jednoho řádku v normálním režimu a v optimalizátoru AQE (SPARK-38162)
  • Aggregate.groupOnly podporuje skládací výrazy (SPARK-38489)
  • ByteArrayMethods arrayEquals by měl rychle přeskočit kontrolu zarovnání s nezarovnanou platformou (SPARK-37796)
  • Přidání vyřazování vzoru stromu do pravidla CTESubstitution (SPARK-37379)
  • Přidání dalších zjednodušení operátoru Not (SPARK-36665)
  • Podpora typu BooleanType v UnwrapCastInBinaryComparison (SPARK-36607)
  • Funkce Coalesce odstraní všechny výrazy po prvním nenulovém výrazu (SPARK-36359)
  • Přidejte návštěvníka logického plánu pro propagaci jedinečných atributů (SPARK-36194)

Integrovaná vylepšení konektoru

  • Obecné
    • Lenient serializace datetime ze zdroje dat (SPARK-38437)
    • Umístění tabulky je považováno za absolutní, pokud první znak cesty je lomítko při použití příkazu create/alter table (SPARK-38236).
    • Odebrání úvodních nul z prázdného oddílu typu statického čísla (SPARK-35561)
    • Podpora pro ignoreCorruptFiles a ignoreMissingFiles v možnostech zdroje dat (SPARK-38767)
    • Příkaz SHOW CATALOGS Přidat (SPARK-35973)
  • Parquet
    • Umožnit odpovídající názvy sloupců schématu podle ID polí (SPARK-38094)
    • Odebrání názvu zaškrtávacího pole při čtení a zápisu dat v parquet (SPARK-27442)
    • Podpora vektorizovaného čtení logických hodnot s použitím kódování RLE s Parquet DataPage V2 (SPARK-37864)
    • Podpora kódování datových stránek Parquet v2 (DELTA_BINARY_PACKED) pro vektorizovanou cestu (SPARK-36879)
    • Přebazovat časová razítka v časovém pásmu relace uložených v metadatech formátů Parquet/Avro (SPARK-37705)
    • Nasdílení dolů podle sloupce oddílů pro agregaci (SPARK-36646)
    • Agregace s podporou "push down" (Min/Max/Count) pro Parquet (SPARK-36645)
    • Parquet: Povolte odpovídající sloupce schématu podle ID pole (SPARK-38094)
    • Snížte výchozí velikost stránky o hodnotu LONG_ARRAY_OFFSET, pokud se používají G1GC a ON_HEAP (SPARK-37593)
    • Implementace vektorizovaných kódování DELTA_BYTE_ARRAY a DELTA_LENGTH_BYTE_ARRAY pro podporu Parquet V2 (SPARK-37974)
    • Podpora složitých typů pro vektorizovanou čtečku Parquet (SPARK-34863)
  • ORC (Optické Rozpoznávání Znaků)
    • Odeberte název pole pro kontrolu při čtení nebo zápisu stávajících dat v Orc (SPARK-37965)
    • Agregační posun pro ORC (SPARK-34960)
    • Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat ORC (SPARK-36931)
    • Podpora názvů sloupců jen pro čísla ve zdrojích dat ORC (SPARK-36663)
  • JSON
    • Respektovat allowNonNumericNumbers při analýze hodnot NaN a Infinity ve čtečce JSON (SPARK-38060)
    • Použití funkce CAST pro datum a čas ve formátu CSV/JSON ve výchozím nastavení (SPARK-36536)
    • Zarovnání chybové zprávy pro nepodporované typy klíčů v MapType ve čtečce Json (SPARK-35320)
  • CSV
    • Oprava odkazu na poškozený sloupec záznamu ze souboru CSV (SPARK-38534)
    • Hodnoty null by měly být uloženy jako nic místo prázdných řetězců "" ve výchozím nastavení (SPARK-37575)
  • JDBC
    • Přidejte příkaz IMMEDIATE do implementace truncování v dialektu DB2 (SPARK-30062)
  • Hive
    • Podpora zápisu rozložkované tabulky Hive (formáty souborů Hive s Hive hash) (SPARK-32712)
    • Použití výrazů k filtrování oddílů Hive na straně klienta (SPARK-35437)
    • Podpora ořezávání dynamických oddílů pro HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir by měl použít zdroj dat, pokud je konvertibilní (SPARK-38215)
    • Podpora zápisu zásobníkové tabulky Hive (formát Parquet/ORC s hashováním Hive) (SPARK-32709)

Vyřazení uzlu z provozu

  • Náhradní úložiště by se nemělo pokoušet vyřešit libovolný „vzdálený“ název hostitele (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved by měl zpracovat ExecutorDecommission jako ukončený (SPARK-38023)

Další velmi vhodné změny

  • Přidání jemně zrnitého uzamčení do BlockInfoManageru (SPARK-37356)
  • Podpora mapování typů prostředků Gpu/fpga Sparku na vlastní typ prostředku YARN (SPARK-37208)
  • Oznamte přesnou velikost bloku náhodného prohazu, pokud je zašikmený (SPARK-36967)
  • Podpora protokolování Netty v síťové vrstvě (SPARK-36719)

Strukturované streamování

Hlavní funkce

  • Zavedení Trigger.AvailableNow pro spouštění streamovaných dotazů, jako je Trigger.Once v několika dávkách (SPARK-36533)

Další velmi vhodné změny

  • Použití StatefulOpClusteredDistribution pro stavové operátory s ohledem na zpětnou kompatibilitu (SPARK-38204)
  • Vyladění časového limitu flatMapGroupsWithState v šarži s daty pro klíč (SPARK-38320)
  • Opravit problém s korektností u vnějšího spojení stream-stream s poskytovatelem úložiště stavů RocksDB (SPARK-38684)
  • Podpora funkcionality Trigger.AvailableNow ve zdroji dat Kafka (SPARK-36649)
  • Optimalizace cesty zápisu u poskytovatele úložiště stavů RocksDB (SPARK-37224)
  • Zavést nový zdroj dat zajišťující konzistentní sadu řádků v každém mikrobatchi (SPARK-37062)
  • Použijte HashClusteredDistribution pro stavové operátory s ohledem na zpětnou kompatibilitu (SPARK-38204)

PySpark

Rozhraní Pandas API na Sparku

Hlavní vylepšení
  • Optimalizace indexu distribuované sekvence s výchozím nastavením (SPARK-36559, SPARK-36338)
    • Podpora zadání typu a názvu indexu v rozhraní PANDAS API ve Sparku (SPARK-36709)
    • Zobrazení výchozího typu indexu v plánech SQL pro rozhraní PANDAS API ve Sparku (SPARK-38654)
Hlavní funkce
  • Implementovat ps.merge_asof v nativním SparkSQL (SPARK-36813)
  • Podpora TimedeltaIndex v rozhraní PANDAS API ve Sparku (SPARK-37525)
  • Podpora Python timedelta (SPARK-37275, SPARK-37510)
  • Implementace funkcí v CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Používá standardní formátovací modul řetězců Python pro rozhraní SQL API v knihovně pandas API ve Sparku (SPARK-37436).
  • Podpora základních operací seriálu timedelta a indexu (SPARK-37510)
  • Podpora ps.MultiIndex.dtypes (SPARK-36930)
  • Implementovat Index.map (SPARK-36469)
  • Implementujte řadu.xor a řada.rxor (SPARK-36653)
  • Implementace unárního operátoru integrálního invert ps.Series/index (SPARK-36003)
  • Implementace prvku DataFrame.cov (SPARK-36396)
  • Podpora str a časového razítka pro (Series|DataFrame).describe() (SPARK-37657)
  • Podpora parametru lambda column (DataFrame.renameSPARK-38763)

Další velmi vhodné změny

Zásadní změny
  • Odebrat odkazy na podporu Python 3.6 v dokumentaci a python/docs (SPARK-36977)
  • Odebrat hack namedtuple nahrazením integrovaného picklu za cloudpickle (SPARK-32079)
  • Zvýšit minimální verzi pandas na 1.0.5 (SPARK-37465)
  • Hlavní vylepšení
    • Poskytnout profiler pro uživatelsky definované funkce v Pythonu/Pandas (SPARK-37443)
    • Používá standardní formátovací modul řetězců Python pro rozhraní SQL API v PySparku (SPARK-37516).
    • Zveřejnění stavu SQL a třídy chyb v výjimkách PySpark (SPARK-36953)
    • Pokuste se zachytit chybový záznam, když dojde k chybovému ukončení pracovního procesu Python (SPARK-36062)
Hlavní funkce
  • Implementace prvku DataFrame.mapInArrow v Python (SPARK-37228)
  • Používá standardní formátovací modul řetězců Python pro rozhraní SQL API v PySparku (SPARK-37516).
  • Přidání rozhraní df.withMetadata pyspark API (SPARK-36642)
  • Podpora timedelta v Pythonu (SPARK-37275)
  • Zpřístupnit tableExists v pyspark.sql.catalog (SPARK-36176)
  • Zpřístupnit databaseExists v pyspark.sql.catalog (SPARK-36207)
  • Zveřejnění functionExists v katalogu PySpark SQL (SPARK-36258)
  • Přidání dataframe.observation do PySparku (SPARK-36263)
  • Přidání rozhraní API max_by/min_by do PySparku (SPARK-36972)
  • Podpora odvodit vnořený slovník jako strukturu při vytváření datového rámce (SPARK-35929)
  • Přidání bitových/octet_length rozhraní API do scaly, Python a R (SPARK-36751)
  • Podpora rozhraní ILIKE API na Python (SPARK-36882)
  • Přidání metody isEmpty pro rozhraní API datového rámce Python (SPARK-37207)
  • Přidejte podporu pro více sloupců (SPARK-35173)
  • Přidání SparkContext.addArchive v PySparku (SPARK-38278)
  • Umožnit, aby datové typy SQL byly evaluovatelné (SPARK-18621)
  • Řádkové nápovědy pro typy pro fpm.py v pythonu/pyspark/mllib (SPARK-37396)
  • Implementace dropna parametru SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Hlavní funkce

  • Přidání parametru distanceMeasure pro trainKMeansModel (SPARK-37118)
  • Zpřístupnění LogisticRegression.setInitialModel, stejně jako to dělá KMeans a další (SPARK-36481)
  • Podpora pro získání směrodatné odchylky metrik v modelu CrossValidatorModel pro každou mapu parametrů (SPARK-36425)

Hlavní vylepšení

  • Optimalizujte některé treeAggregates v MLlib zpožděním alokací (SPARK-35848)
  • Přepsat _shared_params_code_gen.py na vložené typové nápovědy pro ml/param/shared.py (SPARK-37419)

Další velmi vhodné změny

SparkR

  • Migrace dokumentů SparkR do pkgdownu (SPARK-37474)
  • Zveřejnění výrazu make_date v R (SPARK-37108)
  • Přidání rozhraní API max_by/min_by do SparkR (SPARK-36976)
  • Podpora rozhraní ILIKE API v R (SPARK-36899)
  • Přidání sec a csc jako funkcí R (SPARK-36824)
  • Přidání bitových/octet_length rozhraní API do scaly, Python a R (SPARK-36751)
  • Přidání postýlky jako funkce R (SPARK-36688)

uživatelské rozhraní

  • Souhrn metrik spekulací na úrovni fáze (SPARK-36038)
  • Sjednocený čas čtení bloku pro prohazování na čas čekání na načtení ve stránce StagePage (SPARK-37469)
  • Přidání upravených konfigurací pro spouštění SQL v uživatelském rozhraní (SPARK-34735)
  • Umožnit ThriftServer rozpoznávat spark.sql.redaction.string.regex (SPARK-36400)
  • Připojení a spuštění obslužné rutiny po spuštění aplikace v uživatelském rozhraní (SPARK-36237)
  • Přidání doby trvání potvrzení do uzlu grafu na kartě SQL (SPARK-34399)
  • Podpora back-endu RocksDB na serveru historie Sparku (SPARK-37680)
  • Zobrazení možností rozhraní Pandas API ve Sparku v uživatelském rozhraní (SPARK-38656)
  • Přejmenování SQL na SQL / Datový rámec na stránce uživatelského rozhraní SQL (SPARK-38657)

Build

Aktualizace údržby

Viz Databricks Runtime 11.0.

Systémové prostředí

  • Operační systém: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Nainstalované knihovny Python

Knihovna Version Knihovna Version Knihovna Version
Antergos Linux říjen 2015 (ISO-Rolling) argon2-cffi 20.1.0 asynchronní generátor 1,10
attrs 21.2.0 zpětný hovor 0.2.0 backports.entry-points-selectable (volitelné vstupní body) 1.1.1
bělidlo 4.0.0 boto3 1.21.18 botocore 1.24.18
certifikát 2021.10.8 cffi 1.14.6 chardet 4.0.0
nástroj pro normalizaci znakové sady 2.0.4 cyklista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 dekoratér 5.1.0
defusedxml 0.7.1 distlib 0.3.4 informace o distribuci Linuxu 0.23ubuntu1
vstupní body 0,3 přehled aspektů 1.0.0 filelock 3.6.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 klient Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 JupyterLab widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
špatné naladění 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 poznámkový blok 6.4.5
numpy (knihovna pro numerické výpočty v Pythonu) 1.20.3 balení 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 bábovka 0.5.2
pexpect 4.8.0 PickleShare 0.7.5 Polštář 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 nástroj "prompt-toolkit" 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
knihovna pytz pro zpracování časových zón v Pythonu 2021.3 pyzmq 22.2.1 požadavky 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
SciPy 1.7.1 narozený v moři 0.11.2 Send2Trash 1.8.0
setuptools (nástroj pro vytváření a distribuci Python projektů) 58.0.4 šest 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 houževnatost 8.0.1 dokončeno 0.9.4
testovací cesta 0.5.0 threadpoolctl 2.2.0 tornádo 6.1
drobné vlastnosti 5.1.0 bezobslužné aktualizace 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth (šířka znaků) 0.2.5 webová kódování 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

Nainstalované knihovny jazyka R

Knihovny R byly nainstalovány ze snímku Microsoft CRAN ze dne 2022-05-06.

Knihovna Version Knihovna Version Knihovna Version
žádost o heslo 1.1 ověřit, že 0.2.1 zpětné portování 1.4.1
báze 4.1.3 base64enc 0,1-3 bit 4.0.4
64bit 4.0.5 objekt blob 1.2.3 bootování 1.3-28
připravovat nápoje 1.0-7 elán 1.1.3 koště 0.8.0
bslib 0.3.1 kašmír 1.0.6 volající 3.7.0
caret 6.0-92 cellranger 1.1.0 cron 2.3-56
třída 7.3-20 CLI 3.3.0 Clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 barevný prostor 2.0-3
commonmark 1.8.0 kompilátor 4.1.3 config 0.3.1
cpp11 0.4.2 pastelka 1.5.1 přihlašovací údaje 1.3.2
kroucení 4.3.2 datová tabulka 1.14.2 datové sady 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Popis 1.4.1
devtools 2.4.3 diffobj 0.3.5 hodnota hash 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
tři tečky 0.3.2 hodnotit 0.15 fanoušci 1.0.3
barvy 2.1.0 Fastmap (rychlé mapování) 1.1.0 fontawesome 0.2.2
pro kočky 0.5.1 foreach 1.5.2 zahraničí 0,8-82
kovárna 0.2.0 fs 1.5.2 budoucnost 1.25.0
budoucnost.použít 1.9.0 kloktání 1.2.0 obecné typy 0.1.2
Gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1–4 globální 0.14.0
lepidlo 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 Grafika 4.1.3 grDevices 4.1.3
mřížka 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 ochranná přilba 0.2.0 útočiště 2.5.0
vyšší 0,9 HMS 1.1.1 htmlové nástroje 0.5.2
htmlwidgets (interaktivní HTML prvky) 1.5.4 httpuv 1.6.5 httr 1.4.3
identifikátory 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2,23–20 knitr 1.39
značení 0.4.2 později 1.3.0 mřížka 0.20-45
láva 1.6.10 životní cyklus 1.0.1 poslouchej 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1.1
Hmotnost 7.3-56 *Matrix* 1.4-1 zapamatujte si 2.0.1
metody 4.1.3 mgcv 1.8-40 mim 0.12
ModelMetrics 1.2.2.2 modelář 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet (neuronová síť) 7.3-17 numDeriv (Numerická derivace) 2016.8 - 1.1
OpenSSL 2.0.0 rovnoběžný 4.1.3 paralelně 1.31.1
pilíř 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
pochvala 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 pokrok 1.2.2
progressr 0.10.0 promisy 1.2.0.1 proto 1.0.0
proxy 0.4-26 p.s. 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 "randomForest" 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 čtenář 2.1.2
readxl 1.4.0 recepty 0.2.0 odvetný zápas 1.0.1
odvetný zápas 2 2.1.2 dálková ovládání 2.4.2 reprodukovatelný příklad 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.1 váhy 1.2.0 selektor 0.4-2
informace o sezení 1.2.2 obrazec 1.4.6 lesklý 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
prostorový 7.3-11 spline 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 statistické údaje 4.1.3 Stats4 4.1.3
řetězce 1.7.6 stringr 1.4.0 přežití 3.2-13
sys 3.4 tcltk 4.1.3 testthat (nástroj pro testování) 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 datum a čas 3043.102 tinytex 0,38
nářadí 4.1.3 tzdb 0.3.0 použij tohle 2.1.5
utf8 1.2.2 pomocné funkce 4.1.3 Univerzální jednoznačný identifikátor (UUID) 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vrrrm 1.5.7
Waldo 0.4.0 hmatový chlup 0,4 (v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit) 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 komprimovaný soubor zip 2.2.0

Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)

ID skupiny Identifikátor artefaktu Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (klient Amazon Kinesis) 1.12.0
com.amazonaws aws-java-sdk Automatické škálování 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws „aws-java-sdk-cloudsearch“ 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (AWS Java SDK pro Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby) 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-strojové učení 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws podpora AWS Java SDK 1.12.189
com.amazonaws knihovny AWS Java SDK SWF 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware technologie kryo-stínění 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations (poznámky Jackson) 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core Jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib jádro 1.1.2
com.github.fommil.netlib Nativní odkaz pro Javu 1.1
com.github.fommil.netlib native_ref - nativní prvky javy 1.1
com.github.fommil.netlib nativní_systém-java 1.1
com.github.fommil.netlib nativní systém java-native 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib – nativní systém – linux – x86_64 – nativy 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Cink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.VYDÁNÍ
com.lihaoyi zdrojový_kód_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake) 2.3.9
com.ning compress-lzf (komprimační algoritmus LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app-2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers (nástroj pro analýzu dat) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
společné sbírky společné sbírky 3.2.2
commons-dbcp commons-dbcp 1.4
Nahrávání souborů v Commons Nahrávání souborů v Commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (nástroj pro záznamy) commons-logging (nástroj pro záznamy) 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics jádro metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics Metriky-json 4.1.1
io.dropwizard.metrics metriky pro JVM 4.1.1
io.dropwizard.metrics metrikové servlety 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes (softwarová knihovna) 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleklient_obecný 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API pro transakce 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine nakládačka 1,2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
síť.sněhová vločka snowflake-ingest-sdk 0.9.6
síť.sněhová vločka snowflake-jdbc 3.13.14
síť.sněhová vločka spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant mravenec 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant Ant launcher 1.9.2
org.apache.arrow šipkový formát 7.0.0
org.apache.arrow jádro šipkové paměti 7.0.0
org.apache.arrow šipka-paměť-netty 7.0.0
org.apache.arrow šipkový vektor 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress (softwarová knihovna pro kompresi dat) 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-text (textové nástroje) 1,9
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátorský rámec 2.13.0
org.apache.kurátor kurátorovy recepty 2.13.0
org.apache.derby fotbalové derby 10.14.2.0
org.apache.hadoop hadoop-klient-API 3.3.2-databricks
org.apache.hadoop běhové prostředí klienta Hadoop 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc (JDBC ovladač pro Apache Hive) 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive rozhraní pro úložiště Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims plánovač hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy břečťan 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orčí podložky 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus poznámky pro publikum 0.5.0
org.apache.zookeeper ošetřovatel zvířat v zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino společný kompilátor 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms (framework pro práci s relačními databázemi) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty pokračování Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-plus 9.4.46.v20220331
org.eclipse.jetty proxy pro službu Jetty 9.4.46.v20220331
org.eclipse.jetty bezpečnost Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty-webová aplikace 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket – běžné 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Vyhledávač zdrojů OSGi 1.0.3
org.glassfish.hk2.external aopalliance-přebaleno 2.6.1
org.glassfish.hk2.external jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce) 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (nástroj pro zpracování požadavků v Java EE) 2,34
org.glassfish.jersey.containers jersey-container-servlet-jádro 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core společný dres 2,34
org.glassfish.jersey.core Jersey-server (aplikační server frameworku Jersey) 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB Java klient 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap vymezovací pásky 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark nepoužitý 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on