Databricks Runtime 17.0 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 17.0, který využívá Apache Spark 4.0.0.

Databricks vydala tuto verzi v červnu 2025.

Nové funkce a vylepšení

• SparkML se teď podporuje na standardních clusterech.
• Podpora procedur SQL
• Nastavení výchozí kolace pro SQL Functions
• Rekurzivní běžné výrazy tabulek (Public Preview)
• ANSI SQL je ve výchozím nastavení povolené
• PySpark a Spark Connect teď podporují rozhraní DATAFrames df.mergeInto API.
• Podpora ALL CATALOGS ve SHOW SCHEMAS
• Funkce Liquid clustering nyní efektivněji komprimuje vektory pro odstranění.
• Povolit nedeterministické výrazy v UPDATE/INSERT hodnotách sloupců pro MERGE operace
• Ignorování a zpracování prázdných struktur pro zpracování AutoLoaderu (zejména Avro)
• Změna rozhraní Pythonu Delta MERGE a rozhraní Scala API tak, aby místo jednotek vracela datový rámec
• Podpora klíčového slova VAR pro deklarování a vyřazení proměnných SQL
• Aktualizujte knihovny Apache Parquet
• Podpora federace identit úloh pro Google Cloud Pub/Sub

SparkML se teď podporuje na standardních clusterech.

Standardní režim přístupu (dříve sdílený režim přístupu) teď podporuje Spark ML v PySpark (pyspark.ml) a MLflow pro Spark (mlflow.spark). Pro ladění hyperparametrů doporučuje Databricks používat Optuna a Joblib Spark ve standardních clusterech.

Při spouštění SparkML na standardních clusterech platí následující omezení:

• Maximální velikost modelu je 1 GB.
• Maximální velikost mezipaměti modelu na relaci je 10 GB.
• Trénování stromového modelu se zastaví brzy, pokud velikost modelu překročí 1 GB.
• Následující modely SparkML nejsou podporované:
  • DistributedLDAModel
  • FPGrowthModel

Podpora procedur SQL

Skripty SQL se teď dají zapouzdřovat do procedury uložené jako opakovaně použitelný prostředek v katalogu Unity. Pomocí příkazu CREATE PROCEDURE můžete vytvořit proceduru a potom ji volat pomocí příkazu VOLAT .

Nastavte výchozí kolaci pro SQL funkce

Pomocí nové DEFAULT COLLATION klauzule v CREATE FUNCTION příkazu definuje výchozí kolaci používanou pro STRING parametry, návratový typ a STRING literály v těle funkce.

Rekurzivní běžné výrazy tabulek (Public Preview)

Azure Databricks teď podporuje navigaci hierarchických dat pomocí rekurzivních běžných tabulkových výrazů (rCTEs). K sledování rekurzivní relace použijte funkci CTE odkazující UNION ALL na sebe.

ANSI SQL je ve výchozím nastavení povolené

Výchozí dialekt SQL je teď ANSI SQL. ANSI SQL je dobře zavedený standard a pomůže chránit uživatele před neočekávanými nebo nesprávnými výsledky. Další informace najdete v průvodci povolením ANSI pro Databricks .

PySpark a Spark Connect teď podporují rozhraní DATAFrames df.mergeInto API.

PySpark a Spark Connect teď podporují df.mergeInto rozhraní API, které bylo dříve dostupné jenom pro Scala.

Podpora ALL CATALOGS ve schématech SHOW

Syntaxe SHOW SCHEMAS se aktualizuje tak, aby přijímala následující syntaxi:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Pokud ALL CATALOGS je zadané v SHOW dotazu, provádění iteruje prostřednictvím všech aktivních katalogů, které podporují obory názvů pomocí správce katalogu (DsV2). Pro každý katalog obsahuje obory názvů nejvyšší úrovně.

Výstupní atributy a schéma příkazu byly změněny tak, aby se přidal catalog sloupec označující katalog odpovídajícího oboru názvů. Nový sloupec se přidá na konec výstupních atributů, jak je znázorněno níže:

Předchozí výstup

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Nový výstup

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

Seskupování tekutin teď komprimuje vektory odstranění efektivněji.

Tabulky Delta s Liquid clusteringem nyní aplikují fyzické změny z vektorů odstranění efektivněji během OPTIMIZE spuštění. Další podrobnosti najdete v tématu Použití změn u datových souborů Parquet.

Povolit ne deterministické výrazy v UPDATE/INSERT hodnotách sloupců pro MERGE operace

Azure Databricks teď umožňuje používat ne deterministické výrazy v aktualizovaných a vložených hodnotách MERGE sloupců operací. Ne deterministické výrazy v podmínkách MERGE příkazů se však nepodporují.

Teď můžete například generovat dynamické nebo náhodné hodnoty pro sloupce:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

To může být užitečné pro ochranu soukromí dat, k obfuskování skutečných dat při zachování vlastností dat (například střední hodnoty nebo jiné vypočítané sloupce).

Ignorování a zpracování prázdných struktur pro zpracování dat pomocí AutoLoaderu (zejména Avro)

Auto Loader nyní zachraňuje datové typy Avro s prázdným schématem, jelikož tabulka Delta nepodporuje zpracování dat typu struct, která jsou prázdná.

Změňte rozhraní Delta MERGE v Pythonu a Scala API tak, aby vracely datový rámec namísto typu Unit.

Rozhraní API Scala a Pythonu MERGE (například DeltaMergeBuilder) teď také vrací datový rámec, jako je rozhraní SQL API, se stejnými výsledky.

Podpora klíčového slova VAR pro deklarování a vyřazení proměnných SQL

Syntaxe SQL pro deklarování a vyřazení proměnných teď kromě klíčového VAR slova podporuje i klíčové slovo VARIABLE. Tato změna sjednocuje syntaxi napříč všemi operacemi souvisejícími s proměnnými, což zlepšuje konzistenci a snižuje nejasnosti pro uživatele, kteří už používají VAR při nastavování proměnných.

Aktualizujte knihovny Apache Parquet

Knihovny Apache Parquet byly upgradovány z verze 1.13.1 na 1.15.1, aby se zajistila kompatibilita se Sparkem 4.0. Tato aktualizace zahrnuje vylepšení výkonu, opravy chyb a vylepšenou podporu funkcí Parquet v následujících modulech:

• parquet-column
• parquet-common
• parquet-encoding
• parquet-format-structures
• parquet-hadoop
• parquet-jackson

Podpora federace identit úloh pro Google Cloud Pub/Sub

Teď se můžete pomocí federace identit úloh bezpečně připojit ke službě Google Cloud Pub/Sub z Databricks bez nutnosti klíčů účtu služby. To zjednodušuje ověřování pro úlohy streamování a příjmu dat, které se integrují s pub/Sub.

Změny chování

• Vlastní certifikáty CA systému souborů Databricks (DBFS) se už nepodporují.
• Část "True cache misses" (skutečné chyby při cachování) byla odebrána z uživatelského rozhraní Sparku.
• Odstranili jsme metriku "špičkové využití disku správcem metadat mezipaměti" v uživatelském rozhraní Sparku
• V uživatelském rozhraní Sparku byla odebrána část "Bajty chybějící v mezipaměti po přeplánování"
• CREATE VIEW Klauzule na úrovni sloupce teď vyvolává chyby, když by se klauzule použila pouze u materializovaných zobrazení.

Vlastní certifikáty CA systému souborů Databricks (DBFS) se už nepodporují.

V rámci průběžného úsilí o vyřazení úložiště dat v kořenovém adresáři DBFS a připojení DBFS se vlastní certifikáty CA DBFS v Databricks Runtime 17.0 a novějších nepodporují. Doporučení pro práci se soubory najdete v tématu Práce se soubory v Azure Databricks.

V uživatelském rozhraní Sparku byla odstraněna sekce "True cache misses" (Skutečné chyby mezipaměti).

Tyto změny odeberou podporu metriky "Cache true misses size" (u komprimovaných i nekomprimovaných mezipamětí). Metrika "Mezipaměť zapisuje zmeškané" měří stejné informace.

Použijte numLocalScanTasks jako vhodnou proxy pro tuto metriku, pokud chcete zjistit, jak mezipaměť funguje při přiřazení souborů ke správnému exekutoru.

Odstraněna byla metrika „Špičkové využití disku ve Správci metadat mezipaměti“ v uživatelském rozhraní Spark

Tato změna odebere podporu pro metriky cacheLocalityMgrDiskUsageInBytes a cacheLocalityMgrTimeMs z Databricks Runtime a uživatelského rozhraní Sparku.

V uživatelském rozhraní Sparku byla odebrána sekce "Přeplánované chybějící bajty mezipaměti"

Databricks Runtime odstranil metriky velikosti přeskupených mezipaměťových chyb a velikosti přeskupených mezipaměťových chyb (nekomprimovaných). To se provádí, protože tato míra měří, jak mezipaměť funguje, když jsou soubory přiřazeny k nepreferovaným exekutorům. numNonLocalScanTasks je dobrým proxy serverem pro tuto metriku.

CREATE VIEW Klauzule na úrovni sloupce teď vyvolává chyby, když by se klauzule použila pouze u materializovaných zobrazení.

CREATE VIEW příkazy, které určují klauzuli na úrovni sloupce, jež je platná pouze pro MATERIALIZED VIEWs, nyní vyvolají chybu. Ovlivněné klauzule pro CREATE VIEW příkazy jsou:

• NOT NULL
• Zadaný datový typ, například FLOAT nebo STRING
• DEFAULT
• COLUMN MASK

Upgrady knihoven

• Upgradované knihovny Pythonu:

  • Azure-core od 1.31.0 do 1.34.0
  • černá od 24.4.2 do 24.10.0
  • boto3 od 1.34.69 do 1.36.2
  • botocore od 1.34.69 do 1.36.3
  • cachetools od verze 5.3.3 do verze 5.5.1
  • certifikát od 2.6.2024 do 31.1.2025
  • cffi od 1.16.0 do 1.17.1
  • charset-normalizer od 2.0.4 do 3.3.2
  • cloudpickle od 2.2.1 do 3.0.0
  • contourpy verze 1.2.0 až 1.3.1
  • kryptografie od 42.0.5 do 43.0.3
  • Cython od 3.0.11 do 3.0.12
  • databricks-sdk od 0.30.0 do 0.49.0
  • debugpy from 1.6.7 to 1.8.11
  • Zastaralé z verze 1.2.14 na verzi 1.2.13
  • distlib od 0.3.8 do 0.3.9
  • filelock od 3.15.4 do 3.18.0
  • fonttools od 4.51.0 do 4.55.3
  • GitPython od 3.1.37 do 3.1.43
  • google-auth od 2.35.0 do 2.40.0
  • google-cloud-core od 2.4.1 do 2.4.3
  • google-cloud-storage od 2.18.2 do 3.1.0
  • google-crc32c od 1.6.0 do 1.7.1
  • grpcio od 1.60.0 do 1.67.0
  • grpcio-status z verze 1.60.0 na verzi 1.67.0
  • importlib-metadata z verze 6.0.0 do 6.6.0
  • ipyflow-core od 0.0.201 do 0.0.209
  • ipykernel od 6.28.0 do 6.29.5
  • ipython od 8.25.0 do 8.30.0
  • ipywidgets od verze 7.7.2 do verze 7.8.1
  • jedi od 0.19.1 do 0.19.2
  • jupyter_client od 8.6.0 do 8.6.3
  • kiwisolver od 1.4.4 do 1.4.8
  • matplotlib od 3.8.4 do 3.10.0
  • matplotlib-inline od 0.1.6 do 0.1.7
  • mlflow-skinny od 2.19.0 do 2.22.0
  • numpy od 1.26.4 do 2.1.3
  • opentelemetry-api od 1.27.0 do 1.32.1
  • opentelemetry-sdk od 1.27.0 do 1.32.1
  • opentelemetry-sémantic-conventions z verze 0.48b0 na verzi 0.53b1
  • pandas od 1.5.3 do 2.2.3
  • parso od 0.8.3 do 0.8.4
  • "patsy" od 0.5.6 do 1.0.1
  • polštář od 10.3.0 do 11.1.0
  • vykreslovat od 5.22.0 do 5.24.1
  • zástrčka od 1.0.0 do 1.5.0
  • proto-plus od 1.24.0 do 1.26.1
  • protobuf od 4.24.1 do 5.29.4
  • pyarrow od 15.0.2 do 19.0.1
  • pyccolo od 0.0.65 do 0.0.71
  • pydantic od 2.8.2 do 2.10.6
  • pydantic_core od 2.20.1 do 2.27.2
  • PyJWT od 2.7.0 do 2.10.1
  • pyodbc od 5.0.1 do 5.2.0
  • pyparsing od 3.0.9 do 3.2.0
  • pyright od 1.1.294 do 1.1.394
  • python-lsp-server od 1.10.0 do 1.12.0
  • PyYAML od 6.0.1 do 6.0.2
  • pyzmq od 25.1.2 do 26.2.0
  • žádosti od 2.32.2 do 2.32.3
  • rsa od 4.9 do 4.9.1
  • s3transfer od verze 0.10.2 na verzi 0.11.3
  • scikit-learn od 1.4.2 do 1.6.1
  • scipy od 1.13.1 do 1.15.1
  • sqlparse od 0.5.1 do 0.5.3
  • statsmodels od 0.14.2 do 0.14.4
  • houževnatost z 8.2.2 na 9.0.0
  • threadpoolctl od 2.2.0 do 3.5.0
  • tornado od 6.4.1 do 6.4.2
  • typing_extensions od 4.11.0 do 4.12.2
  • urllib3 od 1.26.16 do 2.3.0
  • virtualenv od 20.26.2 do 20.29.3
  • kolo od 0.43.0 do 0.45.1
  • wrapt od verze 1.14.1 na 1.17.0
  • yapf od 0.33.0 do 0.40.2
  • zipp od 3.17.0 do 3.21.0

• Upgradované knihovny jazyka R:

  • šipka od 16.1.0 do 19.0.1
  • askpass od 1.2.0 do 1.2.1
  • od 4.4.0 do 4.4.2
  • bigD od 0.2.0 do 0.3.0
  • bit od 4.0.5 do 4.6.0
  • bit64 od 4.0.5 do 4.6.0-1
  • bitops od 1.0-8 do 1.0-9
  • broom od 1.0.6 do 1.0.7
  • bslib od 0.8.0 do 0.9.0
  • caret od 6.0-94 do 7.0-1
  • Chron od 2.3-61 do 2.3-62
  • cli od 3.6.3 do 3.6.4
  • hodiny od 0.7.1 do 0.7.2
  • commonmark od verze 1.9.1 do verze 1.9.5
  • kompilátor z verze 4.4.0 do 4.4.2
  • cpp11 od 0.4.7 do 0.5.2
  • přihlašovací údaje od 2.0.1 do 2.0.2
  • aktualizace curl z verze 5.2.1 na 6.2.1
  • data.table od 1.15.4 do 1.17.0
  • datové sady od 4.4.0 do 4.4.2
  • verze od 0.6.36 do 0.6.37
  • e1071 od 1.7-14 do 1.7-16
  • Vyhodnoťte z 0.24.0 na 1.0.3
  • fontawesome od 0.5.2 do 0.5.3
  • fs od 1.6.4 do 1.6.5
  • future.apply z verze 1.11.2 na 1.11.3
  • gert od 2.1.0 do 2.1.4
  • Git2r od 0.33.0 do 0.35.0
  • připevnění z 1.7.0 na 1.8.0
  • gower od 1.0.1 do 1.0.2
  • grafika od 4.4.0 do 4.4.2
  • grDevices od 4.4.0 do 4.4.2
  • mřížka od 4.4.0 do 4.4.2
  • od 0.11.0 do 0.11.1
  • gtable od 0.3.5 do 0.3.6
  • hardhat od 1.4.0 do 1.4.1
  • httr2 od 1.0.2 do 1.1.1
  • jsonlite od 1.8.8 do 1.9.1
  • knitr od 1,48 do 1,50
  • později od 1.3.2 do 1.4.1
  • láva od 1.8.0 do 1.8.1
  • lubridate od 1.9.3 do 1.9.4
  • metody od 4.4.0 do 4.4.2
  • mime od 0.12 do 0.13
  • mlflow od 2.14.1 do 2.20.4
  • nlme od 3.1-165 do 3.1-164
  • openssl od 2.2.0 do 2.3.2
  • paralelní od 4.4.0 do 4.4.2
  • paralelně od 1.38.0 do 1.42.0
  • pilíř od 1.9.0 do 1.10.1
  • pkgbuild od 1.4.4 do 1.4.6
  • pkgdown z verze 2.1.0 na verzi 2.1.1
  • processx z verze 3.8.4 na verzi 3.8.6
  • profvis od 0.3.8 do 0.4.0
  • progressr od verze 0.14.0 do verze 0.15.1
  • Promisy od verze 1.3.0 do 1.3.2
  • ps od 1.7.7 do 1.9.0
  • purrr od 1.0.2 do 1.0.4
  • R6 od 2.5.1 do 2.6.1
  • ragg od 1.3.2 do 1.3.3
  • randomForest od 4.7-1.1 do 4.7-1.2
  • Rcpp od 1.0.13 do 1.0.14
  • RcppEigen od 0.3.4.0.0 do 0.3.4.0.2
  • reactR od 0.6.0 do 0.6.1
  • readxl od 1.4.3 do 1.4.5
  • recepty od 1.1.0 do 1.2.0
  • rlang od 1.1.4 do 1.1.5
  • rmarkdown od 2.27 do 2.29
  • RODBC od 1.3-23 do 1.3-26
  • Rserve od 1.8-13 do 1.8-15
  • RSQLite od 2.3.7 do 2.3.9
  • rstudioapi od 0.16.0 do 0.17.1
  • sessioninfo od 1.2.2 do 1.2.3
  • lesklý od 1.9.1 do 1.10.0
  • sparklyr od 1.8.6 do 1.9.0
  • SparkR od 3.5.2 do 4.0.0
  • splines od 4.4.0 do 4.4.2
  • Statistiky od 4.4.0 do 4.4.2
  • Statistiky 4 od 4.4.0 do 4.4.2
  • přežití v rozmezí od 3,6-4 do 3,5-8
  • Aktualizace sys z verze 3.4.2 na verzi 3.4.3
  • systemfonts od 1.1.0 do 1.2.1
  • tcltk od 4.4.0 do 4.4.2
  • test ze 3.2.1.1 do 3.2.3
  • textshaping od verze 0.4.0 do verze 1.0.0
  • časDatum od 4032.109 do 4041.110
  • tinytex od 0,52 do 0,56
  • nástroje od 4.4.0 do 4.4.2
  • tzdb od 0.4.0 do 0.5.0
  • usethis od verze 3.0.0 do verze 3.1.0
  • utils od 4.4.0 do 4.4.2
  • V8 od 4.4.2 do 6.0.2
  • waldo od 0.5.2 do 0.6.1
  • withr od 3.0.1 do 3.0.2
  • xfun od 0.46 do 0.51
  • xml2 od 1.3.6 do 1.3.8
  • zip od 2.3.1 do 2.3.2

• Upgradované knihovny Java:

  • com.clearspring.analytics.stream od 2.9.6 do 2.9.8
  • com.esotericsoftware.kryo-shaded: verze od 4.0.2 do 4.0.3
  • com.fasterxml.classmate od 1.3.4 do 1.5.1
  • com.fasterxml.jackson.core.jackson-annotations z verze 2.15.2 na 2.18.2
  • com.fasterxml.jackson.core.jackson-core od 2.15.2 do 2.18.2
  • com.fasterxml.jackson.core.jackson-databind od 2.15.2 do 2.18.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.15.2 do 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.15.2 do 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 od 2.16.0 do 2.18.2
  • com.fasterxml.jackson.module.jackson-module-paranamer od 2.15.2 do 2.18.2
  • com.github.luben.zstd-jni od 1.5.5-4 do 1.5.6-10
  • com.google.code.gson.gson od 2.10.1 do 2.11.0
  • com.google.crypto.tink.tink od 1.9.0 do 1.16.0
  • com.google.errorprone.error_prone_annotations od 2.10.0 do 2.36.0
  • com.google.flatbuffers.flatbuffers-java od 23.5.26 do 24.3.25
  • com.google.guava.guava od 15.0 do 33.4.0-jre
  • com.google.protobuf.protobuf-java od 3.25.1 do 3.25.5
  • com.microsoft.azure.azure-data-lake-store-sdk od 2.3.9 do 2.3.10
  • com.microsoft.sqlserver.mssql-jdbc od 11.2.3.jre8 do 12.8.0.jre8
  • commons-cli.commons-cli od 1.5.0 do 1.9.0
  • commons-codec.commons-codec od 1.16.0 do 1.17.2
  • commons-io.commons-io od 2.13.0 do 2.18.0
  • io.airlift.aircompressor od 0.27 do 2.0.2
  • io.dropwizard.metrics.metrics-annotation od 4.2.19 do 4.2.30
  • io.dropwizard.metrics.metrics-core od 4.2.19 do 4.2.30
  • io.dropwizard.metrics.metrics-graphite od 4.2.19 do 4.2.30
  • Aktualizace io.dropwizard.metrics.metrics-healthchecks z verze 4.2.19 na 4.2.30
  • io.dropwizard.metrics.metrics-jetty9 od 4.2.19 do 4.2.30
  • io.dropwizard.metrics.metrics-jmx od 4.2.19 do 4.2.30
  • io.dropwizard.metrics.metrics-json od 4.2.19 do 4.2.30
  • io.dropwizard.metrics.metrics-jvm od 4.2.19 do 4.2.30
  • io.dropwizard.metrics.metrics-servlets od verze 4.2.19 do verze 4.2.30
  • io.netty.netty-all od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-buffer od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-codec od verze 4.1.108.Final do verze 4.1.118.Final
  • io.netty.netty-codec-http od 4.1.108.Final do 4.1.118.Final
  • Verze io.netty.netty-codec-http2 byla aktualizována z 4.1.108.Final na 4.1.118.Final.
  • io.netty.netty-codec-socks z 4.1.108.Final na 4.1.118.Final
  • io.netty.netty-common od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-handler od verze 4.1.108.Final k verzi 4.1.118.Final
  • io.netty.netty-handler-proxy z verze 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-resolver od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-tcnative-boringssl-static od 2.0.61.Final-db-r16-windows-x86_64 do 2.0.70.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes od 2.0.61.Final do 2.0.70.Final
  • io.netty.netty-transport od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-transport-classes-epoll od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-transport-classes-kqueue od 4.1.108.Final do 4.1.118.Final
  • io.netty.netty-transport-native-epoll z verze 4.1.108.Final-linux-x86_64 na verzi 4.1.118.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue od 4.1.108.Final-osx-x86_64 do 4.1.118.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common od 4.1.108.Final do 4.1.118.Final
  • io.prometheus.jmx.collector od 0.12.0 do 0.18.0
  • io.prometheus.simpleclient od 0.7.0 do 0.16.1-databricks
  • io.prometheus.simpleclient_common od 0.7.0 do 0.16.1-databricks
  • io.prometheus.simpleclient_dropwizard od 0.7.0 do 0.16.1-databricks
  • io.prometheus.simpleclient_pushgateway od 0.7.0 do 0.16.1-databricks
  • io.prometheus.simpleclient_servlet od 0.7.0 do 0.16.1-databricks
  • joda-time.joda-time od 2.12.1 do 2.13.0
  • net.razorvine.pickle od 1.3 do 1.5
  • org.antlr.antlr4-runtime od 4.9.3 do 4.13.1
  • org.apache.arrow.arrow-format od 15.0.0 do 18.2.0
  • org.apache.arrow.arrow-memory-core od 15.0.0 do 18.2.0
  • org.apache.arrow.arrow-memory-netty od 15.0.0 do 18.2.0
  • org.apache.arrow.arrow-vector od 15.0.0 do 18.2.0
  • org.apache.avro.avro od 1.11.4 do 1.12.0
  • org.apache.avro.avro-ipc od 1.11.4 do 1.12.0
  • org.apache.avro.avro-mapred od 1.11.4 do 1.12.0
  • org.apache.commons.commons-compress od 1.23.0 do 1.27.1
  • org.apache.commons.commons-lang3 od 3.12.0 do 3.17.0
  • org.apache.commons.commons-text od 1.10.0 do 1.13.0
  • org.apache.kurátor.kurátor-client od 2.13.0 do 5.7.1
  • org.apache.curator.curator-framework od 2.13.0 do 5.7.1
  • org.apache.curator.curator-recipes od 2.13.0 do 5.7.1
  • org.apache.datasketches.datasketches-java od 3.1.0 do 6.1.1
  • org.apache.datasketches.datasketches-memory od verze 2.0.0 do verze 3.0.2
  • org.apache.hadoop.hadoop-client-runtime od 3.3.6 do 3.4.1
  • org.apache.hive.hive-beeline od 2.3.9 do 2.3.10
  • org.apache.hive.hive-cli od 2.3.9 do 2.3.10
  • org.apache.hive.hive-jdbc od 2.3.9 do 2.3.10
  • org.apache.hive.hive-llap-client od 2.3.9 do 2.3.10
  • org.apache.hive.hive-llap-common od 2.3.9 do 2.3.10
  • org.apache.hive.hive-serde od 2.3.9 do 2.3.10
  • org.apache.hive.hive-shims od 2.3.9 do 2.3.10
  • org.apache.hive.shims.hive-shims-0.23 od 2.3.9 do 2.3.10
  • org.apache.hive.shims.hive-shims-common od 2.3.9 do 2.3.10
  • Aktualizace verze org.apache.hive.shims.hive-shims-scheduler z 2.3.9 na 2.3.10
  • org.apache.ivy.ivy od 2.5.2 do 2.5.3
  • org.apache.logging.log4j.log4j-1.2-api od 2.22.1 do 2.24.3
  • org.apache.logging.log4j.log4j-api od 2.22.1 do 2.24.3
  • org.apache.logging.log4j.log4j-core od 2.22.1 do 2.24.3
  • org.apache.logging.log4j.log4j-layout-template-json od 2.22.1 do 2.24.3
  • org.apache.logging.log4j.log4j-slf4j2-impl od 2.22.1 do 2.24.3
  • org.apache.orc.orc-core od 1.9.2-shaded-protobuf na 2.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce z verze 1.9.2-shaded-protobuf na verzi 2.1.1-shaded-protobuf
  • org.apache.orc.orc-shims od 1.9.2 do 2.1.1
  • org.apache.thrift.libthrift od 0.12.0 do 0.16.0
  • org.apache.ws.xmlschema.xmlschema-core od 2.3.0 do 2.3.1
  • org.apache.xbean.xbean-asm9-shaded od 4.23 do 4.26
  • org.apache.zookeeper.zookeeper od 3.9.2 do 3.9.3
  • org.apache.zookeeper.zookeeper-jute od 3.9.2 do 3.9.3
  • org.checkerframework.checker-qual od 3.31.0 do 3.43.0
  • org.eclipse.jetty.jetty-client od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-pokračování z 9.4.52.v20230823 až 9.4.53.v20231009
  • org.eclipse.jetty.jetty-http z 9.4.52.v20230823 až 9.4.53.v20231009
  • org.eclipse.jetty.jetty-io od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-jndi od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-plus od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-proxy z 9.4.52.v20230823 až 9.4.53.v20231009
  • org.eclipse.jetty.jetty-security od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-server od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlet od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlets od verze 9.4.52.v20230823 na verzi 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util-ajax od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-webapp od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.jetty-xml z 9.4.52.v20230823 na 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-api od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-client od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-common od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-server od 9.4.52.v20230823 do 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-servlet z 9.4.52.v20230823 až 9.4.53.v20231009
  • org.glassfish.jersey.containers.jersey-container-servlet od 2.40 do 2.41
  • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.40 do 2.41
  • org.glassfish.jersey.core.jersey-client od 2.40 do 2.41
  • org.glassfish.jersey.core.jersey-common od 2.40 do 2.41
  • org.glassfish.jersey.core.jersey-server od 2.40 do 2.41
  • org.glassfish.jersey.inject.jersey-hk2 od 2.40 do 2.41
  • org.hibernate.validator.hibernate-validator od 6.1.7.Final do 6.2.5.Final
  • org.jboss.logging.jboss-logging z verze 3.3.2.Final do verze 3.4.1.Final
  • org.objenesis.objenesis od 2.5.1 do 3.3
  • org.roaringbitmap.RoaringBitmap od 0.9.45-databricks do 1.2.1
  • org.rocksdb.rocksdbjni od 9.2.1 do 9.8.4
  • org.scalatest.scalatest kompatibilní od 3.2.16 do 3.2.19
  • org.slf4j.jcl-over-slf4j od 2.0.7 do 2.0.16
  • org.slf4j.jul-to-slf4j od 2.0.7 do 2.0.16
  • org.slf4j.slf4j-api od 2.0.7 do 2.0.16
  • org.threeten.threeten-extra od 1.7.1 do 1.8.0
  • org.tukaani.xz od 1.9 do 1.10

Apache Spark

Mnohé z jejích funkcí byly již k dispozici v Databricks Runtime 14.x, 15.x a 16.x a nyní jsou dodávány z krabice s modulem Runtime 17.0.

• SPARK-52311 Předefinujte výstup UnionLoop tak, aby nebyl duplikován, pokud je výstup ukotvení duplikován.
• SPARK-50104 Podpora SparkSession.executeCommand v Connect
• SPARK-51085 Obnovení průvodce SQLContext
• SPARK-49698 Přidat anotaci ClassicOnly pouze pro klasické metody.
• SPARK-52026 Blokování rozhraní PANDAS API ve Sparku v režimu ANSI ve výchozím nastavení
• SPARK-43415 Implementace KVGDS.agg s využitím vlastní mapValues funkce
• SPARK-50979 Odebrání implicitních výrazů .expr/.typedExpr
• SPARK-49961 Oprava signatury typu transformace jak pro Scala, tak pro Javu
• SPARK-51012 Odebrat SparkStrategy z Connect Shims.
• SPARK-50915 Přidat getCondition a vyřadit getErrorClass v PySparkException
• SPARK-51821 Zavolejte metodu interrupt() bez držení zámku uninterruptibleLock, abyste se vyhnuli možnému vzájemnému zablokování.
• SPARK-52192 Kontrola cesty načítání mlCache
• SPARK-52122 Oprava zranitelnosti RCE v DefaultParamsReader
• SPARK-52191 Odebrat deserializátor Java v načítacím modulu místní cesty modelu
• SPARK-52051 Zpětný port "Povolení souhrnu modelu při povolení ovládání paměti" a "Upřesnění chybové zprávy a skrytí interní konfigurace Sparku" do Databricks Runtime 17.0.0
• SPARK-51391 Oprava SparkConnectClient tak, aby zohlednil SPARK_USER a user.name
• SPARK-51416 Odeberte SPARK_CONNECT_MODE při spuštění serveru Spark Connect
• SPARK-51156 Podpora ověřování statického tokenu ve Službě Spark Connect
• SPARK-51279 Vyhněte se neustálému režimu spánku při čekání na server Spark Connect v jazyce Scala
• SPARK-51254 Zakázat --master s adresou URL pro Připojení Sparku
• SPARK-51267 Porovnání logiky místního serveru Spark Connect mezi Pythonem a Scalou
• SPARK-51212 Přidání samostatného balíčku PySpark pro Spark Connect ve výchozím nastavení
• SPARK-52017 Povolení více odkazů na sebe a samoobslužných odkazů z poddotazů v rámci rCTEs
• SPARK-52035 Oddělit LinearRegressionTrainingSummary a LinearRegressionModel
• SPARK-50511 Vyhněte se zabalení chybových zpráv zdroje dat Pythonu
• SPARK-51974 Omezení velikosti modelu a velikosti mezipaměti modelu pro jednotlivé relace
• SPARK-51947 Snižování zátěže mezipaměti modelu připojení Sparku
• SPARK-49751 Oprava deserializace události SparkListenerConnectServiceStarted
• SPARK-47952 Podpora programového načítání skutečné adresy a portu SparkConnectService GRPC při spuštění na Yarnu
• SPARK-47587 Modul Hive: Migrace logWarn s proměnnými do architektury strukturovaného protokolování
• SPARK-50768 Zavedení TaskContext.createResourceUninterruptibly, aby nedošlo k úniku streamu přerušením úkolu
• SPARK-51818 Přesuňte vytvoření QueryExecution do AnalyzeHandler a nevykonávejte pro AnalyzePlanRequests.
• SPARK-51609 Optimalizace rekurzivního provádění CTE pro jednoduché dotazy
• SPARK-49748 Přidat getCondition a vyřadit getErrorClass v SparkThrowable
• SPARK-51867 Vytvoření modelu scala podporující metody ukládání a načítání pro místní cestu k systému souborů
• SPARK-51856 Aktualizace rozhraní API velikosti modelu pro počítání distribuovaných velikostí datového rámce
• SPARK-51941 Oprava problému přesnosti pro convertToCatalyst, pokud vstup je BigDecimal mezi -1,0 a 1.0
• SPARK-50605 Podpora režimu rozhraní SQL API pro snadnější migraci na Spark Connect
• SPARK-51849 Refaktoring ResolveDDLCommandStringTypes
• SPARK-51673 Použití výchozí kolace pro změnu dotazu zobrazení
• SPARK-51880 Oprava odkazů klienta Pythonu na objekt mezipaměti ML
• SPARK-51873 U algoritmu OneVsRest povolte použití ukládání a načítání k nahrazení mezipaměti.
• SPARK-51072 CallerContext pro nastavení kontextu auditu cloudu Hadoop
• SPARK-51790 Registrace UTF8String do KryoSerializer
• SPARK-51022 Odstraňte nepoužívané tableSampleClause v build() metodě MsSqlServerSQLQueryBuilder a DB2SQLQueryBuilder
• SPARK-51219 Oprava ShowTablesExec.isTempView aby fungoval s nekatalogyV2SessionCatalog
• SPARK-49700 Sjednocené rozhraní Scala pro Connect a Classic
• SPARK-50458 Správné zpracování chyb pro nepodporovaný systém souborů při čtení souborů
• SPARK-50666 Podpora pro čtení z JDBC datového zdroje
• SPARK-50131 Znovu použít "Přidat v poddotazový DataFrame…"
• SPARK-51899 Implementace pravidel zpracování chyb pro spark.catalog.listTables()
• SPARK-51820 Řešení zbývajících problémů pro nový group/order pomocí pořadového přístupu
• SPARK-48585 Zajistit, aby metoda built-in JdbcDialect vyvolávala classifyException výjimku
• SPARK-48387 Postgres: Převést TimestampType na TIMESTAMP WITH TIME ZONE
• SPARK-51820 Přesunout UnresolvedOrdinal sestavení před analýzu, aby se předešlo problému s řazením podle pořadí
• SPARK-48337 Oprava ztráty přesnosti pro hodnoty JDBC TIME
• SPARK-51711 Rozšíří aktivní vzdálenou relaci Sparku do nových vláken, aby opravila CrossValidator.
• SPARK-47515 Save TimestampNTZType as DATETIME in MySQL
• SPARK-48439 Derby: Výpočet vhodné přesnosti a měřítka pro typ DECIMAL
• SPARK-51820 Připravit logiku redakce pro SPARK-51820 codesync
• SPARK-48323 DB2: Mapování typu BooleanType na BOOLEAN místo CHAR(1)
• SPARK-51635 Sloučení funkcí PushProjectionThroughLimit a PushProjectionThroughOffset
• SPARK-48211 DB2: Čtení SMALLINT jako ShortType
• SPARK-51803 Uložení typu JDBC externího enginu v metadatech StructField
• SPARK-51845 Přidání zpráv CleanCache proto a GetCacheInfo
• SPARK-49511 Použití pravidel formátování pro sql/api
• SPARK-47968 MsSQLServer: Mapování datetimeoffset na TimestampType
• SPARK-51726 Použijte TableInfo pro fáze CREATE/REPLACE/CREATE OR REPLACE table
• SPARK-47967 Správné JdbcUtils.makeGetter zpracování typu času čtení jako NTZ
• SPARK-47989 MsSQLServer: Oprava rozsahu spark.sql.legacy.mssqlserver.numericMapping.enabled
• SPARK-51193 Aktualizovat Netty na 4.1.118.Final a netty-tcnative na 2.0.70.Final
• SPARK-47882 createTableColumnTypes je potřeba mapovat na typy databází místo jejich přímého použití
• SPARK-47879 Oracle: Použijte VARCHAR2 místo VARCHAR pro mapování VarcharType
• SPARK-51372 Zavedení TableInfo pro vytváření tabulek
• SPARK-47791 Zkraťte přesahující desetinná místa s měřítkem prioritně před přesností z datového zdroje JDBC
• SPARK-51404 Parsování time(n) typu jako TimeType(n)
• SPARK-50350 Avro: přidání nové funkce schema_of_avro (scala strana)
• SPARK-51136 Nastavit CallerContext pro Historický server
• SPARK-50641 Přesunout GetJsonObjectEvaluator na JsonExpressionEvalUtils
• SPARK-50083 Integrace _LEGACY_ERROR_TEMP_1231 do PARTITIONS_NOT_FOUND
• SPARK-51556try_to_time Přidání funkce
• SPARK-47684 Postgres: Mapa bpchar s nezadanou délkou na StringType
• SPARK-48688 Vrácení přiměřené chyby při volání funkcí SQL to_avro a from_avro, ale Avro se ve výchozím nastavení nenačte
• SPARK-49839 SPJ: Pokud je to možné, přeskočte shuffle při řazení
• SPARK-45534 Místo metody finalize použijte pro RemoteBlockPushResolver java.lang.ref.Cleaner.
• SPARK-51816 Zjednodušení StatFunctions.multipleApproxQuantiles s využitím rozhraní API datového rámce
• SPARK-49179 Oprava problému, kdy víceúrovňová spojení způsobují AssertionError
• SPARK-47456 Podpora kodeku ORC Brotli
• SPARK-51542 Přidání posuvníku pro adresování nahoře a dole
• SPARK-51541 Podpora datového TIME typu v Literal metodách
• SPARK-51615 Přepracovat ShowNamespaces pro využití RunnableCommand
• SPARK-51191 Ověřit zpracování výchozích hodnot v DELETE, UPDATE, MERGE
• SPARK-51829 Po odstranění by se měla aktualizovat client.thread_local.ml_caches strana klienta.
• SPARK-51358 Zavedení detekce prodlevy nahrávání snímků prostřednictvím StateStoreCoordinatoru
• SPARK-51686 Propojte ID spuštění dílčích spuštění pro aktuální spuštění, pokud nějaké existují.
• SPARK-51456to_time Přidání funkce
• SPARK-51773 Převést formáty souborů na case třídy pro jejich správné porovnání
• SPARK-51777 Registrace tříd sql.columnar.* pro KryoSerializer
• SPARK-51432 Při nesouladu schémat Arrow vyvolat odpovídající výjimku
• SPARK-51395 Upřesnění zpracování výchozích hodnot v procedurách
• SPARK-50582 Přidat předdefinovanou funkci uvozovek
• SPARK-51684 Opraveno selhání testu v test_pandas_transform_with_state
• SPARK-51213 Zachování informací o třídě výrazu při řešení parametrů nápovědy
• SPARK-51651 Pokud existuje, propojte kořenové ID spuštění pro aktuální spuštění.
• SPARK-50947 Přiřazení odpovídající třídy chyb a SparkException pro duplikované artefakty
• SPARK-51574 Serializace filtru pro přenesení filtrování do zdroje dat v Pythonu
• SPARK-51608 Protokolování výjimky při ukončení python runneru
• SPARK-51266 Odebrání nepoužívané definice private[spark] object TaskDetailsClassNames
• SPARK-51011 Přidat protokolování, zda bude úkol přerušen při jeho ukončení
• SPARK-49646 Přidání konfigurace Sparku pro opravu dekódování poddotazů
• SPARK-51107 Refaktoring CommandBuilderUtils#join za účelem opětovného využití řádků a snížení redundance
• SPARK-51758 Oprava testovacího případu souvisejícího s extra dávkou způsobující prázdnou hodnotu DF kvůli vodoznaku
• SPARK-51664 Podpora datového typu TIME ve výrazu hash
• SPARK-51819 Aktualizace testovacího modulu pyspark-errors tak, aby zahrnoval chybějící testy
• SPARK-50751 Přiřazení odpovídající chybové podmínky pro _LEGACY_ERROR_TEMP_1305
• SPARK-50973 Vyčištění zastaralého využití rozhraní API související s avro.Schema#toString(boolean)
• SPARK-50908 Zakažte nestabilní TTL test v test_pandas_transform_with_state.py
• SPARK-50811 Podpora povolení profileru JVM na ovladači
• SPARK-50808 Oprava potíží při zápisu všech se smíšenými typy, které se správně nezapisují
• SPARK-51780 Implementace příkazu 'DESCRIBE'
• SPARK-50370 Podpora Codegenu pro json_tuple
• SPARK-50756 Použití třídy chyb pro výjimky ve SparkConf.validateSettings
• SPARK-50805 Přesunout metodu nameForAppAndAttempt do o.a.s.u.Utils
• SPARK-51812 Odebrání redundantních parametrů některých metod v QueryExecution
• SPARK-50819 Refaktoring modulu Sparku profiler
• SPARK-51547 Přiřaďte název chybovému stavu: _LEGACY_ERROR_TEMP_2130
• SPARK-48538 Vyhněte se úniku paměti HMS způsobené kostěným procesorem
• SPARK-51176 Zajištění konzistence pro neočekávané chyby ve službě PySpark Connect <> Classic
• SPARK-50773 Zákaz strukturovaného protokolování ve výchozím nastavení
• SPARK-50616 Přidat možnost přípony souboru do DataSource Writeru pro CSV
• SPARK-50624 Přidejte TimestampNTZType do ColumnarRow/MutableColumnarRow
• SPARK-51590 Zakázání funkce TIME v předdefinovaných zdrojích dat založených na souborech
• SPARK-49886 Test selhání na úrovni dotazu pro formát rocksDB v2
• SPARK-50823 Upgrade cloudpickle z verze 3.1.0 na verzi 3.1.1
• SPARK-50780 Používejte overrideStdFeatures místo setFeatureMask v JacksonParser
• SPARK-50621 Upgrade Cloudpickle na verzi 3.1.0
• SPARK-50719 Podpora interruptOperation pro PySpark
• SPARK-50545AccessControlException by se mělo vyvolat i v případě, že ignoreCorruptFiles je povolená
• SPARK-51517 Podpora datového typu TIME ve výsledcích Hivu
• SPARK-47856 Dokumentace mapování datových typů Spark SQL z Oracle a přidání testů
• SPARK-46066 Použijte API oddělovačů místo API String k vytvoření DefaultPrettyPrinter
• SPARK-50718 Podpora addArtifact(s) pro PySpark
• SPARK-51497 Přidání výchozího časového formátovače
• SPARK-51488 Podpora klíčového slova TIME jako datového typu
• SPARK-51273 Procedura volání Spark Connect spustí proceduru dvakrát.
• SPARK-51092 Přeskočit testy FlatMapGroupsWithState v1 s časovým limitem na platformách big endian.
• SPARK-50606 Oprava NPE u neinicializovaného držitele sezení
• SPARK-49530 Podpora výsečových dílčích grafů v PySpark plotování
• SPARK-50357 Podpora přerušení (Tag|All) API pro PySpark
• SPARK-51290 Povolení vyplňování výchozích hodnot v zápisech DSv2
• SPARK-50485 Rozbalení SparkThrowable v (Unchecked)ExecutionException vyvolané tableRelationCache
• SPARK-51513 Oprava pravidla RewriteMergeIntoTable vytváří nevyřešený plán
• SPARK-51482 Podpora převodu z řetězce na časový formát
• SPARK-51462 Podpora literálů tvořených datovým typem TIME
• SPARK-51454 Podpora přetypování z času na řetězec
• SPARK-51447 Přidat stringToTime a stringToTimeAnsi
• SPARK-51775 Normalizace LogicalRelation a HiveTableRelation pomocí NormalizePlan
• SPARK-51791ImputerModel ukládá koeficienty s poli místo datového rámce.
• SPARK-51442 Přidat časové formátovače
• SPARK-51384 Podpora java.time.LocalTime jako externího typu TimeType
• SPARK-51747 Plán mezipaměti zdroje dat by měl zohledňovat možnosti
• SPARK-51774 Přidání stavových kódů GRPC do výjimky GRPC Connect v Pythonu
• SPARK-51660 Řádné zpracování v případech, kdy není podporováno MDC
• SPARK-51296 Podpora shromažďování poškozených dat v režimu singleVariantColumn.
• SPARK-45907 Použití rozhraní API ProcessHandle z Javy 9+ pro výpočet stromu procesů v ProcfsMetricsGetteru
• SPARK-51342 Přidat TimeType
• SPARK-51769 Přidání maxRecordsPerOutputBatch pro omezení počtu záznamů výstupní dávky Arrow
• SPARK-51350 Implementovat zobrazit procedury
• SPARK-51711 Zásady vyřazení MLCache založené na paměti
• SPARK-51178 Vyvolání správné chyby PySpark místo SparkConnectGrpcException
• SPARK-51738 Poddotaz s typem struktury IN
• SPARK-51714 Přidání testu příjmu dat selhání do testovacího úložiště kontrolních bodů ve formátu V2
• SPARK-51704 Eliminujte nepotřebnou operaci shromažďování.
• SPARK-51512 Při čištění zamíchaných dat pomocí ExternalShuffleService odstraňte null MapStatus.
• SPARK-49308 Podpora UserDefinedAggregateFunction v klientovi Spark Connect Scala
• SPARK-50091 Řešení případu agregací v levém operandu poddotazu IN
• SPARK-50265 Podporovat spark.udf.registerJavaUdf v rámci Connect
• SPARK-49273 Podpora originu pro klienta Spark Connect Scala
• SPARK-51187 Implementace bezproblémového vyřazení nesprávné konfigurace zavedené ve SPARK-49699
• SPARK-51650 Podpora mazání mezipaměťových objektů strojového učení v dávkách
• SPARK-51619 Podpora vstupu a výstupu UDT v Python UDF optimalizovaném pro Arrow
• SPARK-51333 Rozbalit InvocationTargetException vyhozené v MLUtils.loadOperator
• SPARK-51566 Vylepšení zpětného trasování uživatelsky definované funkce (UDF) v Pythonu
• SPARK-51393 Využít běžné uživatelsky definované funkce Pythonu, pokud nebude nalezen Arrow, ale jsou povoleny optimalizované uživatelsky definované funkce Pythonu pomocí Arrow.
• SPARK-49960 Podpora custom ExpressionEncoder a opravy TransformingEncoder
• SPARK-51380 Přidání visitSQLFunction a visitAggregateFunction za účelem zlepšení flexibility nástroje V2ExpressionSQLBuilder
• SPARK-51600 Přidat na začátek třídy sql/hive a sql/hive-thriftserver když isTesting || isTestingSql je pravda
• SPARK-51070 Použijte scala.collection.Set místo Set v ValidateExternalType
• SPARK-50759 Vyřazení několika starších rozhraní API katalogu
• SPARK-50994 Proveďte převod RDD během sledovaného spuštění
• SPARK-51466 Eliminace inicializace předdefinovaných UDF Hive při hodnocení UDF.
• SPARK-51491 Zjednodušení boxplotu pomocí rozhraní API poddotazů
• SPARK-51175 Umožnit Master zobrazení uplynulého času při odebírání ovladačů
• SPARK-50334 Extrahování běžné logiky pro čtení popisovače souboru PB
• SPARK-50483 Výjimka BlockMissingException by měla být vyvolána, i když je povolena možnost ignorovat poškozené soubory.
• SPARK-50286 Správné šíření možností SQL do WriteBuilderu
• SPARK-51023 Zaznamenání vzdálené adresy při chybě RPC
• SPARK-47611 Vyčištění mrtvého kódu v MySQLDialect.getCatalystType
• SPARK-49229 Odstranění duplicitního zpracování uživatelsky definovaných funkcí ve Scale ve SparkConnectPlanneru
• SPARK-50557 Podpora RuntimeConfig.contains(..) v rozhraní Scala SQL
• SPARK-51471 RatePerMicroBatchStream – klasifikuje chybu ASSERT, když je posun a časové razítko v startOffset větší než endOffset
• SPARK-50473 Zjednodušení klasického zpracování sloupců
• SPARK-49286 Přesun funkcí Avro/Protobuf do sql/api
• SPARK-49087 Rozlišení nevyřešených funkcí volání interních funkcí
• SPARK-50422 Uveďte Parameterized SQL queries z SparkSession.sql API do obecné dostupnosti
• SPARK-49249 Doprovodná žádost o přijetí změn pro přidání nové výchozí konfigurace správce artefaktů v PySparku na seznam povolení
• SPARK-50366 Izolace uživatelem definovaných značek na úrovni vlákna pro SparkSession v klasickém prostředí
• SPARK-49436 Běžné rozhraní pro SQLContext
• SPARK-51551 Pro algoritmus ladění povolte použití ukládání a načítání k nahrazení mezipaměti.
• SPARK-51599 Optimalizace ps.read_excel pro velké excelové soubory
• SPARK-51118 Oprava funkce ExtractPythonUDFs pro kontrolu propojených vstupních typů UDF pro záložní použití.
• SPARK-50395 Oprava chybné syntaxe identifikátoru URI ve Windows
• SPARK-50708 Odstranění prostředků artefaktů v ArtifactManager GC instance
• SPARK-51076 Šipka UDF pro vstupní a výstupní typy UDT v Pythonu
• SPARK-50243 Zavaděč tříd uložený v mezipaměti pro ArtifactManager
• SPARK-49249 Izolace artefaktů v klasickém Sparku
• SPARK-50821 Upgrade Py4J z verze 0.10.9.8 na 0.10.9.9
• SPARK-51591 Oprava chyby ThreadPoolExecutor v denním testu Pythonu 3.13
• SPARK-40353 Oprava neshody s možnou hodnotou null indexu v ps.read_excel
• SPARK-42746 Implementace funkce LISTAGG
• SPARK-50102 Přidání potřebných záplat pro chybějící veřejné metody SQL.
• SPARK-50513 Oddělit EncoderImplicits od SQLImplicits a poskytnout pomůckový objekt uvnitř StatefulProcessor
• SPARK-51567 Opravit DistributedLDAModel.vocabSize
• SPARK-49569 Přidání mezivrstvy pro podporu SparkContext a RDD
• SPARK-51473 Transformovaný datový rámec ML uchovává odkaz na model.
• SPARK-51340 Odhad velikosti modelu
• SPARK-51474 Nevkládejte redundantní ColumnarToRowExec pro uzel, který podporuje jak sloupcový, tak řádkový výstup.
• SPARK-51445 Změňte nikdy nezměněné var na val
• SPARK-50618 Využít analyzátor více pomocí tříd DataFrameReader a DataStreamReader
• SPARK-51097 Znovu zavést metriky instance poslední nahrané verze snímku stavového úložiště RocksDB
• SPARK-49418 Místní hodnoty sdíleného vlákna relace
• SPARK-50096 Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
• SPARK-50264 Přidání chybějících metod do Objektu DataStreamWriter
• SPARK-49434 Přesun agregátorů do sql/api
• SPARK-51451 Opravit ExtractGenerator tak, aby čekal na vyřešení UnresolvedStarWithColumns
• SPARK-49416 Přidání sdíleného rozhraní DataStreamReader
• SPARK-49429 Přidání sdíleného rozhraní DataStreamWriter
• SPARK-49282 Vytvořte sdílené rozhraní SparkSessionBuilder.
• SPARK-49415 Přesun sqlImplicit do sql/api
• SPARK-51443 Opravení singleVariantColumn v DSv2 a readStream.
• SPARK-49369 Přidání implicitních převodů sloupců
• SPARK-49417 Přidání sdíleného rozhraní StreamingQueryManager
• SPARK-51079 Podpora velkých typů proměnných v knihovně pandas UDF, createDataFrame a toPandas pomocí šipky
• SPARK-51277 Implementace bez-argumentové funkce uživatelsky definované v Pythonu optimalizovaná pomocí Apache Arrow
• SPARK-50601 Podpora withColumns / withColumnsRenamed v poddotazech
• SPARK-49479 Zrušení nedémonického vlákna časovače při zastavení BarrierCoordinatoru
• SPARK-51379 Přesunutí konečné agregace treeAggregate z ovladače na exekutor
• SPARK-49712 Odebrání kodéruFor z connect-client-jvm
• SPARK-49424 Konsolidace kodérů.scala
• SPARK-49574 Zakázání nefunkčních testů rozdílového sdílení pro hlavní server
• SPARK-51409 Přidání klasifikace chyb do procesu vytváření záznamů o změnách
• SPARK-49568 Odebrání vlastního typu z datové sady
• SPARK-51433 Změna vydávacího skriptu pro vydání pyspark-client
• SPARK-51422 Eliminace výměny dat JVM-Python v CrossValidatoru
• SPARK-51425 Přidání klientského rozhraní API pro nastavení vlastního operation_id
• SPARK-49284 Vytvoření sdíleného rozhraní katalogu
• SPARK-50855 Podpora služby Spark Connect pro TransformWithState v jazyce Scala
• SPARK-50694 Podpora přejmenování v poddotazech
• SPARK-50880 Přidání nové metody visitBinaryComparison do nástroje V2ExpressionSQLBuilder
• SPARK-51282 Optimalizace transformace OneVsRestModel odstraněním výměny dat JVM-Python
• SPARK-51079 Podpora velkých typů proměnných v knihovně pandas UDF, createDataFrame a toPandas pomocí šipky
• SPARK-51383 Vyhněte se volání RPC, pokud se klienti už označují jako zastavení
• SPARK-51227 Oprava připojení PySpark _minimum_grpc_version k verzi 1.67.0
• SPARK-51362 Změna toJSON pro použití rozhraní NEXTIterator API k odstranění závislostí sousedních záznamů
• SPARK-51375 Potlačení SparkConnect(Execution|Session)Manager.periodicMaintenance zpráv protokolu
• SPARK-50393 Zavedení společného TableArg pro Spark Classic a Spark Connect
• SPARK-50133 Podpora převodu datového rámce na argument tabulky v klientovi Python Connect pro Spark
• SPARK-49574 ExpressionEncoder sleduje AgnosticEncoder, který ho vytvořil.
• SPARK-49422 Přidání funkce groupByKey do sql/api
• SPARK-51381 Zobrazit Session ID na Spark Connect Session stránce
• SPARK-51316 Povolit dávky Arrow v bajtech místo počtu řádků
• SPARK-50134 Podpora rozhraní API datového rámce pro poddotazy SCALAR a EXISTS v nástroji Spark Connect
• SPARK-50392 Převod datového rámce na argument tabulky v klasickém Sparku
• SPARK-50553 Vyvolání InvalidPlanInput zprávy o neplatném plánu
• SPARK-51322 Lepší chybová zpráva pro výraz poddotazu pro streamování
• SPARK-51281 DataFrameWriterV2 by měl respektovat možnost cesty
• SPARK-50856 Podpora služby Spark Connect pro TransformWithStateInPandas v Pythonu
• SPARK-51333 Rozbalit InvocationTargetException vyvolaný invokeMethod
• SPARK-50134 Podpora rozhraní API DataFrame pro laterální spojení ve Spark Connect
• SPARK-51083 Upravit JavaUtils tak, aby nepohlcovala InterruptedExceptions
• SPARK-49413 Vytvoření sdíleného rozhraní RuntimeConfig (následné)
• SPARK-49413 Vytvoření sdíleného rozhraní RuntimeConfig
• SPARK-50993 Přesunout nullDataSourceOption z QueryCompilationErrors do QueryExecutionErrors
• SPARK-51329 Přidání numFeatures pro modely clusteringu
• SPARK-51305 Zlepšit SparkConnectPlanExecution.createObservedMetricsResponse
• SPARK-51097 Přidání metrik instance úložiště stavů pro poslední nahranou verzi snímku v RocksDB
• SPARK-49425 Vytvořit sdílený DataFrameWriter
• SPARK-50655 Přesunout mapování související s virtuální sloupcovou rodinou do databázové vrstvy místo kodéru
• SPARK-48530 Podpora místních proměnných ve skriptování SQL
• SPARK-51284 Oprava spuštění skriptu SQL pro prázdný výsledek
• SPARK-49085 Odebrání speciálního casingu pro funkce Protobuf v connect
• SPARK-50881 Pokud je to možné, použijte schéma uložené v mezipaměti v dataframe.py připojení.
• SPARK-51275 Propagace session v Pythonu pro čtení a zápis
• SPARK-51109 CTE ve výrazu poddotazu jako seskupovací sloupec
• SPARK-50598 Přidání parametrů pro pozdější implementaci rekurzivních objektů CTE
• SPARK-51202 Předání relace v meta algoritmech zapisovačů Pythonu
• SPARK-51215 Přidání pomocné funkce pro vyvolání pomocného modelu attr
• SPARK-51214 Neodstraňujte modely uložené v mezipaměti pro fit_transform
• SPARK-51237 Přidání podrobností rozhraní API pro nové pomocné funkce transformWithState APIs
• SPARK-51192 Zveřejnění processWithoutResponseObserverForTesting v SparkConnectPlanner
• SPARK-51217 Optimalizace konstruktoru pomocného modelu ML
• SPARK-51218 Vyhněte se mapám nebo flatMap v nondeterministicExpressionCollection
• SPARK-50953 Přidání podpory pro jiné než literální cesty v modulu VariantGet
• SPARK-50132 Přidání API DataFrame pro laterální spojení
• SPARK-51190 Oprava TreeEnsembleModel.treeWeights
• SPARK-50945 Podpora Summarizeru a SummaryBuilderu na Connect
• SPARK-51142 Vyčištění protobufů ML
• SPARK-51139 Upřesnit třídu chyb MLAttributeNotAllowedException
• SPARK-51080 Oprava uložení a načtení pro PowerIterationClustering
• SPARK-51100 Nahraďte obálky transformátorů vztahy atributů pomocného modelu
• SPARK-51091 Oprava výchozích parametrů StopWordsRemover
• SPARK-51089 Podpora VectorIndexerModel.categoryMaps při připojení
• SPARK-50954 Podpora pro přepsání cesty modelu na klientské straně u meta algoritmů
• SPARK-50975 Podpora CountVectorizerModel.from_vocabulary při připojení
• SPARK-50958 Podpora Word2VecModel.findSynonymsArray při připojení
• SPARK-50930 Podpora PowerIterationClustering na Connect
• SPARK-51157 Přidejte chybějící anotaci Scala pro API funkcí Scala
• SPARK-51155 Umožněte SparkContext zobrazit celkovou dobu běhu po zastavení
• SPARK-51143 Připnout plotly<6.0.0 a torch<2.6.0
• SPARK-50949 Představení pomocného modelu pro podporu StringIndexModel.from_labels_xxx
• SPARK-51131 Vyvolání výjimky při nalezení skriptu SQL uvnitř EXECUTE IMMEDIATE příkazu
• SPARK-51078 Oprava volání py4j v StopWordsRemover
• SPARK-50944 Podpora pro KolmogorovSmirnovTest na Connect
• SPARK-50602 Oprava transpozice, aby se při zadání neplatných sloupců indexu zobrazila správná chybová zpráva
• SPARK-50943 Podpora Correlation na Connect
• SPARK-50234 Vylepšete chybovou zprávu a proveďte testování operace transpozice v rozhraní API pro datový rámec
• SPARK-50942 Podpora na Connect
• SPARK-48353 Úvod k mechanismu zpracování výjimek ve skriptování SQL
• SPARK-51043 Podrobné protokolování uživatelů pro Spark Connect foreachBatch
• SPARK-50799 Zpřesnění dokumentačního řetězce u rlike, délky, octet_length, bit_length a transform.
• SPARK-51015 Podpora RFormulaModel.toString na Connect
• SPARK-50843 Podpora vrácení nového modelu z existujícího modelu
• SPARK-50969 Opravit GaussianMixtureModel.gaussians připojení
• SPARK-50899 Podpora pro PrefixSpan při připojení
• SPARK-51060 Podpora na Connect
• SPARK-50974 Přidání podpory foldCol pro CrossValidator při připojení
• SPARK-50922 Podpora OneVsRest on Connect
• SPARK-50812 Přidání podpory PolynomialExpansion
• SPARK-50923 Podpora FMClassifier a FMRegressor na Connectu
• SPARK-50918 Refaktoring čtení a zápisu pro pipeline
• SPARK-50938 Podpora VectorSizeHint a VectorSlicer v Connectu
• SPARK-51005 Podpora VectorIndexer a ElementwiseProduct na Connect
• SPARK-51014 Podpora RFormula při připojení
• SPARK-50941 Přidání podpory pro TrainValidationSplit
• SPARK-51004 Přidání podpory pro IndexString
• SPARK-51003 Podpora modelů LSH ve službě Connect
• SPARK-50924 Podpora AFTSurvivalRegression a IsotonicRegression na Connect
• SPARK-50921 Podpora MultilayerPerceptronClassifier na Connect
• SPARK-50995clusterCenters Podpora pro KMeans a BisectingKMeans
• SPARK-50940 Přidává podporu CrossValidator/CrossValidatorModel při připojení.
• SPARK-50929 Podpora na LDA Connect
• SPARK-50925 Podpora GeneralizedLinearRegression ve službě Connect
• SPARK-50988 Oprava nekonzistencí uid pro estimátor a model
• SPARK-50989 Podpora NGramu, normalizátoru a interakce při připojení
• SPARK-50937 Podpora na Connect
• SPARK-51049 Zvýšení prahové hodnoty vstupně-výstupních operací vektoru S3A pro sloučení rozsahů
• SPARK-50812 Podpora TargetEncoderModel na Connectu
• SPARK-50920 Podpora NaiveBayes na platformě Connect
• SPARK-50936 Podpora hashingTF, IDF a FeatureHasher při připojení
• SPARK-50934 Podpora CountVectorizer a OneHotEncoder ve službě Connect
• SPARK-49287 Přesun tříd streamování do sql/api
• SPARK-50932 Podpora Bucketizeru při připojení
• SPARK-50933 Podpora výběru funkcí na Connectu
• SPARK-50931 Podpora Binarizeru při připojení
• SPARK-50935 Podpora DCT při připojení
• SPARK-50963 Podpora tokenizátorů, SQLTransform a StopWordsRemover při připojení
• SPARK-50928 Podpora GaussianMixture v Connect
• SPARK-49383 Podpora API pro transponování datového rámce
• SPARK-50939 Podpora Aplikace Word2Vec při připojení
• SPARK-49249 Přidání nových rozhraní API souvisejících se značkami ve službě Connect back to Spark Core
• SPARK-50919 Podpora linearSVC při připojení
• SPARK-50883 Podpora změny více sloupců ve stejném příkazu
• SPARK-50918 Kanál podpory při připojení
• SPARK-50826 Přepracování způsobu zpracování ALLOWED_ATTRIBUTES
• SPARK-49427 Vytvoření sdíleného rozhraní pro MergeIntoWriter
• SPARK-49414 Přidání rozhraní Shared DataFrameReader
• SPARK-50948 Přidání podpory pro StringIndexer a PCA na Connect
• SPARK-50901 Podpora transformátoru VectorAssembler
• SPARK-50879 Podpora škálovačů funkcí ve službě Connect
• SPARK-50130 Přidání rozhraní API datového rámce pro skalární a existující poddotazy
• SPARK-50075 Přidání rozhraní API datového rámce pro funkce s hodnotami tabulky
• SPARK-49426 Vytvoření sdíleného rozhraní pro DataFrameWriterV2
• SPARK-50898 Podpora FPGrowth při připojení
• SPARK-50844 Umožněte načítání modelu pomocí služby ServiceLoader při načítání
• SPARK-50884 Podpora isLargerBetter v vyhodnocovače
• SPARK-50959 Zachycení výjimky JavaWrapperu
• SPARK-50558 Představení simpleStringu pro ExpressionSet
• SPARK-49422 Vytvoření sdíleného rozhraní pro KeyValueGroupedDataset
• SPARK-50878 Podpora ALS ve službě Connect
• SPARK-50897 Zabránění vytváření instancí v ServiceLoaderu
• SPARK-50877 Podpora KMeans a BisectingKMeans v rámci připojení
• SPARK-50876 Podpora regresorů stromů na Connectu
• SPARK-50874 Podpora LinearRegression při připojení
• SPARK-50869 Vyhodnocovače podpory ve službě ML Connect
• SPARK-50851 Vyjádření parametrů Express ML pomocí proto.Expression.Literal
• SPARK-50825 Podpora klasifikátorů stromu ve službě ML Connect
• SPARK-50827 Podpůrný plugin
• SPARK-49907 Podpora spark.ml ve službě Connect
• SPARK-50968 Oprava používání Column.__new__
• SPARK-49028 Vytvořit sdílenou SparkSession
• SPARK-49421 Vytvoření sdíleného rozhraní RelationalGroupedDataset
• Spark-50804 to_protobuf() by neměl vyvolat chybu MatchError
• SPARK-50900 Přidání vectorUDT a MatrixUDT do protoDataTypes
• SPARK-50579 Opravit truncatedString
• SPARK-50875 Přidání kolací RTRIM do TVF
• SPARK-49420 Přidání sdíleného rozhraní pro DataFrameNaFunctions
• SPARK-50669 Změnit podpis výrazu TimestampAdd
• SPARK-46615 Podpora s.c.immutable.ArraySeq v ArrowDeserializers
• SPARK-49423 Konsolidace pozorování v sql/api
• SPARK-49086 Přesun registrace funkce ML do SparkSessionExtensions
• SPARK-49419 Vytvoření sdílených funkcí DataFrameStatFunctions
• SPARK-50735 Selhání v ExecuteResponseObserver vede k nekonečným opakovaným požadavkům na připojení.
• SPARK-50522 Podpora nejednoznačné kolace
• SPARK-50893 Označte UDT. Volitelný datový typ
• SPARK-50685 Vylepšení výkonu Py4J využitím getattr
• SPARK-50742 Odebrat spark.hadoop.fs.s3a.connection.establish.timeout nastavení
• SPARK-50714 Povolení vývoje schématu pro TransformWithState při použití kódování Avro
• SPARK-49029 Vytvoření sdíleného rozhraní datové sady
• SPARK-50263 Nahradit System.currentTimeMillis čím System.nanoTime
• SPARK-50525 Definice pravidla optimalizátoru InsertMapSortInRepartitionExpressions
• SPARK-50561 Zlepšení převodu typů a kontroly hranic pro funkci UNIFORM SQL
• SPARK-50707 Povolení přetypování na/z char/varchar
• SPARK-49027 Sdílení rozhraní API sloupců mezi třídou a Connectem
• SPARK-49632 Odebrání návrhu konfigurace ANSI v CANNOT_PARSE_TIMESTAMP
• SPARK-50529 Změna chování char/varchar v konfiguraci
• SPARK-50600 Nastavení analyzovaných při selhání analýzy
• SPARK-50789 Vstupy pro typové agregace by se měly analyzovat.
• SPARK-49025 Zajistit nezávislost implementace sloupce
• SPARK-50738 Aktualizovat Black na 23.12.1
• SPARK-49883 Integrace struktury kontrolních bodů úložiště stavů v2 se službou RocksDB
• SPARK-50778 Přidání metadataColumn do datového rámce PySpark
• SPARK-49565 Vylepšit automaticky generované aliasy výrazů pomocí SQL operátorů pipe
• SPARK-50772 Zachování aliasů tabulky po SET operátorech EXTEND, DROP
• SPARK-50690 Oprava nesrovnalostí v uvádění výstupu dotazu zobrazení DESCRIBE TABLE
• SPARK-50675 Podpora kolací na úrovni tabulek a zobrazení
• SPARK-50480 Rozšíření typu CharType a VarcharType z stringType
• SPARK-50715SparkSession.Builder nastaví konfigurace hromadně.
• SPARK-50693 Vstupy pro TypedScalaUdf by se měly analyzovat.
• SPARK-50710 Přidání podpory pro volitelné připojení klienta k relacím po vydání
• SPARK-50596 Upgrade Py4J z verze 0.10.9.7 na 0.10.9.8
• SPARK-50661 Přidání zpětné kompatibility pro starý klient FEB.
• SPARK-50515 Přidání rozhraní jen pro čtení do SparkConf
• SPARK-50642 Oprava schématu stavu pro FlatMapGroupsWithState v připojení Sparku v případě, že neexistuje žádný počáteční stav
• SPARK-50702 Upřesnit dokumentační řetězce funkcí regexp_count, regexp_extract a regexp_extract_all
• SPARK-50692 Přidání podpory pushdown pro RPAD
• SPARK-50699 Parsování a generování řetězce DDL pro zadanou relaci
• SPARK-50573 Přidání ID schématu stavu do stavových řádků pro vývoj schématu
• SPARK-50311 Podpora rozhraní API pro PySpark
• SPARK-50661 Oprava implementace Spark Connect Scala foreachBatch. pro podporu datové sady[T].
• SPARK-50696 Optimalizace volání Py4J pro metodu analýzy DDL
• SPARK-50687 Optimalizace logiky pro získání stop výpisu zásobníku pro DataFrameQueryContext
• SPARK-50681 Uložení analyzovaného schématu pro MapInXXX a ApplyInXXX do mezipaměti
• SPARK-50578 Přidání podpory pro novou verzi metadat stavu pro TransformWithStateInPandas
• SPARK-50405 Správné zacházení s přetypováním tvaru kolace u složitých datových typů
• SPARK-50615 Odeslání varianty do skenování
• SPARK-50599 Vytvoření vlastnosti DataEncoder, která umožňuje kódování Avro a UnsafeRow
• SPARK-50076 Oprava klíčů protokolů
• SPARK-50339 Povolení protokolu změn pro ukládání informací o rodokmenu
• SPARK-50540 Oprava schématu řetězce pro StatefulProcessorHandle
• SPARK-50544 Implementovat StructType.toDDL
• SPARK-50528 Přechod InvalidCommandInput na společný modul
• SPARK-50063 Přidání podpory varianty v klientovi Spark Connect Scala
• SPARK-50310 Přidání příznaku pro zakázání prvku DataFrameQueryContext pro PySpark
• SPARK-50310 Přidání příznaku pro zakázání prvku DataFrameQueryContext pro PySpark
• SPARK-50032 Povolit použití plně kvalifikovaného názvu kolace
• SPARK-50466 Vylepšení dokumentace pro řetězcové funkce – část 1
• SPARK-49676 Přidání podpory řetězení operátorů v transformWithStateInPandas API
• SPARK-50081 Podpora Codegen pro XPath*(voláním a modulem RuntimeReplaceable)
• SPARK-46725 Přidání funkce DAYNAME
• SPARK-50067 Podpora Codegenu pro SchemaOfCsv (použitím Invoke a RuntimeReplaceable)
• SPARK-49873 oprava selhání po sloučení při testování chyb
• SPARK-50270 Přidání vlastních metrik stavu pro TransformWithStateInPandas
• SPARK-50381 Podpora spark.master.rest.maxThreads
• SPARK-50427 Zveřejnění configure_logging jako veřejného rozhraní API
• SPARK-50173 Zajištění, aby výrazy pandas přijímaly více datových typů
• SPARK-50169 Zlepšení výkonu RegExpReplace
• SPARK-50238 Přidání podpory pro varianty v UDF/UDTF/UDAF v PySparku a UC UDF v Pythonu
• SPARK-50190 Odebrání přímé závislosti Numpy z Histogramu
• SPARK-50183 Sjednocení interních funkcí pro rozhraní Pandas API a PySpark Plotting
• SPARK-50170 Přesunout _invoke_internal_function_over_columns na pyspark.sql.utils
• SPARK-50036 Zahrnutí SPARK_LOG_SCHEMA do kontextu prostředí REPL
• SPARK-50141 Umožnit lpad a rpad přijmout argumenty typu Column
• SPARK-49954 Podpora Codegen pro SchemaOfJson (voláním a modulem RuntimeReplaceable)
• SPARK-50098 Upgrade minimální verze googleapis-common-protos na verzi 1.65.0
• SPARK-50059 Kontrola kompatibility rozhraní API pro vstupně-výstupní operace strukturovaného streamování
• SPARK-50241 Nahraďte NullIntolerant Mixin metodou Expression.nullIntolerant
• SPARK-49849 Kontrola kompatibility rozhraní API pro správu dotazů strukturovaného streamování
• SPARK-49851 Kontrola kompatibility rozhraní API pro Protobuf
• SPARK-49850 Kontrola kompatibility rozhraní API pro Avro
• SPARK-50039 Kontrola kompatibility rozhraní API pro seskupování
• SPARK-50023 Kontrola kompatibility rozhraní API pro Funkce
• SPARK-50030 Kontrola kompatibility rozhraní API pro okno
• SPARK-50002 Kontrola kompatibility rozhraní API pro vstupně-výstupní operace
• SPARK-49848 Kontrola kompatibility rozhraní API pro katalog
• SPARK-50022 Oprava MasterPage skrytí odkazů uživatelského rozhraní aplikace, když je uživatelské rozhraní zakázané
• SPARK-50021 Oprava ApplicationPage skrytí odkazů uživatelského rozhraní aplikace, když je uživatelské rozhraní zakázané
• SPARK-49990 Zlepšení výkonu randStr
• SPARK-50380 Změna pořadí AssociativeOperator by měla respektovat smlouvu v ConstantFolding
• SPARK-50330 Přidejte nápovědy k uzlům řazení a oken
• SPARK-49609 Přidání kontroly kompatibility rozhraní API mezi klasickým rozhraním a připojením
• SPARK-49773 Nezachycená výjimka Java kvůli špatnému časovému pásmu z make_timestamp()
• SPARK-49345 Ujistěte se, že používáte aktuální spuštěnou relaci Sparku.
• SPARK-49368 Vyhněte se přímému přístupu ke třídám protobuf lite
• SPARK-50056 Podpora generování kódu pro ParseUrl (voláním a modulem RuntimeReplaceable)
• SPARK-49119 Oprava nekonzistence syntaxe show columns mezi v1 a v2
• SPARK-50144 Řešení omezení výpočtu metrik se zdroji streamování DSv1
• SPARK-49962 Zjednodušení hierarchie tříd AbstractStringTypes
• SPARK-50327 Vynést rozlišení funkce pro opětovné použití v analyzátoru s jedním průchodem
• SPARK-48775 Nahradit SQLContext SparkSession v STS
• SPARK-50325 Vyčlenit rozlišení aliasů k opětovnému použití v jednoprieskovém analyzátoru
• SPARK-48123 Zadání schématu konstantní tabulky pro dotazování strukturovaných protokolů
• SPARK-500555 Přidání alternativního nástroje TryMakeInterval
• SPARK-49312 Zlepšení chybové zprávy pro assertSchemaEqual
• SPARK-38912 Odebrat komentář týkající se classmethod a property.
• SPARK-50112 Povolení operátoru TransformWithState používat kódování Avro
• SPARK-50260 Refaktoring a optimalizace řízení spouštění a správy relací ve Spark Connect
• SPARK-50196 Oprava kontextu chyby Pythonu pro použití správného kontextu
• SPARK-50167 Vylepšení vykreslování chybových zpráv a importů PySpark
• SPARK-50085 Ujistěte se, že lit(ndarray) s np.int8 respektuje datový typ numpy
• SPARK-50273 Vylepšení protokolování pro případy získání a vydání zámku RocksDB
• SPARK-50163 Oprava extra uvolnění acquireLock v RocksDB kvůli listeneru dokončení
• SPARK-49770 Vylepšení správy mapování souborů SST rocksDB a oprava potíží s opětovným načtením stejné verze s existujícím snímkem
• SPARK-50232 Přidání 'protobuf==5.28.3' v dev/requirements.txt
• SPARK-50231 Upravte funkci, aby přijímala sloupec instrsubstring
• SPARK-50028 Nahrazení globálních zámků v posluchači serveru Spark Connect jemně rozlišenými zámky
• SPARK-50077 Zavedení nového objektu vzoru pro LogicalRelation, který pomáhá vyhnout se výchozímu vzoru úplných parametrů
• SPARK-50128 Přidání rozhraní API pro zpracování stavových procesorů pomocí implicitních kodérů v jazyce Scala
• SPARK-49411 Komunikace ID kontrolního bodu úložiště stavu mezi ovladači a stavovými operátory
• SPARK-50054 Podpora grafů histogramů
• SPARK-49854 Nekopírovat knihovny clusteru při klonování Správce artefaktů
• SPARK-50071 Přidání try_make_timestamp(_ltz a _ntz) a souvisejících testů
• SPARK-50024 Přepnutí na použití logovacího nástroje místo modulu upozornění v klientu
• SPARK-50174 Odstranění faktoru z UnresolvedCatalogRelation rozlišení
• SPARK-49734 Přidání seed argumentu pro funkci shuffle
• SPARK-49943 Odebrat timestamp_ntz_to_long z PythonSQLUtils
• SPARK-49945 Přidání aliasu pro distributed_id
• SPARK-49755 Odebrání speciálního zpracování pro avro funkce v Connect
• SPARK-49805 Odebrání privátních[xxx] funkcí z function.scala
• SPARK-49929 Podpora krabicových grafů
• SPARK-49767 Přepracování interního volání funkce
• SPARK-49939 Podpora codegenu pro json_object_keys (voláním a modulem RuntimeReplaceable)
• SPARK-49854 Naklonovat správce artefaktů během klonování relace
• SPARK-49766 Podpora Codegen pro json_array_length (od Invoke a RuntimeReplaceable)
• SPARK-49540 Sjednocení využití distributed_sequence_id
• SPARK-50046 Výpočet vodoznaku pomocí stabilního pořadí uzlu EventTimeWatermark
• SPARK-50031 Přidání výrazu TryParseUrl
• SPARK-49202 Použít ArrayBinarySearch pro histogram
• SPARK-49811 Přejmenovat StringTypeAnyCollation
• SPARK-50106 Upgrade protobuf balíčku Pythonu na verzi 5.28.3
• SPARK-49203 Přidání výrazu pro java.util.Arrays.binarySearch
• SPARK-50090 Refaktoring ResolveBinaryArithmetic pro oddělení transformace s jedním uzlem
• SPARK-49103 Podpora spark.master.rest.filters
• SPARK-49222 Vymazání nepoužitých metod v QueryCompilationErrors
• SPARK-50062 Podpora kolací podle InSet
• SPARK-50035 Přidání podpory pro explicitní funkci handleExpiredTimer v části stavového procesoru
• SPARK-50050 Umožnit lit přijmout str a bool typ numpy ndarray
• SPARK-50051 Zajistit, aby lit fungoval s prázdným numpy ndarray
• SPARK-49857 Přidání úrovně úložiště do API localCheckpoint u datové sady
• SPARK-48749 Zjednodušení operátoru UnaryPositive a eliminace jeho pravidel v rámci Catalyst pomocí RuntimeReplaceable.
• SPARK-50058 Vytěžit normalizační funkce plánu pro pozdější použití v testování analyzátoru s jedním průchodem
• SPARK-50042 Aktualizace numpy 2 pro pythonovský linter
• SPARK-50052 Nastavení NumpyArrayConverter podporuje prázdné str ndarray
• SPARK-49126 Přesunout spark.history.ui.maxApplications definici konfigurace do History.scala
• SPARK-50044 Upřesnění dokumentace více matematických funkcí
• SPARK-48782 Přidání podpory pro provádění procedur v katalogech
• SPARK-48773 Konfigurace dokumentu Spark.default.parallelism podle architektury tvůrce konfigurace
• SPARK-49876 Zbavte se globálních zámků ze služby Spark Connect Service
• SPARK-48480 StreamQueryListener by neměl mít vliv na spark.interrupt()
• SPARK-49978 Upozornění na vyřazení SparkR do doby připojení balíčku
• SPARK-48549 Vylepšení funkce SQL sentences
• SPARK-49956 Zakázaná kolace s výrazem collect_set
• SPARK-49974 Přesuňte resolveRelations(...) z Analyzer.scala
• SPARK-49067 Přesunutí literálu utf-8 do interních metod třídy UrlCodec
• SPARK-49393 Standardní selhání v zastaralých API pro pluginy katalogu
• SPARK-49918 Použijte přístup k SparkContext konfiguraci pouze pro čtení, pokud je to vhodné.
• SPARK-49924 Zachovat containsNull po ArrayCompact nahrazení
• SPARK-49895 Zlepšení chyby při výskytu koncové čárky v SELECT klauzuli
• SPARK-49890 Extrahování přípravy souboru df.sample do nadřazené třídy
• SPARK-49810 Příprava DataFrame.sort přesunuta do nadřazené třídy
• SPARK-49405 Omezení znakových sad v JsonOptions
• SPARK-49542 Chyba při vyhodnocování výjimky přeměny rozdělení
• SPARK-47172 Přidání podpory pro AES-GCM pro šifrování RPC
• SPARK-44914 Oprava HadoopConfUtilsSuite po vyřazení xercesImpl
• SPARK-47496 Podpora java SPI pro dynamické registraci dialektu JDBC
• SPARK-48961 Nastavení pojmenování parametru PySparkException v souladu s JVM
• SPARK-47390 Zpracování mapování časových razítek SQL pro Postgres a MySQL
• SPARK-49824 Vylepšení protokolování ve SparkConnectStreamingQueryCache
• SPARK-49894 Upřesnění řetězcového znázornění operací polí sloupců
• SPARK-49836 Oprava pravděpodobně přerušeného dotazu, když se okno zadá do okna nebo session_window fn
• SPARK-49531 Podpora spojnicového grafu s backendem Plotly
• SPARK-48780 Zobecnění chyb v NamedParametersSupport pro zpracování funkcí a procedur
• SPARK-49026 Přidat ColumnNode do převodu Proto
• SPARK-49814 Po spuštění klienta Spark Connect zobrazte spark version ikonu connect server
• SPARK-49246 TableCatalog#loadTable by měl indikovat, jestli jde o zápis
• SPARK-49749 Změna úrovně protokolu pro ladění v BlockManagerInfo
• SPARK-48303 Reorganizovat LogKeys
• SPARK-48112 Zpřístupnění relace v SparkConnectPlanner pro pluginy
• SPARK-45919 Zjednodušení definice třídy Java pomocí Javy 16 record
• SPARK-48126 Udělat spark.log.structuredLogging.enabled efektivním
• SPARK-49656 Přidání podpory stavových proměnných s typy kolekce hodnot a možnostmi kanálu změn pro čtení
• SPARK-49323 Přesunutí mockObserveru z testovací složky serveru Spark Connect Server do hlavní složky serveru
• SPARK-49772 Odstranit ColumnFamilyOptions a přidat konfigurace přímo do dbOptions v RocksDB
• SPARK-49688 Oprava datového závodu mezi přerušením a spuštěním plánu
• SPARK-49585 Nahrazení mapy vykonávání v SessionHolderu nastavením operationID
• SPARK-49684 Minimalizace životnosti zámku obnovení relace
• SPARK-48857 Omezení znakových sad v souborech CSVOptions
• SPARK-48615 Vylepšení výkonu pro parsování šestnáctkového řetězce
• SPARK-49719 Umožnit UUID a SHUFFLE přijímat celá čísla seed
• SPARK-49713 Přijmout číselné argumenty funkce count_min_sketch
• SPARK-48623 Migrace strukturovaného protokolování [část 3]
• SPARK-48541 Přidání nového ukončovacího kódu pro exekutory ukončené TaskReaperem
• SPARK-48627 Vylepšení výkonu binárního souboru na HEX_DISCRETE řetězec
• SPARK-49226 Vyčištění generování kódu UDF
• SPARK-49673 Zvyšte CONNECT_GRPC_ARROW_MAX_BATCH_SIZE na 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• SPARK-49307 Přidání serializace Kryo do rámce agnostického kodéru
• SPARK-48601 Poskytnutí uživatelsky přívětivější chybové zprávy při nastavení hodnoty null pro možnost JDBC
• SPARK-42252 Přidání spark.shuffle.localDisk.file.output.buffer a vyřazení spark.shuffle.unsafe.file.output.buffer
• SPARK-49505 Vytvoření nových funkcí SQL "randstr" a "uniform" pro generování náhodných řetězců nebo čísel v rámci rozsahů
• SPARK-48341 Umožnit pluginům používat QueryTest ve svých testech
• SPARK-48374 Podpora dalších typů sloupců PyArrow Table
• SPARK-49412 Výpočet všech metrik krabicového diagramu v jediné úloze
• SPARK-49684 Odebrání globálních zámků z správců relací a spouštění
• SPARK-49225 Přidání ColumnNode SQL a normalizovat
• SPARK-49274 Podpora kodérů založených na serializaci v javě
• SPARK-49089 Přesunutí pevně zakódovaných výrazů Catalyst do registru interních funkcí
• SPARK-48185 Oprava nedostupné symbolické referenční třídy: class sun.util.calendar.ZoneInfo
• SPARK-48037 Oprava nedostatku metrik pro zápis shuffle v sortShuffleWriter, což může vést k nepřesným údajům
• SPARK-49534 Už se nepřidává na začátek sql/hive a sql/hive-thriftserver, pokud spark-hive_xxx.jar není v classpathu
• SPARK-49502 Vyhněte se NPE ve SparkEnv.get.shuffleManager.unregisterShuffle
• SPARK-49567 Použijte classic místo vanilla v základu kódu PySpark
• SPARK-49582 Vylepšení nástroje dispatch_window_method a docstring
• SPARK-49478 Zpracování metrik null v ConnectProgressExecutionListener
• SPARK-49525 Menší vylepšení protokolu pro ListenerBus naslouchající dotazování streamingu na straně serveru
• SPARK-49544 Nahrazení hrubého zamykání ve SparkConnectExecutionManageru pomocí ConcurrentMap
• SPARK-49548 Nahrazení hrubého zamykání ve SparkConnectSessionManageru pomocí ConcurrentMap
• SPARK-49004 Použití samostatného registru pro interní funkce rozhraní Column API
• SPARK-49443 Implementace výrazu to_variant_object a u výrazů schema_of_variant zajistit, aby zobrazily OBJECT pro variantní objekty
• SPARK-49595 Oprava DataFrame.unpivot/melt v klientovi Scala pro Spark Connect
• SPARK-49526 Podpora cest ve stylu Windows v ArtifactManageru
• SPARK-49396 Úprava kontroly nulovosti pro výraz CaseWhen
• SPARK-49024 Přidání podpory funkcí do uzlu sloupce
• SPARK-48985 Připojit kompatibilní konstruktory výrazů
• SPARK-49083 Povolit from_xml a from_json nativně pracovat se schématy JSON
• SPARK-48986 Přidání zprostředkující reprezentace ColumnNode
• SPARK-48960 Umožňuje, aby spark-submit fungoval s připojením Sparku.
• SPARK-49492 Pokus o opětovné připojení k neaktivnímu executionHolderu
• SPARK-47307 Přidat konfiguraci pro volitelné rozdělení řetězců base64
• SPARK-49451 Povolit duplicitní klíče v parse_json
• SPARK-49021 Přidání podpory pro čtení proměnných stavových hodnot transformWithState pomocí čtečky stavového zdroje dat.
• SPARK-49249 Přidání addArtifact rozhraní API do Spark SQL Core
• SPARK-48693 Zjednodušení a sjednocení řetězce volání a statického volání
• SPARK-41982 Oddíly typu řetězce by neměly být považovány za číselné typy.
• SPARK-49216 Oprava, že nejde protokolovat kontext zpráv s explicitně vytvořeným LogEntry při vypnuté konfiguraci strukturovaného protokolování
• SPARK-49459 Podpora CRC32C pro Shuffle Checksum
• SPARK-49409 Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
• SPARK-49164 Oprava not NullSafeEqual v predikátu dotazu SQL ve vztahu JDBC
• SPARK-48344 Spouštění skriptů SQL (včetně Spark Connect)
• SPARK-49260 Už se nepředpojí cesta sql/core ke třídám modulu v prostředí Spark Connect Shell.
• SPARK-49041 Vyvolání správné chyby v dropDuplicates případě nesprávného subset zadání
• SPARK-49300 Oprava úniku delegačního tokenu v Hadoopu, když není nastavený tokenRenewalInterval
• SPARK-48796 Načíst ID rodiny sloupců z RocksDBCheckpointMetadata pro VCF při restartu
• SPARK-49269 Dychtivé vyhodnocení seznamu v AstBuilderu VALUES()
• SPARK-49336 Omezit úroveň vnoření při krácení zprávy protobuf
• SPARK-49245 Přepracování pravidel některých analyzátorů
• Základní implementace spark-48755 transformWithState pyspark a podpora ValueState
• SPARK-48762 Zavedení API DataFrameWriter s funkcí clusterBy pro Python
• SPARK-48967 Zlepšení výkonu a paměťové stopy "INSERT INTO ... VALUES" Příkazy
• SPARK-49195 Vložení logiky analýzy na úrovni skriptu do SparkSubmitCommandBuilder
• SPARK-49173 Změna výzvy prostředí Spark Connect z @ na scala>
• SPARK-49198 Vyřazení dalších souborů JAR požadovaných pro prostředí Spark Connect
• SPARK-48936 Umožňuje, aby spark-shell fungoval s připojením Sparku
• SPARK-49201 Znovu implementovat hist plot s pomocí Spark SQL
• SPARK-49111 Přesunutí withProjectAndFilter do příslušného objektu DataSourceV2Strategy
• SPARK-49185 Přepracovat kde vykreslení pomocí Spark SQL
• SPARK-48761 Představit rozhraní API DataFrameWriter pro clusterBy ve Scala
• SPARK-48628 Přidání metriky špičkové paměti pro úlohy na haldě i mimo ni.
• SPARK-48900 Přidání reason pole pro všechna interní volání pro zrušení úlohy nebo fáze
• SPARK-49076 Oprava zastaralých logical plan name komentářů v AstBuilderu
• SPARK-49059 Přechod SessionHolder.forTesting(...) na testovací balíček
• SPARK-48658 Kódování/dekódování funkcí hlásí chyby kódování místo mojibake
• SPARK-45891 Přidání podpory pro typy intervalů ve specifikaci varianty
• SPARK-49032 Přidejte cestu schématu do položky tabulky metadat a proveďte související test pro formát metadat operátoru verze 2
• SPARK-49009 Upravit API sloupců a funkce tak, aby přijímaly výčty
• SPARK-49035 Eliminace typeVar ColumnOrName_
• SPARK-48849 Create OperatorStateMetadataV2 pro operátor TransformWithStateExec
• SPARK-48974 Používejte SparkSession.implicits místo SQLContext.implicits
• SPARK-48996 Povolit prosté literály pro __and__ a __or__ sloupce
• SPARK-48928 Varování v protokolu pro volání .unpersist() na místně kontrolovaných sadách RDD
• SPARK-48972 Sjednocení zpracování literálových řetězců ve funkcích
• SPARK-48891 Přepracování StateSchemaCompatibilityChecker ke sjednocení všech formátů stavových schémat
• SPARK-48841 Zahrnout collationName do sql()Collate
• SPARK-48944 Sjednocení zpracování schématu ve formátu JSON na connect serveru
• SPARK-48945 Zjednodušení funkcí regulárních výrazů pomocí lit
• SPARK-48865 Přidání funkce try_url_decode
• SPARK-48851 Změna hodnoty SCHEMA_NOT_FOUND z namespace na catalog.namespace
• SPARK-48510 Oprava rozhraní UDAF toColumn API při spouštění testů v Mavenu
• SPARK-45190 Umožnit from_xml podporu schématu StructType
• SPARK-48900 Přidat reason pole pro cancelJobGroup a cancelJobsWithTag
• SPARK-48909 Použití SparkSession přes SparkContext při zápisu metadat
• SPARK-48510 Podpora rozhraní UDAF toColumn API ve Spark Connectu
• SPARK-45155 Přidání dokumentace k rozhraní API pro klienta JVM/Scala pro Spark Connect
• SPARK-48794 df.mergeInto pro Spark Connect (Scala a Python) podpora
• SPARK-48714 Implementace DataFrame.mergeInto v PySpark
• SPARK-48726 Vytvoření formátu souboru StateSchemaV3 pro operátor TransformWithStateExec
• SPARK-48834 Zakázat variantní vstup/výstup pro uživatelsky definované funkce v pythonu (UDFs), uživatelsky definované tabulkové funkce (UDTFs) a uživatelsky definované agregační funkce (UDAFs) během kompilace dotazu.
• SPARK-48716 Přidat jobGroupId do SparkListenerSQLExecutionStart
• SPARK-48888 Odebrání vytváření snímků na základě velikosti operací záznamu změn
• SPARK-48772 Režim čtení kanálu změn zdroje dat stavu
• SPARK-48742 Rodina virtuálních sloupců pro RocksDB
• SPARK-48852 Oprava funkce oříznutí řetězce v Connect
• SPARK-48343 Úvod interpreta skriptování SQL
• SPARK-48118 Podpora SPARK_SQL_LEGACY_CREATE_HIVE_TABLE proměnné env
• SPARK-48804 Přidání kontroly classIsLoadable a OutputCommitter.isAssignableFrom pro konfigurace tříd pro zpracování výstupu.
• SPARK-47577 Oprava zavádějícího použití klíče protokolu TASK_ID
• SPARK-48798 Zavedení spark.profile.render profilace založené na SparkSession
• SPARK-48686 Zvýšení výkonu ParserUtils.unescapeSQLString
• SPARK-48611 Protokol TID pro rozdělení vstupu v HadoopRDD a NewHadoopRDD
• SPARK-48720 Zarovnejte příkaz ALTER TABLE ... UNSET TBLPROPERTIES ... ve verzi v1 a v2
• SPARK-48710 Použití kompatibilních typů NumPy 2.0
• SPARK-48810 API pro zastavení relace by mělo být idempotentní.
• SPARK-48818 Zjednodušení percentile funkcí
• SPARK-48638 Přidání podpory ExecutionInfo pro datový rámec
• SPARK-48799 Refaktoring správy verzí pro metadata operátora pro čtení a zápis
• SPARK-46122 Nastavit spark.sql.legacy.createHiveTableByDefault na false výchozí
• SPARK-48629 Migrace zbytkového kódu do architektury strukturovaného protokolování
• SPARK-48320 Synchronizovat nejnovější protokolovací vlastnosti a testovací případy z open-source verze Spark.
• SPARK-48573 Aktualizovat verzi ICU
• SPARK-48687 Přidání ověřování schématu stavu a aktualizace ovladače ve fázi plánování pro stavové dotazy
• SPARK-47579 Migrace logInfo s proměnnými do architektury strukturovaného protokolování (ČÁST 1–4)
• SPARK-48713 Přidat kontrolu, zda index spadá do povoleného rozsahu pro UnsafeRow.pointTo, pokud je baseObject bajtové pole.
• SPARK-48498 Vždy provádět odsazení znaků v predikátech
• SPARK-48598 Šíření schématu uloženého v mezipaměti v operacích datového rámce
• SPARK-47599 MLLib: Migrace logWarn s proměnnými do architektury strukturovaného protokolování
• SPARK-48576 Přejmenování UTF8_BINARY_LCASE na UTF8_LCASE
• SPARK-48650 Zobrazení správného místa volání z IPython Notebooku
• SPARK-48059 Architektura strukturovaného protokolu na straně Javy
• Spark-48482 dropDuplicates a dropDuplicatesWithinWatermark by měly přijmout argumenty proměnné délky
• SPARK-48620 Oprava interního úniku nezpracovaných dat v YearMonthIntervalType a CalendarIntervalType
• SPARK-48555 Podpora použití sloupců jako parametrů pro několik funkcí
• SPARK-48591 Přidání pomocné funkce pro zjednodušení Column.py
• SPARK-48459 Implementace prvku DataFrameQueryContext v nástroji Spark Connect
• SPARK-48610 Refaktoring: místo OP_ID_TAG použijte pomocné idMap.
• SPARK-47923 Upgrade minimální verze arrow balíčku R na verzi 10.0.0
• SPARK-48593 Oprava řetězcové reprezentace funkce lambda
• SPARK-46947 Zpoždění inicializace správce paměti, dokud se nenačte modul plug-in Driver
• SPARK-48220 Povolení předávání tabulky PyArrow pro createDataFrame()
• SPARK-48564 Šíření schématu uloženého v mezipaměti v operacích sady
• SPARK-48561 Vyvolat PandasNotImplementedError pro nepodporované funkce vykreslování
• SPARK-48513 Přidání třídy chyb pro kompatibilitu schématu stavu
• SPARK-48553 Ukládání dalších vlastností do mezipaměti
• SPARK-48550 Přímé použití nadřazené třídy Window
• SPARK-48504 Nadřazená třída okna pro Spark Connect a Spark Classic
• SPARK-48508 Uživatel v mezipaměti zadal schéma v DataFrame.{to, mapInPandas, mapInArrow}
• SPARK-48496 Použití statických instancí vzorů regulárních výrazů v JavaUtils
• SPARK-47578 Ruční backport: Migrace logWarningu s proměnnými
• SPARK-47737 Aktualizace PyArrow na verzi 10.0.0
• SPARK-48159 Rozšířit podporu pro setříděné řetězce ve výrazech data a času
• SPARK-48454 Přímé použití nadřazené třídy DataFrame
• SPARK-48438 Přímé použití nadřazené třídy Column
• SPARK-47597 Ruční backport: Migrace logInfo s proměnnými
• SPARK-48434 Použití printSchema schématu uloženého v mezipaměti
• SPARK-46998 Vyřazení konfigurace SQL spark.sql.legacy.allowZeroIndexInFormatString
• SPARK-46569 Odebrání ThreadLocal pro SecureRandom od verze JDK9
• SPARK-46455 Odebrání redundantního převodu typu
• SPARK-46270 Použití výrazů Java16 instanceof
• SPARK-46479 Použití metody utility z commons-lang3 pro kontrolu verzí Javy
• SPARK-45998 Vyčištění redundantního přetypování typu
• SPARK-45533 Místo metody finalize pro RocksDBIterator/LevelDBIterator použijte j.l.r.Cleaner.
• SPARK-45309 Odstranit všechny SystemUtils.isJavaVersionAtLeast s JDK 9/11/17
• SPARK-48295 Zapněte compute.ops_on_diff_frames ve výchozím nastavení
• SPARK-47960 Povolit řetězení dalších stavových operátorů po transformWithState
• SPARK-48367 Oprava lint-scala pro detekci souborů scalafmt
• SPARK-48247 Použití všech hodnot ve slovníku pro určení schématu MapType
• SPARK-48370 Kontrolní bod a localCheckpoint v klientovi Scala Spark Connect
• SPARK-48258 Kontrolní bod a localCheckpoint v nástroji Spark Connect
• SPARK-48293 Přidání testu pro obalení přerušení ForeachBatchUserFuncException
• SPARK-48031 Rozložit viewSchemaMode konfigurace; přidejte SHOW CREATE TABLE podporu
• SPARK-48288 Přidejte zdrojový datový typ pro výraz pro přetypování konektoru
• SPARK-48310 Vlastnosti uložené v mezipaměti musí vracet kopie.
• SPARK-48287 Použití předdefinované timestamp_diff metody
• SPARK-44444 Výchozí použití režimu ANSI SQL
• SPARK-48276 Přidání chybějícího __repr__ pro SQLExpression
• SPARK-46991 Nahradit IllegalArgumentException SparkIllegalArgumentException v katalyzátoru
• SPARK-48031 Vývoj schématu zobrazení podpory
• SPARK-48113 Povolit integraci modulů plug-in se Spark Connect
• SPARK-47158 Přiřazení názvu a sqlState ke starým chybovým kódům
• SPARK-47545 Podpora datových sad observe pro klienta Scala
• SPARK-47993 Ukončení podpory Pythonu 3.8
• SPARK-48260 Zakázání koordinace zapisovače výstupů v ParquetIOSuite
• SPARK-47365 Přidání metody datového rámce toArrow() do PySpark
• SPARK-47963 Povolení strukturovaného protokolování pro externí ekosystém Sparku
• SPARK-48045 Oprava víceznakového přeznaku ignorování as_index=False
• SPARK-47719 Změna výchozí hodnoty timeParserPolicy na OPRAVENO
• SPARK-48075 Kontrola typů pro funkce PySpark avro
• SPARK-48102 Sledování doby trvání metrik při průběhu dotazu streamování
• SPARK-47858 Refaktorizace chybového kontextu datového rámce
• SPARK-48052 Obnovit pyspark-connect CI podle nadřazených tříd
• SPARK-45284 Aktualizace minimálních systémových předpokladů SparkR na Javu 17
• SPARK-47933 Třída Parent Column pro Spark Connect a Classic
• SPARK-48053 SparkSession.createDataFrame by měl upozornit na nepodporované možnosti.
• SPARK-48044 Mezipaměť DataFrame.isStreaming
• SPARK-47594 Migrace strukturovaných protokolů
• SPARK-47764 Vyčištění závislostí shuffle pomocí ShuffleCleanupMode
• SPARK-45501 Použití porovnávání vzorů pro kontrolu a převod typů
• SPARK-45515 Použití rozšířených switch výrazů k nahrazení regulárního switch příkazu
• SPARK-47417 Podpora kolace: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Věty
• SPARK-47909 Třída nadřazeného datového rámce pro Spark Connect a Spark Classic
• SPARK-47602 Core/MLLib/Resource Managers: Migrace strukturovaného protokolování
• SPARK-47390 PostgresDialect rozlišuje TIMESTAMP od TIMESTAMP_TZ
• SPARK-47868 Oprava chyby rekurzního limitu ve SparkConnectPlanneru a SparkSession
• SPARK-45802 Odstranit kontroly Javy, které již nejsou potřeba majorVersionPlatform
• SPARK-47818 Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí Analyze
• SPARK-46031 Nahradit !Optional.isPresent() čím Optional.isEmpty()
• SPARK-45659 Přidání since pole do rozhraní Java API označeného jako @Deprecated
• SPARK-45596 Místo org.apache.spark.sql.connect.client.util.Cleaner použijte java.lang.ref.Cleaner.
• SPARK-47807 Zajištění kompatibility pyspark.ml s pyspark-connect
• SPARK-45830 Refaktorovat StorageUtils#bufferCleaner
• SPARK-45578 Odstranění InaccessibleObjectException pomocí trySetAccessible
• SPARK-44895 Přidání 'démona' a 'priority' pro ThreadStackTrace
• SPARK-45295 Odebrání řešení Utils.isMemberClass pro JDK 8
• SPARK-47081 Podpora průběhu provádění dotazů
• SPARK-45322 Použijte ProcessHandle pro získání pid přímo
• SPARK-46812 Nastavení mapInPandas / mapInArrow podporují ResourceProfile
• SPARK-47406 Zpracování TIMESTAMP a DATETIME v MYSQLDialect
• SPARK-47712 Povolení připojení modulů plug-in k vytváření a zpracování datových sad
• SPARK-47720 Aktualizace spark.speculation.multiplier na verzi 3 a spark.speculation.quantile 0.9
• SPARK-47665 Použití SMALLINT k zápisu shorttype do MYSQL
• SPARK-47722 Před zavřením počkejte, než se dokončí práce na pozadí RocksDB.
• SPARK-47610 Vždy nastavit io.netty.tryReflectionSetAccessible=true
• SPARK-47372 Přidání podpory kodéru stavu klíče s podporou rozsahového skenování pro použití s poskytovatelem stavu úložiště
• SPARK-44708 Migrovat test_reset_index assert_eq k použití assertDataFrameEqual
• SPARK-47346 Umožnit konfiguraci režimu démona při vytváření pracovníků plánovače v Pythonu
• SPARK-47419 Přesunout log4j2-defaults.properties na common/utils
• SPARK-47380 Ujistěte se, že na straně serveru je SparkSession stejné.
• SPARK-47055 Upgrade MyPy 1.8.0
• SPARK-46795 Nahradit UnsupportedOperationException v SparkUnsupportedOperationExceptionsql/core
• SPARK-46648 Slouží zstd jako výchozí komprese ORC.
• SPARK-47322 Udělat zpracování withColumnsRenamed názvů sloupců konzistentní v souladu s withColumnRenamed
• SPARK-47011 Odebrání zastaralého BinaryClassificationMetrics.scoreLabelsWeight
• SPARK-46332 Migrace CatalogNotFoundException do třídy chyb CATALOG_NOT_FOUND
• SPARK-46975 Podpora vyhrazených náhradních metod
• SPARK-47069 Zavedení spark.profile.show/dump profilace založené na SparkSession
• SPARK-47062 Přesunutí modulů plug-in Connect do Javy kvůli kompatibilitě
• SPARK-46833 Kollace – Představujeme CollationFactory, která poskytuje pravidla porovnání a hashování pro podporované kollace
• SPARK-46984 Odebrat pyspark.copy_func
• SPARK-46849 Spuštění optimalizátoru u CREATE TABLE výchozích hodnot sloupců
• SPARK-46976 Implementovat DataFrameGroupBy.corr
• SPARK-46911 Přidání operátoru deleteIfExists do StatefulProcessorHandleImpl
• SPARK-46955 Implementovat Frame.to_stata
• SPARK-46936 Implementovat Frame.to_feather
• SPARK-46655 Přeskočení zachytávání kontextu dotazu v DataFrame metodách
• SPARK-46926convert_dtypes Přidat infer_objectsa set_axis do záložního seznamu
• SPARK-46683 Napsání generátoru poddotazů, který generuje permutace poddotazů za účelem zvýšení pokrytí testování
• SPARK-46777 Přepracovat strukturu katalyzátoru, aby více odpovídala dávkové verzi.
• SPARK-46620 Zavedení základního záložního mechanismu pro rámcové metody
• SPARK-46808 Upřesnění tříd chyb v Pythonu pomocí funkce automatického řazení
• SPARK-46686 Základní podpora profileru Python UDF založeného na SparkSession
• SPARK-46258 Přidat RocksDBPersistenceEngine
• SPARK-46665 Odstranit assertPandasOnSparkEqual
• SPARK-46227 Přejít withSQLConf z SQLHelper do SQLConfHelper
• SPARK-40876 Rozšíření povýšení typů v čtenářích Parquet
• SPARK-46101 Zmenšete hloubku zásobníku nahrazením (řetězec|pole).size za (řetězec|pole).length
• SPARK-46170 Podpora vkládání pravidel strategie adaptivního dotazu post planneru ve SparkSessionExtensions
• SPARK-46246EXECUTE IMMEDIATE Podpora SQL
• SPARK-46466 Vektorizovaná čtečka Parquet by nikdy neměla provádět rebase pro časové razítko ntz
• SPARK-46399 Přidat výstupní stav do události Konec aplikace pro použití posluchače Spark
• SPARK-45506 Přidání podpory URI Ivy do addArtifact pro SparkConnect
• SPARK-45597 Podpora vytváření tabulek pomocí zdroje dat Pythonu v SQL (DSv2 exec)
• SPARK-46402 Přidejte getMessageParameters a podporu getQueryContext
• SPARK-46213 Zavedení PySparkImportError pro architekturu chyb
• SPARK-46226 Migrace všech zbývajících RuntimeError do architektury chyb PySpark
• SPARK-45886 Výstup úplného trasování zásobníku v callSite v rámci kontextu datového rámce
• SPARK-46256 Podpora paralelní komprese pro ZSTD
• SPARK-46249 Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo závodu s operacemi probíhajícími na pozadí.
• SPARK-45667 Vyčištění zastaralého využití rozhraní API související s IterableOnceExtensionMethods
• SPARK-46254 Odebrání zastaralé kontroly verzí Pythonu 3.8/3.7
• SPARK-46213 Zavedení PySparkImportError pro architekturu chyb
• SPARK-46188 Oprava šablon stylů CSS vygenerovaných tabulek dokumentace Sparku
• SPARK-45670 SparkSubmit nepodporuje --total-executor-cores při nasazování na K8s
• SPARK-46169 Přiřazení odpovídajících čísel JIRA pro chybějící parametry z DataFrame rozhraní API
• SPARK-45022 Poskytnutí kontextu pro chyby rozhraní API datové sady
• SPARK-46062 Synchronizace příznaku isStreaming mezi definicí CTE a odkazem
• SPARK-45698 Vyčištění zastaralého využití rozhraní API související s Buffer
• SPARK-45136 Vylepšit ClosureCleaner s podporou Ammonite
• SPARK-44442 Odebrání podpory Mesosu
• SPARK-45996 Zobrazení správných zpráv požadavků na závislost pro Spark Connect
• SPARK-45767 Smazat TimeStampedHashMap a jeho UT
• SPARK-45912 Vylepšení rozhraní API XSDToSchema: Změna rozhraní HDFS API pro usnadnění přístupu ke cloudovému úložišti
• SPARK-45338 Nahradit scala.collection.JavaConverters na scala.jdk.CollectionConverters
• SPARK-45828 Odstranit zastaralou metodu v DSL
• SPARK-45718 Odebrání zbývajících zastaralých funkcí Pandas ze Sparku 3.4.0
• SPARK-45990 Aktualizovat protobuf na verzi 4.25.1 pro podporu Python 3.11
• SPARK-45941 Upgrade pandas na verzi 2.1.3
• SPARK-45555 Zahrnuje laditelný objekt pro neúspěšnou asociaci.
• SPARK-45710 Přiřaďte názvy chybě _LEGACY_ERROR_TEMP_21[59,60,61,62]
• SPARK-45733 Podpora více zásad opakování
• SPARK-45503 Přidání souboru Conf pro nastavení komprese RocksDB
• SPARK-45614 Přiřazení názvů k chybě _LEGACY_ERROR_TEMP_215[6;7;8]
• SPARK-45680 Relace vydání
• SPARK-45620 Oprava uživatelsky orientovaných rozhraní API souvisejících s UDTF v Pythonu pro použití camelCase
• SPARK-45634 Odebrání DataFrame.get_dtype_counts z rozhraní PANDAS API ve Sparku
• SPARK-44752 XML: Aktualizace dokumentace Sparku
• SPARK-45523 Vrátí užitečnou chybovou zprávu, pokud funkce UDTF vrátí hodnotu None pro libovolný sloupec, který nemá hodnotu null.
• SPARK-45558 Zavedení souboru metadat pro stavový operátor streamování
• SPARK-45390 Odeberte distutils využití
• SPARK-45517 Rozšíření dalších konstruktorů výjimek pro podporu parametrů architektury chyb
• SPARK-45427 Přidat nastavení RPC SSL do SSLOptions a SparkTransportConf
• SPARK-45581 Nastavení SQLSTATE jako povinného
• SPARK-44784 Udělejte testování SBT izolovaným.
• SPARK-45550 Odebrání zastaralých rozhraní API z rozhraní Pandas API ve Sparku
• SPARK-45415 Umožnit selektivní deaktivaci funkce "fallocate" ve statestore RocksDB
• SPARK-45487 Oprava chyb SQLSTAT a dočasných chyb
• SPARK-45505 Refaktorovat analyzeInPython pro opakované použití
• SPARK-45451 Nastavení výchozí úrovně úložiště mezipaměti datové sady jako konfigurovatelné
• SPARK-45065 Podpora Pandas 2.1.0
• SPARK-45450 Oprava importů podle PEP8: pyspark.pandas a pyspark (jádro)
• SPARK-43299 Převod StreamQueryException v klientovi Scala
• SPARK-42617 Podpora pro isocalendar pandas 2.0.0
• SPARK-45441 Přidání dalších funkcí pro PythonWorkerUtils
• SPARK-43620 Oprava rozhraní API Pandas závisí na nepodporovaných funkcích.
• SPARK-45330 Aktualizovat ammonite na 2.5.11
• SPARK-45267 Změňte výchozí hodnotu pro numeric_only.
• SPARK-45303 Odstranit řešení JDK 8/11 v KryoSerializerBenchmark
• SPARK-43433 Sladit GroupBy.nth chování s nejnovějším chováním Pandas
• SPARK-45166 Vyčištění nepoužívaných cest kódu pro pyarrow<4
• SPARK-44823 Aktualizujte Black na verzi 23.9.1 a opravte chybnou kontrolu
• SPARK-45165 Odebrání inplace parametru z CategoricalIndex rozhraní API
• SPARK-45180 Odstranit logické vstupy pro inclusive parametr z Series.between
• SPARK-45164 Odebrání zastaralých Index rozhraní API
• SPARK-45179 Zvýšení minimální verze Numpy na 1.21
• SPARK-45177 Odebrání col_space parametru z to_latex
• SPARK-43241MultiIndex.append neprovádí kontrolu, zda jsou názvy stejné
• SPARK-43123 Vyvolání TypeError pro DataFrame.interpolate, když jsou všechny sloupce typu object-dtype.
• SPARK-43295 Podpora sloupců typu řetězce pro DataFrameGroupBy.sum
• SPARK-42619 Přidání show_counts parametru pro DataFrame.info
• SPARK-44863 Přidání tlačítka pro stažení výpisu vlákna jako txt v uživatelském rozhraní Sparku
• SPARK-44713 Přesun sdílených tříd do sql/api
• SPARK-44692 Přesun triggerů do sql/api
• SPARK-43563 Odeberte squeeze z read_csv a povolte více testů.
• SPARK-43476 Podpora StringMethods pro pandas 2.0.0 a vyšší
• SPARK-43872 Podpora (DataFrame|Series).plot pro pandas 2.0.0 a vyšší
• SPARK-42620 Přidat inclusive parametr pro (DataFrame|Series).between_time
• SPARK-44289 Podpora pro pandas 2.0.0 a povolení více testů
• SPARK-42621 Přidání inkluzivního parametru pro pd.date_range
• SPARK-43709 Odeberte closed parametr z ps.date_range testu a povolte ho.
• SPARK-43568 Podpora API pro pandas 2
• SPARK-44842 Podpora pro statistické funkce knihovny pandas 2.0.0 a aktivace testů.
• SPARK-43606 Odebrat Int64Index & Float64Index
• SPARK-43873 Povolení FrameDescribeTests
• SPARK-44841 Podpora pro pandas 2.0.0 a vyšší.
• SPARK-44686 Přidejte možnost vytvořit RowEncoder v Encoders.scala.
• SPARK-41400 Odebrat závislost Connect Klient Catalyst
• SPARK-44538 Obnovit Row.jsonValue a přátelé
• SPARK-44507 Přesunout AnalysisException do sql/api
• SPARK-44531 Přesun odvození kodéru do sql/api
• SPARK-43744 Oprava potíží s načítáním tříd způsobenými zástupnými třídami uživatelů, které nebyly v cestě třídy serveru nalezeny
• SPARK-36612 Podpora sestavení levého vnějšího spojení doleva nebo pravého vnějšího spojení v náhodném spojení hash
• SPARK-44541 Odebrání zbytečné funkce hasRangeExprAgainstEventTimeCol z UnsupportedOperationChecker
• SPARK-44059 Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce
• SPARK-44216 Zveřejnit API assertSchemaEqual
• SPARK-43755 Přesunutí provádění mimo SparkExecutePlanStreamHandler a do jiného vlákna
• SPARK-44201 Přidat podporu pro posluchače streamování ve Scale pro Spark Connect
• SPARK-43965 Podpora uživatelsky definovaných tabulkových funkcí (UDTF) Pythonu ve Spark Connectu
• SPARK-44398 Scala foreachBatch API
• SPARK-44044 Zlepšení chybové zprávy pro funkce okna se streamováním

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 17.0.

Systémové prostředí

• Operační systém: Ubuntu 24.04.2 LTS
• java: Zulu17.54+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Nainstalované knihovny Pythonu

Knihovna	Version	Knihovna	Version	Knihovna	Version
anotované typy	0.7.0	anyio	4.6.2	argon2-cffi	21.3.0
argon2-cffi-bindings	21.2.0	šíp	1.3.0	asttokens	2.0.5
astunparse	1.6.3	async-lru	2.0.4	attrs	24.3.0
automatické příkazy	2.2.2	azure-common	1.1.28	Azure Core	1.34.0
azure-identity	1.20.0	azure-mgmt-core	1.5.0	azure-mgmt-web	8.0.0
azure-storage-blob (služba pro ukládání dat na platformě Azure)	12.23.0	Služba "Azure Storage File Data Lake"	12.17.0	babylón	2.16.0
backports.tarfile	1.2.0	BeautifulSoup4	4.12.3	černý	24.10.0
bělidlo	6.2.0	blikač	1.7.0	boto3	1.36.2
botocore	1.36.3	nástroje pro ukládání do mezipaměti	5.5.1	certifikát	2025.1.31
cffi	1.17.1	chardet	4.0.0	nástroj pro normalizaci znakové sady	3.3.2
klikni	8.1.7	cloudpickle	3.0.0	Komunikace	0.2.1
ContourPy	1.3.1	kryptografie	43.0.3	cyklista	0.11.0
Cython	3.0.12	Databricks SDK	0.49.0	dbus-python	1.3.2
debugpy	1.8.11	dekoratér	5.1.1	defusedxml	0.7.1
Deprecated	1.2.13	distlib	0.3.9	převod docstringu do formátu markdown	0.11
provedení	0.8.3	přehled aspektů	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	zamykání souborů	3.18.0	nástroje pro písma	4.55.3
fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.20.0	google-auth (autentizace)	2.40.0
google-cloud-core	2.4.3	Úložiště Google Cloud	3.1.0	google-crc32c	1.7.1
google-resumable-media (pro snadné stahování/ukládání mediálních dat)	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	IDNA	3.7
importlib-metadata	6.6.0	importlib_resources	6.4.0	časovat/skloňovat	7.3.1
iniconfig	1.1.1	ipyflow-core je jádrová komponenta systému ipyflow	0.0.209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
isodate	0.6.1	isodurace	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	Jedi	0.19.2
Jinja2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	JSON ukazatel	3.0.0	jsonschema	4.23.0
Specifikace JSON schema	2023.7.1	jupyter události	0.10.0	jupyter-lsp	2.2.0
klient Jupyter	8.6.3	jupyter_core	5.7.2	jupyter_server	2.14.1
terminály_jupyter_server	0.4.4	jupyterlab	4.3.4	jupyterlab-pygments	0.1.2
JupyterLab widgets	1.0.0	jupyterlab_server	2.27.3	kiwisolver	1.4.8
launchpadlib	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
markdown:it-py	2.2.0	MarkupSafe	3.0.2	matplotlib	3.10.0
matplotlib-inline	0.1.7	Mccabe	0.7.0	mdurl	0.1.0
špatné naladění	2.0.4	mlflow-skinny	2.22.0	mmh3	5.1.0
more-itertools	10.3.0	MSAL	1.32.3	msal-extensions	1.3.1
mypy-extensions	1.0.0	nbclient	0.8.0	nbconvert	7.16.4
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
poznámkový blok	7.3.2	notebook_shim	0.2.3	numpy (knihovna pro numerické výpočty v Pythonu)	2.1.3
oauthlib	3.2.2	opentelemetry-api	1.32.1	opentelemetry-sdk	1.32.1
opentelemetry-sémantické-konvence	0,53b1	přepíše	7.4.0	balení	24.1
pandas	2.2.3	pandocfilters	1.5.0	Parso	0.8.4
specifikace cesty	0.10.3	bábovka	1.0.1	pexpect	4.8.0
polštář	11.1.0	pip	25.0.1	platformdirs	3.10.0
plotly	5.24.1	Pluggy (nástroj pro správu pluginů v Pythonu)	1.5.0	prometheus_client	0.21.0
nástroj "prompt-toolkit"	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
pyasn1-modules	0.2.8	pyccolo	0.0.71	pycparser	2.21
Pydantic (Python knihovna pro validaci a nastavení dat)	2.10.6	pydantic_core	2.27.2	pyflakes	3.2.0
Pygments	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc	5.2.0	pyparsing	3.2.0
pyright	1.1.394	pytest	8.3.5	python-dateutil	2.9.0.post0
python-json-logger (Python knihovna pro logování do formátu JSON)	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.0
Pytoolconfig	1.2.6	knihovna pytz pro zpracování časových zón v Pythonu	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	odkazování	0.30.2	requests	2.32.3
rfc3339-validator (validátor formátu RFC 3339)	0.1.4	rfc3986-validátor	0.1.1	bohatý	13.9.4
lano	1.12.0	rpds-py	0.22.3	Rsa	4.9.1
s3transfer	0.11.3	scikit-learn	1.6.1	SciPy	1.15.1
narozený v moři	0.13.2	Send2Trash	1.8.2	setuptools (nástroj pro vytváření a distribuci Python projektů)	74.0.0
šest	1.16.0	smmap	5.0.0	sniffio	1.3.0
setříděné kontejnery	2.4.0	sítko na polévku	2.5	sqlparse	0.5.3
ssh-import-id	5.11	datová hromádka	0.2.0	hvězdička	0.46.2
statsmodels	0.14.4	strictyaml	1.7.3	houževnatost	9.0.0
dokončeno	0.17.1	threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	tomli	2.0.1	tornádo	6.4.2
drobné vlastnosti	5.14.3	typová ochrana	4.3.0	types-python-dateutil	2.9.0.20241206
rozšíření_typingu	4.12.2	tzdata	2024.1	ujson	5.10.0
bezobslužné aktualizace	0,1	uri-template	1.3.0	urllib3	2.3.0
uvicorn	0.34.2	virtualenv	20.29.3	wadllib	1.3.6
wcwidth (šířka znaků)	0.2.5	webcolors	24.11.1	webová kódování	0.5.1
websocket-klient	1.8.0	whatthepatch	1.0.2	wheel	0.45.1
widgetsnbextension (rozšíření pro widgety v notebooku)	3.6.6	zabalený	1.17.0	yapf	0.40.2
zipový uzávěr	3.21.0

Nainstalované knihovny jazyka R

Knihovny R jsou instalovány ze snímku CRAN z Posit Správce balíčků pořízeného dne 20. 3. 2025.

Knihovna	Version	Knihovna	Version	Knihovna	Version
šíp	19.0.1	žádost o heslo	1.2.1	ověřit, že	0.2.1
zpětné portování	1.5.0	báze	4.4.2	base64enc	0,1-3
bigD	0.3.0	bit	4.6.0	64bit	4.6.0-1
bitops	1.0-9	objekt blob	1.2.4	bootování	1.3-30
připravovat nápoje	1.0-10	elán	1.1.5	koště	1.0.7
bslib	0.9.0	kašmír	1.1.0	volající	3.7.6
caret	7.0-1	cellranger	1.1.0	cron	2.3-62
třída	7.3-22	CLI	3.6.4	Clipr	0.8.0
hodiny	0.7.2	cluster	2.1.6	codetools	0.2-20
barevný prostor	2.1-1	commonmark	1.9.5	kompilátor	4.4.2
config	0.3.2	v rozporu	1.2.0	cpp11	0.5.2
pastelka	1.5.3	přihlašovací údaje	2.0.2	kroucení	6.2.1
datová tabulka	1.17.0	datové sady	4.4.2	DBI	1.2.3
dbplyr	2.5.0	Popis	1.4.3	devtools	2.4.5
schéma	1.6.5	diffobj	0.3.5	hodnota hash	0.6.37
dolní osvětlení	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-16	tři tečky	0.3.2	hodnotit	1.0.3
fanoušci	1.0.6	barvy	2.1.2	Fastmap (rychlé mapování)	1.2.0
fontawesome	0.5.3	pro kočky	1.0.0	foreach	1.5.2
zahraničí	0.8–86	kovárna	0.2.0	fs	1.6.5
budoucnost	1.34.0	budoucnost.použít	1.11.3	kloktání	1.5.2
obecné typy	0.1.3	Gert	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	globální	0.16.3	lepidlo	1.8.0
googledrive	2.1.1	googlesheets4	1.1.1	Gower	1.0.2
Grafika	4.4.2	grDevices	4.4.2	mřížka	4.4.2
gridExtra	2.3	gsubfn	0.7	gt	0.11.1
gtable	0.3.6	ochranná přilba	1.4.1	útočiště	2.5.4
vyšší	0.11	HMS	1.1.3	htmlové nástroje	0.5.8.1
htmlwidgets (interaktivní HTML prvky)	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	identifikátory	1.0.1	ini	0.3.1
ipred	0.9-15	isoband	0.2.7	Iterátory	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	šťavnatý džus	0.1.0
KernSmooth	2.23-22	knitr	1.50	značení	0.4.3
později	1.4.1	mřížka	0.22-5	láva	1.8.1
životní cyklus	1.0.4	poslouchej	0.9.1	lubridate	1.9.4
magrittr	2.0.3	Markdown	1.13	Hmotnost	7.3-60.0.1
*Matrix*	1.6-5	zapamatujte si	2.0.1	metody	4.4.2
mgcv	1.9-1	mim	0,13	miniUI	0.1.1.1
mlflow	2.20.4	ModelMetrics	1.2.2.2	modelář	0.1.11
munsell	0.5.1	nlme	3.1-164	nnet (neuronová síť)	7.3-19
numDeriv (Numerická derivace)	2016.8 - 1.1	OpenSSL	2.3.2	rovnoběžný	4.4.2
paralelně	1.42.0	pilíř	1.10.1	pkgbuild	1.4.6
pkgconfig	2.0.3	pkgdown	2.1.1	pkgload	1.4.0
plogr	0.2.0	plyr	1.8.9	pochvala	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.6
prodlim	2024.06.25	profvis	0.4.0	pokrok	1.2.3
progressr	0.15.1	sliby	1.3.2	proto	1.0.0
proxy	0,4-27	p.s.	1.9.0	purrr	1.0.4
R6	2.6.1	ragg	1.3.3	"randomForest"	4.7-1.2
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	schopný reagovat	0.4.4
reactR	0.6.1	čtenář	2.1.5	readxl	1.4.5
recepty	1.2.0	odvetný zápas	2.0.0	odvetný zápas 2	2.1.2
dálková ovládání	2.5.0	reprodukovatelný příklad	2.1.1	reshape2	1.4.4
rlang	1.1.5	rmarkdown	2.29	RODBC	1.3-26
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-15	RSQLite	2.3.9	rstudioapi	0.17.1
rversions	2.1.2	rvest	1.0.4	drzost	0.4.9
váhy	1.3.0	selektor	0.4-2	informace o sezení	1.2.3
obrazec	1.4.6.1	lesklý	1.10.0	sourcetools	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	řídké vektory	0.3.1
prostorový	7.3-17	spline	4.4.2	sqldf	0.4-11
SQUAREM	2021.1	statistické údaje	4.4.2	Stats4	4.4.2
řetězce	1.8.4	stringr	1.5.1	přežití	3.5-8
frajerský krok	5.17.14.1	systém	3.4.3	systemfonts	1.2.1
tcltk	4.4.2	testthat (nástroj pro testování)	3.2.3	formátování textu	1.0.0
tibble	3.2.1	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	změna času	0.3.0	datum a čas	4041.110
tinytex	0.56	nářadí	4.4.2	tzdb	0.5.0
ověřovač URL	1.0.1	použij tohle	3.1.0	utf8	1.2.4
utils	4.4.2	Univerzální jednoznačný identifikátor (UUID)	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	vrrrm	1.6.5
Waldo	0.6.1	hmatový chlup	0.4.1	(v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit)	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xtable	1.8-4	yaml	2.3.10	zeallot	0.1.0
zip (jako formát souboru)	2.3.2

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.13)

ID skupiny	Identifikátor artefaktu	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client (klient Amazon Kinesis)	1.12.0
com.amazonaws	aws-java-sdk Automatické škálování	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	„aws-java-sdk-cloudsearch“	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy)	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS)	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier (AWS Java SDK pro Glacier)	1.12.638
com.amazonaws	aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby)	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-strojové učení	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway)	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	podpora AWS Java SDK	1.12.638
com.amazonaws	knihovny AWS Java SDK SWF	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	datový proud	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	Databricks SDK pro Java	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	technologie kryo-stínění	4.0.3
com.esotericsoftware	Minlog	1.3.0
com.fasterxml	spolužák	1.5.1
com.fasterxml.jackson.core	jackson-annotations (poznámky Jackson)	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	Jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.kofein	kofein	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	Nativní odkaz pro Javu	1.1
com.github.fommil.netlib	Nativní odkaz pro Javu	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	nativní_systém-java	1.1
com.github.fommil.netlib	nativní_systém-java	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	netlib-nativní_systém-linux-x86_64	Verze 1.1 pro místní uživatele
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	Gson	2.11.0
com.google.crypto.tink	Cink	1.16.0
com.google.errorprone	poznámky_náchylné_k_chybám	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	neúspěšný přístup	1.0.2
com.google.guava	guave	33.4.0-jre
com.google.guava	poslouchatelnábudoucnost	9999.0-empty-to-avoid-conflict-with-guava (prázdné, aby se zabránilo konfliktu s guavou)
com.google.j2objc	j2objc-annotations	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	profiler	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake)	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (komprimační algoritmus LZF)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	Paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers (nástroj pro analýzu dat)	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.9.0
commons-codec	commons-codec	1.17.2
společné sbírky	společné sbírky	3.2.2
commons-dbcp	commons-dbcp	1.4
Nahrávání souborů v Commons	Nahrávání souborů v Commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
commons-logging (nástroj pro záznamy)	commons-logging (nástroj pro záznamy)	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Blas	3.0.3
dev.ludovic.netlib	LAPACK	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	vzduchový kompresor	2.0.2
io.delta	delta-sharing-client_2.13	1.3.0
io.dropwizard.metrics	anotace metrik	4.2.30
io.dropwizard.metrics	jádro metrik	4.2.30
io.dropwizard.metrics	metrics-graphite	4.2.30
io.dropwizard.metrics	metriky – kontroly stavu	4.2.30
io.dropwizard.metrics	metrics-jetty9	4.2.30
io.dropwizard.metrics	Metrics-JMX	4.2.30
io.dropwizard.metrics	Metriky-json	4.2.30
io.dropwizard.metrics	metriky pro JVM	4.2.30
io.dropwizard.metrics	metrikové servlety	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.1.118.Final
io.netty	netty-buffer	4.1.118.Final
io.netty	netty-codec	4.1.118.Final
io.netty	netty-kodek-http	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-socks	4.1.118.Final
io.netty	netty-common	4.1.118.Final
io.netty	netty-handler	4.1.118.Final
io.netty	Netty-handler-proxy	4.1.118.Final
io.netty	netty-resolver	4.1.118.Final
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes (softwarová knihovna)	2.0.70.Final
io.netty	netty-transport	4.1.118.Final
io.netty	netty-transport-classes-epoll	4.1.118.Final
io.netty	netty-transport-classes-kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.118.Final
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleklient_obecný	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_sledovatel_společný	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	kolektor	0.18.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivace	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API pro transakce	1.1
javax.xml.bind	jaxb-api	2.2.11
Javolution	Javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	jna	5.8.0
net.razorvine	nakládačka	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
síť.sněhová vločka	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	StringTemplate	3.2.1
org.apache.ant	mravenec	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	Ant launcher	1.10.11
org.apache.arrow	šipkový formát	18.2.0
org.apache.arrow	jádro šipkové paměti	18.2.0
org.apache.arrow	šipka-paměť-netty	18.2.0
org.apache.arrow	arrow-memory-netty-buffer-záplata	18.2.0
org.apache.arrow	šipkový vektor	18.2.0
org.apache.avro	Avro	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress (softwarová knihovna pro kompresi dat)	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	Commons-text (textové nástroje)	1.13.0
org.apache.kurátor	kurátor-klient	5.7.1
org.apache.kurátor	kurátorský rámec	5.7.1
org.apache.kurátor	kurátorovy recepty	5.7.1
org.apache.datasketches	datasketches-java	6.1.1
org.apache.datasketches	datasketches-paměť	3.0.2
org.apache.derby	fotbalové derby	10.14.2.0
org.apache.hadoop	běhové prostředí klienta Hadoop	3.4.1
org.apache.hive	hive-beeline	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc (JDBC ovladač pro Apache Hive)	2.3.10
org.apache.hive	hive-llap-client (klient pro Apache Hive s možností LLAP)	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	Hive-shims	2.3.10
org.apache.hive	rozhraní pro úložiště Hive	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common	2.3.10
org.apache.hive.shims	plánovač hive-shims	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	břečťan	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	šablona rozložení log4j ve formátu JSON	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.1.1-shaded-protobuf
org.apache.orc	Formát ORC	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce	2.1.1-shaded-protobuf
org.apache.orc	orčí podložky	2.1.1
org.apache.poi	Poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	poznámky pro publikum	0.13.0
org.apache.zookeeper	ošetřovatel zvířat v zoo	3.9.3
org.apache.zookeeper	zookeeper-jute	3.9.3
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	společný kompilátor	3.0.16
org.codehaus.janino	Janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms (framework pro práci s relačními databázemi)	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.53.v20231009
org.eclipse.jetty	pokračování Jetty	9.4.53.v20231009
org.eclipse.jetty	jetty-http	9.4.53.v20231009
org.eclipse.jetty	jetty-io	9.4.53.v20231009
org.eclipse.jetty	jetty-jndi	9.4.53.v20231009
org.eclipse.jetty	Jetty-plus	9.4.53.v20231009
org.eclipse.jetty	proxy pro službu Jetty	9.4.53.v20231009
org.eclipse.jetty	bezpečnost Jetty	9.4.53.v20231009
org.eclipse.jetty	jetty-server	9.4.53.v20231009
org.eclipse.jetty	jetty-servlet	9.4.53.v20231009
org.eclipse.jetty	jetty-servlets	9.4.53.v20231009
org.eclipse.jetty	jetty-util	9.4.53.v20231009
org.eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.eclipse.jetty	Jetty-webová aplikace	9.4.53.v20231009
org.eclipse.jetty	jetty-xml	9.4.53.v20231009
org.eclipse.jetty.websocket	WebSocket API	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-klient	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket – běžné	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-server	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-servlet	9.4.53.v20231009
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-lokátor	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	OSGi vyhledávač zdrojů	1.0.3
org.glassfish.hk2.external	aopalliance-přebaleno	2.6.1
org.glassfish.hk2.external	jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce)	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet (nástroj pro zpracování požadavků v Java EE)	2.41
org.glassfish.jersey.containers	jersey-container-servlet-jádro	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	společný dres	2.41
org.glassfish.jersey.core	Jersey-server (aplikační server frameworku Jersey)	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	Hibernate Validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	Javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	anotace	17.0.0
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	objenesis	3.3
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.3.0
org.scala-sbt	testovací rozhraní	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	kompatibilní s scalatestem	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Finální
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
Stax	stax-api	1.0.1

Návod

Poznámky k verzím Databricks Runtime, které dosáhly konce podpory (EoS), najdete v Poznámkách k verzím Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.