Databricks Runtime 18.0

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 18.0, který využívá Apache Spark 4.1.0.

Služba Azure Databricks vydala tuto verzi v lednu 2026.

Nové funkce a vylepšení

• Skriptování SQL je teď obecně dostupné.
• Ovladač Redshift JDBC upgradovaný na verzi 2.1.0.28
• Sdílené izolační prostředí pro spouštění Python UDF v katalogu Unity
• Funkce okna SQL v zobrazeních metrik
• Plynulé vypnutí pro aplikace Spark
• Dynamické přizpůsobení přerozdělení oddílů v bezstavových streamovacích dotazech
• Adaptivní zpracování dotazů a automaticky optimalizované míchání (dat) v bezstavových streamovacích dotazech
• FILTER klauzule pro agregační funkce měření v metrických zobrazeních
• Literální řetězec se shoduje všude
• Značky parametrů všude
• IDENTIFIER klauzule všude
• Nová funkce BITMAP_AND_AGG
• Nová knihovna funkcí KLL_Sketch
• Knihovna Apache Parquet upgradovaná na verzi 1.16.0

Skriptování SQL je teď obecně dostupné.

Funkce skriptování SQL je teď obecně dostupná.

Ovladač Redshift JDBC upgradovaný na verzi 2.1.0.28

Ovladač Redshift JDBC byl upgradován na verzi 2.1.0.28.

Sdílené prostředí pro sdílené spouštění izolovaných operací pro uživatelské funkce definované uživatelem Pythonu v katalogu Unity

Pythonové UDF v Unity Catalog se stejným vlastníkem nyní ve výchozím nastavení mohou sdílet izolační prostředí. To může zvýšit výkon a snížit využití paměti snížením počtu samostatných prostředí, která je potřeba spustit.

Pokud chcete zajistit, aby se funkce definovaná uživatelem vždy spouštěla v plně izolovaném prostředí, přidejte STRICT ISOLATION charakteristické klauzule. Viz Izolace prostředí.

Funkce okna SQL v zobrazeních metrik

Funkce okna SQL teď můžete použít v zobrazení metrik k výpočtu průběžných součtů, hodnocení a dalších výpočtů založených na okně.

Bezpečné vypnutí pro aplikace Spark

Aplikace Spark teď podporují řádné vypnutí, což umožňuje dokončení probíhajících úkolů před ukončením aplikace.

Dynamická úprava oddílů pro přehazování v bezstavových streamovacích dotazech

Nyní lze změnit počet oddílů přerozdělení v bezstavových dotazech streamování bez nutnosti restartování dotazů.

Adaptivní provádění dotazů a automaticky optimalizované prohazování v bezstavových dotazech streamování

Vlastnosti adaptivního provádění dotazů (AQE) a automatická optimalizace shuffle (AOS) jsou nyní podporovány v bezstavových dotazech streamování.

FILTER klauzule pro agregační funkce míry v zobrazeních metrik

Klauzuli FILTER s agregačními funkcemi míry metriky v metrických zobrazeních teď můžete použít k definování filtrů na základě jednotlivých agregací při odkazování na míry z těchto zobrazení.

Literální řetězec se shoduje všude

Možnost sjednotit sekvenční řetězcové literály, jako například 'Hello' ' World' do 'Hello World', byla rozšířena z výrazů na jakékoliv místo, kde jsou řetězcové literály povoleny. Například: COMMENT 'This' ' is a ' 'comment'. Podrobnosti STRING najdete v části Typ .

Značky parametrů všude

Teď můžete použít značky parametrů s názvem (:param) a bez názvu (?) prakticky kdekoli, kde lze použít literálovou hodnotu příslušného typu. To zahrnuje značky parametrů v příkazech DDL, jako jsou CREATE VIEW v AS SELECT ? AS c1, typy sloupců DECIMAL(:p, :s) nebo COMMENT ON t IS :comment. Díky této možnosti můžete parametrizovat širokou škálu příkazů SQL bez vystavení kódu útokům prostřednictvím injektáže SQL. Viz Parametry značek pro podrobnosti.

IDENTIFIER klauzule na všech místech

IDENTIFIER Dosah klauzule, která přetypuje řetězce na názvy objektů SQL, byl rozšířen téměř všude, kde je povolen identifikátor. Spolu s vylepšeními slučování literálových řetězců a značek parametrů můžete nyní parametrizovat cokoli od aliasů sloupců (AS IDENTIFIER(:name)) po definice sloupců (IDENTIFIER(:pk) BIGINT NOT NULL). Podrobnosti najdete v IDENTIFIER klauzuli.

Nová funkce BITMAP_AND_AGG

Stávající knihovna BITMAP funkcí byla zaokrouhlena novou funkcí BITMAP_AND_AGG .

Nová knihovna funkcí KLL_Sketch

Nyní můžete použít novou knihovnu funkcí, která vytváří KLL skici pro výpočty přibližných kvantilů.

• kll_sketch_agg_bigint agregační funkce
• kll_sketch_get_quantile_bigint funkce
• kll_sketch_merge_bigint funkce
• kll_sketch_agg_double agregační funkce
• kll_sketch_get_quantile_double funkce
• kll_sketch_merge_double funkce
• kll_sketch_agg_float agregační funkce
• kll_sketch_get_quantile_float funkce
• kll_sketch_merge_float funkce
• kll_sketch_get_n_bigint funkce
• kll_sketch_get_rank_bigint funkce
• kll_sketch_to_string_bigint funkce
• kll_sketch_get_n_double funkce
• kll_sketch_get_rank_double funkce
• kll_sketch_to_string_double funkce
• kll_sketch_get_n_float funkce
• kll_sketch_get_rank_float funkce
• kll_sketch_to_string_float funkce

Knihovna Apache Parquet upgradovaná na verzi 1.16.0

Knihovna Apache Parquet byla upgradována na verzi 1.16.0.

Změny chování

• Sada JDK 21 je teď výchozí sadou Java Development Kit.
• FSCK REPAIR TABLE zahrnuje opravu metadat ve výchozím nastavení.
• Zachování hodnoty null pro typy polí a mapování v klientovi Spark Connect Scala
• FSCK REPAIR TABLE DRY RUN Aktualizace výstupního schématu
• SHOW TABLES DROPPED respektuje LIMIT ustanovení
• Faktory poměru zarovnané mezi čtením a automaticky optimalizovanými zápisy
• Jednotné spouštění uživatelem definovaných funkcí Python v rámci PySpark a Unity Catalog
• Vylepšené chybové zprávy pro problémy s modulem přihlášení konektoru Kafka
• Omezení cestování časem a VACUUM mechanismus uchovávání
• BinaryType se mapuje na bytes ve výchozím nastavení v PySpark
• Struktury NULL se zachovávají během operací Delta MERGE, UPDATEa při zápise streamováním
• Materializované sloupce oddílů v souborech Parquet
• Hodnoty particí časového razítka nyní respektují časové pásmo relace Sparku.
• DESCRIBE TABLE Výstup obsahuje sloupec metadat.

Sada JDK 21 je teď výchozí sadou Java Development Kit.

Databricks Runtime 18.0 používá jako výchozí JDK 21. Sada JDK 21 je obecně dostupná a je dlouhodobá verze podpory (LTS). Dříve byla výchozí sada JDK 17.

Změny v JDK 21:

• Double.toString() a Float.toString() nyní vytváří nejkratší jedinečné řetězcové reprezentace, které se můžou lišit od výstupů JDK 17 v některých hraničních případech.
• Thread.stop(), Thread.suspend()a Thread.resume() teď házet UnsupportedOperationException.
• Aktualizovaná data národního prostředí (CLDR v42) můžou mít vliv na formátování data, času a čísla.

Pokud narazíte na problémy s kompatibilitou, vraťte se na sadu JDK 17. Informace o konfiguraci verzí sady JDK najdete v tématu Vytvoření clusteru s konkrétní verzí sady JDK. Úplný seznam změn mezi JDK 17 a JDK 21 najdete v oficiální zprávě k vydání verze JDK dodavatele.

FSCK REPAIR TABLE zahrnuje opravu metadat ve výchozím nastavení.

Příkaz FSCK REPAIR TABLE teď obsahuje počáteční krok opravy metadat před kontrolou chybějících datových souborů. Příkaz může pracovat s tabulkami s poškozenými kontrolními body nebo neplatnými hodnotami diskových oddílů.

Zachování hodnoty null pro typy polí a mapování v klientovi Spark Connect Scala

Zachovatelnost nulových hodnot typů polí a map je nyní zachována pro typové literály v klientovi Spark Connect Scala. Dříve byly prvky polí a hodnot map vždy nullable.

FSCK REPAIR TABLE DRY RUN Aktualizace výstupního schématu

Sloupec dataFilePath ve výstupním schématu FSCK REPAIR TABLE DRY RUN je nyní nastavitelný na null, aby podporoval hlášení nových typů problémů, kde není možné použít cestu k datovému souboru.

SHOW TABLES DROPPED respektuje klauzuli LIMIT

Příkaz SHOW TABLES DROPPED teď správně respektuje klauzuli LIMIT .

Faktory poměru zarovnané mezi čtením a automaticky optimalizovanými zápisy

Faktory poměru pro změnu velikosti oddílů teď používají desetinné hodnoty konzistentně napříč operacemi čtení a automaticky optimalizovanými zápisy. Výsledkem této změny může být jiný počet úloh pro operace čtení.

Jednotné spouštění uživatelsky definovaných funkcí Python v rámci PySpark a Unity Catalog

Uživatelsky definované funkce Pythonu v katalogu Unity nyní používají Apache Arrow jako výchozí formát pro výměnu, což zlepšuje celkový výkon a odpovídá chování optimalizovanému pro Arrow u Python UDF v Apache Spark. V rámci této změny již hodnoty TIMESTAMP, které jsou předávány uživatelským funkcím Pythonu, neobsahují informace o časovém pásmu v atributu objektu datetimetzinfo. Samotné hodnoty časového razítka zůstávají ve standardu UTC, ale metadata časového pásma se nyní eliminují.

Pokud vaše UDF spoléhá na informace o časovém pásmu, musíte ho obnovit pomocí date = date.replace(tzinfo=timezone.utc). Další informace najdete v tématu Chování časového razítka a časového pásma pro vstupy.

Vylepšené chybové zprávy pro problémy s modulem přihlášení konektoru Kafka

Při použití konektoru Kafka s nezastíněnou třídou modulu přihlášení teď Azure Databricks poskytuje chybové zprávy, které navrhují použití správné stínované předpony třídy (kafkashaded.org.apache.kafka nebo kafkashaded.software.amazon.msk.auth.iam).

Časová omezení a chování při uchovávání dat VACUUM

Azure Databricks nyní blokuje časové dotazy přesahující prahovou hodnotu deletedFileRetentionDuration pro všechny tabulky. Příkaz VACUUM ignoruje argument doby trvání uchovávání s výjimkou případů, kdy je hodnota 0 hodin. Nemůžete nastavit deletedFileRetentionDuration větší nebo logRetentionDuration naopak.

BinaryType se mapuje na bytes ve výchozím nastavení v PySpark

V PySparkuBinaryType se teď konzistentně mapuje na Python bytes. Dříve Pyspark mapoval BinaryType na bytes nebo bytearray v závislosti na kontextu. Chcete-li obnovit staré chování, nastavte spark.sql.execution.pyspark.binaryAsBytes hodnotu false.

Struktury NULL jsou zachovány v operacích Delta MERGE, UPDATE, a streamování zápisu.

Struktury NULL jsou nyní zachovány jako NULL v Delta MERGE UPDATE a streamovací zápisové operace, které zahrnují přetypování struktur. Dříve byly struktury NULL rozšířeny na struktury s poli NULL. Struktura NULL teď zůstává null namísto rozbalení na strukturu se všemi hodnotami polí NULL.

Sloupce oddílů materializované v souborech Parquet

Rozdělené tabulky Delta nyní zhmotňují sloupce oddílů v nově vytvořených souborech Parquet. Dříve byly hodnoty oddílů uloženy v metadatech transakčního protokolu Delta a projevily se v cestách adresářů, ale nebyly zapsány jako sloupce v samotných souborech Parquet. Tato změna je v souladu s chováním Apache Iceberg a UniForm a může ovlivnit úlohy, které přímo čtou soubory Parquet napsané službou Delta Lake, protože nově zapsané soubory obsahují další sloupce oddílů.

Hodnoty časového razítka pro oddíly nyní respektují časové pásmo Spark relace.

Dříve se hodnoty oddílů časového razítka nesprávně převáděly na UTC podle časového pásma JVM, místo aby respektovaly konfiguraci spark.sql.session.timeZone. Hodnoty oddílů timestampu jsou nyní správně upraveny podle nastavení časového pásma relace Spark.

DESCRIBE TABLE Výstup obsahuje sloupec metadat.

Výstup DESCRIBE TABLE [EXTENDED] teď obsahuje nový metadata sloupec pro všechny typy tabulek. Tento sloupec obsahuje sémantická metadata (zobrazovaný název, formát a synonyma) definovaná v tabulce jako řetězec JSON.

Upgrady knihoven

Upgradované knihovny Pythonu:

• anyio od 4.6.2 do 4.7.0
• asttokens od 2.0.5 do 3.0.0
• Azure-Core od 1.34.0 do 1.37.0
• azure-mgmt-core od 1.5.0 do 1.6.0
• azure-storage-blob od 12.23.0 do 12.28.0
• azure-storage-file-datalake od 12.17.0 do 12.22.0
• boto3 od 1.36.2 do 1.40.45
• botocore od 1.36.3 do 1.40.45
• Certifikát od 31.1.2025 do 26.4.2025
• klikněte z 8.1.7 na 8.1.8
• kryptografie od 43.0.3 do 44.0.1
• Cython od 3.0.12 do 3.1.5
• databricks-sdk od 0.49.0 do 0.67.0
• Odstaveno od verze 1.2.13 do verze 1.2.18
• provádění od 0.8.3 do 1.2.0
• fastapi od 0.115.12 do 0.128.0
• filelock od 3.18.0 do 3.17.0
• google-api-core od 2.20.0 do 2.28.1
• google-auth od 2.40.0 do 2.47.0
• google-cloud-core od 2.4.3 do 2.5.0
• google-cloud-storage od 3.1.0 do 3.7.0
• google-crc32c od 1.7.1 do 1.8.0
• google-resumable-media od 2.7.2 do 2.8.0
• h11 od 0.14.0 do 0.16.0
• httpcore od 1.0.2 do 1.0.9
• httpx od 0.27.0 do 0.28.1
• isodate od 0.6.1 do 0.7.2
• Jinja2 od 3.1.5 do 3.1.6
• jupyter-events od 0.10.0 do 0.12.0
• jupyter-lsp od 2.2.0 do 2.2.5
• jupyter_server od 2.14.1 do 2.15.0
• jupyter_server_terminals od 0.4.4 do 0.5.3
• chybné ladění od 2.0.4 do 3.1.2
• mlflow-skinny od 3.0.1 do 3.8.1
• mmh3 od 5.1.0 do 5.2.0
• msal od 1.32.3 do 1.34.0
• nbclient od 0.8.0 do 0.10.2
• nbconvert od 7.16.4 do 7.16.6
• nodeenv od 1.9.1 do 1.10.0
• notebook_shim od 0.2.3 do 0.2.4
• opentelemetry-api od 1.32.1 do 1.39.1
• opentelemetry-sdk od 1.32.1 do 1.39.1
• opentelemetry-semantický-konvence od 0.53b1 do 0.60b1
• platformdirs od 3.10.0 do 4.3.7
• prometheus_client od 0.21.0 do 0.21.1
• proto-plus od 1.26.1 do 1.27.0
• psycopg2 od 2.9.3 do 2.9.11
• pyarrow od 19.0.1 do 21.0.0
• Pygments od 2.15.1 do 2.19.1
• pyiceberg od 0.9.0 do 0.10.0
• python-lsp-server od 1.12.0 do 1.12.2
• lano od 1.12.0 do 1.13.0
• s3transfer od 0.11.3 do 0.14.0
• scipy od 1.15.1 do 1.15.3
• instalační nástroje od 74.0.0 do 78.1.1
• šest od 1.16.0 do 1.17.0
• sqlparse od 0.5.3 do 0.5.5
• stack-data od 0.2.0 do 0.6.3
• starlette od 0.46.2 do 0.50.0
• tornado od 6.4.2 do 6.5.1
• types-python-dateutil od 2.9.0.20241206 do 2.9.0.20251115
• uvicorn z verze 0.34.2 na verzi 0.40.0
• webcolors od verze 24.11.1 do verze 25.10.0

Upgradované knihovny jazyka R:

• šipka od 19.0.1 do 22.0.0
• základ od 4.4.2 do 4.5.1
• bigD od 0.3.0 do 0.3.1
• broom od verze 1.0.7 na verzi 1.0.10
• hodiny od 0.7.2 do 0.7.3
• commonmark od 1.9.5 do 2.0.0
• kompilátor z verze 4.4.2 do 4.5.1
• přihlašovací údaje od 2.0.2 do 2.0.3
• curl od 6.4.0 do 7.0.0
• data.table od 1.17.0 do 1.17.8
• datové sady od 4.4.2 do 4.5.1
• dbplyr od 2.5.0 do 2.5.1
• devtools od 2.4.5 do 2.4.6
• rozdíl od 0.3.5 do 0.3.6
• digest od 0.6.37 do 0.6.39
• downlit z verze 0.4.4 na verzi 0.4.5
• dtplyr od 1.3.1 do 1.3.2
• vyhodnotit z 1.0.3 na 1.0.5
• fansi od verze 1.0.6 do verze 1.0.7
• Forcats od 1.0.0 do 1.0.1
• fs od 1.6.5 do 1.6.6
• verze od 1.34.0 do 1.68.0
• future.apply od verze 1.11.3 do 1.20.0
• gargle od 1.5.2 do 1.6.0
• gert od 2.1.4 do 2.2.0
• ggplot2 od 3.5.1 do 4.0.1
• gh od 1.4.1 do 1.5.0
• Git2r od 0.35.0 do 0.36.2
• glmnet od 4.1-8 do 4.1-10
• googledrive od 2.1.1 do 2.1.2
• googlesheets4 od 1.1.1 do 1.1.2
• grafika od 4.4.2 do 4.5.1
• grDevices od 4.4.2 do 4.5.1
• mřížka od 4.4.2 do 4.5.1
• Aktualizace z verze 0.11.1 na 1.1.0
• hardhat od 1.4.1 do 1.4.2
• haven z verze 2.5.4 na verzi 2.5.5
• hms od 1.1.3 do 1.1.4
• httpuv od 1.6.15 do 1.6.16
• httr2 od 1.1.1 do 1.2.1
• jsonlite od 1.9.1 do 2.0.0
• později od 1.4.1 do 1.4.4
• láva od 1.8.1 do 1.8.2
• listenv od 0.9.1 do 0.10.0
• magrittr od 2.0.3 do 2.0.4
• markdown od 1.13 do 2.0
• metody od 4.4.2 do 4.5.1
• miniUI od 0.1.1.1 do 0.1.2
• mlflow od 2.20.4 do 3.6.0
• openssl od 2.3.3 do 2.3.4
• paralelně od 4.4.2 do 4.5.1
• paralelně od 1.42.0 do 1.45.1
• pilíř od 1.11.0 do 1.11.1
• pkgbuild od 1.4.6 do 1.4.8
• pkgdown od 2.1.1 do 2.2.0
• pkgload od 1.4.0 do 1.4.1
• pROC od 1.18.5 do 1.19.0.1
• prodlim od 2024.06.25 do 2025.04.28
• progressr od 0.15.1 do 0.18.0
• sliby od 1.3.2 do 1.5.0
• ps od 1.9.0 do 1.9.1
• purrr od 1.0.4 do 1.2.0
• ragg od 1.3.3 do 1.5.0
• Rcpp od 1.0.14 do 1.1.0
• readr od 2.1.5 do 2.1.6
• recepty od 1.2.0 do 1.3.1
• reshape2 z verze 1.4.4 na verzi 1.4.5
• rmarkdown od 2.29 do 2.30
• roxygen2 od 7.3.2 do 7.3.3
• rprojroot od 2.0.4 do 2.1.1
• RSQLite od 2.3.9 do 2.4.4
• Verze od 2.1.2 do 3.0.0
• rvest z verze 1.0.4 na verzi 1.0.5
• sass od 0.4.9 do 0.4.10
• škálování od 1.3.0 do 1.4.0
• lesklý od 1.10.0 do 1.11.1
• sparklyr, verze od 1.9.1 do 1.9.3
• SparkR od 4.0.0 do 4.1.0
• řídké vektory od 0.3.1 do 0.3.4
• Verze spline od 4.4.2 do 4.5.1
• Statistiky od 4.4.2 do 4.5.1
• Statistiky 4 od 4.4.2 do 4.5.1
• aktualizace stringr z verze 1.5.1 na verzi 1.6.0
• systemfonts od 1.2.1 do 1.3.1
• tcltk od 4.4.2 do 4.5.1
• testthat od 3.2.3 do 3.3.0
• textshaping od 1.0.0 do 1.0.4
• časDatum od 4041.110 do 4051.111
• tinytex od 0,56 do 0,58
• nástroje od 4.4.2 do 4.5.1
• usethis od verze 3.1.0 do verze 3.2.1
• nástroje od 4.4.2 do 4.5.1
• V8 od 6.0.2 do 8.0.1
• vroom od 1.6.5 do 1.6.6
• waldo od 0.6.1 do 0.6.2
• xfun od 0,51 do 0,54
• xml2 od 1.3.8 do 1.5.0
• zeallot od 0.1.0 do 0.2.0
• zip od 2.3.2 do 2.3.3

Upgradované knihovny Java:

• com.amazonaws.amazon-kinesis-client od 1.12.0 do 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling z verze 1.12.638 na verzi 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-config od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-core od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-datapipeline od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-directconnect od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-directory od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-ec2 od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-ecs od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-efs od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-elasticache od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing aktualizace z verze 1.12.638 na 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-emr od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-glacier od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-glue od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-iam od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-importexport od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-kinesis od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-kms od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-lambda od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-logs od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-opsworks od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-rds od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-redshift od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-route53 od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-s3 od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-ses od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-simpledb od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-sns od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-sqs od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-ssm od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-sts od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-support od 1.12.638 do 1.12.681
• com.amazonaws.aws-java-sdk-workspaces od 1.12.638 do 1.12.681
• com.amazonaws.jmespath-java od 1.12.638 do 1.12.681
• com.databricks.databricks-sdk-java od 0.27.0 do 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 od 2.18.2 do 2.18.3
• com.github.luben.zstd-jni od 1.5.6-10 do 1.5.7-6
• com.google.flatbuffers.flatbuffers-java od 24.3.25 do 25.2.10
• com.google.guava.failureaccess od 1.0.2 do 1.0.3
• com.google.guava.guava od 33.4.0-jre do 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc od 11.2.3.jre8 do 12.8.0.jre8
• commons-cli.commons-cli od 1.9.0 do 1.10.0
• commons-codec.commons-codec od 1.17.2 do 1.19.0
• commons-fileupload.commons-fileupload od 1.5 do 1.6.0
• commons-io.commons-io od 2.18.0 do 2.21.0
• dev.ludovic.netlib.arpack od 3.0.3 do 3.0.4
• dev.ludovic.netlib.blas od 3.0.3 do 3.0.4
• dev.ludovic.netlib.lapack od 3.0.3 do 3.0.4
• io.dropwizard.metrics.metrics-annotation od 4.2.30 do 4.2.37
• io.dropwizard.metrics.metrics-core od 4.2.30 do 4.2.37
• io.dropwizard.metrics.metrics-graphite od 4.2.30 do 4.2.37
• io.dropwizard.metrics.metrics-healthchecks od 4.2.30 do 4.2.37
• io.dropwizard.metrics.metrics-jmx od 4.2.30 do 4.2.37
• io.dropwizard.metrics.metrics-json od 4.2.30 do 4.2.37
• Aktualizace io.dropwizard.metrics.metrics-jvm z verze 4.2.30 na verzi 4.2.37
• io.dropwizard.metrics.metrics-servlets z 4.2.30 na 4.2.37
• io.netty.netty-all od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-buffer od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-codec od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-codec-http od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-codec-http2 aktualizován z 4.1.118.Final na 4.2.7.Final
• io.netty.netty-codec-socks od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-common od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-handler od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-handler-proxy z verze 4.1.118.Final do 4.2.7.Final
• io.netty.netty-resolver od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static ze verze 2.0.70.Final-db-r0-windows-x86_64 na verzi 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes od 2.0.70.Final do 2.0.74.Final
• io.netty.netty-transport od 4.1.118.Final do 4.2.7.Final
• io.netty.netty-transport-classes-epoll od 4.1.118.Final do 4.2.7.Final
• Aktualizace io.netty.netty-transport-classes-kqueue z verze 4.1.118.Final na verzi 4.2.7.Final
• io.netty.netty-transport-native-epoll z verze 4.1.118.Final-linux-x86_64 na verzi 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue od 4.1.118.Final-osx-x86_64 do 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common od 4.1.118.Final do 4.2.7.Final
• joda-time.joda-time od 2.13.0 do 2.14.0
• org.apache.arrow.arrow-format od verze 18.2.0 na verzi 18.3.0
• org.apache.arrow.arrow-memory-core od 18.2.0 do 18.3.0
• org.apache.arrow.arrow-memory-netty od 18.2.0 do 18.3.0
• org.apache.arrow.arrow-memory-netty-buffer-patch od 18.2.0 do 18.3.0
• org.apache.arrow.arrow-vector od 18.2.0 do 18.3.0
• org.apache.avro.avro od 1.12.0 do 1.12.1
• org.apache.avro.avro-ipc od 1.12.0 do 1.12.1
• org.apache.avro.avro-mapred od 1.12.0 do 1.12.1
• org.apache.commons.commons-collections4 od 4.4 do 4.5.0
• org.apache.commons.commons-compress z 1.27.1 na 1.28.0
• org.apache.commons.commons-lang3 od 3.17.0 do 3.19.0
• org.apache.commons.commons-text od 1.13.0 do 1.14.0
• org.apache.kurátor.kurátor-client od 5.7.1 do 5.9.0
• org.apache.kurátor.kurátor-framework od 5.7.1 do 5.9.0
• org.apache.kurátor.kurátor-recepty od 5.7.1 do 5.9.0
• org.apache.datasketches.datasketches-java od 6.1.1 do 6.2.0
• org.apache.hadoop.hadoop-client-runtime od 3.4.1 do 3.4.2
• org.apache.orc.orc-core od 2.1.1-shaded-protobuf na 2.2.0-shaded-protobuf
• org.apache.orc.orc-format z verze 1.1.0-shaded-protobuf na verzi 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce z verze 2.1.1-shaded-protobuf až 2.2.0-shaded-protobuf
• org.apache.orc.orc-shims od 2.1.1 do 2.2.0
• org.apache.xbean.xbean-asm9-shaded od 4.26 do 4.28
• org.apache.zookeeper.zookeeper od 3.9.3 do 3.9.4
• org.apache.zookeeper.zookeeper-jute od 3.9.3 do 3.9.4
• org.eclipse.jetty.jetty-client od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-http od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-io od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-jndi od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-plus z verze 9.4.53.v20231009 na 10.0.26
• org.eclipse.jetty.jetty-proxy od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-security od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-server od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-servlet od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-servlets od verze 9.4.53.v20231009 do verze 10.0.26
• org.eclipse.jetty.jetty-util od 9.4.53.v20231009 do 10.0.26
• org.eclipse.jetty.jetty-webapp z 9.4.53.v20231009 na 10.0.26
• org.eclipse.jetty.jetty-xml od 9.4.53.v20231009 do 10.0.26
• org.mlflow.mlflow-spark_2.13 od 2.9.1 do 2.22.1
• org.objenesis.objenesis od 3.3 do 3.4
• org.scala-lang.modules.scala-xml_2.13 od 2.3.0 do 2.4.0

Apache Spark

Databricks Runtime 18.0 zahrnuje Apache Spark 4.1.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v předchozí verzi a také následující:

• SPARK-54182 Vrátit zpět "[SQL][python] Optimalizovat nepřímou konverzi df.toPandas"
• SPARK-54134 Optimalizace využití paměti pomocí Apache Arrow
• SPARK-54536 Chybějící shromažďování nákladů na vytvoření klienta nebo čekání na shuffle FetchWaitTime
• SPARK-54534 Migrace starších kódů chyb souvisejících s Hivem do správných chybových podmínek
• SPARK-54565 SparkBuildInfo by se měl načítat z vlastního zavaděče tříd spark-version-info.properties
• SPARK-54533 Nastavit metriky ExecutorSource.METRIC_RESULT_SIZE na správnou hodnotu
• SPARK-54478 Opětovné povolení testů streamování pro test kompatibility CI pro připojení
• SPARK-54552 Opravit SparkConnectResultSet.getString pro zpracování datového typu BINARY pomocí UTF_8
• SPARK-54501 Zlepšit zpracování chyb při selháních filtru oddílů v metastore Hive
• SPARK-54550 Zpracujte ConnectException plynule v SparkConnectStatement.close()
• SPARK-54020 Podpora spark.sql(...) rozhraní Python API v dotazovacích funkcích pro deklarativní kanál Sparku
• SPARK-53127 Oprava LIMIT ALL pro nelimtovanou rekurzi pomocí normalizace CTE
• SPARK-50072 Zpracování AritmeticException v intervalu parsování s velkými hodnotami
• SPARK-54299 Oprava nesprávného ukázkového dotazu v WindowGroupLimit
• SPARK-54505 Oprava pořadí argumentů volání createMetrics v makeNegative
• SPARK-54462 Přidejte SupportsV1OverwriteWithSaveAsTable mixin pro TableProvider
• SPARK-54540 Několik drobných vylepšení pro připojení JDBC ovladače
• SPARK-54508 Opravit robustnější vyřešení cesty spark-pipelines k souboru
• SPARK-54087 Spouštěcí úloha Spark Executoru selhala, měla by vrátit zprávu o tom, že úloha byla zabita.
• SPARK-53797 Opravit FileStreamSource.takeFilesUntilMax tak, aby používal zipWithIndex k zamezení použití indices
• SPARK-54418 Oprava chybových zpráv a formátování kódu
• SPARK-54114 Podpora getColumns pro SparkConnectDatabaseMetaData
• SPARK-54209 Podpora typu TIMESTAMP v SparkConnectResultSet
• SPARK-54208 Podpora typu času ve SparkConnectResultSet
• SPARK-54528 Ukončete nástroj URLClassLoader okamžitě, abyste se vyhnuli OOM.
• SPARK-54464 Odstraňte duplicitní output.reserve volání v assembleVariantBatch
• SPARK-53635 Podpora Scala UDF s argumenty vstupu typu Seq[Row]
• SPARK-54493 Oprava assertSchemaEqual pro MapType
• SPARK-52515 Testovací approx_top_k s příznakem zapnuto a vypnuto
• SPARK-54413 Upgrade bootstrap v4.4.1 na v4.6.2
• SPARK-54497 Použití functools.lru_cache v mezipaměti převaděče
• SPARK-54306 Přidávání poznámek ke sloupcům Variant pomocí anotace logického typu Variant
• SPARK-54350 SparkGetColumnsOperation by měl mít ORDINAL_POSITION začínající od 1
• SPARK-54130 Přidání podrobných chybových zpráv pro chyby kontrolních výrazů katalogu
• SPARK-54220 Podpora typu NullType/VOID/UNKNOWN v Parquet
• SPARK-54163 Kontrola kanonického rozdělení pro informace o dělení a řazení
• SPARK-54377 Spravit COMMENT ONTABLE IS NULL k odstranění komentáře tabulky
• SPARK-52767 Optimalizace maxRows a maxRowsPerPartition pro připojení a sjednocení
• SPARK-54063 Zahájit snímek pro další dávku při zpoždění nahrávání
• SPARK-54384 Modernizace metody _batched pro BatchedSerializer
• SPARK-54378 Odebrat CreateXmlParser.scala z catalyst modulu
• SPARK-53103 Vrátí chybu [SC-204946][ss] Vyvolá chybu, pokud při spuštění dotazu není adresář stavu prázdný.
• SPARK-53103 Vyvolání chyby, pokud adresář stavu není při spuštění dotazu prázdný
• SPARK-54397 Udělat UserDefinedType hashovatelným
• SPARK-54440 Dejte výchozímu souboru specifikace kanálu více idimaticního názvu, spark-pipeline.yml
• SPARK-54324 Přidání testu pro rozšíření kontextu klienta a uživatele
• SPARK-54456 Import modulu pracovního procesu po forku, aby se zabránilo vzájemnému zablokování
• SPARK-54427 Povolit volání copy ColumnarRow s variantami
• SPARK-54136 Extrakce logiky sjednocení plánu z MergeScalarSubqueries do PlanMerger
• SPARK-54389 Oprava chyby neplatného razítka úložiště stavu RocksDB při označení úlohy jako neúspěšné během inicializace
• SPARK-54346 Zavedení rozhraní API pro přerozdělení stavu a běžec přerozdělení.
• SPARK-53809 Přidání kanonizace pro DataSourceV2ScanRelation
• SPARK-54280 Vyžadovat, aby adresář úložiště kontrolních bodů kanálu byl absolutní cestou.
• SPARK-54206 Podpora dat binárního typu ve SparkConnectResultSet
• SPARK-54319 BhJ LeftAnti update numOutputRows chybná při zakázání codegenu
• SPARK-54355 Umožněte spark.connect.session.planCompression.defaultAlgorithm podporu NONE
• SPARK-54341 Zapamatovat TimeTravelSpec pro tabulky načtené prostřednictvím TableProvideru
• SPARK-54280 Vrátit zpět "[SC-212148][sdp] Vyžadovat adresář kontrolního bodu kanálu, aby byl absolutní cesta"
• SPARK-54354 Oprava situace, když se Spark zablokuje, protože není dostatek paměti JVM heap pro vysílanou hashovanou relaci
• SPARK-54439 Neshoda velikosti klíčů při rozdružení a spojování dle keyGroupedPartitioning
• SPARK-54280 Vyžadovat, aby adresář úložiště kontrolních bodů kanálu byl absolutní cestou.
• SPARK-54395 RemoteBlockPushResolver – třída opakovaně inicializuje ObjectMapper
• SPARK-54207 Podporuje data datového typu v SparkConnectResultSet.
• SPARK-54182 Optimalizace převodu bez využití 'arrow' formátu df.toPandas
• SPARK-54312 Vyhněte se opakovanému plánování úkolů pro SendHeartbeat/WorkDirClean v samostatném pracovním procesu.
• SPARK-54394 Přesunout isJavaVersionAtMost17 a isJavaVersionAtLeast21 z corecommon/utils
• SPARK-53927 Aktualizace klienta Kinesis
• SPARK-54358 Rozdíly kontrolních bodů kolidují při streamování tabulek v různých schématech se stejným názvem
• SPARK-54310 Vrátit zpět "[SC-212003][sql] Přidat numSourceRows metriku pro MergeIntoExec"
• SPARK-54310 Přidání numSourceRows metriky pro MergeIntoExec
• SPARK-53322 Vyberte KeyGroupedShuffleSpec pouze v případech, kdy je možné plně potlačit pozice spojovacích klíčů.
• SPARK-54270 Metody Get* SparkConnectResultSet by měly volat checkOpen a kontrolovat hranice indexu.
• SPARK-53849 Aktualizace Netty a Netty TC Native
• SPARK-54205 Podporuje data desetinného typu ve SparkConnectResultSet.
• SPARK-54417 Oprava chybové zprávy pro skalární poddotaz v IDENTIFIER klauzuli
• SPARK-54113 Podpora getTables pro SparkConnectDatabaseMetaData
• SPARK-54303 Kanonizovat stav chyby MISSING_CATALOG_ABILITY
• SPARK-54153 Podpora profilování Python UDF založených na iterátorech
• SPARK-54349 Refaktoring kódu pro zjednodušení rozšíření integrace faulthandleru
• SPARK-54317 Sjednocení logiky převodu Arrow pro Classic a Connect toPandas
• SPARK-54339 Oprava nedeterminismu AttributeMap
• SPARK-54112 Podpora getSchemas pro SparkConnectDatabaseMetaData
• SPARK-54180 Přepsat toString u BinaryFileFormat
• SPARK-54213 Odebrání Pythonu 3.9 z Spark Connect
• SPARK-54215 Přidání vlastnosti SessionStateHelper do FilePartition
• SPARK-54115 Zvýšit prioritu řazení vláken operací připojení serveru na stránce výpisu vláken
• SPARK-54193 Zastaralé spark.shuffle.server.finalizeShuffleMergeThreadsPercent
• SPARK-54149 Povolit koncovou rekurzi, kdykoli je to možné
• SPARK-54185 Označené jako zastaralé spark.shuffle.server.chunkFetchHandlerThreadsPercent
• SPARK-54056 vyřešit náhradu nastavení SQLConf v katalozích
• SPARK-54147 Nastavit OMP_NUM_THREADS na spark.task.cpus ve výchozím nastavení v rámci BaseScriptTransformationExec
• SPARK-54229 Umožněte PySparkLoggeru v UDFs ukládat jednu položku záznamu na každý hovor funkce pro záznam.
• SPARK-53337 XSS: Ujistěte se, že název aplikace na historii stránky je escapován.
• SPARK-54229 Revert "[SC-211321][python] Nechat PySparkLogger v UDFy ukládat jeden záznam pro každé volání funkce logu"
• SPARK-54373 Zvětšit atribut SVG viewBox v inicializaci DAG úlohy
• SPARK-54323 Změna způsobu přístupu k protokolům k TVF místo systémového zobrazení
• SPARK-54229 Umožněte PySparkLoggeru v UDFs ukládat jednu položku záznamu na každý hovor funkce pro záznam.
• SPARK-53978 Podpora protokolování pracovních procesů na straně ovladačů
• SPARK-54146 Vyčištění využití zastaralého rozhraní Jackson API
• SPARK-54383 Přidání předpočítané varianty schématu pro InternalRowComparableWrapper util
• SPARK-54030 Přidání uživatelsky přívětivé kontrolní zprávy pro poškození metadat zobrazení
• SPARK-54144 Odvození typů pomocí krátkého vyhodnocení
• SPARK-54030 Vrátit zpět "[SC-210301][sql] Přidání uživatelsky přívětivé kontrolní zprávy pro zobrazení poškození metadat
• SPARK-54028 Použití prázdného schématu při změně zobrazení, které není kompatibilní s Hivem
• SPARK-54030 Přidání uživatelsky přívětivé kontrolní zprávy pro poškození metadat zobrazení
• SPARK-54085 Oprava initialize přidání CREATE možnosti navíc v DriverRunner
• SPARK-53482MERGE INTO podpora, pokud zdroj obsahuje méně vnořené pole než cíl
• SPARK-53905 Refaktorovat RelationResolution k umožnění opětovného použití kódu
• SPARK-53732 Zapamatovat TimeTravelSpec v DataSourceV2Relation
• SPARK-54014 Podpora maximálního počtu řádků pro SparkConnectStatement
• SPARK-50906 Oprava kontroly nulovatelnosti Avro u polí přeskupených struktur
• SPARK-54396 Optimalizace volání Py4J v prvku Dataframe.toArrow
• SPARK-54344 Pokud v daemon.py selže vyprázdnění, ukončete pracovní proces.
• SPARK-53977 Podpora protokolování v UDTF
• SPARK-52515 Znovu použít "[SC-199815][sql] Přidat funkci approx_top_k"
• SPARK-54340 Přidání schopnosti použití viztraceru u démona/pracovníků pyspark
• SPARK-54379 Přesunutí vazby lambda do samostatného LambdaBinder objektu
• SPARK-54029 Přidat podrobnou chybovou zprávu pro poškození metadat tabulky pro snadnější ladění
• SPARK-54002 Podpora integrace BeeLine s ovladačem Connect JDBC
• SPARK-54336 Oprava BloomFilterMightContain kontroly typu vstupu pomocí ScalarSubqueryReference
• SPARK-53406 Vyhněte se zbytečnému shuffle join při přímém průchodu shuffle ID.
• SPARK-54347 Optimalizace volání Py4J v klasickém datovém rámci
• SPARK-54062 Vyčištění kódu MergeScalarSubqueries
• SPARK-54054 Podpora pro pozici řádku ve SparkConnectResultSet
• SPARK-54330 Optimalizace volání Py4J v spark.createDataFrame
• SPARK-54332 Není nutné připojovat PlanId v názvech sloupců souhrnu/ datové krychle/GroupingSets.
• SPARK-53976 Podpora protokolování v Pandas/Arrow UDFs
• SPARK-54123 Přidání časového pásma, aby časové razítko bylo absolutním časem
• SPARK-54356 Oprava EndToEndAPISuite způsobena chybějícím schématem kořenového úložiště
• SPARK-54292 Podpora agregačních funkcí a GROUP BY operátorů>SELECT kanálu (#180106) (#180368)
• SPARK-54376 Označení většiny možností konfigurace kanálu jako interních
• SPARK-53975 Přidá základní podporu protokolování pracovních procesů Pythonu.
• SPARK-54361 Oprava verze Sparku na zamýšlenou hodnotu 4.2.0 pro spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 Podpora | jako alternativu k |> pro token operátoru kanálu SQL
• SPARK-53535 Oprava chybějících struktur, které se vždy předpokládají jako null
• SPARK-54294 Normalizovat server Connect vytištěnou IP adresu
• SPARK-52439 Podpora omezení kontroly s hodnotou null
• SPARK-54352 Zavedení SQLConf.canonicalize centralizované normalizace řetězců
• SPARK-54183 Vrátit zpět "[SC-211824][python][CONNECT] Vyhněte se jednomu přechodnému dočasnému datovému rámci během připojení sparku kPandas()"
• SPARK-53573IDENTIFIER všude
• SPARK-53573 Povolit spojené řetězcové literály všude
• SPARK-54240 Překlad výrazu get array item catalyst do výrazu spojnice
• SPARK-54334 Přesunutí ověření výrazů poddotazů v rámci funkcí lambda a vyššího pořadí do SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 Vraťte se "[SC-211824][python][CONNECT] Vyhněte se jednomu přechodnému dočasnému datovému rámci během připojení Sparku kPandas()"
• SPARK-54183 Vyhněte se jednomu dočasnému datovému rámci během připojení Sparku kPandas()
• SPARK-54264 Operátor DeDup může používat RocksDB keyExists().
• SPARK-54269 Upgrade cloudpickle na verzi 3.1.2 pro Python 3.14
• SPARK-54300 Optimalizace volání Py4J v df.toPandas
• SPARK-54307 Vyvolá chybu, pokud se dotaz streamování restartuje se stavovou operací, ale je prázdný adresář stavu.
• SPARK-54117 Vyvolání lepší chyby, která značí, že služba TWS je podporována pouze u poskytovatele úložiště stavů RocksDB
• SPARK-53917 Podpora rozsáhlých místních vztahů – následné zpracování
• SPARK-54275 Vyčištění nepoužívaného kódu z pipeline modulu
• SPARK-54287 Přidání podpory Pythonu 3.14 do pyspark-client a pyspark-connect
• SPARK-53614 Přidání Iterator[pandas.DataFrame] podpory do applyInPandas
• SPARK-54191 Jednorázové přidání do Defineflow Proto
• SPARK-54234 Při použití df.groupBy není třeba připojit PlanId v názvech sloupců seskupení.
• SPARK-54231 Vyplňování mezer v dokumentech SDP
• SPARK-54199 Přidání podpory rozhraní API datového rámce pro nové funkce skic KLL (#178526)
• SPARK-52463 Opětovné použití "[SC-211221][sdp] Přidání podpory pro cluster_by v rozhraních API Python Pipelines"
• SPARK-52463 Vrátit zpět "[SC-211221][sdp] přidání podpory pro cluster_by v rozhraních Python Pipelines API"
• SPARK-53786 Výchozí hodnota se speciálním názvem sloupce by neměla být v konfliktu se skutečným sloupcem.
• SPARK-54200 Aktualizace KafkaConsumerPoolRealTimeModeSuite pro použití groupIdPrefix pro zabezpečení souběžných spuštění
• SPARK-52463 Přidání podpory pro cluster_by v rozhraních PYTHON Pipelines API
• SPARK-52509 Vyčištění jednotlivých míchání z alternativního úložiště při RemoveShuffle události
• SPARK-54187 Znovu použít [SC-211150][python][CONNECT] Získání všech konfigurací v dávce v toPandas
• SPARK-53942 Podpora změny stateless shuffle partitionů při restartování streamovacího dotazu
• SPARK-52515 Vrátit "[SC-199815][sql] Přidání funkce approx_top_k"
• SPARK-52515 Přidání funkce approx_top_k
• SPARK-54078 Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odebrání infrastruktury ze starého testu
• SPARK-54178 Vylepšení chyby pro ResolveSQLOnFile
• SPARK-53455 Přidej CloneSession RPC
• SPARK-54178 Vrácení chyby [SC-2111111][sql] Zlepšení chyby pro ResolveSQLOnFile
• SPARK-53489 Odstranit použití v2ColumnsToStructType v ApplyDefaultCollationToStringType
• SPARK-54178 Vylepšení chyby pro ResolveSQLOnFile
• SPARK-54187 Vrátit změnu "[SC-211150][python][CONNECT] Získat všechny konfigurace jedním dávkovým zpracováním v toPandas"
• SPARK-53942 Vrátit zpět [SC-209873][ss] Podpora změny bezstavových oddílů při restartování dotazu streamování
• SPARK-54187 Získat všechny nastavení v dávkovém zpracování v toPandas
• SPARK-54145 Oprava kontroly sloupce vnořeného typu v číselné agregaci
• SPARK-53942 Podpora změny stateless shuffle partitionů při restartování streamovacího dotazu
• SPARK-53991 Přidání podpory SQL pro funkce quantiles KLL na základě databází DataSketches (#178089) (#178234)
• SPARK-53128 Zahrnutí nespravovaných bajtů paměti do protokolu využití před spuštěním paměti OOM
• SPARK-53731 Aktualizace nápovědy k typům rozhraní API iterátoru
• SPARK-53967 Vyhněte se vytváření zprostředkujících datových rámců pandas v df.toPandas
• SPARK-53455 Vrátit zpět [SC-208758][connect] Přidat CloneSession RPC
• SPARK-54108 Upravit metody execute* pro SparkConnectStatement
• SPARK-54052 Přidání objektu mostu pro alternativní řešení omezení Py4J
• SPARK-54128 Převod IllegalArgumentException na SparkException se správnými třídami chyb na serveru Spark Connect
• SPARK-53880 Oprava DSv2 v PushVariantIntoScan přidáním SupportsPushDownVariants
• SPARK-54111 Podpora funkce getCatalogs pro SparkConnectDatabaseMetaData
• SPARK-53455 Přidej CloneSession RPC
• SPARK-54118 Vylepšení operace put/merge v ListState, pokud existuje více hodnot
• SPARK-54038 Podpora getSQLKeywords pro SparkConnectDatabaseMetaData
• SPARK-54013 Implementace jednoduchých metod SparkConnectDatabaseMetaData
• SPARK-53934 Počáteční implementace ovladače Connect JDBC
• SPARK-53959 Vyvolání chyby na straně klienta při vytváření datového rámce pandas s indexem, ale bez dat
• SPARK-53573 Vrátit změny "[SC-210255][sql] Povolit sjednocení řetězcových literálů všude"
• SPARK-54094 Extrahování běžných metod do KafkaOffsetReaderBase
• SPARK-53573 Povolit spojené řetězcové literály všude
• SPARK-54039 Přidejte informace o TaskContext do protokolů funkce release() v KafkaDataConsumer pro lepší ladění
• SPARK-54031 Přidání nových testů zlatých souborů pro hraniční případy analýzy
• SPARK-54067 Vylepšit , aby se vyvolávalo SparkSubmit s původní příčinou namísto exitFn
• SPARK-54047 Chyba rozdílu při vypršení časového limitu ukončení při nečinnosti
• SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 Zabalit IllegalArgumentException se správným kódem chyby pro neplatné vzory data a času
• SPARK-54031 Vrátit zpět "[SC-210084][sql] Přidání nových testů zlatých souborů pro analýzu hraničních případů"
• SPARK-54075 Udělejte ResolvedCollation hodnotitelné
• SPARK-54001 Optimalizace využití paměti při klonování relací s referenčním počítáním pro lokální relace s mezipamětí
• SPARK-54031 Přidání nových testů zlatých souborů pro hraniční případy analýzy
• SPARK-53923 Přejmenovat spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Místo Javy použijte Javu Set.of.Collections.emptySet
• SPARK-53755 Přidání podpory protokolů v BlockManageru
• SPARK-54041 Refaktoring ověření argumentů ParameterizedQuery
• SPARK-53696 Výchozí bajty pro BinaryType v PySpark
• SPARK-53921 Zavedení geometryType a GeographyType do rozhraní PySpark API
• SPARK-53788 Přesun nástrojů VersionUtils do common modulu
• SPARK-53999 Nativní podpora přenosu KQueue v systému BSD/MacOS
• SPARK-54021 Implementace geografických a geometrických přístupových objektů napříč katalyzátorem
• SPARK-53921 Vrátit zpět "[SC-209482][geo][PYTHON] Zavedení geometryType a GeographyType do rozhraní PySpark API
• SPARK-53920 Seznámení s geometryType a GeographyType v rozhraní Java API
• SPARK-53610 Omezení velikosti dávek Arrow v metodách CoGrouped applyInPandas a applyInArrow
• SPARK-53659 Odvození schématu rozkládání varianty při zápisu do formátu Parquet
• SPARK-53922 Zavedení fyzických typů geometrie a geografie
• SPARK-54059 Zmenšení výchozí velikosti stránky pomocí LONG_ARRAY_OFFSET, pokud jsou použity ZGC nebo ShenandoahGC a ON_HEAP
• SPARK-53921 Zavedení geometryType a GeographyType do rozhraní PySpark API
• SPARK-54048 Aktualizace dev/requirements.txt pro instalaci torch(vision) v Pythonu 3.14
• SPARK-53917 Podpora rozsáhlých místních vztahů
• SPARK-53760 Představení typu GeometryType a GeographyType
• SPARK-53530 Vyčištění zbytečného kódu souvisejícího s TransformWithStateInPySparkStateServer
• SPARK-53636 Oprava problému s bezpečností vláken v SortShuffleManager.unregisterShuffle
• SPARK-52762 Přidání zprávy PipelineAnalysisContext pro podporu analýzy kanálu během spouštění dotazu Spark Connect
• SPARK-53631 Optimalizace paměti a výkonu při spouštění SHS
• SPARK-53857 Povolení šíření messageTemplate do SparkThrowable
• SPARK-53891 Rozhraní API souhrnu zápisu modelu DSV2
• SPARK-53966 Přidání pomocných funkcí pro detekci GC JVM
• SPARK-53149 Oprava testování, jestli proces BeeLine běží na pozadí
• SPARK-53738 Oprava plánovaného zápisu, když výstup dotazu obsahuje ohýbatelné řazení
• SPARK-53949 Používejte Utils.getRootCause místo Throwables.getRootCause
• SPARK-53696 Vrátit zpět "[SC-209330][python][CONNECT][sql] Nastavit jako výchozí hodnotu bytes pro BinaryType v PySpark"
• SPARK-53804 Podpora počítacího řazení podle času
• SPARK-54004 Oprava odstranění cache tabulky podle názvu bez kaskádování
• SPARK-53261 Použití Javy String.join|StringJoiner místo Guava Joiner
• SPARK-53319 Podporovat typ času prostřednictvím funkce try_make_timestamp_ltz()
• SPARK-53280 Použití Javy instanceof místo Throwables.throwIf* metod
• SPARK-53696 Výchozí bajty pro BinaryType v PySpark
• SPARK-53258 Použít JavaUtilscheck(Argument|State)
• SPARK-53773 Obnovení abecedního pořadí pravidel v RuleIdCollection
• SPARK-53256 Zvýšit úroveň check(Argument|State) na JavaUtils
• SPARK-54008 Přeskočit QO pro DESCRIBE QUERY
• SPARK-53573 Použití předzpracovatele pro zpracování zobecněných parametrů
• SPARK-53980 Přidání SparkConf.getAllWithPrefix(String, String => K) rozhraní API
• SPARK-54009 Podpora spark.io.mode.default
• SPARK-51903 Ověření dat při přidání omezení CHECK
• SPARK-53573 Vrátit zpět "[SC-209126][sql] Použít předběžný procesor pro zpracování zobecněných značek parametrů"
• SPARK-53573 Použití předzpracovatele pro zpracování zobecněných parametrů
• SPARK-53573 Vrátit zpět "[SC-209126][sql] Použít předběžný procesor pro zpracování zobecněných značek parametrů"
• SPARK-53956 Podpora datového typu TIME ve funkci try_make_timestamp v PySpark
• SPARK-53930 Podpora datového typu TIME ve funkci make_timestamp v rámci PySparku
• SPARK-53573 Použití předzpracovatele pro zpracování zobecněných parametrů
• SPARK-53564 Vyhněte se ukončení DAGScheduler kvůli vypršení časového limitu RPC správce blockManager v DAGSchedulerEventProcessLoop
• SPARK-53879 Upgrade Ammonite na verzi 3.0.3
• SPARK-53938 Oprava přizpůsobení desetinného měřítka v LocalDataToArrowConversion
• SPARK-53845 Jímky SDP
• SPARK-53908 Oprava pozorování ve službě Spark Connect s mezipamětí plánu
• SPARK-53841 Implementace transform() v rozhraní API sloupců
• SPARK-53929 Podpora typu TIME ve funkcích make_timestamp a try_make_timestamp v jazyce Scala
• SPARK-53902 Přidání bitů vzoru uzlu stromu pro podporované výrazy v ParameterizedQuery seznamu argumentů
• SPARK-53064 Přepsání MDC LogKey v Javě
• SPARK-53762 Přidejte pravidlo zjednodušení převodů data a času do optimalizátoru
• SPARK-53916 Deduplikace proměnných v PythonArrowInput
• SPARK-53690 Oprava exponenciálního formátování atributů avgOffsetsBehindLatest a estimatedTotalBytesBehindLatest ve zdrojích Kafka v probíhajícím jsonu.
• SPARK-53789 Zkanonizovat podmínku chyby CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Zjednodušení extrahování tabulky z DataSourceV2Relation (#52460)
• SPARK-45530 Použijte java.lang.ref.Cleaner místo finalize pro NioBufferedFileInputStream
• SPARK-53789 Revert "[SC-208902][sql][CONNECT] Kanonizovat podmínku chyby CANNOT_MODIFY_STATIC_CONFIG"
• SPARK-53789 Zkanonizovat podmínku chyby CANNOT_MODIFY_STATIC_CONFIG
• SPARK-531111 Implementace funkce time_diff v PySpark
• SPARK-53896 Povolit spark.io.compression.lzf.parallel.enabled automaticky
• SPARK-53856 Odebrání alternativních názvů konfigurací
• SPARK-53611 Omezení velikostí dávek Arrow v okně agregace UDF
• SPARK-53575 Opakování celých fází spotřebitele při zjištění neshody kontrolního součtu pro opakovanou úlohu shuffle map.
• SPARK-53867 Omezení velikosti dávek Arrow v SQL_GROUPED_AGG_ARROW_UDF
• SPARK-53877 Představení funkce BITMAP_AND_AGG
• SPARK-51426 Oprava nastavení metadat na prázdný slovník nefunguje
• SPARK-53868 Místo kontroly přímé reference v nástroji V2ExpressionBuilder použijte kontrolu délky pole.
• SPARK-53609 Omezení velikostí Arrow batchů v SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Místo zastaralého DescribeTopicsResult.allTopicNames rozhraní API použijte all
• SPARK-53878 Oprava problému se závodní podmínkou související s ObservedMetrics
• SPARK-53796 Přidání extension pole do několika vazebních protokolů pro podporu dopředné kompatibility
• SPARK-53850 Definování proto pro jímky a přejmenování DefineDataset na DefineOutput
• SPARK-53812 Refaktorování DefineDataset a DefineFlow protos pro seskupení souvisejících vlastností a zajištění odolnosti pro budoucnost
• SPARK-53870 Oprava chyby částečného čtení u velkých proto zpráv v TransformWithStateInPySparkStateServer
• SPARK-53751 Umístění kontrolního bodu s explicitní verzí
• SPARK-52407 Přidání podpory pro Theta Sketch (#171135)
• SPARK-53779 Implementace transform() v rozhraní API sloupců
• SPARK-49547 Přidání iterátoru RecordBatch rozhraní API do applyInArrow
• SPARK-53802 Podpora hodnot řetězců pro uživatelem zadané schéma v tabulkách SDP
• SPARK-53865 Extrahování běžné logiky z pravidla ResolveGenerate
• SPARK-53113 Přidání podpory pro typ času pomocí try_make_timestamp()
• SPARK-53868 Používejte pouze podpis s výrazem[] v nástroji visitAggregateFunction V2ExpressionSQBuilder.
• SPARK-53792 Oprava rocksdbPinnedBlocksMemoryUsage při omezené paměti ...
• SPARK-53248 Podpora checkedCast v JavaUtils
• SPARK-52640 Propagovat umístění zdrojového kódu Pythonu
• SPARK-52924 Podpora ZSTD_strategy pro kompresi
• SPARK-53562 Opětovné použití "[SC-207233][python] Omezení velikostí dávek Arrow v applyInArrow a applyInPandas"
• SPARK-51272 Přerušení místo pokračování částečně dokončené neurčité fáze výsledku při opětovném odesláníFailedStages
• SPARK-53795 Odebrání nepoužívaných parametrů v LiteralValueProtoConverter
• SPARK-53808 Povolit předávání volitelných argumentů JVM do spark-connect-scala-client
• SPARK-52614 Podpora RowEncoder v kodéru Product Encoder
• SPARK-53833 Aktualizace dev/requirements.txt pro přeskočení torch/torchvision v Pythonu 3.14
• SPARK-53715 Refaktoring getWritePrivileges pro MergeIntoTable
• SPARK-53516 Oprava zpracování argumentů ve SparkPipelines
• SPARK-53507 Nepoužívejte třídu case pro BreakingChangeInfo
• SPARK-53645 Implementujte skipna parametr pro ps.DataFrame any()
• SPARK-53717 Opravte MapType.valueContainsNull komentář parametru správněji.
• SPARK-53700 Odebrání redundance v DataSourceV2RelationBase.simpleString
• SPARK-53667 Oprava EXPLAIN hovoru s využitím IDENTIFIER
• SPARK-53562 Vrátit zpět "[SC-207233][python] Omezení velikostí dávek pro Arrow v applyInArrow a applyInPandas"
• SPARK-51169 Přidání podpory Pythonu 3.14 ve Sparku Classic
• SPARK-53562 Omezení velikostí dávky Arrow v applyInArrow a applyInPandas
• SPARK-53806 Umožnit prázdný vstup při dešifrování AES, aby se mohlo použít třídy chyb
• SPARK-51756 Vypočítá RowBasedChecksum v ShuffleWriters
• SPARK-52807 Změny v Protobuf pro podporu analýzy uvnitř dotazovacích funkcí deklarativních kanálů
• SPARK-53728 Tisk zprávy PipelineEvent s chybou při testu
• SPARK-53207 Asynchronní odeslání pipeline události klientovi
• SPARK-53829 Podpora datetime.time sloupcových operátorů
• SPARK-53638 Omezení velikosti dávky Arrow bajtů pro TWS, aby se předešlo OOM
• SPARK-53593 Oprava: Pola odpovědi bez uvozovek
• SPARK-53734 Upřednostnit sloupec tabulky před LCA při určování indexu pole
• SPARK-53593 Přidání pole odpovědi pro DefineDataset a DefineFlow RPC
• SPARK-53734 Vrátit "[SC-207697][sql] Přednostně řešit index pole pomocí sloupců tabulky před LCA"
• SPARK-53621 Přidání podpory pro provádění CONTINUE HANDLER
• SPARK-53734 Upřednostnit sloupec tabulky před LCA při určování indexu pole
• SPARK-53507 Přidání informací o zásadní změně k chybám
• SPARK-53707 Vylepšení zpracování metadat atributů
• SPARK-53629 Implementace rozšíření typu pro MERGE INTO WITH SCHEMA EVOLUTION
• SPARK-53719 Vylepšení funkce kontroly _to_col typu
• SPARK-53735 Skrytí trasování zásobníku JVM na straně serveru ve výchozím nastavení ve výstupu Spark-pipelines
• SPARK-53651 Přidání podpory trvalých zobrazení v kanálech
• SPARK-53678 Oprava NPE při vytvoření podtřídy ColumnVector s hodnotou Null DataType
• SPARK-46679 Oprava pro SparkUnsupportedOperationException Nenalezen kodér typu T při použití parametrizované třídy
• SPARK-53444 Přepracování provést okamžité přepracování provést okamžitě
• SPARK-53578 Zjednodušení zpracování datových typů v LiteralValueProtoConverter
• SPARK-53438 Použití CatalystConverter v literalExpressionProtoConverter
• SPARK-53444 Vrátit zpět "[SC-206535][sql][CORE] Provést okamžité provedení okamžitého přepracování"
• SPARK-53444 Přepracování provést okamžité přepracování provést okamžitě
• SPARK-53112 Podpora TIME ve funkcích make_timestamp_ntz a try_make_timestamp_ntz v PySpark
• SPARK-53492 Odmítnout druhý ExecutePlan s ID operace, která už byla dokončena
• SPARK-52772 Přeposlání oprav zlatých souborů
• SPARK-53591 Zjednodušení porovnávání vzorů specifikace kanálu
• SPARK-53553 Oprava zpracování hodnot null v LiteralValueProtoConverter
• SPARK-52772 Nekonzistentní zpracování atributů tabulky během aktualizací
• SPARK-53544 Podpora složitých typů pozorování
• SPARK-53357 Aktualizace pandas na verzi 2.3.2
• SPARK-53402 Podpora rozhraní API datové sady s přímým předáváním oddílů ve Spark Connect v jazyce Scala
• SPARK-53372 SDP End to End Testing Suite
• SPARK-53402 Vraťte se na stránku [SC-206163][connect] Podpora rozhraní API datové sady s přímým předáváním oddílů ve Spark Connect v jazyce Scala.
• SPARK-53402 Podpora rozhraní API datové sady s přímým předáváním oddílů ve Spark Connect v jazyce Scala
• SPARK-53233 Nastavení kódu souvisejícího s streaming použitím správného názvu balíčku
• SPARK-53233 Vrátit zpět [SC-203716][sql][SS][mllib][CONNECT] Nastavit kód související s streaming použitím správného názvu balíčku
• SPARK-53233 Nastavení kódu souvisejícího s streaming použitím správného názvu balíčku
• SPARK-53561 Zachycení výjimky přerušení v TransformWithStateInPySparkStateServer během outputStream.flush, aby nedošlo k chybovému ukončení pracovního procesu
• SPARK-53486 Vyhněte se nastavení parametru weights_only=False při načítání torch modelu
• SPARK-53391 Odebrání nepoužívaného PrimitiveKeyOpenHashMap
• SPARK-52431 Dokončení dotyků na deklarativní kanály runner
• SPARK-52980 Podpora Arrow Python UDTFs
• SPARK-53453 Odblokujte "torch<2.6.0"
• SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Zlepšení využití paměti analyzátoru XML
• SPARK-52582 Vrátit zpět "[SC-199314][sc-204581][SQL] Zlepšení využití paměti analyzátoru XML
• SPARK-52582 Vylepšení využití paměti analyzátoru XML
• SPARK-51906 Dsv2 výrazy v ALTER TABLE ADD COLUMNS
• SPARK-53150 Vylepšení list(File|Path)s pro zpracování symlinků, vstupů, které neexistují, nebo nejsou adresáře
• SPARK-53091 Zákaz org.apache.commons.lang3.Strings
• SPARK-52844 Aktualizace numpy na 1.22
• SPARK-52912 Vylepšit SparkStringUtils pro podporu is(Not)?(Blank|Empty)
• SPARK-52877 Zlepšení výkonu serializátoru UDF v Pythonu
• SPARK-52877 Vrátit zpět "[SC-201914][python] Zlepšení výkonu serializátoru UDF v Pythonu
• SPARK-52238 Klient Pythonu pro deklarativní kanály
• SPARK-52877 Zlepšení výkonu serializátoru UDF v Pythonu
• SPARK-53287 Průvodce přidáním migrace ANSI
• SPARK-52110 Implementace podpory syntaxe SQL pro kanály
• SPARK-52897 Aktualizace pandas na verzi 2.3.1
• SPARK-52451 Vrátit zpět "[SC-202894][connect][SQL] Zajistit, že WriteOperation v SparkConnectPlanner neobsahuje žádné vedlejší účinky."
• SPARK-52976 Oprava neakceptování setříděného řetězce jako vstupního parametru nebo návratového typu v Pythonu
• SPARK-52904 Povolit convertToArrowArraySafely standardně
• Spark-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-52971 Omezení velikosti nečinné pracovní fronty Pythonu
• SPARK-53013 Oprava šipek optimalizovaného pro UDTF v Pythonu vracející žádné řádky při laterálním spojení
• SPARK-51834 Synchronizace operačního systému: Podpora koncového omezení tabulky alter add/drop constraint
• SPARK-52675 Přerušení předsazení obslužných rutin ML v testech
• SPARK-52959 Podpora UDT v šipekově optimalizovaném pythonu UDTF
• SPARK-52961 Oprava Arrow-optimalizované UDTF v Pythonu s 0-arg evaluací při laterálním spojení
• SPARK-52949 Vyhněte se přecházení mezi RecordBatch a Tabulkou v Python UDTF optimalizovaném pro Arrow
• SPARK-52946 Oprava Python UDTF optimalizovaného pro Arrow pro podporu velkých var typů
• SPARK-52934 Povolení produkce skalárních hodnot pomocí Python UDTF optimalizovaných pro Arrow
• SPARK-52861 Přeskočení vytvoření objektu řádku v provádění UDTF optimalizovaného pro Apache Arrow
• SPARK-51834 Podpora kompletního vytvoření nebo nahrazení tabulky synchronizace operačního systému omezením
• SPARK-44856 Zlepšení výkonu serializátoru šipky UDTF v Pythonu
• SPARK-51834 Zrušit změnu "[SQL] Oprava TableSpec přidáním konstruktoru"
• SPARK-51834 Oprava TableSpec přidáním konstruktoru
• SPARK-51834 Vrátit "[SQL] Synchronizace OSS (částečná): Podpora komplexního omezení tabulky v create/replace table"
• SPARK-51834 Synchronizace open source (částečně): Podpora omezení tabulky od začátku do konce v příkazu create/replace table
• SPARK-52885 Implementace hodinových, minutových a druhých funkcí v jazyce Scala pro typ TIME
• SPARK-51834 Synchronizace aktualizací OSS ResolvedIdentifier– neapply volání
• SPARK-44856 Vrátit zpět "[SC-195808][python] Zlepšení výkonu serializátoru UDTF v Pythonu
• SPARK-51834 Vrátit zpět "[SQL] Sync OSS update ResolvedIdentifier unapply calls"
• SPARK-44856 Zlepšení výkonu serializátoru šipky UDTF v Pythonu
• SPARK-51834 Synchronizace aktualizací OSS ResolvedIdentifier– neapply volání
• SPARK-52787 Změna uspořádání oblastí spouštění streamování kolem oblastí runtime a kontrolních bodů
• SPARK-51695 Synchronizace tabulky create/replace/alter table pro jedinečné omezení prostřednictvím DSv2
• SPARK-51695 Synchronizace omezení vyřazení operačního systému přes DSv2
• SPARK-51695 Zavedení změn analyzátoru pro omezení tabulky (CHECK, PK, FK)
• SPARK-51695 Vrátit zpět [SQL] Zavést změny analyzátoru pro omezení tabulky (CHECK, PK, FK)"
• SPARK-51695 Zavedení změn analyzátoru pro omezení tabulky (CHECK, PK, FK)
• SPARK-49428 Přesun klienta Scala Connect z konektoru do SQL
• SPARK-52422 Aktualizace pandas na verzi 2.3.0
• SPARK-52228 Integrace mikrobenchmarku interakce stavu do Quicksilver (TCP)
• SPARK-52300 Nastavení rozlišení UDTVF v SQL pomocí konzistentních konfigurací s rozlišením zobrazení
• SPARK-52228 Vytvoření srovnávacího testu účelového stavového serveru TWS s imply stavu v paměti a kódem srovnávacího testu v Pythonu
• SPARK-52174 Povolit spark.checkpoint.compress ve výchozím nastavení
• SPARK-52224 Zavedení souboru pyyaml jako závislosti pro klienta Pythonu
• SPARK-52122 Oprava zranitelnosti RCE v DefaultParamsReader
• SPARK-51147 Refaktorovat třídy související se streamováním do adresáře vyhrazeného pro streamování
• SPARK-51789 Při analýze argumentů v odesílání Sparku správně respektujte spark.api.mode a spark.remote.
• SPARK-51212 Přidání samostatného balíčku PySpark pro Spark Connect ve výchozím nastavení
• SPARK-50762 Přidání pravidla analyzátoru pro řešení skalárních UDF SQL
• SPARK-49748 Přidat getCondition a vyřadit getErrorClass v SparkThrowable
• SPARK-50605 Podpora režimu rozhraní SQL API pro snadnější migraci na Spark Connect
• SPARK-50458 Správné zpracování chyb pro nepodporovaný systém souborů při čtení souborů
• SPARK-49700 Sjednocené rozhraní Scala pro Connect a Classic
• SPARK-51779 Použít virtuální rodiny sloupců pro spojování streamů
• SPARK-51820 Přesunout UnresolvedOrdinal sestavení před analýzu, aby se předešlo problému s řazením podle pořadí
• SPARK-51814 Představení nového rozhraní API transformWithState v PySparku
• SPARK-51635 Sloučení funkcí PushProjectionThroughLimit a PushProjectionThroughOffset
• SPARK-51165 Povolit spark.master.rest.enabled jako výchozí nastavení
• SPARK-51688 Použití soketu domény unixu mezi komunikací Pythonu a JVM
• SPARK-51503 Podpora typu Variant v prohledávání XML
• SPARK-50564 Upgrade protobuf balíčku Pythonu na verzi 5.29.1
• SPARK-50359 Upgrade PyArrow na verzi 18.0
• SPARK-51340 Odhad velikosti modelu
• SPARK-50657 Upgrade minimální verze pyarrow na verzi 11.0.0
• SPARK-49282 Vytvořte sdílené rozhraní SparkSessionBuilder.
• SPARK-51371 Změna toString na toPrettySQL při vytváření aliasů v ResolveAggregateFunctions
• SPARK-50694 Podpora přejmenování v poddotazech
• SPARK-50601 Vrátit zpět "[SC-186342][sql] Podpora s withColumns / withColumnsRenamed v poddotazech"
• SPARK-50601 Podpora withColumns / withColumnsRenamed v poddotazech

Podpora ovladačů ODBC/JDBC pro Azure Databricks

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime.

Systémové prostředí

• Operační systém: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.0

Nainstalované knihovny Pythonu

Knihovna	Version	Knihovna	Version	Knihovna	Version
annotated-doc	0.0.3	anotované typy	0.7.0	anyio	4.7.0
argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0	arro3-core	0.6.5
šíp	1.3.0	asttokens	3.0.0	astunparse	1.6.3
async-lru	2.0.4	attrs	24.3.0	automatické příkazy	2.2.2
azure-common	1.1.28	Azure Core	1.37.0	azure-identity	1.20.0
azure-mgmt-core	1.6.0	azure-mgmt-web	8.0.0	azure-storage-blob (služba pro ukládání dat na platformě Azure)	12.28.0
Služba "Azure Storage File Data Lake"	12.22.0	babylón	2.16.0	backports.tarfile	1.2.0
BeautifulSoup4	4.12.3	černý	24.10.0	bělidlo	6.2.0
blikač	1.7.0	boto3	1.40.45	botocore	1.40.45
nástroje pro ukládání do mezipaměti	5.5.1	certifikát	2025.4.26	cffi	1.17.1
chardet	4.0.0	nástroj pro normalizaci znakové sady	3.3.2	klikni	8.1.8
cloudpickle	3.0.0	Komunikace	0.2.1	ContourPy	1.3.1
kryptografie	44.0.1	cyklista	0.11.0	Cython	3.1.5
Agenti Databricks	1.4.0	databricks-connect	17.3.1	Databricks SDK	0.67.0
dataclasses-json	0.6.7	dbus-python	1.3.2	debugpy	1.8.11
dekoratér	5.1.1	defusedxml	0.7.1	deltalake	1.1.4
Deprecated	1.2.18	distlib	0.3.9	převod docstringu do formátu markdown	0.11
provedení	1.2.0	přehled aspektů	1.1.1	fastapi	0.128.0
fastjsonschema	2.21.1	zamykání souborů	3.17.0	nástroje pro písma	4.55.3
fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.28.1	google-auth (autentizace)	2.47.0
google-cloud-core	2.5.0	Úložiště Google Cloud	3.7.0	google-crc32c	1.8.0
google-resumable-media (pro snadné stahování/ukládání mediálních dat)	2.8.0	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.16.0	httpcore	1.0.9
httplib2	0.20.4	httpx	0.28.1	IDNA	3.7
importlib-metadata	6.6.0	časovat/skloňovat	7.3.1	iniconfig	1.1.1
ipyflow-core je jádrová komponenta systému ipyflow	0.0.209	ipykernel	6.29.5	ipython	8.30.0
ipython-genutils	0.2.0	ipywidgets	7.8.1	isodate	0.7.2
isodurace	20.11.0	jaraco.collections	5.1.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	Jedi	0.19.2
Jinja2	3.1.6	chvění	0.11.1	jmespath	1.0.1
joblib	1.4.2	json5	0.9.25	jsonpatch	1.33
JSON ukazatel	3.0.0	jsonschema	4.23.0	Specifikace JSON schema	2023.7.1
jupyter události	0.12.0	jupyter-lsp	2.2.5	klient Jupyter	8.6.3
jupyter_core	5.7.2	jupyter_server	2.15.0	terminály_jupyter_server	0.5.3
jupyterlab	4.3.4	jupyterlab_pygments	0.3.0	jupyterlab_server	2.27.3
jupyterlab_widgets	1.1.11	kiwisolver	1.4.8	langchain-core	1.0.3
langchain-openai	1.0.2	langsmith	0.4.41	launchpadlib	1.11.0
lazr.restfulclient	0.14.6	lazr.uri	1.0.6	markdown:it-py	2.2.0
MarkupSafe	3.0.2	maršmeloun	3.26.1	matplotlib	3.10.0
matplotlib-inline	0.1.7	Mccabe	0.7.0	mdurl	0.1.0
špatné naladění	3.1.2	mlflow-skinny	3.8.1	mmh3	5.2.0
more-itertools	10.3.0	MSAL	1.34.0	msal-extensions	1.3.1
mypy-extensions	1.0.0	nbclient	0.10.2	nbconvert	7.16.6
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.10.0
poznámkový blok	7.3.2	notebook_shim	0.2.4	numpy (knihovna pro numerické výpočty v Pythonu)	2.1.3
oauthlib	3.2.2	openai	2.7.1	opentelemetry-api	1.39.1
opentelemetry-proto	1.39.1	opentelemetry-sdk	1.38.0	opentelemetry-sémantické-konvence	0,60b1
orjson	3.11.4	přepíše	7.4.0	balení	24,2
pandas	2.2.3	pandocfilters	1.5.0	Parso	0.8.4
specifikace cesty	0.10.3	bábovka	1.0.1	pexpect	4.8.0
polštář	11.1.0	pip	25.0.1	platformdirs	4.3.7
plotly	5.24.1	Pluggy (nástroj pro správu pluginů v Pythonu)	1.5.0	prometheus_client	0.21.1
nástroj "prompt-toolkit"	3.0.43	proto-plus	1.27.0	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.11	ptyprocess	0.7.0
pure-eval	0.2.2	py4j	0.10.9.9	pyarrow	21.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.71
pycparser	2.21	Pydantic (Python knihovna pro validaci a nastavení dat)	2.10.6	pydantic_core	2.27.2
pyflakes	3.2.0	Pygments	2.19.1	PyGObject	3.48.2
pyiceberg	0.10.0	PyJWT	2.10.1	pyodbc	5.2.0
pyparsing	3.2.0	pyright	1.1.394	pyroaring	1.0.3
pytest	8.3.5	python-dateutil	2.9.0.post0	python-dotenv	1.2.1
python-json-logger (Python knihovna pro logování do formátu JSON)	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.2
Pytoolconfig	1.2.6	knihovna pytz pro zpracování časových zón v Pythonu	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	odkazování	0.30.2	regulární výraz	2024.11.6
requests	2.32.3	requests-toolbelt	1.0.0	rfc3339-validator (validátor formátu RFC 3339)	0.1.4
rfc3986-validátor	0.1.1	bohatý	13.9.4	lano	1.13.0
rpds-py	0.22.3	Rsa	4.9.1	s3transfer	0.14.0
scikit-learn	1.6.1	SciPy	1.15.3	narozený v moři	0.13.2
Send2Trash	1.8.2	setuptools (nástroj pro vytváření a distribuci Python projektů)	78.1.1	šest	1.17.0
smmap	5.0.0	sniffio	1.3.0	setříděné kontejnery	2.4.0
sítko na polévku	2.5	sqlparse	0.5.5	ssh-import-id	5.11
datová hromádka	0.6.3	hvězdička	0.50.0	strictyaml	1.7.3
houževnatost	9.0.0	dokončeno	0.17.1	threadpoolctl	3.5.0
tiktoken	0.12.0	tinycss2	1.4.0	tokenize_rt	6.1.0
tomli	2.0.1	tornádo	6.5.1	tqdm	4.67.1
drobné vlastnosti	5.14.3	typová ochrana	4.3.0	types-python-dateutil	2.9.0.20251115
inspekce psaní na klávesnici	0.9.0	rozšíření_typingu	4.12.2	tzdata	2024.1
ujson	5.10.0	bezobslužné aktualizace	0,1	uri-template	1.3.0
urllib3	2.3.0	uvicorn	0.38.0	virtualenv	20.29.3
wadllib	1.3.6	wcwidth (šířka znaků)	0.2.5	webcolors	25.10.0
webová kódování	0.5.1	websocket-klient	1.8.0	whatthepatch	1.0.2
wheel	0.45.1	kdykoli	0.7.3	widgetsnbextension (rozšíření pro widgety v notebooku)	3.6.6
zabalený	1.17.0	yapf	0.40.2	zipový uzávěr	3.21.0
zstandard	0.23.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Posit Package Manager z 2025-11-20.

Knihovna	Version	Knihovna	Version	Knihovna	Version
šíp	22.0.0	žádost o heslo	1.2.1	ověřit, že	0.2.1
zpětné portování	1.5.0	báze	4.5.1	base64enc	0,1-3
bigD	0.3.1	bit	4.6.0	64bit	4.6.0-1
bitops	1.0-9	objekt blob	1.2.4	bootování	1.3-30
připravovat nápoje	1.0-10	elán	1.1.5	koště	1.0.10
bslib	0.9.0	kašmír	1.1.0	volající	3.7.6
caret	7.0-1	cellranger	1.1.0	cron	2.3-62
třída	7.3-22	CLI	3.6.5	Clipr	0.8.0
hodiny	0.7.3	cluster	2.1.6	codetools	0.2-20
commonmark	2.0.0	kompilátor	4.5.1	config	0.3.2
v rozporu	1.2.0	cpp11	0.5.2	pastelka	1.5.3
přihlašovací údaje	2.0.3	kroucení	7.0.0	datová tabulka	1.17.8
datové sady	4.5.1	DBI	1.2.3	dbplyr	2.5.1
Popis	1.4.3	devtools	2.4.6	schéma	1.6.5
diffobj	0.3.6	hodnota hash	0.6.39	dolní osvětlení	0.4.5
dplyr	1.1.4	dtplyr	1.3.2	e1071	1.7-16
tři tečky	0.3.2	hodnotit	1.0.5	fanoušci	1.0.7
barvy	2.1.2	Fastmap (rychlé mapování)	1.2.0	fontawesome	0.5.3
pro kočky	1.0.1	foreach	1.5.2	zahraničí	0.8–86
fs	1.6.6	budoucnost	1.68.0	budoucnost.použít	1.20.0
kloktání	1.6.0	obecné typy	0.1.4	Gert	2.2.0
ggplot2	4.0.1	gh	1.5.0	git2r	0.36.2
gitcreds	0.1.2	glmnet	4.1-10	globální	0.18.0
lepidlo	1.8.0	googledrive	2.1.2	googlesheets4	1.1.2
Gower	1.0.2	Grafika	4.5.1	grDevices	4.5.1
mřížka	4.5.1	gridExtra	2.3	gsubfn	0.7
gt	1.1.0	gtable	0.3.6	ochranná přilba	1.4.2
útočiště	2.5.5	vyšší	0.11	HMS	1.1.4
htmlové nástroje	0.5.8.1	htmlwidgets (interaktivní HTML prvky)	1.6.4	httpuv	1.6.16
httr	1.4.7	httr2	1.2.1	identifikátory	1.0.1
ini	0.3.1	ipred	0.9-15	isoband	0.2.7
Iterátory	1.0.14	jquerylib	0.1.4	jsonlite	2.0.0
šťavnatý džus	0.1.0	KernSmooth	2.23-22	knitr	1.50
značení	0.4.3	později	1.4.4	mřížka	0.22-5
láva	1.8.2	životní cyklus	1.0.4	poslouchej	0.10.0
litedown	0.8	lubridate	1.9.4	magrittr	2.0.4
Markdown	2.0	Hmotnost	7.3-60.0.1	*Matrix*	1.6-5
zapamatujte si	2.0.1	metody	4.5.1	mgcv	1.9-1
mim	0,13	miniUI	0.1.2	mlflow	3.6.0
ModelMetrics	1.2.2.2	modelář	0.1.11	nlme	3.1-164
nnet (neuronová síť)	7.3-19	numDeriv (Numerická derivace)	2016.8 - 1.1	OpenSSL	2.3.4
otel	0.2.0	rovnoběžný	4.5.1	paralelně	1.45.1
pilíř	1.11.1	pkgbuild	1.4.8	pkgconfig	2.0.3
pkgdown	2.2.0	pkgload	1.4.1	plogr	0.2.0
plyr	1.8.9	pochvala	1.0.0	prettyunits	1.2.0
pROC	1.19.0.1	processx	3.8.6	prodlim	2025.04.28
profvis	0.4.0	pokrok	1.2.3	progressr	0.18.0
sliby	1.5.0	proto	1.0.0	proxy	0,4-27
p.s.	1.9.1	purrr	1.2.0	R6	2.6.1
ragg	1.5.0	"randomForest"	4.7-1.2	rappdirs	0.3.3
rcmdcheck	1.4.0	RColorBrewer	1.1-3	Rcpp	1.1.0
RcppEigen	0.3.4.0.2	schopný reagovat	0.4.4	reactR	0.6.1
čtenář	2.1.6	readxl	1.4.5	recepty	1.3.1
odvetný zápas	2.0.0	odvetný zápas 2	2.1.2	dálková ovládání	2.5.0
reprodukovatelný příklad	2.1.1	reshape2	1.4.5	rlang	1.1.6
rmarkdown	2.30	RODBC	1.3-26	roxygen2	7.3.3
rpart	4.1.23	rprojroot	2.1.1	Rserve	1.8-15
RSQLite	2.4.4	rstudioapi	0.17.1	rversions	3.0.0
rvest	1.0.5	S7	0.2.1	drzost	0.4.10
váhy	1.4.0	selektor	0.4-2	informace o sezení	1.2.3
obrazec	1.4.6.1	lesklý	1.11.1	sourcetools	0.1.7-1
sparklyr	1.9.3	SparkR	4.1.0	řídké vektory	0.3.4
prostorový	7.3-17	spline	4.5.1	sqldf	0.4-11
SQUAREM	2021.1	statistické údaje	4.5.1	Stats4	4.5.1
řetězce	1.8.7	stringr	1.6.0	přežití	3.5-8
frajerský krok	5.17.14.1	systém	3.4.3	systemfonts	1.3.1
tcltk	4.5.1	testthat (nástroj pro testování)	3.3.0	formátování textu	1.0.4
tibble	3.3.0	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	změna času	0.3.0	datum a čas	4051.111
tinytex	0.58	nářadí	4.5.1	tzdb	0.5.0
ověřovač URL	1.0.1	použij tohle	3.2.1	utf8	1.2.6
utils	4.5.1	Univerzální jednoznačný identifikátor (UUID)	1.2-1	V8	8.0.1
vctrs	0.6.5	viridisLite	0.4.2	vrrrm	1.6.6
Waldo	0.6.2	hmatový chlup	0.4.1	(v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit)	3.0.2
xfun	0.54	xml2	1.5.0	xopen	1.0.1
xtable	1.8-4	yaml	2.3.10	zeallot	0.2.0
zip (jako formát souboru)	2.3.3

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.13)

ID skupiny	Identifikátor artefaktu	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client (klient Amazon Kinesis)	1.15.3
com.amazonaws	aws-java-sdk Automatické škálování	1.12.681
com.amazonaws	aws-java-sdk-cloudformation	1.12.681
com.amazonaws	aws-java-sdk-cloudfront	1.12.681
com.amazonaws	aws-java-sdk-cloudhsm	1.12.681
com.amazonaws	„aws-java-sdk-cloudsearch“	1.12.681
com.amazonaws	aws-java-sdk-cloudtrail	1.12.681
com.amazonaws	aws-java-sdk-cloudwatch	1.12.681
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.681
com.amazonaws	aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy)	1.12.681
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.681
com.amazonaws	aws-java-sdk-cognitosync	1.12.681
com.amazonaws	aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS)	1.12.681
com.amazonaws	aws-java-sdk-core	1.12.681
com.amazonaws	aws-java-sdk-datapipeline	1.12.681
com.amazonaws	aws-java-sdk-directconnect	1.12.681
com.amazonaws	aws-java-sdk-directory	1.12.681
com.amazonaws	aws-java-sdk-dynamodb	1.12.681
com.amazonaws	aws-java-sdk-ec2	1.12.681
com.amazonaws	aws-java-sdk-ecs	1.12.681
com.amazonaws	aws-java-sdk-efs	1.12.681
com.amazonaws	aws-java-sdk-elasticache	1.12.681
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.681
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.681
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.681
com.amazonaws	aws-java-sdk-emr	1.12.681
com.amazonaws	aws-java-sdk-glacier (AWS Java SDK pro Glacier)	1.12.681
com.amazonaws	aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby)	1.12.681
com.amazonaws	aws-java-sdk-iam	1.12.681
com.amazonaws	aws-java-sdk-importexport	1.12.681
com.amazonaws	aws-java-sdk-kinesis	1.12.681
com.amazonaws	aws-java-sdk-kms	1.12.681
com.amazonaws	aws-java-sdk-lambda	1.12.681
com.amazonaws	aws-java-sdk-logs	1.12.681
com.amazonaws	aws-java-sdk-strojové učení	1.12.681
com.amazonaws	aws-java-sdk-opsworks	1.12.681
com.amazonaws	aws-java-sdk-rds	1.12.681
com.amazonaws	aws-java-sdk-redshift	1.12.681
com.amazonaws	aws-java-sdk-route53	1.12.681
com.amazonaws	aws-java-sdk-s3	1.12.681
com.amazonaws	aws-java-sdk-ses	1.12.681
com.amazonaws	aws-java-sdk-simpledb	1.12.681
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.681
com.amazonaws	aws-java-sdk-sns	1.12.681
com.amazonaws	aws-java-sdk-sqs	1.12.681
com.amazonaws	aws-java-sdk-ssm	1.12.681
com.amazonaws	aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway)	1.12.681
com.amazonaws	aws-java-sdk-sts	1.12.681
com.amazonaws	podpora AWS Java SDK	1.12.681
com.amazonaws	aws-java-sdk-workspaces	1.12.681
com.amazonaws	jmespath-java	1.12.681
com.clearspring.analytics	datový proud	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	Databricks SDK pro Java	0.53.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	technologie kryo-stínění	4.0.3
com.esotericsoftware	Minlog	1.3.0
com.fasterxml	spolužák	1.5.1
com.fasterxml.jackson.core	jackson-annotations (poznámky Jackson)	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	Jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.3
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.kofein	kofein	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	Nativní odkaz pro Javu	1.1
com.github.fommil.netlib	Nativní odkaz pro Javu	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	nativní_systém-java	1.1
com.github.fommil.netlib	nativní_systém-java	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	netlib-nativní_systém-linux-x86_64	Verze 1.1 pro místní uživatele
com.github.luben	zstd-jni	1.5.7-6
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.auth	google-auth-library-credentials	1.20.0
com.google.auth	google-auth-library-oauth2-http	1.20.0
com.google.auto.value	automatické poznámky k hodnotám	1.10.4
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	Gson	2.11.0
com.google.crypto.tink	Cink	1.16.0
com.google.errorprone	poznámky_náchylné_k_chybám	2.36.0
com.google.flatbuffers	flatbuffers-java	25.2.10
com.google.guava	neúspěšný přístup	1.0.3
com.google.guava	guave	33.4.8-jre
com.google.http-client	google-http-client	1.43.3
com.google.http-client	google-http-client-gson	1.43.3
com.google.j2objc	j2objc-annotations	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	profiler	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake)	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (komprimační algoritmus LZF)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	Paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers (nástroj pro analýzu dat)	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.10.0
commons-codec	commons-codec	1.19.0
společné sbírky	společné sbírky	3.2.2
commons-dbcp	commons-dbcp	1.4
Nahrávání souborů v Commons	Nahrávání souborů v Commons	1.6.0
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.21.0
commons-lang	commons-lang	2.6
commons-logging (nástroj pro záznamy)	commons-logging (nástroj pro záznamy)	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.4
dev.ludovic.netlib	Blas	3.0.4
dev.ludovic.netlib	LAPACK	3.0.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	vzduchový kompresor	2.0.2
io.delta	delta-sharing-client_2.13	1.3.6
io.dropwizard.metrics	anotace metrik	4.2.37
io.dropwizard.metrics	jádro metrik	4.2.37
io.dropwizard.metrics	metrics-graphite	4.2.37
io.dropwizard.metrics	metriky – kontroly stavu	4.2.37
io.dropwizard.metrics	metrics-jetty10	4.2.37
io.dropwizard.metrics	Metrics-JMX	4.2.37
io.dropwizard.metrics	Metriky-json	4.2.37
io.dropwizard.metrics	metriky pro JVM	4.2.37
io.dropwizard.metrics	metrikové servlety	4.2.37
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.2.7.Final
io.netty	netty-buffer	4.2.7.Final
io.netty	netty-codec	4.2.7.Final
io.netty	netty-codec-base	4.2.7.Final
io.netty	netty-codec-classes-quic	4.2.7.Final
io.netty	netty-codec-compression	4.2.7.Final
io.netty	netty-kodek-http	4.2.7.Final
io.netty	netty-codec-http2	4.2.7.Final
io.netty	netty-codec-http3	4.2.7.Final
io.netty	netty-codec-marshalling	4.2.7.Final
io.netty	netty-codec-native-quic	4.2.7.Final-linux-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-linux-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-windows-x86_64
io.netty	netty-codec-protobuf	4.2.7.Final
io.netty	netty-codec-socks	4.2.7.Final
io.netty	netty-common	4.2.7.Final
io.netty	netty-handler	4.2.7.Final
io.netty	Netty-handler-proxy	4.2.7.Final
io.netty	netty-resolver	4.2.7.Final
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes (softwarová knihovna)	2.0.74.Final
io.netty	netty-transport	4.2.7.Final
io.netty	netty-transport-classes-epoll	4.2.7.Final
io.netty	netty-transport-classes-io_uring	4.2.7.Final
io.netty	netty-transport-classes-kqueue	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.2.7.Final
io.opencensus	opencensus-api	0.31.1
io.opencensus	opencensus-contrib-http-util	0.31.1
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleklient_obecný	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_sledovatel_společný	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	kolektor	0.18.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivace	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.media	jai_core	jai_core_dummy
javax.transaction	jta	1.1
javax.transaction	API pro transakce	1.1
javax.xml.bind	jaxb-api	2.2.11
Javolution	Javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.14.0
net.java.dev.jna	jna	5.8.0
net.razorvine	nakládačka	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
síť.sněhová vločka	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	StringTemplate	3.2.1
org.apache.ant	mravenec	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	Ant launcher	1.10.11
org.apache.arrow	komprese šipkou	18.3.0
org.apache.arrow	šipkový formát	18.3.0
org.apache.arrow	jádro šipkové paměti	18.3.0
org.apache.arrow	šipka-paměť-netty	18.3.0
org.apache.arrow	arrow-memory-netty-buffer-záplata	18.3.0
org.apache.arrow	šipkový vektor	18.3.0
org.apache.avro	Avro	1.12.1
org.apache.avro	avro-ipc	1.12.1
org.apache.avro	avro-mapred	1.12.1
org.apache.commons	commons-collections4	4.5.0
org.apache.commons	commons-compress (softwarová knihovna pro kompresi dat)	1.28.0
org.apache.commons	commons-configuration2	2.11.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.19.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	Commons-text (textové nástroje)	1.14.0
org.apache.kurátor	kurátor-klient	5.9.0
org.apache.kurátor	kurátorský rámec	5.9.0
org.apache.kurátor	kurátorovy recepty	5.9.0
org.apache.datasketches	datasketches-java	6.2.0
org.apache.datasketches	datasketches-paměť	3.0.2
org.apache.derby	fotbalové derby	10.14.2.0
org.apache.hadoop	běhové prostředí klienta Hadoop	3.4.2
org.apache.hive	hive-beeline	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc (JDBC ovladač pro Apache Hive)	2.3.10
org.apache.hive	hive-llap-client (klient pro Apache Hive s možností LLAP)	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	Hive-shims	2.3.10
org.apache.hive	rozhraní pro úložiště Hive	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common	2.3.10
org.apache.hive.shims	plánovač hive-shims	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	břečťan	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	šablona rozložení log4j ve formátu JSON	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.2.0-shaded-protobuf
org.apache.orc	Formát ORC	1.1.1-shaded-protobuf
org.apache.orc	orc-mapreduce	2.2.0-shaded-protobuf
org.apache.orc	orčí podložky	2.2.0
org.apache.poi	Poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.28
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	poznámky pro publikum	0.13.0
org.apache.zookeeper	ošetřovatel zvířat v zoo	3.9.4
org.apache.zookeeper	zookeeper-jute	3.9.4
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	společný kompilátor	3.0.16
org.codehaus.janino	Janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms (framework pro práci s relačními databázemi)	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-alpn-client	10.0.26
org.eclipse.jetty	jetty-client	10.0.26
org.eclipse.jetty	jetty-http	10.0.26
org.eclipse.jetty	jetty-io	10.0.26
org.eclipse.jetty	jetty-jndi	10.0.26
org.eclipse.jetty	Jetty-plus	10.0.26
org.eclipse.jetty	proxy pro službu Jetty	10.0.26
org.eclipse.jetty	bezpečnost Jetty	10.0.26
org.eclipse.jetty	jetty-server	10.0.26
org.eclipse.jetty	jetty-servlet	10.0.26
org.eclipse.jetty	jetty-servlets	10.0.26
org.eclipse.jetty	jetty-util	10.0.26
org.eclipse.jetty	Jetty-webová aplikace	10.0.26
org.eclipse.jetty	jetty-xml	10.0.26
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-lokátor	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	OSGi vyhledávač zdrojů	1.0.3
org.glassfish.hk2.external	aopalliance-přebaleno	2.6.1
org.glassfish.hk2.external	jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce)	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet (nástroj pro zpracování požadavků v Java EE)	2.41
org.glassfish.jersey.containers	jersey-container-servlet-jádro	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	společný dres	2.41
org.glassfish.jersey.core	Jersey-server (aplikační server frameworku Jersey)	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	Hibernate Validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	Javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.locationtech.jts	jts-core	1.20.0
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.22.1
org.objenesis	objenesis	3.4
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.4.0
org.scala-sbt	testovací rozhraní	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	kompatibilní s scalatestem	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Finální
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.5.0-linux-x86_64
Stax	stax-api	1.0.1

Návod

Poznámky k verzím Databricks Runtime, které dosáhly konce podpory (EoS), najdete v Poznámkách k verzím Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.