Servisní aktualizace Databricks Runtime

Tato stránka obsahuje seznam aktualizací údržby podporovaných verzí databricks Runtime. Pokud chcete přidat aktualizaci údržby do existujícího clusteru, restartujte cluster. Informace o aktualizacích údržby v nepodporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby pro Databricks Runtime (archivované).

Verze jsou fázovány. Váš účet Azure Databricks se nemusí aktualizovat několik dní po počátečním datu vydání.

Note

Od verze Databricks Runtime 19 jsou aktualizace údržby zveřejňovány přímo na stránce sjednocených poznámek k verzi pro danou verzi. Tato stránka popisuje pouze Databricks Runtime 18 a starší. Viz životní cykly podpory Databricks Runtime.

Uvedení Databricks Runtime

Aktualizace údržby podle verze:

• Databricks Runtime 18
• Databricks Runtime 18.2
• Databricks Runtime 18.1
• Databricks Runtime 18.0
• Databricks Runtime 17.3 LTS
• Databricks Runtime 16.4 LTS
• Databricks Runtime 15.4 LTS
• Databricks Runtime 14.3 LTS
• Databricks Runtime 13.3 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 18

Viz Databricks Runtime 18.

• 29. června 2026
  • [SPARK-57088][SQL] Povolit nedeterministický výraz pro řazení pro EXACT NEAREST BY
  • [SPARK-56652][SQL] Ve výstupu omezení příkazu DESCRIBE EXTENDED vždy uvádět RELY/NORELY
  • [SPARK-57355][PYTHON] Opravit kontrolu modulu v profileru UDF
  • [SPARK-56720][SS] Selhání následných zápisů asynchronního protokolu po předchozím selhání při sledování průběhu synchronizace
  • [SPARK-56977][SQL] RewriteNearestByJoin by měl respektovat joinType v syntetickém spojení
  • [Connect][SPARK-57371]](https://issues.apache.org/jira/browse/SPARK-57371) Oprava souběhu dat v ArrowDeserializers
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 18.2

Viz Databricks Runtime 18.2.

• 29. června 2026
  • [SPARK-57355][PYTHON] Oprava kontroly modulu v profileru udf
  • [Connect][SPARK-57371]](https://issues.apache.org/jira/browse/SPARK-57371) Oprava chyby souběžného přístupu k datům v ArrowDeserializers
  • Aktualizace zabezpečení operačního systému.

• 18. června 2026

  • (Změna chování) V uživatelském rozhraní Sparku byla odebrána část Vlastnosti datového rámce SQL / Dataframe pro bezserverovou databázi DBSQL.

• 9. června 2026

  • [SPARK-56410][SQL][CORE] Přidat podporu omezeného sloučení typu k-way v UnsafeExternalSorter ke snížení rizika vzniku OOM
  • (Změna chování) Vytvoření cizího katalogu Microsoft Fabric (OneLake) teď vyžaduje možnost item_type (LAKEHOUSEneboWAREHOUSE) při použití SQL CREATE FOREIGN CATALOG nebo rozhraní REST API. Uživatelské rozhraní Databricks tuto možnost automaticky nastaví. Stávající zahraniční katalogy nejsou ovlivněny.
  • (Změna chování) SET TAG je nyní idempotentní. Opakování SET TAG operace u prostředku, který už značku obsahuje, už nevyvolá chybu.
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.11 do 1.4.0
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.10 do 1.3.11
  • [SPARK-56511][CORE] Oprava NPE v shuffleInMemorySorter.getMemoryUsage po neúspěšném resetování
  • [SPARK-56554][SQL] Respektovat volbu inferSchema při načítání XML jako variantu
  • [SPARK-56302][CORE] Ihned uvolňovat paměť výsledků úloh během serializace na exekutoru
  • Vrátit zpět "[SPARK-55356][SQL] podporu aliasu pro klauzuli PIVOT"
  • [SPARK-56502][CORE] Opravuje celočíselné přetečení při kontrole kapacity v DirectByteBufferOutputStream
  • [SPARK-56043][SQL] Zabalit NullPointerException z Avro 1.12.x ParseContext.resolve() do SchemaParseException
  • [SPARK-56652][SQL] Ve výstupu omezení příkazu DESCRIBE EXTENDED vždy uvádět RELY/NORELY
  • [SPARK-56328][SQL] Oprava zpracování kolace vložené tabulky pro INSERTVALUES a VÝCHOZÍ KOLACI
  • Různé opravy chyb

Databricks Runtime 18.1

Viz Databricks Runtime 18.1.

• 29. června 2026
  • Aktualizace zabezpečení operačního systému.

• 9. června 2026
  • (Změna chování) Vytvoření cizího katalogu Microsoft Fabric (OneLake) teď vyžaduje možnost item_type (LAKEHOUSEneboWAREHOUSE) při použití SQL CREATE FOREIGN CATALOG nebo rozhraní REST API. Uživatelské rozhraní Databricks tuto možnost automaticky nastaví. Stávající zahraniční katalogy nejsou ovlivněny.
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.11 do 1.4.0
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.10 do 1.3.11
  • [SPARK-56361][SS] Zlepšit chybovou hlášku při logování NPE ve spojení stream-stream
  • Aktualizace zabezpečení operačního systému.

• 20. dubna 2026
  • Opravili jsme autoritu CRS pro typ GEOMETRY(102100). Autorita je nyní hlášena jako ESRI:102100 místo EPSG:102100.
  • [SPARK-55646][SQL] Refaktorizováno SQLExecution.withThreadLocalCaptured pro oddělení zachytávání vláken od vykonání
  • Vrátit "[SPARK-55252][CORE] Vylepšit HttpSecurityFilter pro přidání hlavičky Content-Security-Policy"
  • Vrátit "[SPARK-54285][PYTHON] Uložte informace o časovém pásmu do mezipaměti, abyste se vyhnuli nákladné konverzi časových razítek."
  • Aktualizace zabezpečení operačního systému.

• 2. dubna 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.9 do 1.3.10
  • Vylepšené zpracování chyb pro dotazy při zápisu dat do tabulek Delta, které obsahují VOID sloupec (NullType) uvnitř uživatelem definovaného typu (UDT).
  • Přidání výchozího 30sekundového časového limitu soketu do připojení JDBC pro příjem streamování, aby se zabránilo neomezenému blokování u nereagujících databází.
  • Přidání logiky opakování s exponenciálním backoffem pro přechodné chyby JDBC (selhání připojení, zablokování, omezování rychlosti) při vytváření připojení i dávkovém spuštění
  • Přidání funkce safeRollback pro zajištění správného řešení selhání při vracení zpět u nestabilních připojení
  • Nadpis: Automatické zavaděče ve výchozím nastavení používá události souborů, pokud jsou k dispozici. Počínaje DBR 18.1 bude automatický zavaděč používat události souborů při načítání z externího umístění, kde jsou události souborů povoleny. Události souborů poskytují lepší výkon a nižší náklady ve srovnání s výpisem adresářů. Podívejte se na přehled Auto Loader s událostmi souborů. Události souborů nebudou použity, pokud váš existující streamovací kód: useIncrementalListing nebo useNotifications. Pokud chcete zůstat u předchozího výchozího výpisu adresáře, nastavte v kódu streamu automatického zavaděče useManagedFileEvents na false.
  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • [SPARK-55505][SQL] Oprava NPE při čtení EXECUTION_ROOT_ID_KEY v souběžných scénářích
  • [SPARK-55372][SQL] Opravit SHOW CREATE TABLE pro tabulky a zobrazení s výchozí kolací
  • [SPARK-55510][SS] Oprava deleteRange úložiště stavů Rocksdb pro volání changelogWriter
  • [Backporty][OSS Cherrypick] [SPARK-55945][SDP] Podpora strukturovaných identifikátorů pro toky v protosech eager analýzy SDP
  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • [SPARK-55892][SS] Oprava, která nemůže načíst úložiště stavů, protože opakovaně použitý soubor SST byl odstraněn údržbou.
  • [SPARK-55811] [SQL] Zachyťte NonFatal místo UnresolvedException při volání nodeWithOutputColumnsString
  • [SPARK-55991] Oprava poškození textu SQL souvisejícího s kódováním Unicode s parametry
  • [SPARK-55493] [SS] Ne mkdirs v adresáři stavu kontrolního bodu streamování ve StateDataSource
  • [SPARK-55584] Vytvořit lepší chybové hlášení pro skalární poddotazy pro EXEC IMMEDIATE
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 18.0

Viz Databricks Runtime 18.0.

• 29. června 2026
  • Aktualizace zabezpečení operačního systému.

• 9. června 2026
  • (Změna chování) Vytvoření cizího katalogu Microsoft Fabric (OneLake) teď vyžaduje možnost item_type (LAKEHOUSEneboWAREHOUSE) při použití SQL CREATE FOREIGN CATALOG nebo rozhraní REST API. Uživatelské rozhraní Databricks tuto možnost automaticky nastaví. Stávající zahraniční katalogy nejsou ovlivněny.
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.11 do 1.4.0
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.10 do 1.3.11
  • [SPARK-56554][SQL] Respektovat volbu inferSchema při načítání XML jako variantu
  • [SPARK-56361][SS] Zlepšit chybovou hlášku při logování NPE ve spojení stream-stream
  • Aktualizace zabezpečení operačního systému.

• 20. dubna 2026
  • Opravili jsme autoritu CRS pro typ GEOMETRY(102100). Autorita je nyní hlášena jako ESRI:102100 místo EPSG:102100.
  • Aktualizace zabezpečení operačního systému.

• 2. dubna 2026

  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.9 do 1.3.10
  • Vylepšené zpracování chyb pro dotazy při zápisu dat do tabulek Delta, které obsahují VOID sloupec (NullType) uvnitř uživatelem definovaného typu (UDT).
  • [SPARK-55811] [SQL] Zachyťte NonFatal místo UnresolvedException při volání nodeWithOutputColumnsString
  • [SPARK-55892][SS] Oprava, která nemůže načíst úložiště stavů, protože opakovaně použitý soubor SST byl odstraněn údržbou.
  • [SPARK-55991] Oprava poškození textu SQL souvisejícího s kódováním Unicode s parametry
  • Aktualizace zabezpečení operačního systému.

• 10. března 2026

  • [SPARK-55584] Vytvořit lepší chybové hlášení pro skalární poddotazy pro EXEC IMMEDIATE
  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • [SPARK-55493] [SS] Ne mkdirs v adresáři stavu kontrolního bodu streamování ve StateDataSource
  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • Aktualizace zabezpečení operačního systému.

• 26. února 2026

  • Přidány SQL příkazy SET METADATA ON COLUMN a UNSET METADATA ON COLUMN pro správu sémantických metadat v rámci sloupců tabulky Katalogu Unity. Slouží SET METADATA ON COLUMN k připojení vlastností (display_name, format a synonyms) ke sloupcům, čímž poskytuje bohatší kontext pro koncové uživatele, jako jsou Lakeview a Genie. Slouží UNSET METADATA ON COLUMN k odebrání dříve nastavených vlastností metadat.
  • DESCRIBE TABLE Nyní obsahuje čtvrtý metadata sloupec, který zobrazuje sémantická metadata na úrovni sloupce jako řetězec JSON, což usnadňuje kontrolu vlastností, jako jsou display_name, format a synonyms přímo z popisu výstupu.
  • [SPARK-54745][PYTHON] Oprava chyby importu PySpark způsobené chybějícím unixstreamserverem na Windows
  • Aktualizace zabezpečení operačního systému.

• 19. února 2026

  • Při odvozování schématu souborů Excel jsou řetězce buněk nyní odvozovány jako Spark StringType. Respektuje typ buňky nastavený v Excel. Dříve byly řetězce s číselnými hodnotami automaticky přetypovány na užší typy jako Long nebo Decimal.
  • [SPARK-55097][SQL] Oprava problému s opětovným přidáváním artefaktů uložených v mezipaměti, který bez upozornění zahodí bloky
  • [SPARK-54887][CONNECT] Přidání volitelného sqlstate do SparkThrowables
  • [SPARK-55111][SS] Detekce nedokončeného přerozdělování při restartování dotazu na začátku.
  • Vrácení [SPARK-55111][SS] Detekce neúplného reparticionování při restartu dotazu
  • [SPARK-55282][PYTHON][CONNECT] Vyhněte se použití worker_util na straně ovladače
  • [SPARK-49110][SQL] Zjednodušení SubqueryAlias.metadataOutput pro trvalé šíření sloupců metadat
  • [SPARK-54887][CONNECT] Vždy nastavte stav SQL v klientovi Spark Connect
  • [SPARK-55090][PYTHON][CONNECT] Implementace DataFrame.toJSON v klientovi Python
  • [SPARK-55243][CONNECT] Povolit nastavení binárních hlaviček prostřednictvím přípony -bin v klientovi Scala Connect
  • [SPARK-54785][SQL] Přidání podpory pro binární agregace skic v KLL (#188370) (#191095)
  • Aktualizace zabezpečení operačního systému.

• 27. ledna 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.6 do 1.3.9
  • Přidány batchSizeNumFiles, batchSizeNumBytes a stavy zpracování souborů (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) jako hlášené metriky do Auto Loaderu.
  • [SPARK-54564] [SQL] Nastavení pole QueryPlanningTracker jako pole HybridAnalyzer
  • [SPARK-54803] Podpora BY NAME s INSERT ... NAHRADIT WHERE
  • [SPARK-54679][SQL] Přejmenovat spark.sql. (xml.legacyXMLParser.enabled –> legacy.useLegacyXMLParser)
  • [SDP][SPARK-54562](https://issues.apache.org/jira/browse/SPARK-54562) Blokovat okamžitou analýzu nebo spouštění v rámci tokové funkce na straně serveru
  • [SPARK-54886] Přidání základní relace vytvořené ve službě SparkConnectService
  • [SPARK-54815][CONNECT] Nezavírejte zavaděč tříd stavu relace, pokud se relace stále používá.
  • [SPARK-41916] [ML] Distributor Torch: podpora více procesů torchrun pro úkol, pokud task.gpu.amount > 1
  • [SPARK-54620][SQL] Přidejte bezpečnostní kontrolu v Aplikaci ObservationManager, abyste se vyhnuli blokování pozorování.
  • [SPARK-55015][SS][SQL] Oprava výpočtu numFields v decodeRemainingKey v PrefixKeyScanStateEncoder
  • [SPARK-54708] Optimalizace vyčištění mezipaměti ML s využitím opožděného vytváření adresáře
  • [SPARK-54768][SS]Python Zdroj dat streamu by měl klasifikovat chybu, pokud vrácená data neodpovídají nakonfigurovanýmu schématu
  • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
  • [SPARK-54581][SQL] Nerozlišují se malá a velká písmena pro konektor Postgres.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 17.3 LTS

Viz Databricks Runtime 17.3 LTS.

• 29. června 2026
  • Aktualizace zabezpečení operačního systému.

• 9. června 2026
  • (Změna chování) SET TAG je nyní idempotentní. Opakování SET TAG operace u prostředku, který už značku obsahuje, už nevyvolá chybu.
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • [SPARK-34591][ML] Přidat prořezávání rozhodovacího stromu jako parametr
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.10 do 1.3.11
  • [SPARK-56361][SS] Zlepšit chybovou hlášku při logování NPE ve spojení stream-stream
  • Různé opravy chyb

• 20. dubna 2026

  • Opravili jsme autoritu CRS pro typ GEOMETRY(102100). Autorita je nyní hlášena jako ESRI:102100 místo EPSG:102100.
  • Opravili jsme problém se správností dat v MERGE, UPDATE a dotazech pro zápis do datových proudů, kdy byly struktury NULL ve zdroji rozšířeny na struktury bez hodnoty NULL s poli NULL v cíli. Struktury NULL ve zdroji jsou nyní zachovány jako NULL v cíli. Oprava se vztahuje na následující operace:
    • MERGE s akcemi UPDATE SET t.structCol = s.structCol , které používají přetypování typu struktury.
    • MERGE pokud UPDATE SET * je povolen vývoj schématu a cílová struktura nemá žádná další pole nebo byla původně NULL.
    • MERGE pokud UPDATE SET * EXCEPT struktura nemá v EXCEPT seznamu žádná pole.
    • MERGE s akcemi INSERT (structCol) VALUES (s.structCol) , které používají přetypování typu struktury.
    • MERGE s akcemi INSERT * [EXCEPT] , které používají přetypování typu struktury.
    • UPDATE dotazy s typovou konverzí struktury.
    • Zápisy streamování při přetypováním struktur

• 2. dubna 2026

  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.9 do 1.3.10
  • [SPARK-55811] [SQL] Při volání nodeWithOutputColumnsString zachyťte NonFatal místo UnresolvedException.
  • [SPARK-55892][SS] Oprava, která nemůže načíst úložiště stavů, protože opakovaně použitý soubor SST byl odstraněn údržbou.
  • [Backporty][OSS Cherrypick] [SPARK-55945][SDP] Podpora strukturovaných identifikátorů pro toky v protosech eager analýzy SDP
  • Aktualizace zabezpečení operačního systému.

• 10. března 2026

  • [SPARK-55493] [SS] Ne mkdirs v adresáři stavu kontrolního bodu streamování ve StateDataSource
  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • Aktualizace zabezpečení operačního systému.

• 26. února 2026

  • Aktualizace knihoven Java:
    • org.mlflow.mlflow-spark_2.13 od 2.9.1 do 2.20.4
  • Aktualizace zabezpečení operačního systému.

• 19. února 2026

  • Při odvozování schématu souborů Excel jsou řetězce buněk nyní odvozovány jako Spark StringType. Respektuje typ buňky nastavený v Excel. Dříve byly řetězce s číselnými hodnotami automaticky přetypovány na užší typy jako Long nebo Decimal.
  • [SPARK-54887][CONNECT] Vždy nastavte stav SQL v klientovi Spark Connect
  • [SPARK-54887][CONNECT] Přidání volitelného sqlstate do SparkThrowables
  • [SPARK-55097][SQL] Oprava problému s opětovným přidáváním artefaktů uložených v mezipaměti, který bez upozornění zahodí bloky
  • [SPARK-55282][PYTHON][CONNECT] Vyhněte se použití worker_util na straně ovladače
  • [SPARK-49110][SQL] Zjednodušení SubqueryAlias.metadataOutput pro trvalé šíření sloupců metadat
  • [SPARK-55243][CONNECT] Povolit nastavení binárních hlaviček prostřednictvím přípony -bin v klientovi Scala Connect
  • Aktualizace zabezpečení operačního systému.

• 27. ledna 2026

  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.8 do 1.3.9
  • Viz výše
  • [SPARK-54768][SS]Python Zdroj dat streamu by měl klasifikovat chybu, pokud vrácená data neodpovídají nakonfigurovanýmu schématu
  • [SPARK-54803] Podpora BY NAME s INSERT ... NAHRADIT WHERE
  • [SPARK-53564][CORE] Vyhněte se ukončení DAGScheduler kvůli vypršení časového limitu RPC blockManager v DAGSchedulerEventProcessLoop
  • [SPARK-55015][SS][SQL] Oprava výpočtu numFields v decodeRemainingKey v PrefixKeyScanStateEncoder
  • Aktualizace zabezpečení operačního systému.

• 9. ledna 2026
  • Aktualizované knihovny Python:
    • pmdarima od 2.0.4 do 2.1.1
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.6 do 1.3.8
  • Funkce okna SQL teď můžete použít jako skalární funkci v dimenzích zobrazení metrik a výrazech měr.
  • [SDP][17.3 backport][SPARK-54562] Blokování okamžité analýzy / spouštění uvnitř flow funkce na straně serveru
  • [SPARK-54679][SQL] Přejmenovat spark.sql. (xml.legacyXMLParser.enabled –> legacy.useLegacyXMLParser)
  • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
  • [SPARK-53127][SQL] Oprava LIMIT ALL pro nelimtovanou rekurzi pomocí normalizace CTE
  • [SPARK-54708] Optimalizace vyčištění mezipaměti ML s využitím opožděného vytváření adresáře
  • [SPARK-54581][SQL] Nerozlišují se malá a velká písmena pro konektor Postgres.
  • [SPARK-41916] [ML] Distributor Torch: podpora více procesů torchrun pro úkol, pokud task.gpu.amount > 1
  • [SPARK-54564] [SQL] Nastavení pole QueryPlanningTracker jako pole HybridAnalyzer
  • [SPARK-54620][SQL] Přidejte bezpečnostní kontrolu v Aplikaci ObservationManager, abyste se vyhnuli blokování pozorování.
  • Aktualizace zabezpečení operačního systému.

• 9. prosince 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.3.5 do 1.3.6
  • [SPARK-50906][SQL] Oprava kontroly nullability Avro u přeuspořádaných polí struktury
  • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
  • [SPARK-54427][SQL] Povolit volání ColumnarRow s variantními typy
  • Aktualizace zabezpečení operačního systému.

• 18. listopadu 2025
  • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
  • [SPARK-52762][SDP] Přidání zprávy PipelineAnalysisContext pro podporu analýzy kanálu během spouštění dotazu Spark Connect
  • [SPARK-54156][PROTOBUF] Klasifikovat chyby pro selhání přetypování ProtobufOptions
  • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
  • [SPARK-54015][PYTHON] Uvolněte požadavek Py4J na py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54099][SQL] Analyzátor variant XML by měl přejít na řetězec při chybách parsování desetinných čísel.
  • [17.3 Backport][spark-54191](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Přidání jednou do protokolu Defineflow
  • Aktualizace zabezpečení operačního systému.

• 4. listopadu 2025
  • [SPARK-53729][PYTHON][CONNECT] Oprava serializace pyspark.sql.connect.window.WindowSpec
  • [SPARK-46679][SQL] Oprava chyby SparkUnsupportedOperationException Nenalezla kodér typu T při použití parametrizované třídy
  • [SPARK-53973][Avro] Klasifikace chyb pro chybu boolovského přetypování AvroOptions
  • [SPARK-53794][SS] Přidání možnosti pro omezení odstranění u operací údržby spojených s poskytovatelem stavu rocksdb
  • [SPARK-53908][CONNECT] Oprava pozorování ve službě Spark Connect s mezipamětí plánu
  • [SPARK-53972][SS] Oprava regrese nedávného pokroku u streamovacího dotazu v klasickém prostředí PySpark
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 16.4 LTS

Viz Databricks Runtime 16.4 LTS.

• 29. června 2026

  • Opravili jsme problém s korektností dat, kdy byly hodnoty typu struct s hodnotou NULL ve zdroji nesprávně rozšířeny na nenulové struktury s poli s hodnotou NULL v cíli v dotazech MERGE, UPDATE a v dotazech pro streamovaný zápis. Po změně se struktury NULL ve zdroji správně zachovají jako NULL v cíli.

    Ovlivněné operace:

    • MERGE dotazy s akcemi UPDATE SET t.structCol = s.structCol s přetypováním na typ struct
    • MERGE dotazy s UPDATE SET * při povolené evoluci schématu (Pokud je zdrojová struktura NULL, přepište cílovou strukturu hodnotou NULL, pokud cílová struktura nemá žádná další pole nebo byla původně NULL)
    • MERGE dotazy s UPDATE SET * EXCEPT (pokud je zdrojová struktura NULL, přepište cíl hodnotou NULL, pokud neobsahuje žádná pole v seznamu EXCEPT).
    • MERGE dotazy s akcemi INSERT (structCol) VALUES (s.structCol) s přetypováním na typ struktury
    • MERGE dotazy s akcemi INSERT * [EXCEPT] s přetypováním na typ struktury
    • UPDATE dotazy s přetypováním na typ struktury
    • Streamované zápisy s přetypováním na typ struktury

  • Aktualizace zabezpečení operačního systému.

• 9. června 2026

  • (Změna chování) SET TAG je nyní idempotentní. Opakování SET TAG operace u prostředku, který už značku obsahuje, už nevyvolá chybu.
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • [SPARK-34591][ML] Přidat prořezávání rozhodovacího stromu jako parametr
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace knihoven Java:
    • (Pouze pro Scala 2.12) io.delta.delta-sharing-client_2.12 od 1.2.11 do 1.2.12
    • (Scala 2.13 pouze) io.delta.delta-sharing-client_2.13 od 1.2.11 do 1.2.12
  • [SPARK-56361][SS] Zlepšit chybovou hlášku při logování NPE ve spojení stream-stream
  • Různé opravy chyb

• 29. dubna 2026
  • Různé opravy chyb

• 20. dubna 2026
  • Různé opravy chyb

• 2. dubna 2026

  • Aktualizace knihoven Java:
    • (Pouze Scala 2.12) io.delta.delta-sharing-client_2.12 od 1.2.10 do 1.2.11
    • (Pouze Scala 2.13) io.delta.delta-sharing-client_2.13 od 1.2.10 do 1.2.11
  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • [Backporty][OSS Cherrypick] [SPARK-55945][SDP] Podpora strukturovaných identifikátorů pro toky v protosech eager analýzy SDP
  • Aktualizace zabezpečení operačního systému.

• 10. března 2026

  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • [SPARK-55493] [SS] Ne mkdirs v adresáři stavu kontrolního bodu streamování ve StateDataSource
  • Aktualizace zabezpečení operačního systému.

• 26. února 2026

  • Aktualizace zabezpečení operačního systému.

• 19. února 2026

  • [SPARK-55282][PYTHON][CONNECT] Vyhněte se použití worker_util na straně ovladače
  • [SPARK-55243][CONNECT] Povolit nastavení binárních hlaviček prostřednictvím přípony -bin v klientovi Scala Connect
  • Aktualizace zabezpečení operačního systému.

• 27. ledna 2026
  • Aktualizace knihoven Java:
    • (Pouze Scala 2.12) io.delta.delta-sharing-client_2.12 od 1.2.9 do 1.2.10
    • (Pouze Scala 2.12) org.mlflow.mlflow-spark_2.12 od 2.9.1 do 2.19.0
    • (Pouze Scala 2.13) io.delta.delta-sharing-client_2.13 od 1.2.9 do 1.2.10
    • (Pouze Scala 2.13) org.mlflow.mlflow-spark_2.13 od 2.9.1 do 2.19.0
  • [SPARK-55015][SS][SQL] Oprava výpočtu numFields v decodeRemainingKey v PrefixKeyScanStateEncoder
  • Aktualizace zabezpečení operačního systému.

• 9. ledna 2026
  • Aktualizace knihoven Java:
    • (Pouze Scala 2.12) io.delta.delta-sharing-client_2.12 z 1.2.8 do 1.2.9
    • (Pouze Scala 2.13) io.delta.delta-sharing-client_2.13 od 1.2.8 do 1.2.9
  • [SPARK-54620][SQL] Přidejte bezpečnostní kontrolu v Aplikaci ObservationManager, abyste se vyhnuli blokování pozorování.
  • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
  • [SPARK-41916] [ML] Distributor Torch: podpora více procesů torchrun pro úkol, pokud task.gpu.amount > 1
  • Aktualizace zabezpečení operačního systému.

• 9. prosince 2025
  • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
  • U konektoru Snowflake i federace TIMESTAMP_NTZ Snowflake Lakehouse (časové razítko bez časového pásma) už nejsou literály posunuty dolů do Snowflake. Tato změna zabraňuje selháním dotazů způsobeným nekompatibilním zpracováním časového razítka a zlepšuje spolehlivost ovlivněných dotazů.
  • [SPARK-54427][SQL] Povolit volání ColumnarRow s variantními typy
  • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
  • Aktualizace zabezpečení operačního systému.

• 18. listopadu 2025
  • [SPARK-54099][SQL] Analyzátor variant XML by měl přejít na řetězec při chybách parsování desetinných čísel.
  • [SPARK-54015][PYTHON] Uvolněte požadavek Py4J na py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
  • [SPARK-54156][PROTOBUF] Klasifikovat chyby pro selhání přetypování ProtobufOptions
  • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
  • Aktualizace zabezpečení operačního systému.

• 4. listopadu 2025
  • Aktualizované knihovny jazyka R:
    • šipka od 16.1.0 do 21.0.0
  • [SPARK-53973][Avro] Klasifikace chyb pro chybu boolovského přetypování AvroOptions
  • Aktualizace zabezpečení operačního systému.

• 21. října 2025
  • Aktualizace zabezpečení operačního systému.

• 7. října 2025
  • [SPARK-53568][CONNECT][PYTHON] Oprava několika malých chyb v logice zpracování chyb klienta Spark Connect Python
  • [SPARK-53574] Oprava vynulování AnalysisContext během vnořeného řešení plánů
  • [SPARK-53623][SQL] zlepšuje čtení velkých tabulek...
  • [SPARK-53598][SQL] Před čtením vlastnosti velké tabulky zkontrolujte existenci numParts.
  • [SPARK-53549][SS] Po dokončení procesu žádosti o stav seznamu vždy zavřete alokátor šipky.
  • Aktualizace zabezpečení operačního systému.

• 16. září 2025
  • Konektor Snowflake teď pro výpis schémat používá tabulku INFORMATION_SCHEMA místo příkazu SHOW SCHEMAS. Tato změna odstraňuje limit 10 000 schémat z předchozího přístupu a zlepšuje podporu databází s velkým počtem schémat.
  • Aktualizace zabezpečení operačního systému.

• 9. září 2025
  • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
  • Řeší přechodnou chybu v automatickém zavaděči, která může způsobit selhání úloh.
  • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
  • [SPARK-51821][CORE] Zavolejte interrupt() bez podržení nepřerušitelného locku, aby se zabránilo možnému vzájemnému zablokování
  • Aktualizace zabezpečení operačního systému.

• 26. srpna 2025
  • Aktualizace knihoven Java:
    • (Pouze Scala 2.12) io.delta.delta-sharing-client_2.12 od 1.2.7 do 1.2.8
    • (Pouze Scala 2.13) io.delta.delta-sharing-client_2.13 od 1.2.7 do 1.2.8
  • [SPARK-52482][SQL][CORE] Zlepšení zpracování výjimek při čtení určitých poškozených souborů zstd
  • [SPARK-53192][CONNECT] Vždy ukládat zdroj dat do mezipaměti plánu Spark Connect
  • Aktualizace zabezpečení operačního systému.

• 14. srpna 2025
  • [SPARK-51011][CORE] Přidání protokolování o tom, zda bude úkol přerušen při jeho zrušení.
  • [SPARK-52833][SQL] Oprava VariantBuilder.appendFloat
  • [SPARK-51505][SQL] Vždy zobrazovat metriky prázdných čísel partií v AQEShuffleReadExec
  • Aktualizace zabezpečení operačního systému.

• 29. července 2025
  • [SPARK-52753][SQL] Nastavení binárního souboru parseDataType kompatibilní s předchozími verzemi
  • Aktualizace zabezpečení operačního systému.

• 15. července 2025
  • Opravili jsme problém se ztrátou ne deterministických dat při použití strukturovaného streamování Sparku k streamování dat z Pulsaru.
  • [SPARK-52579][PYTHON] Nastavit periodický výpis trasování chyb pro pracovníky Pythonu
  • [SPARK-52553][SS] Oprava výjimky NumberFormatException při čtení protokolu změn v1
  • [SPARK-52450] Zlepšení výkonu hloubkové kopie schématu
  • [SPARK-52503][SQL][CONNECT] Oprava drop , pokud vstupní sloupec neexistuje
  • [SPARK-52599][PYTHON] Podpora periodického výpisu zpětného trasování na straně driveru
  • Aktualizace zabezpečení operačního systému.

• 1. července 2025
  • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
  • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
  • [SPARK-52312][SQL] Ignorovat příkaz V2WriteCommand při ukládání datového rámce do mezipaměti
  • Aktualizace zabezpečení operačního systému.

• 17. června 2025
  • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
  • Opraveny problémy s autorizací v rámci katalogu Unity pro dotazy na dočasná zobrazení.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.
  • Aktualizace zabezpečení operačního systému.

• 3. června 2025
  • [SPARK-52195][PYTHON][SS] Oprava problému s odstraněním sloupce počátečního stavu u Python TWS
  • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
  • Různé opravy chyb

• 7. května 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.13 od 1.2.3 do 1.2.7
    • org.apache.avro.avro od 1.11.3 do 1.11.4
    • org.apache.avro.avro-ipc od 1.11.3 do 1.11.4
    • org.apache.avro.avro-mapred od 1.11.3 do 1.11.4
  • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
  • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
  • Před touto změnou byly ve výrazu variant_get ignorovány úvodní prázdné znaky a tabulátory v cestách, když byl Photon zakázán. Například select variant_get(parse_json('{"key": "value"}'), '$['key']') by nebyl efektivní při extrahování hodnoty "key". Uživatelé ale teď budou moct tyto klíče extrahovat.
  • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
  • [SPARK-51921][SS][PYTHON] Pro dobu trvání hodnoty TTL v milisekundách v transformWithState použijte dlouhý typ.
  • [SPARK-51940][SS] Přidání rozhraní pro správu metadat kontrolních bodů streamování
  • [SPARK-52049] Oprava chyby, kdy nelze analyzovat atributy XML jako Variant
  • [SPARK-51904][SS] Odstranění asynchronního odstranění metadat pro StateSchemaV3 a ignorování souborů nevztahujících se k dávkám při seznamování souborů OperatorMetadata
  • [SPARK-51869][SS] Vytvoření klasifikace uživatelských chyb ve funkcích definovaných uživatelem (UDF) pro Scala TransformWithState
  • [SPARK-51889][PYTHON][SS] Oprava chyby pro MapState clear() v Python TWS
  • [SPARK-51922] [ SS] Oprava výjimky UTFDataFormatException vyvolané prostřednictvím StateStoreChangelogReaderFactory pro v1
  • [SPARK-51848][SQL] Oprava analýzy záznamů XML s definovaným schématem pole/ struktur/mapy varianty
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.4 LTS

Viz Databricks Runtime 15.4 LTS.

• 29. června 2026

  • Opravili jsme problém s korektností dat, kdy byly hodnoty struktur NULL ve zdroji nesprávně převedeny na struktury s nenulovou hodnotou, jejichž pole měla hodnotu NULL, v cíli v MERGE, UPDATE a dotazech pro streamovaný zápis. Po změně se struktury NULL ve zdroji správně zachovají jako NULL v cíli.

    Ovlivněné operace:

    • MERGE dotazy s UPDATE SET t.structCol = s.structCol akcemi s přetypováním typu struct
    • MERGE dotazy s UPDATE SET *, když je povolena evoluce schématu (pokud je zdrojová struktura NULL, přepište cílovou strukturu hodnotou NULL, pokud cílová struktura nemá žádná další pole nebo byla původně NULL)
    • MERGE dotazy s UPDATE SET * EXCEPT (pokud je zdrojová struktura NULL, přepište cíl hodnotou NULL, pokud neobsahuje žádná pole v seznamu EXCEPT).
    • MERGE dotazy s akcemi INSERT (structCol) VALUES (s.structCol) s přetypováním na typ struktury
    • MERGE dotazy s INSERT * [EXCEPT] akcemi s přetypováním na typ struct
    • UPDATE dotazy s přetypováním na typ struktury
    • Streamované zápisy s přetypováním na typ struktury

  • Aktualizace zabezpečení operačního systému.

• 9. června 2026

  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace zabezpečení operačního systému.

• 29. dubna 2026
  • Různé opravy chyb

• 20. dubna 2026
  • Různé opravy chyb

• 2. dubna 2026

  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.10 do 1.1.11
  • Auto Loader obsahuje dvě nové funkce související se správou zdrojového umístění a viditelností v DBR 16.3: 1. Zaznamenat změny událostí: s touto změnou budou zákazníci moci pomocí cloud_files_state TVF zobrazit podrobnosti o zjišťování a zpracování souborů, jako je čas, kdy byl soubor původně zjištěn, čas jeho potvrzení, archivace atd. Aktuální veřejnou dokumentaci tohoto TVF najdete tady. 2. Čistý zdroj: Díky této funkci mohou zákazníci dát Auto Loaderu pokyn, aby automaticky odstranil soubory, které byly zpracovány. Zákazníci se můžou k této funkci přihlásit pomocí možnosti cloudFiles.cleanSource Auto Loader. Další podrobnosti najdete v dokumentaci k možnostem automatického zavaděče zde.
  • Aktualizace zabezpečení operačního systému.

• 10. března 2026

  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • Aktualizace zabezpečení operačního systému.

• 26. února 2026

  • Aktualizace knihoven Java:
    • org.mlflow.mlflow-spark_2.12 od 2.9.1 do 2.11.3
  • Aktualizace zabezpečení operačního systému.

• 19. února 2026

  • [SPARK-55243][CONNECT] Povolit nastavení binárních hlaviček prostřednictvím přípony -bin v klientovi Scala Connect
  • [SPARK-55282][PYTHON][CONNECT] Vyhněte se použití worker_util na straně ovladače
  • Aktualizace zabezpečení operačního systému.

• 27. ledna 2026
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.9 do 1.1.10
  • Aktualizace zabezpečení operačního systému.

• 9. ledna 2026
  • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
  • [SPARK-54620][SQL] Přidejte bezpečnostní kontrolu v Aplikaci ObservationManager, abyste se vyhnuli blokování pozorování.
  • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
  • Aktualizace zabezpečení operačního systému.

• 9. prosince 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.7 do 1.1.9
  • [SPARK-54427][SQL] Povolit volání ColumnarRow s variantními typy
  • [SPARK-52579][PYTHON] Nastavit periodický výpis trasování chyb pro pracovníky Pythonu
  • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
  • Aktualizace zabezpečení operačního systému.

• 18. listopadu 2025
  • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
  • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
  • Aktualizace zabezpečení operačního systému.

• 4. listopadu 2025
  • Aktualizované knihovny jazyka R:
    • Šipka od adresy 14.0.0.2 do adresy 21.0.0.
  • Aktualizace zabezpečení operačního systému.

• 21. října 2025
  • Kritéria pro fotonizaci při skenování jsou aktualizována, aby umožňovala fotonizaci při skenování, pokud je požadováno ověření kontrolního součtu.
    Nyní se určení, zda je požadováno ověření kontrolního součtu, provádí z konfigurace Hadoop namísto SQLConf.
  • Aktualizace zabezpečení operačního systému.

• 7. října 2025
  • [SPARK-53568][CONNECT][PYTHON] Oprava několika malých chyb v logice zpracování chyb klienta Spark Connect Python
  • [SPARK-53574] Oprava vynulování AnalysisContext během vnořeného řešení plánů
  • Různé opravy chyb

• 16. září 2025
  • Konektor Snowflake teď pro výpis schémat používá tabulku INFORMATION_SCHEMA místo příkazu SHOW SCHEMAS. Tato změna odstraňuje limit 10 000 schémat z předchozího přístupu a zlepšuje podporu databází s velkým počtem schémat.
  • [SPARK-50870][SQL] Přidání časového pásma při převodu na časové razítko v komponentě V2ScanRelationPushDown
  • Aktualizace zabezpečení operačního systému.

• 9. září 2025
  • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
  • Řeší přechodnou chybu v automatickém zavaděči, která může způsobit selhání úloh.
  • [SPARK-51821][CORE] Zavolejte interrupt() bez podržení nepřerušitelného locku, aby se zabránilo možnému vzájemnému zablokování
  • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
  • Aktualizace zabezpečení operačního systému.

• 26. srpna 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.6 do 1.1.7
  • [SPARK-52482][SQL][CORE] Zlepšení zpracování výjimek při čtení určitých poškozených souborů zstd
  • [SPARK-53192][CONNECT] Vždy ukládat zdroj dat do mezipaměti plánu Spark Connect
  • Aktualizace zabezpečení operačního systému.

• 14. srpna 2025
  • [SPARK-51011][CORE] Přidání protokolování o tom, zda bude úkol přerušen při jeho zrušení.
  • Aktualizace zabezpečení operačního systému.

• 29. července 2025
  • Aktualizace zabezpečení operačního systému.

• 21. července 2025

  • Pro výpočetní prostředky, které jsou povoleny pro Photon nebo používají procesory na bázi Arm64, se mlflow-skinny upgraduje na verzi 2.19.0, ray se upgraduje na verzi 2.37.0 a databricks-feature-engineering se upgraduje na verzi 0.8.0.

• 15. července 2025

  • Opravili jsme problém se ztrátou ne deterministických dat při použití strukturovaného streamování Sparku k streamování dat z Pulsaru.
  • [SPARK-52503][SQL][CONNECT] Oprava drop , pokud vstupní sloupec neexistuje

• 1. července 2025
  • Aktualizace knihoven Java:
    • org.mlflow.mlflow-spark_2.12 od 2.9.1 do 2.11.3
    • Odebrání com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
    • Byl odebrán org.slf4j.slf4j-simple 1.7.25
  • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
  • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
  • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
  • [SPARK-52312][SQL] Ignorovat příkaz V2WriteCommand při ukládání datového rámce do mezipaměti
  • Aktualizace zabezpečení operačního systému.

• 17. června 2025
  • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
  • [SPARK-49646][SQL] Oprava dekódování poddotazů pro operace sjednocení/sady, pokud parentOuterReferences neobsahuje odkazy, které nejsou zahrnuté v kolekciChildOuterReferences
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.

• 3. června 2025
  • Aktualizované knihovny Python:
    • kryptografie z verze 3.4.8, 41.0.3 na verzi 41.0.3
    • filelock z verzí 3.13.4, 3.15.4 na 3.13.4
    • importlib-metadata z verze 4.6.4, 6.0.0 do 6.0.0
    • platformdirs od 3.10.0, 3.11.0 do 3.10.0
    • pyparsing byl aktualizován z verze 2.4.7 nebo 3.0.9 na verzi 3.0.9
    • zip od 1.0.0, 3.11.0 do 3.11.0
    • Přidání pip 23.2.1
    • Přidáno setuptools 68.0.0
    • Přidáno wcwidth 0.2.5
    • Přidáno kolečko 0.38.4
    • Byla odstraněna distribuce 1.7.0
    • Byl odstraněn distro-info 1.1+ubuntu0.2
    • Odebrání python-apt 2.4.0+ubuntu4
  • Aktualizace knihoven Java:
    • com.github.fommil.netlib.native_ref-java od 1.1, 1.1-natives do 1.1, 1.1
    • com.github.fommil.netlib.native_system-java od 1.1, 1.1-natives do 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 od 1.1 do 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 z nativních verzí 1.1 na verzi 1.1
    • io.netty.netty-tcnative-boringssl-static od 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 na 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll od verze 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 do verze 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue z 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 na 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core od 1.9.2-shaded-protobuf do 1.9.2
    • org.apache.orc.orc-mapreduce z verze 1.9.2-shaded-protobuf na verzi 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.2-linux-x86_64 do 1.6.2
  • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
  • Aktualizace zabezpečení operačního systému.

• 20. května 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.5 do 1.1.6
  • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
  • Před touto změnou byly ve výrazu variant_get ignorovány úvodní prázdné znaky a tabulátory v cestách, když byl Photon zakázán. Například select variant_get(parse_json('{"key": "value"}'), '$['key']') by nebyl efektivní při extrahování hodnoty "key". Uživatelé ale teď budou moct tyto klíče extrahovat.
  • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
  • Aktualizace zabezpečení operačního systému.

• 22. dubna 2025
  • Aktualizace knihoven Java:
    • org.apache.avro.avro od 1.11.3 do 1.11.4
    • org.apache.avro.avro-ipc od 1.11.3 do 1.11.4
    • org.apache.avro.avro-mapred od 1.11.3 do 1.11.4
  • Vrátit zpět "[SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní" ve verzích 15.4, 16.0, 16.1, 16.2 a 16.3
  • [SPARK-50682][SQL] Vnitřní alias by měl být kanonický.
  • Aktualizace zabezpečení operačního systému.

• 9. dubna 2025
  • (Behaviorální změna) Pokud chcete použít důležité opravy zabezpečení, výchozí verze Pythonu se aktualizuje na Python 3.11.11 z verze Python 3.11.0rc1. Tato aktualizace může mít vliv na některé úlohy spuštěné v Databricks Runtime 15.4 LTS, jako jsou úlohy, které používají Python serializaci k ukládání a obnovení stavu mezi spuštěními nebo úlohami, které se připnou na verzi 3.11.0 Python.
  • Aktualizace knihoven Java:
    • Odstraněno io.starburst.openjson.openjson 1.8-e.12
    • Odstraněno io.starburst.openx.data.json-serde 1.3.9-e.12
    • Odstraněno io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní
  • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
  • Aktualizace zabezpečení operačního systému.

• 31. března 2025
  • Pro výpočetní prostředky, které nejsou nakonfigurované na Photon, se databricks-feature-engineering upgraduje na verzi 0.8.0. U výpočetních prostředků s podporou Photon zůstává databricks-feature-engineering na hodnotě 0.6.0.

• 11. března 2025

  • Databricks Runtime 14.3 LTS a vyšší zahrnují opravu problému, který způsoboval binární nekompatibilitu s kódem, který vytvořil instanci SparkListenerApplicationEnd třídy a byl zkompilován proti Apache Sparku. Tato nekompatibilitu způsobila sloučení SPARK-46399 do Apache Sparku. Toto sloučení zahrnovalo změnu, která do konstruktoru SparkListenerApplicationEnd přidala výchozí argument. Chcete-li obnovit binární kompatibilitu, tato oprava přidá do třídy SparkListenerApplicationEnd jeden konstruktor argumentu.
  • [SPARK-50985][SS] Klasifikujte chybu v nesouladu časových razítek v Kafka místo tvrzení a vyvolání chyby kvůli chybějícímu serveru v KafkaTokenProvider.
  • [SPARK-50791][SQL] Oprava npe ve zpracování chyb úložiště stavů
  • [SPARK-50310][PYTHON] Zvýšení výkonu sloupců při zakázání DQC
  • [SPARK-51222][SQL] Optimalizujte ReplaceCurrentLike
  • [SPARK-49525][SS][CONNECT] Menší vylepšení logování pro naslouchací systém dotazů na serverové straně
  • [SPARK-51084][SQL] Přiřaďte odpovídající třídu chyb pro negativeScaleNotAllowedError
  • Aktualizace zabezpečení operačního systému.

• 11. února 2025

  • Tato verze obsahuje opravu problému, který má vliv na převod určitých datových typů při serializaci zachráněných datových sloupců XML. Ovlivněné datové typy jsou kalendářní data, jiná než NTZ časová razítka a desetinná místa, pokud je povolená prefersDecimal. Další informace o záchraně datového sloupce najdete v tématu Co je záchranný datový sloupec?.
  • [SPARK-50492][SS] Oprava java.util.NoSuchElementException při odstranění sloupce času události po dropDuplicatesWithinWatermark
  • Aktualizace zabezpečení operačního systému.
  • Pro výpočetní instance, které nejsou povoleny pro Photon, se mlflow-skinny upgraduje na verzi 2.19.0. Ve výpočetních prostředcích s podporou Photon zůstává mlflow-skinny na verzi 2.13.1.

• 10. prosince 2024
  • Příkaz USE CATALOG teď podporuje klauzuli IDENTIFIER. S touto podporou můžete parametrizovat aktuální katalog na základě řetězcové proměnné nebo značky parametru.
  • Tato verze obsahuje opravu problému, který může způsobit odstranění primárního klíče v tabulce Delta v určitých hraničních případech souvisejících s automatickou komprimací na pozadí.
  • U této verze se velikost mezipaměti používané SSD ve výpočetním uzlu Databricks dynamicky rozšiřuje na počáteční velikost SSD a v případě potřeby se zmenšuje až na limit spark.databricks.io.cache.maxDiskUsage. Viz Optimalizace výkonu pomocí cachování na Azure Databricks.
  • Balíček pyodbc se aktualizuje z verze 4.0.38 na verzi 4.0.39. Tato změna se vyžaduje, protože ve verzi 4.0.38 byla nalezena chyba a tato verze byla odebrána z PyPI.
  • [SPARK-50329][SQL] oprava InSet$toString
  • [SPARK-47435][SQL] Oprava problému s přetečením MySQL UNSIGNED TINYINT
  • [SPARK-49757][SQL] Podpora IDENTIFIER výrazu v SETCATALOG příkazu
  • [SPARK-50426][PYTHON] Vyhněte se vyhledávání statických zdrojů dat Python při použití předdefinovaných nebo Java zdrojů dat
  • [SPARK-48863][SQL] Oprava výjimky ClassCastException při parsování JSON s povolenou možností "spark.sql.json.enablePartialResults"
  • [SPARK-50310][PYTHON] Přidání příznaku pro zákaz DataFrameQueryContext pro PySpark
  • [15.3-15.4] [SPARK-50034][CORE] Oprava chybného hlášení závažných chyb jako nezachycených výjimek v SparkUncaughtExceptionHandler
  • Aktualizace zabezpečení operačního systému.
• 26. listopadu 2024
  • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
  • Teď můžete nastavit časový limit pro dotazy Spark Connect pomocí vlastnosti konfigurace Sparku spark.databricks.execution.timeout. U poznámkových bloků, které běží na bezserverových výpočetních prostředcích, je výchozí hodnota 9000 (sekundy). Úlohy spuštěné na bezserverových výpočetních prostředcích a výpočetních prostředcích se standardním režimem přístupu nemají časový limit, pokud není nastavena tato vlastnost konfigurace. Spuštění, které trvá déle než zadaný časový limit, způsobí chybu QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-50322][SQL] Oprava parametrizovaného identifikátoru v dílčím dotazu
  • [SPARK-49615] [ML] Umožňuje, aby ověření schématu datové sady transformátorů funkcí ML odpovídalo konfiguraci spark.sql.caseSensitive.
  • [SPARK-50124][SQL] LIMIT/OFFSET měl by zachovat řazení dat.
  • Aktualizace zabezpečení operačního systému.

• 5. listopadu 2024
  • (Zásadní změna) Ve službě Databricks Runtime 15.4 LTS a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou. Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje neuzavřenou složenou závorku a byl dříve přijat systémem Photon, nyní selže. Pokud chcete tento výraz opravit, můžete zrušit speciální význam znaku složené závorky: split(str_col, '\\{'). Chování Photon a Spark se také liší u některých regulárních výrazů, které odpovídají ne-ASCII znakům. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s výstupem podřízené složky
  • [SPARK-49867][SQL] Vylepšit chybovou zprávu, pokud je index při volání GetColumnByOrdinal mimo hranice
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
  • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
  • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, když ekvivalentní ternární výrazy mají různé děti
  • [SPARK-49443][SQL][PYTHON] Implementujte výraz to_variant_object a výraz schema_of_variant zobrazí objekt OBJECT pro objekty Variant.
  • [SPARK-49615] Oprava chyby: Ověření schématu sloupce ML odpovídá konfiguraci spark.sql.caseSensitiveSparku .

• 22. října 2024
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s výstupem podřízené složky
  • [SPARK-49867][SQL] Vylepšit chybovou zprávu, pokud je index při volání GetColumnByOrdinal mimo hranice
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
  • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
  • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, když ekvivalentní ternární výrazy mají různé děti
  • [SPARK-49443][SQL][PYTHON] Implementujte výraz to_variant_object a výraz schema_of_variant zobrazí objekt OBJECT pro objekty Variant.
  • [SPARK-49615] Oprava chyby: Ověření schématu sloupce ML odpovídá konfiguraci spark.sql.caseSensitiveSparku .
• 10. října 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
  • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a plánem spuštění
  • [BACKPORT] [SPARK-49474][SS] Klasifikovat třídu chyb pro chybu uživatelské funkce FlatMapGroupsWithState
  • [SPARK-49460][SQL] Followup: Oprava potenciálního rizika NPE
• 25. září 2024
  • [SPARK-49628][SQL] ConstantFolding by měl před vyhodnocením zkopírovat stavový výraz.
  • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
  • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
  • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute
  • [SPARK-49017][SQL] Příkaz Insert selže, když se používá více parametrů
  • [SPARK-49451] Povolit duplicitní klíče v parse_json
  • Různé opravy chyb
• 17. září 2024
  • [SPARK-48463][ML] Umožnit Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporu pro vnořené vstupní sloupce
  • [SPARK-49409][CONNECT] Upravte výchozí hodnotu CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Podpora cest ve stylu Windows v Artifact Manageru
  • Vrátit zpět "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark by měl akceptovat proměnné délky argumentů"
  • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
  • [SPARK-49366][CONNECT] Považuje uzel Union za list při rozlišení sloupců datového rámce.
  • [SPARK-49018][SQL] Oprava approx_count_distinct, který nefunguje správně při použití kolace
  • [SPARK-49460][SQL] Odebrání cleanupResource() z EmptyRelationExec
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
  • [SPARK-49336][CONNECT] Omezení vnořovací úrovně při zkracování zprávy protobuf
• 29. srpna 2024
  • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
  • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
  • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
  • [SPARK-49074][SQL] Oprava varianty pomocí df.cache()
  • [SPARK-49263][CONNECT] Klient Spark Connect Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
  • [SPARK-48955][SQL] Zahrnout změny ArrayCompact ve verzi 15.4
  • [SPARK-48937][SQL] Přidání podpory kolace pro řetězcové výrazy StringToMap
  • [SPARK-48929] Oprava vnitřní chyby zobrazení a vyčištění kontextu výjimek analyzátoru
  • [SPARK-49125][SQL] Povolit duplicitní názvy sloupců ve formátu CSV
  • [SPARK-48934][SS] Python typy data a času nesprávně převedeny pro nastavení časového limitu v applyInPandasWithState
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [SPARK-48981] Oprava metody simpleString z StringType v pyspark pro řazení
  • [SPARK-49065][SQL] Opětovné obnovení ve starších formátovacích a analyzátorech musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML backportu
  • [SPARK-48725][SQL] Integrace CollationAwareUTF8String.lowerCaseCodePoints do řetězcových výrazů
  • [SPARK-48978][SQL] Implementovat zrychlenou cestu ASCII v seřazení pro UTF8_LCASE
  • [SPARK-49047][PYTHON][CONNECT] Zkraťte zprávu pro protokolování
  • [SPARK-49146][SS] Přesunutí chyb tvrzení souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do chybového rámce
  • [SPARK-48977][SQL] Optimalizace prohledávání řetězců v rámci kolace UTF8_LCASE
  • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
  • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
  • [SPARK-48954] try_mod() nahrazuje try_remainder()
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.3 - Verze s dlouhodobou podporou (LTS)

Viz Databricks Runtime 14.3 LTS.

• 29. června 2026
  • Aktualizace zabezpečení operačního systému.

• 9. června 2026
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace zabezpečení operačního systému.

• 29. dubna 2026
  • Různé opravy chyb

• 20. dubna 2026
  • Různé opravy chyb

• 2. dubna 2026

  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.7 do 1.1.11
  • Auto Loader obsahuje dvě nové funkce související se správou zdrojového umístění a viditelností v DBR 16.3: 1. Zaznamenat změny událostí: s touto změnou budou zákazníci moci pomocí cloud_files_state TVF zobrazit podrobnosti o zjišťování a zpracování souborů, jako je čas, kdy byl soubor původně zjištěn, čas jeho potvrzení, archivace atd. Aktuální veřejnou dokumentaci tohoto TVF najdete tady. 2. Čistý zdroj: Díky této funkci mohou zákazníci dát Auto Loaderu pokyn, aby automaticky odstranil soubory, které byly zpracovány. Zákazníci se můžou k této funkci přihlásit pomocí možnosti cloudFiles.cleanSource Auto Loader. Další podrobnosti najdete v dokumentaci k možnostem automatického zavaděče zde.
  • Aktualizace zabezpečení operačního systému.

• 10. března 2026

  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • Aktualizace zabezpečení operačního systému.

• 26. února 2026

  • Aktualizace zabezpečení operačního systému.

• 19. února 2026

  • Aktualizace zabezpečení operačního systému.

• 27. ledna 2026

  • Aktualizace zabezpečení operačního systému.

• 9. ledna 2026

  • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
  • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
  • Aktualizace zabezpečení operačního systému.

• 9. prosince 2025

  • [SPARK-52579][PYTHON] Nastavit periodický výpis trasování chyb pro pracovníky Pythonu
  • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
  • Aktualizace zabezpečení operačního systému.

• 18. listopadu 2025
  • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
  • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
  • Aktualizace zabezpečení operačního systému.

• 4. listopadu 2025
  • Aktualizované knihovny jazyka R:
    • šipka od 12.0.1 do 21.0.0
  • Aktualizace zabezpečení operačního systému.

• 21. října 2025
  • Aktualizace zabezpečení operačního systému.

• 7. října 2025
  • [SPARK-53568][CONNECT][PYTHON] Oprava několika malých chyb v logice zpracování chyb klienta Spark Connect Python
  • [SPARK-53574] Oprava vynulování AnalysisContext během vnořeného řešení plánů
  • Různé opravy chyb

• 16. září 2025
  • Aktualizace zabezpečení operačního systému.

• 9. září 2025
  • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
  • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
  • Aktualizace zabezpečení operačního systému.

• 26. srpna 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.6 do 1.1.7
  • [SPARK-52482][SQL][CORE] Zlepšení zpracování výjimek při čtení určitých poškozených souborů zstd
  • Aktualizace zabezpečení operačního systému.

• 14. srpna 2025
  • Aktualizace zabezpečení operačního systému.

• 29. července 2025
  • Aktualizace zabezpečení operačního systému.

• 15. července 2025
  • [SPARK-52503][SQL][CONNECT] Oprava drop , pokud vstupní sloupec neexistuje
  • Různé opravy chyb

• 1. července 2025
  • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
  • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
  • [SPARK-52521][SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
  • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
  • Aktualizace zabezpečení operačního systému.

• 17. června 2025
  • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
  • [SPARK-49646][SQL] Oprava dekódování poddotazů pro operace sjednocení/sady, pokud parentOuterReferences neobsahuje odkazy, které nejsou zahrnuté v kolekciChildOuterReferences

• 3. června 2025
  • Aktualizované knihovny Python:
    • kryptografie od verzí 3.4.8 a 39.0.1 po 39.0.1
    • platformdirs od 2.5.2, 2.6.2 do 2.5.2
    • pyparsing byl aktualizován z verze 2.4.7 nebo 3.0.9 na verzi 3.0.9
    • Přidáno pip 22.3.1
    • Přidáno setuptools 65.6.3
    • Přidáno tomli 2.0.1
    • Přidáno wcwidth 0.2.5
    • Přidáno kolečko 0.38.4
    • Byla odstraněna distribuce 1.7.0
    • Byl odstraněn distro-info 1.1+ubuntu0.2
    • Odebrání python-apt 2.4.0+ubuntu4
  • Aktualizace knihoven Java:
    • com.github.fommil.netlib.native_ref-java od 1.1, 1.1-natives do 1.1, 1.1
    • com.github.fommil.netlib.native_system-java od 1.1, 1.1-natives do 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 od 1.1 do 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 z nativních verzí 1.1 na verzi 1.1
    • io.netty.netty-tcnative-boringssl-static od 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 na 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll od verze 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 do verze 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue z 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 na 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core od 1.9.2-shaded-protobuf do 1.9.2
    • org.apache.orc.orc-mapreduce z verze 1.9.2-shaded-protobuf na verzi 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.1-linux-x86_64 do 1.6.1
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.
  • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
  • Aktualizace zabezpečení operačního systému.

• 20. května 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-client_2.12 od 1.1.5 do 1.1.6
  • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
  • Aktualizace zabezpečení operačního systému.

• 22. dubna 2025
  • Aktualizace zabezpečení operačního systému.

• 9. dubna 2025

  • [Změna chování] Vakuové operace nyní provádějí kontroly protokolu Writer, jak je tomu u jiných operací, čímž brání neočekávaným vyčištěním tabulek s novějšími funkcemi, když jsou spuštěny z nekompatibilních starších verzí Databricks Runtime.
  • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
  • Aktualizace zabezpečení operačního systému.

• 11. března 2025

  • Databricks Runtime 14.3 LTS a vyšší zahrnují opravu problému, který způsoboval binární nekompatibilitu s kódem, který vytvořil instanci SparkListenerApplicationEnd třídy a byl zkompilován proti Apache Sparku. Tato nekompatibilitu způsobila sloučení SPARK-46399 do Apache Sparku. Toto sloučení zahrnovalo změnu, která do konstruktoru SparkListenerApplicationEnd přidala výchozí argument. Chcete-li obnovit binární kompatibilitu, tato oprava přidá do třídy SparkListenerApplicationEnd jeden konstruktor argumentu.
  • [SPARK-50791][SQL] Oprava npe ve zpracování chyb úložiště stavů
  • [SPARK-50705][SQL] Nastavení QueryPlan bez uzamčení
  • [SPARK-49525][SS][CONNECT] Menší vylepšení logování pro naslouchací systém dotazů na serverové straně
  • Aktualizace zabezpečení operačního systému.

• 11. února 2025

  • Tato verze obsahuje opravu problému, který má vliv na převod určitých datových typů při serializaci zachráněných datových sloupců XML. Ovlivněné datové typy jsou kalendářní data, jiná než NTZ časová razítka a desetinná místa, pokud je povolená prefersDecimal. Další informace o záchraně datového sloupce najdete v tématu Co je záchranný datový sloupec?.
  • [SPARK-50492][SS] Oprava java.util.NoSuchElementException při odstranění sloupce času události po dropDuplicatesWithinWatermark
  • [SPARK-51084][SQL] Přiřaďte odpovídající třídu chyb pro negativeScaleNotAllowedError
  • Aktualizace zabezpečení operačního systému.

• 10. prosince 2024
  • Tato verze obsahuje opravu problému, který může způsobit odstranění primárního klíče v tabulce Delta v určitých hraničních případech souvisejících s automatickou komprimací na pozadí.
  • [SPARK-50329][SQL] oprava InSet$toString
  • Aktualizace zabezpečení operačního systému.
• 26. listopadu 2024
  • [SPARK-49615] [ML] Umožňuje, aby ověření schématu datové sady transformátorů funkcí ML odpovídalo konfiguraci spark.sql.caseSensitive.
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
  • [BACKPORT] [SPARK-49326][SS] Klasifikovat třídu chyb pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s výstupem podřízené složky
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, když ekvivalentní ternární výrazy mají různé děti
  • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
  • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, když ekvivalentní ternární výrazy mají různé děti
  • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s výstupem podřízené složky
  • [BACKPORT] [SPARK-49326][SS] Klasifikovat třídu chyb pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • [BACKPORT] [SPARK-49474][SS] Klasifikovat třídu chyb pro chybu uživatelské funkce FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
  • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a plánem spuštění
• 25. září 2024
  • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní a pokud je relace již uzavřena serverem, nemělo by selhat.
  • [SPARK-48719][SQL] Oprava chyby výpočtu regrS...
  • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
  • [SPARK-49628][SQL] ConstantFolding by měl před vyhodnocením zkopírovat stavový výraz.
  • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
  • Aktualizace zabezpečení operačního systému.
• 17. září 2024
  • [SPARK-49336][CONNECT] Omezení vnořovací úrovně při zkracování zprávy protobuf
  • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
  • [SPARK-48463][ML] Umožnit Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporu pro vnořené vstupní sloupce
  • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
  • [SPARK-49409][CONNECT] Upravte výchozí hodnotu CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49366][CONNECT] Považuje uzel Union za list při rozlišení sloupců datového rámce.
• 29. srpna 2024
  • [SPARK-49146][SS] Přesunutí chyb tvrzení souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do chybového rámce
  • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string, pokud není úroveň INFO povolena
  • [SPARK-49263][CONNECT] Klient Spark Connect Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
• 14. srpna 2024
  • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
  • [SPARK-48706][PYTHON] Python UDF ve funkci vyššího řádu by neměly vyvolávat vnitřní chybu
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-49065][SQL] Opětovné obnovení ve starších formátovacích a analyzátorech musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48934][SS] Python typy data a času nesprávně převedeny pro nastavení časového limitu v applyInPandasWithState
• 1. srpna 2024
  • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray v rozhraní Java Sparku. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
  • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
  • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
  • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
  • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
  • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML backportu
  • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
  • [SPARK-48705][PYTHON] Explicitně používat worker_main při spuštění s pysparkem
  • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
  • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
  • [SPARK-46957][CORE] Vyřazení migrovaných souborů shuffle z provozu by mělo být možné vyčistit z exekutoru.
  • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
  • [SPARK-47202][PYTHON] Oprava překlepů v datetimes pomocí tzinfo
  • [SPARK-47713][SQL][CONNECT] Oprava selhání samoobslužného připojení
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
  • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
  • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
  • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
  • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je standardně nepravdivé.
  • [SPARK-48648][PYTHON][CONNECT] Nastavit SparkConnectClient.tags jako správně lokální pro vlákna
  • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
  • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
  • [SPARK-48383][SS] Vyvolá lepší chybu pro neshodované oddíly v možnosti startOffset v kafka
  • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
  • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
  • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
  • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
  • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
  • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • applyInPandasWithState() je k dispozici na výpočetních prostředcích se standardním režimem přístupu.
  • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
  • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
  • [SPARK-48276][PYTHON][CONNECT] Přidejte chybějící __repr__ metodu pro SQLExpression
  • [SPARK-48294][SQL] Zpracování malých písmen v vnořeném typuMissingElementTypeError
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • (Změna chování) dbutils.widgets.getAll() teď podporuje získání všech hodnot widgetů v poznámkovém bloku.
  • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
  • [SPARK-48056][CONNECT][PYTHON] Plán opětovného spuštění, pokud dojde k chybě SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
  • [SPARK-48146][SQL] Oprava agregační funkce v rámci kontrolního výrazu With pro podřízené výrazy
  • [SPARK-47986][CONNECT][PYTHON] Při zavření výchozí relace serverem nejde vytvořit novou relaci
  • [SPARK-48180][SQL] Zlepšení chyby, když volání UDTF s TABLE argumentem zapomene závorky kolem více PARTITION nebo ORDER BY výrazů
  • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide při desetinných číslech
  • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda.
  • [SPARK-47994][SQL] Oprava chyby s prosazováním filtrování sloupců CASE WHEN v SQLServeru
  • [SPARK-48173][SQL] CheckAnalysis by měla vidět celý plán dotazu.
  • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
  • Aktualizace zabezpečení operačního systému.

• 9. května 2024
  • (Změna chování) applyInPandas A mapInPandas typy UDF se teď podporují u výpočetního režimu sdíleného přístupu s modulem Databricks Runtime 14.3 LTS a novějším.
  • [SPARK-47739][SQL] Registrace logického typu avro
  • [SPARK-47941] [SS] [Connect] Šíření chyb inicializace pracovních procesů foreachBatch uživatelům pro PySpark
  • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
  • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
  • [SPARK-47956][SQL] Ověření správnosti nevyřešených odkazů LCA
  • [SPARK-47543][CONNECT][PYTHON] Odvození slovníku jako MapType z Pandas DataFrame pro umožnění vytvoření datového rámce
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] Použijte asynchronní zpětné volání pro úklid po vykonání.
  • [SPARK-47764][CORE][SQL] Vyčištění závislostí shuffle založených na ShuffleCleanupMode
  • [SPARK-48018][SS] Oprava hodnoty groupId 'null' způsobující chybu chybějícího parametru při vyvolání výjimky KafkaException.couldNotReadOffsetRange
  • [SPARK-47839][SQL] Oprava agregační chyby v rewriteWithExpression
  • [SPARK-47371] [SQL] XML: Ignorovat tagy řádků v CDATA
  • [SPARK-47895][SQL] podmínka GROUP BY ALL by měla být idempotentní
  • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
  • Aktualizace zabezpečení operačního systému.

• 25. dubna 2024
  • [SPARK-47543][CONNECT][PYTHON] Odvození dict z MapType datového rámce Pandas za účelem povolení vytváření datového rámce
  • [SPARK-47694][CONNECT] Nastavení maximální velikosti zprávy konfigurovatelné na straně klienta
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
  • [SPARK-47862][PYTHON][CONNECT]Úprava generování souborů proto
  • Obnovení „[SPARK-47543][CONNECT][PYTHON] Odvozování jako z Pandas DataFrame pro umožnění vytváření datového rámce“
  • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
  • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí Analyzovat
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selže s neplatným plánem
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2024
  • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou PySpark UDF na výpočetních prostředcích se standardním režimem přístupu shodovat s chováním UDF na clusterech bez izolace a přiřazených clusterech. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
    • UDF s návratovým typem string už implicitně nepřevádějí ne-string hodnoty na hodnoty string. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
    • UDF s návratovým timestamp typem už implicitně neprovádějí převod na timestamp s timezone.
    • Konfigurace clusteru Spark spark.databricks.sql.externalUDF.* se již nevztahují na PySpark UDF na compute s standardním režimem přístupu.
    • Konfigurace clusteru Spark spark.databricks.safespark.externalUDF.plan.limit už nemá vliv na uživatelem definované funkce PySpark, čímž se odstranilo omezení verze Public Preview, které umožňovalo maximálně 5 uživatelsky definovaných funkcí na dotaz pro PySpark.
    • Konfigurace clusteru Spark spark.databricks.safespark.sandbox.size.default.mib už není platná pro UDFs PySpark na výpočetních prostředcích se standardním přístupovým režimem. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
  • Datový typ TimestampNTZ je nyní podporován jako clusteringový sloupec s tekutým clusteringem. Viz Použití metody 'liquid clustering' pro tabulky.
  • [SPARK-47511][SQL] Kanonizovat výrazy With znovu přiřazením IDčka
  • [SPARK-47509][SQL] Blokovat výrazy poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-47176][SQL] Mají pomocnou funkci ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Přenést identifikátor tabulky do provádění skenu zdroje řádkových dat pro strategii V2
  • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • [SPARK-47121][CORE] Zabránit výjimkám RejectedExecutionExceptions během vypnutí StandaloneSchedulerBackend
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje analýzu.
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier by měl obsahovat další výrazy ve stromu výrazů.
  • [SPARK-47129][CONNECT][SQL] Zajistit, aby ResolveRelations plán připojení do mezipaměti fungoval správně.
  • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
  • [SPARK-47035][SS][CONNECT] Protokol pro posluchač Client-Side
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
  • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a MODIFIKACI u JAKÉHOKOLIV SOUBORU.
  • [SPARK-47071][SQL] Integrování výrazu 'With', pokud obsahuje speciální výraz
  • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
  • [SPARK-46993][SQL] Oprava skládání konstant pro proměnné relace
  • Aktualizace zabezpečení operačního systému.
• 3. ledna 2024
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-46763] Oprava aseračního selhání ReplaceDeduplicateWithAggregate pro duplicitní atributy.
  • [SPARK-46954] XML: Obalte InputStreamReader pomocí BufferedReader.
  • [SPARK-46655] Přeskočte zachytávání kontextu dotazu v DataFrame metodách.
  • [SPARK-44815] Uložte df.schema do mezipaměti, abyste se vyhnuli dodatečnému RPC.
  • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46736] zachová prázdné pole zprávy v konektoru protobuf.
  • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
  • [SPARK-46414] K vykreslení importů javascriptu použijte prependBaseUri.
  • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46954] XML: Optimalizace vyhledávání indexu schématu
  • [SPARK-46676] Funkce dropDuplicatesWithinWatermark by neměla selhat při kanonizaci prováděcího plánu.
  • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
  • [SPARK-46731] Správa instance poskytovatele úložiště stavu pomocí čtecího zdroje dat stavu.
  • [SPARK-46677] Opravit dataframe["*"] řešení.
  • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud není žádná hodnota pro klíč v možnostech.
  • [SPARK-46941] Okenní skupinový limitní uzel nelze vložit pro výpočet top-k, pokud obsahuje funkci závislou na velikosti okna.
  • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové značky neodpovídají zadanému časovému formátu.
  • [SPARK-46930] Přidání podpory uživatelské předpony pro pole typu union v Avro
  • [SPARK-46227] Zpětný port na verzi 14.3.
  • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.3 LTS

Viz Databricks Runtime 13.3 LTS.

• 29. června 2026
  • Aktualizace zabezpečení operačního systému.

• 9. června 2026
  • Aktualizace zabezpečení operačního systému.

• 26. května 2026
  • Aktualizace zabezpečení operačního systému.

• 13. května 2026
  • (Změna chování) Při výpisu tabulek pomocí vzoru schématu se již neaktualizují metadata katalogu Unity pro cizí tabulky (například SQL Server, PostgreSQL nebo AWS Glue). Tato změna ovlivňuje volání SHOW TABLES IN SCHEMA LIKE ... a getMetaData.getTables v ovladači JDBC při předání vzorce schématu a rozhraní API Thrift SparkGetTablesOperation. Pokud vaše úloha závisí na aktualizaci metadat pomocí vzoru schématu, obraťte se na podporu Databricks.
  • Aktualizace zabezpečení operačního systému.

• 29. dubna 2026
  • Aktualizace zabezpečení operačního systému.

• 20. dubna 2026
  • Aktualizace zabezpečení operačního systému.

• 2. dubna 2026

  • Aktualizace zabezpečení operačního systému.

• 10. března 2026

  • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
  • [SPARK-55111][SS] Znovu zkontrolování detekce nedokončeného přerozdělování při restartování dotazu.
  • Aktualizace zabezpečení operačního systému.

• 26. února 2026

  • Aktualizace zabezpečení operačního systému.

• 19. února 2026

  • Vrácení [SPARK-55111][SS] Detekce neúplného reparticionování při restartu dotazu
  • [SPARK-55111][SS] Detekce nedokončeného přerozdělování při restartování dotazu na začátku.
  • Aktualizace zabezpečení operačního systému.

• 27. ledna 2026
  • Aktualizace zabezpečení operačního systému.

• 9. ledna 2026
  • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
  • Aktualizace zabezpečení operačního systému.

• 9. prosince 2025
  • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
  • [SPARK-52579][PYTHON] Nastavit periodický výpis trasování chyb pro pracovníky Pythonu
  • Aktualizace zabezpečení operačního systému.

• 18. listopadu 2025
  • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
  • Aktualizace zabezpečení operačního systému.

• 4. listopadu 2025
  • Aktualizované knihovny jazyka R:
    • šipka od 10.0.1 do 21.0.0
  • Aktualizace zabezpečení operačního systému.

• 21. října 2025
  • Aktualizace zabezpečení operačního systému.

• 7. října 2025
  • Aktualizace zabezpečení operačního systému.

• 24. září 2025
  • Aktualizace zabezpečení operačního systému.

• 9. září 2025
  • Aktualizace zabezpečení operačního systému.

• 26. srpna 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-spark_2.12 od 0.7.12 do 0.7.13
  • Aktualizace zabezpečení operačního systému.

• 14. srpna 2025
  • Aktualizace zabezpečení operačního systému.

• 29. července 2025
  • Aktualizace zabezpečení operačního systému.

• 15. července 2025

  • Aktualizace zabezpečení operačního systému.

• 1. července 2025

  • Aktualizace zabezpečení operačního systému.

• 17. června 2025
  • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
  • Aktualizace zabezpečení operačního systému.

• 3. června 2025
  • Aktualizované knihovny Python:
    • kryptografie z verze 3.4.8, 37.0.1 do 37.0.1
    • platformdirs od 2.5.2, 2.6.2 do 2.5.2
    • pyparsing byl aktualizován z verze 2.4.7 nebo 3.0.9 na verzi 3.0.9
    • Přidán pip 22.2.2
    • Byly přidány setuptools 63.4.1
    • Přidáno tomli 2.0.1
    • Přidáno wcwidth 0.2.5
    • Přidáno kolečko 0.37.1
    • Byla odstraněna distribuce 1.7.0
    • Byl odstraněn distro-info 1.1+ubuntu0.2
    • Odebrání python-apt 2.4.0+ubuntu4
  • Aktualizace knihoven Java:
    • com.github.fommil.netlib.native_ref-java od 1.1, 1.1-natives do 1.1, 1.1
    • com.github.fommil.netlib.native_system-java od 1.1, 1.1-natives do 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 od 1.1 do 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 z nativních verzí 1.1 na verzi 1.1
    • io.netty.netty-transport-native-epoll od verze 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 na verzi 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
    • io.netty.netty-transport-native-kqueue od 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 do 4.1.87.Final, 4.1.87.Final
    • org.apache.orc.orc-core od verze 1.8.4-shaded-protobuf do verze 1.8.4
    • org.apache.orc.orc-mapreduce z verze 1.8.4-shaded-protobuf na verzi 1.8.4
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.1-linux-x86_64 do 1.6.1
  • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
  • Aktualizace zabezpečení operačního systému.

• 20. května 2025
  • Aktualizace knihoven Java:
    • io.delta.delta-sharing-spark_2.12 od 0.7.11 do 0.7.12
  • Aktualizace zabezpečení operačního systému.

• 22. dubna 2025
  • [Změna chování] Vakuové operace nyní provádějí kontroly protokolu Writer, jak je tomu u jiných operací, čímž brání neočekávaným vyčištěním tabulek s novějšími funkcemi, když jsou spuštěny z nekompatibilních starších verzí Databricks Runtime.
  • Aktualizace zabezpečení operačního systému.

• 9. dubna 2025
  • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
  • Aktualizace zabezpečení operačního systému.

• 11. března 2025
  • Aktualizace zabezpečení operačního systému.

• 11. února 2025
  • [SPARK-50492][SS] Oprava java.util.NoSuchElementException při odstranění sloupce času události po dropDuplicatesWithinWatermark
  • [SPARK-45915][SQL] Zacházejte s decimal(x, 0) stejně jako s IntegralType v PromoteStrings.
  • Aktualizace zabezpečení operačního systému.

• 10. prosince 2024
  • Aktualizace zabezpečení operačního systému.
• 26. listopadu 2024
  • [SPARK-49615] [ML] Umožňuje, aby ověření schématu datové sady transformátorů funkcí ML odpovídalo konfiguraci spark.sql.caseSensitive.
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [BACKPORT] [SPARK-49326][SS] Klasifikovat třídu chyb pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • [SPARK-48843] Zabránění nekonečné smyčce pomocí BindParameters
  • [BACKPORT] [SPARK-49326][SS] Klasifikovat třídu chyb pro chybu uživatelské funkce jímky Foreach
  • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
• 25. září 2024
  • [SPARK-46601] [CORE] Oprava chyby protokolu v handleStatusMessage
  • [SPARK-48719][SQL] Oprava chyby výpočtu RegrSlope &RegrIntercept při použití prvního parametru s hodnotou null
  • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
  • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
  • Aktualizace zabezpečení operačního systému.
• 17. září 2024
  • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
  • [SPARK-48463][ML] Umožnit Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor podporu pro vnořené vstupní sloupce
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
• 14. srpna 2024
  • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
  • [SPARK-49065][SQL] Opětovné obnovení ve starších formátovacích a analyzátorech musí podporovat jiné než výchozí časová pásma JVM.
  • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
• 1. srpna 2024
  • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray v rozhraní Java Sparku. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
  • [SPARK-47202][PYTHON] Oprava překlepů v datetimes pomocí tzinfo
  • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML backportu
  • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
  • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
  • [SPARK-48383][SS] Vyvolá lepší chybu pro neshodované oddíly v možnosti startOffset v kafka
  • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
  • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
  • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
  • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
  • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
  • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • (Změna chování) dbutils.widgets.getAll() teď podporuje získání všech hodnot widgetů v poznámkovém bloku.
  • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
  • [SPARK-47994][SQL] Oprava chyby s prosazováním filtrování sloupců CASE WHEN v SQLServeru
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-47956][SQL] Ověření správnosti nevyřešených odkazů LCA
  • [SPARK-46822][SQL] Respektujte spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na katalyzátorový typ v jdbc
  • [SPARK-47895][SQL] podmínka GROUP BY ALL by měla být idempotentní
  • [SPARK-48018][SS] Oprava hodnoty groupId 'null' způsobující chybu chybějícího parametru při vyvolání výjimky KafkaException.couldNotReadOffsetRange
  • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • [SPARK-44653][SQL] Sjednocení jiných než triviálních datových rámců by neměla přerušit ukládání do mezipaměti.
  • Různé opravy chyb
• 11. dubna 2024
  • [SPARK-47509][SQL] Blokovat výrazy poddotazů ve funkcích lambda a vyšších pořadí
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
  • [SPARK-38708][SQL] Aktualizace Hive Metastore Client na verzi 3.1.3 pro Hive 3.1
  • [SPARK-47200][SS] Chyba třídy chyb pro uživatelskou funkci jímky foreach
  • [SPARK-47368][SQL] Odebrání kontroly konfigurace inferTimestampNTZ v ParquetRowConverter
  • [SPARK-44252][SS] Definujte novou třídu chyb a použijte ji pro případ selhání načítání stavu ze systému souborů DFS.
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-47300][SQL] quoteIfNeeded by měl uvozovat identifikátor začínající číslicemi.
  • [SPARK-47305][SQL] Oprava funkce PruneFilters pro správné označení příznaku isStreaming u LocalRelation, pokud plán zahrnuje jak dávkový, tak streamovací proces.
  • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • [SPARK-47145][SQL] Přenést identifikátor tabulky do provádění skenu zdroje řádkových dat pro strategii V2
  • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
  • [SPARK-47176][SQL] Mají pomocnou funkci ResolveAllExpressionsUpWithPruning
  • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
  • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje analýzu.
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
  • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a MODIFIKACI u JAKÉHOKOLIV SOUBORU.
  • Aktualizace zabezpečení operačního systému.
• 8. února 2024
  • Dotazy datového kanálu (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány, a pokud se pokusíte spustit dotaz CDF na materializovaném zobrazení katalogu Unity, vrátí se chyba. Streamovací tabulky Unity Catalog podporují dotazy CDF na tabulky CDC jiné než AUTO v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po zavolání potvrzení během agregace datového proudu v režimu výstupu.
  • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46941] Okenní skupinový limitní uzel nelze vložit pro výpočet top-k, pokud obsahuje funkci závislou na velikosti okna.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud není žádná hodnota pro klíč v možnostech.
  • [SPARK-46383] Snížení využití haldy ovladačů snížením životnosti TaskInfo.accumulables().
  • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
  • [SPARK-46676] Funkce dropDuplicatesWithinWatermark by neměla selhat při kanonizaci prováděcího plánu.
  • [SPARK-46763] Oprava aseračního selhání ReplaceDeduplicateWithAggregate pro duplicitní atributy.
  • Aktualizace zabezpečení operačního systému.
• 17. ledna 2024
  • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje, aby se přidal příznak causedBroadcastJoinBuildOOM=true, když během přeskupení, které je součástí broadcast joinu, dojde k chybě nedostatku paměti.
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
  • [SPARK-46132] Podpora hesla klíče pro klíče JKS pro protokol RPC SSL.
  • [SPARK-46602] Propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se předešlo závodům s operacemi na pozadí.
  • [SPARK-46417] Nezaznamenávat selhání při volání hive.getTable, pokud je throwException false.
  • [SPARK-46538] Opravuje problém s nejednoznačným odkazem na sloupec v ALSModel.transform.
  • [SPARK-46478] Vrátit SPARK-43049 k použití Oracle varchar(255) pro řetězec.
  • [SPARK-46250] Odstranění nestability v test_parity_listener.
  • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
  • [SPARK-46056] Oprava problému s vektorizovaným čtením Parquet vedoucím k NPE při použití výchozí hodnoty byteArrayDecimalType.
  • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
• 14. prosince 2023
  • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
  • [SPARK-45920] seskupení podle pořadí by mělo být idempotentní.
  • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
  • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové značky neodpovídají zadanému časovému formátu.
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru pro oddělení validateSchemaOutput a validateExprIdUniqueness.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • Aktualizace zabezpečení operačního systému.
• 10. listopadu 2023
  • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
  • Byly změněny dotazy datového přenosu v tabulkách pro streamování a materializovaných zobrazeních katalogu Unity, aby zobrazovaly chybové zprávy.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction již neselhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-44219] Přidána další ověření na základě pravidel pro optimalizační přepisy.
  • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
  • Aktualizace zabezpečení operačního systému.
• 23. října 2023
  • [SPARK-45256] Opravili jsme problém, kdy DurationWriter se při zápisu více hodnot než počáteční kapacity nezdařilo.
  • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert na true.
  • Opravili jsme problém, který způsoboval, že se poškozené soubory neignorovaly při odvozování schématu CSV pomocí automatického zavaděče, když je povolena ignoreCorruptFiles.
  • Vraťte se na [SPARK-42946].
  • [SPARK-42205] Aktualizovali jsme protokol JSON k odstranění protokolování Accumulables při zahájení úkolu nebo fáze.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45316] Přidat nové parametry ignoreCorruptFiles a ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
  • [SPARK-44740] Opravili jsme hodnoty metadat pro artefakty.
  • [SPARK-45360] Inicializovaná konfigurace tvůrce relací Sparku z SPARK_REMOTE.
  • [SPARK-44551] Upravované komentáře pro synchronizaci s open-source softwarem.
  • [SPARK-45346] Odvozování Parquet schémat teď při slučování respektuje příznaky rozlišující velká a malá písmena.
  • [SPARK-44658]ShuffleStatus.getMapStatus nyní vrací None místo Some(null).
  • [SPARK-44840] Indexování u záporných indexů bylo změněno na 1-based.
• 14. září 2023
  • [SPARK-44873] Přidána podpora pro alter view vnořené sloupce v klientovi Hive.
  • [SPARK-44878] Vypnuto přísné omezení pro správce zápisu, RocksDB aby se zabránilo výjimce při dokončení mezipaměti.
• 30. srpna 2023
  • Příkaz dbutils cp (dbutils.fs.cp) byl optimalizován pro rychlejší kopírování. Díky tomuto vylepšení můžou operace kopírování v závislosti na velikosti souboru trvat až 100krát méně času. Tato funkce je dostupná ve všech cloudech a souborových systémech přístupných v Databricks, včetně svazků Unity Catalog a připojení DBFS.
  • [SPARK-44455] Identifikátory uvozovek s backticks ve výsledku SHOW CREATE TABLE .
  • [SPARK-44763] Opravili jsme problém, který v binární aritmetice s intervalem zobrazoval řetězec jako dvojitý řetězec.
  • [SPARK-44871] Opravené percentile_disc chování.
  • [SPARK-44714] Uvolnění omezení řešení LCA ve vztahu k dotazům.
  • [SPARK-44818] Opravena závodní podmínka pro přerušení čekajícího úkolu, k němuž došlo před inicializací taskThread.
  • [SPARK-44505] Přidána možnost přepsání pro podporu sloupcové struktury ve skenování pro DSv2.
  • [SPARK-44479] Oprava převodu protobuf z prázdného typu struktury.
  • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
  • [SPARK-42941] Byla přidána podpora pro StreamingQueryListener v Python.
  • [SPARK-44558] Export úrovně protokolu Spark Connect pro PySpark
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají hodnotu Null jako první hodnotu sloupce.
  • [SPARK-44643] Opraveno Row.__repr__ , když je pole prázdný řádek.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 9.1 LTS

• 9. dubna 2025
  • Aktualizace zabezpečení operačního systému.

• 11. března 2025
  • Aktualizace zabezpečení operačního systému.

• 11. února 2025
  • Aktualizace zabezpečení operačního systému.

• 10. prosince 2024
  • Aktualizace zabezpečení operačního systému.
• 26. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 5. listopadu 2024
  • Aktualizace zabezpečení operačního systému.
• 22. října 2024
  • Aktualizace zabezpečení operačního systému.
• 10. října 2024
  • Aktualizace zabezpečení operačního systému.
• 25. září 2024
  • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
  • Aktualizace zabezpečení operačního systému.
• 6. září 2024
  • Aktualizace zabezpečení operačního systému.
• 29. srpna 2024
  • [SPARK-49065][SQL] Opětovné obnovení ve starších formátovacích a analyzátorech musí podporovat jiné než výchozí časová pásma JVM.
• 14. srpna 2024
• 1. srpna 2024
  • Aktualizace zabezpečení operačního systému.
• 11. července 2024
  • Aktualizace zabezpečení operačního systému.
• 17. června 2024
  • Aktualizace zabezpečení operačního systému.
• 21. května 2024
  • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
  • Aktualizace zabezpečení operačního systému.
• 9. května 2024
  • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Nastavte správně hodnotu null u sloučeného spojovacího klíče v úplném vnějším spojení USING.
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2024
  • Různé opravy chyb
• 11. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 1. dubna 2024
  • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
  • Aktualizace zabezpečení operačního systému.
• 14. března 2024
  • Aktualizace zabezpečení operačního systému.
• 29. února 2024
  • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Podpora hesla klíče pro klíče JKS pro protokol RPC SSL.
• 14. prosince 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-42205] Protokolování akumulovatelných bylo odstraněno v událostech zahájení úkolu a fáze.
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Aktualizace zabezpečení operačního systému.
• 13. října 2023
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • [SPARK-43098] Oprava chyby v počítání správnosti, když má skalární poddotaz klauzuli GROUP BY.
  • [SPARK-43156][SPARK-43098] Rozšiřte test chyb počtu skalárních poddotazů s decorrelateInnerQuery vypnutým.
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery.
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Opravili jsme problém při zpracování dat ve formátu JSON, aby se zabránilo UnknownFieldException.
  • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
  • [SPARK-37520] Přidat funkce řetězce startswith() a endswith()
  • [SPARK-43413] Byla opravena IN nulovatelnost poddotazu ListQuery.
  • Aktualizace zabezpečení operačního systému.
• 17. května 2023
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Opravili jsme problém, kdy při vývoji schématu v nástroji Auto Loader mohlo dojít k nekonečné smyčce selhání při zjištění nového sloupce ve schématu vnořeného JSON objektu.
  • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
• 29. března 2023
  • Aktualizace zabezpečení operačního systému.
• 14. března 2023
  • [SPARK-42484] Vylepšená chybová zpráva pro UnsafeRowUtils.
  • Různé opravy.
• 28. února 2023
  • Uživatelé nyní mohou číst a zapisovat konkrétní tabulky Delta vyžadující Reader verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
  • Aktualizace zabezpečení operačního systému.
• 16. února 2023
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2023
  • Ve výchozím nastavení jsou typy tabulek JDBC externí.
• 18. ledna 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2022
  • Opravili jsme problém s parsováním JSON v automatickém zavaděči, když byly všechny sloupce ponechány jako řetězce (nebyly nastavenycloudFiles.inferColumnTypes nebo nastaveny na false) a JSON obsahoval vnořené objekty.
  • Aktualizace zabezpečení operačního systému.
• 15. listopadu 2022
  • Upgradovali jsme Apache commons-text na verzi 1.10.0.
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 1. listopadu 2022
  • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
  • Opravili jsme problém s funkcí Auto Loader, kdy může dojít k duplikaci souboru ve stejné mikrodávce při povolení allowOverwrites.
  • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
  • Aktualizace zabezpečení operačního systému.
• 18. října 2022
  • Aktualizace zabezpečení operačního systému.
• 5. října 2022
  • Různé opravy.
  • Aktualizace zabezpečení operačního systému.
• 22. září 2022
  • Uživatelé mohou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") pro opětovné povolení vestavěného seznamu pro Auto Loader na ADLS. Integrovaný seznam byl dříve vypnutý kvůli problémům s výkonem, a to mohlo vést ke zvýšení nákladů na úložiště pro zákazníky.
  • [SPARK-40315] Přidejte hashCode() pro literál ArrayBasedMapData
  • [SPARK-40089] Oprava řazení u některých typů desetinných čísel
  • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
• 6. září 2022
  • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
  • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
  • [SPARK-40079] Přidání ověření vstupních sloupců Imputer pro případ prázdného vstupu
• 24. srpna 2022
  • [SPARK-39666] Použít UnsafeProjection.create k dodržení spark.sql.codegen.factoryMode ve Výrazu Encoder
  • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
  • Aktualizace zabezpečení operačního systému.
• 9. srpna 2022
  • Aktualizace zabezpečení operačního systému.
• 27. července 2022
  • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
  • [SPARK-39689] Podpora 2 znaků lineSep ve zdroji dat CSV
  • [SPARK-39575] Přidáno ByteBuffer#rewind za ByteBuffer#get v AvroDeserializer.
  • [SPARK-37392] Opravili jsme chybu výkonu pro optimalizátor katalyzátoru.
  • Aktualizace zabezpečení operačního systému.
• 13. července 2022
  • [SPARK-39419]ArraySort vyvolá výjimku, pokud srovnávací program vrátí hodnotu null.
  • Vypnuto používání vestavěných cloudových rozhraní API pro vytvoření seznamu adresářů na Azure v rámci aplikace Auto Loader.
  • Aktualizace zabezpečení operačního systému.
• 5. července 2022
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 15. června 2022
  • [SPARK-39283] Opravte vzájemné zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
• 2. června 2022
  • [SPARK-34554] Implementujte metodu copy() v ColumnarMap.
  • Aktualizace zabezpečení operačního systému.
• 18. května 2022
  • Opravili jsme potenciální únik paměti v automatickém zavaděči.
  • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
  • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
  • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext zastavení iterátoru při dokončení úkolu
  • Aktualizace zabezpečení operačního systému.
• 19. dubna 2022
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 6. dubna 2022
  • [SPARK-38631] Používá implementaci v Javě pro rozbalování tar archivů v Utils.unpack.
  • Aktualizace zabezpečení operačního systému.
• 22. března 2022
  • Změnil aktuální pracovní adresář poznámkových bloků v clusterech s vysokou souběžností, kde je povoleno buď řízení přístupu k tabulkám, nebo předávání přihlašovacích údajů, na domovský adresář uživatele. Dříve byl /databricks/driver Active Directory.
  • [SPARK-38437] Uvolněná serializace data a času ze zdroje dat
  • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
  • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
  • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
• 14. března 2022
  • [SPARK-38236] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
  • [SPARK-34069] Přeruší vlákno úkolu, pokud je místní vlastnost SPARK_JOB_INTERRUPT_ON_CANCEL nastavena na true.
• 23. února 2022
  • [SPARK-37859] Tabulky SQL vytvořené pomocí JDBC se Sparkem 3.1 se nedají číst pomocí Sparku 3.2.
• 8. února 2022
  • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
  • Aktualizace zabezpečení operačního systému.
• 1. února 2022
  • Aktualizace zabezpečení operačního systému.
• 26. ledna 2022
  • Opravili jsme problém, kdy souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek být potvrzeny v neserializovatelném pořadí.
  • Opravili jsme problém, kdy OPTIMIZE příkaz mohl selhat, když byl povolen dialekt ANSI SQL.
• 19. ledna 2022
  • Menší opravy a vylepšení zabezpečení
  • Aktualizace zabezpečení operačního systému.
• 4. listopadu 2021
  • Opravili jsme problém, který mohl způsobit, že datové proudy strukturovaného streamování selhaly s chybou ArrayIndexOutOfBoundsException.
  • Opravili jsme závodní podmínku, která mohla způsobit selhání dotazu s chybou IOException, jako je java.io.IOException: No FileSystem for scheme, nebo která mohla způsobit, že se změny v sparkContext.hadoopConfiguration neprojeví v dotazech.
  • Konektor Apache Spark pro Delta Sharing byl aktualizován na verzi 0.2.0.
• 20. října 2021
  • Upgradovali jsme konektor BigQuery z verze 0.18.1 na 0.22.2. Tím se přidá podpora pro typ BigNumeric.