Aktualizace údržby pro Databricks Runtime (archivované)

Tato archivovaná stránka obsahuje seznam aktualizací údržby vydaných pro verze Databricks Runtime, které se už nepodporují. Pokud chcete přidat aktualizaci údržby do existujícího clusteru, restartujte cluster.

Důležité

Tato dokumentace byla vyřazena a nemusí být aktualizována. Produkty, služby nebo technologie uvedené v tomto obsahu dosáhly konce podpory. Viz poznámky k verzím a kompatibilitě Databricks Runtime.

Uvedení Databricks Runtime

Aktualizace údržby podle verze:

Aktualizace údržby v podporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby Databricks Runtime.

Databricks Runtime 17.2

Viz Databricks Runtime 17.2 (EoS).

  • 10. března 2026
    • [SPARK-55701]ES-1694761[SS] Oprava stavu časování v CompactibleFileStreamLog.allFiles
    • [SPARK-55493] [SS] Ne mkdirs v adresáři stavu kontrolního bodu streamování ve StateDataSource
    • Aktualizace zabezpečení operačního systému.

  • 26. února 2026

    • Aktualizace zabezpečení operačního systému.

  • 19. února 2026

    • Při odvozování schématu souborů Excel se řetězcové buňky nyní odvozují jako Sparkové StringType. Respektuje typ buňky nastavený v Excel. Dříve byly řetězce s číselnými hodnotami automaticky přetypovány na užší typy jako Long nebo Decimal.
    • [SPARK-55243][CONNECT] Povolit nastavení binárních hlaviček prostřednictvím přípony -bin v klientovi Scala Connect
    • [SCALA][SPARK-54887]](https://issues.apache.org/jira/browse/SPARK-54887)[CONNECT] Vždy nastavte stav SQL v klientovi Spark Connect.
    • [SPARK-54887][CONNECT] Přidání volitelného sqlstate do SparkThrowables
    • [SPARK-55282][PYTHON][CONNECT] Vyhněte se použití worker_util na straně ovladače
    • Aktualizace zabezpečení operačního systému.
  • 27. ledna 2026
    • [SPARK-55015][SS][SQL] Oprava výpočtu numFields v decodeRemainingKey v PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Zdroj dat streamu by měl klasifikovat chybu, pokud vrácená data neodpovídají nakonfigurovanýmu schématu
    • Aktualizace zabezpečení operačního systému.
  • 9. ledna 2026
    • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
    • Aktualizace zabezpečení operačního systému.
  • 9. prosince 2025
    • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
    • [SPARK-54427][SQL] Povolit volání ColumnarRow s variantními typy
    • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
    • [SPARK-50906][SQL] Oprava kontroly nullability Avro u přeuspořádaných polí struktury
    • Aktualizace zabezpečení operačního systému.
  • 18. listopadu 2025
    • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
    • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
    • [SPARK-54099][SQL] Analyzátor variant XML by měl přejít na řetězec při chybách parsování desetinných čísel.
    • [SPARK-54015][PYTHON] Uvolněte požadavek Py4J na py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k s využitím Apache DataSketches
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2025
    • [SPARK-53973][Avro] Klasifikace chyb pro chybu boolovského přetypování AvroOptions
    • [SPARK-53972][SS] Oprava regrese nedávného pokroku u streamovacího dotazu v klasickém prostředí PySpark
    • [SPARK-53908][CONNECT] Oprava pozorování ve službě Spark Connect s mezipamětí plánu
    • Aktualizace zabezpečení operačního systému.
  • 21. října 2025
    • Aktualizace zabezpečení operačního systému.
  • 8. října 2025
    • [SPARK-53555] Oprava: Připojení SparkML nemůže načíst uložený model SparkML (starší režim)
    • [SPARK-53598][SQL] Před čtením vlastnosti velké tabulky zkontrolujte existenci numParts.
    • [SPARK-53625][SS] Šíření sloupců metadat prostřednictvím projekcí za účelem vyřešení nekompatibility ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Oprava několika malých chyb v logice zpracování chyb klienta Spark Connect Python
    • [SPARK-53574] Oprava vynulování AnalysisContext během vnořeného řešení plánů
    • [SPARK-53623][SQL] zlepšuje čtení velkých tabulek...
    • [SPARK-53729][PYTHON][CONNECT] Oprava serializace pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Po dokončení procesu žádosti o stav seznamu vždy zavřete alokátor šipky.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2025
    • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
    • [SPARK-53362] [ML] [CONNECT] Oprava chyby místního načítače IDFModel
    • [SPARK-53382][SQL] Oprava chyby rCTE s nesprávnou rekurzí
    • Přenesení úpravy pro opravu nestálého testu pro [SPARK-53345].
    • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
    • [SPARK-53423] [SQL] Přesuňte všechny značky související s jednopaměťovým resolverem na ResolverTag.
    • [SPARK-53431][PYTHON] Opravit Python UDTF s pojmenovanými argumenty tabulky v rozhraní DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Resetovat MLCache.totalMLCacheSizeBytes, když se MLCache.clear() zavolá
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible by se mělo vyhnout opakovanému přerušení
    • [SPARK-53470][SQL] Výrazy ExtractValue by měly vždy provádět kontrolu typů.
    • Cherry pick of [SPARK-53389] Vylepšení rozhraní Pandas API ve Sparku v rámci ANSI
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 17.1

Viz.: Databricks Runtime 17.1 (EoS)

  • 27. ledna 2026
    • [SPARK-55015][SS][SQL] Oprava výpočtu numFields v decodeRemainingKey v PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Zdroj dat streamu by měl klasifikovat chybu, pokud vrácená data neodpovídají nakonfigurovanýmu schématu
    • Aktualizace zabezpečení operačního systému.
  • 9. ledna 2026
    • [SPARK-54711][PYTHON] Přidání časového limitu pro připojení pracovního procesu vytvořeného démonem
    • Aktualizace zabezpečení operačního systému.
  • 9. prosince 2025
    • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
    • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
    • [SPARK-50906][SQL] Oprava kontroly nullability Avro u přeuspořádaných polí struktury
    • [SPARK-54427][SQL] Povolit volání ColumnarRow s variantními typy
    • Aktualizace zabezpečení operačního systému.
  • 18. listopadu 2025
    • [SPARK-54015][PYTHON] Uvolněte požadavek Py4J na py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k s využitím Apache DataSketches
    • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
    • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
    • [SPARK-54099][SQL] Analyzátor variant XML by měl přejít na řetězec při chybách parsování desetinných čísel.
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2025
    • [SPARK-53972][SS] Oprava regrese nedávného pokroku u streamovacího dotazu v klasickém prostředí PySpark
    • [SPARK-53908][CONNECT] Oprava pozorování ve službě Spark Connect s mezipamětí plánu
    • [SPARK-53973][Avro] Klasifikace chyb pro chybu boolovského přetypování AvroOptions
    • Aktualizace zabezpečení operačního systému.
  • 21. října 2025
    • Aktualizace zabezpečení operačního systému.
  • 7. října 2025
    • [SPARK-53574] Oprava vynulování AnalysisContext během vnořeného řešení plánů
    • [SPARK-53549][SS] Po dokončení procesu žádosti o stav seznamu vždy zavřete alokátor šipky.
    • [SPARK-53568][CONNECT][PYTHON] Oprava několika malých chyb v logice zpracování chyb klienta Spark Connect Python
    • [SPARK-53625][SS] Šíření sloupců metadat prostřednictvím projekcí za účelem vyřešení nekompatibility ApplyCharTypePadding
    • [SPARK-53598][SQL] Před čtením vlastnosti velké tabulky zkontrolujte existenci numParts.
    • [SPARK-53623][SQL] zlepšuje čtení velkých tabulek...
    • [SPARK-53555] Oprava: Připojení SparkML nemůže načíst uložený model SparkML (starší režim)
    • [SPARK-53729][PYTHON][CONNECT] Oprava serializace pyspark.sql.connect.window.WindowSpec
    • Aktualizace zabezpečení operačního systému.
  • 16. září 2025
    • Aktualizace zabezpečení operačního systému.
  • 9. září 2025
    • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
    • [SPARK-53362] [ML] [CONNECT] Oprava chyby místního načítače IDFModel
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible by se mělo vyhnout opakovanému přerušení
    • [SPARK-53382][SQL] Oprava chyby rCTE s nesprávnou rekurzí
    • [SPARK-53431][PYTHON] Opravit Python UDTF s pojmenovanými argumenty tabulky v rozhraní DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Resetovat MLCache.totalMLCacheSizeBytes, když se MLCache.clear() zavolá
    • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
    • Aktualizace zabezpečení operačního systému.
  • 25. srpna 2025
    • Aktualizace knihoven Java:
      • io.delta.delta-sharing-client_2.13 od 1.3.3 do 1.3.5
    • [SPARK-52482][SQL][CORE] Zlepšení zpracování výjimek při čtení určitých poškozených souborů zstd
    • [SPARK-53192][CONNECT] Vždy ukládat zdroj dat do mezipaměti plánu Spark Connect
    • Aktualizace zabezpečení operačního systému.
  • 14. srpna 2025
    • [SPARK-52833][SQL] Oprava VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Oprava Python UDTF optimalizované pro šipky s funkcí 0-arg při laterálním spojení
    • [SPARK-51505][SQL] Vždy zobrazovat metriky prázdných čísel partií v AQEShuffleReadExec
    • [SPARK-52753][SQL] Nastavení binárního souboru parseDataType kompatibilní s předchozími verzemi
    • [SPARK-52842][SQL] Nové funkce a opravy chyb pro analyzátor s jedním průchodem
    • [SPARK-52960][SQL] Zobrazit řetězec podstromu v LogicalQueryStage toString
    • [SPARK-53054][CONNECT] Oprava výchozího chování formátu v connect.DataFrameReader
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 17.0

Viz Databricks Runtime 17.0 (EoS).

  • 9. prosince 2025
    • Sloupce oddílů v dělených tabulkách Delta budou nadále materializovány v souborech datových parquettech. To umožňuje lepší součinnost s tím, jak se zpracovávají tabulky Iceberg a UniForm, a zvyšuje kompatibilitu s externími čtečkami, které nejsou delta.
    • U konektoru Snowflake i federace TIMESTAMP_NTZ Snowflake Lakehouse (časové razítko bez časového pásma) už nejsou literály posunuty dolů do Snowflake. Tato změna zabraňuje selháním dotazů způsobeným nekompatibilním zpracováním časového razítka a zlepšuje spolehlivost ovlivněných dotazů.
    • [SPARK-54427][SQL] Povolit volání ColumnarRow s variantními typy
    • [SPARK-54180][SQL] Přepsat metodu toString pro BinaryFileFormat
    • Aktualizace zabezpečení operačního systému.
  • 18. listopadu 2025
    • [SPARK-54099][SQL] Analyzátor variant XML by měl přejít na řetězec při chybách parsování desetinných čísel.
    • [SPARK-54015][PYTHON] Uvolněte požadavek Py4J na py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nový test pro StateStoreSuite SPARK-40492: maintenance before unload a odstranění infrastruktury ze starého testu
    • [SPARK-54047][PYTHON] Použití chyby rozdílu při vypršení časového limitu kill-on-idle-timeout
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2025
    • [SPARK-53908][CONNECT] Oprava pozorování ve službě Spark Connect s mezipamětí plánu
    • [SPARK-53972][SS] Oprava regrese nedávného pokroku u streamovacího dotazu v klasickém prostředí PySpark
    • Aktualizace zabezpečení operačního systému.
  • 21. října 2025
    • Aktualizace zabezpečení operačního systému.
  • 7. října 2025
    • [SPARK-53598][SQL] Před čtením vlastnosti velké tabulky zkontrolujte existenci numParts.
    • [SPARK-53568][CONNECT][PYTHON] Oprava několika malých chyb v logice zpracování chyb klienta Spark Connect Python
    • [SPARK-53574] Oprava vynulování AnalysisContext během vnořeného řešení plánů
    • [SPARK-53549][SS] Po dokončení procesu žádosti o stav seznamu vždy zavřete alokátor šipky.
    • [SPARK-53623][SQL] zlepšuje čtení velkých tabulek...
    • [SPARK-53729][PYTHON][CONNECT] Oprava serializace pyspark.sql.connect.window.WindowSpec
    • Aktualizace zabezpečení operačního systému.
  • 16. září 2025
    • Aktualizace zabezpečení operačního systému.
  • 9. září 2025
    • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible by se mělo vyhnout opakovanému přerušení
    • [SPARK-53336] [ML] [CONNECT] Resetovat MLCache.totalMLCacheSizeBytes, když se MLCache.clear() zavolá
    • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
    • [SPARK-53431][PYTHON] Opravit Python UDTF s pojmenovanými argumenty tabulky v rozhraní DataFrame API
    • [SPARK-53382][SQL] Oprava chyby rCTE s nesprávnou rekurzí
    • Aktualizace zabezpečení operačního systému.
  • 26. srpna 2025
    • Aktualizace knihoven Java:
      • io.delta.delta-sharing-client_2.13 od 1.3.3 do 1.3.5
    • [SPARK-52482][SQL][CORE] Zlepšení zpracování výjimek při čtení určitých poškozených souborů zstd
    • [SPARK-53192][CONNECT] Vždy ukládat zdroj dat do mezipaměti plánu Spark Connect
    • Aktualizace zabezpečení operačního systému.
  • 14. srpna 2025
    • [SPARK-51505][SQL] Vždy zobrazovat metriky prázdných čísel partií v AQEShuffleReadExec
    • [SPARK-53054][CONNECT] Oprava výchozího chování formátu v connect.DataFrameReader
    • [SPARK-52961][PYTHON] Oprava Python UDTF optimalizované pro šipky s funkcí 0-arg při laterálním spojení
    • [SPARK-52833][SQL] Oprava VariantBuilder.appendFloat
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2025
    • [SPARK-51889][PYTHON][SS] Oprava chyby pro MapState clear() v Python TWS
    • [SPARK-52753][SQL] Nastavení binárního souboru parseDataType kompatibilní s předchozími verzemi
    • [SPARK-49428][SQL] Přesunutí klienta Scala z konektoru do SQL
    • Aktualizace zabezpečení operačního systému.
  • 15. července 2025
    • Opravili jsme problém se ztrátou ne deterministických dat při použití strukturovaného streamování Sparku k streamování dat z Pulsaru.
    • [SPARK-52430][SQL] Řešení chyby s nulovatelností sjednocení v rCTEs
    • [SPARK-52503][SQL][CONNECT] Oprava drop , pokud vstupní sloupec neexistuje
    • [SPARK-52579][PYTHON] Nastavte pravidelný výpis zpětného trasování pro pracovníky v Pythonu
    • [SPARK-52450] Zlepšení výkonu hloubkové kopie schématu
    • [SPARK-52599][PYTHON] Podpora periodického výpisu zpětného trasování na straně driveru
    • [SPARK-52553][SS] Oprava výjimky NumberFormatException při čtení protokolu změn v1
    • Aktualizace zabezpečení operačního systému.
  • 28. května 2025
    • Aktualizované knihovny Python:
      • google-auth od 2.40.0 do 2.40.1
      • mlflow-skinny od 2.22.0 do 3.0.0
      • opentelemetry-api od 1.32.1 do 1.33.0
      • opentelemetry-sdk od 1.32.1 do 1.33.0
      • opentelemetry-semantické-konvence od 0.53b1 do 0.54b0
    • Aktualizace knihoven Java:
      • io.delta.delta-sharing-client_2.13 od 1.3.0 do 1.3.3
    • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
    • Oprava omezení, že cloud_files_state funkci TVF nejde použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály
    • Odstraňuje problémy s autorizací v Unity Catalog pro dotazy na dočasné pohledy.
    • Převrácený příznak ve verzi 17.0.1, zahrnutý příznak SAFE pro všechny pracovní prostory pro verzi 17.0.0
    • Podpora Delta sdílení pro použití I/O cache Spark Parquet u dotazů, které používají předem podepsané adresy URL (dostupné od verze 17.0.1).
    • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
    • Konektor Teradata bude nyní ve výchozím nastavení předávat TMODE=ANSI ovladači. To znamená, že u všech porovnání řetězců, která jsou prováděna prostřednictvím Lakehouse Federation, se bude rozlišovat mezi malými a velkými písmeny.
    • [SPARK-51921][SS][PYTHON] Pro dobu trvání hodnoty TTL v milisekundách v transformWithState použijte dlouhý typ.
    • [SPARK-52259][ML][CONNECT] Oprava binární kompatibility třídy Param
    • [SPARK-52195][PYTHON][SS] Oprava problému s odstraněním sloupce počátečního stavu u Python TWS
    • [SPARK-52057] [ML] [CONNECT] Shromáždit výstražné zprávy o omezení velikosti stromu k zaslání klientovi
    • [SPARK-52051] [ML] [CONNECT] Povolení souhrnu modelu při povolení ovládacího prvku paměti
    • [SPARK-51606][CONNECT] Přidání SPARK_IDENT_STRING při ukončování serveru Spark Connect
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
    • [SPARK-52232][SQL] Oprava ne deterministických dotazů za účelem vytvoření různých výsledků v každém kroku
    • [SPARK-52013] [CONNECT] [ML] Odebrat SparkConnectClient.ml_caches
    • [SPARK-52353][SQL] Oprava chyby s nesprávnými omezeními v LogicalRDDs, které odkazují na předchozí iterace v UnionLoop
    • [SPARK-52130] [ML] [CONNECT] Upřesněte chybovou zprávu a skryjte interní konfiguraci sparku.
    • [SPARK-52470][ML][CONNECT] Shrnutí snižování zátěže modelu podpory
    • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
    • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
    • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
    • [SPARK-52010] Nevygenerování dokumentace k rozhraní API pro interní třídy
    • [SPARK-52049] Oprava chyby, kdy nelze analyzovat atributy XML jako Variant
    • [SPARK-52312][SQL] Ignorovat příkaz V2WriteCommand při ukládání datového rámce do mezipaměti
    • [SPARK-52229][ML][CONNECT] Zlepšení odhadu velikosti modelu
    • [SPARK-50815][PYTHON] Oprava převodu místních dat variant na Arrow
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.
    • [SPARK-51981][SS] Přidání značek úloh do dotazuStartedEvent
    • [OPRAVIT REVERT][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Umožnění překročení limitu rekurzní úrovně v syntaxi
    • [SPARK-52101][SQL] Zakázat vložené vynucení pro rCTEs
    • [SPARK-52099][SQL] Umožnit překročení limitu řádků rekurze přidáním operátoru LIMIT
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 16.3

Vizte Databricks Runtime 16.3 (EoS)

  • 16. září 2025
    • Konektor Snowflake teď pro výpis schémat používá tabulku INFORMATION_SCHEMA místo příkazu SHOW SCHEMAS. Tato změna odstraňuje limit 10 000 schémat z předchozího přístupu a zlepšuje podporu databází s velkým počtem schémat.
    • Aktualizace zabezpečení operačního systému.
  • 9. září 2025
    • Opravili jsme problém, který mohl způsobit, že Auto Loader přestane fungovat na neomezenou dobu.
    • Opravili jsme přechodnou chybu v automatickém zavaděči, která mohla způsobit selhání úloh.
    • [SPARK-51821][CORE] Zavolejte interrupt() bez podržení nepřerušitelného locku, aby se zabránilo možnému vzájemnému zablokování
    • [SPARK-49872][CORE] Odstranění omezení délky řetězce Jackson JSON
    • Aktualizace zabezpečení operačního systému.
  • 26. srpna 2025
    • [SPARK-52482][SQL][CORE] Zlepšení zpracování výjimek při čtení určitých poškozených souborů zstd
    • [SPARK-53192][CONNECT] Vždy ukládat zdroj dat do mezipaměti plánu Spark Connect
    • Aktualizace zabezpečení operačního systému.
  • 14. srpna 2025
    • [SPARK-51011][CORE] Přidejte protokolování pro to, zda bude úkol přerušen, když bude ukončen.
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 15. července 2025
    • Opravili jsme problém se ztrátou ne deterministických dat při použití strukturovaného streamování Sparku k streamování dat z Pulsaru.
    • [SPARK-52553][SS] Oprava výjimky NumberFormatException při čtení protokolu změn v1
    • Aktualizace zabezpečení operačního systému.
  • 1. července 2025
    • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
    • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
    • [SPARK-52312][SQL] Ignorovat příkaz V2WriteCommand při ukládání datového rámce do mezipaměti
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2025
    • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.
    • Aktualizace zabezpečení operačního systému.
  • 3. června 2025
    • Aktualizované knihovny Python:
      • kryptografie od 41.0.7, 41.0.7, 42.0.5 do 42.0.5
      • balení od 24.0, 24.1 do 24.1
      • platformdirs od 3.10.0, 4.2.2 do 3.10.0
      • pyparsing od 3.0.9, 3.1.1 do 3.0.9
      • Přidání automatického příkazu 2.2.2
      • Přidáno backports.tarfile 1.2.0
      • Přidáno importlib_resources 6.4.0
      • Přidán Inflect 7.3.1
      • Přidáno jaraco.context 5.3.0.
      • Přidán jaraco.functools 4.0.1
      • Přidáno jaraco.text 3.12.1
      • Přidáno more-itertools 10.3.0
      • Přidání pip 24.2
      • Přidáno setuptools 74.0.0
      • Přidáno tomli 2.0.1
      • Byl přidán typeguard 4.3.0
      • Přidáno wcwidth 0.2.5
      • Přidáno kolečko 0.43.0
      • Odebrání distribuce 1.9.0
      • Odebrání informací o distribuci 1.7+build1
      • Odebrání python-apt 2.7.7+ubuntu4
    • [SPARK-52195][PYTHON][SS] Oprava problému s odstraněním sloupce počátečního stavu u Python TWS
    • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
    • Aktualizace zabezpečení operačního systému.
  • 20. května 2025
    • Aktualizace knihoven Java:
      • io.delta.delta-sharing-client_2.12 od 1.2.6 do 1.2.7
      • org.apache.avro.avro od 1.11.3 do 1.11.4
      • org.apache.avro.avro-ipc od 1.11.3 do 1.11.4
      • org.apache.avro.avro-mapred od 1.11.3 do 1.11.4
    • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
    • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
    • Před touto změnou byly ve výrazu variant_get ignorovány úvodní prázdné znaky a tabulátory v cestách, když byl Photon zakázán. Například select variant_get(parse_json('{"key": "value"}'), '$['key']') by nebyl efektivní při extrahování hodnoty "key". Uživatelé ale teď budou moct tyto klíče extrahovat.
    • [SPARK-51921][SS][PYTHON] Pro dobu trvání hodnoty TTL v milisekundách v transformWithState použijte dlouhý typ.
    • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
    • Aktualizace zabezpečení operačního systému.
  • 22. dubna 2025
    • Sledování delta schématu povede ke zviditelnění chyb vývoje schématu pomocí DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_POST_SCHEMA_EVOLUTION místo DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_TYPE_WIDENING, aby to bylo v souladu s ostatními výjimkami pro změny schématu bez sčítání.
    • [SPARK-51589][SQL] Oprava malé chyby, která selhává při kontrole agregačních funkcí v |>SELECT
    • [SPARK-51645][SQL] Oprava PŘÍKAZU CREATE NEBO REPLACE TABLE ... VÝCHOZÍ KOLACE ... dotaz
    • Vrátit zpět "[SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní" ve verzích 15.4, 16.0, 16.1, 16.2 a 16.3
    • [SPARK-51717][SS][RocksDB] Oprava poškození neshody SST, ke kterému může dojít u druhého snímku vytvořeného pro nový dotaz
  • 26. března 2025
    • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
    • [SPARK-51505][SQL] Zaznamenat metriky počtu prázdných oddílů v AQE coalesce
    • [SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 16.2

Viz Databricks Runtime 16.2 (EoS).

  • 14. srpna 2025
    • [SPARK-51011][CORE] Přidejte protokolování pro to, zda bude úkol přerušen, když bude ukončen.
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 15. července 2025
    • Opravili jsme problém se ztrátou ne deterministických dat při použití strukturovaného streamování Sparku k streamování dat z Pulsaru.
    • [SPARK-52553][SS] Oprava výjimky NumberFormatException při čtení protokolu změn v1
    • Aktualizace zabezpečení operačního systému.
  • 1. července 2025
    • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
    • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
    • [SPARK-52312][SQL] Ignorovat příkaz V2WriteCommand při ukládání datového rámce do mezipaměti
    • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2025
    • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.
    • Aktualizace zabezpečení operačního systému.
  • 3. června 2025
    • Aktualizované knihovny Python:
      • kryptografie od 41.0.7, 41.0.7, 42.0.5 do 42.0.5
      • balení od 24.0, 24.1 do 24.1
      • platformdirs od 3.10.0, 4.2.2 do 3.10.0
      • pyparsing od 3.0.9, 3.1.1 do 3.0.9
      • Přidání automatického příkazu 2.2.2
      • Přidáno backports.tarfile 1.2.0
      • Přidáno importlib_resources 6.4.0
      • Přidán Inflect 7.3.1
      • Přidáno jaraco.context 5.3.0.
      • Přidán jaraco.functools 4.0.1
      • Přidáno jaraco.text 3.12.1
      • Přidáno more-itertools 10.3.0
      • Přidání pip 24.2
      • Přidáno setuptools 74.0.0
      • Přidáno tomli 2.0.1
      • Byl přidán typeguard 4.3.0
      • Přidáno wcwidth 0.2.5
      • Přidáno kolečko 0.43.0
      • Odebrání distribuce 1.9.0
      • Odebrání informací o distribuci 1.7+build1
      • Odebrání python-apt 2.7.7+ubuntu4
    • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
    • [SPARK-52195][PYTHON][SS] Oprava problému s odstraněním sloupce počátečního stavu u Python TWS
    • Aktualizace zabezpečení operačního systému.
  • 20. května 2025
    • Aktualizace knihoven Java:
      • io.delta.delta-sharing-client_2.12 od 1.2.6 do 1.2.7
      • org.apache.avro.avro od 1.11.3 do 1.11.4
      • org.apache.avro.avro-ipc od 1.11.3 do 1.11.4
      • org.apache.avro.avro-mapred od 1.11.3 do 1.11.4
    • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
    • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
    • Před touto změnou byly ve výrazu variant_get ignorovány úvodní prázdné znaky a tabulátory v cestách, když byl Photon zakázán. Například select variant_get(parse_json('{"key": "value"}'), '$[' key']') by nebyl efektivní při extrahování hodnoty "key". Uživatelé ale teď budou moct tyto klíče extrahovat.
    • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
    • [SPARK-51921][SS][PYTHON] Pro dobu trvání hodnoty TTL v milisekundách v transformWithState použijte dlouhý typ.
    • Aktualizace zabezpečení operačního systému.
  • 22. dubna 2025
    • [SPARK-51717][SS][RocksDB] Oprava poškození neshody SST, ke kterému může dojít u druhého snímku vytvořeného pro nový dotaz
    • Vrátit zpět "[SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní" ve verzích 15.4, 16.0, 16.1, 16.2 a 16.3
    • Aktualizace zabezpečení operačního systému.

  • 9. dubna 2025

    • Aktualizace knihoven Java:
      • Odstraněno io.starburst.openjson.openjson 1.8-e.12
      • Odstraněno io.starburst.openx.data.json-serde 1.3.9-e.12
      • Odstraněno io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní
    • [SPARK-51505][SQL] Zaznamenat metriky počtu prázdných oddílů v AQE coalesce
    • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
    • [SPARK-51589][SQL] Oprava malé chyby, která selhává při kontrole agregačních funkcí v |>SELECT
    • Aktualizace zabezpečení operačního systému.

  • 11. března 2025

    • Databricks Runtime 14.3 LTS a vyšší zahrnují opravu problému, který způsoboval binární nekompatibilitu s kódem, který vytvořil instanci SparkListenerApplicationEnd třídy a byl zkompilován proti Apache Sparku. Tato nekompatibilitu způsobila sloučení SPARK-46399 do Apache Sparku. Toto sloučení zahrnovalo změnu, která do konstruktoru SparkListenerApplicationEnd přidala výchozí argument. Chcete-li obnovit binární kompatibilitu, tato oprava přidá do třídy SparkListenerApplicationEnd jeden konstruktor argumentu.
    • Vrátit "[SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier"
    • [SPARK-50985][SS] Klasifikujte chybu v nesouladu časových razítek v Kafka místo tvrzení a vyvolání chyby kvůli chybějícímu serveru v KafkaTokenProvider.
    • [SPARK-51065][SQL] Nepovoluje schéma bez hodnoty null, pokud se pro TransformWithState používá kódování Avro
    • [SPARK-51237][SS] Podle potřeby přidejte podrobnosti rozhraní API pro nové pomocné rozhraní API transformWithState.
    • [SPARK-51222][SQL] Optimalizujte ReplaceCurrentLike
    • [SPARK-51351][SS] Nez materializovat výstup v pracovním procesu Python pro TWS
    • [SPARK-51084][SQL] Přiřaďte odpovídající třídu chyb pro negativeScaleNotAllowedError
    • [SPARK-51249][SS] Oprava kódování NoPrefixKeyStateEncoder a Avro pro použití správného počtu bajtů verzí
    • Aktualizace zabezpečení operačního systému.

  • 5. února 2025

    • Tato verze obsahuje opravu problému, který má vliv na převod určitých datových typů při serializaci zachráněných datových sloupců XML. Ovlivněné datové typy jsou kalendářní data, jiná než NTZ časová razítka a desetinná místa, pokud je povolená prefersDecimal. Další informace o záchraně datového sloupce najdete v tématu Co je záchranný datový sloupec?.
    • [SPARK-50770][SS] Odebrání rozsahu balíčku pro rozhraní API operátoru transformWithState
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 16.1

Viz Databricks Runtime 16.1 (EoS).

  • 12. srpna 2025
    • Aktualizace zabezpečení operačního systému.

  • 29. července 2025

    • Aktualizace zabezpečení operačního systému.

  • 15. července 2025

    • Aktualizace zabezpečení operačního systému.

  • 1. července 2025

    • Podpora dekomprese ZStandard pro čtečky zdrojů dat souborů (json, csv, xml a text.)
    • [SPARK-52482][SQL][CORE] Podpora ZStandard pro čtení zdrojů dat souborů
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement by neměl dynamicky přistupovat k SQLConf
    • [SPARK-52312][SQL] Ignorovat příkaz V2WriteCommand při ukládání datového rámce do mezipaměti
    • Aktualizace zabezpečení operačního systému.

  • 17. června 2025

    • Opravili jsme omezení, že cloud_files_state funkci tvF (table-valued) nelze použít ke čtení stavu streamovaných tabulek na úrovni souborů napříč kanály.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference by měl zachovat ID plánu.
    • Aktualizace zabezpečení operačního systému.
  • 3. června 2025
    • Aktualizované knihovny Python:
      • kryptografie od 41.0.7, 41.0.7, 42.0.5 do 42.0.5
      • balení od 24.0, 24.1 do 24.1
      • platformdirs od 3.10.0, 4.2.2 do 3.10.0
      • pyparsing od 3.0.9, 3.1.1 do 3.0.9
      • Přidání automatického příkazu 2.2.2
      • Přidáno backports.tarfile 1.2.0
      • Přidáno importlib_resources 6.4.0
      • Přidán Inflect 7.3.1
      • Přidáno jaraco.context 5.3.0.
      • Přidán jaraco.functools 4.0.1
      • Přidáno jaraco.text 3.12.1
      • Přidáno more-itertools 10.3.0
      • Přidání pip 24.2
      • Přidáno setuptools 74.0.0
      • Přidáno tomli 2.0.1
      • Byl přidán typeguard 4.3.0
      • Přidáno wcwidth 0.2.5
      • Přidáno kolečko 0.43.0
      • Odebrání distribuce 1.9.0
      • Odebrání informací o distribuci 1.7+build1
      • Odebrání python-apt 2.7.7+ubuntu4
    • Aktualizace knihoven Java:
      • com.github.fommil.netlib.native_ref-java od 1.1, 1.1-natives do 1.1, 1.1
      • com.github.fommil.netlib.native_system-java od 1.1, 1.1-natives do 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 od 1.1 do 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 z nativních verzí 1.1 na verzi 1.1
      • io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16, 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 až 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll od 4.1.108.Final, 4.1.108.Final-linux-aarch_64, 4.1.108.Final-linux-riscv64, 4.1.108.Final-linux-x86_64 až 4.1.108.Final, 4.1.108.Final, 4.1.108.Final, 4.1.108.Final
      • io.netty.netty-transport-native-kqueue z verze 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 na verzi 4.1.108.Final, 4.1.108.Final
      • org.apache.orc.orc-core od 1.9.2-shaded-protobuf do 1.9.2
      • org.apache.orc.orc-mapreduce z verze 1.9.2-shaded-protobuf na verzi 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider z verze 2.4.1-linux-x86_64 na 2.4.1
    • [SPARK-52159][SQL] Správně zpracujte kontrolu existence tabulek u dialektů jdbc
    • Aktualizace zabezpečení operačního systému.
  • 20. května 2025
    • Aktualizace knihoven Java:
      • io.delta.delta-sharing-client_2.12 od 1.2.5 do 1.2.7
      • org.apache.avro.avro od 1.11.3 do 1.11.4
      • org.apache.avro.avro-ipc od 1.11.3 do 1.11.4
      • org.apache.avro.avro-mapred od 1.11.3 do 1.11.4
    • Klonovaná streamovací relace bude použita uvnitř uživatelské funkce foreachBatch ve sdílených clusterech/serverless. To odpovídá chování v klasických (přiřazených klastrech).
    • Před touto změnou byly ve výrazu variant_get ignorovány úvodní prázdné znaky a tabulátory v cestách, když byl Photon zakázán. Například select variant_get(parse_json('{"key": "value"}'), '$['key']') by nebyl efektivní při extrahování hodnoty "key". Uživatelé ale teď budou moct tyto klíče extrahovat.
    • [SPARK-51935][SQL] Oprava opožděného chování iterátorů v interpretované df.collect()
    • Aktualizace zabezpečení operačního systému.
  • 22. dubna 2025
    • Vrátit zpět "[SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní" ve verzích 15.4, 16.0, 16.1, 16.2 a 16.3
    • [SPARK-50682][SQL] Vnitřní alias by měl být kanonický.
    • [SPARK-51717][SS][RocksDB] Oprava poškození neshody SST, ke kterému může dojít u druhého snímku vytvořeného pro nový dotaz
    • Aktualizace zabezpečení operačního systému.
  • 9. dubna 2025
    • Aktualizace knihoven Java:
      • Odstraněno io.starburst.openjson.openjson 1.8-e.12
      • Odstraněno io.starburst.openx.data.json-serde 1.3.9-e.12
      • Odstraněno io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-51505][SQL] Zaznamenat metriky počtu prázdných oddílů v AQE coalesce
    • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
    • [SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní
    • Aktualizace zabezpečení operačního systému.
  • 11. března 2025
    • Databricks Runtime 14.3 LTS a vyšší zahrnují opravu problému, který způsoboval binární nekompatibilitu s kódem, který vytvořil instanci SparkListenerApplicationEnd třídy a byl zkompilován proti Apache Sparku. Tato nekompatibilitu způsobila sloučení SPARK-46399 do Apache Sparku. Toto sloučení zahrnovalo změnu, která do konstruktoru SparkListenerApplicationEnd přidala výchozí argument. Chcete-li obnovit binární kompatibilitu, tato oprava přidá do třídy SparkListenerApplicationEnd jeden konstruktor argumentu.
    • [SPARK-51084][SQL] Přiřaďte odpovídající třídu chyb pro negativeScaleNotAllowedError
    • Vrátit [SPARK-48273][SQL] Opravit opožděné přepsání PlanWithUnresolvedIdentifier
    • [SPARK-51222][SQL] Optimalizujte ReplaceCurrentLike
    • [SPARK-50985][SS] Klasifikujte chybu v nesouladu časových razítek v Kafka místo tvrzení a vyvolání chyby kvůli chybějícímu serveru v KafkaTokenProvider.
    • [SPARK-50791][SQL] Oprava chyby NPE při zpracování chyb v úložišti stavů
    • Aktualizace zabezpečení operačního systému.
  • 11. února 2025
    • Tato verze obsahuje opravu problému, který má vliv na převod určitých datových typů při serializaci zachráněných datových sloupců XML. Ovlivněné datové typy jsou kalendářní data, jiná než NTZ časová razítka a desetinná místa, pokud je povolená prefersDecimal. Další informace o záchraně datového sloupce najdete v tématu Co je záchranný datový sloupec?.
    • [SPARK-50492][SS] Oprava java.util.NoSuchElementException při odstranění sloupce času události po dropDuplicatesWithinWatermark
    • Aktualizace zabezpečení operačního systému.
  • 27. listopadu 2024
    • Tato verze obsahuje opravu problému, který může způsobit odstranění primárního klíče v tabulce Delta v určitých hraničních případech souvisejících s automatickou komprimací na pozadí.
    • Tato verze obsahuje opravu problému, který má vliv na převod určitých datových typů při serializaci zachráněných datových sloupců XML. Ovlivněné datové typy jsou kalendářní data, jiná než NTZ časová razítka a desetinná místa, pokud je povolená prefersDecimal. Další informace o záchraně datového sloupce najdete v tématu Co je záchranný datový sloupec?.
    • U této verze se velikost mezipaměti používané SSD ve výpočetním uzlu Databricks dynamicky rozšiřuje na počáteční velikost SSD a v případě potřeby se zmenšuje až na limit spark.databricks.io.cache.maxDiskUsage. Viz Optimalizace výkonu pomocí cachování na Azure Databricks.
    • [SPARK-50338][CORE] Udělat výjimky LazyTry méně rozsáhlé
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 16.0

Podívejte se na Databricks Runtime 16.0 (EoS).

  • 22. dubna 2025
    • Vrátit zpět "[SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní" ve verzích 15.4, 16.0, 16.1, 16.2 a 16.3
    • Aktualizace zabezpečení operačního systému.
  • 9. dubna 2025
    • Aktualizace knihoven Java:
      • Odstraněno io.starburst.openjson.openjson 1.8-e.12
      • Odstraněno io.starburst.openx.data.json-serde 1.3.9-e.12
      • Odstraněno io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] seskupení podle aliasu by mělo být idempotentní
    • [SPARK-51624][SQL] Šíření metadat GetStructField v CreateNamedStruct.dataType
    • Aktualizace zabezpečení operačního systému.
  • 11. března 2025
    • Databricks Runtime 14.3 a novější obsahují opravu problému, který způsoboval binární nekompatibilitu s kódem, který vytvořil instanci třídy SparkListenerApplicationEnd a zkompiloval se proti Apache Sparku. Tato nekompatibilitu způsobila sloučení SPARK-46399 do Apache Sparku. Toto sloučení zahrnovalo změnu, která do konstruktoru SparkListenerApplicationEnd přidala výchozí argument. Chcete-li obnovit binární kompatibilitu, tato oprava přidá do třídy SparkListenerApplicationEnd jeden konstruktor argumentu.
    • [SPARK-51084][SQL] Přiřaďte odpovídající třídu chyb pro negativeScaleNotAllowedError
    • [SPARK-51222][SQL] Optimalizujte ReplaceCurrentLike
    • [SPARK-50985][SS] Klasifikujte chybu v nesouladu časových razítek v Kafka místo tvrzení a vyvolání chyby kvůli chybějícímu serveru v KafkaTokenProvider.
    • [SPARK-50791][SQL] Oprava chyby NPE při zpracování chyb v úložišti stavů
    • Aktualizace zabezpečení operačního systému.
  • 11. února 2025
    • Tato verze obsahuje opravu problému, který má vliv na převod určitých datových typů při serializaci zachráněných datových sloupců XML. Ovlivněné datové typy jsou kalendářní data, jiná než NTZ časová razítka a desetinná místa, pokud je povolená prefersDecimal. Další informace o záchraně datového sloupce najdete v tématu Co je záchranný datový sloupec?.
    • [SPARK-50705][SQL] Nastavení QueryPlan bez uzamčení
    • [SPARK-50492][SS] Oprava java.util.NoSuchElementException při odstranění sloupce času události po dropDuplicatesWithinWatermark
    • Aktualizace zabezpečení operačního systému.
  • 4. prosince 2024
    • Příkaz USE CATALOG teď podporuje klauzuli IDENTIFIER . S touto podporou můžete parametrizovat aktuální katalog na základě řetězcové proměnné nebo značky parametru.
    • Tato verze obsahuje opravu problému, který může způsobit odstranění primárního klíče v tabulce Delta v určitých hraničních případech souvisejících s automatickou komprimací na pozadí.
    • U této verze se velikost mezipaměti používané SSD ve výpočetním uzlu Databricks dynamicky rozšiřuje na počáteční velikost SSD a v případě potřeby se zmenšuje až na limit spark.databricks.io.cache.maxDiskUsage. Viz Optimalizace výkonu pomocí cachování na Azure Databricks.
    • [SPARK-50322][SQL] Oprava parametrizovaného identifikátoru v dílčím dotazu
    • [SPARK-50034][CORE] Oprava chybného ohlašování fatálních chyb jako nepodchycených výjimek v SparkUncaughtExceptionHandler
    • [SPARK-47435][SQL] Oprava problému s přetečením MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Podpora výrazu IDENTIFIER v příkazu SETCATALOG
    • [SPARK-50426][PYTHON] Vyhněte se vyhledávání statických zdrojů dat Python při použití předdefinovaných nebo Java zdrojů dat
    • [SPARK-50338][CORE] Udělat výjimky LazyTry méně rozsáhlé
    • Aktualizace zabezpečení operačního systému.
  • 10. prosince 2024
    • (Zásadní změna) Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou. Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje neuzavřenou složenou závorku a byl dříve přijat systémem Photon, nyní selže. Pokud chcete tento výraz opravit, můžete zrušit speciální význam znaku složené závorky: split(str_col, '\\{'). Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících ne-ASCII znakům. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.
    • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
    • Teď můžete nastavit časový limit pro dotazy Spark Connect pomocí vlastnosti konfigurace Sparku spark.databricks.execution.timeout. U poznámkových bloků, které běží na bezserverových výpočetních prostředcích, je výchozí hodnota 9000 (sekundy). Úlohy spuštěné na bezserverových výpočetních prostředcích a výpočetních prostředcích se standardním režimem přístupu nemají časový limit, pokud není nastavena tato vlastnost konfigurace. Spuštění, které trvá déle než zadaný časový limit, způsobí chybu QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-49843][SQL] Oprava změny komentáře u sloupců typu char/varchar
    • [SPARK-49924][SQL] Zachovat containsNull po nahrazení ArrayCompact
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-48780][SQL] Zobecnit chyby v NamedParametersSupport pro lepší zpracování funkcí a procedur
    • [SPARK-49876][CONNECT] Zbavte se globálních zámků ze služby Spark Connect
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • [SPARK-49615] Oprava chyby: Ověření schématu sloupce ML odpovídá konfiguraci Sparku spark.sql.caseSensitive
    • [SPARK-48782][SQL] Přidání podpory pro provádění procedur v katalogech
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • Vrátit "[SPARK-49002][SQL] Konzistentně zpracovávat neplatná umístění ve WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY"
    • [SPARK-50028][CONNECT] Nahrazení globálních zámků ve službě naslouchání serveru Spark Connect pomocí jemně definovaných zámků
    • [SPARK-49615] [ML] Umožňuje, aby ověření schématu datové sady transformátorů funkcí ML odpovídalo konfiguraci spark.sql.caseSensitive.
    • [SPARK-50124][SQL] LIMIT/OFFSET měl by zachovat řazení dat.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.3

Vizte Databricks Runtime 15.3 (EoS).

  • 26. listopadu 2024
    • V této verzi teď můžete dotazovat funkci vector_search pomocí query_text pro textové zadání nebo query_vector pro vkládání vstupu.
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • [SPARK-49867][SQL] Vylepšena chybová zpráva, když je index při volání GetColumnByOrdinal mimo povolený rozsah
    • [SPARK-48843][15.3,15.2] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé potomky
    • Aktualizace zabezpečení operačního systému.
  • 22. října 2024
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • [SPARK-49867][SQL] Vylepšena chybová zpráva, když je index při volání GetColumnByOrdinal mimo povolený rozsah
    • [SPARK-48843][15.3,15.2] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé potomky
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a plánem spuštění
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
    • [BACKPORT] [SPARK-49474][SS] Klasifikace třídy chyb pro chybu uživatelské funkce flatMapGroupsWithState
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute
    • [SPARK-48719][SQL] Oprava chyby výpočtu RegrSlope & RegrIntercept, když má první parametr hodnotu null
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení vnořovací úrovně při zkracování zprávy protobuf
    • [SPARK-49526][CONNECT][15.3.5] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-49366][CONNECT] Považuje uzel Union za list při rozlišení sloupců datového rámce.
    • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
    • [SPARK-49409][CONNECT] Upravte výchozí hodnotu CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string, pokud není úroveň INFO povolena
    • [SPARK-49146][SS] Přesunutí chyb tvrzení souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do chybového rámce
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
    • [SPARK-48706][PYTHON] Python UDF ve funkci vyššího řádu by neměly vyvolávat vnitřní chybu
    • [SPARK-48954] try_mod() nahrazuje try_remainder()
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49047][PYTHON][CONNECT] Zkraťte zprávu pro protokolování
    • [SPARK-48740][SQL] Včasné zjištění chyby chybějící specifikace okna
  • 1. srpna 2024
    • [Zásadní změna] Ve službě Databricks Runtime 15.3 a novějších vyvolá volání uživatelem definované Python funkce (UDF), uživatelem definované Python agregační funkce (UDAF) nebo uživatelem definované Python funkce tabulky (UDTF), která používá VARIANT typ jako argument nebo návratovou hodnotu, výjimku. Tato změna brání problémům, ke kterým může dojít kvůli neplatné hodnotě vrácené některou z těchto funkcí. Další informace o VARIANT typu najdete v tématu Použití VARIANTs k ukládání částečně strukturovaných dat.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
    • [SPARK-46957][CORE] Vyřazení migrovaných souborů shuffle z provozu by mělo být možné vyčistit z exekutoru.
    • [SPARK-48648][PYTHON][CONNECT] Nastavit SparkConnectClient.tags jako správně lokální pro vlákna
    • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML backportu
    • [SPARK-48713][SQL] Přidání kontroly rozsahu indexu pro UnsafeRow.pointTo, pokud je baseObject bajtové pole
    • [SPARK-48834][SQL] Zákaz vstupu a výstupu variant do skalárních UDF pythonu, UDTF, UDAF během kompilace dotazů
    • [SPARK-48934][SS] Python typy data a času nesprávně převedeny pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění pomocí pyspark
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-49054][SQL] Výchozí hodnota sloupce by měla podporovat funkce current_*
    • [SPARK-48653][PYTHON] Oprava neplatných odkazů na třídy chyb v Python zdrojích dat
    • [SPARK-48463] Udělat StringIndexer s podporou vnořených vstupních sloupců
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48873][SQL] Použít UnsafeRow v analyzátoru JSON.
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je standardně nepravdivé.
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-47463][SQL] Použijte V2Predicate pro zabalení výrazu s návratovým typem boolean
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
    • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
    • [SPARK-48286] Oprava analýzy sloupce s existujícím výchozím výrazem - Přidání chyby zobrazované uživateli
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
    • Vrátit zpět "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • [SPARK-48503][14.3-15.3][SQL] Oprava neplatných skalárních poddotazů seskupováním podle neshodných sloupců, které neměly být povoleny
    • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48273][master][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Oprava chyby, kdy indexy oddílů nejsou správné, když funkce UDTF analyze() používá výběr i sloupec PartitionColumns
    • [SPARK-48556][SQL] Oprava nesprávné chybové zprávy odkazující na UNSUPPORTED_GROUPING_EXPRESSION
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.2

Viz Databricks Runtime 15.2 (EoS).

  • 26. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • [SPARK-48843][15.3,15.2] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé potomky
    • Aktualizace zabezpečení operačního systému.
  • 22. října 2024
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • [SPARK-48843][15.3,15.2] Zabránění nekonečné smyčce pomocí BindParameters
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé potomky
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [BACKPORT] [SPARK-49474][SS] Klasifikace třídy chyb pro chybu uživatelské funkce flatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
    • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a plánem spuštění
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • [SPARK-48719][SQL] Oprava chyby výpočtu RegrSlope &RegrIntercept při použití prvního parametru s hodnotou null
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení vnořovací úrovně při zkracování zprávy protobuf
    • [SPARK-49526][CONNECT] Podpora Windows-stylových cest v ArtifactManageru
    • [SPARK-49366][CONNECT] Považuje uzel Union za list při rozlišení sloupců datového rámce.
    • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
    • [SPARK-49409][CONNECT] Upravte výchozí hodnotu CONNECT_SESSION_PLAN_CACHE_SIZE
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string, pokud není úroveň INFO povolena
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49146][SS] Přesunutí chyb tvrzení souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do chybového rámce
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
    • [SPARK-48050][SS] Zaznamenat logický plán při spuštění dotazu
    • [SPARK-48706][PYTHON] Python UDF ve funkci vyššího řádu by neměly vyvolávat vnitřní chybu
    • [SPARK-48740][SQL] Včasné zjištění chyby chybějící specifikace okna
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49047][PYTHON][CONNECT] Zkraťte zprávu pro protokolování
  • 1. srpna 2024
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění pomocí pyspark
    • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48873][SQL] Použít UnsafeRow v analyzátoru JSON.
    • [SPARK-46957][CORE] Vyřazení migrovaných souborů shuffle z provozu by mělo být možné vyčistit z exekutoru.
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48713][SQL] Přidání kontroly rozsahu indexu pro UnsafeRow.pointTo, pokud je baseObject bajtové pole
    • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML backportu
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-48934][SS] Python typy data a času nesprávně převedeny pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48463] Udělat StringIndexer s podporou vnořených vstupních sloupců
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • V bezserverových poznámkových blocích a úlohách bude režim ANSI SQL ve výchozím nastavení povolený a podporuje krátké názvy.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je standardně nepravdivé.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48286] Oprava analýzy sloupce s existujícím výchozím výrazem - Přidání chyby zobrazované uživateli
    • [SPARK-48294][SQL] Zpracování malých písmen ve funkci nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] Oprava nesprávné chybové zprávy odkazující na UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Nastavit SparkConnectClient.tags jako správně lokální pro vlákna
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
    • [SPARK-48566][PYTHON] Oprava chyby, kdy indexy oddílů nejsou správné, když funkce UDTF analyze() používá výběr i sloupec PartitionColumns
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
    • [SPARK-47463][SQL] Použijte V2Predicate pro zabalení výrazu s návratovým typem boolean
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • applyInPandasWithState() je k dispozici ve sdílených clusterech.
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
    • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda.
    • [SPARK-48276][PYTHON][CONNECT] Přidejte chybějící __repr__ metodu pro SQLExpression
    • [SPARK-48014][SQL] Změna chyby makeFromJava v EvaluatePython na chybu zobrazenou uživateli
    • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide při desetinných číslech
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • [SPARK-48173][SQL] CheckAnalysis by měla vidět celý plán dotazu.
    • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
    • [SPARK-48172][SQL] Oprava problémů s únikem dat v backportu JDBCDialects na verzi 15.2
    • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
    • [SPARK-48288] Přidat datový typ zdroje pro výrazy převodu v konektoru
    • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • Vrátit zpět "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-47994][SQL] Oprava chyby s prosazováním filtrování sloupců CASE WHEN v SQLServeru
    • [SPARK-47764][CORE][SQL] Vyčištění závislostí shuffle založených na ShuffleCleanupMode
    • [SPARK-47921][CONNECT] Oprava vytvoření příkazu ExecuteJobTag v nástroji ExecuteHolder
    • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
    • [SPARK-48146][SQL] Oprava agregační funkce v rámci kontrolního výrazu With pro podřízené výrazy
    • [SPARK-48180][SQL] Zlepšení chyby, když volání UDTF s TABLE argumentem zapomene závorky kolem více PARTITION nebo ORDER BY výrazů
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.1

Viz Databricks Runtime 15.1 (EoS).

  • 22. října 2024
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers za účelem zachování nulovatelnosti vnořených struktur
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé potomky
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a plánem spuštění
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
    • [BACKPORT] [SPARK-49474][SS] Klasifikace třídy chyb pro chybu uživatelské funkce flatMapGroupsWithState
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-48719][SQL] Oprava chyby výpočtu RegrSlope &RegrIntercept při použití prvního parametru s hodnotou null
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení vnořovací úrovně při zkracování zprávy protobuf
    • [SPARK-49526][CONNECT] Podpora Windows-stylových cest v ArtifactManageru
    • [SPARK-49409][CONNECT] Upravte výchozí hodnotu CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
    • [SPARK-49366][CONNECT] Považuje uzel Union za list při rozlišení sloupců datového rámce.
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string, pokud není úroveň INFO povolena
    • [SPARK-49146][SS] Přesunutí chyb tvrzení souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do chybového rámce
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
    • [SPARK-48050][SS] Zaznamenat logický plán při spuštění dotazu
    • [SPARK-48706][PYTHON] Python UDF ve funkci vyššího řádu by neměly vyvolávat vnitřní chybu
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49047][PYTHON][CONNECT] Zkraťte zprávu pro protokolování
    • [SPARK-48740][SQL] Včasné zjištění chyby chybějící specifikace okna
  • 1. srpna 2024
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení streamování.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-46957][CORE] Vyřazení migrovaných souborů shuffle z provozu by mělo být možné vyčistit z exekutoru.
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující chybu v datových časech pomocí tzinfo
    • [SPARK-48713][SQL] Přidání kontroly rozsahu indexu pro UnsafeRow.pointTo, pokud je baseObject bajtové pole
    • [SPARK-48896][SPARK-48909][SPARK-48883] Opravy zapisovače Spark ML backportu
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48873][SQL] Použít UnsafeRow v analyzátoru JSON.
    • [SPARK-48934][SS] Python typy data a času nesprávně převedeny pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění pomocí pyspark
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
    • [SPARK-48463] Udělat StringIndexer s podporou vnořených vstupních sloupců
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je standardně nepravdivé.
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-47463][SQL] Použijte V2Predicate pro zabalení výrazu s návratovým typem boolean
    • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
    • [SPARK-48566][PYTHON] Oprava chyby, kdy indexy oddílů nejsou správné, když funkce UDTF analyze() používá výběr i sloupec PartitionColumns
    • [SPARK-48648][PYTHON][CONNECT] Nastavit SparkConnectClient.tags jako správně lokální pro vlákna
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
    • [SPARK-48294][SQL] Zpracování malých písmen ve funkci nestedTypeMissingElementTypeError
    • [SPARK-48286] Oprava analýzy sloupce s existujícím výchozím výrazem - Přidání chyby zobrazované uživateli
    • [SPARK-47309][SQL] XML: Přidání testů odvozování schématu pro značky hodnot
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • applyInPandasWithState() je k dispozici ve sdílených clusterech.
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
    • [SPARK-48276][PYTHON][CONNECT] Přidejte chybějící __repr__ metodu pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] Vyčištění závislostí shuffle založených na ShuffleCleanupMode
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
    • [SPARK-48173][SQL] CheckAnalysis by měla vidět celý plán dotazu.
    • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide při desetinných číslech
    • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
    • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda.
    • [SPARK-48180][SQL] Zlepšení chyby, když volání UDTF s TABLE argumentem zapomene závorky kolem více PARTITION nebo ORDER BY výrazů
    • [SPARK-48014][SQL] Změna chyby makeFromJava v EvaluatePython na chybu zobrazenou uživateli
    • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
    • [SPARK-48146][SQL] Oprava agregační funkce v rámci kontrolního výrazu With pro podřízené výrazy
    • [SPARK-47994][SQL] Oprava chyby s prosazováním filtrování sloupců CASE WHEN v SQLServeru
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-47543][CONNECT][PYTHON] Odvození slovníku jako MapType z Pandas DataFrame pro umožnění vytvoření datového rámce
    • [SPARK-47739][SQL] Registrace logického typu avro
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Přidat spark.sql.execution.arrow.pyspark.fallback.enabled do seznamu nepodporovaných
    • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
    • [SPARK-47941] [SS] [Připojit] Šíření chyb inicializace pracovních procesů ForeachBatch uživatelům pro PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Pro vyčištění provádění použijte asynchronní zpětné volání.
    • [SPARK-47956][SQL] Ověření správnosti nevyřešených odkazů LCA
    • [SPARK-47839][SQL] Oprava agregační chyby v rewriteWithExpression
    • [SPARK-48018][SS] Oprava hodnoty groupId 'null' způsobující chybu chybějícího parametru při vyvolání výjimky KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47907][SQL] Umístěte bang pod konfiguraci.
    • [SPARK-47895][SQL] podmínka GROUP BY ALL by měla být idempotentní
    • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.0

Zobrazit Databricks Runtime 15.0 (EoS).

  • 30. května 2024
  • 25. dubna 2024
    • [SPARK-47786]SELECT DISTINCT () by se nemělo stát SELECT DISTINCT struct() (aby se vrátilo k předchozímu chování)
    • [SPARK-47802][SQL] Vrátit () ze struktury významu() zpět ke významu *
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-47722] Před zavřením počkejte, než se dokončí práce na pozadí RocksDB.
    • [SPARK-47081][CONNECT][SLEDOVAT] Zlepšení použitelnosti zpracovatele průběhu
    • [SPARK-47694][CONNECT] Nastavení maximální velikosti zprávy na straně klienta
    • [SPARK-47669][SQL][CONNECT][PYTHON] Přidat
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-15.0] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
    • [SPARK-47818][CONNECT][Cherry-pick-15.0] Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí pro analýzy
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47755][CONNECT] Pivot by měl selhat, pokud je počet jedinečných hodnot příliš velký
    • [SPARK-47713][SQL][CONNECT] Oprava selhání samospojování
    • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selže kvůli neplatnému plánu
    • [SPARK-47862][PYTHON][CONNECT]Úprava generování souborů proto
    • [SPARK-47800][SQL] Vytvořit novou metodu pro převod identifikátoru na tableIdentifier
    • Aktualizace zabezpečení operačního systému.
  • 3. dubna 2024
    • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, funkce definované uživatelem (UDF) v PySpark ve sdílených clusterech nyní odpovídají chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterech. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
      • UDF s návratovým typem string už implicitně nepřevádějí ne-string hodnoty na hodnoty string. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
      • UDF s návratovými typy timestamp již implicitně nepoužijí převod na timestamp pomocí timezone.
      • Konfigurace clusterů Spark spark.databricks.sql.externalUDF.* se již nevztahují na UDF PySpark ve sdílených clusterech.
      • Konfigurace clusteru Spark spark.databricks.safespark.externalUDF.plan.limit už nemá vliv na uživatelem definované funkce PySpark, čímž se odstranilo omezení verze Public Preview, které umožňovalo maximálně 5 uživatelsky definovaných funkcí na dotaz pro PySpark.
      • Konfigurace clusteru Spark spark.databricks.safespark.sandbox.size.default.mib už neplatí pro UDFs PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
    • Datový typ TimestampNTZ je nyní podporován jako clusteringový sloupec s tekutým clusteringem. Viz Použití metody 'liquid clustering' pro tabulky.
    • [SPARK-47218][SQL] XML: Ignorování značek komentovaných řádků v tokenizátoru XML
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • [SPARK-47033][SQL] Opravit EXECUTE IMMEDIATE USING nerozpozná názvy proměnných relací
    • [SPARK-47368][SQL] Odebrání kontroly konfigurace inferTimestampNTZ v ParquetRowConverter
    • [SPARK-47561][SQL] Oprava problémů s pořadím pravidel analyzátoru u aliasu
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • [SPARK-46906][BACKPORT][SS] Přidání kontroly změny stavového operátoru pro streamování
    • [SPARK-47569][SQL] Nepovoluje porovnání varianty.
    • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
    • [SPARK-47218] [SQL] XML: Změna SchemaOfXml na selhání v případě režimu DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded by měl uvozovat identifikátor začínající číslicemi.
    • [SPARK-47009][SQL][Kolace] Povolení podpory vytváření tabulek pro kolace
    • [SPARK-47322][PYTHON][CONNECT] Umožňuje duplikování názvů sloupců withColumnsRenamed konzistentně s withColumnRenamed
    • [SPARK-47544][PYTHON] Metoda SparkSession Builder není kompatibilní s intellisense editoru Visual Studio Code
    • [SPARK-47511][SQL] Kanonizovat výrazy se znovu přiřazenými ID
    • [SPARK-47385] Opravte kodéry n-tic s vstupy typu Option.
    • [SPARK-47200][SS] Chybová třída pro chybu uživatelské funkce v dávkové jímce Foreach
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-38708][SQL] Aktualizace Hive Metastore Client na verzi 3.1.3 pro Hive 3.1
    • [SPARK-47305][SQL] Opravit funkci PruneFilters tak, aby správně označovala příznak isStreaming u LocalRelation, když plán obsahuje jak dávkovou, tak streamovací část.
    • [SPARK-47380][CONNECT] Je zajištěno, že na straně serveru je SparkSession stejný.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.2

Viz Databricks Runtime 14.2 (EoS).

  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
    • [BACKPORT] [SPARK-49474][SS] Klasifikace třídy chyb pro chybu uživatelské funkce flatMapGroupsWithState
  • 25. září 2024
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
    • [SPARK-46601] [CORE] Oprava chyby protokolu v handleStatusMessage
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora Windows-stylových cest v ArtifactManageru
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49146][SS] Přesunutí chyb tvrzení souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do chybového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
  • 14. srpna 2024
    • [SPARK-48050][SS] Zaznamenat logický plán při spuštění dotazu
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48706][PYTHON] Python UDF ve funkci vyššího řádu by neměly vyvolávat vnitřní chybu
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray v rozhraní Java Sparku. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující chybu v datových časech pomocí tzinfo
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění pomocí pyspark
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
    • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Přidejte chybějící __repr__ metodu pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47956][SQL] Ověření správnosti nevyřešených odkazů LCA
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
    • [SPARK-47895][SQL] podmínka GROUP BY ALL by měla být idempotentní
    • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selže kvůli neplatnému plánu
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-38708][SQL] Aktualizace Hive Metastore Client na verzi 3.1.3 pro Hive 3.1
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47322][PYTHON][CONNECT] Umožňuje duplikování názvů sloupců withColumnsRenamed konzistentně s withColumnRenamed
    • [SPARK-47385] Opravte kodéry n-tic s vstupy typu Option.
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47218] [SQL] XML: Změna SchemaOfXml na selhání v případě režimu DROPMALFORMED
    • [SPARK-47305][SQL] Opravit funkci PruneFilters tak, aby správně označovala příznak isStreaming u LocalRelation, když plán obsahuje jak dávkovou, tak streamovací část.
    • [SPARK-47218][SQL] XML: Ignorování značek komentovaných řádků v tokenizátoru XML
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded by měl uvozovat identifikátor začínající číslicemi.
    • [SPARK-47368][SQL] Odebrání kontroly konfigurace inferTimestampNTZ v ParquetRowConverter
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47035][SS][CONNECT] Protokol pro posluchač na straně klienta
    • [SPARK-47121][JÁDRO] Zabránění chybám RejectedExecutionExceptions při vypnutí StandaloneSchedulerBackend
    • [SPARK-47145][SQL] Přenést identifikátor tabulky do provádění skenu zdroje řádkových dat pro strategii V2
    • [SPARK-47176][SQL] Mají pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a právo upravovat libovolný soubor.
    • Teď můžete importovat soubory XML pomocí Auto Loaderu, read_files, COPY INTO, deklarativních kanálů Lakeflow Spark a Databricks SQL. Podpora souborů XML může automaticky odvodit a vyvíjet schéma, ukládat data s neshodami typů, ověřovat XML pomocí XSD, podporovat výrazy SQL, jako jsou from_xml, schema_of_xml a to_xml. Další podrobnosti najdete v podpoře souborů XML. Pokud jste dříve používali externí balíček spark-xml, projděte si pokyny k migraci tady .
    • [SPARK-46954][SQL] XML: Zabalení InputStreamReader s BufferedReader
    • [SPARK-46630][SQL] XML: Ověření názvu elementu XML při zápisu
    • [SPARK-46248][SQL] XML: Podpora možnosti ignorovatPoškozenéSoubory a ignorovatChybějícíSoubory
    • [SPARK-46954][SQL] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46993][SQL] Oprava skládání konstant pro session proměnné
  • 8. února 2024
    • Dotazy na tok dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány, a pokud se pokusíte spustit dotaz CDF na materializované zobrazení katalogu Unity, zobrazí se chyba. Streamovací tabulky Unity Catalog podporují dotazy CDF na tabulky CDC jiné než AUTO v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46930] Přidání podpory pro vlastní předponu pro pole typu Union v Avro.
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při konverzi typu JDBC na typ katalyzátoru v rámci JDBC.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
    • [SPARK-46644] Změna funkcí přidání a sloučení v SQLMetric pro použití isZero.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46794] Odeberte poddotazy z omezení logického RDD.
    • [SPARK-46941] Okenní skupinový limitní uzel nelze vložit pro výpočet top-k, pokud obsahuje funkci závislou na velikosti okna.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46382] XML: Aktualizace dokumentace pro ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Zachytit hodnoty vložené mezi prvky.
    • [SPARK-46763] Oprava selhání kontrolního tvrzení v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Vrátit [SPARK-46769] zpřesnění odvození schématu souvisejícího s časovým razítkem.
    • [SPARK-46677] Opravit dataframe["*"] řešení.
    • [SPARK-46382] XML: Nastavit ignoreSurroundingSpaces jako výchozí na true.
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-45964] Odebrání privátního přístupového objektu SQL v balíčku XML a JSON v rámci katalyzátoru.
    • [SPARK-46581] Aktualizace komentáře u isZero v AccumulatorV2.
    • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46660] Požadavky ReattachExecute aktualizují stav živosti SessionHolderu.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud není žádná hodnota pro klíč v možnostech.
    • [SPARK-46383] Snížení využití paměti ovladače snížením životnosti TaskInfo.accumulables().
    • [SPARK-46769] Upřesnění odvození schématu týkajícího se časových razítek.
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46676] Funkce dropDuplicatesWithinWatermark by neměla selhat při kanonizaci prováděcího plánu.
    • [SPARK-45962] Odebrat treatEmptyValuesAsNulls a místo toho použít možnost nullValue ve formátu XML.
    • [SPARK-46541] Oprava nejednoznačného odkazu na sloupec v samospojení.
    • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle vysvětlujícího plánu vráceného dotazem Photon se aktualizuje, aby se přidal příznak causedBroadcastJoinBuildOOM=true, když dojde k chybě nedostatku paměti během přeskupování, které je součástí broadcast joinu.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46484] Zajistit, aby resolveOperators pomocné funkce zachovaly ID plánu.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Zakázat poddotazy s korelovanými podmínkami OFFSET k opravě chyby správnosti.
    • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML.
    • [SPARK-46602] Propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-45814] Zajistit, aby ArrowConverters.createEmptyArrowBatch volalo metodu close(), aby nedošlo k úniku paměti.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46132] Podpora hesla pro klíče JKS pro RPC SSL.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46478] Vrátit SPARK-43049 k použití Oracle varchar(255) pro řetězec.
    • [SPARK-46417] Nezaznamenávat selhání při volání hive.getTable, pokud je throwException false.
    • [SPARK-46153] XML: Přidání podpory TimestampNTZType
    • [SPARK-46056][BACKPORT] Oprava NPE při vektorizovaném čtení Parquet s výchozí hodnotou typu byteArrayDecimalType.
    • [SPARK-46466] Vektorizovaná čtečka Parquet by nikdy neměla provádět úpravu základny pro časové razítko ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46036] Odebrání třídy chyb z funkce raise_error
    • [SPARK-46294] Vyjasněte sémantiku počáteční hodnoty oproti nule.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46250] Odstranění nestability v test_parity_listener.
    • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46241] Opravte rutinu zpracování chyb, aby nepřešla do nekonečné rekurze.
    • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46265] Aserce v AddArtifact RPC činí klienta Connect nekompatibilním se staršími clustery.
    • [SPARK-46308] Zakázat rekurzivní zpracování chyb.
    • [SPARK-46337] Ujistěte se, že CTESubstitution zachovává PLAN_ID_TAG.
  • 14. prosince 2023
    • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
    • [SPARK-45730] Učinit ReloadingX509TrustManagerSuite méně nespolehlivým.
    • [SPARK-45852] Elegantně řešit chybu rekurze během protokolování.
    • [SPARK-45808] Lepší zpracování chyb pro výjimky SQL
    • [SPARK-45920] skupina podle ordinálu by měla být idempotentní.
    • Vrátit „[SPARK-45649] Sjednotit rámec přípravy pro OffsetWindowFunctionFrame“.
    • [SPARK-45733] Podpora více strategií opakování
    • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Connect.
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • [SPARK-45905] Nejméně společný typ mezi desetinnými typy by měl jako první zachovat integrální číslice.
    • [SPARK-45136] Vylepšit ClosureCleaner s podporou Ammonite.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-45859] Nastavit objekty UDF v ml.functions jako líné.
    • [SPARK-46028] Nastavit Column.__getitem__ k přijetí vstupního sloupce.
    • [SPARK-45798] Zajistit ID relace na straně serveru.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru k oddělení validateSchemaOutput a validateExprIdUniqueness.
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-45770] Zavést plán DataFrameDropColumns pro Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementaci a vazby pro Python, připojení a SQL.
    • [SPARK-45851] Podpora více zásad v klientovi scala
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se unklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Klient Python pro Spark Connect teď zachytává chyby rekurze během převodu textu.
    • [SPARK-45808] Vylepšené zpracování chyb pro výjimky SQL
    • [SPARK-45920]GROUP BY pořadové číslo není nahrazeno pořadovým číslem.
    • Vrátit [SPARK-45649].
    • [SPARK-45733] Přidána podpora pro několik zásad opakování
    • [SPARK-45509] Opraveno chování odkazu na sloupec df pro Spark Connect.
    • [SPARK-45655] Povolit ne deterministické výrazy uvnitř AggregateFunctions souboru CollectMetrics.
    • [SPARK-45905] Nejmenší společný typ mezi desetinnými typy nyní zachovává integrální číslice jako první.
    • [SPARK-45136] Vylepšit ClosureCleaner pomocí podpory Ammonite
    • [SPARK-45859] UDF objekty byly zpožděné.
    • [SPARK-46028]Column.__getitem__ přijímá vstupní sloupce.
    • [SPARK-45798] Zajistit ID relace na straně serveru.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru k oddělení validateSchemaOutput a validateExprIdUniqueness.
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-45770] pevné rozlišení sloupců s DataFrameDropColumns pro Dataframe.drop.
    • [SPARK-44790] Přidání implementace a vazeb to_xml pro Python, Spark Connect a SQL
    • [SPARK-45851] Přidání podpory více zásad v klientovi Scala
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.1

Viz Databricks Runtime 14.1 (EoS).

  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Aktualizace zabezpečení operačního systému.
  • 5. listopadu 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns řeší UnresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použít vyhrazený ShuffleOrigin pro stavový operátor, aby se zabránilo úpravám náhodného prohazování z AQE
  • 10. října 2024
    • [BACKPORT] [SPARK-49474][SS] Klasifikace třídy chyb pro chybu uživatelské funkce flatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-43242][CORE] Oprava chyby způsobující vyvolání 'Neočekávaný typ BlockId' při diagnostice poškození při míchání dat.
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • [SPARK-46601] [CORE] Oprava chyby protokolu v handleStatusMessage
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora Windows-stylových cest v ArtifactManageru
    • Aktualizace zabezpečení operačního systému.
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
  • 14. srpna 2024
    • [SPARK-48706][PYTHON] Python UDF ve funkci vyššího řádu by neměly vyvolávat vnitřní chybu
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48050][SS] Zaznamenat logický plán při spuštění dotazu
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray v rozhraní Java Sparku. Před touto opravou může být ArrayIndexOutOfBoundsException vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Výstup příkazu SHOW CREATE TABLE teď obsahuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamovací tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtry řádků a masky sloupců.
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění pomocí pyspark
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující chybu v datových časech pomocí tzinfo
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimalizujte _get_jvm_function v PySparku.
    • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úkolu.
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Přidejte chybějící __repr__ metodu pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47895][SQL] podmínka GROUP BY ALL by měla být idempotentní
    • [SPARK-47956][SQL] Ověření správnosti nevyřešených odkazů LCA
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selže kvůli neplatnému plánu
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • [SPARK-38708][SQL] Aktualizace Hive Metastore Client na verzi 3.1.3 pro Hive 3.1
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47305][SQL] Opravit funkci PruneFilters tak, aby správně označovala příznak isStreaming u LocalRelation, když plán obsahuje jak dávkovou, tak streamovací část.
    • [SPARK-47218][SQL] XML: Ignorování značek komentovaných řádků v tokenizátoru XML
    • [SPARK-47300][SQL] quoteIfNeeded by měl uvozovat identifikátor začínající číslicemi.
    • [SPARK-47368][SQL] Odebrání kontroly konfigurace inferTimestampNTZ v ParquetRowConverter
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47322][PYTHON][CONNECT] Umožňuje duplikování názvů sloupců withColumnsRenamed konzistentně s withColumnRenamed
    • [SPARK-47300] Oprava pro DecomposerSuite
    • [SPARK-47218] [SQL] XML: Změna SchemaOfXml na selhání v případě režimu DROPMALFORMED
    • [SPARK-47385] Opravte kodéry n-tic s vstupy typu Option.
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47176][SQL] Mají pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Přenést identifikátor tabulky do provádění skenu zdroje řádkových dat pro strategii V2
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a právo upravovat libovolný soubor.
    • Teď můžete importovat soubory XML pomocí Auto Loaderu, read_files, COPY INTO, deklarativních kanálů Lakeflow Spark a Databricks SQL. Podpora souborů XML může automaticky odvodit a vyvíjet schéma, ukládat data s neshodami typů, ověřovat XML pomocí XSD, podporovat výrazy SQL, jako jsou from_xml, schema_of_xml a to_xml. Další podrobnosti najdete v podpoře souborů XML. Pokud jste dříve používali externí balíček spark-xml, projděte si pokyny k migraci tady .
    • [SPARK-46248][SQL] XML: Podpora možnosti ignorovatPoškozenéSoubory a ignorovatChybějícíSoubory
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Zabalení InputStreamReader s BufferedReader
    • [SPARK-46954][SQL] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-46630][SQL] XML: Ověření názvu elementu XML při zápisu
    • Aktualizace zabezpečení operačního systému.
  • 8. února 2024
    • Dotazy na tok dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány, a pokud se pokusíte spustit dotaz CDF na materializované zobrazení katalogu Unity, zobrazí se chyba. Streamovací tabulky Unity Catalog podporují dotazy CDF na tabulky CDC jiné než AUTO v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46794] Odeberte poddotazy z omezení logického RDD.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po zavolání potvrzení během agregace datového proudu v režimu výstupu.
    • [SPARK-46930] Přidání podpory pro vlastní předponu pro pole typu Union v Avro.
    • [SPARK-46941] Okenní skupinový limitní uzel nelze vložit pro výpočet top-k, pokud obsahuje funkci závislou na velikosti okna.
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při konverzi typu JDBC na typ katalyzátoru v rámci JDBC.
    • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46763] Oprava selhání kontrolního tvrzení v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-45498] Doplnění: Ignorovat dokončení úkolu z předchozích pokusů o fázi
    • [SPARK-46382] XML: Aktualizace dokumentace pro ignoreSurroundingSpaces.
    • [SPARK-46383] Snížení využití paměti ovladače snížením životnosti TaskInfo.accumulables().
    • [SPARK-46382] XML: Nastavit ignoreSurroundingSpaces jako výchozí na true.
    • [SPARK-46677] Opravit dataframe["*"] řešení.
    • [SPARK-46676] Funkce dropDuplicatesWithinWatermark by neměla selhat při kanonizaci prováděcího plánu.
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
    • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
    • [SPARK-46382] XML: Zachytit hodnoty vložené mezi prvky.
    • [SPARK-46769] Upřesnění odvození schématu týkajícího se časových razítek.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud není žádná hodnota pro klíč v možnostech.
    • [SPARK-45964] Odebrání privátního přístupového objektu SQL v balíčku XML a JSON v rámci katalyzátoru.
    • Vrátit [SPARK-46769] zpřesnění odvození schématu souvisejícího s časovým razítkem.
    • [SPARK-45962] Odebrat treatEmptyValuesAsNulls a místo toho použít možnost nullValue ve formátu XML.
    • [SPARK-46541] Oprava nejednoznačného odkazu na sloupec v samospojení.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle vysvětlujícího plánu vráceného dotazem Photon se aktualizuje, aby se přidal příznak causedBroadcastJoinBuildOOM=true, když dojde k chybě nedostatku paměti během přeskupování, které je součástí broadcast joinu.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-46417] Nezaznamenávat selhání při volání hive.getTable, pokud je throwException false.
    • [SPARK-46484] Zajistit, aby resolveOperators pomocné funkce zachovaly ID plánu.
    • [SPARK-46153] XML: Přidání podpory TimestampNTZType
    • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46478] Vrátit SPARK-43049 k použití Oracle varchar(255) pro řetězec.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
    • [SPARK-46337] Ujistěte se, že CTESubstitution zachovává PLAN_ID_TAG.
    • [SPARK-46466] Vektorizovaná čtečka Parquet by nikdy neměla provádět úpravu základny pro časové razítko ntz.
    • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
    • [SPARK-45814] Zajistit, aby ArrowConverters.createEmptyArrowBatch volalo metodu close(), aby nedošlo k úniku paměti.
    • [SPARK-46132] Podpora hesla pro klíče JKS pro RPC SSL.
    • [SPARK-46602] Propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46056] Oprava problému s vektorizovaným čtením Parquet vedoucím k NPE při použití výchozí hodnoty byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46250] Odstranění nestability v test_parity_listener.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se upravená podtržítka v operacích getColumns pocházejících od klientů JDBC nebo ODBC zpracovávala nesprávně a interpretovala jako zástupné znaky.
    • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Connect.
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
    • [SPARK-46028] Nastavit Column.__getitem__ k přijetí vstupního sloupce.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové značky neodpovídají zadanému časovému formátu.
    • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-45852] Elegantně řešit chybu rekurze během protokolování.
    • [SPARK-45920] skupina podle ordinálu by měla být idempotentní.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se unklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • Při ingestování dat CSV pomocí Auto Loaderu nebo streamovaných tabulek lze nyní velké soubory CSV dělit a zpracovávat paralelně během odvozování schématu i zpracování dat.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru k oddělení validateSchemaOutput a validateExprIdUniqueness.
    • [SPARK-45620] API související s Python UDF nyní používají camelCase.
    • [SPARK-44790] Přidání implementace a vazeb to_xml pro Python, Spark Connect a SQL
    • [SPARK-45770] pevné rozlišení sloupců s DataFrameDropColumns pro Dataframe.drop.
    • [SPARK-45859] UDF objekty byly zpožděné.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Testování SBT bylo provedeno v hermetickém prostředí.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45250] Přidána podpora pro profil prostředků pro úlohy na úrovni fáze pro clustery Yarn, pokud je dynamické přidělování vypnuto.
    • [SPARK-44753] Přidání čtečky a zapisovače datových rámců XML pro PySpark SQL
    • [SPARK-45396] Přidání položky dokumentu pro PySpark.ml.connect modul
    • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
    • [SPARK-45541] Byla přidána SSLFactory.
    • [SPARK-45577] Opraveno UserDefinedPythonTableFunctionAnalyzeRunner, aby předával složené hodnoty z pojmenovaných argumentů.
    • [SPARK-45562] Nasadili jsme požadovanou možnost rowTag.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-43380] Bylo opraveno zpomalení při čtení souborů Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction již neselhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45386] Opravili jsme problém, kdy StorageLevel.NONE nesprávně vrátil hodnotu 0.
    • [SPARK-44219] Byly přidány ověřovací kontroly pro jednotlivá pravidla přepisů optimalizace.
    • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 27. září 2023
    • [SPARK-44823] Aktualizováno black na verzi 23.9.1 a opravili jsme chybnou kontrolu.
    • [SPARK-45339] PySpark teď protokoluje chyby, které opakuje.
    • Vraťte [SPARK-42946] Redigovaná citlivá data vnořená pod nahrazeními proměnných.
    • [SPARK-44551] Upravované komentáře pro synchronizaci s open-source softwarem.
    • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
    • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
    • [SPARK-45425] Namapováno TINYINT na ShortType pro MsSqlServerDialect.
    • [SPARK-45419] Odstranění mapování verzí souborů pro větší verze, aby se zabránilo opakovanému použití rocksdb ID souborů sst.
    • [SPARK-45488] Přidání podpory pro hodnotu v rowTag elementu
    • [SPARK-42205] Odebrali jsme protokolování při Accumulables počátečních Task/Stage událostech v JsonProtocol protokolech událostí.
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter selže při zápisu více hodnot než počáteční kapacita.
    • [SPARK-43380] Opravili jsme Avro problémy s převodem datových typů, aniž by to způsobilo regresi výkonu.
    • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
    • [SPARK-45399] Přidání možností XML pomocí newOption.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.0

Viz Databricks Runtime 14.0 (EoS).

  • 8. února 2024
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46794] Odeberte poddotazy z omezení logického RDD.
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46930] Přidání podpory pro vlastní předponu pro pole typu Union v Avro.
    • [SPARK-46941] Okenní skupinový limitní uzel nelze vložit pro výpočet top-k, pokud obsahuje funkci závislou na velikosti okna.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po zavolání potvrzení během agregace datového proudu v režimu výstupu.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46541] Oprava nejednoznačného odkazu na sloupec v samospojení.
    • [SPARK-46676] Funkce dropDuplicatesWithinWatermark by neměla selhat při kanonizaci prováděcího plánu.
    • [SPARK-46769] Upřesnění odvození schématu týkajícího se časových razítek.
    • [SPARK-45498] Doplnění: Ignorovat dokončení úkolu z předchozích pokusů o fázi
    • Vrátit [SPARK-46769] zpřesnění odvození schématu souvisejícího s časovým razítkem.
    • [SPARK-46383] Snížení využití paměti ovladače snížením životnosti TaskInfo.accumulables().
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-46677] Opravit dataframe["*"] řešení.
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46763] Oprava selhání kontrolního tvrzení v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud není žádná hodnota pro klíč v možnostech.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle vysvětlujícího plánu vráceného dotazem Photon se aktualizuje, aby se přidal příznak causedBroadcastJoinBuildOOM=true, když dojde k chybě nedostatku paměti během přeskupování, které je součástí broadcast joinu.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
    • [SPARK-46250] Odstranění nestability v test_parity_listener.
    • [SPARK-45814] Zajistit, aby ArrowConverters.createEmptyArrowBatch volalo metodu close(), aby nedošlo k úniku paměti.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46484] Zajistit, aby resolveOperators pomocné funkce zachovaly ID plánu.
    • [SPARK-46466] Vektorizovaná čtečka Parquet by nikdy neměla provádět úpravu základny pro časové razítko ntz.
    • [SPARK-46056] Oprava problému s vektorizovaným čtením Parquet vedoucím k NPE při použití výchozí hodnoty byteArrayDecimalType.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46478] Vrátit SPARK-43049 k použití Oracle varchar(255) pro řetězec.
    • [SPARK-46132] Podpora hesla pro klíče JKS pro RPC SSL.
    • [SPARK-46417] Nezaznamenávat selhání při volání hive.getTable, pokud je throwException false.
    • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-46337] Ujistěte se, že CTESubstitution zachovává PLAN_ID_TAG.
    • [SPARK-46602] Propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se upravená podtržítka v operacích getColumns pocházejících od klientů JDBC nebo ODBC zpracovávala nesprávně a interpretovala jako zástupné znaky.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-46028] Nastavit Column.__getitem__ k přijetí vstupního sloupce.
    • [SPARK-45920] skupina podle ordinálu by měla být idempotentní.
    • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové značky neodpovídají zadanému časovému formátu.
    • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Connect.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se unklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • Při ingestování dat CSV pomocí Auto Loaderu nebo streamovaných tabulek lze nyní velké soubory CSV dělit a zpracovávat paralelně během odvozování schématu i zpracování dat.
    • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
    • [SPARK-45859] UDF objekty byly zpožděné.
    • Vrátit [SPARK-45592].
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru k oddělení validateSchemaOutput a validateExprIdUniqueness.
    • [SPARK-45592] Opravili jsme problém s správností v AQE s InMemoryTableScanExec.
    • [SPARK-45620] API související s Python UDF nyní používají camelCase.
    • [SPARK-44784] Testování SBT bylo provedeno v hermetickém prostředí.
    • [SPARK-45770] pevné rozlišení sloupců s DataFrameDropColumns pro Dataframe.drop.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • Změnili jsme dotazy datových toků u streamingových tabulek a materializovaných pohledů v katalogu Unity, které nyní zobrazují chybové zprávy.
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction již neselhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-44219] Byla přidána další ověření pro jednotlivá pravidla pro optimalizační přepisy.
    • [SPARK-45543] Opravili jsme problém, kdy InferWindowGroupLimit vygenerovala chybu, pokud ostatní funkce okna nemají stejný rámec okna jako funkce podobné těm pro řazení.
    • Aktualizace zabezpečení operačního systému.
  • 23. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • [SPARK-45396] Byla přidána položka dokumentace pro modul PySpark.ml.connect, a Evaluator bylo přidáno na __all__ v ml.connect.
    • [SPARK-45256] Opravili jsme problém, kdy DurationWriter při zápisu více hodnot, než je počáteční kapacita, selhal.
    • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
    • [SPARK-45250] Přidána podpora pro profil prostředků pro úlohy na úrovni fáze pro clustery Yarn, pokud je dynamické přidělování vypnuto.
    • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
    • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
    • [SPARK-45386] Opravili jsme problém, kdy StorageLevel.NONE nesprávně vrátil hodnotu 0.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert na true.
    • Azure Databricks již nebude ignorovat poškozené soubory, když je povoleno odvozování schématu CSV pomocí funkce Auto Loader ignoreCorruptFiles.
    • [SPARK-45227] Opravili jsme drobný problém s bezpečností vláken.CoarseGrainedExecutorBackend
    • [SPARK-44658]ShuffleStatus.getMapStatus by měla vrátit None místo Some(null).
    • [SPARK-44910]Encoders.bean nepodporuje supertřídy s argumenty obecného typu.
    • [SPARK-45346] Při slučování schémat odvozování schématu Parquet respektuje příznaky citlivé na velikost písmen.
    • Vrátit [SPARK-42946].
    • [SPARK-42205] Aktualizovali jsme protokol JSON k odstranění protokolování Accumulables při zahájení úkolu nebo fáze.
    • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
    • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-44909] Je-li server streamování protokolu torch distributora nedostupný, přeskočte jeho spuštění.
    • [SPARK-45084]StateOperatorProgress teď používá přesné číslo shuffle oddílu.
    • [SPARK-45371] Opravili jsme problémy se stínováním v klientovi Scala pro Spark Connect.
    • [SPARK-45178] Přechod na spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-44840] Nastavte array_insert() jako začínající od 1 pro záporné indexy.
    • [SPARK-44551] Upravované komentáře pro synchronizaci s open-source softwarem.
    • [SPARK-45078] Funkce ArrayInsert nyní vytvoří explicitní přetypování, pokud se typ prvku nerovná odvozeného typu komponenty.
    • [SPARK-45339] PySpark teď protokoluje chyby opakování.
    • [SPARK-45057] Vyhněte se získání zámku čtení, pokud keepReadLock je false.
    • [SPARK-44908] Byla opravena funkcionalita parametru křížového validátoru foldCol.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.1

Viz Databricks Runtime 13.1 (EoS).

  • 29. listopadu 2023
    • Opravili jsme problém, kdy se unklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-43802] Opravili jsme problém, kdy funkce codegen pro výrazy unhex a unbase64 selhala.
    • [SPARK-43718] Byla opravena nulovatelnost klíčů ve USING spojeních.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • Změnili jsme dotazy datových toků u streamingových tabulek a materializovaných pohledů v katalogu Unity, které nyní zobrazují chybové zprávy.
    • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction již neselhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
    • Vrátit [SPARK-42946].
    • [SPARK-45346] Inference schématu Parquet nyní při slučování schématu respektuje příznak rozlišující malá a velká písmena.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • Pokud je při odvozování schématu CSV s Auto Loader povoleno ignoreCorruptFiles, poškozené soubory už se nebudou ignorovat.
    • [SPARK-44658]ShuffleStatus.getMapStatus vrátí None místo Some(null).
    • [SPARK-45178] Přechod na spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-42205] Aktualizovali jsme protokol JSON k odstranění protokolování Accumulables při zahájení úkolu nebo fáze.
    • Aktualizace zabezpečení operačního systému.
  • 12. září 2023
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • SPARK-44878 Vypnul přísný limit pro správce zápisu, aby se zabránilo výjimce vložení při dokončení mezipaměti RocksDB.
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44871] Opravili jsme chování percentile_disc.
    • [SPARK-44714] Uvolnění omezení řešení LCA ve vztahu k dotazům.
    • [SPARK-44245]PySpark.sql.dataframe sample() Testování dokumentů je teď pouze ilustrativní.
    • [SPARK-44818] Opravena závodní podmínka pro přerušení čekajícího úkolu, k němuž došlo před inicializací taskThread.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44643] Opraveno Row.__repr__ , když je řádek prázdný.
    • [SPARK-44504] Údržbová úloha nyní vyčistí načtené zprostředkovatele při chybě při zastavení.
    • [SPARK-44479] Oprava protobuf převodu z prázdného typu struktury
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner tak, aby řádky výstupu měly Null jako první hodnotu sloupce.
    • Různé opravy.
  • 27. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199]CacheManager již zbytečně neaktualizuje fileIndex.
    • [SPARK-44448] Opravili jsme chybnou chybu výsledků z DenseRankLimitIterator a InferWindowGroupLimit.
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • Vrátit [SPARK-42323].
    • [SPARK-41848] Opravili jsme problém s přeplánem úkolu s TaskResourceProfile.
    • [SPARK-44136] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
    • [SPARK-44337] Opravili jsme problém, kdy jakékoli pole nastavené na Any.getDefaultInstance způsobovalo chyby analýzy.
    • Aktualizace zabezpečení operačního systému.
  • 27. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizováno approx_count_distinct.
    • Analyzátor JSON v failOnUnknownFields režimu teď záznam zahodí v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • Pole PubSubRecord atributů je uloženo jako JSON místo řetězce z mapy Scala pro jednodušší serializaci a deserializaci.
    • Příkaz EXPLAIN EXTENDED teď vrátí způsobilost dotazu do mezipaměti výsledků.
    • Zlepšete výkon přírůstkových aktualizací pomocí SHALLOW CLONE Apache Iceberg a Parquet.
    • [SPARK-43032] Oprava chyby Python SQM.
    • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43340] Řešení chybějícího pole trasování zásobníku v protokolech událostí.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43541] Rozšířit všechny značky Project při překladu výrazů a chybějících sloupců.
    • [SPARK-43300]NonFateSharingCache obálka pro Guava Cache.
    • [SPARK-43378] Správně zavřete streamové objekty v deserializeFromChunkedBuffer.
    • [SPARK-42852]NamedLambdaVariable Vrátit související změny z EquivalentExpressions.
    • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43413] Oprava nulovatelnosti IN poddotazu ListQuery.
    • [SPARK-43889] Přidat kontrolu názvu sloupce pro __dir__() pro filtrování názvů sloupců náchylných k chybám.
    • [SPARK-43043] Vylepšení výkonu MapOutputTracker.updateMapOutput
    • [SPARK-43522] Opraveno vytváření názvu sloupce struktury s indexem pole.
    • [SPARK-43457] uživatelský agent Augument s operačním systémem, Python a verzemi Sparku.
    • [SPARK-43286] Aktualizoval aes_encrypt režim CBC pro generování náhodných IVs.
    • [SPARK-42851] Stráž s EquivalentExpressions.addExpr()supportedExpression().
    • Vrátit [SPARK-43183].
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.2 LTS (Long-Term Support – dlouhodobá podpora)

Viz Databricks Runtime 12.2 LTS (EoS).

  • 26. února 2026

    • Aktualizace zabezpečení operačního systému.

  • 19. února 2026

    • Aktualizace zabezpečení operačního systému.
  • 27. ledna 2026
    • Aktualizace zabezpečení operačního systému.
  • 9. ledna 2026
    • Aktualizace zabezpečení operačního systému.
  • 9. prosince 2025
    • Aktualizace zabezpečení operačního systému.
  • 18. listopadu 2025
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2025
    • Aktualizované knihovny jazyka R:
      • šipka od 10.0.0 do 21.0.0
    • Aktualizace zabezpečení operačního systému.
  • 21. října 2025
    • Aktualizace Python z verze 2.7.18 na 2.7.18.1
    • Aktualizace zabezpečení operačního systému.
  • 7. října 2025
    • Aktualizace zabezpečení operačního systému.
  • 24. září 2025
    • Aktualizace zabezpečení operačního systému.
  • 9. září 2025
    • Aktualizace zabezpečení operačního systému.
  • 26. srpna 2025
    • Aktualizace zabezpečení operačního systému.
  • 14. srpna 2025
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 15. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 1. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2025
    • Aktualizace zabezpečení operačního systému.
  • 3. června 2025
    • Aktualizované knihovny Python:
      • certifikát od 28.11.2019, 8.10.2021 do 8.10.2021
      • chardet od 3.0.4, 4.0.0 do 4.0.0
      • idna od 2.8, 3.3 do 3.3
      • požadavky na verze od 2.22.0, 2.27.1 do 2.27.1
      • šest od 1.14.0, 1.16.0 do 1.16.0
      • urllib3 od 1.25.8, 1.26.9 do 1.26.9
      • Byl přidán pip 21.2.4
      • Přidáno setuptools 61.2.0
      • Přidáno tomli 1.2.2
      • Přidáno wcwidth 0.2.5
      • Přidáno kolečko 0.37.0
      • Byla odebrána distribuce 1.4.0
      • Odebrání distro-info 0.23+ubuntu1.1
      • Odebrání python-apt 2.0.1+ubuntu0.20.4.1
    • Aktualizace knihoven Java:
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.1-linux-x86_64 do 1.6.1
    • Aktualizace zabezpečení operačního systému.
  • 20. května 2025
    • [SPARK-42655][SQL] Nesprávná nejednoznačná chyba odkazu na sloupec
    • Aktualizace zabezpečení operačního systému.
  • 22. dubna 2025
    • [Změna chování] Vakuové operace nyní provádějí kontroly protokolu Writer podobně jako jiné operace, aby se zabránilo neočekávanému vyčištění tabulek s novějšími funkcemi při jejich spuštění na nekompatibilních starších verzích Databricks Runtime.
    • Aktualizace zabezpečení operačního systému.
  • 9. dubna 2025
    • Aktualizace zabezpečení operačního systému.

  • 11. března 2025

    • Aktualizace zabezpečení operačního systému.

  • 10. prosince 2024

    • Aktualizace zabezpečení operačního systému.

  • 26. listopadu 2024

    • Různé opravy chyb

  • 10. října 2024

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr by neměl při vyřazování polí schématu GetArrayStructFields měnit.

  • 25. září 2024

    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t" pro případ, kdy je t prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • [SPARK-46601] [CORE] Oprava chyby protokolu v handleStatusMessage
    • Různé opravy chyb

  • 17. září 2024

    • Aktualizace zabezpečení operačního systému.

  • 29. srpna 2024

    • Různé opravy chyb

  • 14. srpna 2024

    • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48463][ML] Udělat z StringIndexer nástroj podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.

  • 1. srpna 2024

  • 1. srpna 2024

    • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Python v Databricks Runtime 12.2 LTS z verze 3.9.5 na verzi 3.9.19.

  • 11. července 2024

    • (Změna chování) Datové rámce uložené v mezipaměti ve vztahu ke zdrojovým tabulkám Delta jsou nyní invalidovány, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Pomocí .checkpoint() zachovají stav tabulky po celou dobu životnosti datového rámce.
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu.
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-42741][SQL] Neodstraňujte přetypování v binárním porovnávání, pokud je literál null
    • [SPARK-48445][SQL] Nezařaovávejte uživatelem definované funkce s drahými dětmi
    • [SPARK-48503][SQL] Oprava neplatných skalárních poddotazů při skupinováním podle sloupců, které nejsou ekvivalentní a byly nesprávně povoleny.
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • Aktualizace zabezpečení operačního systému.

  • 17. června 2024

    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Různé opravy chyb

  • 21. května 2024

    • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
    • Aktualizace zabezpečení operačního systému.

  • 9. května 2024

    • [SPARK-44251][SQL] Nastavte správně hodnotu null pro sloučený spojovací klíč při úplném vnějším spojení pomocí USING.
    • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Ověření správnosti nevyřešených odkazů LCA
    • [SPARK-48018][SS] Oprava hodnoty groupId 'null' způsobující chybu chybějícího parametru při vyvolání výjimky KafkaException.couldNotReadOffsetRange
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2024

    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2024

    • Aktualizace zabezpečení operačního systému.

  • 1. dubna 2024

    • [SPARK-47305][SQL] Opravit funkci PruneFilters tak, aby správně označovala příznak isStreaming u LocalRelation, když plán obsahuje jak dávkovou, tak streamovací část.
    • [SPARK-44252][SS] Definujte novou chybovou třídu a aplikujte ji v případě, kdy selže načítání stavu z distribuovaného souborového systému (DFS).
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-47200][SS] Chybová třída pro chybu uživatelské funkce v dávkové jímce Foreach
    • Aktualizace zabezpečení operačního systému.

  • 14. března 2024

    • [SPARK-47176][SQL] Mají pomocnou funkci ResolveAllExpressionsUpWithPruning
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • Aktualizace zabezpečení operačního systému.

  • 29. února 2024

    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a právo upravovat libovolný soubor.
    • [SPARK-45582][SS] Ujistěte se, že se po volání potvrzení v rámci agregace streamování v režimu výstupu nepoužívá instance úložiště.
    • Aktualizace zabezpečení operačního systému.

  • 13. února 2024

    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46794] Odeberte poddotazy z omezení logického RDD.
    • Aktualizace zabezpečení operačního systému.

  • 31. ledna 2024

    • [SPARK-46763] Oprava selhání kontrolního tvrzení v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Aktualizace zabezpečení operačního systému.

  • 25. prosince 2023

    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Podpora hesla pro klíče JKS pro RPC SSL.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
    • [SPARK-46417] Nezaznamenávat selhání při volání hive.getTable, pokud je throwException false.
    • [SPARK-43067] Opravte umístění souboru chybové třídy pro konektor Kafka.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se předešlo závodům s operacemi na pozadí.
    • [SPARK-46602] Propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-42852] Vrátit změny týkající se NamedLambdaVariable z EquivalentExpressions.

  • 14. prosince 2023

    • Opravili jsme problém, kdy se upravená podtržítka v operacích getColumns pocházejících od klientů JDBC nebo ODBC zpracovávala nesprávně a interpretovala jako zástupné znaky.
    • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
    • [SPARK-45920] skupina podle ordinálu by měla být idempotentní.
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2023

    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se unklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-42205] Odebráno logování akumulátorů v událostech Stage a Task start.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-43718] Byla opravena nulovatelnost klíčů ve USING spojeních.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45859] UDF objekty byly zpožděné.
    • Aktualizace zabezpečení operačního systému.

  • 14. listopadu 2023

    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction již neselhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • Aktualizace zabezpečení operačního systému.

  • 24. října 2023

    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.

  • 13. října 2023

    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-42553] Zajistěte, aby po intervalu byla alespoň jedna časová jednotka.
    • [SPARK-45346] Odvozování schémat Parquet respektuje příznak rozlišení malých a velkých písmen při slučování schémat.
    • [SPARK-45178] Přechod na spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084]StateOperatorProgress použít přesné a adekvátní číslo pro shuffle rozdělení.

  • 12. září 2023

    • [SPARK-44873] Přidána podpora pro alter view v klientovi Hive s vnořenými sloupci.
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
    • Různé opravy.

  • 30. srpna 2023

    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44818] Opravena závodní podmínka pro přerušení čekajícího úkolu, k němuž došlo před inicializací taskThread.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • [SPARK-44714] Uvolnění omezení řešení LCA týkající se dotazů.
    • Aktualizace zabezpečení operačního systému.

  • 15. srpna 2023

    • [SPARK-44504] Úloha údržby odstraní načtené zprostředkovatele při chybě při zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner tak, aby řádky výstupu měly Null jako první hodnotu sloupce.
    • Aktualizace zabezpečení operačního systému.

  • 29. července 2023

    • Opravili jsme problém, kdy dbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199]CacheManager již zbytečně neaktualizuje fileIndex.
    • Aktualizace zabezpečení operačního systému.

  • 24. července 2023

    • [SPARK-44337] Opravili jsme problém, kdy jakékoli pole nastavené na Any.getDefaultInstance způsobovalo chyby analýzy.
    • [SPARK-44136] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
    • Aktualizace zabezpečení operačního systému.

  • 23. června 2023

    • Aktualizace zabezpečení operačního systému.

  • 15. června 2023

    • Fotonizováno approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43156][SPARK-43098] Rozšířený test chyb počtu skalárních poddotazů s vypnutou funkcí decorrelateInnerQuery.
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0] Opravená nullovatelnost poddotazu IN.
    • [SPARK-43522] Opraveno vytváření názvu sloupce struktury s indexem pole.
    • [SPARK-43541] Rozšířit všechny značky Project při překladu výrazů a chybějících sloupců.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43123] Interní metadata polí již nepronikají do katalogů.
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42444]DataFrame.drop nyní zpracovává duplicitní sloupce správně.
    • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-43286] Aktualizoval aes_encrypt režim CBC pro generování náhodných IVs.
    • [SPARK-43378] Správně zavřete streamové objekty v deserializeFromChunkedBuffer.

  • 17. května 2023

    • Skenování Parquet nyní odolává nedostatkům paměti při skenování extrémně strukturovaných souborů díky dynamickému přizpůsobování velikosti dávky. Metadata souborů se analyzuje s cílem předem snížit velikost dávky a při opakovaných pokusech o úkol je znovu snížena jako konečné bezpečnostní opatření.
    • Pokud byl soubor Avro přečtený pouze s možností failOnUnknownFields nebo s Auto Loaderem v režimu vývoje schématu failOnNewColumns, budou sloupce s různými datovými typy přečtené jako null místo toho, aby vyvolaly chybu oznamující, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorta Byte typy, pokud je jeden z těchto datových typů k dispozici, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje čtení typů intervalů jako typů dat nebo časových razítek, aby se zabránilo poškození dat.
      • Zabraňuje čtení typů Decimal s nižší přesností.
    • [SPARK-43172] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-43293]__qualified_access_only se ignoruje v normálních sloupcích.
    • [SPARK-43098] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43085] Podpora přiřazení sloupců DEFAULT pro názvy tabulek s více částmi
    • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • [SPARK-43192] Odebráno ověření znakové sady uživatelského agenta.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze s možností failOnUnknownFields nebo pomocí Auto Loader v režimu evoluce schématu failOnNewColumns, sloupce s různými datovými typy by se četly jako null místo toho, aby došlo k vyvolání chyby, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader nyní správně čte a již nepodporuje typy Integer, Short a Byte, pokud je poskytnut jeden z těchto datových typů. Soubor Parquet naznačuje jeden ze dvou dalších typů. Když byl v minulosti povolen záchranný datový sloupec, neshoda datových typů způsobila, že sloupce byly ukládány i přesto, že byly čitelné.
    • [SPARK-43009] Parametrizované sql() s Any konstantami
    • [SPARK-42406] Ukončení rekurzivních polí Protobuf přetažením pole
    • [SPARK-43038] Podpora režimu CBC pomocí aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
    • [SPARK-43018] Oprava chyby pro příkazy INSERT pomocí literálů časového razítka
    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2023

    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Řeší problém v chování %autoreload v noteboocích mimo repozitář.
    • Opravili jsme problém, kdy při vývoji schématu v nástroji Auto Loader mohlo dojít k nekonečné smyčce selhání při zjištění nového sloupce ve schématu vnořeného JSON objektu.
    • [SPARK-42928] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42936] Opraví problém LCan, když je klauzuli možné vyřešit přímo skrze svou podřízenou agregaci.
    • [SPARK-42967] Opravuje problém, kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.

  • 29. března 2023

    • Databricks SQL teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta Lake, a to buď při vytváření tabulky, nebo potom. Příkazy INSERT, UPDATE, DELETE a MERGE mohou odkazovat na výchozí hodnotu libovolného sloupce pomocí explicitního klíčového slova DEFAULT. Kromě toho platí, že pokud má přiřazení INSERT explicitní seznam méně sloupců než cílová tabulka, nahradí se odpovídající výchozí hodnoty sloupců zbývajícím sloupcům (nebo null, pokud není zadána žádná výchozí hodnota).

      Například:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader nyní zahájí alespoň jedno synchronní vyčištění protokolů RocksDB pro datové proudy Trigger.AvailableNow, aby se zajistilo, že kontrolní bod může být pravidelně vyčištěn pro rychle běžící datové proudy Auto Loader. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte funkčnost Auto Loaderu v příštích spouštěních.

    • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zvýšení hodnoty lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve strukturovaném streamování

    • [SPARK-42521] Přidat hodnoty NULL při vkládání s uživatelsky specifikovanými seznamy menšího počtu sloupců než má cílová tabulka

    • [SPARK-42702][SPARK-42623] Podpora parametrizovaného dotazu v poddotazech a CTE

    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null

  • 8. března 2023

    • Chybová zpráva "Selhání inicializace konfigurace" byla vylepšena tak, aby poskytovala zákazníkovi více kontextu.
    • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
    • Od této verze je možné vytvořit nebo nahradit tabulku přidáním další vlastnosti delta.ignoreProtocolDefaults k tabulce, která ignoruje konfigurace Spark související s protokolem. To zahrnuje výchozí verze čtečky a zapisovače a funkce tabulek podporované ve výchozím nastavení.
    • [SPARK-42070] Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL
    • [SPARK-41793] Nesprávný výsledek pro okenní rámy definované klauzulí rozsahu u významových desetinných číslic
    • [SPARK-42484] UnsafeRowUtils – lepší chybová zpráva
    • [SPARK-42516] Při vytváření zobrazení vždy zaznamenávejte nastavení časového pásma relace.
    • [SPARK-42635] Oprava výrazu TimestampAdd
    • [SPARK-42622] Vypnutí nahrazení v hodnotách
    • [SPARK-42534] Oprava klauzule DB2Dialect Limit
    • [SPARK-42121] Přidejte vestavěné tabulkové funkce posexplode, posexplode_outer, json_tuple a stack
    • [SPARK-42045] Režim ANSI SQL: Funkce Round/Bround by měly vrátit chybu při přetečení malého nebo významného celého čísla.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.3 LTS

Podívejte se na Databricks Runtime 11.3 LTS (EoS).

  • 4. listopadu 2025
    • Aktualizace zabezpečení operačního systému.
  • 21. října 2025
    • Aktualizace Python z verze 2.7.18 na 2.7.18.1
    • Aktualizace zabezpečení operačního systému.
  • 7. října 2025
    • Aktualizace zabezpečení operačního systému.
  • 24. září 2025
    • Aktualizace zabezpečení operačního systému.
  • 9. září 2025
    • Aktualizace zabezpečení operačního systému.
  • 26. srpna 2025
    • Aktualizace zabezpečení operačního systému.
  • 14. srpna 2025
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 15. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 1. července 2025
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2025
    • Aktualizace zabezpečení operačního systému.
  • 3. června 2025
    • Aktualizované knihovny Python:
      • certifikát od 28.11.2019, 8.10.2021 do 8.10.2021
      • chardet od 3.0.4, 4.0.0 do 4.0.0
      • idna od 2.8, 3.2 do 3.2
      • požadavky verze 2.22.0, 2.26.0 až 2.26.0
      • šest od 1.14.0, 1.16.0 do 1.16.0
      • urllib3 od 1.25.8, 1.26.7 do 1.26.7
      • Byl přidán pip 21.2.4
      • Přidány setuptools 58.0.4
      • Přidáno tomli 2.0.1
      • Přidáno wcwidth 0.2.5
      • Přidáno kolečko 0.37.0
      • Byla odebrána distribuce 1.4.0
      • Odebrání distro-info 0.23+ubuntu1.1
      • Odebrání python-apt 2.0.1+ubuntu0.20.4.1
    • Aktualizace zabezpečení operačního systému.
  • 20. května 2025
    • [SPARK-42655][SQL] Nesprávná nejednoznačná chyba odkazu na sloupec
    • Aktualizace zabezpečení operačního systému.
  • 22. dubna 2025
    • [Změna chování] Vakuové operace nyní provádějí kontroly protokolu Writer podobně jako jiné operace, aby se zabránilo neočekávanému vyčištění tabulek s novějšími funkcemi při jejich spuštění na nekompatibilních starších verzích Databricks Runtime.
    • Aktualizace zabezpečení operačního systému.
  • 9. dubna 2025
    • Aktualizace zabezpečení operačního systému.
  • 5. března 2025
    • Aktualizace zabezpečení operačního systému.
  • 11. února 2025
    • Tato verze obsahuje opravu hraničního případu, kdy přírůstková CLONE může soubory zkopírované ze zdrojové tabulky do cílové tabulky znovu zkopírovat. Viz Klon tabulky na Azure Databricks.
  • 10. prosince 2024
    • Aktualizace zabezpečení operačního systému.
  • 26. listopadu 2024
    • Různé opravy chyb
  • 10. října 2024
    • Různé opravy chyb
  • 25. září 2024
    • [SPARK-46601] [CORE] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t" pro případ, kdy je t prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • Různé opravy chyb
  • 17. září 2024
    • Aktualizace zabezpečení operačního systému.
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48463][ML] Udělat z StringIndexer nástroj podporující vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 1. srpna 2024
  • 1. srpna 2024
    • Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Python v Databricks Runtime 11.3 LTS z verze 3.9.5 na verzi 3.9.19.
  • 11. července 2024
    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-48018][SS] Oprava hodnoty groupId 'null' způsobující chybu chybějícího parametru při vyvolání výjimky KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null pro sloučený spojovací klíč při úplném vnějším spojení pomocí USING.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-44252][SS] Definujte novou chybovou třídu a aplikujte ji v případě, kdy selže načítání stavu z distribuovaného souborového systému (DFS).
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47200][SS] Chybová třída pro chybu uživatelské funkce v dávkové jímce Foreach
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • [SPARK-45582][SS] Ujistěte se, že se po volání potvrzení v rámci agregace streamování v režimu výstupu nepoužívá instance úložiště.
  • 13. února 2024
    • [SPARK-46794] Odeberte poddotazy z omezení logického RDD.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • Aktualizace zabezpečení operačního systému.
  • 25. prosince 2023
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46602] Propagovat allowExisting při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky, když je spark.sql.legacy.keepCommandOutputSchema nastaveno na hodnotu true.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se předešlo závodům s operacemi na pozadí.
    • [SPARK-46132] Podpora hesla pro klíče JKS pro RPC SSL.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se upravená podtržítka v operacích getColumns pocházejících od klientů JDBC nebo ODBC zpracovávala nesprávně a interpretovala jako zástupné znaky.
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Opravili jsme problém, kdy se unklá podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] UDF objekty byly zpožděné.
    • [SPARK-43718] Byla opravena nulovatelnost klíčů ve USING spojeních.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-42205] Odebrání logovacích akumulátorů v událostech začátku fáze a úkolu.
    • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
    • Vrátit [SPARK-33861].
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45584] Bylo opraveno selhání spuštění poddotazu s TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction již neselhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-45178] Přechod na spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084]StateOperatorProgress použít přesné a adekvátní číslo pro shuffle rozdělení.
    • [SPARK-45346] Inference schématu Parquet nyní při slučování schématu respektuje příznak rozlišující malá a velká písmena.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Opravena závodní podmínka pro přerušení čekajícího úkolu, k němuž došlo před inicializací taskThread.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44504] Úloha údržby odstraní načtené zprostředkovatele při chybě při zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner tak, aby řádky výstupu měly Null jako první hodnotu sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199]CacheManager již zbytečně neaktualizuje fileIndex.
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44136] Opravili jsme problém, kdy se komponenta StateManager může materializovat v exekutoru místo v driveru ve FlatMapGroupsWithStateExec.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizováno approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test chyby při počítání rozšířeného skalárního poddotazu se decorrelateInnerQuery vypnutým.
    • [SPARK-43098] Oprava chyby přesnosti při počítání, pokud má skalární poddotaz klauzuli "group by"
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43413][11.3-13.0] Opravená nullovatelnost poddotazu IN.
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.

Databricks Runtime 10.4 LTS

Vizte Databricks Runtime 10.4 LTS (EoS).

  • 12. srpna 2025
    • Aktualizace zabezpečení operačního systému.
  • 15. července 2025
    • Aktualizace zabezpečení operačního systému.

  • 1. července 2025

    • Aktualizace zabezpečení operačního systému.

  • 17. června 2025

    • Aktualizace zabezpečení operačního systému.
  • 3. června 2025
    • Aktualizované knihovny Python:
      • certifi od 2019.11.28, 2020.12.5 do 2020.12.5
      • chardet od 3.0.4, 4.0.0 do 4.0.0
      • idna od 2.10, 2.8 do 2.10
      • žádosti od 2.22.0, 2.25.1 do 2.25.1
      • šest od 1.14.0, 1.15.0 do 1.15.0
      • urllib3 od 1.25.11, 1.25.8 do 1.25.11
      • Byla přidána pip 21.0.1
      • Přidáno setuptools 52.0.0
      • Přidáno wcwidth 0.2.5
      • Přidáno kolo 0.36.2
      • Byla odebrána distribuce 1.4.0
      • Odebrání distro-info 0.23+ubuntu1.1
      • Odebrání python-apt 2.0.1+ubuntu0.20.4.1
    • Aktualizace zabezpečení operačního systému.
  • 20. května 2025
    • Aktualizace zabezpečení operačního systému.
  • 22. dubna 2025
    • Aktualizace zabezpečení operačního systému.
  • 9. dubna 2025
    • Aktualizace zabezpečení operačního systému.
  • 11. března 2025
    • Aktualizace zabezpečení operačního systému.
  • 11. února 2025
    • Tato verze obsahuje opravu hraničního případu, kdy přírůstková CLONE může soubory zkopírované ze zdrojové tabulky do cílové tabulky znovu zkopírovat. Viz Klon tabulky na Azure Databricks.
    • Aktualizace zabezpečení operačního systému.

  • 10. prosince 2024

    • Aktualizace zabezpečení operačního systému.

  • 26. listopadu 2024

    • Aktualizace zabezpečení operačního systému.

  • 5. listopadu 2024

    • Aktualizace zabezpečení operačního systému.

  • 22. října 2024

    • Aktualizace zabezpečení operačního systému.

  • 10. října 2024

    • Aktualizace zabezpečení operačního systému.

  • 25. září 2024

    • [SPARK-46601] [CORE] Oprava chyby protokolu v handleStatusMessage
    • [SPARK-49000][SQL] Oprava „select count(distinct 1) from t“, kde t je prázdná tabulka, rozšířením RewriteDistinctAggregates.
    • Aktualizace zabezpečení operačního systému.

  • 17. září 2024

    • Aktualizace zabezpečení operačního systému.

  • 29. srpna 2024

    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.

  • 14. srpna 2024

    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-48941][SPARK-48970] Opravy zapisovače Backport ML / čtečky
    • [SPARK-48463][ML] Udělat z StringIndexer nástroj podporující vnořené vstupní sloupce

  • 1. srpna 2024

  • 11. července 2024

    • [SPARK-48383][SS] Vyvolat jasnější chybu pro neshodující se partice v možnosti startOffset v Kafce
    • Aktualizace zabezpečení operačního systému.

  • 17. června 2024

    • Aktualizace zabezpečení operačního systému.

  • 21. května 2024

    • [SPARK-48105][SS] Oprava souběhu mezi uvolněním úložiště stavu a pořizováním snímků
    • Aktualizace zabezpečení operačního systému.

  • 9. května 2024

    • [SPARK-48018][SS] Oprava hodnoty groupId 'null' způsobující chybu chybějícího parametru při vyvolání výjimky KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Zaznamenej místo volání ve SparkContext.stop() a následně ve SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Nastavte správně hodnotu null pro sloučený spojovací klíč při úplném vnějším spojení pomocí USING.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2024

    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2024

    • Aktualizace zabezpečení operačního systému.

  • 1. dubna 2024

    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-44252][SS] Definujte novou chybovou třídu a aplikujte ji v případě, kdy selže načítání stavu z distribuovaného souborového systému (DFS).
    • [SPARK-47200][SS] Chybová třída pro chybu uživatelské funkce v dávkové jímce Foreach
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • Aktualizace zabezpečení operačního systému.

  • 14. března 2024

    • [SPARK-47125][SQL] Vrátí hodnotu null, pokud univocity nikdy neaktivuje parsování.
    • Aktualizace zabezpečení operačního systému.

  • 29. února 2024

    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • [SPARK-45582][SS] Ujistěte se, že se po volání potvrzení v rámci agregace streamování v režimu výstupu nepoužívá instance úložiště.
    • Aktualizace zabezpečení operačního systému.

  • 13. února 2024

    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • Aktualizace zabezpečení operačního systému.

  • 31. ledna 2024

    • Aktualizace zabezpečení operačního systému.

  • 25. prosince 2023

    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46538] Oprava nejednoznačného problému s odkazem na sloupce v ALSModel.transform.
    • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
    • [SPARK-46132] Podpora hesla pro klíče JKS pro RPC SSL.

  • 14. prosince 2023

    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2023

    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] UDF objekty byly zpožděné.
    • [SPARK-43718] Byla opravena nulovatelnost klíčů ve USING spojeních.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Odebrání logovacích akumulátorů v událostech začátku fáze a úkolu.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.

  • 14. listopadu 2023

  • 24. října 2023

    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.

  • 13. října 2023

    • [SPARK-45084]StateOperatorProgress použít přesné a adekvátní číslo pro shuffle rozdělení.
    • [SPARK-45178] Přechod na spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • Aktualizace zabezpečení operačního systému.

  • 10. září 2023

    • Různé opravy.

  • 30. srpna 2023

    • [SPARK-44818] Opravena závodní podmínka pro přerušení čekajícího úkolu, k němuž došlo před inicializací taskThread.
    • Aktualizace zabezpečení operačního systému.

  • 15. srpna 2023

    • [SPARK-44504] Úloha údržby odstraní načtené zprostředkovatele při chybě při zastavení.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování nyní správně zobrazuje neúspěšné dotazy.
    • Aktualizace zabezpečení operačního systému.

  • 23. června 2023

    • Aktualizace zabezpečení operačního systému.

  • 15. června 2023

    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43098] Oprava chyby přesnosti při počítání, pokud má skalární poddotaz klauzuli "group by"
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Rozšířený test počtu skalárních poddotazů s vypnutým decorrelateInnerQuery.
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém při zpracování obnovených dat JSON, aby se předešlo UnknownFieldException.
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413] Byla opravena IN nulovatelnost poddotazu ListQuery.
    • Aktualizace zabezpečení operačního systému.

  • 17. května 2023

    • Skenování Parquet nyní odolává nedostatkům paměti při skenování extrémně strukturovaných souborů díky dynamickému přizpůsobování velikosti dávky. Metadata souborů se analyzuje s cílem předem snížit velikost dávky a při opakovaných pokusech o úkol je znovu snížena jako konečné bezpečnostní opatření.
    • [SPARK-41520] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • [SPARK-42928] Proveďte resolvePersistentFunction synchronizaci.
    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2023

    • Opravili jsme problém, kdy při vývoji schématu v nástroji Auto Loader mohlo dojít k nekonečné smyčce selhání při zjištění nového sloupce ve schématu vnořeného JSON objektu.
    • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.

  • 29. března 2023

    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider
    • [SPARK-42635] Opravte ...
    • Aktualizace zabezpečení operačního systému.

  • 14. března 2023

    • [SPARK-41162] Oprava anti- a semi-spojení pro samospojení s agregacemi
    • [SPARK-33206] Oprava výpočtu zátěže mezipaměti indexu shuffle pro malé indexové soubory
    • [SPARK-42484] Vylepšená UnsafeRowUtils chybová zpráva
    • Různé opravy.

  • 28. února 2023

    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje prořezávání oddílů pro formát datumu yyyy-MM-dd ve generovaných sloupcích.
    • Uživatelé nyní mohou číst a zapisovat konkrétní tabulky Delta vyžadující Reader verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje prořezávání oddílů pro formát datumu yyyy-MM-dd ve generovaných sloupcích.
    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • [SPARK-30220] Povolit použití Exists/In poddotazů mimo uzel filtru
    • Aktualizace zabezpečení operačního systému.

  • 31. ledna 2023

    • Ve výchozím nastavení jsou typy tabulek JDBC externí.

  • 18. ledna 2023

    • Azure Synapse konektor vrátí popisnější chybovou zprávu, pokud název sloupce neobsahuje platné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Vymazání dávky zápisu po potvrzení (commit) stavového úložiště RocksDB
    • [SPARK-41199] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41198] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41339] Zavřít a znovu vytvořit balík pro zápis v systému RocksDB místo pouhého vymazání.
    • [SPARK-41732] Aplikovat prořezávání na základě vzoru stromu pro pravidlo SessionWindowing
    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Byly přidány následující možnosti pro řízení zpracování prázdných znaků:
      • csvignoreleadingwhitespace, pokud je nastavena na true, odebere počáteční prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na true, odebere koncové prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
    • Opravili jsme problém s parsováním JSON v automatickém zavaděči, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebylo nastaveno nebo bylo nastaveno na false) a JSON obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.

  • 15. listopadu 2022

    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults na true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • [SPARK-40292] Oprava názvů sloupců ve funkci arrays_zip při odkazování polí z vnořených struktur
    • Aktualizace zabezpečení operačního systému.

  • 1. listopadu 2022

    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
    • Opravili jsme problém s funkcí Auto Loader, kdy může dojít k duplikaci souboru ve stejné mikrodávce při povolení allowOverwrites.
    • [SPARK-40697] Přidání zarovnání znaků na straně čtení pro zahrnutí externích datových souborů
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.

  • 18. října 2022

    • Aktualizace zabezpečení operačního systému.

  • středa 5. října 2022

    • [SPARK-40468] Opravit vyřazování sloupců v CSV při výběru _corrupt_record.
    • Aktualizace zabezpečení operačního systému.

  • 22. září 2022

    • Uživatelé můžou nastavit spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) pro znovu povolení integrovaného výpisu Auto Loaderu na ADLS. Integrovaný seznam byl dříve vypnutý kvůli problémům s výkonem, a to mohlo vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidat hashCode() pro Literal ArrayBasedMapData
    • [SPARK-40213] Podpora převodu hodnot ASCII pro znaky latinky-1
    • [SPARK-40380] Oprava konstantního skládání InvokeLike, aby se zabránilo neserializovatelnému literálu vkládání do plánu.
    • [SPARK-38404] Vylepšení řešení CTE, když vnořená CTE odkazuje na vnější CTE
    • [SPARK-40089] Oprava řazení u některých typů desetinných čísel
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným

  • 6. září 2022

    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40218] GROUPING SETS by měly zachovat jednotlivé sloupce seskupení.
    • [SPARK-39976] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053] Přidat assume k dynamickým případům zrušení, které vyžadují Python běhové prostředí
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079] Přidání ověření Imputer inputCols pro případ prázdného vstupu

  • 24. srpna 2022

    • [SPARK-39983] Neukládejte do mezipaměti neserializované vysílací vztahy na řídící jednotce.
    • [SPARK-39775] Zakázat ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-37643] pokud je parametr charVarcharAsString pravdivý, měl by dotaz s predikátem datového typu char obejít pravidlo doplňování mezery.
    • Aktualizace zabezpečení operačního systému.

  • 9. srpna 2022

    • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
    • [SPARK-39731] Oprava problému se zdroji dat CSV a JSON při analýze dat ve formátu “yyyyMMdd” za použití politiky upraveného časového analyzátoru.
    • Aktualizace zabezpečení operačního systému.

  • 27. července 2022

    • [SPARK-39625] Přidej Dataset.as(StructType)
    • [SPARK-39689]Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39570] vložená tabulka by měla umožňovat výrazy s aliasem
    • [SPARK-39702] Snížení režijních nákladů na paměť TransportCipher$EncryptedMessage pomocí sdíleného byteRawChannelu
    • [SPARK-39575] přidat ByteBuffer#rewind po ByteBuffer#get v AvroDeserializeru
    • [SPARK-39476] Zakázat optimalizaci přetypování unwrap při přetypování z Long na Float/ Double nebo z Integer na Float
    • [SPARK-38868] Nešíření výjimek z predikátu filtru při optimalizaci vnějších spojení
    • Aktualizace zabezpečení operačního systému.

  • 20. července 2022

    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39355] Sloupec používá uvozovky k vytvoření UnresolvedAttribute
    • [SPARK-39548] Příkaz CreateView s dotazem obsahujícím klauzuli okna způsobuje problém s nenalezenou definicí okna.
    • [SPARK-39419] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Vypnuto používání vestavěných cloudových rozhraní API pro vytvoření seznamu adresářů na Azure v rámci aplikace Auto Loader.
    • Aktualizace zabezpečení operačního systému.

  • 5. července 2022

    • [SPARK-39376] Skrýt duplicitní sloupce při rozšíření hvězdičky v aliasu poddotazu z JOIN NATURAL/USING
    • Aktualizace zabezpečení operačního systému.

  • 15. června 2022

    • [SPARK-39283] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096] Zvýšení výkonu pro nth_value s ignorováním hodnot null nad posuvným oknem
    • [SPARK-36718] Oprava kontroly v CollapseProject isExtractOnly

  • 2. června 2022

    • [SPARK-39093] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem
    • [SPARK-38990] Vyhněte se výjimce NullPointerException při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu
    • Aktualizace zabezpečení operačního systému.

  • 18. května 2022

    • Opravuje potenciální únik paměti v automatickém zavaděči.
    • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-37593] Zmenšete výchozí velikost stránky o hodnotu LONG_ARRAY_OFFSET, pokud jsou použity G1GC a ON_HEAP.
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-32268] Přidání prořezávání sloupců do InjectBloomFilter
    • [SPARK-38974] Filtrování registrovaných funkcí s daným názvem databáze ve funkcích seznamu
    • [SPARK-38931] Vytvoření kořenového adresáře dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu
    • Aktualizace zabezpečení operačního systému.

  • 19. dubna 2022

    • Upgradovali Java AWS SDK z verze 1.11.655 na 1.12.1899.
    • Opravili jsme problém s knihovnami omezenými na poznámkové bloky, které nefungovaly v úlohách dávkového streamování.
    • [SPARK-38616] Sledování textu dotazu SQL ve Catalyst TreeNode
    • Aktualizace zabezpečení operačního systému.

  • 6. dubna 2022

    • V této verzi jsou nyní k dispozici následující funkce Spark SQL:
      • timestampadd() a dateadd(): Přidejte dobu trvání v zadané jednotce k časovému razítku.
      • timestampdiff() a datediff(): Vypočítejte rozdíl času mezi dvěma časovými razítky ve specifikované jednotce.
    • Parquet-MR byl upgradován na verzi 1.12.2
    • Vylepšená podpora podrobných schémat v souborech Parquet
    • [SPARK-38631] Pro rozbalení v Utils.unpack používá implementaci založenou na Java
    • [SPARK-38509][SPARK-38481] Cherry-pick tři změny.
    • [SPARK-38523] Oprava odkazující na sloupec poškozených záznamů ze souboru CSV
    • [SPARK-38237] Povolit ClusteredDistribution vyžadování úplných klíčů clusteringu
    • [SPARK-38437] Uvolněná serializace data a času ze zdroje dat
    • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.0

Viz Databricks Runtime 13.0 (EoS).

  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-42553][SQL] Zajistěte alespoň jednu časovou jednotku po uplynutí intervalu.
    • [SPARK-45178] Návrat ke spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-44658][JÁDRO] ShuffleStatus.getMapStatus vrátí None místo Some(null).
    • [SPARK-42205][CORE] Odeberte protokolování Accumulables v událostech zahájení úlohy/stupně v JsonProtocol.
    • Aktualizace zabezpečení operačního systému.
  • 12. září 2023
    • [SPARK-44485][SQL] Optimalizovat TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • Různé opravy chyb
  • 30. srpna 2023
    • [SPARK-44818][Backport] Byla opravena závodní podmínka pro přerušení čekajícího úkolu vydané před inicializací taskThread.
    • [SPARK-44714] Uvolnění omezení řešení LCA ve vztahu k dotazům.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctesty jsou nyní pouze ilustrační.
    • [SPARK-44871][11.3-13.0][SQL] Opravené percentile_disc chování.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44643][SQL][PYTHON] Opravte Row.__repr__ , když je řádek prázdný.
    • [SPARK-44504][Zpětný port] Úloha údržby vyčistí načtené zprostředkovatele v případě chyby zastavení.
    • [SPARK-44479][CONNECT][PYTHON] Oprava protobuf převodu z prázdného typu struktury
    • [SPARK-44464][SS] Opraveno applyInPandasWithStatePythonRunner k výstupu řádků, které mají Null jako první hodnotu sloupce.
    • Různé opravy chyb
  • 29. července 2023
    • Opravili jsme chybu, kdy dbutils.fs.ls() vrátil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP při vyvolání cesty umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199]CacheManager již zbytečně neaktualizuje fileIndex.
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44337][PROTOBUF] Opravili jsme problém, kdy jakékoli pole nastavené na Any.getDefaultInstance způsobovalo chyby analýzy.
    • [SPARK-44136] [SS] Byl opraven problém, kdy se StateManager materializoval v exekutoru místo ve FlatMapGroupsWithStateExec na driveru.
    • Vrátit zpět [SPARK-42323] [SQL] Přiřadit jméno _LEGACY_ERROR_TEMP_2332.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizováno approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43156][SPARK-43098][SQL] Rozšířit test chyby počtu skalárního poddotazu se zakázaným oddělením vnitřního dotazu
    • [SPARK-43779][SQL] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-42937][SQL PlanSubqueries] by měl nastavit InSubqueryExec#shouldBroadcast na true
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zlepšete výkon přírůstkové aktualizace s SHALLOW CLONE Iceberg a Parquet.
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404][Backport] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43340][JÁDRO] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-43300][JÁDRO] NonFateSharingCache obálka pro Guava Cache.
    • [SPARK-43378][JÁDRO] Správně zavřete streamové objekty v deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Pro reprezentaci objektů DataSketch použijte 8bitové registry.
    • [SPARK-43522][SQL] Opraven název sloupce struktury s indexem pole.
    • [SPARK-43413][11.3-13.0][SQL] Opravena nulovatelnost poddotazu IN .
    • [SPARK-43043][JÁDRO] Lepší MapOutputTracker.updateMapOutput výkon.
    • [SPARK-16484][SQL] Přidání podpory pro DataSketches HllSketch.
    • [SPARK-43123][SQL] Interní metadata polí již neunikají do katalogů.
    • [SPARK-42851][SQL] Stráž s EquivalentExpressions.addExpr()supportedExpression().
    • [SPARK-43336][SQL] Přetypování mezi Timestamp a TimestampNTZ vyžaduje časové pásmo.
    • [SPARK-43286][SQL] Aktualizovaný režim aes_encrypt CBC tak, aby generoval náhodné inicializační vektory.
    • [SPARK-42852][SQL] Byly vráceny změny související s NamedLambdaVariable z EquivalentExpressions.
    • [SPARK-43541][SQL] Šířit všechny značky Project při řešení výrazů a chybějících sloupců.
    • [SPARK-43527][PYTHON] Opraveno catalog.listCatalogs v PySparku.
    • Aktualizace zabezpečení operačního systému.
  • 31. května 2023
    • Výchozí optimalizovaná podpora zápisu pro tabulky Delta zaregistrované v katalogu Unity se rozšířila tak, aby zahrnovala příkazy CTAS a operace INSERT pro dělené tabulky. Toto chování odpovídá výchozím nastavením ve skladech SQL. Viz Optimalizované zápisy.
  • 17. května 2023
    • Opravili jsme regresi, kdy _metadata.file_path a _metadata.file_name vrátily nesprávně formátované řetězce. Například nyní je cesta s mezerami reprezentována jako s3://test-bucket/some%20directory/some%20data.csv místo s3://test-bucket/some directory/some data.csv.
    • Skenování Parquet nyní odolává nedostatkům paměti při skenování extrémně strukturovaných souborů díky dynamickému přizpůsobování velikosti dávky. Metadata souborů se analyzuje s cílem předem snížit velikost dávky a při opakovaných pokusech o úkol je znovu snížena jako konečné bezpečnostní opatření.
      • Pokud byl soubor Avro přečtený pouze s možností failOnUnknownFields nebo s Auto Loaderem v režimu vývoje schématu failOnNewColumns, budou sloupce s různými datovými typy přečtené jako null místo toho, aby vyvolaly chybu oznamující, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Short typy Byte, pokud je k dispozici jeden z těchto datových typů, ale soubor Avro naznačuje jeden z dalších dvou typů.
      • Zabraňuje interpretaci typů intervalů jako datových nebo časových razítek, aby se předešlo poškození dat.
      • Zabraňuje čtení typů Decimal s nižší přesností.
    • [SPARK-43172] [CONNECT] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-43293][SQL] __qualified_access_only se v normálních sloupcích ignoruje.
    • [SPARK-43098][SQL] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43085][SQL] Podpora přiřazení DEFAULT sloupců pro názvy tabulek s více částmi.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • [SPARK-43192] [CONNECT] Odstraněno ověřování znakové sady uživatelského agenta
  • 25. dubna 2023
    • Tabulku Delta můžete upravit a přidat podporu funkce tabulky Delta pomocí DeltaTable.addFeatureSupport(feature_name).
    • Příkaz SYNC teď podporuje starší formáty zdroje dat.
    • Opravili jsme chybu, kdy použití formátovače Python před spuštěním jiných příkazů v poznámkovém bloku Python mohlo způsobit chybějící cestu k poznámkovému bloku v sys.path.
    • Azure Databricks teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta. INSERT, UPDATE, DELETEa MERGE příkazy mohou odkazovat na výchozí hodnotu sloupce pomocí explicitního DEFAULT klíčového slova. Pro příkazy INSERT, kde explicitní seznam obsahuje méně sloupců než cílová tabulka, jsou pro zbývající sloupce použity odpovídající výchozí hodnoty (nebo hodnoty NULL, pokud není zadána žádná výchozí hodnota).
  • Opravili jsme chybu, kdy se webový terminál nedá použít pro přístup k souborům v /Workspace pro některé uživatele.
    • Pokud byl soubor Parquet přečtený pouze s možností failOnUnknownFields nebo pomocí Auto Loader v režimu evoluce schématu failOnNewColumns, sloupce s různými datovými typy by se četly jako null místo toho, aby došlo k vyvolání chyby, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet naznačuje jeden ze dvou dalších typů. Když byl dříve povolen sloupec pro záchranu dat, neshoda datových typů by způsobila jejich záchranu, i když byly čitelné.
    • Opravili jsme chybu, kdy se schéma vyvíjející se v Auto Loaderu mohlo ocitnout v nekonečné smyčce selhání, když byl ve schématu vnořeného objektu JSON zjištěn nový sloupec.
    • [SPARK-42794][SS] Zvyšte lockAcquireTimeoutMs na 2 minuty pro přístup k úložišti stavu RocksDB ve structured streaming.
    • [SPARK-39221][SQL] Správně redigovat citlivé informace pro záložku úlohy nebo fáze na serveru thrift.
    • [SPARK-42971][JÁDRO] Změna tisku workdir, pokud má appDirs hodnotu null při zpracování události pracovního procesu WorkDirCleanup.
    • [SPARK-42936][SQL] Oprava chyby LCA v případě, že klauzuli having lze vyřešit přímo svým podřízeným agregátem.
    • [SPARK-43018][SQL] Oprava chyby u příkazů s literály časových razítek.
    • Vraťte [SPARK-42754][SQL][UI] Opravte problém se zpětnou kompatibilitou ve vnořeném spuštění SQL.
    • Vrátit zpět [SPARK-41498] Šířit metadata prostřednictvím sjednocení.
    • [SPARK-43038][SQL] Podpora CBC režimu podle aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Proveďte resolvePersistentFunction synchronizaci.
    • [SPARK-42521][SQL] Přidejte NULL hodnoty pro INSERT se seznamy, které obsahují méně sloupců než cílová tabulka.
    • [SPARK-41391][SQL] Název výstupního sloupce groupBy.agg(count_distinct) byl nesprávný.
    • [SPARK-42548][SQL] Přidejte ReferenceAllColumns pro přeskočení přepisu atributů.
    • [SPARK-42423][SQL] Přidat metadata sloupce o počátku a délce bloku souboru.
    • [SPARK-42796][SQL] Podpora přístupu ke sloupcům TimestampNTZ v CachedBatch.
    • [SPARK-42266][PYTHON] Odebrat nadřazený adresář při spuštění shell.py, když se používá IPython.
    • [SPARK-43011][SQL] array_insert by měl selhat s indexem 0.
    • [SPARK-41874][CONNECT][PYTHON] Podpora SameSemantics ve Spark Connectu
    • [SPARK-42702][SPARK-42623][SQL] Podpora parametrizovaného dotazu v poddotazech a CTE
    • [SPARK-42967][JÁDRO] Oprava SparkListenerTaskStart.stageAttemptId, když je úkol spuštěn po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.1

Viz Databricks Runtime 12.1 (EoS).

  • 23. června 2023

    • Aktualizace zabezpečení operačního systému.

  • 15. června 2023

    • Fotonizováno approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779][SQL] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43156][SPARK-43098][SQL] Rozšířit test chyby počtu skalárního poddotazu se zakázaným oddělením vnitřního dotazu
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zlepšete výkon přírůstkové aktualizace s SHALLOW CLONE Iceberg a Parquet.
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404][Backport] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0][SQL] Opravena nulovatelnost poddotazu IN .
    • [SPARK-43522][SQL] Opraven název sloupce struktury s indexem pole.
    • [SPARK-42444][PYTHON] DataFrame.drop teď zpracovává duplicitní sloupce správně.
    • [SPARK-43541][SQL] Šířit všechny značky Project při řešení výrazů a chybějících sloupců.
    • [SPARK-43340][JÁDRO] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42937][SQL] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-43527][PYTHON] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43378][JÁDRO] Správně zavřete streamové objekty v deserializeFromChunkedBuffer.

  • 17. května 2023

    • Skenování Parquet nyní odolává nedostatkům paměti při skenování extrémně strukturovaných souborů díky dynamickému přizpůsobování velikosti dávky. Metadata souborů se analyzuje s cílem předem snížit velikost dávky a při opakovaných pokusech o úkol je znovu snížena jako konečné bezpečnostní opatření.
    • Pokud byl soubor Avro přečtený pouze s možností failOnUnknownFields nebo s Auto Loaderem v režimu vývoje schématu failOnNewColumns, budou sloupce s různými datovými typy přečtené jako null místo toho, aby vyvolaly chybu oznamující, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Short typy Byte, pokud je k dispozici jeden z těchto datových typů, ale soubor Avro naznačuje jeden z dalších dvou typů.
      • Zabraňuje interpretaci typů intervalů jako datových nebo časových razítek, aby se předešlo poškození dat.
      • Zabraňuje čtení typů Decimal s nižší přesností.
    • [SPARK-43098][SQL] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze s možností failOnUnknownFields nebo pomocí Auto Loader v režimu evoluce schématu failOnNewColumns, sloupce s různými datovými typy by se četly jako null místo toho, aby došlo k vyvolání chyby, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet naznačuje jeden ze dvou dalších typů. Když byl dříve povolen sloupec pro záchranu dat, neshoda datových typů by způsobila jejich záchranu, i když byly čitelné.
    • [SPARK-43009][SQL] Parametrizován pomocí sql()Any konstant.
    • [SPARK-42971][JÁDRO] Změna tisku workdir, pokud má appDirs hodnotu null při zpracování události pracovního procesu WorkDirCleanup.
    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2023

    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Opraví chybu v chování %autoreloadu v poznámkových blocích, které se nacházejí mimo úložiště.
    • Opravili jsme chybu, kdy se schéma vyvíjející se v Auto Loaderu mohlo ocitnout v nekonečné smyčce selhání, když byl ve schématu vnořeného objektu JSON zjištěn nový sloupec.
    • [SPARK-42928][SQL] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42967][JÁDRO] Opravuje situaci, kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.

  • 29. března 2023

    • Auto Loader teď aktivuje alespoň jedno synchronní čištění protokolu RocksDB pro datové proudy Trigger.AvailableNow, aby bylo možné kontrolní bod pravidelně vyčistit pro rychle běžící datové proudy Auto Loaderu. To může způsobit, že se některé datové proudy před vypnutím zdrží, ale ušetří vám náklady na úložiště a zlepší uživatelský zážitek z automatického zavaděče při budoucích spuštěních.
    • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Podpora parametrizovaného dotazu v poddotazech a CTE
    • [SPARK-41162][SQL] Oprava anti- a semi-spojení pro samospojení s agregacemi
    • [SPARK-42403][JÁDRO] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null
    • [SPARK-42668][SS] Zachycení výjimky při pokusu o zavření komprimovaného streamu v HDFSStateStoreProvider abort
    • [SPARK-42794][SS] Zvýšení parametru lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve strukturovaném streamování

  • 14. března 2023

    • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
    • [SPARK-42622][CORE] Zákaz nahrazení v hodnotách
    • [SPARK-42534][SQL] Oprava klauzule Limit pro DB2Dialect
    • [SPARK-42635][SQL] Oprava výrazu TimestampAdd
    • [SPARK-42516][SQL] Při vytváření zobrazení vždy zachytává konfiguraci časového pásma relace.
    • [SPARK-42484] [SQL] UnsafeRowUtils – lepší chybová zpráva
    • [SPARK-41793][SQL] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu ve velkých desetinných číslech
    • Aktualizace zabezpečení operačního systému.

  • 24. února 2023

    • Teď můžete použít jednotnou sadu možností (host, port, database, user, password) pro připojení ke zdrojům dat podporovaným ve federaci dotazů (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Všimněte si, že port je volitelné a pokud není zadané, použije se výchozí číslo portu pro každý zdroj dat.

    Příklad konfigurace připojení PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Příklad konfigurace připojení Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Vyhněte se konfiguraci protokolování způsobující chybu z pyspark.pandas
    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů
    • [SPARK-41990][SQL] Použijte FieldReference.column místo apply při převodu filtru z V1 na V2.
    • Vrátit [SPARK-41848][CORE] Oprava úkolu nadplánovaného s TaskResourceProfile
    • [SPARK-42162] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů commutativních výrazů
    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • SYNC příkaz podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve synchronizována do katalogu Unity, ale pak byla odstraněna a znovu vytvořena, bude následné opětovné synchronizace fungovat namísto vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0
    • [SPARK-36173][JÁDRO] Podpora získání čísla procesoru v TaskContextu
    • [SPARK-41848][JÁDRO] Oprava úkolu příliš naplánovaného pomocí TaskResourceProfile
    • [SPARK-42286][SQL] Přechod k předchozí cestě generování kódu pro komplexní výraz s CAST

  • 31. ledna 2023

    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění k SELECT a právo upravovat libovolný soubor.
    • [SPARK-41581][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Oprava testu Kafka pro ověření ztracených oddílů, aby se zohlednily pomalé operace Kafky.
    • [SPARK-41580][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Podpora parametrizovaného SQL podle sql()
    • [SPARK-41579][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Přiřadit název _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Followup] Oprava regrese synchronizace kódu pro ConvertToLocalRelation
    • [SPARK-41576][SQL] Přiřadit název _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Přiřazení názvu k _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2054
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.0

Viz Databricks Runtime 12.0 (EoS).

  • 15. června 2023

    • Fotonizováno approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43156][SPARK-43098][SQL] Rozšířit test chyby počtu skalárního poddotazu se zakázaným oddělením vnitřního dotazu
    • [SPARK-43779][SQL] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zlepšete výkon přírůstkové aktualizace s SHALLOW CLONE Iceberg a Parquet.
    • Opravili jsme problém v AutoLoaderu, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma nezahrnovalo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-42444][PYTHON] DataFrame.drop teď zpracovává duplicitní sloupce správně.
    • [SPARK-43404][Backport] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0][SQL] Opravena nulovatelnost poddotazu IN .
    • [SPARK-43527][PYTHON] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43522][SQL] Opraven název sloupce struktury s indexem pole.
    • [SPARK-43541][SQL] Šířit všechny značky Project při řešení výrazů a chybějících sloupců.
    • [SPARK-43340][JÁDRO] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42937][SQL] PlanSubqueries nastavte InSubqueryExec#shouldBroadcast na true.

  • 17. května 2023

    • Skenování Parquet nyní odolává nedostatkům paměti při skenování extrémně strukturovaných souborů díky dynamickému přizpůsobování velikosti dávky. Metadata souborů se analyzuje s cílem předem snížit velikost dávky a při opakovaných pokusech o úkol je znovu snížena jako konečné bezpečnostní opatření.
    • Pokud byl soubor Avro přečtený pouze s možností failOnUnknownFields nebo s Auto Loaderem v režimu vývoje schématu failOnNewColumns, budou sloupce s různými datovými typy přečtené jako null místo toho, aby vyvolaly chybu oznamující, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Short typy Byte, pokud je k dispozici jeden z těchto datových typů, ale soubor Avro naznačuje jeden z dalších dvou typů.
      • Zabraňuje interpretaci typů intervalů jako datových nebo časových razítek, aby se předešlo poškození dat.
      • Zabraňuje čtení typů Decimal s nižší přesností.
    • [SPARK-43172] [CONNECT] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-41520][SQL] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43098][SQL] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze s možností failOnUnknownFields nebo pomocí Auto Loader v režimu evoluce schématu failOnNewColumns, sloupce s různými datovými typy by se četly jako null místo toho, aby došlo k vyvolání chyby, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet naznačuje jeden ze dvou dalších typů. Když byl dříve povolen sloupec pro záchranu dat, neshoda datových typů by způsobila jejich záchranu, i když byly čitelné.
    • [SPARK-42971][JÁDRO] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2023

    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Opravili jsme chybu v chování %autoreloadu v poznámkových blocích, které se nacházejí mimo úložiště.
    • Opravili jsme chybu, kdy se schéma vyvíjející se v Auto Loaderu mohlo ocitnout v nekonečné smyčce selhání, když byl ve schématu vnořeného objektu JSON zjištěn nový sloupec.
    • [SPARK-42928][SQL] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42967][JÁDRO] Opravuje situaci, kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.

  • 29. března 2023

    • [SPARK-42794][SS] Zvýšení parametru lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve strukturovaném streamování
    • [SPARK-41162][SQL] Oprava anti- a semi-spojení pro samospojení s agregacemi
    • [SPARK-42403][JÁDRO] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null
    • [SPARK-42668][SS] Zachycení výjimky při pokusu o zavření komprimovaného streamu v HDFSStateStoreProvider abort
    • Různé opravy chyb

  • 14. března 2023

    • [SPARK-42534][SQL] Oprava klauzule Limit pro DB2Dialect
    • [SPARK-42622][CORE] Zákaz nahrazení v hodnotách
    • [SPARK-41793][SQL] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu ve velkých desetinných číslech
    • [SPARK-42484] [SQL] UnsafeRowUtils – lepší chybová zpráva
    • [SPARK-42635][SQL] Oprava výrazu TimestampAdd
    • [SPARK-42516][SQL] Při vytváření zobrazení vždy zachytává konfiguraci časového pásma relace.
    • Aktualizace zabezpečení operačního systému.

  • 24. února 2023

    • Standardizované možnosti připojení pro sjednocení dotazů

      Teď můžete použít jednotnou sadu možností (host, port, database, user, password) pro připojení ke zdrojům dat podporovaným ve federaci dotazů (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Všimněte si, že port je volitelné a použije výchozí číslo portu pro každý zdroj dat, pokud není zadaný.

      Příklad konfigurace připojení PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Příklad konfigurace připojení Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Vrátit [SPARK-41848][CORE] Oprava úkolu nadplánovaného s TaskResourceProfile

    • [SPARK-42162] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů commutativních výrazů

    • [SPARK-41990][SQL] Použijte FieldReference.column místo apply při převodu filtru z V1 na V2.

    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů

    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Uživatelé nyní mohou číst a zapisovat určité tabulky Delta, které vyžadují verzi Čtečka 3 a Zapisovač 7, za použití Databricks Runtime 9.1 nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • SYNC příkaz podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve synchronizována do katalogu Unity, ale pak byla odstraněna a znovu vytvořena, bude následné opětovné synchronizace fungovat namísto vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-36173][JÁDRO] Podpora získání čísla procesoru v TaskContextu
    • [SPARK-42286][SQL] Přechod k předchozí cestě generování kódu pro komplexní výraz s CAST
    • [SPARK-41848][JÁDRO] Oprava úkolu příliš naplánovaného pomocí TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0

  • 25. ledna 2023

    • [SPARK-41660][SQL] Metadata sloupce se šíří jen tehdy, když jsou používány.
    • [SPARK-41379][SS][PYTHON] Poskytnutí klonované relace Spark v DataFrame v uživatelské funkci pro úložiště foreachBatch v PySparku
    • [SPARK-41669][SQL] Předčasné vyřazování v canCollapseExpressions
    • Aktualizace zabezpečení operačního systému.

  • 18. ledna 2023

    • REFRESH FUNCTION příkaz SQL teď podporuje funkce SQL a funkce tabulky SQL. Například příkaz lze použít k aktualizaci trvalé funkce SQL, která byla aktualizována v jiné relaci SQL.
    • Zdroj dat Java Database Connectivity (JDBC) v1 nyní podporuje LIMIT klauzule 'pushdown' pro zlepšení výkonu dotazů. Tato funkce je ve výchozím nastavení povolená a lze ji zakázat s spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled nastavenou na false.
    • V clusterech seznamů ACL starších tabulek nyní vytváření funkcí, které odkazují na třídy JVM, vyžaduje oprávnění MODIFY_CLASSPATH.
    • Zdroj dat Java Database Connectivity (JDBC) v1 nyní podporuje LIMIT klauzule 'pushdown' pro zlepšení výkonu dotazů. Tato funkce je ve výchozím nastavení povolená a je možné ji zakázat pomocí spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled nastavením na false.
    • Azure Synapse konektor teď vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Strukturované streamování Sparku teď funguje s formátem „deltasharing“ na tabulce delta sdílení jako zdroji.
    • [SPARK-38277][SS] Vymazat dávku zápisu po commitu úložiště stavů RocksDB
    • [SPARK-41733][SQL][SS] Použití vyřezávání na základě stromového vzoru pro pravidlo ResolveWindowTime
    • [SPARK-39591][SS] Asynchronní sledování průběhu
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41198][SS] Oprava metrik v dotazech streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41539][SQL] Přemapovat statistiky a omezení pro výstup v logickém plánu pro LogRDD
    • [SPARK-41732][SQL][SS] Aplikovat prořezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-41862][SQL] Oprava chyby přesnosti související s výchozími hodnotami v ORC čtečce
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41261][PYTHON][SS] Oprava problému pro applyInPandasWithState, pokud sloupce klíčů seskupení nejsou umístěné v pořadí od nejstaršího
    • Aktualizace zabezpečení operačního systému.

  • 17. května 2023

    • Skenování Parquet nyní odolává nedostatkům paměti při skenování extrémně strukturovaných souborů díky dynamickému přizpůsobování velikosti dávky. Metadata souborů se analyzuje s cílem předem snížit velikost dávky a při opakovaných pokusech o úkol je znovu snížena jako konečné bezpečnostní opatření.
    • Opravili jsme regresi, která způsobovala zachování Azure Databricks úloh po selhání připojení k metastoru během inicializace clusteru.
    • [SPARK-41520][SQL] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze s možností failOnUnknownFields nebo pomocí Auto Loader v režimu evoluce schématu failOnNewColumns, sloupce s různými datovými typy by se četly jako null místo toho, aby došlo k vyvolání chyby, že soubor nelze přečíst. Tyto operace teď selhávají a doporučují uživatelům používat možnost rescuedDataColumn.
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet naznačuje jeden ze dvou dalších typů. Když byl dříve povolen sloupec pro záchranu dat, neshoda datových typů by způsobila jejich záchranu, i když byly čitelné.
    • [SPARK-42937][SQL] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • Aktualizace zabezpečení operačního systému.

  • 11. dubna 2023

    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Opravili jsme chybu v chování %autoreloadu v poznámkových blocích, které se nacházejí mimo úložiště.
    • Opravili jsme chybu, kdy se schéma vyvíjející se v Auto Loaderu mohlo ocitnout v nekonečné smyčce selhání, když byl ve schématu vnořeného objektu JSON zjištěn nový sloupec.
    • [SPARK-42928][SQL] Proveďte synchronizaci funkce resolvePersistentFunction.
    • [SPARK-42967][JÁDRO] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.

  • 29. března 2023

    • [SPARK-42794][SS] Zvýšení parametru lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve strukturovaném streamování
    • [SPARK-42403][JÁDRO] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null
    • [SPARK-42668][SS] Zachycení výjimky při pokusu o zavření komprimovaného streamu v HDFSStateStoreProvider abort
    • Aktualizace zabezpečení operačního systému.

  • 14. března 2023

    • [SPARK-42635][SQL] Oprava výrazu TimestampAdd
    • [SPARK-41793][SQL] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu ve velkých desetinných číslech
    • [SPARK-42484] [SQL] UnsafeRowUtils – lepší chybová zpráva
    • [SPARK-42534][SQL] Oprava klauzule Limit pro DB2Dialect
    • [SPARK-41162][SQL] Oprava anti- a semi-spojení pro samospojení s agregacemi
    • [SPARK-42516][SQL] Při vytváření zobrazení vždy zachytává konfiguraci časového pásma relace.
    • Různé opravy chyb

  • 28. února 2023

    • Standardizované možnosti připojení pro sjednocení dotazů

      Teď můžete použít jednotnou sadu možností (host, port, database, user, password) pro připojení ke zdrojům dat podporovaným ve federaci dotazů (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Všimněte si, že port je volitelné a pokud není zadané, použije se výchozí číslo portu pro každý zdroj dat.

      Příklad konfigurace připojení PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Příklad konfigurace připojení Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Přechod k předchozí cestě generování kódu pro komplexní výraz s CAST

    • [SPARK-41989][PYTHON] Vyhněte se konfiguraci protokolování způsobující chybu z pyspark.pandas

    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů

    • [SPARK-41360][JÁDRO] Pokud se exekutor ztratil, vyhněte se opětovné registraci objektu BlockManager.

    • [SPARK-42162] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů commutativních výrazů

    • [SPARK-41990][SQL] Použijte FieldReference.column místo apply při převodu filtru z V1 na V2.

    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Uživatelé nyní mohou číst a zapisovat určité tabulky Delta, které vyžadují verzi Čtečka 3 a Zapisovač 7, za použití Databricks Runtime 9.1 nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • SYNC příkaz podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve synchronizována do katalogu Unity, ale pak byla odstraněna a znovu vytvořena, bude následné opětovné synchronizace fungovat namísto vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0
    • [SPARK-40382][SQL] Seskupení distinktních agregačních výrazů podle sémanticky ekvivalentních potomků v RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.

  • 25. ledna 2023

    • [SPARK-41379][SS][PYTHON] Poskytnutí klonované relace Spark v DataFrame v uživatelské funkci pro úložiště foreachBatch v PySparku
    • [SPARK-41660][SQL] Metadata sloupce se šíří jen tehdy, když jsou používány.
    • [SPARK-41669][SQL] Předčasné vyřazování v canCollapseExpressions
    • Různé opravy chyb

  • 18. ledna 2023

    • REFRESH FUNCTION příkaz SQL teď podporuje funkce SQL a funkce tabulky SQL. Například příkaz lze použít k aktualizaci trvalé funkce SQL, která byla aktualizována v jiné relaci SQL.
    • Zdroj dat Java Database Connectivity (JDBC) v1 nyní podporuje LIMIT klauzule 'pushdown' pro zlepšení výkonu dotazů. Tato funkce je ve výchozím nastavení povolená a lze ji zakázat s spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled nastavenou na false.
    • Zdroj dat Java Database Connectivity (JDBC) v1 nyní podporuje LIMIT klauzule 'pushdown' pro zlepšení výkonu dotazů. Tato funkce je ve výchozím nastavení povolená a je možné ji zakázat pomocí spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled nastavením na false.
    • Azure Synapse konektor teď vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Oprava metrik v dotazech streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41862][SQL] Oprava chyby přesnosti související s výchozími hodnotami v ORC čtečce
    • [SPARK-41539][SQL] Přemapovat statistiky a omezení pro výstup v logickém plánu pro LogRDD
    • [SPARK-39591][SS] Asynchronní sledování průběhu
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41261][PYTHON][SS] Oprava problému pro applyInPandasWithState, pokud sloupce klíčů seskupení nejsou umístěné v pořadí od nejstaršího
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732][SQL][SS] Aplikovat prořezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-38277][SS] Vymazat dávku zápisu po commitu úložiště stavů RocksDB
    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, pokud je nastavena na true, odebere počáteční prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na true, odebere koncové prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v Auto Loaderu, když byly všechny sloupce ponechány jako řetězce (nebyl nastavencloudFiles.inferColumnTypes nebo byl nastaven na false) a JSON obsahoval vnořené objekty.
    • Aktualizujte snowflake-jdbc závislost na verzi 3.13.22.
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
    • [SPARK-40906][SQL] Klíče by měly být zkopírovány před vložením do mapy.
    • Aktualizace zabezpečení operačního systému.

  • 15. listopadu 2022

    • Seznamy ACL tabulek a sdílené clustery UC nyní umožňují použití metody Dataset.toJSON z jazyka Python.
    • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Chcete-li se přihlásit k vylepšené sadě chování spark.sql.json.enablePartialResults na true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • [SPARK-40903][SQL] Vyhněte se změně pořadí při sečítání desetinných čísel pro kanonizaci, pokud dojde ke změně datového typu.
    • [SPARK-40618][SQL] Oprava chyby v pravidle MergeScalarSubqueries s vnořenými poddotazy pomocí sledování odkazů
    • [SPARK-40697][SQL] Přidání doplnění znaků na straně čtení pro pokrytí externích datových souborů
    • Aktualizace zabezpečení operačního systému.

  • 1. listopadu 2022

    • Strukturované streamování v katalogu Unity teď podporuje aktualizaci dočasných přístupových tokenů. Streamovací úlohy běžící s katalogem Unity na univerzálních nebo pracovních clusterech již neselhávají po vypršení platnosti počátečního tokenu.
    • Opravili jsme problém, kdy pokud měla tabulka Delta uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázána změna datového kanálu , data v tomto sloupci se nesprávně vyplňovala hodnotami NULL při spuštění procesu MERGE.
    • Opravili jsme problém, kdy spuštění MERGE v kombinaci s použitím přesně 99 sloupců ze zdroje v podmínce mohlo způsobit java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Opravili jsme problém s Auto Loaderem, kdy při povolení allowOverwrites může dojít k duplikaci souboru ve stejné mikrodávce.
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Byla přidána podpora pro konfiguraci CloudWatch MetricsLevel
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] Oprava NPE v applyInPandasWithState, pokud vstupní schéma obsahuje sloupce s nepovolenými nulovými hodnotami.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.2

Viz Databricks Runtime 11.2 (EoS).

  • 28. února 2023
    • [SPARK-42286][SQL] Přechod k předchozí cestě generování kódu pro komplexní výraz s CAST
    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • Uživatelé nyní mohou číst a zapisovat určité tabulky Delta, které vyžadují verzi Čtečka 3 a Zapisovač 7, za použití Databricks Runtime 9.1 nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • SYNC příkaz podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve synchronizována do katalogu Unity, ale pak byla odstraněna a znovu vytvořena, bude následné opětovné synchronizace fungovat namísto vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
    • [SPARK-41379][SS][PYTHON] Poskytnutí klonované relace Spark v DataFrame v uživatelské funkci pro úložiště foreachBatch v PySparku
  • 18. ledna 2023
    • Azure Synapse konektor teď vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Oprava metrik v dotazech streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41862][SQL] Oprava chyby přesnosti související s výchozími hodnotami v ORC čtečce
    • [SPARK-41539][SQL] Přemapovat statistiky a omezení pro výstup v logickém plánu pro LogRDD
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732][SQL][SS] Aplikovat prořezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-38277][SS] Vymazat dávku zápisu po commitu úložiště stavů RocksDB
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, pokud je nastavena na true, odebere počáteční prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na true, odebere koncové prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v Auto Loaderu, když byly všechny sloupce ponechány jako řetězce (nebyl nastavencloudFiles.inferColumnTypes nebo byl nastaven na false) a JSON obsahoval vnořené objekty.
    • [SPARK-40906][SQL] Klíče by měly být zkopírovány před vložením do mapy.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults na true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • [SPARK-40618][SQL] Oprava chyby v pravidle MergeScalarSubqueries s vnořenými poddotazy pomocí sledování odkazů
    • [SPARK-40697][SQL] Přidání doplnění znaků na straně čtení pro pokrytí externích datových souborů
    • Aktualizace zabezpečení operačního systému.
  • 1. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Opravili jsme problém, kdy pokud měla tabulka Delta uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázána změna datového kanálu , data v tomto sloupci se nesprávně vyplňovala hodnotami NULL při spuštění procesu MERGE.
    • Opravili jsme problém, kdy spuštění MERGE v kombinaci s použitím přesně 99 sloupců ze zdroje v podmínce mohlo způsobit java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Opravili jsme problém s funkcí Auto Loader, kdy může dojít k duplikaci souboru ve stejné mikrodávce při povolení allowOverwrites.
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 19. října 2022
    • Opravili jsme problém s COPY INTO používáním dočasných přihlašovacích údajů v clusterech nebo skladech s podporou katalogu Unity.
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis klíčů pro funkci Auto Loader na Azure Data Lake Storage (ADLS). Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla provedena v Databricks Runtime 10.4 a 9.1 v předchozí aktualizaci údržby.
    • [SPARK-40315][SQL]Podpora kódování/dekódování URL jako vestavěné funkce a vylepšení funkcí souvisejících s URL
    • [SPARK-40156][SQL]url_decode() by měla vrátit třídu chyb.
    • [SPARK-40169] Neodsouvejte filtry Parquet bez odkazu na schéma dat.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava prořezávání sloupců v CSV při výběru _corrupt_record
    • [SPARK-40055][SQL] listCatalogs by také měly vracet spark_catalog i pokud implementace spark_catalog je defaultSessionCatalog.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40389][SQL] Desetinné čísla nemůžou být převedeny na celočíselné typy, pokud může dojít k přetečení.
    • [SPARK-40380][SQL] Oprava konstantního skládání InvokeLike, aby se zabránilo neserializovatelnému literálu vloženému do plánu
    • [SPARK-40066][SQL][DODATEK] Před získáním datového typu zkontrolujte, zda je ElementAt vyřešen.
    • [SPARK-40109][SQL] Nová funkce SQL: get()
    • [SPARK-40066][SQL] Režim ANSI: Vždy vrátit hodnotu null při neplatném přístupu ke sloupci mapy
    • [SPARK-40089][SQL] Oprava řazení pro některé desetinné typy
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • [SPARK-40152][SQL] Oprava problému s kompilací split_part codegen
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40212][SQL] SparkSQL castPartValue nezpracuje správně bajt, krátký nebo plovoucí
    • [SPARK-40218][SQL] GROUPING SETS by měly zachovat skupinové sloupce.
    • [SPARK-35542][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry
    • [SPARK-40079] Přidání ověření Imputer inputCols pro případ prázdného vstupu
    • [SPARK-39912]SPARK-39828[SQL] Upřesnit KatalogImpl

Databricks Runtime 11.1

Viz Databricks Runtime 11.1 (EoS).

  • 31. ledna 2023

    • [SPARK-41379][SS][PYTHON] Poskytnutí klonované relace Spark v DataFrame v uživatelské funkci pro úložiště foreachBatch v PySparku
    • Různé opravy chyb

  • 18. ledna 2023

    • Azure Synapse konektor teď vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Oprava metrik v dotazech streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41862][SQL] Oprava chyby přesnosti související s výchozími hodnotami v ORC čtečce
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732][SQL][SS] Aplikovat prořezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-38277][SS] Vymazat dávku zápisu po commitu úložiště stavů RocksDB
    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, pokud je nastavena na true, odebere počáteční prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na true, odebere koncové prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v Auto Loaderu, když byly všechny sloupce ponechány jako řetězce (nebyl nastavencloudFiles.inferColumnTypes nebo byl nastaven na false) a JSON obsahoval vnořené objekty.
    • [SPARK-39650][SS] Oprava nesprávného schématu hodnot v odstranění duplicitních dat streamování se zpětnou kompatibilitou
    • Aktualizace zabezpečení operačního systému.

  • 15. listopadu 2022

    • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults na true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • Aktualizace zabezpečení operačního systému.

  • 1. listopadu 2022

    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Opravili jsme problém, kdy pokud měla tabulka Delta uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázána změna datového kanálu , data v tomto sloupci se nesprávně vyplňovala hodnotami NULL při spuštění procesu MERGE.
    • Opravili jsme problém, kdy spuštění MERGE v kombinaci s použitím přesně 99 sloupců ze zdroje v podmínce mohlo způsobit java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Opravili jsme problém s funkcí Auto Loader, kdy může dojít k duplikaci souboru ve stejné mikrodávce při povolení allowOverwrites.
    • [SPARK-40697][SQL] Přidání doplnění znaků na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.

  • 18. října 2022

    • Opravili jsme problém s COPY INTO používáním dočasných přihlašovacích údajů v clusterech nebo skladech s podporou katalogu Unity.
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • Aktualizace zabezpečení operačního systému.

  • středa 5. října 2022

    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis klíčů pro funkci Auto Loader na Azure Data Lake Storage (ADLS). Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla provedena v Databricks Runtime 10.4 a 9.1 v předchozí aktualizaci údržby.
    • [SPARK-40169] Neodsouvejte filtry Parquet bez odkazu na schéma dat.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava prořezávání sloupců v CSV při výběru _corrupt_record
    • [SPARK-40055][SQL] listCatalogs by také měly vracet spark_catalog i pokud implementace spark_catalog je defaultSessionCatalog.
    • Aktualizace zabezpečení operačního systému.

  • 22. září 2022

    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40380][SQL] Oprava konstantního skládání InvokeLike, aby se zabránilo neserializovatelnému literálu vloženému do plánu
    • [SPARK-40089][SQL] Oprava řazení pro některé desetinné typy
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • [SPARK-40152][SQL] Oprava problému s kompilací split_part codegen

  • 6. září 2022

    • Aktualizovali jsme model oprávnění v ovládacích prvcích řízení přístupu k tabulce (seznamy ACL) tak, aby se ke změně schématu tabulky nebo vlastností ALTER TABLEtabulky vyžadovala pouze oprávnění MODIFY. Dříve tyto operace vyžadovaly, aby uživatel vlastní tabulku. Vlastnictví se stále vyžaduje k udělení oprávnění k tabulce, změně jeho vlastníka, změně jeho umístění nebo přejmenování. Tato změna dělá model oprávnění pro tabulkové ACL konzistentnější s Unity Catalog.
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40212][SQL] SparkSQL castPartValue nezpracuje správně bajt, krátký nebo plovoucí
    • [SPARK-40218][SQL] GROUPING SETS by měly zachovat skupinové sloupce.
    • [SPARK-39976][SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053][CORE][SQL][TESTS] Přidejte assume k dynamickým případům zrušení, které vyžadují Python běhové prostředí
    • [SPARK-35542][CORE][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze po uložení načíst.
    • [SPARK-40079][JÁDRO] Přidání ověření inputCols u Imputeru pro případ prázdného vstupu

  • 24. srpna 2022

    • Sdílené složky, poskytovatelé a příjemci teď podporují příkazy SQL pro změnu vlastníků, komentářů a přejmenování.
    • [SPARK-39983][JÁDRO][SQL] Neukládejte do paměti neserializované broadcast vztahy na driveru.
    • [SPARK-39912][SPARK-39828][SQL] Upřesnit KatalogImpl
    • [SPARK-39775][CORE][AVRO] Zákaz ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39806] Opravili jsme problém s dotazy přistupujícími ke struktuře METADATA v dělených tabulkách.
    • [SPARK-39867][SQL] Globální limit by neměl dědit OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-39839][SQL] Zpracování speciálního případu proměnné délky nulového Decimal s nenulovým offsetAndSize v nezabezpečené kontrole integrity struktury
    • [SPARK-39713][SQL] Režim ANSI: Přidání návrhu použití try_element_at pro INVALID_ARRAY_INDEX chybu
    • [SPARK-39847][SS] Oprava závodní podmínky v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
    • [SPARK-39731][SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.

  • 10. srpna 2022

    • U tabulek Delta s řízením přístupu k tabulkám je teď automatický vývoj schématu prostřednictvím příkazů DML, jako jsou INSERT a MERGE, k dispozici všem uživatelům, kteří mají pro tyto tabulky oprávnění MODIFY. Kromě toho jsou oprávnění potřebná k vývoji schématu s COPY INTO nyní nižší z OWNER na MODIFY kvůli konzistenci s jinými příkazy. Díky těmto změnám je model zabezpečení seznamu ACL tabulky konzistentnější s modelem zabezpečení katalogu Unity a také s dalšími operacemi, jako je nahrazení tabulky.
    • [SPARK-39889] Vylepšení chybové zprávy dělení nulou
    • [SPARK-39795] [SQL] Nová funkce SQL: try_to_timestamp
    • [SPARK-39749] Při přetypování desetinného čísla na řetězec v režimu ANSI vždy používejte prostý řetězec.
    • [SPARK-39625] Přejmenování df.as na df.to
    • [SPARK-39787] [SQL] Použití třídy chyb v analýze chyby funkce to_timestamp
    • [SPARK-39625] [SQL] Přidání Dataset.as(StructType)
    • [SPARK-39689] Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunction/functionExists kompatibilní s třístupňovým oborem názvů
    • [SPARK-39702] [JÁDRO] Snížení paměťové režie pro TransportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575] [AVRO] přidejte ByteBuffer#rewind po ByteBuffer#get v AvroDeserializer
    • [SPARK-39265] [SQL] Oprava selhání testu při povolení SPARK_ANSI_SQL_MODE
    • [SPARK-39441] [SQL] Zrychlení odstranění duplicitních dat
    • [SPARK-39497] [SQL] Vylepšení výjimky analýzy chybějícího sloupce s klíčem mapy
    • [SPARK-39476] [SQL] Zakažte optimalizaci přetypování unwrap při přetypování z Long na Float/Double nebo z Integer na Float.
    • [SPARK-39434] [SQL] Poskytnutí kontextu dotazu při chybě za běhu, když je index pole mimo hranice

Databricks Runtime 11.0

Viz Databricks Runtime 11.0 (EoS)

  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, pokud je nastavena na true, odebere počáteční prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na true, odebere koncové prázdné znaky z hodnot při zápisu, když je tempformat nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je nastavení nastaveno na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v Auto Loaderu, když byly všechny sloupce ponechány jako řetězce (nebyl nastavencloudFiles.inferColumnTypes nebo byl nastaven na false) a JSON obsahoval vnořené objekty.
    • [SPARK-39650][SS] Oprava nesprávného schématu hodnot v odstranění duplicitních dat streamování se zpětnou kompatibilitou
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • [SPARK-40646] parsování JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults na true. Příznak je ve výchozím nastavení zakázaný, aby se zachovalo původní chování.
  • 1. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Opravili jsme problém, kdy pokud měla tabulka Delta uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázána změna datového kanálu , data v tomto sloupci se nesprávně vyplňovala hodnotami NULL při spuštění procesu MERGE.
    • Opravili jsme problém s funkcí Auto Loader, kdy může dojít k duplikaci souboru ve stejné mikrodávce při povolení allowOverwrites.
    • [SPARK-40697][SQL] Přidání doplnění znaků na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis klíčů pro funkci Auto Loader na Azure Data Lake Storage (ADLS). Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla provedena v Databricks Runtime 10.4 a 9.1 v předchozí aktualizaci údržby.
    • [SPARK-40169] Neodsouvejte filtry Parquet bez odkazu na schéma dat.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava prořezávání sloupců v CSV při výběru _corrupt_record
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40380][SQL] Oprava konstantního skládání InvokeLike, aby se zabránilo neserializovatelnému literálu vloženému do plánu
    • [SPARK-40089][SQL] Oprava řazení pro některé desetinné typy
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • [SPARK-40152][SQL] Oprava problému s kompilací split_part codegen
  • 6. září 2022
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40212][SQL] SparkSQL castPartValue nezpracuje správně bajt, krátký nebo plovoucí
    • [SPARK-40218][SQL] GROUPING SETS by měly zachovat skupinové sloupce.
    • [SPARK-39976][SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053][CORE][SQL][TESTS] Přidejte assume k dynamickým případům zrušení, které vyžadují Python běhové prostředí
    • [SPARK-35542][CORE][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze po uložení načíst.
    • [SPARK-40079][JÁDRO] Přidání ověření inputCols u Imputeru pro případ prázdného vstupu
  • 24. srpna 2022
    • [SPARK-39983][JÁDRO][SQL] Neukládejte do paměti neserializované broadcast vztahy na driveru.
    • [SPARK-39775][CORE][AVRO] Zákaz ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39806] Opravili jsme problém s dotazy přistupujícími ke struktuře METADATA v dělených tabulkách.
    • [SPARK-39867][SQL] Globální limit by neměl dědit OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39713][SQL] Režim ANSI: Přidání návrhu použití try_element_at pro INVALID_ARRAY_INDEX chybu
    • [SPARK-39847] Oprava závodní podmínky v RocksDBLoader.loadLibrary(), pokud je přerušeno vlákno volajícího.
    • [SPARK-39731][SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • [SPARK-39889] Vylepšení chybové zprávy dělení nulou
    • [SPARK-39795][SQL] Nová funkce SQL: try_to_timestamp
    • [SPARK-39749] Při přetypování desetinného čísla na řetězec v režimu ANSI vždy používejte prostý řetězec.
    • [SPARK-39625][SQL] Přidání Dataset.to(StructType)
    • [SPARK-39787][SQL] Použití třídy chyb v analýze chyby funkce to_timestamp
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39689]Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39104][SQL] Funkce InMemoryRelation#isCachedColumnBuffersLoaded by měla být bezpečná pro přístup z více vláken.
    • [SPARK-39702][JÁDRO] Snížení paměťové režie TransportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575][AVRO] přidejte ByteBuffer#rewind po ByteBuffer#get v AvroDeserializeru
    • [SPARK-39497][SQL] Vylepšení výjimky analýzy chybějícího sloupce klíče mapy
    • [SPARK-39441][SQL] Zrychlení deduplikace relací
    • [SPARK-39476][SQL] Zakažte optimalizaci přetypování unwrap při přetypování z Long na float/double nebo z Integer na float
    • [SPARK-39434][SQL] Poskytnout kontext dotazu chyb za běhu, když je index pole mimo rozsah
    • [SPARK-39570][SQL] Vložená tabulka by měla umožňovat výrazy s aliasem
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • Výsledky operace Delta MERGE jsou konzistentní, pokud zdroj není deterministický.
    • Opravili jsme problém pro cloud_files_state TVF při spouštění na jiných cestách než DBFS.
    • Zakázali jsme použití nativních cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • [SPARK-38796][SQL] Aktualizovat funkce to_number a try_to_number pro povolení PR s kladnými čísly
    • [SPARK-39272][SQL] Zvýšení počáteční pozice kontextu dotazu o 1
    • [SPARK-39419][SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • Vylepšení chybových zpráv pro řadu tříd chyb.
    • [SPARK-39451][SQL] Podpora přetypování intervalů na celá čísla v režimu ANSI
    • [SPARK-39361] V výchozích konfiguracích protokolování nepoužívejte rozšířený vzor převodu s možností vyvolání Log4J2.
    • [SPARK-39354][SQL] Zajistěte, aby se zobrazovala Table or view not found i v případě, dataTypeMismatchError že souvisí Filter současně.
    • [SPARK-38675][JÁDRO] Oprava závodu během odemknutí v BlockInfoManageru
    • [SPARK-39392][SQL] Upřesnění chybových zpráv ANSI pro nápovědu k funkcím try_*
    • [SPARK-39214][SQL][3.3] Vylepšení chyb souvisejících s CAST
    • [SPARK-37939][SQL] Použití tříd chyb při analýze chyb vlastností
    • [SPARK-39085][SQL] Přesunutí chybové zprávy INCONSISTENT_BEHAVIOR_CROSS_VERSION do error-classes.json
    • [SPARK-39376][SQL] Skrytí duplicitních sloupců v hvězdicovitém rozšíření aliasu poddotazu z NATURAL/USING JOIN
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 10.5

Viz Databricks Runtime 10.5 (EoS).

  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud měla tabulka Delta uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázána změna datového kanálu , data v tomto sloupci se nesprávně vyplňovala hodnotami NULL při spuštění procesu MERGE.
    • [SPARK-40697][SQL] Přidání doplnění znaků na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis klíčů pro funkci Auto Loader na Azure Data Lake Storage (ADLS). Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla provedena v Databricks Runtime 10.4 a 9.1 v předchozí aktualizaci údržby.
    • reload4j byl aktualizován na verzi 1.2.19 k opravě zranitelností.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava prořezávání sloupců v CSV při výběru _corrupt_record
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • [SPARK-40380][SQL] Oprava konstantního skládání InvokeLike, aby se zabránilo neserializovatelnému literálu vloženému do plánu
    • [SPARK-38404][SQL] Zlepšení řešení CTE, pokud vnořený CTE odkazuje na vnější CTE
    • [SPARK-40089][SQL] Oprava řazení pro některé desetinné typy
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • Aktualizace zabezpečení operačního systému.
  • 6. září 2022
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-39976][SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053][CORE][SQL][TESTS] Přidejte assume k dynamickým případům zrušení, které vyžadují Python běhové prostředí
    • [SPARK-35542][CORE][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze po uložení načíst.
    • [SPARK-40079][JÁDRO] Přidání ověření inputCols u Imputeru pro případ prázdného vstupu
  • 24. srpna 2022
    • [SPARK-39983][JÁDRO][SQL] Neukládejte do paměti neserializované broadcast vztahy na driveru.
    • [SPARK-39775][CORE][AVRO] Zákaz ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39806] Opravili jsme problém s dotazy přistupujícími ke struktuře METADATA v dělených tabulkách.
    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-37643][SQL] Pokud je argument charVarcharAsString pravdivý, měl by dotaz predikátu typu char přeskočit pravidlo rpadding.
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39847] Oprava závodní podmínky v RocksDBLoader.loadLibrary(), pokud je přerušeno vlákno volajícího.
    • [SPARK-39731][SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39625][SQL] Přidání Dataset.as(StructType)
    • [SPARK-39689]Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39104][SQL] Funkce InMemoryRelation#isCachedColumnBuffersLoaded by měla být bezpečná pro přístup z více vláken.
    • [SPARK-39570][SQL] Vložená tabulka by měla umožňovat výrazy s aliasem
    • [SPARK-39702][JÁDRO] Snížení paměťové režie TransportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575][AVRO] přidejte ByteBuffer#rewind po ByteBuffer#get v AvroDeserializeru
    • [SPARK-39476][SQL] Zakažte optimalizaci přetypování unwrap při přetypování z Long na float/double nebo z Integer na float
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • Výsledky operace Delta MERGE jsou konzistentní, pokud zdroj není deterministický.
    • [SPARK-39355][SQL] Jeden sloupec je použit s uvozovkami k vytvoření UnresolvedAttribute
    • [SPARK-39548][SQL] Příkaz CreateView s klauzulí okna narazil na problém, kdy nesprávná definice okna nebyla nalezena
    • [SPARK-39419][SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Zakázali jsme použití nativních cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • [SPARK-39376][SQL] Skrytí duplicitních sloupců v hvězdicovitém rozšíření aliasu poddotazu z NATURAL/USING JOIN
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2022
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096][SQL] Zvýšení výkonu pro nth_value s ignorováním hodnot null v rámci posunovacího okna
    • [SPARK-36718][SQL][NÁSLEDNÝ KROK] Oprava kontroly v CollapseProject isExtractOnly
  • 2. června 2022
    • [SPARK-39166][SQL] Poskytnutí kontextu dotazu na chybu za běhu pro binární aritmetické operace při vypnutí WSCG
    • [SPARK-39093][SQL] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem
    • [SPARK-38990][SQL] Vyhněte se výjimce NullPointerException při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální únik nativní paměti v automatickém zavaděči.
    • [SPARK-38868][SQL]Při optimalizaci vnějších spojení nešíří výjimky z predikátu filtru
    • [SPARK-38796][SQL] Implementace funkcí SQL to_number a try_to_number podle nové specifikace
    • [SPARK-38918][SQL] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-38929][SQL] Vylepšení chybových zpráv při selhání přetypování v ANSI
    • [SPARK-38926][SQL] Typy výstupu v chybových zprávách ve stylu SQL
    • [SPARK-39084][PYSPARK] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-32268][SQL] Přidat ColumnPruning do injectBloomFilter
    • [SPARK-38908][SQL] Poskytnout kontext dotazu při chybě za běhu při přetypování z řetězce na číslo, datum, časové razítko nebo logickou hodnotu.
    • [SPARK-39046][SQL] Vrátí prázdný kontextový řetězec, pokud je TreeNode.origin nesprávně nastaven.
    • [SPARK-38974][SQL] Filtrování registrovaných funkcí s daným názvem databáze ve funkcích seznamu
    • [SPARK-38762][SQL] Zadání kontextu dotazu v chybách přetečení desetinných míst
    • [SPARK-38931][SS] Vytvoření kořenového adresáře dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu
    • [SPARK-38992][JÁDRO] Nepoužívejte bash -c v ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Poskytnutí kontextu dotazu při chybě neexistujícího klíče mapy
    • [SPARK-38889][SQL] Kompilujte logické filtry sloupců tak, aby používaly bitový typ zdroje dat MSSQL.
    • [SPARK-38698][SQL] Poskytnout kontext dotazu při chybě za běhu u operací dělení, div, zbytek a Pmod
    • [SPARK-38823][SQL] Udělejte NewInstance nekompresní, aby se vyřešil problém s poškozením vyrovnávací paměti agregace
    • [SPARK-38809][SS] Implementujte možnost přeskočit null hodnoty v implementaci symetrických hash spojení stream-stream.
    • [SPARK-38676][SQL] Zadejte kontext dotazu SQL v chybové zprávě modulu runtime pro sčítání, odečítání nebo násobení.
    • [SPARK-38677][PYSPARK] Python MonitorThread by měl zjistit zablokování kvůli blokování vstupně-výstupních operací
    • Aktualizace zabezpečení operačního systému.
  • Last updated on