Sdílet prostřednictvím

Aktualizace údržby pro Databricks Runtime (archivované)

  • Článek

Tato archivovaná stránka obsahuje seznam aktualizací údržby vydaných pro verze Databricks Runtime, které se už nepodporují. Pokud chcete přidat aktualizaci údržby do existujícího clusteru, restartujte cluster.

Důležité

Tato dokumentace byla vyřazena a nemusí být aktualizována. Produkty, služby nebo technologie uvedené v tomto obsahu dosáhly konce podpory. Viz poznámky k verzi databricks Runtime a verze kompatibility.

Poznámka:

Tento článek obsahuje odkazy na seznam povolených termínů, což je termín, který Azure Databricks nepoužívá. Až bude tento termín ze softwaru odstraněn, odstraníme ho i z tohoto článku.

Verze Databricks Runtime

Aktualizace údržby podle verze:

Aktualizace údržby v podporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby Databricks Runtime.

Databricks Runtime 15.1

Viz Databricks Runtime 15.1 (EoS).

  • 22. října 2024
    • [SPARK-49863][SQL] Oprava NormalizeFloatingNumbers pro zachování nullability vnořených struktur
    • [SPARK-46632][SQL] Oprava odstranění dílčího výrazu, pokud ekvivalentní ternární výrazy mají různé podřízené výrazy
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • [SPARK-49829] Úprava optimalizace přidávání vstupu do úložiště stavů ve spojení stream-stream (oprava správnosti)
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
    • [SPARK-49688][CONNECT] Oprava datového závodu mezi přerušením a spuštěním plánu
    • [SPARK-49743][SQL] Při vyprázdnění GetArrayStructFields by optimizecsvJsonExpr nemělo měnit pole schématu.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Klasifikovat třídu error pro chybu uživatelské funkce FlatMapGroupsWithState
    • Aktualizace zabezpečení operačního systému.
  • 25. září 2024
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-48719][SQL] Oprava chyby výpočtu regrSlope & RegrIntercept při prvním parametru s hodnotou null
    • [SPARK-49492][CONNECT] Pokus o opětovné připojení k neaktivnímu executionHolderu
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Zadejte ID relace na straně serveru prostřednictvím příkazu ReattachExecute.
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49336][CONNECT] Omezení úrovně vnoření při zkrácení zprávy protobuf
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
    • [SPARK-49409][CONNECT] Úprava výchozí hodnoty CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-49366][CONNECT] Zacházení s uzlem Sjednocení jako s listem v rozlišení sloupce datového rámce
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
    • [SPARK-48862][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
  • 14. srpna 2024
    • [SPARK-48941][SPARK-48970] Opravy zapisovače backportu ML / čtečky
    • [SPARK-48050][SS] Log logical plan at query start
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-49047][PYTHON][CONNECT] Zkrácení zprávy pro protokolování
    • [SPARK-48740][SQL] Zachytávání chyby chybějící specifikace okna v rané fázi
  • 1. srpna 2024
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Na výpočetních prostředcích konfigurovaných v režimu sdíleného přístupu mají dávky Kafka čtení a zápisy teď stejná omezení jako vynucovaná pro strukturované streamování. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-48544][SQL] Snížení zatížení paměti prázdných bitových sad TreeNode
    • [SPARK-46957][JÁDRO] Vyřazení migrovanýchsouborůch
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • [SPARK-48713][SQL] Přidání kontroly rozsahu indexu pro NezabezpečenéRow.pointTo, pokud je baseObject bajtové pole
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Opravy zapisovače Spark ML v backportu
    • [SPARK-48810][CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
    • [SPARK-48873][SQL] Použití nezabezpečeného V analyzátoru JSON
    • [SPARK-48934][SS] Nesprávně převedené typy data a času Pythonu pro nastavení časového limitu v applyInPandasWithState
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • [SPARK-48889][SS] testStream pro uvolnění úložišť stavů před dokončením
    • [SPARK-48047][SQL] Snížení zatížení paměti prázdných značek TreeNode
    • [SPARK-48463] Nastavení stringIndexeru podporujících vnořené vstupní sloupce
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • Na bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy je ve výchozím nastavení povolený režim ANSI SQL. Viz podporované konfigurační parametry Sparku.
    • Pokud chcete při čtení dat ignorovat neplatné oddíly, zdroje dat založené na souborech, jako jsou Parquet, ORC, CSV nebo JSON, můžete nastavit možnost ignorovat Zdroj dat IgnoreInvalidPartitionPaths na true. Příklad: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Můžete také použít konfiguraci SQL spark.sql.files.ignoreInvalidPartitionPaths. Možnost zdroje dat má však přednost před konfigurací SQL. Toto nastavení je ve výchozím nastavení false.
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-47463][SQL] Použití V2Predicate k zabalení výrazu s návratovým typem logické hodnoty
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48566][PYTHON] Oprava chyby, kdy jsou indexy oddílů nesprávné, když funkce UDTF analyze() používá metodu select i partitionColumns
    • [SPARK-48648][PYTHON][CONNECT] Správné nastavení SparkConnectClient.značek threadlocal
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48252][SQL] Aktualizace CommonExpressionRef v případě potřeby
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48294][SQL] Zpracování malých písmen v nestedTypeMissingElementTypeError
    • [SPARK-48286] Oprava analýzy sloupce s výchozím výrazem – Přidání chyby, ke které dochází uživatelům
    • [SPARK-47309][SQL] XML: Přidání testů odvozování schématu pro značky hodnot
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • applyInPandasWithState() je k dispozici ve sdílených clusterech.
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48310][PYTHON][CONNECT] Vlastnosti uložené v mezipaměti musí vracet kopie.
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47764][JÁDRO][SQL] Vyčištění závislostí náhodného prohazu na základě shuffleCleanupMode
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
    • Opravili jsme chybu ve funkci try_divide(), kdy vstupy obsahující desetinné čárky způsobily neočekávané výjimky.
    • [SPARK-48173][SQL] KontrolaAnalysis by měla vidět celý plán dotazu.
    • [SPARK-48016][SQL] Oprava chyby ve funkci try_divide v případě desetinných míst
    • [SPARK-48105][SS] Oprava stavu časování mezi uvolněním úložiště stavu a snímkováním
    • [SPARK-48197][SQL] Vyhněte se chybě assert pro neplatnou funkci lambda
    • [SPARK-48180][SQL] Zlepšení chyby, když volání UDTF s funkcí TABLE arg zapomene závorky kolem více výrazů PARTITION/ORDER BY
    • [SPARK-48014][SQL] Změna chyby makeFromJava v EvaluatePython na chybu zobrazenou uživateli
    • [SPARK-48056][CONNECT][PYTHON] Opětovné spuštění plánu, pokud se vyvolá chyba SESSION_NOT_FOUND a nebyla přijata žádná částečná odpověď
    • [SPARK-48146][SQL] Oprava agregační funkce ve výrazu podřízený kontrolní výraz
    • [SPARK-47994][SQL] Oprava chyby s odsdílením filtru sloupců CASE WHEN v SQLServeru
    • Aktualizace zabezpečení operačního systému.
  • 9. května 2024
    • [SPARK-47543][CONNECT][PYTHON] Odvození diktování jako MapType z datového rámce Pandas za účelem povolení vytváření datového rámce
    • [SPARK-47739][SQL] Registrace logického typu avro
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Přidání spark.sql.execution.arrow.pyspark.fallback.enabled do nepodporovaného seznamu
    • [SPARK-48010][SQL] Vyhněte se opakovaným voláním conf.resolver v resolveExpression
    • [SPARK-47941] [SS] [Připojit] Šíření chyb inicializace pracovních procesů ForeachBatch uživatelům pro PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Pro vyčištění provádění použijte asynchronní zpětné volání.
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-47839][SQL] Oprava agregační chyby v rewriteWithExpression
    • [SPARK-48018][SS] Oprava hodnoty null groupId způsobující chybu chybějícího parametru při vyvolání kafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47907][SQL] Umístěte bang pod konfiguraci.
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • [SPARK-47986][CONNECT][PYTHON] Nelze vytvořit novou relaci, pokud je výchozí relace uzavřena serverem.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 15.0

Viz Databricks Runtime 15.0 (EoS)

  • 30. května 2024
  • 25. dubna 2024
    • [SPARK-47786] SELECT DISTINCT () by se neměl stát select DISTINCT struct() (vrátit se k předchozímu chování).
    • [SPARK-47802][SQL] Vrátit () ze struktury významu() zpět ke významu *
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-47722] Před zavřením počkejte, než se dokončí práce na pozadí RocksDB.
    • [SPARK-47081][CONNECT][SLEDOVAT] Zlepšení použitelnosti obslužné rutiny průběhu
    • [SPARK-47694][CONNECT] Nastavení maximální velikosti zprávy na straně klienta
    • [SPARK-47669][SQL][CONNECT][PYTHON] Přidat Column.try_cast
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-15.0] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
    • [SPARK-47818][CONNECT][Cherry-pick-15.0] Zavedení mezipaměti plánu ve SparkConnectPlanneru za účelem zlepšení výkonu žádostí Analyzovat
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47755][CONNECT] Kontingenční tabulka by měla selhat, pokud je počet jedinečných hodnot příliš velký
    • [SPARK-47713][SQL][CONNECT] Oprava selhání samoobslužného připojení
    • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
    • [SPARK-47862][PYTHON][CONNECT]Oprava generování souborů proto
    • [SPARK-47800][SQL] Vytvoření nové metody pro převod identifikátoru na tableIdentifier
    • Aktualizace zabezpečení operačního systému.
  • 3. dubna 2024
    • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou funkce PySpark UDF ve sdílených clusterech nyní odpovídat chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterů. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
      • Funkce definované uživatelem s návratovým typem string už implicitně nepřevádějí hodnoty na stringstring hodnoty. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
      • UDF s návratovými timestamp typy již implicitně nepoužijí převod s timestamp timezone.
      • Konfigurace clusteru spark.databricks.sql.externalUDF.* Spark se už nevztahují na uživatelem definované funkce PySpark ve sdílených clusterech.
      • Konfigurace spark.databricks.safespark.externalUDF.plan.limit clusteru Spark už nemá vliv na uživatelem definované funkce PySpark a odebere omezení verze Public Preview 5 definovaných uživatelem na dotaz pro uživatelem definované uživatelem PySpark.
      • Konfigurace spark.databricks.safespark.sandbox.size.default.mib clusteru Spark už neplatí pro uživatelem definované funkce PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
    • Datový TimestampNTZ typ se teď podporuje jako sloupec clusteringu s clusteringem s clusteringem liquid. Viz Použití liquid clusteringu pro tabulky Delta.
    • [SPARK-47218][SQL] XML: Ignorování značek okomentovaných řádků v tokenizátoru XML
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • [SPARK-47033][SQL] Oprava příkazu EXECUTE IMMEDIATE USING nerozpozná názvy proměnných relace
    • [SPARK-47368][SQL] Odebrání konfigurace inferTimestampNTZ v parquetRowConverter
    • [SPARK-47561][SQL] Oprava problémů s pořadím pravidel analyzátoru u aliasu
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • [SPARK-46906][BACKPORT][SS] Přidání změny stavového operátoru pro streamování
    • [SPARK-47569][SQL] Nepovoluje porovnání varianty.
    • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
    • [SPARK-47218] [SQL] XML: Změna schématuOfXml na selhání v režimu DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded by měl identifikátor uvozovek začíná číslicemi
    • [SPARK-47009][SQL][Kolace] Povolení podpory vytváření tabulek pro kolaci
    • [SPARK-47322][PYTHON][CONNECT] Zdvojování withColumnsRenamed názvů sloupců konzistentně withColumnRenamed
    • [SPARK-47544][PYTHON] Metoda SparkSession Builder není kompatibilní s intellisense editoru Visual Studio Code
    • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning ID
    • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
    • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
    • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
    • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-47380][CONNECT] Ujistěte se, že na straně serveru je sparksession stejný.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.2

Viz Databricks Runtime 14.2 (EoS).

  • 22. října 2024
    • [SPARK-49782][SQL] Pravidlo ResolveDataFrameDropColumns překládá unresolvedAttribute s podřízeným výstupem.
    • [SPARK-49905] Použití vyhrazeného shuffleOrigin pro stavový operátor, aby se zabránilo úpravě náhodného náhodného prohazování z AQE
    • Aktualizace zabezpečení operačního systému.
  • 10. října 2024
  • 25. září 2024
    • [SPARK-48719][SQL] Opravte chybu výpočtu regrS...
    • [SPARK-49628][SQL] Funkce ConstantFolding by měla před vyhodnocením zkopírovat stavový výraz.
    • [SPARK-49000][SQL] Oprava "select count(distinct 1) from t", kde t je prázdná tabulka rozbalením RewriteDistinctAggregates
    • [SPARK-43242][JÁDRO] Oprava způsobující neočekávaný typ BlockId při diagnostice poškození náhodného prohazování
    • [SPARK-46601] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
    • Aktualizace zabezpečení operačního systému.
  • 17. září 2024
    • [SPARK-49526][CONNECT] Podpora cest ve stylu Windows v ArtifactManageru
  • 29. srpna 2024
    • [SPARK-49263][CONNECT] Klient Spark Connect v Pythonu: Konzistentně zpracovává logické možnosti čtečky datového rámce
    • [SPARK-49146][SS] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
    • [SPARK-49056][SQL] ErrorClassesJsonReader nemůže správně zpracovat hodnotu null
  • 14. srpna 2024
    • [SPARK-48050][SS] Log logical plan at query start
    • [SPARK-48597][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
    • [SPARK-49065][SQL] Opětovné použití starších formátovacích nástrojů nebo analyzátorů musí podporovat jiné než výchozí časová pásma JVM.
    • [SPARK-48706][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
  • 1. srpna 2024
    • Tato verze obsahuje opravu chyb pro třídy ColumnVector a ColumnarArray třídy v rozhraní Spark Java. Před touto opravou ArrayIndexOutOfBoundsException může být vyvolán nebo vrácena nesprávná data, pokud instance jedné z těchto tříd obsahovala null hodnoty.
    • Výstup příkazu SHOW CREATE TABLE teď zahrnuje všechny filtry řádků nebo masky sloupců definované v materializovaném zobrazení nebo streamované tabulce. Viz SHOW CREATE TABLE. Další informace o filtrech řádků a maskách sloupců najdete v tématu Filtrování citlivých dat tabulky pomocí filtrů řádků a masek sloupců.
    • [SPARK-47202][PYTHON] Oprava překlepu způsobující datum a časy pomocí tzinfo
    • [SPARK-48705][PYTHON] Explicitní použití worker_main při spuštění s pyspark
    • Aktualizace zabezpečení operačního systému.
  • 11. července 2024
    • (Změna chování) Datové rámce uložené v mezipaměti se zdroji tabulek Delta nyní zneplatní, pokud je zdrojová tabulka přepsána. Tato změna znamená, že všechny změny stavu tabulek Delta teď zneplatní výsledky uložené v mezipaměti. Slouží .checkpoint() k zachování stavu tabulky po celou dobu životnosti datového rámce.
    • Ovladač Snowflake JDBC je aktualizován na verzi 3.16.1.
    • Tato verze obsahuje opravu problému, který zabránil správnému zobrazení karty Prostředí uživatelského rozhraní Sparku při spuštění ve službě Databricks Container Services.
    • [SPARK-48292][JÁDRO] Návrat [SPARK-39195][SQL] Spark OutputCommitCoordinator by měl přerušit fázi, pokud potvrzený soubor není konzistentní se stavem úlohy.
    • [SPARK-48273][SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier
    • [SPARK-48503][SQL] Opravaneplatných
    • [SPARK-48481][SQL][SS] Nepoužívejte OptimalOneRowPlan pro streamovací datovou sadu
    • [SPARK-48475][PYTHON] Optimalizace _get_jvm_function v PySparku
    • [SPARK-48100][SQL] Oprava problémů při vynechání vnořených polí struktury, která nejsou vybraná ve schématu
    • [SPARK-48445][SQL] Nezasílejte uživatelem definované uživatelem s drahými dětmi
    • [SPARK-48383][SS] Vyvolání lepší chyby pro neshodované oddíly v možnosti startOffset v Kafka
    • Aktualizace zabezpečení operačního systému.
  • 17. června 2024
    • Opravili jsme chybu, kdy optimalizace pořadí oken pomocí sady Photon TopK nesprávně zpracovávala oddíly s strukturami.
    • [SPARK-48276][PYTHON][CONNECT] Přidání chybějící __repr__ metody pro SQLExpression
    • [SPARK-48277] Zlepšení chybové zprávy pro ErrorClassesJsonReader.getErrorMessage
    • Aktualizace zabezpečení operačního systému.
  • 21. května 2024
  • 9. května 2024
    • [SPARK-48044][PYTHON][CONNECT] Mezipaměť DataFrame.isStreaming
    • [SPARK-47956][SQL] Kontrola sanity pro nevyřešený odkaz LCA
    • [SPARK-47371] [SQL] XML: Ignorování značek řádků nalezených v CDATA
    • [SPARK-47812][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
    • [SPARK-47895][SQL] seskupit podle všech by měl být idempotentní.
    • [SPARK-47973][JÁDRO] Web volání protokolu ve SparkContext.stop() a novější ve SparkContext.assertNotStopped()
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2024
    • [SPARK-47704][SQL] Analýza JSON selže s chybou java.lang.ClassCastException při povolení spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite selhání s neplatným plánem
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2024
    • [SPARK-47309][SQL][XML] Přidání testů jednotek odvození schématu
    • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
    • [SPARK-47638][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
    • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
    • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
    • Aktualizace zabezpečení operačního systému.
  • 1. dubna 2024
    • [SPARK-47322][PYTHON][CONNECT] Zdvojování withColumnsRenamed názvů sloupců konzistentně withColumnRenamed
    • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
    • [SPARK-47070] Oprava neplatné agregace po přepsání poddotazů
    • [SPARK-47218] [SQL] XML: Změna schématuOfXml na selhání v režimu DROPMALFORMED
    • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
    • [SPARK-47218][SQL] XML: Ignorování značek okomentovaných řádků v tokenizátoru XML
    • Vrátit zpět "[SPARK-46861][CORE] Vyhněte se zablokování v DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded by měl identifikátor uvozovek začíná číslicemi
    • [SPARK-47368][SQL] Odebrání konfigurace inferTimestampNTZ v parquetRowConverter
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2024
    • [SPARK-47035][SS][CONNECT] Protokol pro naslouchací proces na straně klienta
    • [SPARK-47121][JÁDRO] Vyhněte se odmítnutíExecutionExceptions během vypnutí StandaloneSchedulerBackend
    • [SPARK-47145][SQL] Předání identifikátoru tabulky do kontroly zdroje dat řádku pro strategii V2
    • [SPARK-47176][SQL] Mít pomocnou funkci ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Přidání konkrétní třídy pro anonymní vztah JDBC
    • [SPARK-47129][CONNECT][SQL] Správné nastavení ResolveRelations plánu připojení k mezipaměti
    • [SPARK-47044][SQL] Přidání spuštěného dotazu pro externí zdroje dat JDBC pro vysvětlení výstupu
    • Aktualizace zabezpečení operačního systému.
  • 29. února 2024
    • Opravili jsme problém, kdy použití místní kolekce jako zdroje v příkazu MERGE mohlo vést k tomu, že metrika numSourceRows hlásí dvakrát správný počet řádků.
    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění SELECT a MODIFY pro LIBOVOLNÝ SOUBOR.
    • Teď můžete ingestovat soubory XML pomocí automatického zavaděče, read_files, COPY INTO, DLT a DBSQL. Podpora souborů XML může automaticky odvodit a vyvíjet schéma, ukládat data s neshodami typů, ověřovat XML pomocí XSD, podporovat výrazy SQL, jako jsou from_xml, schema_of_xml a to_xml. Další podrobnosti najdete v podpoře souborů XML. Pokud jste dříve používali externí balíček spark-xml, projděte si pokyny k migraci tady .
    • [SPARK-46954][SQL] XML: Zabalení inputStreamReader s bufferedReader
    • [SPARK-46630][SQL] XML: Ověření názvu elementu XML při zápisu
    • [SPARK-46248][SQL] XML: Podpora pro ignoreCorruptFiles a ignorovat MožnostiMissingFiles
    • [SPARK-46954][SQL] XML: Optimalizace vyhledávání indexu schématu
    • [SPARK-47059][SQL] Připojit kontext chyby pro příkaz ALTER COLUMN v1
    • [SPARK-46993][SQL] Oprava skládání konstant pro proměnné relace
  • 8. února 2024
    • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Tabulky streamování katalogu Unity podporují dotazy CDF na tabulky mimoAPPLY CHANGES tabulky v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
    • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
    • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
    • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
    • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46382] XML: Aktualizace dokumentu pro ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Zachytávání hodnot interspersed mezi elementy.
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • Vrátit zpět [SPARK-46769] Upřesnit časové razítko související s odvozováním schématu.
    • [SPARK-46677] Opravte dataframe["*"] řešení.
    • [SPARK-46382] XML: Výchozí ignorovatSurroundingSpaces na true.
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-45964] Odeberte privátní přístupové objekty SQL v balíčku XML a JSON v rámci balíčku s katalyzátorem.
    • [SPARK-46581] Komentář k aktualizaci jeZero v akumulátoruV2.
    • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46660] ReattachExecute requests updates aliveness of SessionHolder.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
    • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
    • [SPARK-46769] Upřesněte odvození schématu související s časovým razítkem.
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-45962] Místo toho odeberte treatEmptyValuesAsNulls a použijte nullValue možnost v JAZYCE XML.
    • [SPARK-46541] Opravte nejednoznačný odkaz na sloupec ve spojení sebe sama.
    • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46261] DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
    • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Pokud chcete opravit chybu správnosti, zakažte poddotazy s korelovaným posunem.
    • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML
    • [SPARK-46602] allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-46153] XML: Přidání podpory TimestampNTZType
    • [SPARK-46056][BACKPORT] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
    • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
    • [SPARK-46260] DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46036] Odebrání třídy chyb z funkce raise_error
    • [SPARK-46294] Vyčistěte sémantiku inicializační hodnoty vs. nula.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46241] Opravte rutinu zpracování chyb, aby nepřešla do nekonečné rekurze.
    • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46265] Kontrolní výrazy v addArtifact RPC činí klienta pro připojení nekompatibilní se staršími clustery.
    • [SPARK-46308] Zakázat rekurzivní zpracování chyb.
    • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
  • 14. prosince 2023
    • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
    • [SPARK-45730] Načtěte reloadingX509TrustManagerSuite méně flaky.
    • [SPARK-45852] Během protokolování můžete bez problémů řešit chybu rekurze.
    • [SPARK-45808] Lepší zpracování chyb pro výjimky SQL
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • Vraťte se na [SPARK-45649] Sjednocení architektury přípravy pro OffsetWindowFunctionFrame".
    • [SPARK-45733] Podpora více zásad opakování
    • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Connect
    • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
    • [SPARK-45905] Nejméně společný typ mezi desetinnými typy by měl jako první zachovat integrální číslice.
    • [SPARK-45136] Vylepšení uzavřeníCleaner s podporou Ammonite.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-45859] Nastavit objekty UDF v ml.functions opožděně.
    • [SPARK-46028] Přijměte Column.__getitem__ vstupní sloupec.
    • [SPARK-45798] Id relace na straně serveru.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-45770] Zavést plán DataFrameDropColumns pro Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementaci a vazby pro Python, připojení a SQL.
    • [SPARK-45851] Podpora více zásad v klientovi scala
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Klient Pythonu pro Spark Connect teď zachytává chyby rekurze během převodu textu.
    • [SPARK-45808] Vylepšené zpracování chyb pro výjimky SQL
    • [SPARK-45920] GROUP BY pořadové číslo není nahrazeno pořadovým pořadovým řádem.
    • Vrátit [SPARK-45649].
    • [SPARK-45733] Přidání podpory pro více zásad opakování
    • [SPARK-45509] Opravili jsme df chování odkazu na sloupce pro Spark Connect.
    • [SPARK-45655] Povolit ne deterministické výrazy uvnitř AggregateFunctions souboru CollectMetrics.
    • [SPARK-45905] Nejmenší společný typ mezi desetinnými typy nyní zachovává integrální číslice jako první.
    • [SPARK-45136] Vylepšení ClosureCleaner pomocí podpory Ammonite
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-46028] Column.__getitem__ přijímá vstupní sloupce.
    • [SPARK-45798] Id relace na straně serveru.
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
    • [SPARK-45770] Opravené rozlišení sloupců pro DataFrameDropColumns Dataframe.drop.
    • [SPARK-44790] Přidání to_xml implementace a vazeb pro Python, Spark Connect a SQL
    • [SPARK-45851] Přidání podpory více zásad v klientovi Scala
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.0

Viz Databricks Runtime 14.0 (EoS).

  • 8. února 2024
    • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
    • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
    • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
    • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
    • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
    • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
    • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
    • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
    • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2024
    • [SPARK-46541] Opravte nejednoznačný odkaz na sloupec ve spojení sebe sama.
    • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
    • [SPARK-46769] Upřesněte odvození schématu související s časovým razítkem.
    • [SPARK-45498] Sledování: Přeskočení dokončení úkolu ze starých pokusů o fázi
    • Vrátit zpět [SPARK-46769] Upřesnit časové razítko související s odvozováním schématu.
    • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
    • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
    • [SPARK-46677] Opravte dataframe["*"] řešení.
    • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
    • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
    • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
    • Aktualizace zabezpečení operačního systému.
  • 17. ledna 2024
    • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
    • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
    • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
    • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
    • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
    • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
    • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
    • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
    • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
    • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
    • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
    • [SPARK-46261] DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
    • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
    • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
    • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
    • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
    • [SPARK-46602] allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
    • [SPARK-46260] DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
    • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • 14. prosince 2023
    • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
    • [SPARK-46255] Podpora komplexního typu –> převod řetězců
    • [SPARK-46028] Přijměte Column.__getitem__ vstupní sloupec.
    • [SPARK-45920] skupina podle řad by měla být idempotentní.
    • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
    • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Connect
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2023
    • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • Při ingestování dat CSV pomocí automatického zavaděče nebo streamovaných tabulek jsou teď velké soubory CSV rozdělené a je možné je zpracovávat paralelně během odvozování schématu i zpracování dat.
    • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • Vrátit [SPARK-45592].
    • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
    • [SPARK-45592] Opravili jsme problém s správností v AQE s InMemoryTableScanExec.
    • [SPARK-45620] Rozhraní API související s uživatelem definovaného uživatelem Pythonu teď používají camelCase.
    • [SPARK-44784] Bylo provedeno testování hermetiky SBT.
    • [SPARK-45770] Opravené rozlišení sloupců pro DataFrameDropColumns Dataframe.drop.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • Aktualizace zabezpečení operačního systému.
  • 10. listopadu 2023
    • Změněné dotazy datového kanálu v tabulkách streamování katalogu Unity a materializovaných zobrazeních tak, aby zobrazovaly chybové zprávy.
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-44219] Přidání dalších ověření podle pravidel pro přepsání optimalizace
    • [SPARK-45543] Opravili jsme problém, kdy InferWindowGroupLimit se vygenerovala chyba, pokud ostatní funkce okna nemají stejný rámec okna jako funkce podobné pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 23. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • [SPARK-45396] Přidání položky dokumentu pro PySpark.ml.connect modul a přidání Evaluator na __all__ ml.connect
    • [SPARK-45256] Opravili jsme problém, kdy DurationWriter se při zápisu více hodnot než počáteční kapacity nezdařilo.
    • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
    • [SPARK-45250] Přidání podpory pro profil prostředků úloh na úrovni fáze pro clustery yarn, když je dynamické přidělování vypnuté.
    • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
    • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
    • [SPARK-45386] Opravili jsme problém, kdy StorageLevel.NONE se nesprávně vrátilo číslo 0.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert hodnotu true.
    • Azure Databricks už neignoruje poškozené soubory, pokud je povolené odvozování schématu CSV s automatickým ignoreCorruptFileszavaděčem .
    • [SPARK-45227] Opravili jsme drobný problém s bezpečností vláken.CoarseGrainedExecutorBackend
    • [SPARK-44658] ShuffleStatus.getMapStatus by měla vrátit None místo Some(null).
    • [SPARK-44910] Encoders.bean nepodporuje supertřídy s argumenty obecného typu.
    • [SPARK-45346] Odvozování schématu Parquet respektuje příznaky citlivé na malá a velká písmena při slučování schématu.
    • Vrátit [SPARK-42946].
    • [SPARK-42205] Aktualizovali jsme protokol JSON tak, aby odebral protokolování Accumulables v událostech zahájení úkolu nebo fáze.
    • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
    • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
    • [SPARK-44909] Pokud není k dispozici, přeskočte spuštění serveru streamování protokolu torch distributora.
    • [SPARK-45084] StateOperatorProgress nyní používá přesné číslo oddílu náhodného náhodného prohazu.
    • [SPARK-45371] Opravili jsme problémy se stínováním v klientovi Scala pro Spark Connect.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-44840] Vytvořte array_insert() 1 pro záporné indexy.
    • [SPARK-44551] Upravované komentáře pro synchronizaci s operačním systémem
    • [SPARK-45078] Funkce ArrayInsert nyní vytvoří explicitní přetypování, pokud se typ prvku nerovná odvozeného typu komponenty.
    • [SPARK-45339] PySpark teď protokoluje chyby opakování.
    • [SPARK-45057] Vyhněte se získání zámku čtení, pokud keepReadLock je false.
    • [SPARK-44908] Byla opravena funkce paramu křížového validátoru foldCol .
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.1

Viz Databricks Runtime 13.1 (EoS).

  • 29. listopadu 2023
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-43802] Opravili jsme problém, kdy kódgen pro výrazy unhex a unbase64 selhal.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • Změněné dotazy datového kanálu v tabulkách streamování katalogu Unity a materializovaných zobrazeních tak, aby zobrazovaly chybové zprávy.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
    • Vrátit [SPARK-42946].
    • [SPARK-45346] Odvozování schématu Parquet teď při slučování schématu respektuje příznak rozlišující malá a velká písmena.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • Už se při odvozování schématu CSV s automatickým zavaděčem nebude ignorovat poškozené soubory ignoreCorruptFiles .
    • [SPARK-44658] ShuffleStatus.getMapStatus vrátí None místo Some(null).
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-42205] Aktualizovali jsme protokol JSON tak, aby odebral protokolování Accumulables v událostech zahájení úkolu nebo fáze.
    • Aktualizace zabezpečení operačního systému.
  • 12. září 2023
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • Spark-44878 Vypnul přísný limit pro RocksDB správce zápisu, aby se zabránilo výjimce vložení do mezipaměti dokončeno.
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44871] Opravili jsme chování percentile_disc.
    • [SPARK-44714] Snadné omezení překladu LCA v souvislosti s dotazy.
    • [SPARK-44245] PySpark.sql.dataframe sample() Testy dokumentu jsou teď ilustrativní.
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44643] Opraveno Row.__repr__ , když je řádek prázdný.
    • [SPARK-44504] Úloha údržby teď vyčistí načtené poskytovatele při chybě zastavení.
    • [SPARK-44479] Oprava protobuf převodu z prázdného typu struktury
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
    • Různé opravy.
  • 27. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199] CacheManager už se zbytečně neaktualizuje fileIndex .
    • [SPARK-44448] Opravili jsme chybnou chybu výsledků z DenseRankLimitIterator a InferWindowGroupLimit.
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • Vrátit [SPARK-42323].
    • [SPARK-41848] Opravili jsme problém s přeplánem úkolu s TaskResourceProfile.
    • [SPARK-44136] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
    • [SPARK-44337] Opravili jsme problém, kdy jakákoli sada Any.getDefaultInstance polí způsobovala chyby analýzy.
    • Aktualizace zabezpečení operačního systému.
  • 27. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Analyzátor JSON v failOnUnknownFields režimu teď záznam zahodí v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • Pole PubSubRecord atributů je uloženo jako JSON místo řetězce z mapy Scala pro jednodušší serializaci a deserializaci.
    • Příkaz EXPLAIN EXTENDED teď vrátí způsobilost dotazu do mezipaměti výsledků.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • [SPARK-43032] Oprava chyby PythonU SQM
    • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43340] Zpracování chybějícího pole trasování zásobníku v protokolech událostí
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43541] Rozšíří všechny Project značky při překladu výrazů a chybějících sloupců.
    • [SPARK-43300] NonFateSharingCache obálka pro Guava Cache.
    • [SPARK-43378] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
    • [SPARK-42852] NamedLambdaVariable Vrátit související změny z EquivalentExpressions.
    • [SPARK-43779] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43413] Oprava IN možnosti null poddotaznosti ListQuery .
    • [SPARK-43889] Přidejte kontrolu názvu __dir__() sloupce pro filtrování názvů sloupců náchylných k chybám.
    • [SPARK-43043] Vylepšení výkonu MapOutputTracker.updateMapOutput
    • [SPARK-43522] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
    • [SPARK-43457] Uživatelský agent Augument s verzemi operačního systému, Pythonu a Sparku
    • [SPARK-43286] Aktualizace aes_encrypt režimu CBC pro generování náhodných IV.
    • [SPARK-42851] Stráž s EquivalentExpressions.addExpr() supportedExpression().
    • Vrátit [SPARK-43183].
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.2 LTS

Viz Databricks Runtime 12.2 LTS.

  • 29. listopadu 2023
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-42205] Odebrané protokolování je možné v Stage událostech a Task zahájit je.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-42553] Zajistěte alespoň jednu časovou jednotku po intervalu.
    • [SPARK-45346] Odvozování schématu Parquet respektuje příznak rozlišující malá a velká písmena při slučování schématu.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084] StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
  • 12. září 2023
    • [SPARK-44873] Přidání podpory pro alter view vnořené sloupce v klientovi Hive
    • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • [SPARK-44714] Zmírnění omezení překladu LCA v souvislosti s dotazy
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 29. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199] CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44337] Opravili jsme problém, kdy jakákoli sada Any.getDefaultInstance polí způsobovala chyby analýzy.
    • [SPARK-44136] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43156][SPARK-43098] Rozšířený skalární test počtu poddotazů s vypnutým vypnutým testem decorrelateInnerQuery počtu poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
    • [SPARK-43522] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
    • [SPARK-43541] Rozšíří všechny Project značky při překladu výrazů a chybějících sloupců.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43123] Interní metadata polí už nedochází k únikům do katalogů.
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42444] DataFrame.drop nyní zpracovává duplicitní sloupce správně.
    • [SPARK-42937] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-43286] Aktualizace aes_encrypt režimu CBC pro generování náhodných IV.
    • [SPARK-43378] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
  • 17. května 2023
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • Pokud byl soubor Avro přečtený pouze failOnUnknownFields\ s možností nebo automatickým zavaděčem v failOnNewColumns\ režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null\ místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn\ .
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorta Byte typy, pokud je jeden z těchto datových typů k dispozici, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje čtení typů intervalů jako typů kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
      • Zabraňuje typům čtení Decimal s nižší přesností.
    • [SPARK-43172] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-43293] __qualified_access_only se ignoruje v normálních sloupcích.
    • [SPARK-43098] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43085] Podpora přiřazení sloupců DEFAULT pro názvy tabulek s více částmi
    • [SPARK-43190] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • [SPARK-43192] Odebrání ověření znakové sady uživatelského agenta
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání IntegerShort, a Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datových typů sloupce, i když byly čitelné.
    • [SPARK-43009] Parametrizované sql() s Any konstantami
    • [SPARK-42406] Ukončení rekurzivních polí Protobuf přetažením pole
    • [SPARK-43038] Podpora režimu CBC podle aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
    • [SPARK-43018] Oprava chyby pro příkazy INSERT s literály časového razítka
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Řeší problém v chování %automatického načítání v poznámkových blocích mimo úložiště.
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42928] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42936] Opraví problém LCan, když je možné klauzuli vyřešit přímo podřízenou agregací.
    • [SPARK-42967] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.
  • 29. března 2023

    • Databricks SQL teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta Lake, a to buď při vytváření tabulky, nebo potom. Následující INSERTpříkazy , , UPDATEDELETEa MERGE příkazy mohou odkazovat na výchozí hodnotu libovolného sloupce pomocí explicitního DEFAULT klíčového slova. Kromě toho platí, že pokud má jakékoli INSERT přiřazení explicitní seznam méně sloupců než cílová tabulka, nahradí se výchozí hodnoty odpovídajících sloupců zbývajícím sloupcům (nebo null, pokud není zadána žádná výchozí hodnota).

      Příklad:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader teď zahájí alespoň jeden synchronní vyčištění protokolů RocksDB pro Trigger.AvailableNow streamy a zkontroluje, že kontrolní bod se může pravidelně vyčistit pro rychlé automatické zavaděče datových proudů. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte prostředí automatického zavaděče v budoucích spuštěních.

    • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury

    • [SPARK-42521] Přidání seznamů NUL pro insert s uživatelsky zadanými seznamy méně sloupců než cílová tabulka

    • [SPARK-42702][SPARK-42623] Podpora parametrizovaného dotazu v poddotazech a CTE

    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null

  • 8. března 2023
    • Chybová zpráva "Selhání inicializace konfigurace" byla vylepšena tak, aby poskytovala zákazníkovi více kontextu.
    • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
    • Od této verze je možné vytvořit nebo nahradit tabulku další vlastností delta.ignoreProtocolDefaults tabulky, která ignoruje konfigurace Sparku související s protokolem, která zahrnuje výchozí verze čtečky a zapisovací verze a funkce tabulek podporované ve výchozím nastavení.
    • [SPARK-42070] Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL
    • [SPARK-41793] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u významných desetinných míst
    • [SPARK-42484] Nebezpečná službaRowUtils – lepší chybová zpráva
    • [SPARK-42516] Při vytváření zobrazení vždy zachyťte konfiguraci časového pásma relace.
    • [SPARK-42635] Oprava výrazu TimestampAdd
    • [SPARK-42622] Vypnutí nahrazení v hodnotách
    • [SPARK-42534] Oprava klauzule DB2Dialect Limit
    • [SPARK-42121] Přidání předdefinovaných funkcí hodnot tabulky posexplode, posexplode_outer, json_tuple a zásobníku
    • [SPARK-42045] Režim ANSI SQL: Zaokrouhlení nebo Bround by mělo vrátit chybu u malého, malého nebo významného celočíselného přetečení
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.3 LTS

Viz Databricks Runtime 11.3 LTS.

  • 29. listopadu 2023
    • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • Vrátit [SPARK-33861].
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Různé opravy.
  • 13. října 2023
    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-45084] StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
    • [SPARK-45346] Odvozování schématu Parquet teď při slučování schématu respektuje příznak rozlišující malá a velká písmena.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2023
    • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199] CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.
  • 24. července 2023
    • [SPARK-44136] Opravili jsme problém, kdy StateManager mohl místo ovladače v FlatMapGroupsWithStateExec získat materializaci v exekutoru.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test chyby rozšířeného poddotazového poddotazu s decorrelateInnerQuery vypnutým.
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
    • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.

Databricks Runtime 10.4 LTS

Viz Databricks Runtime 10.4 LTS.

  • 29. listopadu 2023
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • [SPARK-45084] StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
    • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování se teď zobrazuje jako neúspěšné dotazy správně.
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test počtu rozšířených skalárních poddotazů s decorrelateInnerQuery vypnutým vypnutým.
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.
  • 17. května 2023
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • [SPARK-41520] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43190] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • [SPARK-42928] Proveďte resolvePersistentFunction synchronizaci.
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42937] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
  • 29. března 2023
    • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider
    • [SPARK-42635] Opravte ...
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2023
    • [SPARK-41162] Oprava anti-a polo-join pro samoobslužné spojení s agregacemi
    • [SPARK-33206] Oprava výpočtu váhy mezipaměti indexu náhodného prohazování u malých indexových souborů
    • [SPARK-42484] Vylepšená UnsafeRowUtils chybová zpráva
    • Různé opravy.
  • 28. února 2023
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
    • Uživatelé teď můžou číst a zapisovat konkrétní tabulky Delta vyžadující Čtečku verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • [SPARK-30220] Povolení použití poddotazů mimo uzel filtru
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
  • 18. ledna 2023
    • Konektor Azure Synapse vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • [SPARK-41199] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41198] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41339] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732] Použití vyřezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Byly přidány následující možnosti pro řízení zpracování prázdných znaků:
      • csvignoreleadingwhitespace, pokud je nastavena na truehodnotu , odebere počáteční prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastaveno na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • Opravili jsme problém s parsováním JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu se dá dál správně analyzovat místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults hodnotu true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
    • [SPARK-40292] Oprava názvů sloupců ve arrays_zip funkci při odkazování polí z vnořených struktur
    • Aktualizace zabezpečení operačního systému.
  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40697] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • [SPARK-40468] Opravte vyřezávání sloupců ve sdíleném svazku clusteru, když _corrupt_record je vybráno.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • Uživatelé můžou nastavit spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) a znovu povolit předdefinovaný výpis automatického zavaděče v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40213] Podpora převodu hodnot ASCII pro znaky latinky-1
    • [SPARK-40380] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-38404] Vylepšení překladu CTE, když vnořený CTE odkazuje na vnější CTE
    • [SPARK-40089] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
  • 6. září 2022
    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40218] SESKUPOVACÍ SADY by měly zachovat sloupce seskupení.
    • [SPARK-39976] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053] Přidání assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39983] Neupamějte neserializované vztahy vysílání na ovladači.
    • [SPARK-39775] Zakázání ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-37643] pokud je parametr charVarcharAsString pravdivý, měl by u dotazu predikát datového typu char přeskočit pravidlo rpadding.
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
    • [SPARK-39731] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39625] Přidání Dataset.as(StructType)
    • [SPARK-39689]Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39570] Vložená tabulka by měla umožňovat výrazy s aliasem
    • [SPARK-39702] Snížení režijních nákladů na paměť transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí/ dvojitou nebo celočíselnou hodnotu na plovoucí
    • [SPARK-38868] Nešíření výjimek z predikátu filtru při optimalizaci vnějších spojení
    • Aktualizace zabezpečení operačního systému.
  • 20. července 2022
    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39355] Jeden sloupec používá quoted k vytvoření UnresolvedAttribute
    • [SPARK-39548] Příkaz CreateView s dotazem klauzule okna stiskněte nesprávný problém s definicí okna
    • [SPARK-39419] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • [SPARK-39376] Skrytí duplicitních sloupců v rozšíření poddotazového aliasu z natural/USING JOIN
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2022
    • [SPARK-39283] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu
    • [SPARK-36718] Oprava vrácení se změnami sbalit isExtractOnly projekt
  • 2. června 2022
    • [SPARK-39093] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem
    • [SPARK-38990] Vyhněte se výjimce NullPointerException při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení paměti v automatickém zavaděče.
    • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-37593] Zmenšení výchozí velikosti stránky LONG_ARRAY_OFFSET, pokud se používají G1GC a ON_HEAP
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-32268] Přidání columnPruningu do injektážeBloomFilter
    • [SPARK-38974] Filtrování registrovaných funkcí s daným názvem databáze ve funkcích seznamu
    • [SPARK-38931] Vytvoření kořenového adresáře dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
    • Opravili jsme problém s nefunkčními knihovnami s vymezenými poznámkovými bloky v úlohách dávkového streamování.
    • [SPARK-38616] Sledování textu dotazu SQL ve Catalyst TreeNode
    • Aktualizace zabezpečení operačního systému.
  • 6. dubna 2022
    • V této verzi jsou nyní k dispozici následující funkce Spark SQL:
      • timestampadd() and dateadd(): Do výrazu časového razítka přidejte dobu trvání v zadané jednotce.
      • timestampdiff() and datediff(): Výpočet časového rozdílu mezi výrazy dvou časových razítek v zadané jednotce.
    • Parquet-MR byl upgradován na verzi 1.12.2
    • Vylepšená podpora komplexních schémat v souborech parquet
    • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v nástroji Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick tři timestmapadd/diff změny.
    • [SPARK-38523] Oprava odkazu na poškozený sloupec záznamu ze souboru CSV
    • [SPARK-38237] Povolit ClusteredDistribution vyžadování úplných klíčů clusteringu
    • [SPARK-38437] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 9.1 LTS

Viz Databricks Runtime 9.1 LTS.

  • 29. listopadu 2023
    • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
    • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
    • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
    • Aktualizace zabezpečení operačního systému.
  • 14. listopadu 2023
    • [SPARK-45545] SparkTransportConf dědí SSLOptions při vytváření.
    • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
    • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
    • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
    • [SPARK-45541] Přidáno SSLFactory.
    • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
    • Aktualizace zabezpečení operačního systému.
  • 24. října 2023
    • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
    • Aktualizace zabezpečení operačního systému.
  • 13. října 2023
    • Aktualizace zabezpečení operačního systému.
  • 10. září 2023
    • Různé opravy.
  • 30. srpna 2023
    • Aktualizace zabezpečení operačního systému.
  • 15. srpna 2023
    • Aktualizace zabezpečení operačního systému.
  • 23. června 2023
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2023
    • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
    • [SPARK-43156][SPARK-43098] Rozšíření testu chyb počtu poddotazů skalárních poddotazů s decorrelateInnerQuery vypnutým.
    • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
    • Aktualizace zabezpečení operačního systému.
  • 2. června 2023
    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-37520] startswith() Přidání funkcí a endswith() řetězců
    • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.
  • 17. května 2023
    • Aktualizace zabezpečení operačního systému.
  • 25. dubna 2023
    • Aktualizace zabezpečení operačního systému.
  • 11. dubna 2023
    • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
    • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
  • 29. března 2023
    • Aktualizace zabezpečení operačního systému.
  • 14. března 2023
    • [SPARK-42484] Vylepšená chybová zpráva pro UnsafeRowUtils.
    • Různé opravy.
  • 28. února 2023
    • Uživatelé teď můžou číst a zapisovat konkrétní tabulky Delta vyžadující Čtečku verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
  • 18. ledna 2023
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Opravili jsme problém s parsováním JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Různé opravy.
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit integrovaný výpis automatického zavaděče v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
    • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40089] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
  • 6. září 2022
    • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39666] Použití UnsafeProjection.create k respektu spark.sql.codegen.factoryMode ve výrazuEncoder
    • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
    • [SPARK-39689] Podpora 2 znaků lineSep ve zdroji dat CSV
    • [SPARK-39575] Přidáno ByteBuffer#rewind za ByteBuffer#get .AvroDeserializer
    • [SPARK-37392] Opravili jsme chybu výkonu pro optimalizátor katalyzátoru.
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • [SPARK-39419] ArraySort vyvolá výjimku, pokud srovnávací program vrátí hodnotu null.
    • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 15. června 2022
    • [SPARK-39283] Opravte vzájemné zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
  • 2. června 2022
    • [SPARK-34554] Implementujte metodu copy() v ColumnarMap.
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravili jsme potenciální nevracení paměti v automatickém zavaděče.
    • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
    • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext zastavení iterátoru při dokončení úkolu
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy.
  • 6. dubna 2022
    • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v nástroji Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s podporou řízení přístupu k tabulce nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byla /databricks/driverslužba Active Directory .
    • [SPARK-38437] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
  • 14. března 2022
    • [SPARK-38236] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
    • [SPARK-34069] Přeruší vlákno úkolu, pokud je místní vlastnost SPARK_JOB_INTERRUPT_ON_CANCEL nastavena na true.
  • 23. února 2022
    • [SPARK-37859] Tabulky SQL vytvořené pomocí JDBC se Sparkem 3.1 se nedají číst pomocí Sparku 3.2.
  • 8. února 2022
    • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme problém, kdy se souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek potvrdit v ne serializovatelném pořadí.
    • Opravili jsme problém, kdy OPTIMIZE příkaz mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Menší opravy a vylepšení zabezpečení
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2021
    • Opravili jsme problém, který mohl způsobit selhání datových proudů strukturovaného streamování s chybou ArrayIndexOutOfBoundsException.
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
    • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
  • 20. října 2021
    • Upgradovali jsme konektor BigQuery z verze 0.18.1 na 0.22.2. Tím se přidá podpora pro typ BigNumeric.

Databricks Runtime 13.0 (EoS)

Viz Databricks Runtime 13.0 (EoS).

  • 13. října 2023

    • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
    • [SPARK-42553][SQL] Zajistěte alespoň jednu časovou jednotku po intervalu.
    • [SPARK-45178] Návrat ke spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
    • [SPARK-44658][JÁDRO] ShuffleStatus.getMapStatus vrátí None místo Some(null).
    • [SPARK-42205][JÁDRO] Odeberte protokolování accumulables in Task/Stage start events in JsonProtocol.
    • Aktualizace zabezpečení operačního systému.

  • 12. září 2023

    • [SPARK-44485][SQL] Optimalizovat TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
    • Různé opravy chyb

  • 30. srpna 2023

    • [SPARK-44818][Backport] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
    • [SPARK-44714] Snadné omezení překladu LCA v souvislosti s dotazy.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests je teď ilustrativní.
    • [SPARK-44871][11.3-13.0][SQL] Opravené percentile_disc chování.
    • Aktualizace zabezpečení operačního systému.

  • 15. srpna 2023

    • [SPARK-44643][SQL][PYTHON] Opravte Row.__repr__ , když je řádek prázdný.
    • [SPARK-44504][Backport] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
    • [SPARK-44479][CONNECT][PYTHON] Oprava protobuf převodu z prázdného typu struktury
    • [SPARK-44464][SS] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
    • Různé opravy chyb

  • 29. července 2023

    • Opravili jsme chybu, která dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , když volala cestu k umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
    • [SPARK-44199] CacheManager už se zbytečně neaktualizuje fileIndex .
    • Aktualizace zabezpečení operačního systému.

  • 24. července 2023

    • [SPARK-44337][PROTOBUF] Opravili jsme problém, kdy jakákoli sada Any.getDefaultInstance polí způsobovala chyby analýzy.
    • [SPARK-44136] [SS] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
    • Vrátit [SPARK-42323][SQL] Přiřadit název _LEGACY_ERROR_TEMP_2332.
    • Aktualizace zabezpečení operačního systému.

  • 23. června 2023

    • Aktualizace zabezpečení operačního systému.

  • 15. června 2023

    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43156][SPARK-43098][SQL] Rozšíření testu chyb počtu poddotazů skalárního poddotazu se zakázaným dekódovacím dotazem
    • [SPARK-43779][SQL] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-42937][SQL] PlanSubqueries by měla být nastavena InSubqueryExec#shouldBroadcast na hodnotu true.
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkové aktualizace s využitím SHALLOW CLONE Icebergu a Parquet
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404][Backport] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43340][JÁDRO] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-43300][JÁDRO] NonFateSharingCache obálka pro Guava Cache.
    • [SPARK-43378][JÁDRO] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
    • [SPARK-16484][SQL] Pro reprezentaci objektů DataSketch použijte 8bitové registry.
    • [SPARK-43522][SQL] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
    • [SPARK-43413][11.3-13.0][SQL] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • [SPARK-43043][JÁDRO] Lepší MapOutputTracker.updateMapOutput výkon.
    • [SPARK-16484][SQL] Přidání podpory pro DataSketches HllSketch.
    • [SPARK-43123][SQL] Interní metadata polí už nedochází k únikům do katalogů.
    • [SPARK-42851][SQL] Stráž s EquivalentExpressions.addExpr() supportedExpression().
    • [SPARK-43336][SQL] Přetypování mezi Timestamp časovým pásmem a TimestampNTZ vyžaduje časové pásmo.
    • [SPARK-43286][SQL] Aktualizace aes_encrypt režimu CBC pro generování náhodných IV.
    • [SPARK-42852][SQL] Vráceny NamedLambdaVariable související změny z EquivalentExpressions.
    • [SPARK-43541][SQL] Šíření všech Project značek při překladu výrazů a chybějících sloupců.
    • [SPARK-43527][PYTHON] Opraveno catalog.listCatalogs v PySparku.
    • Aktualizace zabezpečení operačního systému.

  • 31. května 2023

    • Výchozí optimalizovaná podpora zápisu pro tabulky Delta zaregistrované v katalogu Unity se rozšířila tak, aby zahrnovala CTAS příkazy a INSERT operace pro dělené tabulky. Toto chování odpovídá výchozím nastavením ve skladech SQL. Viz Optimalizované zápisy pro Delta Lake v Azure Databricks.

  • 17. května 2023

    • Opravili jsme regresi, kdy _metadata.file_path se nesprávně _metadata.file_name formátované řetězce vrátily. Například nyní je cesta s mezerami reprezentována jako s3://test-bucket/some%20directory/some%20data.csv místo s3://test-bucket/some directory/some data.csv.
    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
      • Pokud byl soubor Avro přečtený pouze failOnUnknownFields\ s možností nebo automatickým zavaděčem v failOnNewColumns\ režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null\ místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn\ .
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorttypy Byte , pokud jsou k dispozici jeden z těchto datových typů, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje typům intervalů čtení jako typům kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
      • Zabraňuje typům čtení Decimal s nižší přesností.
    • [SPARK-43172] [CONNECT] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-43293][SQL] __qualified_access_only se ignoruje v normálních sloupcích.
    • [SPARK-43098][SQL] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43085][SQL] Podpora přiřazení sloupců DEFAULT pro názvy tabulek s více částmi
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • [SPARK-43192] [CONNECT] Odebrání ověření znakové sady uživatelského agenta

  • 25. dubna 2023

    • Tabulku Delta můžete upravit a přidat tak podporu funkce tabulky Delta pomocí DeltaTable.addFeatureSupport(feature_name).
    • Příkaz SYNC teď podporuje starší formáty zdroje dat.
    • Opravili jsme chybu, kdy použití formátovače Pythonu před spuštěním jiných příkazů v poznámkovém bloku Pythonu mohlo způsobit chybějící cestu k poznámkovému bloku. sys.path.
    • Azure Databricks teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta. INSERT, UPDATE, DELETEa MERGE příkazy mohou odkazovat na výchozí hodnotu sloupce pomocí explicitního DEFAULT klíčového slova. Pro INSERT příkazy s explicitním seznamem méně sloupců než cílovou tabulkou se odpovídající výchozí hodnoty sloupců nahradí zbývajícími sloupci (nebo NULL pokud není zadána žádná výchozí hodnota).

  • Opravili jsme chybu, kdy se webový terminál nedá použít pro přístup k souborům /Workspace u některých uživatelů.

    • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datovýchtypůch dat, ale i když byly čitelné, neshoda datových typů by způsobila záchranu sloupců.
    • Opravili jsme chybu, kdy vývoj schématu automatického zavaděče mohl přecházet do nekonečné smyčky selhání, když se ve schématu vnořeného objektu JSON zjistil nový sloupec.
    • [SPARK-42794][SS] Zvyšte lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavu RocksDB ve streamování struktury.
    • [SPARK-39221][SQL] Správně zpřístupnit citlivé informace pro úlohu nebo fázi serveru thrift.
    • [SPARK-42971][JÁDRO] Změna tisku workdir , pokud appDirs má při zpracování události pracovního procesu WorkDirCleanup hodnotu null.
    • [SPARK-42936][SQL] Oprava chyby LCA v případě, že klauzule Having je možné vyřešit přímo podřízenou agregací.
    • [SPARK-43018][SQL] Oprava chyby pro INSERT příkazy s literály časového razítka
    • Vraťte [SPARK-42754][SQL][UI] Opravte problém se zpětnou kompatibilitou ve vnořeném spuštění SQL.
    • Vrátit [SPARK-41498] Rozšířit metadata prostřednictvím Sjednocení.
    • [SPARK-43038][SQL] Podpora CBC režimu podle aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Proveďte resolvePersistentFunction synchronizaci.
    • [SPARK-42521][SQL] Přidejte NULL hodnoty pro INSERT seznamy zadané uživatelem s menším počtem sloupců, než je cílová tabulka.
    • [SPARK-41391][SQL] Název výstupního groupBy.agg(count_distinct) sloupce byl nesprávný.
    • [SPARK-42548][SQL] Přidání ReferenceAllColumns pro přeskočení atributů přepisování
    • [SPARK-42423][SQL] Přidejte začátek a délku bloku souboru sloupce metadat.
    • [SPARK-42796][SQL] Podpora přístupu ke sloupcům TimestampNTZ v CachedBatchsouboru .
    • [SPARK-42266][PYTHON] Odeberte nadřazený adresář v shell.py spustit při použití IPythonu.
    • [SPARK-43011][SQL] array_insert by měl selhat s indexem 0.
    • [SPARK-41874][CONNECT][PYTHON] Podpora SameSemantics ve Spark Connectu
    • [SPARK-42702][SPARK-42623][SQL] Podpora parametrizovaného dotazu v poddotazech a CTE
    • [SPARK-42967][JÁDRO] Oprava SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.1 (EoS)

Viz Databricks Runtime 12.1 (EoS).

  • 23. června 2023

    • Aktualizace zabezpečení operačního systému.

  • 15. června 2023

    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43779][SQL] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • [SPARK-43156][SPARK-43098][SQL] Rozšíření testu chyb počtu poddotazů skalárního poddotazu se zakázaným dekódovacím dotazem
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkové aktualizace s využitím SHALLOW CLONE Icebergu a Parquet
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-43404][Backport] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0][SQL] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • [SPARK-43522][SQL] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
    • [SPARK-42444][PYTHON] DataFrame.drop nyní zpracovává duplicitní sloupce správně.
    • [SPARK-43541][SQL] Šíření všech Project značek při překladu výrazů a chybějících sloupců.
    • [SPARK-43340][JÁDRO] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42937][SQL] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • [SPARK-43527][PYTHON] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43378][JÁDRO] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .

  • 17. května 2023

    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • Pokud byl soubor Avro přečtený pouze failOnUnknownFields\ s možností nebo automatickým zavaděčem v failOnNewColumns\ režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null\ místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn\ .
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorttypy Byte , pokud jsou k dispozici jeden z těchto datových typů, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje typům intervalů čtení jako typům kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
      • Zabraňuje typům čtení Decimal s nižší přesností.
    • [SPARK-43098][SQL] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datovýchtypůch dat, ale i když byly čitelné, neshoda datových typů by způsobila záchranu sloupců.
    • [SPARK-43009][SQL] Parametrizován pomocí sql() Any konstant.
    • [SPARK-42971][JÁDRO] Změna tisku workdir , pokud appDirs má při zpracování události pracovního procesu WorkDirCleanup hodnotu null.
    • Aktualizace zabezpečení operačního systému.

  • úterý 11. dubna 2023

    • Podpora starších formátů zdroje dat v příkazu SYNC
    • Opraví chybu v chování %autoreloadu v poznámkových blocích, které jsou mimo úložiště.
    • Opravili jsme chybu, kdy vývoj schématu automatického zavaděče mohl přecházet do nekonečné smyčky selhání, když se ve schématu vnořeného objektu JSON zjistil nový sloupec.
    • [SPARK-42928][SQL] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42967][JÁDRO] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.

  • 29. března 2023

    • Auto Loader teď aktivuje alespoň jeden synchronní čištění protokolů RocksDB pro Trigger.AvailableNow datové proudy, aby se kontrolní bod mohl pravidelně vyčistit pro rychlé automatické zavaděče datových proudů. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte prostředí automatického zavaděče v budoucích spuštěních.
    • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Podpora parametrizovaného dotazu v poddotazech a CTE
    • [SPARK-41162][SQL] Oprava anti-a polo-join pro samoobslužné spojení s agregacemi
    • [SPARK-42403][JÁDRO] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null
    • [SPARK-42668][SS] Zachycení výjimky při pokusu o zavření komprimovaného streamu v HDFSStateStoreProvider abort
    • [SPARK-42794][SS] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury

  • 14. března 2023

    • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
    • [SPARK-42622][JÁDRO] Zakázání nahrazení v hodnotách
    • [SPARK-42534][SQL] Oprava klauzule DB2Dialect Limit
    • [SPARK-42635][SQL] Oprava výrazu TimestampAdd
    • [SPARK-42516][SQL] Při vytváření zobrazení vždy zachyťte konfiguraci časového pásma relace.
    • [SPARK-42484] [SQL] Nebezpečná službaRowUtils – lepší chybová zpráva
    • [SPARK-41793][SQL] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u velkých desetinných míst
    • Aktualizace zabezpečení operačního systému.

  • 24. února 2023

    • Teď můžete použít jednotnou sadu možností (host, port, database, user, password) pro připojení ke zdrojům dat podporovaným ve federaci dotazů (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Všimněte si, že port je volitelné a pokud není zadané, použije se výchozí číslo portu pro každý zdroj dat.

    Příklad konfigurace připojení PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Příklad konfigurace připojení Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Vyhněte se konfiguraci protokolování způsobující chybu z pyspark.pandas
    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů
    • [SPARK-41990][SQL] Místo FieldReference.column převodu apply filtru V1 na V2
    • Vrácení [SPARK-41848][CORE] Oprava úkolu nadplánované pomocí taskResourceProfile
    • [SPARK-42162] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů commutativních výrazů
    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Příkaz SYNC podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve syncedována do katalogu Unity, ale pak se přerušila a znovu vytvořila, bude následná opětovná synchronizace fungovat místo vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0
    • [SPARK-36173][JÁDRO] Podpora získání čísla procesoru v TaskContextu
    • [SPARK-41848][JÁDRO] Oprava úkolu nadplánované pomocí taskResourceProfile
    • [SPARK-42286][SQL] Návrat k předchozí cestě kódu codegen pro komplexní výraz s CAST

  • 31. ledna 2023

    • Vytvoření schématu s definovaným umístěním teď vyžaduje, aby uživatel měl oprávnění SELECT a MODIFY pro LIBOVOLNÝ SOUBOR.
    • [SPARK-41581][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Oprava testu Kafka pro ověření ztracených oddílů pro účet pro pomalé operace Kafka
    • [SPARK-41580][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Podpora parametrizovaného SQL podle sql()
    • [SPARK-41579][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Přiřadit název _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Zpracovat] Oprava regrese synchronizace kódu pro ConvertToLocalRelation
    • [SPARK-41576][SQL] Přiřadit název _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Přiřazení názvu k _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2054
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.0 (EoS)

Viz Databricks Runtime 12.0 (EoS).

  • 15. června 2023

    • Fotonizovaná approx_count_distinct.
    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • [SPARK-43156][SPARK-43098][SQL] Rozšíření testu chyb počtu poddotazů skalárního poddotazu se zakázaným dekódovacím dotazem
    • [SPARK-43779][SQL] ParseToDate nyní se načte EvalMode do hlavního vlákna.
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
    • Zvýšení výkonu přírůstkové aktualizace s využitím SHALLOW CLONE Icebergu a Parquet
    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
    • [SPARK-42444][PYTHON] DataFrame.drop nyní zpracovává duplicitní sloupce správně.
    • [SPARK-43404][Backport] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
    • [SPARK-43413][11.3-13.0][SQL] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
    • [SPARK-43527][PYTHON] Opraveno catalog.listCatalogs v PySparku.
    • [SPARK-43522][SQL] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
    • [SPARK-43541][SQL] Šíření všech Project značek při překladu výrazů a chybějících sloupců.
    • [SPARK-43340][JÁDRO] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
    • [SPARK-42937][SQL] PlanSubqueries nastaveno InSubqueryExec#shouldBroadcast na hodnotu true.

  • 17. května 2023

    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • Pokud byl soubor Avro přečtený pouze failOnUnknownFields\ s možností nebo automatickým zavaděčem v failOnNewColumns\ režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null\ místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn\ .
    • Auto Loader teď provede následující kroky.
      • Správně čte a již nezachrání Integer, Shorttypy Byte , pokud jsou k dispozici jeden z těchto datových typů, ale soubor Avro navrhne jeden z dalších dvou typů.
      • Zabraňuje typům intervalů čtení jako typům kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
      • Zabraňuje typům čtení Decimal s nižší přesností.
    • [SPARK-43172] [CONNECT] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
    • [SPARK-41520][SQL] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43098][SQL] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datovýchtypůch dat, ale i když byly čitelné, neshoda datových typů by způsobila záchranu sloupců.
    • [SPARK-42971][JÁDRO] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
    • Aktualizace zabezpečení operačního systému.

  • úterý 11. dubna 2023

    • Podpora starších formátů zdroje dat v SYNC příkazu
    • Opravili jsme chybu v chování %autoreloadu v poznámkových blocích, které nejsou mimo úložiště.
    • Opravili jsme chybu, kdy vývoj schématu automatického zavaděče mohl přecházet do nekonečné smyčky selhání, když se ve schématu vnořeného objektu JSON zjistil nový sloupec.
    • [SPARK-42928][SQL] Provede resolvePersistentFunction synchronizaci.
    • [SPARK-42967][JÁDRO] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
    • Aktualizace zabezpečení operačního systému.

  • 29. března 2023

    • [SPARK-42794][SS] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury
    • [SPARK-41162][SQL] Oprava anti-a polo-join pro samoobslužné spojení s agregacemi
    • [SPARK-42403][JÁDRO] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null
    • [SPARK-42668][SS] Zachycení výjimky při pokusu o zavření komprimovaného streamu v HDFSStateStoreProvider abort
    • Různé opravy chyb

  • 14. března 2023

    • [SPARK-42534][SQL] Oprava klauzule DB2Dialect Limit
    • [SPARK-42622][JÁDRO] Zakázání nahrazení v hodnotách
    • [SPARK-41793][SQL] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u velkých desetinných míst
    • [SPARK-42484] [SQL] Nebezpečná službaRowUtils – lepší chybová zpráva
    • [SPARK-42635][SQL] Oprava výrazu TimestampAdd
    • [SPARK-42516][SQL] Při vytváření zobrazení vždy zachyťte konfiguraci časového pásma relace.
    • Aktualizace zabezpečení operačního systému.

  • 24. února 2023

    • Standardizované možnosti připojení pro federaci dotazů

      Teď můžete použít jednotnou sadu možností (host, port, database, user, password) pro připojení ke zdrojům dat podporovaným ve federaci dotazů (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Všimněte si, že port je volitelné a použije výchozí číslo portu pro každý zdroj dat, pokud není zadaný.

      Příklad konfigurace připojení PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Příklad konfigurace připojení Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Vrácení [SPARK-41848][CORE] Oprava úkolu nadplánované pomocí taskResourceProfile

    • [SPARK-42162] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů commutativních výrazů

    • [SPARK-41990][SQL] Místo FieldReference.column převodu apply filtru V1 na V2

    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů

    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Uživatelé teď můžou číst a zapisovat určité tabulky Delta, které vyžadují Čtečku verze 3 a Writer verze 7, pomocí Databricks Runtime 9.1 nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Příkaz SYNC podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve syncedována do katalogu Unity, ale pak se přerušila a znovu vytvořila, bude následná opětovná synchronizace fungovat místo vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-36173][JÁDRO] Podpora získání čísla procesoru v TaskContextu
    • [SPARK-42286][SQL] Návrat k předchozí cestě kódu codegen pro komplexní výraz s CAST
    • [SPARK-41848][JÁDRO] Oprava úkolu nadplánované pomocí taskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0

  • 25. ledna 2023

    • [SPARK-41660][SQL] Šíření sloupců metadat pouze v případě, že se používají
    • [SPARK-41379][SS][PYTHON] Poskytnutí naklonované relace Sparku v datovém rámci v uživatelské funkci pro jímku foreachBatch v PySparku
    • [SPARK-41669][SQL] Předčasné vyřazování v canCollapseExpressions
    • Aktualizace zabezpečení operačního systému.

  • 18. ledna 2023

    • REFRESH FUNCTION Příkaz SQL teď podporuje funkce SQL a funkce tabulek SQL. Například příkaz lze použít k aktualizaci trvalé funkce SQL, která byla aktualizována v jiné relaci SQL.
    • Zdroj dat JDBC (Java Database Connectivity) v1 teď podporuje odsdílení klauzule LIMIT, aby se zlepšil výkon dotazů. Tato funkce je ve výchozím nastavení povolená a lze ji zakázat s nastavenou spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled hodnotou false.
    • V clusterech seznamů ACL starších tabulek teď vytváření funkcí, které odkazují na třídy JVM, teď vyžaduje MODIFY_CLASSPATH oprávnění.
    • Zdroj dat JDBC (Java Database Connectivity) v1 teď podporuje odsdílení klauzule LIMIT, aby se zlepšil výkon dotazů. Tato funkce je ve výchozím nastavení povolená a je možné ji zakázat pomocí spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled nastavenou na false.
    • Konektor Azure Synapse teď vrací popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Strukturované streamování Sparku teď funguje s formátem ("deltasharing") u tabulky rozdílového sdílení jako zdrojem.
    • [SPARK-38277][SS] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • [SPARK-41733][SQL][SS] Použití vyřezávání na základě stromového vzoru pro pravidlo ResolveWindowTime
    • [SPARK-39591][SS] Asynchronní sledování průběhu
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41198][SS] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41539][SQL] Přemapovat statistiky a omezení pro výstup v logickém plánu pro LogRDD
    • [SPARK-41732][SQL][SS] Použití vyřezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-41862][SQL] Oprava chyby správnosti související s výchozími hodnotami ve čtečce Orc
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41261][PYTHON][SS] Oprava problému s aplikací ApplyInPandasWithState, pokud sloupce seskupovací klíče nejsou seřazené od nejstaršího pořadí
    • Aktualizace zabezpečení operačního systému.

  • 17. května 2023

    • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
    • Opravili jsme regresi, která způsobovala zachování úloh Azure Databricks po selhání připojení k metastoru během inicializace clusteru.
    • [SPARK-41520][SQL] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
    • [SPARK-43190][SQL] ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
    • Auto Loader nyní správně čte a již nezachrání Integer, Short, Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datovýchtypůch dat, ale i když byly čitelné, neshoda datových typů by způsobila záchranu sloupců.
    • [SPARK-42937][SQL] PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
    • Aktualizace zabezpečení operačního systému.

  • úterý 11. dubna 2023

    • Podpora starších formátů zdroje dat v příkazu SYNC
    • Opravili jsme chybu v chování %autoreloadu v poznámkových blocích, které nejsou mimo úložiště.
    • Opravili jsme chybu, kdy vývoj schématu automatického zavaděče mohl přecházet do nekonečné smyčky selhání, když se ve schématu vnořeného objektu JSON zjistil nový sloupec.
    • [SPARK-42928][SQL] Proveďte synchronizaci funkce resolvePersistentFunction.
    • [SPARK-42967][JÁDRO] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.

  • 29. března 2023

    • [SPARK-42794][SS] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury
    • [SPARK-42403][JÁDRO] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null
    • [SPARK-42668][SS] Zachycení výjimky při pokusu o zavření komprimovaného streamu v HDFSStateStoreProvider abort
    • Aktualizace zabezpečení operačního systému.

  • 14. března 2023

    • [SPARK-42635][SQL] Oprava výrazu TimestampAdd
    • [SPARK-41793][SQL] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u velkých desetinných míst
    • [SPARK-42484] [SQL] Nebezpečná službaRowUtils – lepší chybová zpráva
    • [SPARK-42534][SQL] Oprava klauzule DB2Dialect Limit
    • [SPARK-41162][SQL] Oprava anti-a polo-join pro samoobslužné spojení s agregacemi
    • [SPARK-42516][SQL] Při vytváření zobrazení vždy zachyťte konfiguraci časového pásma relace.
    • Různé opravy chyb

  • 28. února 2023

    • Standardizované možnosti připojení pro federaci dotazů

      Teď můžete použít jednotnou sadu možností (host, port, database, user, password) pro připojení ke zdrojům dat podporovaným ve federaci dotazů (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Všimněte si, že port je volitelné a pokud není zadané, použije se výchozí číslo portu pro každý zdroj dat.

      Příklad konfigurace připojení PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Příklad konfigurace připojení Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Návrat k předchozí cestě kódu codegen pro komplexní výraz s CAST

    • [SPARK-41989][PYTHON] Vyhněte se konfiguraci protokolování způsobující chybu z pyspark.pandas

    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů

    • [SPARK-41360][JÁDRO] Pokud se exekutor ztratil, vyhněte se opětovné registraci objektu BlockManager.

    • [SPARK-42162] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů commutativních výrazů

    • [SPARK-41990][SQL] Místo FieldReference.column převodu apply filtru V1 na V2

    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Uživatelé teď můžou číst a zapisovat určité tabulky Delta, které vyžadují Čtečku verze 3 a Writer verze 7, pomocí Databricks Runtime 9.1 nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Příkaz SYNC podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve syncedována do katalogu Unity, ale pak se přerušila a znovu vytvořila, bude následná opětovná synchronizace fungovat místo vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0
    • [SPARK-40382][SQL] Seskupení jedinečných agregačních výrazů podle sémanticky ekvivalentních podřízených výrazů v RewriteDistinctAggregates
    • Aktualizace zabezpečení operačního systému.

  • 25. ledna 2023

    • [SPARK-41379][SS][PYTHON] Poskytnutí naklonované relace Sparku v datovém rámci v uživatelské funkci pro jímku foreachBatch v PySparku
    • [SPARK-41660][SQL] Šíření sloupců metadat pouze v případě, že se používají
    • [SPARK-41669][SQL] Předčasné vyřazování v canCollapseExpressions
    • Různé opravy chyb

  • 18. ledna 2023

    • REFRESH FUNCTION Příkaz SQL teď podporuje funkce SQL a funkce tabulek SQL. Například příkaz lze použít k aktualizaci trvalé funkce SQL, která byla aktualizována v jiné relaci SQL.
    • Zdroj dat JDBC (Java Database Connectivity) v1 teď podporuje odsdílení klauzule LIMIT, aby se zlepšil výkon dotazů. Tato funkce je ve výchozím nastavení povolená a lze ji zakázat s nastavenou spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled hodnotou false.
    • Zdroj dat JDBC (Java Database Connectivity) v1 teď podporuje odsdílení klauzule LIMIT, aby se zlepšil výkon dotazů. Tato funkce je ve výchozím nastavení povolená a je možné ji zakázat pomocí spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled nastavenou na false.
    • Konektor Azure Synapse teď vrací popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41862][SQL] Oprava chyby správnosti související s výchozími hodnotami ve čtečce Orc
    • [SPARK-41539][SQL] Přemapovat statistiky a omezení pro výstup v logickém plánu pro LogRDD
    • [SPARK-39591][SS] Asynchronní sledování průběhu
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41261][PYTHON][SS] Oprava problému s aplikací ApplyInPandasWithState, pokud sloupce seskupovací klíče nejsou seřazené od nejstaršího pořadí
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732][SQL][SS] Použití vyřezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-38277][SS] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, při nastavení na true, odebere úvodní prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • Upgradujte snowflake-jdbc závislost na verzi 3.13.22.
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
    • [SPARK-40906][SQL] Mode před vložením do mapy by měly kopírovat klíče.
    • Aktualizace zabezpečení operačního systému.

  • 15. listopadu 2022

    • Seznamy ACL tabulek a sdílené clustery UC teď umožňují metodu Dataset.toJSON z Pythonu.
    • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu se dá dál správně analyzovat místo vrácení hodnot null. Chcete-li vyjádřit výslovný souhlas s vylepšenou sadou spark.sql.json.enablePartialResults chování .true Příznak je ve výchozím nastavení zakázaný, aby se zachovalo původní chování.
    • [SPARK-40903][SQL] Pokud dojde ke změně datového typu, vyhněte se změně pořadí desetinných míst Přidání desetinné čárky.
    • [SPARK-40618][SQL] Oprava chyby v pravidle MergeScalarSubqueries s vnořenými poddotazy pomocí sledování odkazů
    • [SPARK-40697][SQL] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • Aktualizace zabezpečení operačního systému.

  • 1. listopadu 2022

    • Strukturované streamování v katalogu Unity teď podporuje aktualizaci dočasných přístupových tokenů. Úlohy streamování spuštěné s katalogem Unity pro všechny účely nebo clustery úloh už po vypršení platnosti počátečního tokenu selžou.
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázaná změna datového kanálu , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL .
    • Opravili jsme problém, kdy spuštění MERGE a použití přesně 99 sloupců ze zdroje v podmínce mohlo způsobit java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor při povolení mohl duplikovat ve stejné mikrodávce allowOverwrites .
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Přidání podpory konfigurace CloudWatch MetricsLevel
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] Oprava NPE v applyInPandasWithState, pokud vstupní schéma obsahuje sloupce bez null
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.2 (EoS)

Viz Databricks Runtime 11.2 (EoS).

  • 28. února 2023
    • [SPARK-42286][SQL] Návrat k předchozí cestě kódu codegen pro komplexní výraz s CAST
    • [SPARK-42346][SQL] Přepsání jedinečných agregací po sloučení poddotazů
    • Aktualizace zabezpečení operačního systému.
  • 16. února 2023
    • Uživatelé teď můžou číst a zapisovat určité tabulky Delta, které vyžadují Čtečku verze 3 a Writer verze 7, pomocí Databricks Runtime 9.1 nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
    • Příkaz SYNC podporuje synchronizaci znovu vytvořených tabulek metastoru Hive. Pokud byla tabulka HMS dříve syncedována do katalogu Unity, ale pak se přerušila a znovu vytvořila, bude následná opětovná synchronizace fungovat místo vyvolání stavového kódu TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide použít desetinné číslo(1, 0) k reprezentaci 0
    • Aktualizace zabezpečení operačního systému.
  • 31. ledna 2023
    • Ve výchozím nastavení jsou typy tabulek JDBC externí.
    • [SPARK-41379][SS][PYTHON] Poskytnutí naklonované relace Sparku v datovém rámci v uživatelské funkci pro jímku foreachBatch v PySparku
  • 18. ledna 2023
    • Konektor Azure Synapse teď vrací popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41862][SQL] Oprava chyby správnosti související s výchozími hodnotami ve čtečce Orc
    • [SPARK-41539][SQL] Přemapovat statistiky a omezení pro výstup v logickém plánu pro LogRDD
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732][SQL][SS] Použití vyřezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-38277][SS] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • Aktualizace zabezpečení operačního systému.
  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, při nastavení na true, odebere úvodní prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • [SPARK-40906][SQL] Mode před vložením do mapy by měly kopírovat klíče.
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu se dá dál správně analyzovat místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults hodnotu true. Příznak je ve výchozím nastavení zakázaný, aby se zachovalo původní chování.
    • [SPARK-40618][SQL] Oprava chyby v pravidle MergeScalarSubqueries s vnořenými poddotazy pomocí sledování odkazů
    • [SPARK-40697][SQL] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • Aktualizace zabezpečení operačního systému.
  • 1. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázaná změna datového kanálu , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL .
    • Opravili jsme problém, kdy spuštění MERGE a použití přesně 99 sloupců ze zdroje v podmínce mohlo způsobit java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 19. října 2022
    • Opravili jsme problém s používáním COPY INTO s dočasnými přihlašovacími údaji v clusterech nebo skladech s podporou katalogu Unity.
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis pro automatické zavaděče v ADLS Gen2. Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla v předchozí aktualizaci údržby zahrnuta do DBR 10.4 a 9.1.
    • [SPARK-40315][SQL]Podpora kódování nebo dekódování adresy URL jako předdefinované funkce a šifrování funkcí souvisejících s adresou URL
    • [SPARK-40156][SQL]url_decode() by měla vrátit třídu chyb.
    • [SPARK-40169] Neodsouvejte filtry Parquet bez odkazu na schéma dat.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava vyřazení sloupců ve sdíleném svazku clusteru při výběru _corrupt_record
    • [SPARK-40055][SQL] seznamyCatalogs by také měly vracet spark_catalog i v případě, že spark_catalog implementace je výchozíSessionCatalog
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40389][SQL] Desetinná čísla nemohou přetypovat jako celočíselné typy, pokud přetečení může přetéct.
    • [SPARK-40380][SQL] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-40066][SQL][ZPRACOVAT] Před získáním datového typu zkontrolujte, jestli je element ElementAt vyřešený.
    • [SPARK-40109][SQL] Nová funkce SQL: get()
    • [SPARK-40066][SQL] Režim ANSI: Vždy vrátí hodnotu null při neplatném přístupu ke sloupci mapy.
    • [SPARK-40089][SQL] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • [SPARK-40152][SQL] Oprava problému s kompilací split_part codegen
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40212][SQL] SparkSQL castPartValue nezpracuje správně bajt, krátký nebo plovoucí
    • [SPARK-40218][SQL] SESKUPOVACÍ SADY by měly zachovat sloupce seskupení.
    • [SPARK-35542][ML] Oprava: Bucketizer vytvořil pro více sloupců s parametry
    • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
    • [SPARK-39912]SPARK-39828[SQL] Upřesnit KatalogImpl

Databricks Runtime 11.1 (EoS)

Viz Databricks Runtime 11.1 (EoS).

  • 31. ledna 2023

    • [SPARK-41379][SS][PYTHON] Poskytnutí naklonované relace Sparku v datovém rámci v uživatelské funkci pro jímku foreachBatch v PySparku
    • Různé opravy chyb

  • 18. ledna 2023

    • Konektor Azure Synapse teď vrací popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
    • [SPARK-41862][SQL] Oprava chyby správnosti související s výchozími hodnotami ve čtečce Orc
    • [SPARK-41199][SS] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
    • [SPARK-41339][SQL] Zavřete a znovu vytvořte dávku zápisu RocksDB místo pouhého vymazání.
    • [SPARK-41732][SQL][SS] Použití vyřezávání na základě stromového vzoru pro pravidlo SessionWindowing
    • [SPARK-38277][SS] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, při nastavení na true, odebere úvodní prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • [SPARK-39650][SS] Oprava nesprávného schématu hodnot v odstranění duplicitních dat streamování s zpětnou kompatibilitou
    • Aktualizace zabezpečení operačního systému.

  • 15. listopadu 2022

    • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu je možné analyzovat správně místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults hodnotu true. Příznak je ve výchozím nastavení zakázaný, aby se zachovalo původní chování.
    • Aktualizace zabezpečení operačního systému.

  • 1. listopadu 2022

    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázaná změna datového kanálu , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL .
    • Opravili jsme problém, kdy spuštění MERGE a použití přesně 99 sloupců ze zdroje v podmínce mohlo způsobit java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40697][SQL] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.

  • 18. října 2022

    • Opravili jsme problém s používáním COPY INTO s dočasnými přihlašovacími údaji v clusterech nebo skladech s podporou katalogu Unity.
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • Aktualizace zabezpečení operačního systému.

  • středa 5. října 2022

    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis pro automatické zavaděče v ADLS Gen2. Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla v předchozí aktualizaci údržby zahrnuta do DBR 10.4 a 9.1.
    • [SPARK-40169] Neodsouvejte filtry Parquet bez odkazu na schéma dat.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava vyřazení sloupců ve sdíleném svazku clusteru při výběru _corrupt_record
    • [SPARK-40055][SQL] seznamyCatalogs by také měly vracet spark_catalog i v případě, že spark_catalog implementace je výchozíSessionCatalog
    • Aktualizace zabezpečení operačního systému.

  • 22. září 2022

    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40380][SQL] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-40089][SQL] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • [SPARK-40152][SQL] Oprava problému s kompilací split_part codegen

  • 6. září 2022

    • Aktualizovali jsme model oprávnění v ovládacích prvcích řízení přístupu k tabulce (seznamy ACL) tak, aby bylo nutné změnit pouze oprávnění MODIFY ke změně schématu tabulky nebo vlastností tabulky pomocí alter TABLE. Dříve tyto operace vyžadovaly, aby uživatel vlastní tabulku. Vlastnictví se stále vyžaduje k udělení oprávnění k tabulce, změně jeho vlastníka, změně jeho umístění nebo přejmenování. Díky této změně je model oprávnění pro seznamy ACL tabulky konzistentnější s katalogem Unity.
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40212][SQL] SparkSQL castPartValue nezpracuje správně bajt, krátký nebo plovoucí
    • [SPARK-40218][SQL] SESKUPOVACÍ SADY by měly zachovat sloupce seskupení.
    • [SPARK-39976][SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053][JÁDRO][SQL][TESTY] Přidání assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu
    • [SPARK-35542][JÁDRO][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079][JÁDRO] Přidání ověření Imputer inputCols pro prázdný vstupní případ

  • 24. srpna 2022

    • Sdílené složky, poskytovatelé a příjemci teď podporují příkazy SQL pro změnu vlastníků, komentářů a přejmenování.
    • [SPARK-39983][JÁDRO][SQL] Neupamějte neserializované vztahy vysílání na ovladači.
    • [SPARK-39912][SPARK-39828][SQL] Upřesnit KatalogImpl
    • [SPARK-39775][JÁDRO][AVRO] Zakázání ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39806] Opravili jsme problém s dotazy, které přistupují k chybovému ukončení struktury METADATA v dělených tabulkách.
    • [SPARK-39867][SQL] Globální limit by neměl dědit OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-39839][SQL] Zpracování speciálního případu s proměnnou s nulovou délkou Decimal s nenulovým posunemAndSize v nezabezpečené kontrole integrity struktury
    • [SPARK-39713][SQL] Režim ANSI: Přidání návrhu použití try_element_at pro INVALID_ARRAY_INDEX chybu
    • [SPARK-39847][SS] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je přerušeno vlákno volajícího
    • [SPARK-39731][SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.

  • 10. srpna 2022

    • U tabulek Delta s řízením přístupu k tabulkám je automatický vývoj schématu prostřednictvím příkazů DML, jako INSERT je a MERGE je nyní k dispozici pro všechny uživatele, kteří mají MODIFY oprávnění k těmto tabulkám. Kromě toho jsou oprávnění potřebná k vývoji COPY INTO schématu nyní nižší z OWNER MODIFY důvodu konzistence s jinými příkazy. Díky těmto změnám je model zabezpečení seznamu ACL tabulky konzistentnější s modelem zabezpečení katalogu Unity a také s dalšími operacemi, jako je nahrazení tabulky.
    • [SPARK-39889] Vylepšení chybové zprávy dělení o 0
    • [SPARK-39795] [SQL] Nová funkce SQL: try_to_timestamp
    • [SPARK-39749] Při přetypování desetinných míst jako řetězec v režimu ANSI vždy používejte reprezentaci prostého řetězce.
    • [SPARK-39625] Přejmenování df.as na df.to
    • [SPARK-39787] [SQL] Použití třídy chyb v analýze chyby funkce to_timestamp
    • [SPARK-39625] [SQL] Přidání Dataset.as(StructType)
    • [SPARK-39689] Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39579] [SQL][PYTHON][R] Make ListFunctions/getFunction/functionExists kompatibilní s oborem názvů vrstvy 3
    • [SPARK-39702] [JÁDRO] Snížení režijních nákladů na paměť transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] Oprava selhání testu při povolení SPARK_ANSI_SQL_MODE
    • [SPARK-39441] [SQL] Zrychlení odstranění duplicitních dat
    • [SPARK-39497] [SQL] Vylepšení výjimky analýzy chybějícího sloupce s klíčem mapy
    • [SPARK-39476] [SQL] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí/ dvojitou nebo celočíselnou hodnotu na plovoucí
    • [SPARK-39434] [SQL] Poskytnutí kontextu dotazu chyby za běhu, když je index pole mimo hranici

Databricks Runtime 11.0 (EoS)

Viz Databricks Runtime 11.0 (EoS)

  • 29. listopadu 2022
    • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Pro řízení zpracování prázdných znaků byly přidány následující možnosti:
      • csvignoreleadingwhitespace, při nastavení na true, odebere úvodní prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
      • csvignoretrailingwhitespace, pokud je nastavena na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • Opravili jsme chybu při analýze JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
    • [SPARK-39650][SS] Oprava nesprávného schématu hodnot v odstranění duplicitních dat streamování s zpětnou kompatibilitou
    • Aktualizace zabezpečení operačního systému.
  • 15. listopadu 2022
    • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu se dá dál správně analyzovat místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults hodnotu true. Příznak je ve výchozím nastavení zakázaný, aby se zachovalo původní chování.
  • 1. listopadu 2022
    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázaná změna datového kanálu , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL .
    • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
    • [SPARK-40697][SQL] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis pro automatické zavaděče v ADLS Gen2. Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla v předchozí aktualizaci údržby zahrnuta do DBR 10.4 a 9.1.
    • [SPARK-40169] Neodsouvejte filtry Parquet bez odkazu na schéma dat.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava vyřazení sloupců ve sdíleném svazku clusteru při výběru _corrupt_record
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40380][SQL] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-40089][SQL] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • [SPARK-40152][SQL] Oprava problému s kompilací split_part codegen
  • 6. září 2022
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-40212][SQL] SparkSQL castPartValue nezpracuje správně bajt, krátký nebo plovoucí
    • [SPARK-40218][SQL] SESKUPOVACÍ SADY by měly zachovat sloupce seskupení.
    • [SPARK-39976][SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053][JÁDRO][SQL][TESTY] Přidání assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu
    • [SPARK-35542][JÁDRO][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079][JÁDRO] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39983][JÁDRO][SQL] Neupamějte neserializované vztahy vysílání na ovladači.
    • [SPARK-39775][JÁDRO][AVRO] Zakázání ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39806] Opravili jsme problém s dotazy, které přistupují k chybovému ukončení struktury METADATA v dělených tabulkách.
    • [SPARK-39867][SQL] Globální limit by neměl dědit OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39713][SQL] Režim ANSI: Přidání návrhu použití try_element_at pro INVALID_ARRAY_INDEX chybu
    • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je přerušeno vlákno volajícího
    • [SPARK-39731][SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • [SPARK-39889] Vylepšení chybové zprávy dělení o 0
    • [SPARK-39795][SQL] Nová funkce SQL: try_to_timestamp
    • [SPARK-39749] Při přetypování desetinných míst jako řetězec v režimu ANSI vždy používejte reprezentaci prostého řetězce.
    • [SPARK-39625][SQL] Přidání Dataset.to(StructType)
    • [SPARK-39787][SQL] Použití třídy chyb v analýze chyby funkce to_timestamp
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39689]Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39702][JÁDRO] Snížení režijních nákladů na paměť transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575][AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] Vylepšení výjimky analýzy chybějícího sloupce s klíčem mapy
    • [SPARK-39441][SQL] Zrychlení odstranění duplicitních dat
    • [SPARK-39476][SQL] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí/ dvojitou nebo celočíselnou hodnotu na plovoucí
    • [SPARK-39434][SQL] Poskytnutí kontextu dotazu chyby za běhu, když je index pole mimo hranici
    • [SPARK-39570][SQL] Vložená tabulka by měla umožňovat výrazy s aliasem
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • Výsledky operace Delta MERGE jsou konzistentní, pokud zdroj není deterministický.
    • Opravili jsme problém pro cloud_files_state TVF při spouštění na jiných cestách než DBFS.
    • Zakázali jsme použití nativních cloudových rozhraní API auto loaderu pro výpis adresářů v Azure.
    • [SPARK-38796][SQL] Aktualizace funkcí to_number a try_to_number tak, aby žádosti o přijetí změn umožňovaly kladná čísla
    • [SPARK-39272][SQL] Zvýšení počáteční pozice kontextu dotazu o 1
    • [SPARK-39419][SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • Vylepšení chybových zpráv pro řadu tříd chyb.
    • [SPARK-39451][SQL] Podpora intervalů přetypování na integrály v režimu ANSI
    • [SPARK-39361] V výchozích konfiguracích protokolování nepoužívejte rozšířený vzor převodu s možností vyvolání Log4J2.
    • [SPARK-39354][SQL] Zajistěte, aby se zobrazovala Table or view not found i v případě, Filter že souvisí dataTypeMismatchError současně.
    • [SPARK-38675][JÁDRO] Oprava závodu během odemknutí v BlockInfoManageru
    • [SPARK-39392][SQL] Upřesnění chybových zpráv ANSI pro nápovědu k funkcím try_*
    • [SPARK-39214][SQL][3.3] Vylepšení chyb souvisejících s CAST
    • [SPARK-37939][SQL] Použití tříd chyb při analýze chyb vlastností
    • [SPARK-39085][SQL] Přesunutí chybové zprávy INCONSISTENT_BEHAVIOR_CROSS_VERSION do error-classes.json
    • [SPARK-39376][SQL] Skrytí duplicitních sloupců v rozšíření poddotazového aliasu z natural/USING JOIN
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 10.5 (EoS)

Viz Databricks Runtime 10.5 (EoS).

  • 1. listopadu 2022
    • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla zakázaná změna datového kanálu , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL .
    • [SPARK-40697][SQL] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
    • [SPARK-40596][JÁDRO] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
    • Aktualizace zabezpečení operačního systému.
  • 18. října 2022
    • Aktualizace zabezpečení operačního systému.
  • 5. října 2022
    • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit nativní výpis pro automatické zavaděče v ADLS Gen2. Nativní výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky. Tato změna byla v předchozí aktualizaci údržby zahrnuta do DBR 10.4 a 9.1.
    • Opětovné načtení4j bylo upgradováno na verzi 1.2.19, aby bylo opraveno ohrožení zabezpečení.
    • [SPARK-40460][SS] Oprava metrik streamování při výběru _metadata
    • [SPARK-40468][SQL] Oprava vyřazení sloupců ve sdíleném svazku clusteru při výběru _corrupt_record
    • Aktualizace zabezpečení operačního systému.
  • 22. září 2022
    • [SPARK-40315][SQL] Přidání hashCode() pro literál ArrayBasedMapData
    • [SPARK-40213][SQL] Podpora převodu hodnot ASCII pro znaky latinky-1
    • [SPARK-40380][SQL] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
    • [SPARK-38404][SQL] Vylepšení překladu CTE, když vnořený CTE odkazuje na vnější CTE
    • [SPARK-40089][SQL] Oprava řazení u některých typů desetinných míst
    • [SPARK-39887][SQL] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
    • Aktualizace zabezpečení operačního systému.
  • 6. září 2022
    • [SPARK-40235][JÁDRO] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
    • [SPARK-39976][SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
    • [SPARK-40053][JÁDRO][SQL][TESTY] Přidání assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu
    • [SPARK-35542][JÁDRO][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079][JÁDRO] Přidání ověření Imputer inputCols pro prázdný vstupní případ
  • 24. srpna 2022
    • [SPARK-39983][JÁDRO][SQL] Neupamějte neserializované vztahy vysílání na ovladači.
    • [SPARK-39775][JÁDRO][AVRO] Zakázání ověřování výchozích hodnot při analýze schémat Avro
    • [SPARK-39806] Opravili jsme problém s dotazy, které přistupují k chybovému ukončení struktury METADATA v dělených tabulkách.
    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • [SPARK-37643][SQL] Pokud je argument charVarcharAsString pravdivý, měl by dotaz predikátu typu char přeskočit pravidlo rpadding.
    • Aktualizace zabezpečení operačního systému.
  • 9. srpna 2022
    • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je přerušeno vlákno volajícího
    • [SPARK-39731][SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
    • Aktualizace zabezpečení operačního systému.
  • 27. července 2022
    • [SPARK-39625][SQL] Přidání Dataset.as(StructType)
    • [SPARK-39689]Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39570][SQL] Vložená tabulka by měla umožňovat výrazy s aliasem
    • [SPARK-39702][JÁDRO] Snížení režijních nákladů na paměť transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • [SPARK-39575][AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí/ dvojitou nebo celočíselnou hodnotu na plovoucí
    • Aktualizace zabezpečení operačního systému.
  • 13. července 2022
    • Výsledky operace Delta MERGE jsou konzistentní, pokud zdroj není deterministický.
    • [SPARK-39355][SQL] Jeden sloupec používá quoted k vytvoření UnresolvedAttribute
    • [SPARK-39548][SQL] Příkaz CreateView s dotazem klauzule okna narazil na nesprávný problém s definicí okna
    • [SPARK-39419][SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Zakázali jsme použití nativních cloudových rozhraní API auto loaderu pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • [SPARK-39376][SQL] Skrytí duplicitních sloupců v rozšíření poddotazového aliasu z natural/USING JOIN
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2022
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096][SQL] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu
    • [SPARK-36718][SQL][ZPRACOVAT] Oprava vrácení se změnami sbalit isExtractOnly projekt
  • 2. června 2022
    • [SPARK-39166][SQL] Poskytnutí kontextu dotazu na chybu za běhu pro binární aritmetické operace při vypnutí WSCG
    • [SPARK-39093][SQL] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem
    • [SPARK-38990][SQL] Vyhněte se výjimce NullPointerException při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení nativní paměti v automatickém zavaděče.
    • [SPARK-38868][SQL]Nešíření výjimek z predikátu filtru při optimalizaci vnějších spojení
    • [SPARK-38796][SQL] Implementace funkcí SQL to_number a try_to_number podle nové specifikace
    • [SPARK-38918][SQL] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-38929][SQL] Vylepšení chybových zpráv při selhání přetypování v ANSI
    • [SPARK-38926][SQL] Typy výstupu v chybových zprávách ve stylu SQL
    • [SPARK-39084][PYSPARK] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-32268][SQL] Přidání columnPruningu do injektážeBloomFilter
    • [SPARK-38908][SQL] Zadání kontextu dotazu při chybě za běhu přetypování z řetězce na číslo, datum, časové razítko nebo logickou hodnotu
    • [SPARK-39046][SQL] Pokud je TreeNode.origin nesprávně nastavený, vrátí prázdný kontextový řetězec.
    • [SPARK-38974][SQL] Filtrování registrovaných funkcí s daným názvem databáze ve funkcích seznamu
    • [SPARK-38762][SQL] Zadání kontextu dotazu v chybách přetečení desetinných míst
    • [SPARK-38931][SS] Vytvoření kořenového adresáře dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu
    • [SPARK-38992][JÁDRO] Nepoužívejte bash -c v ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Zadání kontextu dotazu v klíči mapy neexistuje chyba
    • [SPARK-38889][SQL] Kompilace logických filtrů sloupců pro použití bitového typu pro zdroj dat MSSQL
    • [SPARK-38698][SQL] Zadání kontextu dotazu v chybě za běhu dělení, dělení, div, připomenutí/ Pmod
    • [SPARK-38823][SQL] Oprava NewInstance problému s poškozením vyrovnávací paměti agregace
    • [SPARK-38809][SS] Implementace možnosti přeskočit hodnoty null v implementaci symetrické hash spojení stream-stream
    • [SPARK-38676][SQL] Zadejte kontext dotazu SQL v chybové zprávě modulu runtime pro sčítání, odečítání nebo násobení.
    • [SPARK-38677][PYSPARK] Python MonitorThread by měl detekovat vzájemné zablokování kvůli blokování vstupně-výstupních operací
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 10.3 (EoS)

Viz Databricks Runtime 10.3 (EoS).

  • 27. července 2022
    • [SPARK-39689]Podpora 2 znaků ve zdroji lineSep dat CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
    • [SPARK-39702][JÁDRO] Snížení režijních nákladů na paměť transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel
    • Aktualizace zabezpečení operačního systému.
  • 20. července 2022
    • Výsledky operace Delta MERGE jsou konzistentní, pokud zdroj není deterministický.
    • [SPARK-39476][SQL] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí/ dvojitou nebo celočíselnou hodnotu na plovoucí
    • [SPARK-39548][SQL] Příkaz CreateView s dotazem klauzule okna narazil na nesprávný problém s definicí okna
    • [SPARK-39419][SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
    • Aktualizace zabezpečení operačního systému.
  • 5. července 2022
    • [SPARK-39376][SQL] Skrytí duplicitních sloupců v rozšíření poddotazového aliasu z natural/USING JOIN
    • Aktualizace zabezpečení operačního systému.
  • 15. června 2022
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096][SQL] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu
    • [SPARK-36718][SQL][ZPRACOVAT] Oprava vrácení se změnami sbalit isExtractOnly projekt
  • 2. června 2022
    • [SPARK-38990][SQL] Vyhněte se výjimce NullPointerException při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení nativní paměti v automatickém zavaděče.
    • [SPARK-38918][SQL] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-37593][JÁDRO] Zmenšení výchozí velikosti stránky LONG_ARRAY_OFFSET, pokud se používají G1GC a ON_HEAP
    • [SPARK-39084][PYSPARK] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-32268][SQL] Přidání columnPruningu do injektážeBloomFilter
    • [SPARK-38974][SQL] Filtrování registrovaných funkcí s daným názvem databáze ve funkcích seznamu
    • [SPARK-38889][SQL] Kompilace logických filtrů sloupců pro použití bitového typu pro zdroj dat MSSQL
    • Aktualizace zabezpečení operačního systému.
  • 4. května 2022
    • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
  • 19. dubna 2022
    • [SPARK-38616][SQL] Sledování textu dotazu SQL ve Catalyst TreeNode
    • Aktualizace zabezpečení operačního systému.
  • 6. dubna 2022
    • [SPARK-38631][JÁDRO] Používá implementaci založenou na Javě pro zrušení tarringu v nástroji Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s podporou řízení přístupu k tabulce nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byl /databricks/driverpracovní adresář .
    • [SPARK-38437][SQL] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180][SQL] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155][SQL] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-38325][SQL] Režim ANSI: Vyhněte se potenciální chybě za běhu v hashJoin.extractKeyExprAt()
  • 14. března 2022
    • Vylepšená detekce konfliktů transakcí pro prázdné transakce v Delta Lake.
    • [SPARK-38185][SQL] Oprava nesprávných dat, pokud je agregační funkce prázdná
    • [SPARK-38318][SQL] regrese při nahrazení zobrazení datové sady
    • [SPARK-38236][SQL] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
    • [SPARK-35937][SQL] Extrahování pole data z časového razítka by mělo fungovat v režimu ANSI
    • [SPARK-34069][SQL] Úkoly kill bariéry by měly respektovat SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Povolit přiřazení úložiště mezi timestampNTZ a datem a časovým razítkem
  • 23. února 2022
    • [SPARK-27442][SQL] Odebrání názvu zaškrtávacího pole při čtení a zápisu dat v parquet

Databricks Runtime 10.2 (EoS)

Viz Databricks Runtime 10.2 (EoS).

  • 15. června 2022
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096][SQL] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu
  • 2. června 2022
    • [SPARK-38918][SQL] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • [SPARK-38990][SQL] Vyhněte se výjimce NullPointerException při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení nativní paměti v automatickém zavaděče.
    • [SPARK-39084][PYSPARK] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-38889][SQL] Kompilace logických filtrů sloupců pro použití bitového typu pro zdroj dat MSSQL
    • [SPARK-38931][SS] Vytvoření kořenového adresáře dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu
    • Aktualizace zabezpečení operačního systému.
  • 4. května 2022
    • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
  • 19. dubna 2022
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb
  • 6. dubna 2022
    • [SPARK-38631][JÁDRO] Používá implementaci založenou na Javě pro zrušení tarringu v nástroji Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s podporou řízení přístupu k tabulce nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byl /databricks/driverpracovní adresář .
    • [SPARK-38437][SQL] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180][SQL] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155][SQL] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-38325][SQL] Režim ANSI: Vyhněte se potenciální chybě za běhu v hashJoin.extractKeyExprAt()
  • 14. března 2022
    • Vylepšená detekce konfliktů transakcí pro prázdné transakce v Delta Lake.
    • [SPARK-38185][SQL] Oprava nesprávných dat, pokud je agregační funkce prázdná
    • [SPARK-38318][SQL] regrese při nahrazení zobrazení datové sady
    • [SPARK-38236][SQL] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
    • [SPARK-35937][SQL] Extrahování pole data z časového razítka by mělo fungovat v režimu ANSI
    • [SPARK-34069][SQL] Úkoly kill bariéry by měly respektovat SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Povolit přiřazení úložiště mezi timestampNTZ a datem a časovým razítkem
  • 23. února 2022
    • [SPARK-37577][SQL] Oprava třídy ClassCastException: ArrayType nelze přetypovat na StructType pro vygenerování vygenerování
  • 8. února 2022
    • [SPARK-27442][SQL] Při čtení a zápisu dat v parquet odeberte název zaškrtávacího pole.
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme chybu, kdy se souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek potvrdit v ne serializovatelném pořadí.
    • Opravili jsme chybu, kdy příkaz OPTIMIZE mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Zavedli jsme podporu vkládání dočasných přihlašovacích údajů pro funkci COPY INTO pro načítání zdrojových dat bez nutnosti oprávnění sql ANY_FILE.
    • Opravy chyb a vylepšení zabezpečení
  • 20. prosince 2021
    • Opravili jsme vzácnou chybu při filtrování založeném na indexech sloupců Parquet.

Databricks Runtime 10.1 (EoS)

Viz Databricks Runtime 10.1 (EoS).

  • 15. června 2022
    • [SPARK-39283][JÁDRO] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark by při čtení souborů neměl kontrolovat názvy polí.
    • [SPARK-34096][SQL] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu
  • 2. června 2022
    • Aktualizace zabezpečení operačního systému.
  • 18. května 2022
    • Opravuje potenciální nevracení nativní paměti v automatickém zavaděče.
    • [SPARK-39084][PYSPARK] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu
    • [SPARK-38889][SQL] Kompilace logických filtrů sloupců pro použití bitového typu pro zdroj dat MSSQL
    • Aktualizace zabezpečení operačního systému.
  • 19. dubna 2022
    • [SPARK-37270][SQL] Oprava skládacího vložení do větví CaseWhen, pokud je elseValue prázdný
    • Aktualizace zabezpečení operačního systému.
  • 6. dubna 2022
    • [SPARK-38631][JÁDRO] Používá implementaci založenou na Javě pro zrušení tarringu v nástroji Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • [SPARK-38437][SQL] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180][SQL] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155][SQL] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-38325][SQL] Režim ANSI: Vyhněte se potenciální chybě za běhu v hashJoin.extractKeyExprAt()
  • 14. března 2022
    • Vylepšená detekce konfliktů transakcí pro prázdné transakce v Delta Lake.
    • [SPARK-38185][SQL] Oprava nesprávných dat, pokud je agregační funkce prázdná
    • [SPARK-38318][SQL] regrese při nahrazení zobrazení datové sady
    • [SPARK-38236][SQL] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
    • [SPARK-35937][SQL] Extrahování pole data z časového razítka by mělo fungovat v režimu ANSI
    • [SPARK-34069][SQL] Úkoly kill bariéry by měly respektovat SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Povolit přiřazení úložiště mezi timestampNTZ a datem a časovým razítkem
  • 23. února 2022
    • [SPARK-37577][SQL] Oprava třídy ClassCastException: ArrayType nelze přetypovat na StructType pro vygenerování vygenerování
  • 8. února 2022
    • [SPARK-27442][SQL] Při čtení a zápisu dat v parquet odeberte název zaškrtávacího pole.
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme chybu, kdy se souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek potvrdit v ne serializovatelném pořadí.
    • Opravili jsme chybu, kdy příkaz OPTIMIZE mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Zavedli jsme podporu vkládání dočasných přihlašovacích údajů pro funkci COPY INTO pro načítání zdrojových dat bez nutnosti oprávnění sql ANY_FILE.
    • Opravili jsme problém s nedostatkem paměti při ukládání výsledků dotazu do mezipaměti za určitých podmínek.
    • Opravili jsme problém, kdy USE DATABASE uživatel přepne aktuální katalog do jiného než výchozího katalogu.
    • Opravy chyb a vylepšení zabezpečení
    • Aktualizace zabezpečení operačního systému.
  • 20. prosince 2021
    • Opravili jsme vzácnou chybu při filtrování založeném na indexech sloupců Parquet.

Databricks Runtime 10.0 (EoS)

Viz Databricks Runtime 10.0 (EoS)

  • 19. dubna 2022
    • [SPARK-37270][SQL] Oprava skládacího vložení do větví CaseWhen, pokud je elseValue prázdný
    • Aktualizace zabezpečení operačního systému.
  • 6. dubna 2022
    • [SPARK-38631][JÁDRO] Používá implementaci založenou na Javě pro zrušení tarringu v nástroji Utils.unpack.
    • Aktualizace zabezpečení operačního systému.
  • 22. března 2022
    • [SPARK-38437][SQL] Lenient serializace datetime ze zdroje dat
    • [SPARK-38180][SQL] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
    • [SPARK-38155][SQL] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
    • [SPARK-38325][SQL] Režim ANSI: Vyhněte se potenciální chybě za běhu v hashJoin.extractKeyExprAt()
  • 14. března 2022
    • Vylepšená detekce konfliktů transakcí pro prázdné transakce v Delta Lake.
    • [SPARK-38185][SQL] Oprava nesprávných dat, pokud je agregační funkce prázdná
    • [SPARK-38318][SQL] regrese při nahrazení zobrazení datové sady
    • [SPARK-38236][SQL] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
    • [SPARK-35937][SQL] Extrahování pole data z časového razítka by mělo fungovat v režimu ANSI
    • [SPARK-34069][SQL] Úkoly kill bariéry by měly respektovat SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Povolit přiřazení úložiště mezi timestampNTZ a datem a časovým razítkem
  • 23. února 2022
    • [SPARK-37577][SQL] Oprava třídy ClassCastException: ArrayType nelze přetypovat na StructType pro vygenerování vygenerování
  • 8. února 2022
    • [SPARK-27442][SQL] Při čtení a zápisu dat v parquet odeberte název zaškrtávacího pole.
    • [SPARK-36905][SQL] Oprava čtení zobrazení Hive bez explicitních názvů sloupců
    • [SPARK-37859][SQL] Oprava potíží, kdy tabulky SQL vytvořené pomocí JDBC se Sparkem 3.1 nejsou čitelné ve verzi 3.2
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme chybu, kdy se souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek potvrdit v ne serializovatelném pořadí.
    • Opravili jsme chybu, kdy příkaz OPTIMIZE mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Opravy chyb a vylepšení zabezpečení
    • Aktualizace zabezpečení operačního systému.
  • 20. prosince 2021
    • Opravili jsme vzácnou chybu při filtrování založeném na indexech sloupců Parquet.
  • 9. listopadu 2021
    • Zavedli jsme další příznaky konfigurace, které umožňují jemně odstupňovanou kontrolu chování ANSI.
  • 4. listopadu 2021
    • Oprava chyby, která mohla způsobit selhání datových proudů strukturovaného streamování s sadou ArrayIndexOutOfBoundsException
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
    • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
  • 30. listopadu 2021
    • Opravili jsme problém s analýzou časového razítka, kdy byl řetězec časového pásma bez dvojtečky považován za neplatný.
    • Opravili jsme problém s nedostatkem paměti při ukládání výsledků dotazu do mezipaměti za určitých podmínek.
    • Opravili jsme problém, kdy USE DATABASE uživatel přepne aktuální katalog do jiného než výchozího katalogu.

Databricks Runtime 9.0 (EoS)

Viz Databricks Runtime 9.0 (EoS)

  • 8. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 1. února 2022
    • Aktualizace zabezpečení operačního systému.
  • 26. ledna 2022
    • Opravili jsme chybu, kdy příkaz OPTIMIZE mohl selhat, když byl povolen dialekt ANSI SQL.
  • 19. ledna 2022
    • Opravy chyb a vylepšení zabezpečení
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2021
    • Oprava chyby, která mohla způsobit selhání datových proudů strukturovaného streamování s sadou ArrayIndexOutOfBoundsException
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
    • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
  • 22. září 2021
    • Oprava chyby v přetypování pole Spark s hodnotou null na řetězec
  • 15. září 2021
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8. září 2021
    • Přidání podpory pro název schématu (databaseName.schemaName.tableName formát) jako název cílové tabulky pro konektor Azure Synapse
    • Přidání podpory geometrických a zeměpisných typů JDBC pro Spark SQL
    • [SPARK-33527][SQL] Rozšířili jsme funkci dekódování tak, aby byla konzistentní s hlavními databázemi.
    • [SPARK-36532][JÁDRO][3.1] Opravili jsme zablokování CoarseGrainedExecutorBackend.onDisconnected , aby se zabránilo executorsconnected zablokování exekutoru.
  • 25. srpna 2021
    • Knihovna ovladačů SQL Serveru byla upgradována na verzi 9.2.1.jre8.
    • Konektor Snowflake byl upgradován na verzi 2.9.0.
    • Opravili jsme nefunkční odkaz na nejlepší zkušební poznámkový blok na stránce experimentu AutoML.

Databricks Runtime 8.4 (EoS)

Viz Databricks Runtime 8.4 (EoS)

  • 19. ledna 2022
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2021
    • Oprava chyby, která mohla způsobit selhání datových proudů strukturovaného streamování s sadou ArrayIndexOutOfBoundsException
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
    • Konektor Apache Spark pro rozdílové sdílení byl upgradován na verzi 0.2.0.
  • 22. září 2021
    • Ovladač Spark JDBC byl upgradován na verzi 2.6.19.1030.
    • [SPARK-36734][SQL] Upgrade ORC na verzi 1.5.1
  • 15. září 2021
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizace zabezpečení operačního systému.
  • 8. září 2021
    • [SPARK-36532][JÁDRO][3.1] Opravili jsme zablokování CoarseGrainedExecutorBackend.onDisconnected , aby se zabránilo executorsconnected zablokování exekutoru.
  • 25. srpna 2021
    • Knihovna ovladačů SQL Serveru byla upgradována na verzi 9.2.1.jre8.
    • Konektor Snowflake byl upgradován na verzi 2.9.0.
    • Opravili jsme chybu v předávání přihlašovacích údajů způsobené novou optimalizací předběžného načtení Parquet, kdy se při přístupu k souborům nenašel předávací přihlašovací údaje uživatele.
  • 11. srpna 2021
    • Řeší problém s nekompatibilitou rocksDB, který brání staršímu modulu Databricks Runtime 8.4. Tím se opraví kompatibilita automatického zavaděče COPY INTOa stavových streamovacích aplikací.
    • Opravili jsme chybu při použití automatického zavaděče ke čtení souborů CSV s neshodou hlaviček. Pokud se názvy sloupců neshodují, bude sloupec vyplněný hodnotami null. Pokud je k dispozici schéma, předpokládá se, že schéma je stejné a uloží se neshody sloupců pouze v případě, že jsou povolené uložené datové sloupce.
    • Přidá do konektoru Azure Synapse novou možnost externalDataSource , která odebere CONTROL požadavek na oprávnění pro čtení PolyBase v databázi.
  • 29. července 2021
    • [SPARK-36034][BUILD] Změna základu data a času v nabízených filtrech do Parquet
    • [SPARK-36163][BUILD] Rozšíření správných vlastností JDBC ve zprostředkovateli konektoru JDBC a přidání connectionProvider možnosti

Databricks Runtime 8.3 (EoS)

Viz Databricks Runtime 8.3 (EoS)

  • 19. ledna 2022
    • Aktualizace zabezpečení operačního systému.
  • 4. listopadu 2021
    • Oprava chyby, která mohla způsobit selhání datových proudů strukturovaného streamování s sadou ArrayIndexOutOfBoundsException
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
  • 22. září 2021
    • Ovladač Spark JDBC byl upgradován na verzi 2.6.19.1030.
  • 15. září 2021
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizace zabezpečení operačního systému.
  • 8. září 2021
    • [SPARK-35700][SQL][WARMFIX] Čtení tabulky char/varchar orc při vytváření a zápisu externími systémy
    • [SPARK-36532][JÁDRO][3.1] Opravili jsme zablokování CoarseGrainedExecutorBackend.onDisconnected , aby se zabránilo executorsconnected zablokování exekutoru.
  • 25. srpna 2021
    • Knihovna ovladačů SQL Serveru byla upgradována na verzi 9.2.1.jre8.
    • Konektor Snowflake byl upgradován na verzi 2.9.0.
    • Opravili jsme chybu v předávání přihlašovacích údajů způsobené novou optimalizací předběžného načtení Parquet, kdy se při přístupu k souborům nenašel předávací přihlašovací údaje uživatele.
  • 11. srpna 2021
    • Opravili jsme chybu při použití automatického zavaděče ke čtení souborů CSV s neshodou hlaviček. Pokud se názvy sloupců neshodují, bude sloupec vyplněný hodnotami null. Pokud je k dispozici schéma, předpokládá se, že schéma je stejné a uloží se neshody sloupců pouze v případě, že jsou povolené uložené datové sloupce.
  • 29. července 2021
    • Upgrade konektoru Databricks Snowflake Spark na 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Změna základu data a času v nabízených filtrech do Parquet
    • [SPARK-36163][BUILD] Rozšíření správných vlastností JDBC ve zprostředkovateli konektoru JDBC a přidání connectionProvider možnosti
  • 14. července 2021
    • Opravili jsme problém při používání názvů sloupců s tečkami v konektoru Azure Synapse.
    • Byl zaveden database.schema.table formát konektoru Synapse.
    • Přidání podpory pro poskytnutí databaseName.schemaName.tableName formátu jako cílové tabulky místo pouze schemaName.tableName nebo tableName.
  • 15. června 2021
    • NoSuchElementException Oprava chyby v zápisech optimalizovaných pro Delta Lake, ke kterým může dojít při zápisu velkých objemů dat a ztrát exekutoru
    • Přidá příkazy SQL CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSa SHOW USERS příkazy. Podrobnosti najdete v tématu Příkazy zabezpečení a Příkazy Show.

Databricks Runtime 8.2 (EoS)

Viz Databricks Runtime 8.2 (EoS).

  • 22. září 2021

    • Aktualizace zabezpečení operačního systému.

  • 15. září 2021

    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8. září 2021

    • [SPARK-35700][SQL][WARMFIX] Čtení tabulky char/varchar orc při vytváření a zápisu externími systémy
    • [SPARK-36532][JÁDRO][3.1] Opravili jsme zablokování CoarseGrainedExecutorBackend.onDisconnected , aby se zabránilo executorsconnected zablokování exekutoru.

  • 25. srpna 2021

    • Konektor Snowflake byl upgradován na verzi 2.9.0.

  • 11. srpna 2021

    • [SPARK-36034][SQL] Znovu nasdílet datetime v nabízených filtrech do parquetu.

  • 29. července 2021

    • Upgrade konektoru Databricks Snowflake Spark na 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Rozšíření správných vlastností JDBC ve zprostředkovateli konektoru JDBC a přidání connectionProvider možnosti

  • 14. července 2021

    • Opravili jsme problém při používání názvů sloupců s tečkami v konektoru Azure Synapse.
    • Byl zaveden database.schema.table formát konektoru Synapse.
    • Přidání podpory pro poskytnutí databaseName.schemaName.tableName formátu jako cílové tabulky místo pouze schemaName.tableName nebo tableName.
    • Opravili jsme chybu, která uživatelům bránila v cestě do starších dostupných verzí s tabulkami Delta.

  • 15. června 2021

    • Opraví NoSuchElementException chybu v zápisech optimalizovaných pro Delta Lake, ke kterým může dojít při zápisu velkých objemů dat a ztrát exekutoru.

  • 26. května 2021

    • Aktualizace Pythonu s opravou zabezpečení pro opravu ohrožení zabezpečení Pythonu (CVE-2021-3177)

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
    • Opravili jsme problém s OOM, kdy auto loader hlásí metriky průběhu strukturovaného streamování.

Databricks Runtime 8.1 (EoS)

Viz Databricks Runtime 8.1 (EoS).

  • 22. září 2021

    • Aktualizace zabezpečení operačního systému.

  • 15. září 2021

    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8. září 2021

    • [SPARK-35700][SQL][WARMFIX] Čtení tabulky char/varchar orc při vytváření a zápisu externími systémy
    • [SPARK-36532][JÁDRO][3.1] Opravili jsme zablokování CoarseGrainedExecutorBackend.onDisconnected , aby se zabránilo executorsconnected zablokování exekutoru.

  • 25. srpna 2021

    • Konektor Snowflake byl upgradován na verzi 2.9.0.

  • 11. srpna 2021

    • [SPARK-36034][SQL] Znovu nasdílet datetime v nabízených filtrech do parquetu.

  • 29. července 2021

    • Upgrade konektoru Databricks Snowflake Spark na 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Rozšíření správných vlastností JDBC ve zprostředkovateli konektoru JDBC a přidání connectionProvider možnosti

  • 14. července 2021

    • Opravili jsme problém při používání názvů sloupců s tečkami v konektoru Azure Synapse.
    • Opravili jsme chybu, která uživatelům bránila v cestě do starších dostupných verzí s tabulkami Delta.

  • 15. června 2021

    • Opraví NoSuchElementException chybu v zápisech optimalizovaných pro Delta Lake, ke kterým může dojít při zápisu velkých objemů dat a ztrát exekutoru.

  • 26. května 2021

    • Aktualizace Pythonu s opravou zabezpečení pro opravu ohrožení zabezpečení Pythonu (CVE-2021-3177)

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • Opravili jsme problém s OOM, kdy auto loader hlásí metriky průběhu strukturovaného streamování.

  • 27. dubna 2021

    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
    • [SPARK-34856][SQL] Režim ANSI: Povolit přetypování složitých typů jako typ řetězce
    • [SPARK-35014] Oprava vzoru Fyzické agregace, aby se nepřepsaly skládací výrazy
    • [SPARK-34769][SQL] AnsiTypeCoercion: vrácení nejužšího konvertibilního typu mezi TypeCollection
    • [SPARK-34614][SQL] Režim ANSI: Přetypování řetězce na logickou hodnotu vyvolá výjimku při chybě analýzy
    • [SPARK-33794][SQL] Režim ANSI: Oprava výrazu NextDay za účelem vyvolání runtime IllegalArgumentException při příjmu neplatného vstupu v části

Databricks Runtime 8.0 (EoS)

Viz Databricks Runtime 8.0 (EoS).

  • 15. září 2021

    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25. srpna 2021

    • Konektor Snowflake byl upgradován na verzi 2.9.0.

  • 11. srpna 2021

    • [SPARK-36034][SQL] Znovu nasdílet datetime v nabízených filtrech do parquetu.

  • 29. července 2021

    • [SPARK-36163][BUILD] Rozšíření správných vlastností JDBC ve zprostředkovateli konektoru JDBC a přidání connectionProvider možnosti

  • 14. července 2021

    • Opravili jsme problém při používání názvů sloupců s tečkami v konektoru Azure Synapse.
    • Opravili jsme chybu, která uživatelům bránila v cestě do starších dostupných verzí s tabulkami Delta.

  • 26. května 2021

    • Aktualizace Pythonu s opravou zabezpečení pro opravu ohrožení zabezpečení Pythonu (CVE-2021-3177)

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.

  • 24. března 2021

    • [SPARK-34681][SQL] Oprava chyby pro úplné vnější zamíchané spojení hash při vytváření levé strany s nerovnanou podmínkou
    • [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
    • [SPARK-34613][SQL] Zobrazení opravy nezachytává konfiguraci nápovědy pro zakázání

  • úterý 9. března 2021

    • [SPARK-34543][SQL] Respektujte konfiguraci při řešení specifikace oddílu spark.sql.caseSensitive v 1. SET LOCATION
    • [SPARK-34392][SQL] Podpora ZoneOffset +h:mm v DateTimeUtils. getZoneId
    • [UŽIVATELSKÉ ROZHRANÍ] Oprava odkazu href vizualizace Spark DAG
    • [SPARK-34436][SQL] Podpora DPP TYPU ANY/ALL

Databricks Runtime 7.6 (EoS)

Viz Databricks Runtime 7.6 (EoS).

  • 11. srpna 2021
    • [SPARK-36034][SQL] Znovu nasdílet datetime v nabízených filtrech do parquetu.
  • 29. července 2021
    • [SPARK-32998][BUILD] Přidání možnosti přepsat výchozí vzdálená úložiště pouze interními úložištěmi
  • 14. července 2021
    • Opravili jsme chybu, která uživatelům bránila v cestě do starších dostupných verzí s tabulkami Delta.
  • 26. května 2021
    • Aktualizace Pythonu s opravou zabezpečení pro opravu ohrožení zabezpečení Pythonu (CVE-2021-3177)
  • 30. dubna 2021
    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
  • 24. března 2021
    • [SPARK-34768][SQL] Respektujte výchozí velikost vstupní vyrovnávací paměti v univocity
    • [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
  • 9. března 2021
    • (Jenom Azure) Oprava chyby automatického zavaděče, která může způsobit výjimku NullPointerException při použití Databricks Runtime 7.6 ke spuštění starého datového proudu automatického zavaděče vytvořeného v Databricks Runtime 7.2
    • [UŽIVATELSKÉ ROZHRANÍ] Oprava odkazu href vizualizace Spark DAG
    • Neznámý plán SparkPlan typu list není v SizeInBytesOnlyStatsSparkPlanVisitor správně zpracován.
    • Obnovení výstupního schématu SHOW DATABASES
    • [Delta][8.0, 7.6] Oprava chyby výpočtu v logice automatického ladění velikosti souboru
    • Zakázání kontroly neautnosti u souborů tabulek Delta v mezipaměti disku
    • [SQL] Použití správného dynamického vyřešovacího klíče sestavení, pokud je k dispozici nápověda pro spojení rozsahu
    • Zakázání podpory typu znaku v cestě kódu jiného než SQL
    • Vyhněte se NPE ve schématu DataFrameReader.schema
    • Oprava NPE, když odpověď EventGridClient nemá žádnou entitu
    • Oprava chyby uzavřeného datového proudu pro čtení ve službě Azure Auto Loader
    • [SQL] Nevygenerujte rady pro náhodné číslo oddílu, pokud je povolená služba AOS.
  • 24. února 2021
    • Upgradovali jsme konektor Spark BigQuery na verzi 0.18, který zavádí různé opravy chyb a podporu iterátorů Arrow a Avro.
    • Opravili jsme problém správnosti, který způsoboval, že Spark vrátil nesprávné výsledky, když se desetinná přesnost a měřítko souboru Parquet liší od schématu Sparku.
    • Opravili jsme problém se selháním čtení u tabulek Microsoft SQL Serveru, které obsahují prostorové datové typy, přidáním geometrie a geografické podpory typů JDBC pro Spark SQL.
    • Zavedli jsme novou konfiguraci spark.databricks.hive.metastore.init.reloadFunctions.enabled. Tato konfigurace řídí integrovanou inicializaci Hivu. Když je nastavená hodnota true, Azure Databricks znovu načte všechny funkce ze všech databází, do FunctionRegistrykterých uživatelé mají . Toto je výchozí chování metastoru Hive. Pokud je tato hodnota nastavená na false, Azure Databricks tento proces zakáže pro optimalizaci.
    • [SPARK-34212] Opravili jsme problémy související se čtením desetinných dat ze souborů Parquet.
    • [SPARK-34260][SQL] Oprava unresolvedException při vytváření dočasného zobrazení dvakrát.

Databricks Runtime 7.5 (EoS)

Viz Databricks Runtime 7.5 (EoS).

  • 26. května 2021
    • Aktualizace Pythonu s opravou zabezpečení pro opravu ohrožení zabezpečení Pythonu (CVE-2021-3177)
  • 30. dubna 2021
    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
  • 24. března 2021
    • [SPARK-34768][SQL] Respektujte výchozí velikost vstupní vyrovnávací paměti v univocity
    • [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
  • 9. března 2021
    • (Jenom Azure) Opravili jsme chybu automatického zavaděče, která může způsobit výjimku NullPointerException při použití databricks Runtime 7.5 ke spuštění starého datového proudu automatického zavaděče vytvořeného v Databricks Runtime 7.2.
    • [UŽIVATELSKÉ ROZHRANÍ] Oprava odkazu href vizualizace Spark DAG
    • Neznámý plán SparkPlan typu list není v SizeInBytesOnlyStatsSparkPlanVisitor správně zpracován.
    • Obnovení výstupního schématu SHOW DATABASES
    • Zakázání kontroly neautnosti u souborů tabulek Delta v mezipaměti disku
    • [SQL] Použití správného dynamického vyřešovacího klíče sestavení, pokud je k dispozici nápověda pro spojení rozsahu
    • Zakázání podpory typu znaku v cestě kódu jiného než SQL
    • Vyhněte se NPE ve schématu DataFrameReader.schema
    • Oprava NPE, když odpověď EventGridClient nemá žádnou entitu
    • Oprava chyby uzavřeného datového proudu pro čtení ve službě Azure Auto Loader
  • 24. února 2021
    • Upgradovali jsme konektor Spark BigQuery na verzi 0.18, který zavádí různé opravy chyb a podporu iterátorů Arrow a Avro.
    • Opravili jsme problém správnosti, který způsoboval, že Spark vrátil nesprávné výsledky, když se desetinná přesnost a měřítko souboru Parquet liší od schématu Sparku.
    • Opravili jsme problém se selháním čtení u tabulek Microsoft SQL Serveru, které obsahují prostorové datové typy, přidáním geometrie a geografické podpory typů JDBC pro Spark SQL.
    • Zavedli jsme novou konfiguraci spark.databricks.hive.metastore.init.reloadFunctions.enabled. Tato konfigurace řídí integrovanou inicializaci Hivu. Když je nastavená hodnota true, Azure Databricks znovu načte všechny funkce ze všech databází, do FunctionRegistrykterých uživatelé mají . Toto je výchozí chování metastoru Hive. Pokud je tato hodnota nastavená na false, Azure Databricks tento proces zakáže pro optimalizaci.
    • [SPARK-34212] Opravili jsme problémy související se čtením desetinných dat ze souborů Parquet.
    • [SPARK-34260][SQL] Oprava unresolvedException při vytváření dočasného zobrazení dvakrát.
  • 4. února 2021
    • Opravili jsme regresi, která bránila přírůstkovém spuštění dotazu, který nastavil globální limit, například SELECT * FROM table LIMIT nrows. K regresi došlo, když uživatelé spustili dotazy prostřednictvím ODBC/JDBC s povolenou serializací šipky.
    • Zavedli jsme kontroly času zápisu do klienta Hive, aby se zabránilo poškození metadat v metastoru Hive pro tabulky Delta.
    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.
  • 20. ledna 2021
    • Opravili jsme regresi v vydání údržby z 12. ledna 2021, která může způsobit nesprávnou výjimku AnalysisException a říká se, že sloupec je v samostatném spojení nejednoznačný. K této regresi dochází, když se uživatel připojí k datovému rámci s odvozeným datovým rámcem (tzv. self-join) s následujícími podmínkami:
      • Tyto dva datové rámce mají společné sloupce, ale výstup spojení sebe sama neobsahuje společné sloupce. Například df.join(df.select($"col" as "new_col"), cond)
      • Odvozený datový rámec vyloučí některé sloupce prostřednictvím výběru, groupBy nebo okna.
      • Podmínka spojení nebo následující transformace po spojeném datovém rámci odkazuje na nesouvisené sloupce. Například df.join(df.drop("a"), df("a") === 1)
  • 12. ledna 2021
    • Upgradujte sadu Azure Storage SDK z verze 2.3.8 na verzi 2.3.9.
    • [SPARK-33593][SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
    • [SPARK-33480][SQL] aktualizuje chybovou zprávu kontroly délky vložení tabulky char/varchar.

Databricks Runtime 7.3 LTS (EoS)

Viz Databricks Runtime 7.3 LTS (EoS).

  • 10. září 2023

    • Různé opravy chyb

  • 30. srpna 2023

    • Aktualizace zabezpečení operačního systému.

  • 15. srpna 2023

    • Aktualizace zabezpečení operačního systému.

  • 23. června 2023

    • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
    • Aktualizace zabezpečení operačního systému.

  • 15. června 2023

    • [SPARK-43413][SQL] Oprava IN možnosti null poddotaznosti ListQuery .
    • Aktualizace zabezpečení operačního systému.

  • 2. června 2023

    • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.

  • 17. května 2023

    • Aktualizace zabezpečení operačního systému.

  • 25. dubna 2023

    • Aktualizace zabezpečení operačního systému.

  • úterý 11. dubna 2023

    • [SPARK-42967][JÁDRO] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
    • Různé opravy chyb

  • 29. března 2023

    • Aktualizace zabezpečení operačního systému.

  • 14. března 2023

    • Různé opravy chyb

  • 28. února 2023

    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Aktualizace zabezpečení operačního systému.

  • 31. ledna 2023

    • Ve výchozím nastavení jsou typy tabulek JDBC externí.

  • 18. ledna 2023

    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Různé opravy chyb

  • 15. listopadu 2022

    • Upgradovali jsme Apache commons-text na verzi 1.10.0.
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 1. listopadu 2022

    • [SPARK-38542][SQL] UnsafeHashedRelation by měl serializovat numKeys out

  • 18. října 2022

    • Aktualizace zabezpečení operačního systému.

  • středa 5. října 2022

    • Různé opravy chyb
    • Aktualizace zabezpečení operačního systému.

  • 22. září 2022

    • [SPARK-40089][SQL] Oprava řazení u některých typů desetinných míst

  • 6. září 2022

    • [SPARK-35542][JÁDRO][ML] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
    • [SPARK-40079][JÁDRO] Přidání ověření Imputer inputCols pro prázdný vstupní případ

  • 24. srpna 2022

    • [SPARK-39962][PYTHON][SQL] Použít projekci, pokud jsou atributy skupiny prázdné
    • Aktualizace zabezpečení operačního systému.

  • úterý 9. srpna 2022

    • Aktualizace zabezpečení operačního systému.

  • 27. července 2022

    • Výsledky operace Delta MERGE jsou konzistentní, pokud zdroj není deterministický.
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 13. července 2022

    • [SPARK-32680][SQL] Nezpracovávejte předběžné zpracování V2 CTAS s nevyřešeným dotazem
    • Zakázali jsme použití nativních cloudových rozhraní API auto loaderu pro výpis adresářů v Azure.
    • Aktualizace zabezpečení operačního systému.

  • 5. července 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 2. června 2022

    • [SPARK-38918][SQL] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
    • Aktualizace zabezpečení operačního systému.

  • 18. května 2022

    • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 19. dubna 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 6. dubna 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 14. března 2022

    • Odebrání ohrožených tříd z souboru jar log4j 1.2.17
    • Různé opravy chyb

  • 23. února 2022

    • [SPARK-37859][SQL] Během porovnání schématu nekontrolujte metadata.

  • 8. února 2022

    • Upgradujte Ubuntu JDK na 1.8.0.312.
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. února 2022

    • Aktualizace zabezpečení operačního systému.

  • 26. ledna 2022

    • Opravili jsme chybu, kdy příkaz OPTIMIZE mohl selhat, když byl povolen dialekt ANSI SQL.

  • 19. ledna 2022

    • Výchozí kanál Conda se odebere z 7.3 ML LTS.
    • Aktualizace zabezpečení operačního systému.

  • 7. prosince 2021

    • Aktualizace zabezpečení operačního systému.

  • 4. listopadu 2021

    • Oprava chyby, která mohla způsobit selhání datových proudů strukturovaného streamování s sadou ArrayIndexOutOfBoundsException
    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.

  • 15. září 2021

    • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException, jako je java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aktualizace zabezpečení operačního systému.

  • 8. září 2021

    • [SPARK-35700][SQL][WARMFIX] Čtení tabulky char/varchar orc při vytváření a zápisu externími systémy
    • [SPARK-36532][JÁDRO][3.1] Opravili jsme zablokování CoarseGrainedExecutorBackend.onDisconnected , aby se zabránilo executorsconnected zablokování exekutoru.

  • 25. srpna 2021

    • Konektor Snowflake byl upgradován na verzi 2.9.0.

  • 29. července 2021

    • [SPARK-36034][BUILD] Změna základu data a času v nabízených filtrech do Parquet
    • [SPARK-34508][BUILD] Přeskočit HiveExternalCatalogVersionsSuite , pokud je síť dole

  • 14. července 2021

    • Zavedený database.schema.table formát konektoru Azure Synapse
    • Přidání podpory pro poskytnutí databaseName.schemaName.tableName formátu jako cílové tabulky místo pouze schemaName.tableName nebo tableName.
    • Opravili jsme chybu, která uživatelům bránila v cestě do starších dostupných verzí s tabulkami Delta.

  • 15. června 2021

    • Opraví NoSuchElementException chybu v zápisech optimalizovaných pro Delta Lake, ke kterým může dojít při zápisu velkých objemů dat a ztrát exekutoru.
    • Aktualizace Pythonu s opravou zabezpečení pro opravu ohrožení zabezpečení Pythonu (CVE-2021-3177)

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
    • [SPARK-35045][SQL] Přidání interní možnosti pro řízení vstupní vyrovnávací paměti v neivotnosti

  • 24. března 2021

    • [SPARK-34768][SQL] Respektujte výchozí velikost vstupní vyrovnávací paměti v univocity
    • [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
    • [SPARK-33118][SQL]VYTVOŘENÍ DOČASNÉ TABULKY selže s umístěním

  • úterý 9. března 2021

    • Aktualizovaný ovladač systému souborů Azure Blob pro Azure Data Lake Storage Gen2 je teď ve výchozím nastavení povolený. Přináší několik vylepšení stability.
    • Oprava oddělovače cest ve Windows pro databricks-connect get-jar-dir
    • [UŽIVATELSKÉ ROZHRANÍ] Oprava odkazu href vizualizace Spark DAG
    • [DBCONNECT] Přidání podpory pro FlatMapCoGroupsInPandas v Databricks Connect 7.3
    • Obnovení výstupního schématu SHOW DATABASES
    • [SQL] Použití správného dynamického vyřešovacího klíče sestavení, pokud je k dispozici nápověda pro spojení rozsahu
    • Zakázání kontroly neautnosti u souborů tabulek Delta v mezipaměti disku
    • [SQL] Nevygenerujte rady pro náhodné číslo oddílu, pokud je povolený AOS

  • 24. února 2021

    • Upgradovali jsme konektor Spark BigQuery na verzi 0.18, který zavádí různé opravy chyb a podporu iterátorů Arrow a Avro.
    • Opravili jsme problém správnosti, který způsoboval, že Spark vrátil nesprávné výsledky, když se desetinná přesnost a měřítko souboru Parquet liší od schématu Sparku.
    • Opravili jsme problém se selháním čtení u tabulek Microsoft SQL Serveru, které obsahují prostorové datové typy, přidáním geometrie a geografické podpory typů JDBC pro Spark SQL.
    • Zavedli jsme novou konfiguraci spark.databricks.hive.metastore.init.reloadFunctions.enabled. Tato konfigurace řídí integrovanou inicializaci Hivu. Když je nastavená hodnota true, Azure Databricks znovu načte všechny funkce ze všech databází, do FunctionRegistrykterých uživatelé mají . Toto je výchozí chování metastoru Hive. Pokud je tato hodnota nastavená na false, Azure Databricks tento proces zakáže pro optimalizaci.
    • [SPARK-34212] Opravili jsme problémy související se čtením desetinných dat ze souborů Parquet.
    • [SPARK-33579][UŽIVATELSKÉ ROZHRANÍ] Oprava prázdné stránky exekutoru za proxy serverem
    • [SPARK-20044][UŽIVATELSKÉ ROZHRANÍ] Podpora uživatelského rozhraní Sparku za front-endovým reverzním proxy serverem pomocí předpony cesty
    • [SPARK-33277][PYSPARK][SQL] Použití ContextAwareIterator k zastavení využívání po skončení úkolu.

  • 4. února 2021

    • Opravili jsme regresi, která bránila přírůstkovém spuštění dotazu, který nastavil globální limit, například SELECT * FROM table LIMIT nrows. K regresi došlo, když uživatelé spustili dotazy prostřednictvím ODBC/JDBC s povolenou serializací šipky.
    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.

  • 20. ledna 2021

    • Opravili jsme regresi v vydání údržby z 12. ledna 2021, která může způsobit nesprávnou výjimku AnalysisException a říká se, že sloupec je v samostatném spojení nejednoznačný. K této regresi dochází, když se uživatel připojí k datovému rámci s odvozeným datovým rámcem (tzv. self-join) s následujícími podmínkami:
      • Tyto dva datové rámce mají společné sloupce, ale výstup spojení sebe sama neobsahuje společné sloupce. Například df.join(df.select($"col" as "new_col"), cond)
      • Odvozený datový rámec vyloučí některé sloupce prostřednictvím výběru, groupBy nebo okna.
      • Podmínka spojení nebo následující transformace po spojeném datovém rámci odkazuje na nesouvisené sloupce. Například df.join(df.drop("a"), df("a") === 1)

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-33593][SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
    • [SPARK-33677][SQL] Přeskočit pravidlo LikeSimplification, pokud vzor obsahuje jakýkoli řídicí znak
    • [SPARK-33592][ML][PYTHON] Parametry validátoru Pyspark ML v estimatorParamMaps mohou být po uložení a opětovném načtení ztraceny.
    • [SPARK-33071][SPARK-33536][SQL] Vyhněte se změně dataset_id logického plánu ve join() tak, aby se neporušila funkce DetectAmbiguousSelfJoin.

  • úterý 8. prosince 2020

    • [SPARK-33587][JÁDRO] Ukončení exekutoru u vnořených závažných chyb
    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • [SPARK-33316][SQL] Podpora uživatelského schématu Avro s možnou hodnotou null pro schéma nenulovatelného katalyzátoru v Avro zápisu
    • Úlohy Sparku spuštěné pomocí Databricks Connect můžou přestat reagovat s trasování zásobníku Executor$TaskRunner.$anonfun$copySessionState exekutoru
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33404][SQL][3.0] Oprava nesprávných výsledků ve výrazu date_trunc
    • [SPARK-33339][PYTHON] Aplikace Pyspark přestane reagovat kvůli chybě bez výjimky
    • [SPARK-33183][SQL][OPRAVA HOTFIX] Oprava pravidla Optimizer EliminateSorts a přidání fyzického pravidla pro odebrání redundantních řazení
    • [SPARK-33371][PYTHON][3.0] Aktualizace setup.py a testů pro Python 3.9
    • [SPARK-33391][SQL] element_at s CreateArray nerespektuje jeden založený index.
    • [SPARK-33306][SQL]Při přetypování data na řetězec je potřeba časové pásmo.
    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream

  • 5. listopadu 2020

    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser().
    • Opravte chybu nekonečné smyčky, když čtečka Avro přečte bajty MAGIC.
    • Přidání podpory pro oprávnění VYUŽITÍ
    • Vylepšení výkonu pro kontrolu oprávnění v řízení přístupu k tabulce

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • Ze systému souborů DBFS můžete číst a zapisovat pomocí připojení FUSE v /dbfs/ v clusteru s povoleným předáváním přihlašovacích údajů s vysokou souběžností. Běžná připojení jsou podporovaná, ale připojení, která potřebují přihlašovací údaje pro předávání, se zatím nepodporují.
    • [SPARK-32999][SQL] Použití Utils.getSimpleName k tomu, abyste se vyhnuli názvu chybných názvů tříd ve TreeNode
    • [SPARK-32585][SQL] Podpora výčtu scala v scalaReflection
    • Oprava výpisu adresářů v připojení FUSE, které obsahují názvy souborů s neplatnými znaky XML
    • Připojení FUSE už nepoužívá ListMultipartUploads.

  • 29. září 2020

    • [SPARK-32718][SQL] Odebrání nepotřebných klíčových slov pro jednotky intervalu
    • [SPARK-32635][SQL] Oprava skládacího šíření
    • Přidejte novou konfiguraci spark.shuffle.io.decoder.consolidateThreshold. Nastavte hodnotu konfigurace tak, aby Long.MAX_VALUE přeskočila sloučení netty FrameBuffers, což brání java.lang.IndexOutOfBoundsException v rohových případech.

  • 25. dubna 2023

    • Aktualizace zabezpečení operačního systému.

  • úterý 11. dubna 2023

    • Různé opravy chyb

  • 29. března 2023

    • Různé opravy chyb

  • 14. března 2023

    • Aktualizace zabezpečení operačního systému.

  • 28. února 2023

    • Aktualizace zabezpečení operačního systému.

  • 16. února 2023

    • Aktualizace zabezpečení operačního systému.

  • 31. ledna 2023

    • Různé opravy chyb

  • 18. ledna 2023

    • Aktualizace zabezpečení operačního systému.

  • 29. listopadu 2022

    • Aktualizace zabezpečení operačního systému.

  • 15. listopadu 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 1. listopadu 2022

    • Aktualizace zabezpečení operačního systému.

  • 18. října 2022

    • Aktualizace zabezpečení operačního systému.
    • 5. října 2022
      • Aktualizace zabezpečení operačního systému.
    • 24. srpna 2022
      • Aktualizace zabezpečení operačního systému.
    • 9. srpna 2022
      • Aktualizace zabezpečení operačního systému.
    • 27. července 2022
      • Aktualizace zabezpečení operačního systému.
    • 5. července 2022
      • Aktualizace zabezpečení operačního systému.
    • 2. června 2022
      • Aktualizace zabezpečení operačního systému.
    • 18. května 2022
      • Aktualizace zabezpečení operačního systému.
    • 19. dubna 2022
      • Aktualizace zabezpečení operačního systému.
      • Různé opravy chyb
    • 6. dubna 2022
      • Aktualizace zabezpečení operačního systému.
      • Různé opravy chyb
    • 14. března 2022
      • Různé opravy chyb
    • 23. února 2022
      • Různé opravy chyb
    • 8. února 2022
      • Upgradujte Ubuntu JDK na 1.8.0.312.
      • Aktualizace zabezpečení operačního systému.
    • 1. února 2022
      • Aktualizace zabezpečení operačního systému.
    • 19. ledna 2022
      • Aktualizace zabezpečení operačního systému.
    • 22. září 2021
      • Aktualizace zabezpečení operačního systému.
    • 30. dubna 2021
      • Aktualizace zabezpečení operačního systému.
      • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • 12. ledna 2021
      • Aktualizace zabezpečení operačního systému.
    • 8. prosince 2020
      • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
      • Aktualizace zabezpečení operačního systému.
    • úterý 1. prosince 2020
    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream
    • 3. listopadu 2020
      • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
      • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • 13. října 2020
      • Aktualizace zabezpečení operačního systému.

Rozšířená podpora Databricks Runtime 6.4 (EoS)

Viz Databricks Runtime 6.4 (EoS) a Databricks Runtime 6.4 Extended Support (EoS)

  • 5. července 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 2. června 2022

    • Aktualizace zabezpečení operačního systému.

  • 18. května 2022

    • Aktualizace zabezpečení operačního systému.

  • 19. dubna 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 6. dubna 2022

    • Aktualizace zabezpečení operačního systému.
    • Různé opravy chyb

  • 14. března 2022

    • Odebrání ohrožených tříd z souboru jar log4j 1.2.17
    • Různé opravy chyb

  • 23. února 2022

    • Různé opravy chyb

  • 8. února 2022

    • Upgradujte Ubuntu JDK na 1.8.0.312.
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. února 2022

    • Aktualizace zabezpečení operačního systému.

  • 26. ledna 2022

    • Opravili jsme chybu, kdy příkaz OPTIMIZE mohl selhat, když byl povolen dialekt ANSI SQL.

  • 19. ledna 2022

    • Aktualizace zabezpečení operačního systému.

  • 8. prosince 2021

    • Aktualizace zabezpečení operačního systému.

  • 22. září 2021

    • Aktualizace zabezpečení operačního systému.

  • 15. června 2021

    • [SPARK-35576][SQL] Redact the sensitive info in the result of Set command

  • 7. června 2021

    • Přidejte novou konfiguraci s názvem spark.sql.maven.additionalRemoteRepositories, čárkami oddělený řetězec konfigurace volitelného dalšího vzdáleného zrcadlení Maven. Výchozí hodnota https://maven-central.storage-download.googleapis.com/maven2/je .

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit

  • úterý 9. března 2021

    • Port HADOOP-17215 do ovladače systému souborů Azure Blob (podpora podmíněného přepsání)
    • Oprava oddělovače cest ve Windows pro databricks-connect get-jar-dir
    • Přidání podpory metastoru Hive verze 2.3.5, 2.3.6 a 2.3.7
    • Šipka "totalResultsCollected" hlášena nesprávně po přelití

  • 24. února 2021

    • Zavedli jsme novou konfiguraci spark.databricks.hive.metastore.init.reloadFunctions.enabled. Tato konfigurace řídí integrovanou inicializaci Hivu. Když je nastavená hodnota true, Azure Databricks znovu načte všechny funkce ze všech databází, do FunctionRegistrykterých uživatelé mají . Toto je výchozí chování metastoru Hive. Pokud je tato hodnota nastavená na false, Azure Databricks tento proces zakáže pro optimalizaci.

  • 4. února 2021

    • Opravili jsme regresi, která bránila přírůstkovém spuštění dotazu, který nastavil globální limit, například SELECT * FROM table LIMIT nrows. K regresi došlo, když uživatelé spustili dotazy prostřednictvím ODBC/JDBC s povolenou serializací šipky.
    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.

  • úterý 8. prosince 2020

    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • [SPARK-33183][SQL] Oprava pravidla Optimizer EliminateSorts a přidání fyzického pravidla pro odebrání redundantních řazení
    • [Runtime 6.4 ML GPU] Dříve jsme nainstalovali nesprávnou verzi (2.7.8-1+cuda11.1) seznamu NCCL. Tato verze ji opraví na verzi 2.4.8-1+cuda10.0, která je kompatibilní s CUDA 10.0.
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream
    • [SPARK-32635][SQL] Oprava skládacího šíření

  • 3. listopadu 2020

    • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • Opravte chybu nekonečné smyčky čtečky Avro při čtení bajtů MAGIC.

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-32999][SQL][2.4] Použití nástroje Utils.getSimpleName k tomu, aby se zabránilo názvu chybných názvů tříd ve TreeNode
    • Oprava výpisu adresářů v připojení FUSE, které obsahují názvy souborů s neplatnými znaky XML
    • Připojení FUSE už nepoužívá ListMultipartUploads.

  • 24. září 2020

    • Opravili jsme předchozí omezení, kdy předávání ve standardním clusteru stále omezovalo uživatele implementace systému souborů. Uživatelé teď budou mít přístup k místním systémům souborů bez omezení.
    • Aktualizace zabezpečení operačního systému.

  • úterý 8. září 2020

    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.
    • Aktualizace sady Azure Storage SDK na verzi 8.6.4 a povolení udržování protokolu TCP na připojeních provedených ovladačem WASB

  • 25. srpna 2020

    • Oprava nejednoznačného překladu atributů v samoobslužné sloučení

  • 18. srpna 2020

    • [SPARK-32431][SQL] Kontrola duplicitních vnořených sloupců ve čtení z předdefinovaných zdrojů dat
    • Opravili jsme konflikt časování v konektoru AQS při použití Trigger.Once.

  • 11. srpna 2020

    • [SPARK-28676][JÁDRO] Vyhněte se nadměrnému protokolování z ContextCleaneru

  • 3. srpna 2020

    • Transformační funkci LDA teď můžete použít v clusteru s povoleným předáváním.
    • Aktualizace zabezpečení operačního systému.

  • 7. července 2020

    • Upgradovaná verze Javy z verze 1.8.0_232 na 1.8.0_252.

  • 21. dubna 2020

    • [SPARK-31312][SQL] Instance třídy mezipaměti pro instanci UDF v HiveFunctionWrapperu

  • 7. dubna 2020

    • Pokud chcete vyřešit problém s udf pandas, který nefunguje s PyArrow 0.15.0 a novějším, přidali jsme proměnnou prostředí (ARROW_PRE_0_15_IPC_FORMAT=1), která umožňuje podporu těchto verzí PyArrow. Viz pokyny v [SPARK-29367].

  • 10. března 2020

    • Optimalizované automatické škálování se teď ve výchozím nastavení používá u interaktivních clusterů v plánu zabezpečení.
    • Konektor Snowflake (spark-snowflake_2.11) zahrnutý v Databricks Runtime se aktualizuje na verzi 2.5.9. snowflake-jdbc je aktualizován na verzi 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

Viz Databricks Runtime 5.5 LTS (EoS) a Databricks Runtime 5.5 Extended Support (EoS)

  • 8. prosince 2021

    • Aktualizace zabezpečení operačního systému.

  • 22. září 2021

    • Aktualizace zabezpečení operačního systému.

  • 25. srpna 2021

    • Downgradoval některé dříve upgradované balíčky Pythonu ve verzi Rozšířené podpory 5.5 ML, aby se zachovala lepší parita s 5.5 ML LTS (nyní zastaralé). Aktualizované rozdíly mezi těmito dvěma verzemi najdete v tématu [_]/release-notes/runtime/5.5xml.md).

  • 15. června 2021

    • [SPARK-35576][SQL] Redact the sensitive info in the result of Set command

  • 7. června 2021

    • Přidejte novou konfiguraci s názvem spark.sql.maven.additionalRemoteRepositories, čárkami oddělený řetězec konfigurace volitelného dalšího vzdáleného zrcadlení Maven. Výchozí hodnota https://maven-central.storage-download.googleapis.com/maven2/je .

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit

  • úterý 9. března 2021

    • Port HADOOP-17215 do ovladače systému souborů Azure Blob (podpora podmíněného přepsání)

  • 24. února 2021

    • Zavedli jsme novou konfiguraci spark.databricks.hive.metastore.init.reloadFunctions.enabled. Tato konfigurace řídí integrovanou inicializaci Hivu. Když je nastavená hodnota true, Azure Databricks znovu načte všechny funkce ze všech databází, do FunctionRegistrykterých uživatelé mají . Toto je výchozí chování metastoru Hive. Pokud je tato hodnota nastavená na false, Azure Databricks tento proces zakáže pro optimalizaci.

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.
    • Oprava pro [HADOOP-17130].

  • úterý 8. prosince 2020

    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream
    • [SPARK-32635][SQL] Oprava skládacího šíření

  • 29. října 2020

    • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • Opravte chybu nekonečné smyčky čtečky Avro při čtení bajtů MAGIC.

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-32999][SQL][2.4] Použití nástroje Utils.getSimpleName k tomu, aby se zabránilo názvu chybných názvů tříd ve TreeNode

  • 24. září 2020

    • Aktualizace zabezpečení operačního systému.

  • úterý 8. září 2020

    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.

  • 18. srpna 2020

    • [SPARK-32431][SQL] Kontrola duplicitních vnořených sloupců ve čtení z předdefinovaných zdrojů dat
    • Opravili jsme konflikt časování v konektoru AQS při použití Trigger.Once.

  • 11. srpna 2020

    • [SPARK-28676][JÁDRO] Vyhněte se nadměrnému protokolování z ContextCleaneru

  • 3. srpna 2020

    • Aktualizace zabezpečení operačního systému

  • 7. července 2020

    • Upgradovaná verze Javy z verze 1.8.0_232 na 1.8.0_252.

  • 21. dubna 2020

    • [SPARK-31312][SQL] Instance třídy mezipaměti pro instanci UDF v HiveFunctionWrapperu

  • 7. dubna 2020

    • Pokud chcete vyřešit problém s udf pandas, který nefunguje s PyArrow 0.15.0 a novějším, přidali jsme proměnnou prostředí (ARROW_PRE_0_15_IPC_FORMAT=1), která umožňuje podporu těchto verzí PyArrow. Viz pokyny v [SPARK-29367].

  • 25. března 2020

    • Konektor Snowflake (spark-snowflake_2.11) zahrnutý v Databricks Runtime se aktualizuje na verzi 2.5.9. snowflake-jdbc je aktualizován na verzi 3.12.0.

  • 10. března 2020

    • Výstup úlohy, jako je výstup protokolu vygenerovaný do výstupu stdout, podléhá limitu velikosti 20 MB. Pokud má celkový výstup větší velikost, spuštění se zruší a označí jako neúspěšné. Abyste se vyhnuli tomuto limitu, můžete zabránit vrácení stdoutu z ovladače do nastavení konfigurace Sparku spark.databricks.driver.disableScalaOutput na true. Ve výchozím nastavení je falsehodnota příznaku . Příznak řídí výstup buňky pro úlohy Scala JAR a poznámkové bloky Scala. Pokud je příznak povolený, Spark nevrací výsledky provádění úloh klientovi. Příznak nemá vliv na data zapsaná v souborech protokolu clusteru. Nastavení tohoto příznaku se doporučuje jenom pro automatizované clustery pro úlohy JAR, protože zakáže výsledky poznámkového bloku.

  • 18. února 2020

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 by měla vyvolat výjimku
    • Předávání přihlašovacích údajů s ADLS Gen2 má snížení výkonu kvůli nesprávnému místnímu zpracování vlákna při povolení předběžného načítání klienta ADLS. Tato verze zakáže předběžné načítání ADLS Gen2, pokud je povolené předávání přihlašovacích údajů, dokud nebudeme mít správnou opravu.

  • 28. ledna 2020

    • [SPARK-30447][SQL] Problém s konstantní šířením hodnot null.

  • 14. ledna 2020

    • Upgradovala se verze Java z verze 1.8.0_222 na 1.8.0_232.

  • 19. listopadu 2019

    • [SPARK-29743] [SQL] Pokud je hodnota needCopyResult pravdivá, měla by být v ukázce nastavena hodnota needCopyResult.
    • Verze R byla neúmyslně upgradována na verzi 3.6.1 z verze 3.6.0. Downgradovali jsme ho zpátky na 3.6.0.

  • 5. listopadu 2019

    • Upgradovaná verze Javy z verze 1.8.0_212 na 1.8.0_222.

  • 23. října 2019

    • [SPARK-29244][JÁDRO] Znemožnit uvolnění stránky v BajtesToBytesMap znovu

  • úterý 8. října 2019

    • Změny na straně serveru, aby se ovladač ODBC Simba Apache Spark znovu připojil a pokračoval po selhání připojení během načítání výsledků (vyžaduje ovladač Simba Apache Spark ODBC verze 2.6.10).
    • Opravili jsme problém, který ovlivnil použití Optimize příkazu s clustery s podporou seznamu ACL tabulky.
    • Opravili jsme problém, kdy pyspark.ml knihovny selhaly kvůli chybě zakázánou službou Scala UDF v seznamu ACL tabulky a clusterech s povolenými předáváním přihlašovacích údajů.
    • Metody Allowlisted SerDe a SerDeUtil pro předávání přihlašovacích údajů
    • Byla opravena výjimka NullPointerException při kontrole kódu chyby v klientovi WASB.

  • 24. září 2019

    • Vylepšená stabilita zapisovače Parquet.
    • Opravili jsme problém, kdy se dotaz Thrift zrušil, než se spustí, mohlo dojít k zablokování ve stavu STARTED.

  • 10. září 2019

    • Přidání iterátoru bezpečného vlákna do BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Povolení připojení Pythonu s vláknem připojení k šíření chyb
    • Opravili jsme chybu, která ovlivnila některé globální agregační dotazy.
    • Vylepšili jsme redakci přihlašovacích údajů.
    • [SPARK-27330][SS] Podpora úkolu přerušena v foreach writer
    • [SPARK-28642]Skrytí přihlašovacích údajů v SHOW CREATE TABLE
    • [SPARK-28699][SQL] Zakázání použití řazení radix pro ShuffleExchangeExec v případě repartition

  • 27. srpna 2019

    • [SPARK-20906][SQL]Povolení uživatelem zadaného schématu v rozhraní API to_avro s registrem schématu
    • [SPARK-27838][SQL] Podpora uživatele poskytla schéma avro s možnou hodnotou null pro schéma s možnou hodnotou null bez jakéhokoli záznamu null
    • Vylepšení doby trvání Delta Lake
    • Opravili jsme problém ovlivňující určitý transform výraz.
    • Podporuje proměnné všesměrového vysílání, když je povolená izolace procesu.

  • 13. srpna 2019

    • Zdroj streamování Delta by měl zkontrolovat nejnovější protokol tabulky.
    • [SPARK-28260]Přidání stavu CLOSED do stavu ExecutionState
    • [SPARK-28489][SS]Oprava chyby, kterou kafkaOffsetRangeCalculator.getRanges může vynechat posuny

  • 30. července 2019

    • [SPARK-28015][SQL] Kontrola stringToDate() spotřebovává celý vstup pro formáty y a y-[m]m
    • [SPARK-28308][JÁDRO] Před parsováním by se měla vložit dílčí část CalendarInterval.
    • [SPARK-27485]Příkaz EnsureRequirements.reorder by měl zpracovávat duplicitní výrazy elegantně.
    • [SPARK-28355][JÁDRO][PYTHON] Pro prahovou hodnotu, při které je UDF komprimovaný vysíláním, použijte Spark conf.

Rozšířená podpora Databricks Light 2.4

Viz Databricks Light 2.4 (EoS) a Databricks Light 2.4 Extended Support (EoS).

Databricks Runtime 7.4 (EoS)

Viz Databricks Runtime 7.4 (EoS).

  • 30.dubna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-35227][BUILD] Aktualizace překladače pro balíčky spark-packages v SparkSubmit
    • [SPARK-34245][JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
    • [SPARK-35045][SQL] Přidání interní možnosti pro řízení vstupní vyrovnávací paměti v nepřístupnosti a konfiguraci pro velikost vstupní vyrovnávací paměti sdíleného svazku clusteru

  • 24. března 2021

    • [SPARK-34768][SQL] Respektujte výchozí velikost vstupní vyrovnávací paměti v univocity
    • [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků

  • úterý 9. března 2021

    • Aktualizovaný ovladač systému souborů Azure Blob pro Azure Data Lake Storage Gen2 je teď ve výchozím nastavení povolený. Přináší několik vylepšení stability.
    • [ES-67926][UŽIVATELSKÉ ROZHRANÍ] Oprava odkazu href vizualizace Spark DAG
    • [ES-65064] Obnovení výstupního schématu SHOW DATABASES
    • [SC-70522][SQL] Použití správného dynamického vyřešovacího klíče sestavení, pokud je k dispozici nápověda pro spojení rozsahu
    • [SC-35081] Zakázání kontroly neautnosti u souborů tabulek Delta v mezipaměti disku
    • [SC-70640] Oprava NPE, když odpověď EventGridClient nemá žádnou entitu
    • [SC-70220][SQL] Nevygenerujte rady pro náhodné číslo oddílu, pokud je povolená služba AOS.

  • 24. února 2021

    • Upgradovali jsme konektor Spark BigQuery na verzi 0.18, který zavádí různé opravy chyb a podporu iterátorů Arrow a Avro.
    • Opravili jsme problém správnosti, který způsoboval, že Spark vrátil nesprávné výsledky, když se desetinná přesnost a měřítko souboru Parquet liší od schématu Sparku.
    • Opravili jsme problém se selháním čtení u tabulek Microsoft SQL Serveru, které obsahují prostorové datové typy, přidáním geometrie a geografické podpory typů JDBC pro Spark SQL.
    • Zavedli jsme novou konfiguraci spark.databricks.hive.metastore.init.reloadFunctions.enabled. Tato konfigurace řídí integrovanou inicializaci Hivu. Když je nastavená hodnota true, Azure Databricks znovu načte všechny funkce ze všech databází, do FunctionRegistrykterých uživatelé mají . Toto je výchozí chování metastoru Hive. Pokud je tato hodnota nastavená na false, Azure Databricks tento proces zakáže pro optimalizaci.
    • [SPARK-34212] Opravili jsme problémy související se čtením desetinných dat ze souborů Parquet.
    • [SPARK-33579][UŽIVATELSKÉ ROZHRANÍ] Oprava prázdné stránky exekutoru za proxy serverem
    • [SPARK-20044][UŽIVATELSKÉ ROZHRANÍ] Podpora uživatelského rozhraní Sparku za front-endovým reverzním proxy serverem pomocí předpony cesty
    • [SPARK-33277][PYSPARK][SQL] Použití ContextAwareIterator k zastavení využívání po skončení úkolu.

  • 4. února 2021

    • Opravili jsme regresi, která bránila přírůstkovém spuštění dotazu, který nastavil globální limit, například SELECT * FROM table LIMIT nrows. K regresi došlo, když uživatelé spustili dotazy prostřednictvím ODBC/JDBC s povolenou serializací šipky.
    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.

  • 20. ledna 2021

    • Opravili jsme regresi v vydání údržby z 12. ledna 2021, která může způsobit nesprávnou výjimku AnalysisException a říká se, že sloupec je v samostatném spojení nejednoznačný. K této regresi dochází, když se uživatel připojí k datovému rámci s odvozeným datovým rámcem (tzv. self-join) s následujícími podmínkami:
      • Tyto dva datové rámce mají společné sloupce, ale výstup spojení sebe sama neobsahuje společné sloupce. Například df.join(df.select($"col" as "new_col"), cond)
      • Odvozený datový rámec vyloučí některé sloupce prostřednictvím výběru, groupBy nebo okna.
      • Podmínka spojení nebo následující transformace po spojeném datovém rámci odkazuje na nesouvisené sloupce. Například df.join(df.drop("a"), df("a") === 1)

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-33593][SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
    • [SPARK-33677][SQL] Přeskočit pravidlo LikeSimplification, pokud vzor obsahuje jakýkoli řídicí znak
    • [SPARK-33071][SPARK-33536][SQL] Vyhněte se změně dataset_id logického plánu ve join() tak, aby se neporušila funkce DetectAmbiguousSelfJoin.

  • úterý 8. prosince 2020

    • [SPARK-33587][JÁDRO] Ukončení exekutoru u vnořených závažných chyb
    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • [SPARK-33316][SQL] Podpora uživatelského schématu Avro s možnou hodnotou null pro schéma nenulovatelného katalyzátoru v Avro zápisu
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33404][SQL][3.0] Oprava nesprávných výsledků ve výrazu date_trunc
    • [SPARK-33339][PYTHON] Aplikace Pyspark přestane reagovat kvůli chybě bez výjimky
    • [SPARK-33183][SQL][OPRAVA HOTFIX] Oprava pravidla Optimizer EliminateSorts a přidání fyzického pravidla pro odebrání redundantních řazení
    • [SPARK-33371][PYTHON][3.0] Aktualizace setup.py a testů pro Python 3.9
    • [SPARK-33391][SQL] element_at s CreateArray nerespektuje jeden založený index.
    • [SPARK-33306][SQL]Při přetypování data na řetězec je potřeba časové pásmo.
    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream
    • [SPARK-33272][SQL] Vyřaďte mapování atributů v QueryPlan.transformUpWithNewOutput.

Databricks Runtime 7.2 (EoS)

Viz Databricks Runtime 7.2 (EoS).

  • 4. února 2021

    • Opravili jsme regresi, která bránila přírůstkovém spuštění dotazu, který nastavil globální limit, například SELECT * FROM table LIMIT nrows. K regresi došlo, když uživatelé spustili dotazy prostřednictvím ODBC/JDBC s povolenou serializací šipky.
    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.

  • 20. ledna 2021

    • Opravili jsme regresi v vydání údržby z 12. ledna 2021, která může způsobit nesprávnou výjimku AnalysisException a říká se, že sloupec je v samostatném spojení nejednoznačný. K této regresi dochází, když se uživatel připojí k datovému rámci s odvozeným datovým rámcem (tzv. self-join) s následujícími podmínkami:
      • Tyto dva datové rámce mají společné sloupce, ale výstup spojení sebe sama neobsahuje společné sloupce. Například df.join(df.select($"col" as "new_col"), cond)
      • Odvozený datový rámec vyloučí některé sloupce prostřednictvím výběru, groupBy nebo okna.
      • Podmínka spojení nebo následující transformace po spojeném datovém rámci odkazuje na nesouvisené sloupce. Například df.join(df.drop("a"), df("a") === 1)

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-33593][SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
    • [SPARK-33677][SQL] Přeskočit pravidlo LikeSimplification, pokud vzor obsahuje jakýkoli řídicí znak
    • [SPARK-33071][SPARK-33536][SQL] Vyhněte se změně dataset_id logického plánu ve join() tak, aby se neporušila funkce DetectAmbiguousSelfJoin.

  • úterý 8. prosince 2020

    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • [SPARK-33404][SQL] Oprava nesprávných výsledků ve výrazu date_trunc
    • [SPARK-33339][PYTHON] Aplikace Pyspark přestane reagovat kvůli chybě bez výjimky
    • [SPARK-33183][SQL] Oprava pravidla Optimizer EliminateSorts a přidání fyzického pravidla pro odebrání redundantních řazení
    • [SPARK-33391][SQL] element_at s CreateArray nerespektuje jeden založený index.
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33306][SQL]Při přetypování data na řetězec je potřeba časové pásmo.
    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream

  • 3. listopadu 2020

    • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • Opravte chybu nekonečné smyčky čtečky Avro při čtení bajtů MAGIC.

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-32999][SQL] Použití Utils.getSimpleName k tomu, abyste se vyhnuli názvu chybných názvů tříd ve TreeNode
    • Oprava výpisu adresářů v připojení FUSE, které obsahují názvy souborů s neplatnými znaky XML
    • Připojení FUSE už nepoužívá ListMultipartUploads.

  • 29. září 2020

    • [SPARK-28863][SQL][WARMFIX] Zavedení jižoptimalizované, aby se zabránilo opakovanému výskytu V1FallbackWriters
    • [SPARK-32635][SQL] Oprava skládacího šíření
    • Přidejte novou konfiguraci spark.shuffle.io.decoder.consolidateThreshold. Nastavte hodnotu konfigurace tak, aby Long.MAX_VALUE přeskočila sloučení netty FrameBuffers, což brání java.lang.IndexOutOfBoundsException v rohových případech.

  • 24. září 2020

    • [SPARK-32764][SQL] -0.0 by se měl rovnat hodnotě 0.0.
    • [SPARK-32753][SQL] Kopírování značek do uzlu bez značek při transformaci plánů
    • [SPARK-32659][SQL] Oprava problému s daty vloženého vyřazování dynamického oddílu u ne atomicního typu
    • Aktualizace zabezpečení operačního systému.

  • úterý 8. září 2020

    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Viz Databricks Runtime 7.1 (EoS).

  • 4. února 2021

    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.

  • 20. ledna 2021

    • Opravili jsme regresi v vydání údržby z 12. ledna 2021, která může způsobit nesprávnou výjimku AnalysisException a říká se, že sloupec je v samostatném spojení nejednoznačný. K této regresi dochází, když se uživatel připojí k datovému rámci s odvozeným datovým rámcem (tzv. self-join) s následujícími podmínkami:
      • Tyto dva datové rámce mají společné sloupce, ale výstup spojení sebe sama neobsahuje společné sloupce. Například df.join(df.select($"col" as "new_col"), cond)
      • Odvozený datový rámec vyloučí některé sloupce prostřednictvím výběru, groupBy nebo okna.
      • Podmínka spojení nebo následující transformace po spojeném datovém rámci odkazuje na nesouvisené sloupce. Například df.join(df.drop("a"), df("a") === 1)

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-33593][SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
    • [SPARK-33677][SQL] Přeskočit pravidlo LikeSimplification, pokud vzor obsahuje jakýkoli řídicí znak
    • [SPARK-33071][SPARK-33536][SQL] Vyhněte se změně dataset_id logického plánu ve join() tak, aby se neporušila funkce DetectAmbiguousSelfJoin.

  • úterý 8. prosince 2020

    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • Úlohy Sparku spuštěné pomocí Databricks Connect můžou přestat reagovat s trasování zásobníku Executor$TaskRunner.$anonfun$copySessionState exekutoru
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33404][SQL][3.0] Oprava nesprávných výsledků ve výrazu date_trunc
    • [SPARK-33339][PYTHON] Aplikace Pyspark přestane reagovat kvůli chybě bez výjimky
    • [SPARK-33183][SQL][OPRAVA HOTFIX] Oprava pravidla Optimizer EliminateSorts a přidání fyzického pravidla pro odebrání redundantních řazení
    • [SPARK-33371][PYTHON][3.0] Aktualizace setup.py a testů pro Python 3.9
    • [SPARK-33391][SQL] element_at s CreateArray nerespektuje jeden založený index.
    • [SPARK-33306][SQL]Při přetypování data na řetězec je potřeba časové pásmo.

  • 3. listopadu 2020

    • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • Opravte chybu nekonečné smyčky čtečky Avro při čtení bajtů MAGIC.

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-32999][SQL] Použití Utils.getSimpleName k tomu, abyste se vyhnuli názvu chybných názvů tříd ve TreeNode
    • Oprava výpisu adresářů v připojení FUSE, které obsahují názvy souborů s neplatnými znaky XML
    • Připojení FUSE už nepoužívá ListMultipartUploads.

  • 29. září 2020

    • [SPARK-28863][SQL][WARMFIX] Zavedení jižoptimalizované, aby se zabránilo opakovanému výskytu V1FallbackWriters
    • [SPARK-32635][SQL] Oprava skládacího šíření
    • Přidejte novou konfiguraci spark.shuffle.io.decoder.consolidateThreshold. Nastavte hodnotu konfigurace tak, aby Long.MAX_VALUE přeskočila sloučení netty FrameBuffers, což brání java.lang.IndexOutOfBoundsException v rohových případech.

  • 24. září 2020

    • [SPARK-32764][SQL] -0.0 by se měl rovnat hodnotě 0.0.
    • [SPARK-32753][SQL] Kopírování značek do uzlu bez značek při transformaci plánů
    • [SPARK-32659][SQL] Oprava problému s daty vloženého vyřazování dynamického oddílu u ne atomicního typu
    • Aktualizace zabezpečení operačního systému.

  • úterý 8. září 2020

    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.

  • 25. srpna 2020

    • [SPARK-32159][SQL] Oprava integrace mezi Aggregator[Array[_], _, _] a UnresolvedMapObjects
    • [SPARK-32559][SQL] Oprava logiky oříznutí, UTF8String.toInt/toLongkterá nezpracovala správně jiné znaky než ASCII
    • [SPARK-32543][R] Odebrání arrow::as_tibble využití v SparkR
    • [SPARK-32091][JÁDRO] Ignorovat chybu časového limitu při odebírání bloků u ztraceného exekutoru
    • Opravili jsme problém ovlivňující konektor Azure Synapse s přihlašovacími údaji MSI.
    • Oprava nejednoznačného překladu atributů v samoobslužné sloučení

  • 18. srpna 2020

    • [SPARK-32594][SQL] Oprava serializace kalendářních dat vložených do tabulek Hive
    • [SPARK-32237][SQL] Řešení nápovědy v CTE
    • [SPARK-32431][SQL] Kontrola duplicitních vnořených sloupců ve čtení z předdefinovaných zdrojů dat
    • [SPARK-32467][UŽIVATELSKÉ ROZHRANÍ] Vyhněte se dvakrát kódování ADRESY URL pro přesměrování https.
    • Opravili jsme konflikt časování v konektoru AQS při použití Trigger.Once.

  • 11. srpna 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight by měl přepsat pouze atributy pro nadřazené uzly plánu konfliktů.
    • [SPARK-32234][SQL] Příkazy Spark SQL selhávají při výběru tabulek ORC

  • 3. srpna 2020

    • Transformační funkci LDA teď můžete použít v clusteru s povoleným předáváním.

Databricks Runtime 7.0 (EoS)

Viz Databricks Runtime 7.0 (EoS).

  • 4. února 2021

    • Opravili jsme regresi, která způsobila selhání spuštění FUSE DBFS, když konfigurace proměnných prostředí clusteru obsahovaly neplatnou syntaxi bashe.

  • 20. ledna 2021

    • Opravili jsme regresi v vydání údržby z 12. ledna 2021, která může způsobit nesprávnou výjimku AnalysisException a říká se, že sloupec je v samostatném spojení nejednoznačný. K této regresi dochází, když se uživatel připojí k datovému rámci s odvozeným datovým rámcem (tzv. self-join) s následujícími podmínkami:
      • Tyto dva datové rámce mají společné sloupce, ale výstup spojení sebe sama neobsahuje společné sloupce. Například df.join(df.select($"col" as "new_col"), cond)
      • Odvozený datový rámec vyloučí některé sloupce prostřednictvím výběru, groupBy nebo okna.
      • Podmínka spojení nebo následující transformace po spojeném datovém rámci odkazuje na nesouvisené sloupce. Například df.join(df.drop("a"), df("a") === 1)

  • 12. ledna 2021

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-33593][SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
    • [SPARK-33677][SQL] Přeskočit pravidlo LikeSimplification, pokud vzor obsahuje jakýkoli řídicí znak
    • [SPARK-33071][SPARK-33536][SQL] Vyhněte se změně dataset_id logického plánu ve join() tak, aby se neporušila funkce DetectAmbiguousSelfJoin.

  • úterý 8. prosince 2020

    • [SPARK-27421][SQL] Oprava filtru pro sloupec int a třídu hodnot java.lang.String při vyřezávání sloupce oddílu
    • [SPARK-33404][SQL] Oprava nesprávných výsledků ve výrazu date_trunc
    • [SPARK-33339][PYTHON] Aplikace Pyspark přestane reagovat kvůli chybě bez výjimky
    • [SPARK-33183][SQL] Oprava pravidla Optimizer EliminateSorts a přidání fyzického pravidla pro odebrání redundantních řazení
    • [SPARK-33391][SQL] element_at s CreateArray nerespektuje jeden založený index.
    • Aktualizace zabezpečení operačního systému.

  • úterý 1. prosince 2020

    • [SPARK-33306][SQL]Při přetypování data na řetězec je potřeba časové pásmo.

  • 3. listopadu 2020

    • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • Opravte chybu nekonečné smyčky čtečky Avro při čtení bajtů MAGIC.

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-32999][SQL] Použití Utils.getSimpleName k tomu, abyste se vyhnuli názvu chybných názvů tříd ve TreeNode
    • Oprava výpisu adresářů v připojení FUSE, které obsahují názvy souborů s neplatnými znaky XML
    • Připojení FUSE už nepoužívá ListMultipartUploads.

  • 29. září 2020

    • [SPARK-28863][SQL][WARMFIX] Zavedení jižoptimalizované, aby se zabránilo opakovanému výskytu V1FallbackWriters
    • [SPARK-32635][SQL] Oprava skládacího šíření
    • Přidejte novou konfiguraci spark.shuffle.io.decoder.consolidateThreshold. Nastavte hodnotu konfigurace tak, aby Long.MAX_VALUE přeskočila sloučení netty FrameBuffers, což brání java.lang.IndexOutOfBoundsException v rohových případech.

  • 24. září 2020

    • [SPARK-32764][SQL] -0.0 by se měl rovnat hodnotě 0.0.
    • [SPARK-32753][SQL] Kopírování značek do uzlu bez značek při transformaci plánů
    • [SPARK-32659][SQL] Oprava problému s daty vloženého vyřazování dynamického oddílu u ne atomicního typu
    • Aktualizace zabezpečení operačního systému.

  • úterý 8. září 2020

    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.

  • 25. srpna 2020

    • [SPARK-32159][SQL] Oprava integrace mezi Aggregator[Array[_], _, _] a UnresolvedMapObjects
    • [SPARK-32559][SQL] Oprava logiky oříznutí, UTF8String.toInt/toLongkterá nezpracovala správně jiné znaky než ASCII
    • [SPARK-32543][R] Odebrání arrow::as_tibble využití v SparkR
    • [SPARK-32091][JÁDRO] Ignorovat chybu časového limitu při odebírání bloků u ztraceného exekutoru
    • Opravili jsme problém ovlivňující konektor Azure Synapse s přihlašovacími údaji MSI.
    • Oprava nejednoznačného překladu atributů v samoobslužné sloučení

  • 18. srpna 2020

    • [SPARK-32594][SQL] Oprava serializace kalendářních dat vložených do tabulek Hive
    • [SPARK-32237][SQL] Řešení nápovědy v CTE
    • [SPARK-32431][SQL] Kontrola duplicitních vnořených sloupců ve čtení z předdefinovaných zdrojů dat
    • [SPARK-32467][UŽIVATELSKÉ ROZHRANÍ] Vyhněte se dvakrát kódování ADRESY URL pro přesměrování https.
    • Opravili jsme konflikt časování v konektoru AQS při použití Trigger.Once.

  • 11. srpna 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight by měl přepsat pouze atributy pro nadřazené uzly plánu konfliktů.
    • [SPARK-32234][SQL] Příkazy Spark SQL selhávají při výběru tabulek ORC
    • Transformační funkci LDA teď můžete použít v clusteru s povoleným předáváním.

Databricks Runtime 6.6 (EoS)

Viz Databricks Runtime 6.6 (EoS)

  • úterý 1. prosince 2020

    • [SPARK-33260][SQL] Oprava nesprávných výsledků z SortExec při řazeníOrder je Stream
    • [SPARK-32635][SQL] Oprava skládacího šíření

  • 3. listopadu 2020

    • Upgradovala se verze Java z verze 1.8.0_252 na 1.8.0_265.
    • Oprava uzamčení ABFS a WASB s ohledem na UserGroupInformation.getCurrentUser()
    • Opravte chybu nekonečné smyčky čtečky Avro při čtení bajtů MAGIC.

  • 13. října 2020

    • Aktualizace zabezpečení operačního systému.
    • [SPARK-32999][SQL][2.4] Použití nástroje Utils.getSimpleName k tomu, aby se zabránilo názvu chybných názvů tříd ve TreeNode
    • Oprava výpisu adresářů v připojení FUSE, které obsahují názvy souborů s neplatnými znaky XML
    • Připojení FUSE už nepoužívá ListMultipartUploads.

  • 24. září 2020

    • Aktualizace zabezpečení operačního systému.

  • úterý 8. září 2020

    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.
    • Aktualizace sady Azure Storage SDK na verzi 8.6.4 a povolení udržování protokolu TCP na připojeních provedených ovladačem WASB

  • 25. srpna 2020

    • Oprava nejednoznačného překladu atributů v samoobslužné sloučení

  • 18. srpna 2020

    • [SPARK-32431][SQL] Kontrola duplicitních vnořených sloupců ve čtení z předdefinovaných zdrojů dat
    • Opravili jsme konflikt časování v konektoru AQS při použití Trigger.Once.

  • 11. srpna 2020

    • [SPARK-28676][JÁDRO] Vyhněte se nadměrnému protokolování z ContextCleaneru
    • [SPARK-31967][UŽIVATELSKÉ ROZHRANÍ] Downgrade na vis.js 4.21.0 pro opravu regrese načítání uživatelského rozhraní úloh

  • 3. srpna 2020

    • Transformační funkci LDA teď můžete použít v clusteru s povoleným předáváním.
    • Aktualizace zabezpečení operačního systému.

Databricks Runtime 6.5 (EoS)

Viz Databricks Runtime 6.5 (EoS).

  • 24. září 2020
    • Opravili jsme předchozí omezení, kdy předávání ve standardním clusteru stále omezovalo uživatele implementace systému souborů. Uživatelé teď budou mít přístup k místním systémům souborů bez omezení.
    • Aktualizace zabezpečení operačního systému.
  • 8. září 2020
    • Pro Azure Synapse Analytics maxbinlengthbyl vytvořen nový parametr . Tento parametr slouží k řízení délky sloupce BinaryType a je přeložen jako VARBINARY(maxbinlength). Lze ji nastavit pomocí .option("maxbinlength", n), kde 0 < n <= 8000.
    • Aktualizace sady Azure Storage SDK na verzi 8.6.4 a povolení udržování protokolu TCP na připojeních provedených ovladačem WASB
  • 25. srpna 2020
    • Oprava nejednoznačného překladu atributů v samoobslužné sloučení
  • 18. srpna 2020
    • [SPARK-32431][SQL] Kontrola duplicitních vnořených sloupců ve čtení z předdefinovaných zdrojů dat
    • Opravili jsme konflikt časování v konektoru AQS při použití Trigger.Once.
  • 11. srpna 2020
    • [SPARK-28676][JÁDRO] Vyhněte se nadměrnému protokolování z ContextCleaneru
  • 3. srpna 2020
    • Transformační funkci LDA teď můžete použít v clusteru s povoleným předáváním.
    • Aktualizace zabezpečení operačního systému.
  • 7. července 2020
    • Upgradovala se verze Javy z verze 1.8.0_242 na verzi 1.8.0_252.
  • 21. dubna 2020
    • [SPARK-31312][SQL] Instance třídy mezipaměti pro instanci UDF v HiveFunctionWrapperu

Databricks Runtime 6.3 (EoS)

Viz Databricks Runtime 6.3 (EoS)

  • 7. července 2020
    • Upgradovaná verze Javy z verze 1.8.0_232 na 1.8.0_252.
  • 21. dubna 2020
    • [SPARK-31312][SQL] Instance třídy mezipaměti pro instanci UDF v HiveFunctionWrapperu
  • 7. dubna 2020
    • Pokud chcete vyřešit problém s udf pandas, který nefunguje s PyArrow 0.15.0 a novějším, přidali jsme proměnnou prostředí (ARROW_PRE_0_15_IPC_FORMAT=1), která umožňuje podporu těchto verzí PyArrow. Viz pokyny v [SPARK-29367].
  • 10. března 2020
    • Konektor Snowflake (spark-snowflake_2.11) zahrnutý v Databricks Runtime se aktualizuje na verzi 2.5.9. snowflake-jdbc je aktualizován na verzi 3.12.0.
  • 18. února 2020
    • Předávání přihlašovacích údajů s ADLS Gen2 má snížení výkonu kvůli nesprávnému místnímu zpracování vlákna při povolení předběžného načítání klienta ADLS. Tato verze zakáže předběžné načítání ADLS Gen2, pokud je povolené předávání přihlašovacích údajů, dokud nebudeme mít správnou opravu.
  • 11. února 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 by měla vyvolat výjimku
    • [SPARK-30447][SQL] Problém s nulovou dostupností konstanty
    • [SPARK-28152][SQL] Přidání starší verze conf pro staré číselné mapování MsSqlServerDialect
    • Allowlisted the overwrite function so that the MLModels extends MLWriter could call the function.

Databricks Runtime 6.2 (EoS)

Viz Databricks Runtime 6.2 (EoS)

  • 21. dubna 2020
    • [SPARK-31312][SQL] Instance třídy mezipaměti pro instanci UDF v HiveFunctionWrapperu
  • 7. dubna 2020
    • Pokud chcete vyřešit problém s udf pandas, který nefunguje s PyArrow 0.15.0 a novějším, přidali jsme proměnnou prostředí (ARROW_PRE_0_15_IPC_FORMAT=1), která umožňuje podporu těchto verzí PyArrow. Viz pokyny v [SPARK-29367].
  • 25. března 2020
    • Výstup úlohy, jako je výstup protokolu vygenerovaný do výstupu stdout, podléhá limitu velikosti 20 MB. Pokud má celkový výstup větší velikost, spuštění se zruší a označí jako neúspěšné. Abyste se vyhnuli tomuto limitu, můžete zabránit vrácení stdoutu z ovladače do nastavení konfigurace Sparku spark.databricks.driver.disableScalaOutput na true. Ve výchozím nastavení je falsehodnota příznaku . Příznak řídí výstup buňky pro úlohy Scala JAR a poznámkové bloky Scala. Pokud je příznak povolený, Spark nevrací výsledky provádění úloh klientovi. Příznak nemá vliv na data zapsaná v souborech protokolu clusteru. Nastavení tohoto příznaku se doporučuje jenom pro automatizované clustery pro úlohy JAR, protože zakáže výsledky poznámkového bloku.
  • 10. března 2020
    • Konektor Snowflake (spark-snowflake_2.11) zahrnutý v Databricks Runtime se aktualizuje na verzi 2.5.9. snowflake-jdbc je aktualizován na verzi 3.12.0.
  • 18. února 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 by měla vyvolat výjimku
    • Předávání přihlašovacích údajů s ADLS Gen2 má snížení výkonu kvůli nesprávnému místnímu zpracování vlákna při povolení předběžného načítání klienta ADLS. Tato verze zakáže předběžné načítání ADLS Gen2, pokud je povolené předávání přihlašovacích údajů, dokud nebudeme mít správnou opravu.
  • 28. ledna 2020
    • Funkce přepisu modelů ML na seznamu povolených pro clustery s povoleným předáváním přihlašovacích údajů, aby ukládání modelu mohlo v clusterech předávání přihlašovacích údajů používat režim přepisu přihlašovacích údajů.
    • [SPARK-30447][SQL] Problém s konstantní šířením hodnot null.
    • [SPARK-28152][SQL] Přidejte starší verzi conf pro staré číselné mapování MsSqlServerDialect.
  • 14. ledna 2020
    • Upgradovala se verze Java z verze 1.8.0_222 na 1.8.0_232.
  • 10. prosince 2019
    • [SPARK-29904][SQL] Parsování časových razítek v mikrosekundové přesnosti podle zdrojů dat JSON/CSV

Databricks Runtime 6.1 (EoS)

Viz Databricks Runtime 6.1 (EoS).

  • 7. dubna 2020
    • Pokud chcete vyřešit problém s udf pandas, který nefunguje s PyArrow 0.15.0 a novějším, přidali jsme proměnnou prostředí (ARROW_PRE_0_15_IPC_FORMAT=1), která umožňuje podporu těchto verzí PyArrow. Viz pokyny v [SPARK-29367].
  • 25. března 2020
    • Výstup úlohy, jako je výstup protokolu vygenerovaný do výstupu stdout, podléhá limitu velikosti 20 MB. Pokud má celkový výstup větší velikost, spuštění se zruší a označí jako neúspěšné. Abyste se vyhnuli tomuto limitu, můžete zabránit vrácení stdoutu z ovladače do nastavení konfigurace Sparku spark.databricks.driver.disableScalaOutput na true. Ve výchozím nastavení je falsehodnota příznaku . Příznak řídí výstup buňky pro úlohy Scala JAR a poznámkové bloky Scala. Pokud je příznak povolený, Spark nevrací výsledky provádění úloh klientovi. Příznak nemá vliv na data zapsaná v souborech protokolu clusteru. Nastavení tohoto příznaku se doporučuje jenom pro automatizované clustery pro úlohy JAR, protože zakáže výsledky poznámkového bloku.
  • 10. března 2020
    • Konektor Snowflake (spark-snowflake_2.11) zahrnutý v Databricks Runtime se aktualizuje na verzi 2.5.9. snowflake-jdbc je aktualizován na verzi 3.12.0.
  • 18. února 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 by měla vyvolat výjimku
    • Předávání přihlašovacích údajů s ADLS Gen2 má snížení výkonu kvůli nesprávnému místnímu zpracování vlákna při povolení předběžného načítání klienta ADLS. Tato verze zakáže předběžné načítání ADLS Gen2, pokud je povolené předávání přihlašovacích údajů, dokud nebudeme mít správnou opravu.
  • 28. ledna 2020
    • [SPARK-30447][SQL] Problém s konstantní šířením hodnot null.
    • [SPARK-28152][SQL] Přidejte starší verzi conf pro staré číselné mapování MsSqlServerDialect.
  • 14. ledna 2020
    • Upgradovala se verze Java z verze 1.8.0_222 na 1.8.0_232.
  • 7. listopadu 2019
  • 5. listopadu 2019
    • Opravili jsme chybu v FUSE DBFS pro zpracování přípojných bodů, které mají // v cestě.
    • [SPARK-29081] Nahrazení volání SerializationUtils.clone ve vlastnostech rychlejší implementací
    • [SPARK-29244][JÁDRO] Znemožnit uvolnění stránky v BajtesToBytesMap znovu
    • (6.1 ML) Knihovna mkl verze 2019.4 byla neúmyslně nainstalována. Downgradovali jsme ji na mkl verze 2019.3 tak, aby odpovídala Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (EoS)

Viz Databricks Runtime 6.0 (EoS).

  • 25. března 2020
    • Výstup úlohy, jako je výstup protokolu vygenerovaný do výstupu stdout, podléhá limitu velikosti 20 MB. Pokud má celkový výstup větší velikost, spuštění se zruší a označí jako neúspěšné. Abyste se vyhnuli tomuto limitu, můžete zabránit vrácení stdoutu z ovladače do nastavení konfigurace Sparku spark.databricks.driver.disableScalaOutput na true. Ve výchozím nastavení je falsehodnota příznaku . Příznak řídí výstup buňky pro úlohy Scala JAR a poznámkové bloky Scala. Pokud je příznak povolený, Spark nevrací výsledky provádění úloh klientovi. Příznak nemá vliv na data zapsaná v souborech protokolu clusteru. Nastavení tohoto příznaku se doporučuje jenom pro automatizované clustery pro úlohy JAR, protože zakáže výsledky poznámkového bloku.
  • 18. února 2020
    • Předávání přihlašovacích údajů s ADLS Gen2 má snížení výkonu kvůli nesprávnému místnímu zpracování vlákna při povolení předběžného načítání klienta ADLS. Tato verze zakáže předběžné načítání ADLS Gen2, pokud je povolené předávání přihlašovacích údajů, dokud nebudeme mít správnou opravu.
  • 11. února 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 by měla vyvolat výjimku
  • 28. ledna 2020
    • [SPARK-30447][SQL] Problém s konstantní šířením hodnot null.
    • [SPARK-28152][SQL] Přidejte starší verzi conf pro staré číselné mapování MsSqlServerDialect.
  • 14. ledna 2020
    • Upgradovala se verze Java z verze 1.8.0_222 na 1.8.0_232.
  • 19. listopadu 2019
    • [SPARK-29743] [SQL] Pokud je hodnota needCopyResult pravdivá, měla by být v ukázce nastavena hodnota needCopyResult.
  • 5. listopadu 2019
    • dbutils.tensorboard.start() nyní podporuje TensorBoard 2.0 (pokud je nainstalovaná ručně).
    • Opravili jsme chybu v FUSE DBFS pro zpracování přípojných bodů, které mají // v cestě.
    • [SPARK-29081]Nahrazení volání SerializationUtils.clone ve vlastnostech rychlejší implementací
  • 23. října 2019
    • [SPARK-29244][JÁDRO] Znemožnit uvolnění stránky v BajtesToBytesMap znovu
  • 8. října 2019
    • Změny na straně serveru, aby se ovladač ODBC Simba Apache Spark znovu připojil a pokračoval po selhání připojení během načítání výsledků (vyžaduje ovladač Simba Apache Spark ODBC verze 2.6.10).
    • Opravili jsme problém, který ovlivnil použití Optimize příkazu s clustery s podporou seznamu ACL tabulky.
    • Opravili jsme problém, kdy pyspark.ml knihovny selhaly kvůli chybě zakázánou službou Scala UDF v seznamu ACL tabulky a clusterech s povolenými předáváním přihlašovacích údajů.
    • Metody Allowlisted SerDe/SerDeUtil pro předávání přihlašovacích údajů
    • Byla opravena výjimka NullPointerException při kontrole kódu chyby v klientovi WASB.
    • Opravili jsme problém, kdy se přihlašovací údaje uživatele nepředaly do úloh vytvořených pomocí dbutils.notebook.run().

Databricks Runtime 5.4 ML (EoS)

Viz Databricks Runtime 5.4 pro ML (EoS).

  • 18. června 2019
    • Vylepšené zpracování aktivních spuštění MLflow v integraci Hyperoptu
    • Vylepšené zprávy v Hyperoptu
    • Aktualizace balíčku Marchkdown z verze 3.1 na 3.1.1

Databricks Runtime 5.4 (EoS)

Viz Databricks Runtime 5.4 (EoS).

  • 19. listopadu 2019
    • [SPARK-29743] [SQL] Pokud je hodnota needCopyResult pravdivá, měla by být v ukázce nastavena hodnota needCopyResult.
  • 8. října 2019
    • Změny na straně serveru, které umožní ovladači ODBC Apache Sparku Simba znovu připojit a pokračovat po selhání připojení během načítání výsledků (vyžaduje aktualizaci ovladače Simba Apache Spark ODBC na verzi 2.6.10).
    • Byla opravena výjimka NullPointerException při kontrole kódu chyby v klientovi WASB.
  • 10. září 2019
    • Přidání iterátoru bezpečného vlákna do BytesToBytesMap
    • Opravili jsme chybu, která ovlivnila některé globální agregační dotazy.
    • [SPARK-27330][SS] Podpora úkolu přerušena v foreach writer
    • [SPARK-28642]Skrytí přihlašovacích údajů v SHOW CREATE TABLE
    • [SPARK-28699][SQL] Zakázání použití řazení radix pro ShuffleExchangeExec v případě repartition
    • [SPARK-28699][JÁDRO] Oprava rohového případu pro přerušení neurčité fáze
  • 27. srpna 2019
    • Opravili jsme problém ovlivňující určité transform výrazy.
  • 13. srpna 2019
    • Zdroj streamování Delta by měl zkontrolovat nejnovější protokol tabulky.
    • [SPARK-28489][SS]Oprava chyby, kterou kafkaOffsetRangeCalculator.getRanges může vynechat posuny
  • 30. července 2019
    • [SPARK-28015][SQL] Kontrola stringToDate() spotřebovává celý vstup pro formáty y a y-[m]m
    • [SPARK-28308][JÁDRO] Před parsováním by se měla vložit dílčí část CalendarInterval.
    • [SPARK-27485]Příkaz EnsureRequirements.reorder by měl zpracovávat duplicitní výrazy elegantně.
  • 2. července 2019
    • Upgradovali jsme snappy-java z verze 1.1.7.1 na verzi 1.1.7.3.
  • 18. června 2019
    • Vylepšené zpracování aktivních spuštění MLflow v integraci knihovny MLlib
    • Vylepšená zpráva Databricks Advisoru související s používáním ukládání do mezipaměti na disku
    • Oprava chyby ovlivňující používání funkcí vyššího pořadí
    • Oprava chyby ovlivňující dotazy na metadata Delta

Databricks Runtime 5.3 (EoS)

Viz Databricks Runtime 5.3 (EoS).

  • 7. listopadu 2019
    • [SPARK-29743][SQL] Pokud je hodnota needCopyResult pravdivá, měla by být v ukázce nastavena hodnota needCopyResult.
  • 8. října 2019
    • Změny na straně serveru, které umožní ovladači ODBC Apache Sparku Simba znovu připojit a pokračovat po selhání připojení během načítání výsledků (vyžaduje aktualizaci ovladače Simba Apache Spark ODBC na verzi 2.6.10).
    • Byla opravena výjimka NullPointerException při kontrole kódu chyby v klientovi WASB.
  • 10. září 2019
    • Přidání iterátoru bezpečného vlákna do BytesToBytesMap
    • Opravili jsme chybu, která ovlivnila některé globální agregační dotazy.
    • [SPARK-27330][SS] Podpora úkolu přerušena v foreach writer
    • [SPARK-28642]Skrytí přihlašovacích údajů v SHOW CREATE TABLE
    • [SPARK-28699][SQL] Zakázání použití řazení radix pro ShuffleExchangeExec v případě repartition
    • [SPARK-28699][JÁDRO] Oprava rohového případu pro přerušení neurčité fáze
  • 27. srpna 2019
    • Opravili jsme problém ovlivňující určité transform výrazy.
  • 13. srpna 2019
    • Zdroj streamování Delta by měl zkontrolovat nejnovější protokol tabulky.
    • [SPARK-28489][SS]Oprava chyby, kterou kafkaOffsetRangeCalculator.getRanges může vynechat posuny
  • 30. července 2019
    • [SPARK-28015][SQL] Kontrola stringToDate() spotřebovává celý vstup pro formáty y a y-[m]m
    • [SPARK-28308][JÁDRO] Před parsováním by se měla vložit dílčí část CalendarInterval.
    • [SPARK-27485]Příkaz EnsureRequirements.reorder by měl zpracovávat duplicitní výrazy elegantně.
  • 18. června 2019
    • Vylepšená zpráva Databricks Advisoru související s používáním ukládání do mezipaměti na disku
    • Oprava chyby ovlivňující používání funkcí vyššího pořadí
    • Oprava chyby ovlivňující dotazy na metadata Delta
  • 28. května 2019
    • Vylepšená stabilita delta
    • Tolerovat vstupně-výstupní výjimka při čtení souboru Delta LAST_CHECKPOINT
      • Přidání obnovení do neúspěšné instalace knihovny
  • 7. května 2019
    • Port HADOOP-15778 (ABFS: Oprava omezování na straně klienta pro čtení) do konektoru Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Oprava chyb pro konfiguraci toleranceOobAppends) konektoru Azure Data Lake Storage Gen2
    • Oprava chyby ovlivňující seznamy ACL tabulek
    • Oprava konfliktu časování při načítání souboru kontrolního součtu protokolu Delta
    • Oprava logiky detekce konfliktů Delta, která neidentifikuje operaci insert + overwrite jako čistou operaci "append"
    • Ujistěte se, že ukládání do mezipaměti na disku není zakázané, pokud jsou povolené seznamy ACL tabulky.
    • [SPARK-27494][SS] Klíče nebo hodnoty null nefungují ve zdroji Kafka v2
    • [SPARK-27446][R] Pokud je k dispozici, použijte existující soubor Spark Conf.
    • [SPARK-27454][SPARK-27454][ML][SQL] Selhání zdroje dat image Sparku při výskytu některých neplatných imagí
    • [SPARK-27160][SQL] Oprava typu DecimalType při vytváření filtrů orc
    • [SPARK-27338][JÁDRO] Oprava vzájemného zablokování mezi unsafeExternalSorter a TaskMemoryManager

Databricks Runtime 5.2 (EoS)

Viz Databricks Runtime 5.2 (EoS).

  • 10. září 2019
    • Přidání iterátoru bezpečného vlákna do BytesToBytesMap
    • Opravili jsme chybu, která ovlivnila některé globální agregační dotazy.
    • [SPARK-27330][SS] Podpora úkolu přerušena v foreach writer
    • [SPARK-28642]Skrytí přihlašovacích údajů v SHOW CREATE TABLE
    • [SPARK-28699][SQL] Zakázání použití řazení radix pro ShuffleExchangeExec v případě repartition
    • [SPARK-28699][JÁDRO] Oprava rohového případu pro přerušení neurčité fáze
  • 27. srpna 2019
    • Opravili jsme problém ovlivňující určité transform výrazy.
  • 13. srpna 2019
    • Zdroj streamování Delta by měl zkontrolovat nejnovější protokol tabulky.
    • [SPARK-28489][SS]Oprava chyby, kterou kafkaOffsetRangeCalculator.getRanges může vynechat posuny
  • 30. července 2019
    • [SPARK-28015][SQL] Kontrola stringToDate() spotřebovává celý vstup pro formáty y a y-[m]m
    • [SPARK-28308][JÁDRO] Před parsováním by se měla vložit dílčí část CalendarInterval.
    • [SPARK-27485]Příkaz EnsureRequirements.reorder by měl zpracovávat duplicitní výrazy elegantně.
  • 2. července 2019
    • Tolerovat vstupně-výstupní výjimka při čtení souboru Delta LAST_CHECKPOINT
  • 18. června 2019
    • Vylepšená zpráva Databricks Advisoru související s používáním mezipaměti disku
    • Oprava chyby ovlivňující používání funkcí vyššího pořadí
    • Oprava chyby ovlivňující dotazy na metadata Delta
  • 28. května 2019
    • Přidání obnovení do neúspěšné instalace knihovny
  • 7. května 2019
    • Port HADOOP-15778 (ABFS: Oprava omezování na straně klienta pro čtení) do konektoru Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Oprava chyb pro konfiguraci toleranceOobAppends) konektoru Azure Data Lake Storage Gen2
    • Oprava konfliktu časování při načítání souboru kontrolního součtu protokolu Delta
    • Oprava logiky detekce konfliktů Delta, která neidentifikuje operaci insert + overwrite jako čistou operaci "append"
    • Ujistěte se, že ukládání do mezipaměti na disku není zakázané, pokud jsou povolené seznamy ACL tabulky.
    • [SPARK-27494][SS] Klíče nebo hodnoty null nefungují ve zdroji Kafka v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Selhání zdroje dat image Sparku při výskytu některých neplatných imagí
    • [SPARK-27160][SQL] Oprava typu DecimalType při vytváření filtrů orc
    • [SPARK-27338][JÁDRO] Oprava vzájemného zablokování mezi unsafeExternalSorter a TaskMemoryManager
  • 26. března 2019
    • Vyhněte se vkládání posunů závislých na platformě doslova ve vygenerovaném kódu v celé fázi.
    • [SPARK-26665][JÁDRO] Oprava chyby, která blockTransferService.fetchBlockSync může přestat reagovat navždy.
    • [SPARK-27134][SQL] array_distinct funkce nefunguje správně se sloupci obsahujícími pole matice.
    • [SPARK-24669][SQL] V případě DROP DATABASE CASCADE zneplatníte tabulky.
    • [SPARK-26572][SQL] Oprava vyhodnocení agregovaných výsledků codegenu
    • Opravili jsme chybu, která ovlivnila určité pythonUDFy.
  • 26. února 2019
    • [SPARK-26864][SQL] Dotaz může vrátit nesprávný výsledek, pokud se python udf použije jako podmínka spojení doleva.
    • [SPARK-26887][PYTHON] Místo vytvoření datetime.date jako zprostředkujících dat vytvořte přímo datetime.date.
    • Opravili jsme chybu, která ovlivnila server JDBC/ODBC.
    • Opravili jsme chybu, která ovlivnila PySpark.
    • Při sestavování HadoopRDD vylučte skryté soubory.
    • Opravili jsme chybu v delta, která způsobovala problémy se serializací.
  • 12. února 2019
    • Opravili jsme problém ovlivňující použití Delta s přípojnými body Azure ADLS Gen2.
    • Opravili jsme problém, kvůli kterému mohlo dojít k přerušení síťového protokolu Spark nízké úrovně při odesílání velkých chybových zpráv RPC s povoleným šifrováním (pokud spark.network.crypto.enabled je nastavená hodnota true).
  • 30. ledna 2019
    • Opravili jsme chyby StackOverflowError při vkládání nápovědy ke zkosenému spojení u relace uložené v mezipaměti.
    • Opravili jsme nekonzistenci mezi mezipamětí SADY RDD v mezipaměti SQL a jeho fyzickým plánem, což vedlo k nesprávnému výsledku.
    • [SPARK-26706][SQL] Oprava illegalNumericPrecedence pro ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nezpracuje správně prázdné záznamy.
    • Zdroje dat CSV/JSON by se měly při odvozování schématu vyhnout cestám globbingu.
    • Oprava odvozování omezení u operátoru Window.
    • Opravili jsme problém, který ovlivnil instalaci knihoven vajíček se clustery s povoleným seznamem ACL tabulky.

Databricks Runtime 5.1 (EoS)

Viz Databricks Runtime 5.1 (EoS).

  • 13. srpna 2019
    • Zdroj streamování Delta by měl zkontrolovat nejnovější protokol tabulky.
    • [SPARK-28489][SS]Oprava chyby, kterou kafkaOffsetRangeCalculator.getRanges může vynechat posuny
  • 30. července 2019
    • [SPARK-28015][SQL] Kontrola stringToDate() spotřebovává celý vstup pro formáty y a y-[m]m
    • [SPARK-28308][JÁDRO] Před parsováním by se měla vložit dílčí část CalendarInterval.
    • [SPARK-27485]Příkaz EnsureRequirements.reorder by měl zpracovávat duplicitní výrazy elegantně.
  • 2. července 2019
    • Tolerovat vstupně-výstupní výjimka při čtení souboru Delta LAST_CHECKPOINT
  • 18. června 2019
    • Oprava chyby ovlivňující používání funkcí vyššího pořadí
    • Oprava chyby ovlivňující dotazy na metadata Delta
  • 28. května 2019
    • Přidání obnovení do neúspěšné instalace knihovny
  • 7. května 2019
    • Port HADOOP-15778 (ABFS: Oprava omezování na straně klienta pro čtení) do konektoru Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Oprava chyb pro konfiguraci toleranceOobAppends) konektoru Azure Data Lake Storage Gen2
    • Oprava konfliktu časování při načítání souboru kontrolního součtu protokolu Delta
    • Oprava logiky detekce konfliktů Delta, která neidentifikuje operaci insert + overwrite jako čistou operaci "append"
    • [SPARK-27494][SS] Klíče nebo hodnoty null nefungují ve zdroji Kafka v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Selhání zdroje dat image Sparku při výskytu některých neplatných imagí
    • [SPARK-27160][SQL] Oprava typu DecimalType při vytváření filtrů orc
    • [SPARK-27338][JÁDRO] Oprava vzájemného zablokování mezi unsafeExternalSorter a TaskMemoryManager
  • 26. března 2019
    • Vyhněte se vkládání posunů závislých na platformě doslova ve vygenerovaném kódu v celé fázi.
    • Opravili jsme chybu, která ovlivnila určité pythonUDFy.
  • 26. února 2019
    • [SPARK-26864][SQL] Dotaz může vrátit nesprávný výsledek, pokud se python udf použije jako podmínka spojení doleva.
    • Opravili jsme chybu, která ovlivnila server JDBC/ODBC.
    • Při sestavování HadoopRDD vylučte skryté soubory.
  • 12. února 2019
    • Opravili jsme problém, který ovlivnil instalaci knihoven vajíček se clustery s povoleným seznamem ACL tabulky.
    • Opravili jsme nekonzistenci mezi mezipamětí SADY RDD v mezipaměti SQL a jeho fyzickým plánem, což vedlo k nesprávnému výsledku.
    • [SPARK-26706][SQL] Oprava illegalNumericPrecedence pro ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nezpracuje správně prázdné záznamy.
    • Oprava odvozování omezení u operátoru Window.
    • Opravili jsme problém, kvůli kterému mohlo dojít k přerušení síťového protokolu Spark nízké úrovně při odesílání velkých chybových zpráv RPC s povoleným šifrováním (pokud spark.network.crypto.enabled je nastavená hodnota true).
  • 30. ledna 2019
    • Opravili jsme problém, který způsoboval df.rdd.count() , že UDT v některých případech vrátil nesprávnou odpověď.
    • Opravili jsme problém, který ovlivnil instalaci kolových kol.
    • [SPARK-26267]Zkuste to znovu při zjišťování nesprávných posunů ze systému Kafka.
    • Opravili jsme chybu, která ovlivnila více zdrojů datových proudů souborů v dotazu streamování.
    • Opravili jsme chyby StackOverflowError při vkládání nápovědy ke zkosenému spojení u relace uložené v mezipaměti.
    • Opravili jsme nekonzistenci mezi mezipamětí SADY RDD v mezipaměti SQL a jeho fyzickým plánem, což vedlo k nesprávnému výsledku.
  • 8. ledna 2019
    • Opravili jsme problém, který způsobuje chybu org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Změna pořadí spojení by neměla měnit pořadí výstupních atributů.
    • [SPARK-26366]ReplaceExceptWithFilter by měl považovat hodnotu NULL za False.
    • Vylepšení stability pro Delta Lake.
    • Delta Lake je povolené.
    • Opravili jsme problém, který způsoboval, že přístup Azure Data Lake Storage Gen2 selhal, když je pro Azure Data Lake Storage Gen1 povolené předávání přihlašovacích údajů Microsoft Entra ID.
    • Služba Databricks IO Cache je teď povolená pro typy instancí pracovních procesů řady Ls pro všechny cenové úrovně.

Databricks Runtime 5.0 (EoS)

Viz Databricks Runtime 5.0 (EoS).

  • 18. června 2019
    • Oprava chyby ovlivňující používání funkcí vyššího pořadí
  • 7. května 2019
    • Oprava konfliktu časování při načítání souboru kontrolního součtu protokolu Delta
    • Oprava logiky detekce konfliktů Delta, která neidentifikuje operaci insert + overwrite jako čistou operaci "append"
    • [SPARK-27494][SS] Klíče nebo hodnoty null nefungují ve zdroji Kafka v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Selhání zdroje dat image Sparku při výskytu některých neplatných imagí
    • [SPARK-27160][SQL] Oprava typu DecimalType při vytváření filtrů orc
      • [SPARK-27338][JÁDRO] Oprava vzájemného zablokování mezi unsafeExternalSorter a TaskMemoryManager
  • 26. března 2019
    • Vyhněte se vkládání posunů závislých na platformě doslova ve vygenerovaném kódu v celé fázi.
    • Opravili jsme chybu, která ovlivnila určité pythonUDFy.
  • 12. března 2019
    • [SPARK-26864][SQL] Dotaz může vrátit nesprávný výsledek, pokud se python udf použije jako podmínka spojení doleva.
  • 26. února 2019
    • Opravili jsme chybu, která ovlivnila server JDBC/ODBC.
    • Při sestavování HadoopRDD vylučte skryté soubory.
  • 12. února 2019
    • Opravili jsme nekonzistenci mezi mezipamětí SADY RDD v mezipaměti SQL a jeho fyzickým plánem, což vedlo k nesprávnému výsledku.
    • [SPARK-26706][SQL] Oprava illegalNumericPrecedence pro ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nezpracuje správně prázdné záznamy.
    • Oprava odvozování omezení u operátoru Window.
    • Opravili jsme problém, kvůli kterému mohlo dojít k přerušení síťového protokolu Spark nízké úrovně při odesílání velkých chybových zpráv RPC s povoleným šifrováním (pokud spark.network.crypto.enabled je nastavená hodnota true).
  • 30. ledna 2019
    • Opravili jsme problém, který způsoboval df.rdd.count() , že UDT v některých případech vrátil nesprávnou odpověď.
    • [SPARK-26267]Zkuste to znovu při zjišťování nesprávných posunů ze systému Kafka.
    • Opravili jsme chybu, která ovlivnila více zdrojů datových proudů souborů v dotazu streamování.
    • Opravili jsme chyby StackOverflowError při vkládání nápovědy ke zkosenému spojení u relace uložené v mezipaměti.
    • Opravili jsme nekonzistenci mezi mezipamětí SADY RDD v mezipaměti SQL a jeho fyzickým plánem, což vedlo k nesprávnému výsledku.
  • 8. ledna 2019
    • Opravili jsme problém, který způsobil chybu org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Změna pořadí spojení by neměla měnit pořadí výstupních atributů.
    • [SPARK-26366]ReplaceExceptWithFilter by měl považovat hodnotu NULL za False.
    • Vylepšení stability pro Delta Lake.
    • Delta Lake je povolené.
    • Služba Databricks IO Cache je teď povolená pro typy instancí pracovních procesů řady Ls pro všechny cenové úrovně.
  • 18. prosince 2018
    • [SPARK-26293]Výjimka přetypování při použití definovaného uživatelem Pythonu v poddotadu
    • Opravili jsme problém, který ovlivnil určité dotazy pomocí připojení a omezení.
    • Redacted credentials from RDD names in Spark UI
  • 6. prosince 2018
    • Opravili jsme problém, který způsoboval nesprávný výsledek dotazu při použití orderBy následovaný okamžitou klávesou groupBy s klíčem group-by jako úvodní část klíče řazení podle.
    • Upgradovali jsme konektor Snowflake pro Spark z verze 2.4.9.2-spark_2.4_pre_release na verzi 2.4.10.
    • Po jednom nebo více opakováních po spark.sql.files.ignoreCorruptFiles povolení příznaku ignorujte spark.sql.files.ignoreMissingFiles pouze poškozené soubory.
    • Opravili jsme problém, který ovlivnil některé dotazy samoobslužné sjednocení.
    • Opravili jsme chybu se serverem thrift, kdy se při zrušení někdy nevracely relace.
    • [SPARK-26307]Opravili jsme CTAS při vložení dělené tabulky pomocí Hive SerDe.
    • [SPARK-26147]Funkce definované uživatelem Pythonu v podmínce spojení selžou, i když používáte sloupce pouze z jedné strany spojení
    • [SPARK-26211]Oprava inset binárního souboru a struktury a pole s hodnotou null
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap není správná.
    • Opravili jsme problém, který ovlivnil instalaci sady Python Wheels v prostředích bez přístupu k internetu.
  • 20. listopadu 2018
    • Opravili jsme problém, který způsoboval, že poznámkový blok nebylo možné použít po zrušení streamovacího dotazu.
    • Opravili jsme problém ovlivňující určité dotazy pomocí funkcí oken.
    • Opravili jsme problém ovlivňující datový proud z Delta s několika změnami schématu.
    • Opravili jsme problém, který ovlivnil určité agregační dotazy s levými středníky a anti spojeními.

Databricks Runtime 4.3 (EoS)

Viz Databricks Runtime 4.3 (EoS).

  • úterý 9. dubna 2019

    • [SPARK-26665][JÁDRO] Opravte chybu, která může způsobit, že BlockTransferService.fetchBlockSync přestane reagovat navždy.
    • [SPARK-24669][SQL] V případě DROP DATABASE CASCADE zneplatníte tabulky.

  • 12. března 2019

    • Opravili jsme chybu, která ovlivnila generování kódu.
    • Opravili jsme chybu, která ovlivnila Delta.

  • 26. února 2019

    • Opravili jsme chybu, která ovlivnila server JDBC/ODBC.

  • 12. února 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nezpracuje správně prázdné záznamy.
    • Vyloučení skrytých souborů při sestavování HadoopRDD
    • Oprava převodu filtru Parquet pro predikát IN, když je jeho hodnota prázdná.
    • Opravili jsme problém, kvůli kterému mohlo dojít k přerušení síťového protokolu Spark nízké úrovně při odesílání velkých chybových zpráv RPC s povoleným šifrováním (pokud spark.network.crypto.enabled je nastavená hodnota true).

  • 30. ledna 2019

    • Opravili jsme problém, který způsoboval df.rdd.count() , že UDT v některých případech vrátil nesprávnou odpověď.
    • Opravili jsme nekonzistenci mezi mezipamětí SADY RDD v mezipaměti SQL a jeho fyzickým plánem, což vedlo k nesprávnému výsledku.

  • úterý 8. ledna 2019

    • Opravili jsme problém, který způsobovat chybu org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]Změna pořadí spojení by neměla měnit pořadí výstupních atributů.
    • [SPARK-26366]ReplaceExceptWithFilter by měl považovat hodnotu NULL za False.
    • Delta Lake je povolené.
    • Služba Databricks IO Cache je teď povolená pro typy instancí pracovních procesů řady Ls pro všechny cenové úrovně.

  • 18. prosince 2018

    • [SPARK-25002]Avro: Revidujte obor názvů výstupního záznamu.
    • Opravili jsme problém, který ovlivnil určité dotazy pomocí připojení a omezení.
    • [SPARK-26307]Opravili jsme CTAS při vložení dělené tabulky pomocí Hive SerDe.
    • Po jednom nebo více opakováních po spark.sql.files.ignoreCorruptFiles povolení příznaku ignorujte spark.sql.files.ignoreMissingFiles pouze poškozené soubory.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap není správná.
    • Opravili jsme problém, který ovlivnil instalaci sady Python Wheels v prostředích bez přístupu k internetu.
    • Opravili jsme problém s výkonem v analyzátoru dotazů.
    • Opravili jsme problém v PySparku, který způsoboval, že akce datového rámce selhaly s chybou "Připojení odmítnuto".
    • Opravili jsme problém, který ovlivnil některé dotazy samoobslužné sjednocení.

  • 20. listopadu 2018

    • [SPARK-17916][SPARK-25241]Oprava analýzy prázdného řetězce jako null, pokud je nastavena hodnota nullValue.
    • [SPARK-25387]Oprava npe způsobená nesprávným vstupem CSV
    • Opravili jsme problém, který ovlivnil určité agregační dotazy s levými středníky a anti spojeními.

  • 6. listopadu 2018

    • [SPARK-25741]Dlouhé adresy URL se ve webovém uživatelském rozhraní nevykreslují správně.
    • [SPARK-25714]Oprava zpracování null v pravidlu optimalizátoru BooleanSimplification.
    • Opravili jsme problém, který ovlivnil vyčištění dočasných objektů v konektoru Synapse Analytics.
    • [SPARK-25816]Oprava rozlišení atributů v vnořených extraktorech

  • 16. října 2018

    • Opravili jsme chybu, která ovlivnila výstup spuštění SHOW CREATE TABLE v tabulkách Delta.
    • Opravili jsme chybu, která ovlivnila Union operaci.

  • 25. září 2018

    • [SPARK-25368][SQL] Nesprávná odvození omezení vrátí nesprávný výsledek.
    • [SPARK-25402][SQL] Zpracování hodnoty Null v booleanSimplification
    • Opraveno NotSerializableException ve zdroji dat Avro.

  • 11. září 2018

    • [SPARK-25214][SS] Opravte problém, kdy zdroj Kafka v2 může vracet duplicitní záznamy, když failOnDataLoss=false.
    • [SPARK-24987][SS] Oprava úniku uživatelů Kafka, pokud nejsou žádné nové posuny pro articlePartition.
    • Redukce filtru by měla správně zpracovat hodnotu null.
    • Vylepšená stabilita prováděcího modulu.

  • 28. srpna 2018

    • Opravili jsme chybu v příkazu Delta Lake Delete, která nesprávně odstranila řádky, ve kterých se podmínka vyhodnotí jako null.
    • [SPARK-25142]Přidejte chybové zprávy, když pracovní proces Pythonu nemohl otevřít soket v _load_from_socket.

  • 23. srpna 2018

    • [SPARK-23935]mapEntry vyvolá org.codehaus.commons.compiler.CompileException.
    • Opravili jsme problém s mapou s možnou hodnotou null ve čtečce Parquet.
    • [SPARK-25051][SQL] OpravaNullability by neměla u AnalysisBarrieru zastavit.
    • [SPARK-25081]Opravili jsme chybu, kdy shuffleExternalSorter měl při selhání přidělení paměti přístup k uvolněné stránce paměti.
    • Opravili jsme interakci mezi Databricks Delta a Pysparkem, která mohla způsobit přechodné chyby čtení.
    • [SPARK-25084]" distribuce podle" u více sloupců (zalomení v hranatých závorkách) může vést k problému s codegenem.
    • [SPARK-25096]Uvolněte hodnotu null, pokud je přetypování vynucené s možnou hodnotou null.
    • Snížil výchozí počet vláken používaných příkazem Delta Lake Optimize, což snižuje režii paměti a rychlejší potvrzení dat.
    • [SPARK-25114]Oprava Funkce RecordBinaryComparator při odčítání mezi dvěma slovy je dělitelná pomocí Integer.MAX_VALUE.
    • Opravili jsme redakci správce tajných kódů, když byl příkaz částečně úspěšný.

Databricks Runtime 4.2 (EoS)

Viz Databricks Runtime 4.2 (EoS)

  • 26. února 2019

    • Opravili jsme chybu, která ovlivnila server JDBC/ODBC.

  • 12. února 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nezpracuje správně prázdné záznamy.
    • Vyloučení skrytých souborů při sestavování HadoopRDD
    • Oprava převodu filtru Parquet pro predikát IN, když je jeho hodnota prázdná.
    • Opravili jsme problém, kvůli kterému mohlo dojít k přerušení síťového protokolu Spark nízké úrovně při odesílání velkých chybových zpráv RPC s povoleným šifrováním (pokud spark.network.crypto.enabled je nastavená hodnota true).

  • 30. ledna 2019

    • Opravili jsme problém, který způsoboval df.rdd.count() , že UDT v některých případech vrátil nesprávnou odpověď.

  • úterý 8. ledna 2019

    • Opravili jsme problém, který způsobuje chybu org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]Změna pořadí spojení by neměla měnit pořadí výstupních atributů.
    • [SPARK-26366]ReplaceExceptWithFilter by měl považovat hodnotu NULL za False.
    • Delta Lake je povolené.
    • Služba Databricks IO Cache je teď povolená pro typy instancí pracovních procesů řady Ls pro všechny cenové úrovně.

  • 18. prosince 2018

    • [SPARK-25002]Avro: Revidujte obor názvů výstupního záznamu.
    • Opravili jsme problém, který ovlivnil určité dotazy pomocí připojení a omezení.
    • [SPARK-26307]Opravili jsme CTAS při vložení dělené tabulky pomocí Hive SerDe.
    • Po jednom nebo více opakováních po spark.sql.files.ignoreCorruptFiles povolení příznaku ignorujte spark.sql.files.ignoreMissingFiles pouze poškozené soubory.
    • [SPARK-26181]hasMinMaxStats metoda ColumnStatsMap není správná.
    • Opravili jsme problém, který ovlivnil instalaci sady Python Wheels v prostředích bez přístupu k internetu.
    • Opravili jsme problém s výkonem v analyzátoru dotazů.
    • Opravili jsme problém v PySparku, který způsoboval, že akce datového rámce selhaly s chybou "Připojení odmítnuto".
    • Opravili jsme problém, který ovlivnil některé dotazy samoobslužné sjednocení.

  • 20. listopadu 2018

    • [SPARK-17916][SPARK-25241]Oprava analýzy prázdného řetězce jako null, pokud je nastavena hodnota nullValue.
    • Opravili jsme problém, který ovlivnil určité agregační dotazy s levými středníky a anti spojeními.

  • 6. listopadu 2018

    • [SPARK-25741]Dlouhé adresy URL se ve webovém uživatelském rozhraní nevykreslují správně.
    • [SPARK-25714]Oprava zpracování null v pravidlu optimalizátoru BooleanSimplification.

  • 16. října 2018

    • Opravili jsme chybu, která ovlivnila výstup spuštění SHOW CREATE TABLE v tabulkách Delta.
    • Opravili jsme chybu, která ovlivnila Union operaci.

  • 25. září 2018

    • [SPARK-25368][SQL] Nesprávná odvození omezení vrátí nesprávný výsledek.
    • [SPARK-25402][SQL] Zpracování hodnoty Null v booleanSimplification
    • Opraveno NotSerializableException ve zdroji dat Avro.

  • 11. září 2018

    • [SPARK-25214][SS] Opravte problém, kdy zdroj Kafka v2 může vracet duplicitní záznamy, když failOnDataLoss=false.
    • [SPARK-24987][SS] Oprava úniku uživatelů Kafka, pokud nejsou žádné nové posuny pro articlePartition.
    • Redukce filtru by měla správně zpracovat hodnotu null.

  • 28. srpna 2018

    • Opravili jsme chybu v příkazu Delta Lake Delete, která nesprávně odstranila řádky, ve kterých se podmínka vyhodnotí jako null.

  • 23. srpna 2018

    • Oprava chyby NoClassDefError pro rozdílový snímek
    • [SPARK-23935]mapEntry vyvolá org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Průměr s desítkovým číslem následovaným agregací vrátí nesprávný výsledek. Mohou se vrátit nesprávné výsledky funkce PRŮMĚR. Funkce CAST přidaná v operátoru Průměr bude vynechána, pokud je výsledek dělení stejný typ, na který se přetypuje.
    • [SPARK-25081]Opravili jsme chybu, kdy shuffleExternalSorter měl při selhání přidělení paměti přístup k uvolněné stránce paměti.
    • Opravili jsme interakci mezi Databricks Delta a Pysparkem, která mohla způsobit přechodné chyby čtení.
    • [SPARK-25114]Oprava Funkce RecordBinaryComparator při odčítání mezi dvěma slovy je dělitelná pomocí Integer.MAX_VALUE.
    • [SPARK-25084]" distribuce podle" u více sloupců (zalomení v hranatých závorkách) může vést k problému s codegenem.
    • [SPARK-24934][SQL] Explicitní seznam povolených typů v horních a dolních mezích pro vyřezávání oddílů v paměti Pokud se ve filtrech dotazů na data v mezipaměti používají složité datové typy, Spark vždy vrátí prázdnou sadu výsledků. Vyřazení založené na statistikách v paměti generuje nesprávné výsledky, protože hodnota null je nastavena pro horní a dolní hranice pro komplexní typy. Oprava je nepoužívat statistiky založené na paměti pro vyřazení komplexních typů.
    • Opravili jsme redakci správce tajných kódů, když byl příkaz částečně úspěšný.
    • Opravili jsme problém s mapou s možnou hodnotou null ve čtečce Parquet.

  • 2. srpna 2018

    • Přidání rozhraní API writeStream.table v Pythonu
    • Opravili jsme problém, který ovlivnil rozdílové vytváření kontrolních bodů.
    • [SPARK-24867][SQL] Přidejte AnalysisBarrier do prvku DataFrameWriter. Mezipaměť SQL se nepoužívá při použití DataFrameWriter k zápisu datového rámce s UDF. Jedná se o regresi způsobenou změnami, které jsme provedli v AnalysisBarrieru, protože ne všechna pravidla Analyzátoru jsou idempotentní.
    • Opravili jsme problém, který mohl způsobit, mergeInto že příkaz způsobil nesprávné výsledky.
    • Vylepšená stabilita při přístupu k Azure Data Lake Storage Gen1.
    • [SPARK-24809]Serializace LongHashedRelation v exekutoru může vést k chybě dat.
    • [SPARK-24878][SQL] Oprava zpětné funkce pro typ pole primitivního typu obsahující hodnotu null.

  • 11. července 2018

    • Opravili jsme chybu při provádění dotazu, která v některých případech způsobovala agregace desetinných sloupců s různými přesnostmi.
    • NullPointerException Opravili jsme chybu, která byla vyvoláná během pokročilých agregačních operací, jako jsou sady seskupení.

Databricks Runtime 4.1 ML (EoS)

Viz Databricks Runtime 4.1 ML (EoS).

  • 31. července 2018
    • Přidání Služby Azure Synapse Analytics do modulu ML Runtime 4.1
    • Opravili jsme chybu, která mohla způsobit nesprávné výsledky dotazu, když se název sloupce oddílu použitý v predikátu liší od případu tohoto sloupce ve schématu tabulky.
    • Opravili jsme chybu, která ovlivnila spouštěcí modul Spark SQL.
    • Opravili jsme chybu, která ovlivnila generování kódu.
    • Opravili jsme chybu (java.lang.NoClassDefFoundError), která ovlivnila Delta Lake.
    • Vylepšené zpracování chyb v Delta Lake
    • Opravili jsme chybu, která způsobovala shromažďování nesprávných statistik přeskakování dat pro řetězcové sloupce o 32 nebo vyšších znaméních.

Databricks Runtime 4.1 (EoS)

Viz Databricks Runtime 4.1 (EoS).

  • úterý 8. ledna 2019

    • [SPARK-26366]ReplaceExceptWithFilter by měl považovat hodnotu NULL za False.
    • Delta Lake je povolené.

  • 18. prosince 2018

    • [SPARK-25002]Avro: Revidujte obor názvů výstupního záznamu.
    • Opravili jsme problém, který ovlivnil určité dotazy pomocí připojení a omezení.
    • [SPARK-26307]Opravili jsme CTAS při vložení dělené tabulky pomocí Hive SerDe.
    • Po jednom nebo více opakováních po spark.sql.files.ignoreCorruptFiles povolení příznaku ignorujte spark.sql.files.ignoreMissingFiles pouze poškozené soubory.
    • Opravili jsme problém, který ovlivnil instalaci sady Python Wheels v prostředích bez přístupu k internetu.
    • Opravili jsme problém v PySparku, který způsoboval, že akce datového rámce selhaly s chybou "Připojení odmítnuto".
    • Opravili jsme problém, který ovlivnil některé dotazy samoobslužné sjednocení.

  • 20. listopadu 2018

    • [SPARK-17916][SPARK-25241]Oprava analýzy prázdného řetězce jako null, pokud je nastavena hodnota nullValue.
    • Opravili jsme problém, který ovlivnil určité agregační dotazy s levými středníky a anti spojeními.

  • 6. listopadu 2018

    • [SPARK-25741]Dlouhé adresy URL se ve webovém uživatelském rozhraní nevykreslují správně.
    • [SPARK-25714]Oprava zpracování null v pravidlu optimalizátoru BooleanSimplification.

  • 16. října 2018

    • Opravili jsme chybu, která ovlivnila výstup spuštění SHOW CREATE TABLE v tabulkách Delta.
    • Opravili jsme chybu, která ovlivnila Union operaci.

  • 25. září 2018

    • [SPARK-25368][SQL] Nesprávná odvození omezení vrátí nesprávný výsledek.
    • [SPARK-25402][SQL] Zpracování hodnoty Null v booleanSimplification
    • Opraveno NotSerializableException ve zdroji dat Avro.

  • 11. září 2018

    • [SPARK-25214][SS] Opravte problém, kdy zdroj Kafka v2 může vracet duplicitní záznamy, když failOnDataLoss=false.
    • [SPARK-24987][SS] Oprava úniku uživatelů Kafka, pokud nejsou žádné nové posuny pro articlePartition.
    • Redukce filtru by měla správně zpracovat hodnotu null.

  • 28. srpna 2018

    • Opravili jsme chybu v příkazu Delta Lake Delete, která nesprávně odstranila řádky, ve kterých se podmínka vyhodnotí jako null.
    • [SPARK-25084]" distribuce podle" u více sloupců (zalomení v hranatých závorkách) může vést k problému s codegenem.
    • [SPARK-25114]Oprava Funkce RecordBinaryComparator při odčítání mezi dvěma slovy je dělitelná pomocí Integer.MAX_VALUE.

  • 23. srpna 2018

    • Oprava NoClassDefError pro delta snapshot.
    • [SPARK-24957][SQL] Průměr s desítkovým číslem následovaným agregací vrátí nesprávný výsledek. Mohou se vrátit nesprávné výsledky funkce PRŮMĚR. Funkce CAST přidaná v operátoru Průměr bude vynechána, pokud je výsledek dělení stejný typ, na který se přetypuje.
    • Opravili jsme problém s mapou s možnou hodnotou null ve čtečce Parquet.
    • [SPARK-24934][SQL] Explicitní seznam povolených typů v horních a dolních mezích pro vyřezávání oddílů v paměti Pokud se ve filtrech dotazů na data v mezipaměti používají složité datové typy, Spark vždy vrátí prázdnou sadu výsledků. Vyřazení založené na statistikách v paměti generuje nesprávné výsledky, protože hodnota null je nastavena pro horní a dolní hranice pro komplexní typy. Oprava je nepoužívat statistiky založené na paměti pro vyřazení komplexních typů.
    • [SPARK-25081]Opravili jsme chybu, kdy shuffleExternalSorter měl při selhání přidělení paměti přístup k uvolněné stránce paměti.
    • Opravili jsme interakci mezi Databricks Delta a Pysparkem, která mohla způsobit přechodné chyby čtení.
    • Oprava redakce správce tajných kódů při částečném úspěchu příkazu

  • 2. srpna 2018

    • [SPARK-24613][SQL] Mezipaměť s UDF se nedá spárovat s následnými závislými mezipaměťmi. Zabalí logický plán pomocí analysisBarrieru pro kompilaci plánu provádění v CacheManager, aby se zabránilo opětovné analýze plánu. Jedná se také o regresi Sparku 2.3.
    • Opravili jsme problém s konektorem Synapse Analytics, který ovlivnil převod časového pásma pro zápis dat typu DateType.
    • Opravili jsme problém, který ovlivnil rozdílové vytváření kontrolních bodů.
    • Opravili jsme problém, který mohl způsobit, mergeInto že příkaz způsobil nesprávné výsledky.
    • [SPARK-24867][SQL] Přidejte AnalysisBarrier do prvku DataFrameWriter. Mezipaměť SQL se nepoužívá při použití DataFrameWriter k zápisu datového rámce s UDF. Jedná se o regresi způsobenou změnami, které jsme provedli v AnalysisBarrieru, protože ne všechna pravidla Analyzátoru jsou idempotentní.
    • [SPARK-24809]Serializace LongHashedRelation v exekutoru může vést k chybě dat.

  • 11. července 2018

    • Opravili jsme chybu při provádění dotazu, která v některých případech způsobovala agregace desetinných sloupců s různými přesnostmi.
    • NullPointerException Opravili jsme chybu, která byla vyvoláná během pokročilých agregačních operací, jako jsou sady seskupení.

  • 28. června 2018

    • Opravili jsme chybu, která mohla způsobit nesprávné výsledky dotazu, když se název sloupce oddílu použitý v predikátu liší od případu tohoto sloupce ve schématu tabulky.

  • 7. června 2018

    • Opravili jsme chybu, která ovlivnila spouštěcí modul Spark SQL.
    • Opravili jsme chybu, která ovlivnila generování kódu.
    • Opravili jsme chybu (java.lang.NoClassDefFoundError), která ovlivnila Delta Lake.
    • Vylepšené zpracování chyb v Delta Lake

  • 17. května 2018

    • Opravili jsme chybu, která způsobovala shromažďování nesprávných statistik přeskakování dat pro řetězcové sloupce o 32 nebo vyšších znaméních.

Databricks Runtime 4.0 (EoS)

Viz Databricks Runtime 4.0 (EoS).

  • 6. listopadu 2018

    • [SPARK-25714]Oprava zpracování null v pravidlu optimalizátoru BooleanSimplification.

  • 16. října 2018

    • Opravili jsme chybu, která ovlivnila Union operaci.

  • 25. září 2018

    • [SPARK-25368][SQL] Nesprávná odvození omezení vrátí nesprávný výsledek.
    • [SPARK-25402][SQL] Zpracování hodnoty Null v booleanSimplification
    • Opraveno NotSerializableException ve zdroji dat Avro.

  • 11. září 2018

    • Redukce filtru by měla správně zpracovat hodnotu null.

  • 28. srpna 2018

    • Opravili jsme chybu v příkazu Delta Lake Delete, která nesprávně odstranila řádky, ve kterých se podmínka vyhodnotí jako null.

  • 23. srpna 2018

    • Opravili jsme problém s mapou s možnou hodnotou null ve čtečce Parquet.
    • Oprava redakce správce tajných kódů při částečném úspěchu příkazu
    • Opravili jsme interakci mezi Databricks Delta a Pysparkem, která mohla způsobit přechodné chyby čtení.
    • [SPARK-25081]Opravili jsme chybu, kdy shuffleExternalSorter měl při selhání přidělení paměti přístup k uvolněné stránce paměti.
    • [SPARK-25114]Oprava Funkce RecordBinaryComparator při odčítání mezi dvěma slovy je dělitelná pomocí Integer.MAX_VALUE.

  • 2. srpna 2018

    • [SPARK-24452]Vyhněte se možnému přetečení v přidání int nebo více.
    • [SPARK-24588]Připojení ke streamování by mělo vyžadovat hashClusteredPartitioning z podřízených položek.
    • Opravili jsme problém, který mohl způsobit, mergeInto že příkaz způsobil nesprávné výsledky.
    • [SPARK-24867][SQL] Přidejte AnalysisBarrier do prvku DataFrameWriter. Mezipaměť SQL se nepoužívá při použití DataFrameWriter k zápisu datového rámce s UDF. Jedná se o regresi způsobenou změnami, které jsme provedli v AnalysisBarrieru, protože ne všechna pravidla Analyzátoru jsou idempotentní.
    • [SPARK-24809]Serializace LongHashedRelation v exekutoru může vést k chybě dat.

  • 28. června 2018

    • Opravili jsme chybu, která mohla způsobit nesprávné výsledky dotazu, když se název sloupce oddílu použitý v predikátu liší od případu tohoto sloupce ve schématu tabulky.

  • 7. června 2018

    • Opravili jsme chybu, která ovlivnila spouštěcí modul Spark SQL.
    • Vylepšené zpracování chyb v Delta Lake

  • 17. května 2018

    • Opravy chyb správy tajných kódů Databricks
    • Vylepšená stabilita při čtení dat uložených v Azure Data Lake Store.
    • Opravili jsme chybu, která ovlivnila ukládání do mezipaměti RDD.
    • Opravili jsme chybu, která ovlivnila hodnotu Null-safe Equal v Spark SQL.

  • 24. dubna 2018

    • Upgradovali jsme sadu AZURE Data Lake Store SDK z verze 2.0.11 na verzi 2.2.8, aby se zlepšila stabilita přístupu ke službě Azure Data Lake Store.
    • Opravili jsme chybu, která ovlivnila vložení přepsání do dělených tabulek Hive, pokud spark.databricks.io.hive.fastwriter.enabled je false.
    • Opravili jsme problém, který selhal při serializaci úlohy.
    • Vylepšili jsme stabilitu Delta Lake.

  • 14. března 2018

    • Zabránění zbytečným aktualizacím metadat při zápisu do Delta Lake
    • Opravili jsme problém způsobený stavem časování, který mohl ve výjimečných případech vést ke ztrátě některých výstupních souborů.

Databricks Runtime 3.5 LTS (EoS)

Viz Databricks Runtime 3.5 LTS (EoS).

  • 7. listopadu 2019

    • [SPARK-29743][SQL] Pokud je hodnota needCopyResult pravdivá, měla by být v ukázce nastavena hodnota needCopyResult.

  • úterý 8. října 2019

    • Změny na straně serveru, které umožní ovladači ODBC Apache Sparku Simba znovu připojit a pokračovat po selhání připojení během načítání výsledků (vyžaduje aktualizaci ovladače Simba Apache Spark ODBC na verzi 2.6.10).

  • 10. září 2019

    • [SPARK-28699][SQL] Zakázání použití řazení radix pro ShuffleExchangeExec v případě repartition

  • úterý 9. dubna 2019

    • [SPARK-26665][JÁDRO] Opravte chybu, která může způsobit, že BlockTransferService.fetchBlockSync přestane reagovat navždy.

  • 12. února 2019

    • Opravili jsme problém, kvůli kterému mohlo dojít k přerušení síťového protokolu Spark nízké úrovně při odesílání velkých chybových zpráv RPC s povoleným šifrováním (pokud spark.network.crypto.enabled je nastavená hodnota true).

  • 30. ledna 2019

    • Opravili jsme problém, který způsoboval df.rdd.count() , že UDT v některých případech vrátil nesprávnou odpověď.

  • 18. prosince 2018

    • Po jednom nebo více opakováních po spark.sql.files.ignoreCorruptFiles povolení příznaku ignorujte spark.sql.files.ignoreMissingFiles pouze poškozené soubory.
    • Opravili jsme problém, který ovlivnil některé dotazy samoobslužné sjednocení.

  • 20. listopadu 2018

    • [SPARK-25816]Opravené rozlišení atributů v vnořených extraktorech.

  • 6. listopadu 2018

    • [SPARK-25714]Oprava zpracování null v pravidlu optimalizátoru BooleanSimplification.

  • 16. října 2018

    • Opravili jsme chybu, která ovlivnila Union operaci.

  • 25. září 2018

    • [SPARK-25402][SQL] Zpracování hodnoty Null v booleanSimplification
    • Opraveno NotSerializableException ve zdroji dat Avro.

  • 11. září 2018

    • Redukce filtru by měla správně zpracovat hodnotu null.

  • 28. srpna 2018

    • Opravili jsme chybu v příkazu Delta Lake Delete, která nesprávně odstranila řádky, ve kterých se podmínka vyhodnotí jako null.
    • [SPARK-25114]Oprava Funkce RecordBinaryComparator při odčítání mezi dvěma slovy je dělitelná pomocí Integer.MAX_VALUE.

  • 23. srpna 2018

    • [SPARK-24809]Serializace LongHashedRelation v exekutoru může vést k chybě dat.
    • Opravili jsme problém s mapou s možnou hodnotou null ve čtečce Parquet.
    • [SPARK-25081]Opravili jsme chybu, kdy shuffleExternalSorter měl při selhání přidělení paměti přístup k uvolněné stránce paměti.
    • Opravili jsme interakci mezi Databricks Delta a Pysparkem, která mohla způsobit přechodné chyby čtení.

  • 28. června 2018

    • Opravili jsme chybu, která mohla způsobit nesprávné výsledky dotazu, když se název sloupce oddílu použitý v predikátu liší od případu tohoto sloupce ve schématu tabulky.

  • 28. června 2018

    • Opravili jsme chybu, která mohla způsobit nesprávné výsledky dotazu, když se název sloupce oddílu použitý v predikátu liší od případu tohoto sloupce ve schématu tabulky.

  • 7. června 2018

    • Opravili jsme chybu, která ovlivnila spouštěcí modul Spark SQL.
    • Vylepšené zpracování chyb v Delta Lake

  • 17. května 2018

    • Vylepšená stabilita při čtení dat uložených v Azure Data Lake Store.
    • Opravili jsme chybu, která ovlivnila ukládání do mezipaměti RDD.
    • Opravili jsme chybu, která ovlivnila hodnotu Null-safe Equal v Spark SQL.
    • Opravili jsme chybu, která ovlivnila určité agregace v dotazech streamování.

  • 24. dubna 2018

    • Upgradovali jsme sadu AZURE Data Lake Store SDK z verze 2.0.11 na verzi 2.2.8, aby se zlepšila stabilita přístupu ke službě Azure Data Lake Store.
    • Opravili jsme chybu, která ovlivnila vložení přepsání do dělených tabulek Hive, pokud spark.databricks.io.hive.fastwriter.enabled je false.
    • Opravili jsme problém, který selhal při serializaci úlohy.

  • 9. března 2018

    • Opravili jsme problém způsobený stavem časování, který mohl ve výjimečných případech vést ke ztrátě některých výstupních souborů.

  • 1. března 2018

    • Vylepšili jsme efektivitu zpracování datových proudů, které mohou trvat dlouhou dobu.
    • Opravili jsme problém, který ovlivnil automatické dokončování Pythonu.
    • Použili jsme opravy zabezpečení Ubuntu.
    • Opravili jsme problém, který ovlivnil určité dotazy pomocí funkcí definovaných uživatelem v Pythonu a funkcí okna.
    • Opravili jsme problém, který ovlivnil použití funkcí definovaných uživatelem v clusteru s povoleným řízením přístupu k tabulce.

  • 29. ledna 2018

    • Opravili jsme problém, který ovlivnil manipulaci s tabulkami uloženými ve službě Azure Blob Storage.
    • Pevná agregace po vyřazeníDuplicit na prázdném datovém rámci

Databricks Runtime 3.4 (EoS)

Viz Databricks Runtime 3.4 (EoS)

  • 7. června 2018

    • Opravili jsme chybu, která ovlivnila spouštěcí modul Spark SQL.
    • Vylepšené zpracování chyb v Delta Lake

  • 17. května 2018

    • Vylepšená stabilita při čtení dat uložených v Azure Data Lake Store.
    • Opravili jsme chybu, která ovlivnila ukládání do mezipaměti RDD.
    • Opravili jsme chybu, která ovlivnila hodnotu Null-safe Equal v Spark SQL.

  • 24. dubna 2018

    • Opravili jsme chybu, která ovlivnila vložení přepsání do dělených tabulek Hive, pokud spark.databricks.io.hive.fastwriter.enabled je false.

  • 9. března 2018

    • Opravili jsme problém způsobený stavem časování, který mohl ve výjimečných případech vést ke ztrátě některých výstupních souborů.

  • 13. prosince 2017

    • Opravili jsme problém ovlivňující uživatelem definované uživatelem v jazyce Scala.
    • Opravili jsme problém, který ovlivnil použití indexu přeskakování dat u tabulek zdrojů dat uložených v cestách mimo DBFS.

  • 7. prosince 2017

    • Vylepšili jsme stabilitu náhodného prohazu.

Nepodporované verze Databricks Runtime

V případě původní poznámky k verzi postupujte podle odkazu pod podnadpisem.