Verze DLT 2022.40

28. září – 5. října 2022

Tyto funkce a vylepšení byly vydány ve verzi DLT z roku 2022.40.

Verze Databricks Runtime používané tímto vydáním

kanál :

• Aktuální (výchozí): Databricks Runtime 11.0.7
• PREVIEW: Databricks Runtime 11.0.7

Nové funkce a vylepšení v této verzi

• Použití jiného popisku clusteru než default nebo maintenance v nastavení kanálu způsobí selhání při vytváření nebo úpravách kanálu. Další informace o konfiguraci clusteru pro deklarativní kanály Sparku pro Lakeflow najdete v tématu Konfigurace klasických výpočetních prostředků pro kanály.

• Kanály teď můžete otevírat nebo spouštět přímo z poznámkových bloků deklarativních kanálů Sparku Lakeflow. Viz Vývoj a ladění kanálů pomocí poznámkového bloku (starší verze).

• Tato verze zahrnuje zásadní změnu datové struktury nastavení potrubí vrácené rozhraním DLT API požadavky. Tato změna vrátí pole edition jako hodnotu velkými písmeny. Dříve byla tato hodnota vrácena jako smíšený případ. Je nutné aktualizovat klienty, kteří čtou hodnotu edition v odpovědích rozhraní API, aby se zajistilo správné zpracování návratové hodnoty. Hodnota edition v požadavcích rozhraní API však nerozlišuje malá a velká písmena; klienti, kteří odesílají požadavky, včetně tohoto pole, nevyžadují aktualizaci.

Opravy chyb v této verzi

• Tato verze opravuje chybu, která způsobí, že uživatelské rozhraní DLT zobrazí kanál v RUNNING stavu i po selhání aktualizace.

• Tato aktualizace opravuje chybu v rozhraní APPLY_CHANGES při opětovném zpracování vstupních dat, kde data obsahují duplicitní operace DELETE se stejnou hodnotou ve sloupci SEQUENCE. Výsledkem tohoto scénáře je, že v cílové tabulce jsou hodnoty NULL a hodnota DeleteVersion je odstraněna. To odpovídá označení záznamu jako NOT-DELETED. Při této změně se duplicitní operace DELETE zpracovávají idempotentně a záznam se vždy označí jako DELETED.

• Tato verze opravuje chybu, která způsobuje skrytí řádků při zpracování typu SCD typu 2 při odstranění předchozího historického záznamu obsahujícího stejné sloupce jako další historický záznam.

• Tato aktualizace opravuje chybu, která způsobuje zobrazení s očekáváním expect_or_fail, které zůstává ve stavu RUNNING, i když se očekávání nenaplní. S touto opravou pipeline selže a přejde do stavu FAILED.