Sdílet prostřednictvím

Poznámky k verzi deklarativních kanálů Sparku Lakeflow a proces upgradu verze

Tento článek vysvětluje proces vydání Lakeflow Spark Deklarativních Kanálů, jak je spravován jejich runtime, a poskytuje odkazy na poznámky k verzi pro každé vydání Lakeflow Spark Deklarativních Kanálů.

Komponenty runtime deklarativních pipelin Lakeflow Spark

Note

Pokud chcete zobrazit verze Modulu runtime Databricks používané s verzí deklarativních kanálů Sparku Lakeflow, přečtěte si poznámky k verzi pro danou verzi.

Klastry deklarativních kanálů Sparku pro Lakeflow používají prostředí runtime založené na verzích poznámek k vydání a kompatibilitě Databricks Runtime. Databricks automaticky upgraduje moduly runtime deklarativních kanálů Lakeflow Spark, aby podporovaly vylepšení a upgrady platformy. V nastavení Lakeflow Spark deklarativních kanálů můžete použít pole channel k řízení verze modulu runtime, která spouští váš kanál. Podporované hodnoty jsou:

  • current k použití aktuální verze modulu runtime.
  • preview otestovat řetězec s nadcházejícími změnami verze prostředí runtime.

Ve výchozím nastavení se vaše kanály spouštějí pomocí verze běhového prostředí current. Databricks doporučuje používat modul runtime current pro produkční úlohy. Informace o použití nastavení preview k otestování kanálů s další verzí modulu runtime najdete v tématu Automatizace testování kanálů s další verzí modulu runtime.

Important

Funkce označené jako obecně dostupné nebo verze Public Preview jsou dostupné v kanálu current.

Další informace o kanálech Lakeflow Spark Declarative Pipelines najdete v poli v nastavení deklarativních kanálů Sparku Lakeflow.

Pokud chcete zjistit, jak deklarativní kanály Sparku Lakeflow spravují proces upgradu pro každou verzi, přečtěte si, jak fungují upgrady deklarativních kanálů Sparku Lakeflow?.

Jak zjistím verzi Databricks Runtime pro aktualizaci pipeline?

Můžete se dotazovat na protokol událostí Lakeflow Spark deklarativních kanálů a zjistit verzi Databricks Runtime pro aktualizaci kanálu. Viz informace o modulu runtime.

Poznámky k verzi deklarativních kanálů Sparku pro Lakeflow

Poznámky k verzi deklarativních kanálů Sparku pro Lakeflow jsou uspořádané podle roku a týdne v roce. Vzhledem k tomu, že deklarativní kanály Sparku Lakeflow jsou bez verzí, probíhají změny pracovního prostoru i modulu runtime automaticky. Následující poznámky k verzi obsahují přehled změn a oprav chyb v jednotlivých verzích:

Jak fungují aktualizace deklarativních kanálů Lakeflow pro Spark?

Deklarativní kanály Sparku Lakeflow se považují za produkt bez verzí , což znamená, že Databricks automaticky upgraduje modul runtime deklarativních kanálů Lakeflow, aby podporoval vylepšení a upgrady na platformu. Databricks doporučuje omezit externí závislosti pro deklarativní kanály Sparku Lakeflow.

Databricks proaktivně pracuje na tom, aby zabránil automatickým upgradům v zavedení chyb nebo problémů do produkčních potrubí deklarativních pipeline služby Lakeflow Spark. Viz Proces upgradu deklarativních kanálů Lakeflow Spark.

Zejména pro uživatele, kteří nasazují deklarativní kanály Spark Lakeflow s externími závislostmi, doporučuje Databricks proaktivně testovat kanály s preview kanály. Viz Automatizujte testování vašich kanálů s další verzí runtime.

Proces upgradu deklarativních kanálů Sparku Lakeflow

Databricks spravuje Databricks Runtime, který je používán výpočetními prostředky deklarativních kanálů Lakeflow Spark. Deklarativní kanály Lakeflow Spark automaticky upgradují runtime v pracovních prostorech Azure Databricks a po upgradu monitorují zdravotní stav vašich kanálů.

Pokud deklarativní kanály Lakeflow Spark zjistí, že se kanál nemůže spustit z důvodu upgradu, runtime verze kanálu se vrátí k předchozí verzi, o které je známo, že je stabilní, a následující kroky se aktivují automaticky:

  • Modul runtime Lakeflow Spark deklarativních kanálů v pipeline je připnutý k předchozí známé dobré verzi.
  • O problému se informuje podpora Databricks.
    • Pokud problém souvisí s regresí za běhu, Databricks problém vyřeší.
    • Pokud je problém způsoben vlastní knihovnou nebo balíčkem používaným datovým potrubím, Databricks vás kontaktuje, aby problém vyřešil.
  • Jakmile se problém vyřeší, Databricks zahájí upgrade znovu.

Important

Deklarativní kanály Sparku Lakeflow vrací pouze kanály spuštěné v produkčním režimu s kanálem nastaveným na current.

Automatizujte testování vašich kanálů s další verzí modulu runtime

Pokud chcete zajistit, aby změny v příští verzi běhového prostředí Lakeflow Spark Declarative Pipelines neměly vliv na vaše pipelines, použijte funkci kanálů Lakeflow Spark Declarative Pipelines:

  1. Vytvořte přípravný kanál a nastavte kanál na preview.
  2. V uživatelském rozhraní deklarativních kanálů Sparku pro Lakeflow vytvořte plán pro týdenní spuštění kanálu a povolte upozornění na příjem e-mailových oznámení o selhání kanálu. Databricks doporučuje plánovat týdenní testovací spuštění pipelin, zejména pokud používáte vlastní závislosti pipelin .
  3. Pokud se zobrazí oznámení o selhání a nemůžete ho vyřešit, otevřete dotaz na podporu u Databricks.

Závislosti kanálu

Deklarativní kanály Sparku Lakeflow podporují externí závislosti ve vašich kanálech; Pomocí příkazu můžete například nainstalovat libovolný balíček Pythonu %pip install . Deklarativní kanály Sparku Lakeflow také podporují použití globálních inicializačních skriptů a inicializačních skriptů s oborem clusteru. Tyto externí závislosti, zejména inicializační skripty, ale zvyšují riziko problémů s upgrady modulu runtime. Pokud chcete tato rizika zmírnit, minimalizujte používání inicializačních skriptů ve vašich kanálech. Pokud vaše zpracování vyžaduje inicializační skripty, automatizujte testování kanálu, abyste včas zjistili problémy; viz Automatizace testování kanálů s další verzí modulu runtime. Pokud používáte inicializační skripty, databricks doporučuje zvýšit frekvenci testování.

  • Last updated on