Poznámky k verzi kanálů Lakeflow a postup upgradu verze

Tento článek vysvětluje proces vydávání Lakeflow Pipelines, jak se spravuje runtime, a obsahuje odkazy na poznámky k vydání pro jednotlivá vydání.

Aktuální verze kanálu Databricks Runtime

Aktuální verze Databricks Runtime pro každý kanál jsou:

Seznam balíčků nainstalovaných v každém prostředí Databricks Runtime – knihoven pro Python, R a Javu – najdete v příslušných poznámkách k verzi Databricks Runtime, na které jsou uvedeny odkazy výše.

Poznámky k verzi pro kanály Lakeflow

Poznámky k verzi jsou uspořádané podle měsíců. Protože jsou pipeline bez verzování, změny jak v pracovním prostoru, tak v běhovém prostředí probíhají automaticky. Následující poznámky k verzi obsahují přehled změn a oprav chyb v jednotlivých verzích:

Dříve byly poznámky k vydání uspořádány podle roku a týdne v daném roce.

Poznámky ke starší verzi

Kanály běhového prostředí pro pipeline Lakeflow

Clustery kanálů používají runtime založené na verzích a kompatibilitě v poznámkách k verzi Databricks Runtime. Azure Databricks automaticky aktualizuje runtime kanálů, aby podporoval vylepšení a aktualizace platformy. Pole channel v nastavení kanálu můžete použít k určení verze modulu runtime, ve které se váš kanál spouští. Podporované hodnoty jsou:

  • current k použití aktuální verze modulu runtime.
  • preview otestovat řetězec s nadcházejícími změnami verze prostředí runtime.

Ve výchozím nastavení se vaše kanály spouštějí pomocí verze běhového prostředí current. Databricks doporučuje používat modul runtime current pro produkční úlohy. Informace o použití nastavení preview k otestování kanálů s další verzí modulu runtime najdete v tématu Automatizace testování kanálů s další verzí modulu runtime.

Important

Funkce označené jako obecně dostupné nebo verze Public Preview jsou dostupné v kanálu current.

Další informace o kanálech pipeline najdete v poli channel v nastavení pipeline.

Pokud chcete zjistit, jak se upgrady spravují pro každou verzi, přečtěte si, jak fungují upgrady kanálu Lakeflow?

Jak zjistím verzi Databricks Runtime pro aktualizaci pipeline?

V protokolu událostí pipeline můžete zjistit verzi Databricks Runtime pro konkrétní aktualizaci pipeline. Viz informace o modulu runtime.

Jak fungují upgrady kanálu Lakeflow?

Kanály Lakeflow jsou bez verzí, což znamená, že Azure Databricks automaticky upgraduje modul runtime, aby podporoval vylepšení a upgrady na platformu. Databricks doporučuje omezit externí závislosti.

Databricks proaktivně pracuje na tom, aby automatické aktualizace nezaváděly chyby ani jiné problémy do produkčních datových kanálů. Viz proces upgradu kanálů Lakeflow.

Zejména uživatelům, kteří nasazují datové kanály s externími závislostmi, Databricks doporučuje předem testovat datové kanály s kanály preview. Viz Automatizujte testování vašich kanálů s další verzí runtime.

Proces upgradu kanálů Lakeflow

Azure Databricks spravuje prostředí Databricks Runtime, které využívají výpočetní prostředky kanálu. Automaticky aktualizuje runtime ve vašich pracovních prostorech Azure Databricks a po aktualizaci monitoruje stav vašich kanálů.

Pokud Azure Databricks zjistí, že se kanál nemůže spustit z důvodu upgradu, verze modulu runtime kanálu se vrátí k předchozí verzi, o které je známo, že je stabilní, a následující kroky se aktivují automaticky:

  • Modul runtime kanálu je připnutý k předchozí známé dobré verzi.
  • O problému se informuje podpora Databricks.
    • Pokud problém souvisí s regresí za běhu, Databricks problém vyřeší.
    • Pokud je problém způsoben vlastní knihovnou nebo balíčkem používaným datovým potrubím, Databricks vás kontaktuje, aby problém vyřešil.
  • Po vyřešení problému Azure Databricks inicializuje upgrade znovu.

Important

Azure Databricks vrátí zpět pouze kanály spuštěné v produkčním režimu, u nichž je kanál nastaven na current.

Automatizujte testování vašich kanálů s další verzí modulu runtime

Abyste zajistili, že změny v další verzi modulu runtime neovlivní vaše pipeline, použijte funkci kanálů pipeline:

  1. Vytvořte přípravný kanál a nastavte kanál na preview.
  2. V uživatelském rozhraní kanálu vytvořte plán pro týdenní spuštění kanálu a povolte upozornění na příjem e-mailových oznámení o selhání kanálu. Databricks doporučuje plánovat týdenní testovací spuštění pipelin, zejména pokud používáte vlastní závislosti pipelin .
  3. Pokud se zobrazí oznámení o selhání a nemůžete ho vyřešit, otevřete dotaz na podporu u Databricks.

Note

Pokud při řešení selhání ve verzi Preview upravíte váš kanál, ověřte tyto změny v kanálu current před nasazením do produkčního prostředí běžícího na current. Změna, na které pracuje preview, se může chovat jinak na current.

Závislosti kanálu

Pipeline podporují externí závislosti; například můžete pomocí příkazu %pip install nainstalovat libovolný balíček Python. Podporují také použití globálních inicializačních skriptů a inicializačních skriptů s oborem clusteru. Tyto externí závislosti, zejména inicializační skripty, ale zvyšují riziko problémů s upgrady modulu runtime. Pokud chcete tato rizika zmírnit, minimalizujte používání inicializačních skriptů ve vašich kanálech. Pokud vaše zpracování vyžaduje inicializační skripty, automatizujte testování kanálu, abyste včas zjistili problémy; viz Automatizace testování kanálů s další verzí modulu runtime. Pokud používáte inicializační skripty, databricks doporučuje zvýšit frekvenci testování.

  • Last updated on