Nejčastější dotazy k deklarativním balíčkům automatizace

Tento článek obsahuje nejčastější dotazy týkající se deklarativních automatizačních sad (dříve označovaných jako Sady prostředků Databricks).

Proč byly sady prostředků Databricks přejmenovány na deklarativní automatizační sady?

Nový název Deklarativní automatizační sady přesněji odráží využití a možnosti sad. Kromě toho termín aktiva způsobil určité nejasnosti, protože v Databricks má více než jeden význam. Tato změna názvu není zásadní. Příkaz bundle rozhraní příkazového řádku a vaše stávající konfigurace není třeba upravovat.

Jak můžu jako součást svého kanálu CI/CD v Azure Databricks používat balíčky deklarativní automatizace?

Balíčky deklarativní automatizace můžete použít k definování a programové správě prostředků v implementaci CI/CD v Azure Databricks, které obvykle zahrnují:

• Poznámkové bloky: Poznámkové bloky Azure Databricks jsou často klíčovou součástí pracovních postupů datového inženýrství a datové vědy. Pro notebooky můžete použít verzování a také je ověřit a otestovat jako součást CI/CD pipeline. U poznámkových bloků můžete spustit automatizované testy a zkontrolovat, jestli fungují podle očekávání.
• Knihovny: Spravujte závislosti knihovny potřebné ke spuštění nasazeného kódu. Používejte správu verzí u knihoven a zahrňte je do automatizovaného testování a ověřování.
• Pracovní postupy: Úlohy Lakeflow se skládají z úloh, které umožňují plánovat a spouštět automatizované úlohy pomocí poznámkových bloků nebo úloh Sparku.
• Datové kanály: Datové kanály můžete také zahrnout do automatizace CI/CD pomocí kanálů Lakeflow k deklaraci datových kanálů.
• Infrastruktura: Konfigurace infrastruktury zahrnuje definice a informace o zřizování pro clustery, pracovní prostory a úložiště pro cílová prostředí. Změny infrastruktury je možné ověřit a testovat jako součást kanálu CI/CD a zajistit tak, aby byly konzistentní a bez chyb.

Proč musím mít samostatná vývojová a produkční cílová prostředí?

Samostatná vývojová a produktová prostředí umožňují:

• Bezpečně izolujte změny vývoje, aby nechtěně neovlivnily produkční prostředí.
• Zabránit duplikaci kódu přizpůsobením prostředků, které se mají použít na konkrétní cílové prostředí.
• Zjednodušte a optimalizujte CI/CD pomocí konfigurace specifické pro prostředí, jako jsou cesty k databázi, výstrahy a řízení přístupu.
• Opakovaně používejte pracovní postupy napříč týmy a prostředími.

Použijte cíle k definování prostředí nasazení sady prostředků. Podívejte se na cíle.

Jak učiním své svazky konzistentními v rámci své organizace?

Šablony sad slouží k konzistentní struktuře, k omezení chyb nastavení a k propagaci osvědčených postupů. Můžete použít výchozí šablony sad nebo můžete vytvořit vlastní šablony sad. Viz Šablony projektů balíčků deklarativní automatizace.

Ve svých balíčcích je mnoho opakování, jako jsou stejné definice clusteru. Jaký je nejlepší způsob, jak to zvládnout?

Vlastní proměnné představují nejlepší způsob zpracování opakování a také nastavení, která jsou specifická pro kontext. Viz Vlastní proměnné.

Jaké jsou osvědčené postupy při používání balíčků v rámci procesu nasazení?

Databricks doporučuje:

• Přechod z ručních nasazení do spolehlivé automatizace pomocí pracovních postupů integrovaných v Gitu
• Před nasazením balíčku ověřte v kanálu CI/CD použití databricks bundle validate.
• Oddělování kroků nasazení k zajištění, že změny jsou prověřené a záměrné.
• Parametrizujte prostředí (vývoj, příprava, produkce) s možností přepsání pro izolaci změn.
• Spusťte testy integrace po nasazení a zachyťte problémy včas.
• Aktivujte nasazení aplikace pomocí GitHub Actions, Azure DevOps nebo GitLab CI při commitu nebo sloučení pull requestu.
• Sledujte, co je nasazeno, kde a kdy, aby se každé nasazení mapovalo na commit a verzi balíčku.

Můžu do sady přenést existující úlohy, kanály, řídicí panely a další objekty Databricks?

Ano. Použijte příkaz databricks bundle generate k vygenerování konfiguračního souboru pro existující úlohu, pipeline nebo řídicí panel ve vaší místní sadě a poté použijte databricks bundle deployment bind k navázání prostředku sady na odpovídající prostředek v pracovním prostoru. To je ideální pro začlenění stávajících pracovních postupů do strukturovaného, verzovaného vývoje. Vazba také řeší relativní cesty k absolutním odkazům na pracovní prostor, což předchází chybám v cestách.

Viz Migrace existujících prostředků do sady.

Jak můžu iterativně testovat můj balík?

S iterativními nasazeními a spuštěními můžete vyvíjet rychleji:

• Ověření před nasazením
• Nasazujte postupně
• Spustit jenom to, co je potřeba
• Upravit a opakovat

To zrychluje testování a ladění, snižuje přepínání kontextu, umožňuje bezpečnější a rychlejší iteraci bez úplného opětovného nasazení a při přechodu k produkčnímu prostředí vynucuje disciplínu.