CI/CD se složkami Git ve službě Databricks

Pomocí složek Git Databricks v tocích CI/CD můžete udržovat práci ve správě zdrojového kódu a integrovat je s pracovními postupy přípravy dat. Širší přehled CI/CD s Azure Databricks najdete v tématu CI/CD v Azure Databricks.

Toky využití

Automatizace složek Gitu se zaměřuje na počáteční konfiguraci složek a na rozhraní REST API Azure Databricks Repos pro automatizaci operací Gitu z úloh Azure Databricks. Před sestavením automatizace:

  • Zkontrolujte vzdálená úložiště Git, která budete používat.
  • Pro každou fázi zvolte správná úložiště a větve (vývoj, integrace, testování, produkce).

Existují tři hlavní toky:

  • Tok správy: Správce pracovního prostoru Azure Databricks vytvoří složky nejvyšší úrovně pro hostování produkčních složek Git. Správce při vytváření každé složky naklonuje úložiště a větev a může je pojmenovat podle účelu (například "Production", "Test" nebo "Staging"). Viz Vytvoření produkční složky Git.
  • Tok uživatele: Uživatel vytvoří Git složku pod /Workspace/Users/<email>/ z vzdáleného úložiště, pracuje ve větvi specifické pro uživatele a odesílá změny do vzdáleného úložiště. Viz Spolupráce pomocí složek Gitu.
  • Tok sloučení: Po nahrání ze složky Git otevřou uživatelé žádosti o přijetí změn (PR). Když je pull request sloučen, automatizace může načíst změny do produkčních složek Git pomocí rozhraní API Azure Databricks Repos.

Spolupráce pomocí složek Gitu

Spolupracujte s ostatními tím, že si stáhnete a nasdílíte změny z uživatelského rozhraní Azure Databricks. Běžným vzorem je použití funkce nebo vývojové větve k agregaci práce.

Spolupráce na větvi funkcí:

  1. Naklonujte existující úložiště Git do pracovního prostoru Databricks.
  2. V uživatelském rozhraní složek Gitu vytvořte větev funkce z hlavní větve. Podle potřeby můžete použít více větví funkcí.
  3. Upravte poznámkové bloky Azure Databricks a další soubory v úložišti.
  4. Potvrďte a nasdílejte změny do vzdáleného úložiště.
  5. Ostatní přispěvatelé můžou úložiště naklonovat do vlastní uživatelské složky. Pracují na větvi, mění poznámkové bloky a soubory ve složce Git a pak se potvrdí a nasdílí do vzdáleného umístění.
  6. Až budete připravení, vytvořte žádost o přijetí změn u svého poskytovatele Gitu, projděte ji se svým týmem a sloučte ji do větve nasazení.

Poznámka:

Databricks doporučuje, aby každý vývojář pracoval ve své vlastní větvi. Informace o řešení konfliktů při sloučení najdete v tématu Řešení konfliktů při slučování.

Volba přístupu CI/CD

Databricks doporučuje deklarativní automatizační sady pro zabalení a nasazení pracovních postupů CI/CD. Pokud dáváte přednost nasazení pouze kódu do pracovního prostoru, můžete místo toho použít produkční složku Git. Širší přehled CI/CD najdete v tématu CI/CD v Azure Databricks.

Návod

Definujte prostředky, jako jsou úlohy a kanály ve zdroji, pomocí sad, pak je vytvořte, nasaďte a spravujte ve složkách Git pracovního prostoru. Podívejte se na Spolupráce na svazcích v pracovním prostředí.

Vytvoření produkční složky Git

Produkční složky Git se liší od složek Git na úrovni uživatele v části /Workspace/Users/. Uživatelské složky jsou lokální úložiště, kde uživatelé provádějí vývoj a posílají změny. Mimo uživatelské složky vytvářejí správci produkční složky Gitu, které obsahují nasazovací větve a slouží jako zdroj automatizovaných workflow. Měly by být aktualizovány pouze automatizací, když jsou pull requesty sloučeny do nasazovacích větví. Omezte produkční složky Gitu na přístup pouze pro čtení pro většinu uživatelů. Povolte jejich úpravu pouze správcům a zástupcům služby Azure Databricks.

Produkční složky v Gitu namapované na hlavní větev vzdáleného úložiště

Vytvoření produkční složky Git:

  1. Zvolte úložiště Git a větev pro nasazení.

  2. Vytvořte nebo použijte entitní objekt služby a nakonfigurujte přihlašovací údaje Gitu, aby mohl přistupovat k tomuto úložišti.

  3. Vytvořte složku Azure Databricks Git pro repozitář a větev v podsložce pod Workspace (například podle projektu, týmu nebo fáze).

  4. Vyberte složku, poté Sdílet (nebo klikněte pravým tlačítkem na položku Sdílet (Oprávnění) ve stromu Pracovního prostoru).

  5. Přiřazení úrovní oprávnění:

    • Může běžet pro uživatele projektu, kteří potřebují spouštět pracovní postupy.
    • Může běžet pro jakýkoli instanční objekt Azure Databricks, který spouští automatizaci pro tuto složku.
    • Volitelně můžete zobrazit všechny uživatele pracovního prostoru, aby podporovali zjišťování a sdílení.

    Modální dialogové okno Sdílení složky Git

  6. Klikněte na tlačítko Přidat.

  7. Udržujte produkční složku Git synchronizovanou se vzdálenou větví pomocí jedné z těchto možností:

    • Externí CI/CD: Pomocí nástrojů, jako je GitHub Actions, můžete při sloučení PR do větve nasazení stáhnout nejnovější commity. Příklad najdete v tématu Spuštění pracovního postupu CI/CD, který aktualizuje složku Git.
    • Naplánovaná úloha: Pokud externí CI/CD není k dispozici, spusťte naplánovanou úlohu, která aktualizuje složku Git. Použijte jednoduchý poznámkový blok, který běží podle plánu:
    from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
w.repos.update(w.workspace.get_status(path="<git-folder-workspace-full-path>").object_id, branch="<branch-name>")

Další informace o automatizaci pomocí rozhraní REPOS API najdete v dokumentaci k rozhraní REST API služby Databricks pro Repos.

  • Last updated on