Funkce rozšíření deklarativních balíčků pro automatizaci

Rozšíření Databricks pro Visual Studio Code poskytuje další funkce v rámci Visual Studio Code, které umožňují snadno definovat, nasazovat a spouštět balíčky deklarativní automatizace a používat osvědčené postupy CI/CD pro vaše úlohy Lakeflow, kanály Lakeflow a zásobníky MLOps. Viz Co jsou balíčky deklarativní automatizace?

Pokud chcete nainstalovat rozšíření Databricks pro Visual Studio Code, přečtěte si téma Instalace rozšíření Databricks pro Visual Studio Code.

Podpora deklarativních balíčků automatizace v projektech

Rozšíření Databricks pro Visual Studio Code přidává následující funkce pro projekty deklarativních balíčků automation:

• Snadné ověřování a konfigurace balíčků deklarativní automatizace prostřednictvím uživatelského rozhraní editoru Visual Studio Code, včetně výběru profilu AuthType . Viz Nastavení autorizace pro rozšíření Databricks pro Visual Studio Code.
• Výběr Target na panelu rozšíření Databricks pro rychlé přepínání mezi cílovými prostředími balíčku. Podívejte se na Změna cílového nasazení pracovního prostoru.
• Možnost Přepsat úlohy v sadě na panelu rozšíření, aby bylo možné snadné přepsání clusteru.
• Zobrazení Průzkumník prostředků Bundles, které umožňuje procházet prostředky sady pomocí uživatelského rozhraní Visual Studio Code, nasazovat místní prostředky sady prostředků Databricks do vzdáleného pracovního prostoru Azure Databricks jediným kliknutím a přímo přejít k nasazeným prostředkům ve vašem pracovním prostoru z Visual Studio Code. Viz Průzkumník prostředků balíku.
• Zobrazení proměnných balíčků, které vám umožňuje procházet a upravovat vaše proměnné pomocí uživatelského rozhraní Visual Studio Code. Viz proměnné sady.
• Zobrazení systému souborů pracovního prostoru a katalogu Unity pro váš pracovní prostor Databricks VizSystém souborů pracovního prostoru a katalog Unity.

Průzkumník sad prostředků

Zobrazení Bundle Resource Explorer v rozšíření Databricks pro Visual Studio Code používá definice prostředků v konfiguraci sad projektů k zobrazení prostředků, včetně datových sad pipeline a jejich schémat. Umožňuje také nasazovat a spouštět prostředky, ověřovat a provádět částečné aktualizace kanálů, zobrazit události spuštění kanálu a diagnostiku a přejít k prostředkům ve vzdáleném pracovním prostoru Azure Databricks. Informace o zdrojích konfigurace sady najdete v tématu zdroje.

Například s ohledem na jednoduchou definici úlohy:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

Rozhraní Průzkumníka zdrojů sady v rozšíření zobrazuje zdroje úlohy notebooku:

Nasazení a spuštění úlohy

Pokud chcete sadu nasadit, klikněte na ikonu cloudu (nasadit sadu).

Pokud chcete úlohu spustit, v zobrazení Bundle Resource Explorer vyberte název úlohy, což je Úloha poznámkového bloku v tomto příkladu. Potom klikněte na ikonu pro přehrávání (nasadit balíček a spustit prostředek).

Pokud chcete zobrazit spuštěnou úlohu, v zobrazení Průzkumník prostředků sady rozbalte název úlohy, klikněte na Stav spuštění a potom klikněte na ikonu odkazu (Otevřít odkaz externě).

Ověření a diagnostika problémů s potrubím

V případě kanálu můžete spustit ověření a částečnou aktualizaci tím, že nejprve vyberete kanál, a poté kliknete na ikonu kontroly (Nasadit sadu a ověřit kanál). Události spuštění se zobrazí a všechna selhání lze diagnostikovat na panelu Visual Studio Code PROBLÉMY.

Proměnné sady

Zobrazení Zobrazení proměnných sady prostředků v rozšíření Databricks pro Visual Studio Code zobrazí všechny vlastní proměnné a přidružená nastavení definovaná v konfiguraci sady prostředků. Můžete také definovat proměnné přímo pomocí zobrazení Bundles Variables. Tyto hodnoty přepíší ty, které jsou nastavené v konfiguračních souborech sady. Informace o vlastních proměnných najdete v tématu Vlastní proměnné.

Například Pohled Proměnné svazku v rozšíření by zobrazoval následující:

Pro proměnnou my_custom_var definovanou v této konfiguraci sady:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Souborový systém pracovního prostoru

Zobrazení Souborový systém pracovního prostoru v podokně rozšíření Databricks pro Visual Studio Code umožňuje přímo ve Visual Studio Code nebo Cursor zobrazit a otevřít soubory vašeho pracovního prostoru Databricks. Kliknutím na poznámkový blok ho otevřete v Databricks. Můžete také vytvářet soubory nebo složky nebo nahrávat soubory do pracovního prostoru z integrovaného vývojového prostředí pomocí ovládacích prvků v podokně rozšíření.

Katalog Unity

Zobrazení Unity Catalog v podokně rozšíření Databricks pro Visual Studio Code zobrazuje vaše katalogy Databricks. Ovládací prvky v tomto zobrazení rozšíření slouží k otevření katalogu, schématu nebo jiného datového assetu v Databricks.