bundle skupina příkazů

Note

Použití rozhraní příkazového řádku Databricks podléhá licenci Databricks a oznámení o ochraně osobních údajů Databricks, včetně všech ustanovení o využití.

Skupina bundle příkazů v rozhraní příkazového řádku Databricks obsahuje příkazy pro správu deklarativních sad automation. Balíčky deklarativní automatizace umožňují vyjádřit projekty jako kód a programově ověřovat, nasazovat a spouštět pracovní postupy Azure Databricks, jako jsou úlohy Azure Databricks,kanály Lakeflow a zásobníky MLOps. Podívejte se, co jsou balíčky deklarativní automatizace?

Note

Příkazy balíčku používají nastavení databricks.yml pro ověřování, když jsou spuštěny ze složky balíčku. Pokud chcete spouštět příkazy balíčku s jiným ověřováním ve složce balíčku, zadejte konfigurační profil pomocí příznaku --profile (nebo -p) a nezadávejte --target.

Případně spusťte příkazy mimo složku balíčku, které nepotřebují stejné ověřování jako balíček.

Nasazení sady databricks

Nasaďte sadu do vzdáleného pracovního prostoru.

databricks bundle deploy [flags]

Cíl balíčku a identita

Pokud chcete sadu nasadit do konkrétního cíle, nastavte -t možnost (nebo --target) společně s názvem cíle deklarovaným v konfiguračních souborech sady. Pokud nejsou zadány žádné možnosti příkazu, použije se výchozí cíl deklarovaný v konfiguračních souborech sady. Například pro cíl deklarovaný s názvem dev:

databricks bundle deploy -t dev

Sadu je možné nasadit do několika pracovních prostorů, jako je vývoj, příprava a produkční pracovní prostory. V zásadě, vlastnost root_path určuje jedinečnou identitu balíčku, která má výchozí hodnotu ~/.bundle/${bundle.name}/${bundle.target}. Ve výchozím nastavení se proto identita sady skládá z identity deployeru, názvu sady a cílového názvu sady. Pokud jsou stejné napříč různými sadami, nasazení těchto sad bude vzájemně kolidovat.

Nasazení sady navíc sleduje prostředky, které vytvoří v cílovém pracovním prostoru, podle jejich ID jako stavu, který je uložen v systému souborů pracovního prostoru. Názvy prostředků se nepoužívají ke korelaci mezi nasazením sady prostředků a instancí prostředků, takže:

  • V případě, že prostředek v konfiguraci balíčku neexistuje v cílovém pracovním prostoru, je vytvořen.
  • Pokud prostředek v konfiguraci sady existuje v cílovém pracovním prostoru, aktualizuje se v pracovním prostoru.
  • Pokud se prostředek odebere z konfigurace sady prostředků, odebere se z cílového pracovního prostoru, pokud byl dříve nasazený.
  • Přidružení prostředku k sadě je možné zapomenout pouze v případě, že změníte název sady, cíl sady nebo pracovní prostor. Pomocí spuštění bundle validate můžete vytvořit souhrn obsahující tyto hodnoty.

Možnosti

--auto-approve

    Přeskočte interaktivní schválení, která můžou být nutná pro nasazení.

-c, --cluster-id string

    Přepište cluster v nasazení s daným ID clusteru.

--fail-on-active-runs

    Selhání, pokud jsou v nasazení spuštěné úlohy nebo kanály.

--force

    Vynucené přepsání ověření větve Git

--force-lock

    Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.

--plan

    Cesta k souboru plánu JSON, který se použije místo plánování (pouze přímý modul). Soubor plánu lze vytvořit pomocí databricks bundle plan -o json.

--select strings

Important

Databricks doporučuje tuto možnost použít pouze pro nasazení prostředků do vývojových pracovních prostorů. Není určen pro použití v produkčním prostředí. Nasazují se pouze zadané prostředky a požadované upstreamové závislosti; podřízené prostředky a závislosti se neaktualizují. To může způsobit chyby závislostí a neočekávané chování.

    Nasaďte pouze zadané prostředky (napříkladmy_job).jobs.my_job Může se opakovat nebo oddělit čárkami.

Globální příznaky

Příklady

Následující příklad nasadí sadu s použitím konkrétního ID clusteru:

databricks bundle deploy --cluster-id 0123-456789-abcdef

Následující příklad nasadí pouze zadané prostředky. --select Použijte příznak s klíči prostředků, volitelně kvalifikovanými podle typu prostředku, a zopakujte příznak nebo použijte seznam oddělený čárkami k nasazení více prostředků:

databricks bundle deploy --select my_job
databricks bundle deploy --select jobs.my_job --select pipelines.my_pipeline
databricks bundle deploy --select my_job,my_pipeline

Nasazení sady databricks

Příkazy související s nasazením

databricks bundle deployment [command]

Dostupné příkazy

  • bind – Vytvoření vazby prostředku definovaného sadou k existujícímu prostředku ve vzdáleném pracovním prostoru.
  • migrate – Migrujte balíček tak, aby využíval přímý nasazovací systém.
  • unbind – Zrušení vazby prostředku definovaného sadou ze vzdáleného prostředku

Vazba nasazení sady databricks

Propojte prostředky definované balíčky s existujícími prostředky v pracovním prostoru Azure Databricks, aby se staly spravovanými deklarativními sadami automation. Pokud svážete prostředek, stávající prostředek Azure Databricks v pracovním prostoru se aktualizuje podle konfigurace definované v balíčku, ke kterému je vázán, po dalším bundle deploy.

databricks bundle deployment bind KEY RESOURCE_ID [flags]

Vazba znovu nevytváří data. Pokud například byl použit kanál s daty v katalogu, můžete ho nasadit bez ztráty existujících dat. Kromě toho nemusíte například přepočítat materializované zobrazení, takže se kanály nemusí znovu spouštět.

Příkaz bind by měl být použit s příznakem --target . Formát identifikátoru závisí na typu prostředku – viz níže uvedené argumenty .

Tip

Před spuštěním vazby je vhodné ověřit prostředek v pracovním prostoru.

Vazba je podporována pro všechny typy prostředků deklarativních automatizačních sad. Všimněte si, že některé prostředky jsou k dispozici pouze pomocí přímého modulu, viz deklarativní prostředky sady prostředků služby Automation.

U prostředků podporovaných příkazem bundle generate automaticky svázat prostředek po jeho generování pomocí této možnosti --bind.

Argumenty

KEY

    Klíč prostředku pro vytvoření vazby

RESOURCE_ID

    Identifikátor existujícího prostředku, ke které se má vytvořit vazba. Formát závisí na typu prostředku, protože příkaz bind ke zjištění prostředku používá GET koncový bod rozhraní REST API. U prostředků identifikovaných pomocí ID číselného nebo UUID (jako jsou úlohy a kanály) toto ID předejte. U prostředků katalogu Unity identifikovaných úplným názvem (například schémata a svazky) předejte místo toho cestu k úplnému názvu. Příklad:

  • úloha: číselné ID, například 6565621249
  • kanál: UUID, například 7688611149d5709ac9-2900-1229-9996-586a9zez8929
  • schéma: celé jméno ve catalog.schema formuláři, například my_catalog.my_schema
  • volume: celé jméno ve catalog.schema.volume formuláři, například my_catalog.my_schema.my_volume
  • registered_model: celé jméno ve catalog.schema.model formuláři
  • quality_monitor: úplný název tabulky ve catalog.schema.table formuláři

Možnosti

--auto-approve

    Automaticky schválit vazbu místo výzvy

--force-lock

    Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.

Globální příznaky

Příklady

Následující příkaz sváže prostředek hello_job sady s existující úlohou v pracovním prostoru pomocí číselného ID úlohy. Příkaz vypíše rozdíl a umožňuje odepřít vazbu prostředků, ale pokud je potvrzeno, všechny aktualizace definice úlohy v balíčku se použijí na odpovídající vzdálenou úlohu při dalším nasazení balíčku.

databricks bundle deployment bind hello_job 6565621249

Pro prostředky katalogu Unity, jako jsou schémata a svazky, předejte místo ID úplnou cestu názvu. Následující příkaz vytvoří vazbu schématu definovaného sadě na existující schéma v pracovním prostoru:

databricks bundle deployment bind my_bundle_schema_ref my_existing_catalog.my_existing_schema

Migrace nasazení sady databricks

Important

Tato funkce je ve verzi Public Preview.

Migrujte balíček z nasazovacího modulu Terraform na přímý nasazovací modul. Viz Migrace do přímého modulu nasazení. K dokončení migrace je nutné sadu nasadit.

Spuštěním příkazu databricks bundle planmůžete ověřit, že migrace proběhla úspěšně. Podívejte se na plán balíčku Databricks.

databricks bundle deployment migrate [flags]

Argumenty

None

Možnosti

--noplancheck

    Přeskočte běh bundle plan před migrací. Platí pouze pro Databricks CLI verze 0.280.0 až 1.4.x, které běží bundle plan jako součást a migrate zastaví migraci, pokud plán hlásí nějaké akce.

Globální příznaky

Příklady

Následující příklad migruje aktuální balíček pro použití modulu přímého nasazení:

databricks bundle deployment migrate

Zrušení vazby nasazení sady databricks

Odeberte propojení mezi prostředkem v sadě a jeho vzdáleným protějškem v pracovním prostoru.

databricks bundle deployment unbind KEY [flags]

Argumenty

KEY

    Klíč prostředku k zrušení vazby

Možnosti

--force-lock

    Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.

Globální příznaky

Příklady

Následující příklad zruší vazbu hello_job prostředku:

databricks bundle deployment unbind hello_job

Zničení sady databricks

Warning

Zničení sady trvale vymaže dříve nasazené úlohy, pipeline a artefakty v rámci sady. Tuto akci nejde vrátit zpátky.

Odstraňte úlohy, kanály, další prostředky a artefakty, které byly dříve nasazeny.

databricks bundle destroy [flags]

Note

Identita sady se skládá z názvu sady, cíle sady a pracovního prostoru. Pokud jste některou z těchto možností změnili a pokusíte se před nasazením zničit sadu, dojde k chybě.

Ve výchozím nastavení budete vyzváni k potvrzení trvalého odstranění dříve nasazených úloh, potrubí a artefaktů. Pokud chcete tyto výzvy přeskočit a provést automatické trvalé odstranění, přidejte --auto-approve do bundle destroy příkazu možnost.

Pomocí nastavení můžete lifecycle zabránit zničení konkrétních prostředků. Viz životní cyklus.

Možnosti

--auto-approve

    Přeskočení interaktivních schválení pro odstraňování prostředků a souborů

--force-lock

    Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.

Globální příznaky

Příklady

Následující příkaz odstraní všechny dříve nasazené prostředky a artefakty definované v konfiguračních souborech sady:

databricks bundle destroy

Vygenerování sady databricks

Vygenerujte konfiguraci sady prostředků, které už v pracovním prostoru Databricks existují. Podporují se následující zdroje informací: aplikace, řídicí panel, úloha, kanál.

Ve výchozím nastavení tento příkaz vygeneruje *.yml soubor pro prostředek ve resources složce projektu balíčku a stáhne také všechny soubory, jako jsou poznámkové bloky, které jsou zmíněny v konfiguraci.

Important

Tento bundle generate příkaz je poskytován pro snadné automatické generování konfigurace prostředků. Pokud ale vaše sada obsahuje konfiguraci prostředků a nasadíte ji, Azure Databricks vytvoří nový prostředek místo aktualizace existujícího prostředku. Pokud chcete místo toho aktualizovat stávající prostředek, musíte buď použít příznak --bind s bundle generate, nebo spustit bundle deployment bind před nasazením. Podívejte se na vazbu nasazení sady databricks.

databricks bundle generate [command]

Dostupné příkazy

  • app – Vygenerujte konfiguraci sady pro aplikaci Databricks.
  • dashboard – Vygenerujte konfiguraci pro řídicí panel.
  • genie-space - Vygenerujte konfiguraci pro agenta Genie.
  • job – Vygenerujte konfiguraci sady pro úlohu.
  • pipeline – Vygenerujte konfiguraci sady pro kanál.

Možnosti

--key string

    Klíč prostředku, který se má použít pro vygenerovanou konfiguraci

Globální příznaky

Vygenerování aplikace v sadě databricks

Vygenerujte konfiguraci sady pro existující aplikaci Databricks v pracovním prostoru.

databricks bundle generate app [flags]

Možnosti

--bind

    Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.

-d, --config-dir string

    Cesta k adresáři, kde se uloží konfigurace výstupní sady prostředků (výchozí prostředky)

--existing-app-name string

    Název aplikace pro vygenerování konfigurace pro

-f, --force

    Vynucení přepsání existujících souborů ve výstupním adresáři

-s, --source-dir string

    Cesta k adresáři, kde se budou ukládat soubory aplikace (výchozí "src/app")

Globální příznaky

Příklady

Následující příklad vygeneruje konfiguraci pro existující aplikaci s názvem my-app. Název aplikace můžete získat z karty Compute>Apps v rozhraní pracovního prostoru.

databricks bundle generate app --existing-app-name my-app

Následující příkaz vygeneruje nový hello_world.app.yml soubor ve resources složce projektu sady a stáhne soubory kódu aplikace, jako je konfigurační soubor app.yaml příkazu aplikace a hlavní app.py. Ve výchozím nastavení se soubory kódu zkopírují do složky sady src .

databricks bundle generate app --existing-app-name "hello_world"
# This is the contents of the resulting /resources/hello-world.app.yml file.
resources:
  apps:
    hello_world:
      name: hello-world
      description: A basic starter application.
      source_code_path: ../src/app

Vygenerování řídicího panelu v sadě databricks

Vygenerujte konfiguraci existujícího řídicího panelu v pracovním prostoru.

databricks bundle generate dashboard [flags]

Tip

Pokud chcete po nasazení řídicího panelu aktualizovat .lvdash.json soubor, použijte možnost --resource při spuštění bundle generate dashboard, abyste vygenerovali tento soubor pro existující prostředek řídicího panelu. Pokud chcete průběžně dotazovat a načítat aktualizace řídicího panelu, použijte možnosti --force a --watch.

Možnosti

--bind

    Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.

-s, --dashboard-dir string

    Adresář pro zápis reprezentace řídicího panelu do (výchozí "src")

--existing-id string

    ID řídicího panelu pro vygenerování konfigurace pro

--existing-path string

    Cesta pracovního prostoru řídicího panelu ke generování konfigurace pro

-f, --force

    Vynucení přepsání existujících souborů ve výstupním adresáři

--resource string

    Klíč prostředku řídicího panelu pro sledování změn

-d, --resource-dir string

    Adresář pro zápis konfigurace do (výchozích "prostředků")

--watch

    Sledujte změny řídicího panelu a aktualizujte konfiguraci.

Globální příznaky

Příklady

Následující příklad vygeneruje konfiguraci existujícím ID řídicího panelu:

databricks bundle generate dashboard --existing-id abc123

Konfiguraci existujícího řídicího panelu můžete také vygenerovat podle cesty pracovního prostoru. Zkopírujte cestu pracovního prostoru pro řídicí panel z uživatelského rozhraní pracovního prostoru.

Například následující příkaz vygeneruje nový baby_gender_by_county.dashboard.yml soubor ve resources složce projektu sady obsahující níže uvedený YAML a stáhne baby_gender_by_county.lvdash.json soubor do src složky projektu.

databricks bundle generate dashboard --existing-path "/Workspace/Users/someone@example.com/baby_gender_by_county.lvdash.json"
# This is the contents of the resulting baby_gender_by_county.dashboard.yml file.
resources:
  dashboards:
    baby_gender_by_county:
      display_name: 'Baby gender by county'
      warehouse_id: aae11o8e6fe9zz79
      file_path: ../src/baby_gender_by_county.lvdash.json

Sada databricks vygeneruje genie-space

Vygenerujte konfiguraci pro existujícího agenta Genie v pracovním prostoru.

Tento příkaz vygeneruje následující:

  • Soubor YAML konfigurace agenta Genie s nastavením a odkazem na definici agenta Genie
  • Soubor definice*.geniespace.json agenta Genie s obsahem serializovaného prostoru
databricks bundle generate genie-space [flags]

Tip

Pokud chcete soubor aktualizovat .geniespace.json po nasazení agenta Genie, použijte tuto --resource možnost při spuštění bundle generate genie-space a vygenerujte tento soubor pro existující prostředek. Pokud chcete průběžně dotazovat a načítat aktualizace agenta Genie, použijte tyto --force možnosti.--watch

Možnosti

--existing-id string

    ID agenta Genie pro vygenerování konfigurace pro

-f, --force

    Vynucení přepsání existujících souborů ve výstupním adresáři

-s, --genie-space-dir string

    Adresář pro zápis reprezentace agenta Genie do (výchozí "src")

--resource string

    Klíč prostředku agenta Genie ke sledování změn

-d, --resource-dir string

    Adresář pro zápis konfigurace do (výchozích "prostředků")

--watch

    Sledujte změny agenta Genie a aktualizujte konfiguraci.

Globální příznaky

Příklady

Následující příklad vygeneruje konfiguraci pomocí existujícího ID agenta Genie:

databricks bundle generate genie-space --existing-id abc123

Následující příklad udržuje sadu synchronizovanou s úpravami uživatelského rozhraní agenta Genie:

databricks bundle generate genie-space --resource my_genie_space --watch --force

Vygenerování úlohy v sadě databricks

Vygenerujte konfiguraci sady pro úlohu.

Note

Tento příkaz v současné době podporuje jenom úlohy s úkoly poznámkového bloku.

databricks bundle generate job [flags]

Možnosti

--bind

    Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.

-d, --config-dir string

    Cesta Dir, kde bude uložena výstupní konfigurace (výchozí "prostředky")

--existing-job-id int

    ID úlohy pro vygenerování konfigurace pro

-f, --force

    Vynucení přepsání existujících souborů ve výstupním adresáři

-s, --source-dir string

    Cesta Dir, kde budou stažené soubory uloženy (výchozí "src")

Globální příznaky

Příklady

Následující příklad vygeneruje nový hello_job.yml soubor ve resources složce projektu sady obsahující níže uvedený YAML a stáhne ho simple_notebook.pysrc do složky projektu. Také propojí vygenerovaný prostředek s existující úlohou v rámci pracovního prostoru.

databricks bundle generate job --existing-job-id 6565621249 --bind
# This is the contents of the resulting hello_job.yml file.
resources:
  jobs:
    hello_job:
      name: 'Hello Job'
      tasks:
        - task_key: run_notebook
          email_notifications: {}
          notebook_task:
            notebook_path: ../src/simple_notebook.py
            source: WORKSPACE
          run_if: ALL_SUCCESS
      max_concurrent_runs: 1

Generování kanálu v sadě databricks

Vygenerujte konfiguraci balíčku pro existující potrubí.

databricks bundle generate pipeline [flags]

Tip

Pokud máte existující projekt Deklarativních kanálů Sparku (SDP), můžete pro něj vygenerovat konfiguraci pomocí databricks pipelines generate. Zobrazení vygenerovaných kanálů Databricks

Možnosti

--bind

    Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.

-d, --config-dir string

    Cesta Dir, kde bude uložena výstupní konfigurace (výchozí "prostředky")

--existing-pipeline-id string

    ID kanálu pro vygenerování konfigurace pro

-f, --force

    Vynucení přepsání existujících souborů ve výstupním adresáři

-s, --source-dir string

    Cesta Dir, kde budou stažené soubory uloženy (výchozí "src")

Globální příznaky

Příklady

Následující příklad vygeneruje konfiguraci pro existující kanál:

databricks bundle generate pipeline --existing-pipeline-id abc-123-def

Init sady databricks

Inicializace nové sady pomocí šablony sady Šablony je možné nakonfigurovat tak, aby uživatele vyzve k zadání hodnot. Viz Šablony projektů deklarativní automatizace sady prostředků.

databricks bundle init [TEMPLATE_PATH] [flags]

Argumenty

TEMPLATE_PATH

    Šablona, která se má použít pro inicializaci (volitelné)

Možnosti

--branch string

    Větev Gitu, která se má použít pro inicializaci šablon

--config-file string

    Soubor JSON obsahující páry klíč-hodnota vstupních parametrů požadovaných pro inicializaci šablony

--output-dir string

    Adresář pro zápis inicializované šablony do.

--tag string

    Značka Git, která se má použít pro inicializaci šablon

--template-dir string

    Cesta k adresáři v úložišti Git, které obsahuje šablonu.

Globální příznaky

Příklady

Následující příklad zobrazí výzvu se seznamem výchozích šablon sad, ze kterých si můžete vybrat:

databricks bundle init

Následující příklad inicializuje sadu pomocí výchozí šablony Pythonu:

databricks bundle init default-python

Pokud chcete vytvořit sadu pomocí vlastní šablony sady, zadejte cestu vlastní šablony:

databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"

Následující příklad inicializuje sadu z úložiště Git:

databricks bundle init https://github.com/my/repository

Následující příklad inicializuje s konkrétní větví:

databricks bundle init --branch main

Otevřená sada databricks

V pracovním prostoru přejděte k prostředku sady prostředků a zadejte prostředek, který se má otevřít. Pokud není zadaný klíč prostředku, tento příkaz vypíše seznam prostředků sady, ze kterých se má vybrat.

databricks bundle open [flags]

Možnosti

--force-pull

    Přeskočení místní mezipaměti a načtení stavu ze vzdáleného pracovního prostoru

Globální příznaky

Příklady

Následující příklad spustí prohlížeč a přejde na baby_gender_by_county řídicí panel v sadě v pracovním prostoru Databricks, který je nakonfigurovaný pro tuto sadu:

databricks bundle open baby_gender_by_county

Plán sady databricks

Zobrazí plán nasazení pro aktuální konfiguraci sady prostředků.

Tento příkaz sestaví sadu a zobrazí akce, které se budou provádět s prostředky, které se nasadí, bez provedení jakýchkoli změn. To vám umožní zobrazit náhled změn před spuštěním bundle deploy.

databricks bundle plan [flags]

Možnosti

-c, --cluster-id string

    Přepište cluster v nasazení s daným ID clusteru.

--force

    Vynucené přepsání ověření větve Git

--select strings

    Naplánujte pouze zadané zdroje (například my_job nebo jobs.my_job). Může se opakovat nebo oddělit čárkami.

Globální příznaky

Příklady

Následující příklad vypíše plán nasazení pro sadu, která sestaví kolo Pythonu, a definuje úlohu a kanál:

databricks bundle plan
Building python_artifact...
create jobs.my_bundle_job
create pipelines.my_bundle_pipeline

Spuštění sady databricks

Spusť job, pipeline, aplikaci nebo skript. Pokud nespecifikujete zdroj, příkazový příkaz vás vyzve k výběru z pracovních pozic, pipeline, aplikací a skriptů definovaných v balíčku. Alternativně můžete zadat job, pipeline nebo klíč aplikace, případně název skriptu deklarovaný v konfiguračních souborech balíčku.

databricks bundle run [flags] [KEY]

Předání parametrů úlohy

Pokud chcete předat parametry úlohy, použijte volbu --params, za kterou následují dvojice klíč-hodnota oddělené čárkami, kde klíč je názvem parametru. Například následující příkaz nastaví parametr s názvem messageHelloWorld pro úlohu hello_job:

databricks bundle run --params message=HelloWorld hello_job

Note

Jak je znázorněno v následujících příkladech, můžete předat parametry úkolům úlohy pomocí možností úlohy, ale tato --params možnost je doporučenou metodou pro předávání parametrů úlohy. Dojde k chybě, pokud jsou pro úlohu zadány parametry, které nejsou definovány, nebo pokud jsou pro úlohu s definovanými parametry zadány parametry úkolu.

Můžete také zadat klíčové slovo nebo poziční argumenty. Pokud zadaná úloha používá parametry úlohy nebo má úlohu poznámkového bloku s parametry, názvy příznaků se mapují na názvy parametrů:

databricks bundle run hello_job -- --key1 value1 --key2 value2

Nebo pokud zadaná úloha nepoužívá parametry úlohy a úloha má úlohu souboru Pythonu nebo úlohu kolečka Pythonu:

databricks bundle run my_job -- value1 value2 value3

Ukázkovou definici úlohy s parametry najdete v části Úloha s parametry.

Spusť konkrétní úlohy

Pokud chcete spouštět jenom konkrétní úkoly v úloze místo celé úlohy, použijte --only možnost se seznamem klíčů úkolů oddělených čárkami. Například následující příkaz se spustí jenom task_a a task_b v úloze hello_job:

databricks bundle run --only task_a,task_b hello_job

Pokud chcete také spustit závislosti úkolu, přidejte + do klíče úkolu modifikátor:

  • Předpona klíče úkolu pro + spuštění jeho nadřazených úkolů (úkoly, na kterých závisí).
  • Příponou klíče + úkolu je také spuštění podřízených úkolů (úloh, které na něm závisejí).

Například následující příkaz se spustí task_b spolu s nadřazenými a podřízenými úkoly:

databricks bundle run --only +task_b+ hello_job

Ověření potrubí

Pokud chcete provést ověření pipeline, použijte možnost --validate-only, jak ukazuje následující příklad:

databricks bundle run --validate-only my_pipeline

Spuštění aplikace

U Databricks aplikací se databricks bundle run aplikace spouští nebo restartuje s nejnověji nasazeným zdrojovým kódem. Na rozdíl od úlohy nebo pipeline, která při dalším spuštění přijímá nový kód, je aplikace nepřetržitě běžící proces, který stále servíruje dříve nasazený kód až do jeho restartu. Vždy spusťte aplikaci po nasazení, aby se změny v kódu projevily:

databricks bundle deploy -t prod
databricks bundle run my_app -t prod

Tlačítko KEY pro aplikaci je klíč níže resources.apps v konfiguraci vašeho balíčku, ne pole name nasazené aplikace.

Note

databricks bundle run Vrátí se hned, jakmile aplikace dostane signál ke startu. Aplikace může při startu později selhat, například kvůli chybějící závislosti nebo proměnné prostředí. Pro ověření, že zastavená aplikace dosáhla běžícího stavu, zkontrolujte její stav po návratu příkazu. Viz krok 5. Počkejte, až aplikace bude zdravá.

Spouštění skriptů

Pokud chcete spouštět skripty, jako jsou integrační testy s nakonfigurovanými přihlašovacími údaji ověřování sady, můžete spustit skripty vložené nebo spustit skript definovaný v konfiguraci sady. Skripty se spouští pomocí stejného kontextu ověřování nakonfigurovaného v sadě.

  • Připojte dvojitý spojovník (--) za bundle run pro spuštění skriptů inline. Například následující příkaz vypíše aktuální pracovní adresář aktuálního uživatele:

    databricks bundle run -- python3 -c 'import os; print(os.getcwd())'
    
  • Případně definujte skript v rámci scripts mapování v konfiguraci bundle, a pak použijte bundle run ke spuštění skriptu.

    scripts:
      my_script:
        content: python3 -c 'import os; print(os.getcwd())'
    
    databricks bundle run my_script
    

    Další informace o scripts konfiguraci najdete ve skriptech.

Ověřovací informace sady se předávají podřízeným procesům pomocí proměnných prostředí. Viz jednotné ověřování Databricks.

Argumenty

KEY

    Jedinečný identifikátor prostředku, který se má spustit (volitelné)

Možnosti

--no-wait

    Nečekejte na dokončení spuštění.

--restart

    Pokud už je spuštěný, restartujte spuštění.

Globální příznaky

Příznaky úloh

Následující příznaky jsou příznaky na úrovni úlohy. Parametry úlohy najdete v tématu Konfigurace parametrů úlohy.

--only strings

    Čárkami oddělený seznam klíčů úloh, které se mají spustit. Předpona klíče pro + spuštění jeho upstreamových úloh. Přípona klíče pro + spuštění podřízených úkolů.

--params stringToString

    Čárka oddělená k=v páry pro parametry úlohy (výchozí [])

Příznaky úkolu úlohy

Následující příznaky jsou příznaky parametrů na úrovni úlohy. Viz Konfigurace parametrů úkolu. Databricks doporučuje používat parametry na úrovni úlohy (--params) nad parametry na úrovni úkolu.

--dbt-commands strings

    Seznam příkazů, které se mají spouštět pro úlohy s úlohami DBT

--jar-params strings

    Seznam parametrů pro úlohy s úlohami Spark JAR

--notebook-params stringToString

    Mapa z klíčů na hodnoty pro úlohy s úkoly poznámkového bloku (výchozí [])

--pipeline-params stringToString

    Mapa z klíčů na hodnoty pro úlohy s úlohami kanálu (výchozí [])

--python-named-params stringToString

    Mapa z klíčů na hodnoty pro úlohy s úlohami kolečka Pythonu (výchozí [])

--python-params strings

    Seznam parametrů pro úlohy s úlohami Pythonu

--spark-submit-params strings

    Seznam parametrů pro úlohy s úlohami odesílanými sparkem

--sql-params stringToString

    Mapa z klíčů na hodnoty pro úlohy s úlohami SQL (výchozí [])

Příznaky kanálu

Následující příznaky jsou příznaky kanálu.

--full-refresh strings

    Seznam tabulek, které se mají resetovat a překomputovat

--full-refresh-all

    Proveďte úplné resetování a opětovné dokončování grafu.

--refresh strings

    Seznam tabulek, které se mají aktualizovat

--refresh-all

    Proveďte úplnou aktualizaci grafu.

--validate-only

    Provedením aktualizace ověřte správnost grafu.

Příklady

Následující příklad spustí úlohu hello_job ve výchozím cíli:

databricks bundle run hello_job

Následující příklad spustí úlohu hello_job v kontextu cíle deklarovaného s názvem dev:

databricks bundle run -t dev hello_job

Následující příklad zruší a restartuje existující spuštění úlohy:

databricks bundle run --restart hello_job

Následující příklad spustí kanál s úplnou aktualizací:

databricks bundle run my_pipeline --full-refresh-all

Následující příklad spouští nebo restartuje aplikaci my_app v cílovém zařízení prod :

databricks bundle run my_app -t prod

Následující příklad spustí příkaz v kontextu sady:

databricks bundle run -- echo "hello, world"

Schéma sady databricks

Zobrazení schématu JSON pro konfiguraci sady prostředků

databricks bundle schema [flags]

Možnosti

Globální příznaky

Příklady

Následující příklad vypíše schéma JSON pro konfiguraci sady:

databricks bundle schema

Pokud chcete výstupní schéma konfigurace sady vytvořit jako soubor JSON, spusťte bundle schema příkaz a přesměrujte výstup do souboru JSON. Můžete například vygenerovat soubor s názvem bundle_config_schema.json v aktuálním adresáři:

databricks bundle schema > bundle_config_schema.json

Souhrn sady databricks

Vypíše souhrn identity a prostředků sady, včetně přímých odkazů na prostředky, abyste mohli snadno přejít k prostředku v pracovním prostoru Databricks.

databricks bundle summary [flags]

Tip

Můžete také použít bundle open k navigaci na zdroj ve workspace Databricks. Podívejte se na otevřený balíček Databricks.

Možnosti

--force-pull

    Přeskočení místní mezipaměti a načtení stavu ze vzdáleného pracovního prostoru

Globální příznaky

Příklady

Následující příklad vypíše souhrn nasazených prostředků sady:

databricks bundle summary

Následující výstup je souhrn sady s názvem my_pipeline_bundle , která definuje úlohu a kanál:

Name: my_pipeline_bundle
Target: dev
Workspace:
  Host: https://myworkspace.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/my_pipeline/dev
Resources:
  Jobs:
    my_project_job:
      Name: [dev someone] my_project_job
      URL:  https://myworkspace.cloud.databricks.com/jobs/206000809187888?o=6051000018419999
  Pipelines:
    my_project_pipeline:
      Name: [dev someone] my_project_pipeline
      URL:  https://myworkspace.cloud.databricks.com/pipelines/7f559fd5-zztz-47fa-aa5c-c6bf034b4f58?o=6051000018419999

Synchronizace sady databricks

Proveďte jednosměrnou synchronizaci změn souboru sady v místním adresáři systému souborů do adresáře v rámci vzdáleného pracovního prostoru Azure Databricks.

Note

bundle sync příkazy nemůžou synchronizovat změny souborů z adresáře ve vzdáleném pracovním prostoru Azure Databricks zpět do adresáře v místním systému souborů.

databricks bundle sync [flags]

databricks bundle sync příkazy fungují stejným způsobem jako databricks sync příkazy a poskytují se pro zvýšení produktivity. Informace o použití příkazů najdete sync v příkazu.

Možnosti

--dry-run

    Simulace provádění synchronizace bez provádění skutečných změn

--full

    Provést úplnou synchronizaci (výchozí hodnota je přírůstková)

--interval duration

    Interval dotazování systému souborů (pro --watch) (výchozí 1s)

--output type

    Typ výstupního formátu

--watch

    Sledování změn v místním systému souborů

Globální příznaky

Příklady

Následující příklad provede synchronizaci suchého spuštění:

databricks bundle sync --dry-run

Následující příklad sleduje změny a synchronizuje se automaticky:

databricks bundle sync --watch

Následující příklad provede úplnou synchronizaci:

databricks bundle sync --full

Ověření sady databricks

Ověřte, že konfigurační soubory sady jsou syntakticky správné.

databricks bundle validate [flags]

Ve výchozím nastavení tento příkaz vrátí souhrn identity sady:

Name: MyBundle
Target: dev
Workspace:
  Host: https://my-host.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/MyBundle/dev

Validation OK!

Note

Příkaz bundle validate zobrazí upozornění, pokud jsou vlastnosti prostředku definovány v konfiguračních souborech sady, které nejsou nalezeny ve schématu odpovídajícího objektu.

Pokud chcete vypsat pouze souhrn identity a prostředků sady, použijte bundle summary.

Možnosti

Globální příznaky

Příklady

Následující příklad ověří konfiguraci sady:

databricks bundle validate

Globální příznaky

--debug

  Zda povolit protokolování ladění.

-h nebo --help

    Zobrazení nápovědy k rozhraní příkazového řádku Databricks nebo související skupině příkazů nebo souvisejícímu příkazu

--log-file řetězec

    Řetězec představující soubor, do kterého se zapisují výstupní protokoly. Pokud tento příznak není zadaný, výchozí hodnota je zápis výstupních protokolů do stderru.

--log-format formát

    Typ formátu protokolu, text nebo json. Výchozí hodnota je text.

--log-level řetězec

    Řetězec představující úroveň formátu protokolu. Pokud není zadána, je úroveň formátu protokolu zakázaná.

-o, --output typ

    Typ výstupu příkazu, text nebo json. Výchozí hodnota je text.

-p, --profile řetězec

    Název profilu v ~/.databrickscfg souboru, který se má použít ke spuštění příkazu. Pokud tento příznak není zadán, použije se profil s názvem DEFAULT, pokud existuje.

--progress-format formát

    Formát pro zobrazení protokolů průběhu: default, append, inplacenebo json

-t, --target řetězec

    Pokud je to relevantní, cílový balíček, který se má použít

--var strings

    nastavte hodnoty proměnných definovaných v konfiguraci sady. Příklad: --var="foo=bar"