Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Note
Použití rozhraní příkazového řádku Databricks podléhá licenci Databricks a oznámení o ochraně osobních údajů Databricks, včetně všech ustanovení o využití.
Skupina bundle příkazů v rozhraní příkazového řádku Databricks obsahuje příkazy pro správu deklarativních sad automation. Balíčky deklarativní automatizace umožňují vyjádřit projekty jako kód a programově ověřovat, nasazovat a spouštět pracovní postupy Azure Databricks, jako jsou úlohy Azure Databricks,kanály Lakeflow a zásobníky MLOps. Podívejte se, co jsou balíčky deklarativní automatizace?
Note
Příkazy balíčku používají nastavení databricks.yml pro ověřování, když jsou spuštěny ze složky balíčku. Pokud chcete spouštět příkazy balíčku s jiným ověřováním ve složce balíčku, zadejte konfigurační profil pomocí příznaku --profile (nebo -p) a nezadávejte --target.
Případně spusťte příkazy mimo složku balíčku, které nepotřebují stejné ověřování jako balíček.
Nasazení sady databricks
Nasaďte sadu do vzdáleného pracovního prostoru.
databricks bundle deploy [flags]
Cíl balíčku a identita
Pokud chcete sadu nasadit do konkrétního cíle, nastavte -t možnost (nebo --target) společně s názvem cíle deklarovaným v konfiguračních souborech sady. Pokud nejsou zadány žádné možnosti příkazu, použije se výchozí cíl deklarovaný v konfiguračních souborech sady. Například pro cíl deklarovaný s názvem dev:
databricks bundle deploy -t dev
Sadu je možné nasadit do několika pracovních prostorů, jako je vývoj, příprava a produkční pracovní prostory. V zásadě, vlastnost root_path určuje jedinečnou identitu balíčku, která má výchozí hodnotu ~/.bundle/${bundle.name}/${bundle.target}. Ve výchozím nastavení se proto identita sady skládá z identity deployeru, názvu sady a cílového názvu sady. Pokud jsou stejné napříč různými sadami, nasazení těchto sad bude vzájemně kolidovat.
Nasazení sady navíc sleduje prostředky, které vytvoří v cílovém pracovním prostoru, podle jejich ID jako stavu, který je uložen v systému souborů pracovního prostoru. Názvy prostředků se nepoužívají ke korelaci mezi nasazením sady prostředků a instancí prostředků, takže:
- V případě, že prostředek v konfiguraci balíčku neexistuje v cílovém pracovním prostoru, je vytvořen.
- Pokud prostředek v konfiguraci sady existuje v cílovém pracovním prostoru, aktualizuje se v pracovním prostoru.
- Pokud se prostředek odebere z konfigurace sady prostředků, odebere se z cílového pracovního prostoru, pokud byl dříve nasazený.
- Přidružení prostředku k sadě je možné zapomenout pouze v případě, že změníte název sady, cíl sady nebo pracovní prostor. Pomocí spuštění
bundle validatemůžete vytvořit souhrn obsahující tyto hodnoty.
Možnosti
--auto-approve
Přeskočte interaktivní schválení, která můžou být nutná pro nasazení.
-c, --cluster-id string
Přepište cluster v nasazení s daným ID clusteru.
--fail-on-active-runs
Selhání, pokud jsou v nasazení spuštěné úlohy nebo kanály.
--force
Vynucené přepsání ověření větve Git
--force-lock
Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.
--plan
Cesta k souboru plánu JSON, který se použije místo plánování (pouze přímý modul). Soubor plánu lze vytvořit pomocí databricks bundle plan -o json.
--select strings
Important
Databricks doporučuje tuto možnost použít pouze pro nasazení prostředků do vývojových pracovních prostorů. Není určen pro použití v produkčním prostředí. Nasazují se pouze zadané prostředky a požadované upstreamové závislosti; podřízené prostředky a závislosti se neaktualizují. To může způsobit chyby závislostí a neočekávané chování.
Nasaďte pouze zadané prostředky (napříkladmy_job).jobs.my_job Může se opakovat nebo oddělit čárkami.
Příklady
Následující příklad nasadí sadu s použitím konkrétního ID clusteru:
databricks bundle deploy --cluster-id 0123-456789-abcdef
Následující příklad nasadí pouze zadané prostředky.
--select Použijte příznak s klíči prostředků, volitelně kvalifikovanými podle typu prostředku, a zopakujte příznak nebo použijte seznam oddělený čárkami k nasazení více prostředků:
databricks bundle deploy --select my_job
databricks bundle deploy --select jobs.my_job --select pipelines.my_pipeline
databricks bundle deploy --select my_job,my_pipeline
Nasazení sady databricks
Příkazy související s nasazením
databricks bundle deployment [command]
Dostupné příkazy
-
bind– Vytvoření vazby prostředku definovaného sadou k existujícímu prostředku ve vzdáleném pracovním prostoru. -
migrate– Migrujte balíček tak, aby využíval přímý nasazovací systém. -
unbind– Zrušení vazby prostředku definovaného sadou ze vzdáleného prostředku
Vazba nasazení sady databricks
Propojte prostředky definované balíčky s existujícími prostředky v pracovním prostoru Azure Databricks, aby se staly spravovanými deklarativními sadami automation. Pokud svážete prostředek, stávající prostředek Azure Databricks v pracovním prostoru se aktualizuje podle konfigurace definované v balíčku, ke kterému je vázán, po dalším bundle deploy.
databricks bundle deployment bind KEY RESOURCE_ID [flags]
Vazba znovu nevytváří data. Pokud například byl použit kanál s daty v katalogu, můžete ho nasadit bez ztráty existujících dat. Kromě toho nemusíte například přepočítat materializované zobrazení, takže se kanály nemusí znovu spouštět.
Příkaz bind by měl být použit s příznakem --target . Formát identifikátoru závisí na typu prostředku – viz níže uvedené argumenty .
Tip
Před spuštěním vazby je vhodné ověřit prostředek v pracovním prostoru.
Vazba je podporována pro všechny typy prostředků deklarativních automatizačních sad. Všimněte si, že některé prostředky jsou k dispozici pouze pomocí přímého modulu, viz deklarativní prostředky sady prostředků služby Automation.
U prostředků podporovaných příkazem bundle generate automaticky svázat prostředek po jeho generování pomocí této možnosti --bind.
Argumenty
KEY
Klíč prostředku pro vytvoření vazby
RESOURCE_ID
Identifikátor existujícího prostředku, ke které se má vytvořit vazba. Formát závisí na typu prostředku, protože příkaz bind ke zjištění prostředku používá GET koncový bod rozhraní REST API. U prostředků identifikovaných pomocí ID číselného nebo UUID (jako jsou úlohy a kanály) toto ID předejte. U prostředků katalogu Unity identifikovaných úplným názvem (například schémata a svazky) předejte místo toho cestu k úplnému názvu. Příklad:
-
úloha: číselné ID, například
6565621249 -
kanál: UUID, například
7688611149d5709ac9-2900-1229-9996-586a9zez8929 -
schéma: celé jméno ve
catalog.schemaformuláři, napříkladmy_catalog.my_schema -
volume: celé jméno ve
catalog.schema.volumeformuláři, napříkladmy_catalog.my_schema.my_volume -
registered_model: celé jméno ve
catalog.schema.modelformuláři -
quality_monitor: úplný název tabulky ve
catalog.schema.tableformuláři
Možnosti
--auto-approve
Automaticky schválit vazbu místo výzvy
--force-lock
Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.
Příklady
Následující příkaz sváže prostředek hello_job sady s existující úlohou v pracovním prostoru pomocí číselného ID úlohy. Příkaz vypíše rozdíl a umožňuje odepřít vazbu prostředků, ale pokud je potvrzeno, všechny aktualizace definice úlohy v balíčku se použijí na odpovídající vzdálenou úlohu při dalším nasazení balíčku.
databricks bundle deployment bind hello_job 6565621249
Pro prostředky katalogu Unity, jako jsou schémata a svazky, předejte místo ID úplnou cestu názvu. Následující příkaz vytvoří vazbu schématu definovaného sadě na existující schéma v pracovním prostoru:
databricks bundle deployment bind my_bundle_schema_ref my_existing_catalog.my_existing_schema
Migrace nasazení sady databricks
Important
Tato funkce je ve verzi Public Preview.
Migrujte balíček z nasazovacího modulu Terraform na přímý nasazovací modul. Viz Migrace do přímého modulu nasazení. K dokončení migrace je nutné sadu nasadit.
Spuštěním příkazu databricks bundle planmůžete ověřit, že migrace proběhla úspěšně. Podívejte se na plán balíčku Databricks.
databricks bundle deployment migrate [flags]
Argumenty
None
Možnosti
--noplancheck
Přeskočte běh bundle plan před migrací. Platí pouze pro Databricks CLI verze 0.280.0 až 1.4.x, které běží bundle plan jako součást a migrate zastaví migraci, pokud plán hlásí nějaké akce.
Příklady
Následující příklad migruje aktuální balíček pro použití modulu přímého nasazení:
databricks bundle deployment migrate
Zrušení vazby nasazení sady databricks
Odeberte propojení mezi prostředkem v sadě a jeho vzdáleným protějškem v pracovním prostoru.
databricks bundle deployment unbind KEY [flags]
Argumenty
KEY
Klíč prostředku k zrušení vazby
Možnosti
--force-lock
Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.
Příklady
Následující příklad zruší vazbu hello_job prostředku:
databricks bundle deployment unbind hello_job
Zničení sady databricks
Warning
Zničení sady trvale vymaže dříve nasazené úlohy, pipeline a artefakty v rámci sady. Tuto akci nejde vrátit zpátky.
Odstraňte úlohy, kanály, další prostředky a artefakty, které byly dříve nasazeny.
databricks bundle destroy [flags]
Note
Identita sady se skládá z názvu sady, cíle sady a pracovního prostoru. Pokud jste některou z těchto možností změnili a pokusíte se před nasazením zničit sadu, dojde k chybě.
Ve výchozím nastavení budete vyzváni k potvrzení trvalého odstranění dříve nasazených úloh, potrubí a artefaktů. Pokud chcete tyto výzvy přeskočit a provést automatické trvalé odstranění, přidejte --auto-approve do bundle destroy příkazu možnost.
Pomocí nastavení můžete lifecycle zabránit zničení konkrétních prostředků. Viz životní cyklus.
Možnosti
--auto-approve
Přeskočení interaktivních schválení pro odstraňování prostředků a souborů
--force-lock
Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.
Příklady
Následující příkaz odstraní všechny dříve nasazené prostředky a artefakty definované v konfiguračních souborech sady:
databricks bundle destroy
Vygenerování sady databricks
Vygenerujte konfiguraci sady prostředků, které už v pracovním prostoru Databricks existují. Podporují se následující zdroje informací: aplikace, řídicí panel, úloha, kanál.
Ve výchozím nastavení tento příkaz vygeneruje *.yml soubor pro prostředek ve resources složce projektu balíčku a stáhne také všechny soubory, jako jsou poznámkové bloky, které jsou zmíněny v konfiguraci.
Important
Tento bundle generate příkaz je poskytován pro snadné automatické generování konfigurace prostředků. Pokud ale vaše sada obsahuje konfiguraci prostředků a nasadíte ji, Azure Databricks vytvoří nový prostředek místo aktualizace existujícího prostředku. Pokud chcete místo toho aktualizovat stávající prostředek, musíte buď použít příznak --bind s bundle generate, nebo spustit bundle deployment bind před nasazením. Podívejte se na vazbu nasazení sady databricks.
databricks bundle generate [command]
Dostupné příkazy
-
app– Vygenerujte konfiguraci sady pro aplikaci Databricks. -
dashboard– Vygenerujte konfiguraci pro řídicí panel. -
genie-space- Vygenerujte konfiguraci pro agenta Genie. -
job– Vygenerujte konfiguraci sady pro úlohu. -
pipeline– Vygenerujte konfiguraci sady pro kanál.
Možnosti
--key string
Klíč prostředku, který se má použít pro vygenerovanou konfiguraci
Vygenerování aplikace v sadě databricks
Vygenerujte konfiguraci sady pro existující aplikaci Databricks v pracovním prostoru.
databricks bundle generate app [flags]
Možnosti
--bind
Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.
-d, --config-dir string
Cesta k adresáři, kde se uloží konfigurace výstupní sady prostředků (výchozí prostředky)
--existing-app-name string
Název aplikace pro vygenerování konfigurace pro
-f, --force
Vynucení přepsání existujících souborů ve výstupním adresáři
-s, --source-dir string
Cesta k adresáři, kde se budou ukládat soubory aplikace (výchozí "src/app")
Příklady
Následující příklad vygeneruje konfiguraci pro existující aplikaci s názvem my-app. Název aplikace můžete získat z karty Compute>Apps v rozhraní pracovního prostoru.
databricks bundle generate app --existing-app-name my-app
Následující příkaz vygeneruje nový hello_world.app.yml soubor ve resources složce projektu sady a stáhne soubory kódu aplikace, jako je konfigurační soubor app.yaml příkazu aplikace a hlavní app.py. Ve výchozím nastavení se soubory kódu zkopírují do složky sady src .
databricks bundle generate app --existing-app-name "hello_world"
# This is the contents of the resulting /resources/hello-world.app.yml file.
resources:
apps:
hello_world:
name: hello-world
description: A basic starter application.
source_code_path: ../src/app
Vygenerování řídicího panelu v sadě databricks
Vygenerujte konfiguraci existujícího řídicího panelu v pracovním prostoru.
databricks bundle generate dashboard [flags]
Tip
Pokud chcete po nasazení řídicího panelu aktualizovat .lvdash.json soubor, použijte možnost --resource při spuštění bundle generate dashboard, abyste vygenerovali tento soubor pro existující prostředek řídicího panelu. Pokud chcete průběžně dotazovat a načítat aktualizace řídicího panelu, použijte možnosti --force a --watch.
Možnosti
--bind
Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.
-s, --dashboard-dir string
Adresář pro zápis reprezentace řídicího panelu do (výchozí "src")
--existing-id string
ID řídicího panelu pro vygenerování konfigurace pro
--existing-path string
Cesta pracovního prostoru řídicího panelu ke generování konfigurace pro
-f, --force
Vynucení přepsání existujících souborů ve výstupním adresáři
--resource string
Klíč prostředku řídicího panelu pro sledování změn
-d, --resource-dir string
Adresář pro zápis konfigurace do (výchozích "prostředků")
--watch
Sledujte změny řídicího panelu a aktualizujte konfiguraci.
Příklady
Následující příklad vygeneruje konfiguraci existujícím ID řídicího panelu:
databricks bundle generate dashboard --existing-id abc123
Konfiguraci existujícího řídicího panelu můžete také vygenerovat podle cesty pracovního prostoru. Zkopírujte cestu pracovního prostoru pro řídicí panel z uživatelského rozhraní pracovního prostoru.
Například následující příkaz vygeneruje nový baby_gender_by_county.dashboard.yml soubor ve resources složce projektu sady obsahující níže uvedený YAML a stáhne baby_gender_by_county.lvdash.json soubor do src složky projektu.
databricks bundle generate dashboard --existing-path "/Workspace/Users/someone@example.com/baby_gender_by_county.lvdash.json"
# This is the contents of the resulting baby_gender_by_county.dashboard.yml file.
resources:
dashboards:
baby_gender_by_county:
display_name: 'Baby gender by county'
warehouse_id: aae11o8e6fe9zz79
file_path: ../src/baby_gender_by_county.lvdash.json
Sada databricks vygeneruje genie-space
Vygenerujte konfiguraci pro existujícího agenta Genie v pracovním prostoru.
Tento příkaz vygeneruje následující:
- Soubor YAML konfigurace agenta Genie s nastavením a odkazem na definici agenta Genie
- Soubor definice
*.geniespace.jsonagenta Genie s obsahem serializovaného prostoru
databricks bundle generate genie-space [flags]
Tip
Pokud chcete soubor aktualizovat .geniespace.json po nasazení agenta Genie, použijte tuto --resource možnost při spuštění bundle generate genie-space a vygenerujte tento soubor pro existující prostředek. Pokud chcete průběžně dotazovat a načítat aktualizace agenta Genie, použijte tyto --force možnosti.--watch
Možnosti
--existing-id string
ID agenta Genie pro vygenerování konfigurace pro
-f, --force
Vynucení přepsání existujících souborů ve výstupním adresáři
-s, --genie-space-dir string
Adresář pro zápis reprezentace agenta Genie do (výchozí "src")
--resource string
Klíč prostředku agenta Genie ke sledování změn
-d, --resource-dir string
Adresář pro zápis konfigurace do (výchozích "prostředků")
--watch
Sledujte změny agenta Genie a aktualizujte konfiguraci.
Příklady
Následující příklad vygeneruje konfiguraci pomocí existujícího ID agenta Genie:
databricks bundle generate genie-space --existing-id abc123
Následující příklad udržuje sadu synchronizovanou s úpravami uživatelského rozhraní agenta Genie:
databricks bundle generate genie-space --resource my_genie_space --watch --force
Vygenerování úlohy v sadě databricks
Vygenerujte konfiguraci sady pro úlohu.
Note
Tento příkaz v současné době podporuje jenom úlohy s úkoly poznámkového bloku.
databricks bundle generate job [flags]
Možnosti
--bind
Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.
-d, --config-dir string
Cesta Dir, kde bude uložena výstupní konfigurace (výchozí "prostředky")
--existing-job-id int
ID úlohy pro vygenerování konfigurace pro
-f, --force
Vynucení přepsání existujících souborů ve výstupním adresáři
-s, --source-dir string
Cesta Dir, kde budou stažené soubory uloženy (výchozí "src")
Příklady
Následující příklad vygeneruje nový hello_job.yml soubor ve resources složce projektu sady obsahující níže uvedený YAML a stáhne ho simple_notebook.pysrc do složky projektu. Také propojí vygenerovaný prostředek s existující úlohou v rámci pracovního prostoru.
databricks bundle generate job --existing-job-id 6565621249 --bind
# This is the contents of the resulting hello_job.yml file.
resources:
jobs:
hello_job:
name: 'Hello Job'
tasks:
- task_key: run_notebook
email_notifications: {}
notebook_task:
notebook_path: ../src/simple_notebook.py
source: WORKSPACE
run_if: ALL_SUCCESS
max_concurrent_runs: 1
Generování kanálu v sadě databricks
Vygenerujte konfiguraci balíčku pro existující potrubí.
databricks bundle generate pipeline [flags]
Tip
Pokud máte existující projekt Deklarativních kanálů Sparku (SDP), můžete pro něj vygenerovat konfiguraci pomocí databricks pipelines generate. Zobrazení vygenerovaných kanálů Databricks
Možnosti
--bind
Automaticky svázat vytvořený prostředek s existujícím prostředkem v pracovním prostoru.
-d, --config-dir string
Cesta Dir, kde bude uložena výstupní konfigurace (výchozí "prostředky")
--existing-pipeline-id string
ID kanálu pro vygenerování konfigurace pro
-f, --force
Vynucení přepsání existujících souborů ve výstupním adresáři
-s, --source-dir string
Cesta Dir, kde budou stažené soubory uloženy (výchozí "src")
Příklady
Následující příklad vygeneruje konfiguraci pro existující kanál:
databricks bundle generate pipeline --existing-pipeline-id abc-123-def
Init sady databricks
Inicializace nové sady pomocí šablony sady Šablony je možné nakonfigurovat tak, aby uživatele vyzve k zadání hodnot. Viz Šablony projektů deklarativní automatizace sady prostředků.
databricks bundle init [TEMPLATE_PATH] [flags]
Argumenty
TEMPLATE_PATH
Šablona, která se má použít pro inicializaci (volitelné)
Možnosti
--branch string
Větev Gitu, která se má použít pro inicializaci šablon
--config-file string
Soubor JSON obsahující páry klíč-hodnota vstupních parametrů požadovaných pro inicializaci šablony
--output-dir string
Adresář pro zápis inicializované šablony do.
--tag string
Značka Git, která se má použít pro inicializaci šablon
--template-dir string
Cesta k adresáři v úložišti Git, které obsahuje šablonu.
Příklady
Následující příklad zobrazí výzvu se seznamem výchozích šablon sad, ze kterých si můžete vybrat:
databricks bundle init
Následující příklad inicializuje sadu pomocí výchozí šablony Pythonu:
databricks bundle init default-python
Pokud chcete vytvořit sadu pomocí vlastní šablony sady, zadejte cestu vlastní šablony:
databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"
Následující příklad inicializuje sadu z úložiště Git:
databricks bundle init https://github.com/my/repository
Následující příklad inicializuje s konkrétní větví:
databricks bundle init --branch main
Otevřená sada databricks
V pracovním prostoru přejděte k prostředku sady prostředků a zadejte prostředek, který se má otevřít. Pokud není zadaný klíč prostředku, tento příkaz vypíše seznam prostředků sady, ze kterých se má vybrat.
databricks bundle open [flags]
Možnosti
--force-pull
Přeskočení místní mezipaměti a načtení stavu ze vzdáleného pracovního prostoru
Příklady
Následující příklad spustí prohlížeč a přejde na baby_gender_by_county řídicí panel v sadě v pracovním prostoru Databricks, který je nakonfigurovaný pro tuto sadu:
databricks bundle open baby_gender_by_county
Plán sady databricks
Zobrazí plán nasazení pro aktuální konfiguraci sady prostředků.
Tento příkaz sestaví sadu a zobrazí akce, které se budou provádět s prostředky, které se nasadí, bez provedení jakýchkoli změn. To vám umožní zobrazit náhled změn před spuštěním bundle deploy.
databricks bundle plan [flags]
Možnosti
-c, --cluster-id string
Přepište cluster v nasazení s daným ID clusteru.
--force
Vynucené přepsání ověření větve Git
--select strings
Naplánujte pouze zadané zdroje (například my_job nebo jobs.my_job). Může se opakovat nebo oddělit čárkami.
Příklady
Následující příklad vypíše plán nasazení pro sadu, která sestaví kolo Pythonu, a definuje úlohu a kanál:
databricks bundle plan
Building python_artifact...
create jobs.my_bundle_job
create pipelines.my_bundle_pipeline
Spuštění sady databricks
Spusť job, pipeline, aplikaci nebo skript. Pokud nespecifikujete zdroj, příkazový příkaz vás vyzve k výběru z pracovních pozic, pipeline, aplikací a skriptů definovaných v balíčku. Alternativně můžete zadat job, pipeline nebo klíč aplikace, případně název skriptu deklarovaný v konfiguračních souborech balíčku.
databricks bundle run [flags] [KEY]
Předání parametrů úlohy
Pokud chcete předat parametry úlohy, použijte volbu --params, za kterou následují dvojice klíč-hodnota oddělené čárkami, kde klíč je názvem parametru. Například následující příkaz nastaví parametr s názvem messageHelloWorld pro úlohu hello_job:
databricks bundle run --params message=HelloWorld hello_job
Note
Jak je znázorněno v následujících příkladech, můžete předat parametry úkolům úlohy pomocí možností úlohy, ale tato --params možnost je doporučenou metodou pro předávání parametrů úlohy. Dojde k chybě, pokud jsou pro úlohu zadány parametry, které nejsou definovány, nebo pokud jsou pro úlohu s definovanými parametry zadány parametry úkolu.
Můžete také zadat klíčové slovo nebo poziční argumenty. Pokud zadaná úloha používá parametry úlohy nebo má úlohu poznámkového bloku s parametry, názvy příznaků se mapují na názvy parametrů:
databricks bundle run hello_job -- --key1 value1 --key2 value2
Nebo pokud zadaná úloha nepoužívá parametry úlohy a úloha má úlohu souboru Pythonu nebo úlohu kolečka Pythonu:
databricks bundle run my_job -- value1 value2 value3
Ukázkovou definici úlohy s parametry najdete v části Úloha s parametry.
Spusť konkrétní úlohy
Pokud chcete spouštět jenom konkrétní úkoly v úloze místo celé úlohy, použijte --only možnost se seznamem klíčů úkolů oddělených čárkami. Například následující příkaz se spustí jenom task_a a task_b v úloze hello_job:
databricks bundle run --only task_a,task_b hello_job
Pokud chcete také spustit závislosti úkolu, přidejte + do klíče úkolu modifikátor:
- Předpona klíče úkolu pro
+spuštění jeho nadřazených úkolů (úkoly, na kterých závisí). - Příponou klíče
+úkolu je také spuštění podřízených úkolů (úloh, které na něm závisejí).
Například následující příkaz se spustí task_b spolu s nadřazenými a podřízenými úkoly:
databricks bundle run --only +task_b+ hello_job
Ověření potrubí
Pokud chcete provést ověření pipeline, použijte možnost --validate-only, jak ukazuje následující příklad:
databricks bundle run --validate-only my_pipeline
Spuštění aplikace
U Databricks aplikací se databricks bundle run aplikace spouští nebo restartuje s nejnověji nasazeným zdrojovým kódem. Na rozdíl od úlohy nebo pipeline, která při dalším spuštění přijímá nový kód, je aplikace nepřetržitě běžící proces, který stále servíruje dříve nasazený kód až do jeho restartu. Vždy spusťte aplikaci po nasazení, aby se změny v kódu projevily:
databricks bundle deploy -t prod
databricks bundle run my_app -t prod
Tlačítko KEY pro aplikaci je klíč níže resources.apps v konfiguraci vašeho balíčku, ne pole name nasazené aplikace.
Note
databricks bundle run Vrátí se hned, jakmile aplikace dostane signál ke startu. Aplikace může při startu později selhat, například kvůli chybějící závislosti nebo proměnné prostředí. Pro ověření, že zastavená aplikace dosáhla běžícího stavu, zkontrolujte její stav po návratu příkazu. Viz krok 5. Počkejte, až aplikace bude zdravá.
Spouštění skriptů
Pokud chcete spouštět skripty, jako jsou integrační testy s nakonfigurovanými přihlašovacími údaji ověřování sady, můžete spustit skripty vložené nebo spustit skript definovaný v konfiguraci sady. Skripty se spouští pomocí stejného kontextu ověřování nakonfigurovaného v sadě.
Připojte dvojitý spojovník (
--) zabundle runpro spuštění skriptů inline. Například následující příkaz vypíše aktuální pracovní adresář aktuálního uživatele:databricks bundle run -- python3 -c 'import os; print(os.getcwd())'Případně definujte skript v rámci
scriptsmapování v konfiguraci bundle, a pak použijtebundle runke spuštění skriptu.scripts: my_script: content: python3 -c 'import os; print(os.getcwd())'databricks bundle run my_scriptDalší informace o
scriptskonfiguraci najdete ve skriptech.
Ověřovací informace sady se předávají podřízeným procesům pomocí proměnných prostředí. Viz jednotné ověřování Databricks.
Argumenty
KEY
Jedinečný identifikátor prostředku, který se má spustit (volitelné)
Možnosti
--no-wait
Nečekejte na dokončení spuštění.
--restart
Pokud už je spuštěný, restartujte spuštění.
Příznaky úloh
Následující příznaky jsou příznaky na úrovni úlohy. Parametry úlohy najdete v tématu Konfigurace parametrů úlohy.
--only strings
Čárkami oddělený seznam klíčů úloh, které se mají spustit. Předpona klíče pro + spuštění jeho upstreamových úloh. Přípona klíče pro + spuštění podřízených úkolů.
--params stringToString
Čárka oddělená k=v páry pro parametry úlohy (výchozí [])
Příznaky úkolu úlohy
Následující příznaky jsou příznaky parametrů na úrovni úlohy. Viz Konfigurace parametrů úkolu. Databricks doporučuje používat parametry na úrovni úlohy (--params) nad parametry na úrovni úkolu.
--dbt-commands strings
Seznam příkazů, které se mají spouštět pro úlohy s úlohami DBT
--jar-params strings
Seznam parametrů pro úlohy s úlohami Spark JAR
--notebook-params stringToString
Mapa z klíčů na hodnoty pro úlohy s úkoly poznámkového bloku (výchozí [])
--pipeline-params stringToString
Mapa z klíčů na hodnoty pro úlohy s úlohami kanálu (výchozí [])
--python-named-params stringToString
Mapa z klíčů na hodnoty pro úlohy s úlohami kolečka Pythonu (výchozí [])
--python-params strings
Seznam parametrů pro úlohy s úlohami Pythonu
--spark-submit-params strings
Seznam parametrů pro úlohy s úlohami odesílanými sparkem
--sql-params stringToString
Mapa z klíčů na hodnoty pro úlohy s úlohami SQL (výchozí [])
Příznaky kanálu
Následující příznaky jsou příznaky kanálu.
--full-refresh strings
Seznam tabulek, které se mají resetovat a překomputovat
--full-refresh-all
Proveďte úplné resetování a opětovné dokončování grafu.
--refresh strings
Seznam tabulek, které se mají aktualizovat
--refresh-all
Proveďte úplnou aktualizaci grafu.
--validate-only
Provedením aktualizace ověřte správnost grafu.
Příklady
Následující příklad spustí úlohu hello_job ve výchozím cíli:
databricks bundle run hello_job
Následující příklad spustí úlohu hello_job v kontextu cíle deklarovaného s názvem dev:
databricks bundle run -t dev hello_job
Následující příklad zruší a restartuje existující spuštění úlohy:
databricks bundle run --restart hello_job
Následující příklad spustí kanál s úplnou aktualizací:
databricks bundle run my_pipeline --full-refresh-all
Následující příklad spouští nebo restartuje aplikaci my_app v cílovém zařízení prod :
databricks bundle run my_app -t prod
Následující příklad spustí příkaz v kontextu sady:
databricks bundle run -- echo "hello, world"
Schéma sady databricks
Zobrazení schématu JSON pro konfiguraci sady prostředků
databricks bundle schema [flags]
Možnosti
Příklady
Následující příklad vypíše schéma JSON pro konfiguraci sady:
databricks bundle schema
Pokud chcete výstupní schéma konfigurace sady vytvořit jako soubor JSON, spusťte bundle schema příkaz a přesměrujte výstup do souboru JSON. Můžete například vygenerovat soubor s názvem bundle_config_schema.json v aktuálním adresáři:
databricks bundle schema > bundle_config_schema.json
Souhrn sady databricks
Vypíše souhrn identity a prostředků sady, včetně přímých odkazů na prostředky, abyste mohli snadno přejít k prostředku v pracovním prostoru Databricks.
databricks bundle summary [flags]
Tip
Můžete také použít bundle open k navigaci na zdroj ve workspace Databricks. Podívejte se na otevřený balíček Databricks.
Možnosti
--force-pull
Přeskočení místní mezipaměti a načtení stavu ze vzdáleného pracovního prostoru
Příklady
Následující příklad vypíše souhrn nasazených prostředků sady:
databricks bundle summary
Následující výstup je souhrn sady s názvem my_pipeline_bundle , která definuje úlohu a kanál:
Name: my_pipeline_bundle
Target: dev
Workspace:
Host: https://myworkspace.cloud.databricks.com
User: someone@example.com
Path: /Users/someone@example.com/.bundle/my_pipeline/dev
Resources:
Jobs:
my_project_job:
Name: [dev someone] my_project_job
URL: https://myworkspace.cloud.databricks.com/jobs/206000809187888?o=6051000018419999
Pipelines:
my_project_pipeline:
Name: [dev someone] my_project_pipeline
URL: https://myworkspace.cloud.databricks.com/pipelines/7f559fd5-zztz-47fa-aa5c-c6bf034b4f58?o=6051000018419999
Synchronizace sady databricks
Proveďte jednosměrnou synchronizaci změn souboru sady v místním adresáři systému souborů do adresáře v rámci vzdáleného pracovního prostoru Azure Databricks.
Note
bundle sync příkazy nemůžou synchronizovat změny souborů z adresáře ve vzdáleném pracovním prostoru Azure Databricks zpět do adresáře v místním systému souborů.
databricks bundle sync [flags]
databricks bundle sync příkazy fungují stejným způsobem jako databricks sync příkazy a poskytují se pro zvýšení produktivity. Informace o použití příkazů najdete sync v příkazu.
Možnosti
--dry-run
Simulace provádění synchronizace bez provádění skutečných změn
--full
Provést úplnou synchronizaci (výchozí hodnota je přírůstková)
--interval duration
Interval dotazování systému souborů (pro --watch) (výchozí 1s)
--output type
Typ výstupního formátu
--watch
Sledování změn v místním systému souborů
Příklady
Následující příklad provede synchronizaci suchého spuštění:
databricks bundle sync --dry-run
Následující příklad sleduje změny a synchronizuje se automaticky:
databricks bundle sync --watch
Následující příklad provede úplnou synchronizaci:
databricks bundle sync --full
Ověření sady databricks
Ověřte, že konfigurační soubory sady jsou syntakticky správné.
databricks bundle validate [flags]
Ve výchozím nastavení tento příkaz vrátí souhrn identity sady:
Name: MyBundle
Target: dev
Workspace:
Host: https://my-host.cloud.databricks.com
User: someone@example.com
Path: /Users/someone@example.com/.bundle/MyBundle/dev
Validation OK!
Note
Příkaz bundle validate zobrazí upozornění, pokud jsou vlastnosti prostředku definovány v konfiguračních souborech sady, které nejsou nalezeny ve schématu odpovídajícího objektu.
Pokud chcete vypsat pouze souhrn identity a prostředků sady, použijte bundle summary.
Možnosti
Příklady
Následující příklad ověří konfiguraci sady:
databricks bundle validate
Globální příznaky
--debug
Zda povolit protokolování ladění.
-h nebo --help
Zobrazení nápovědy k rozhraní příkazového řádku Databricks nebo související skupině příkazů nebo souvisejícímu příkazu
--log-file řetězec
Řetězec představující soubor, do kterého se zapisují výstupní protokoly. Pokud tento příznak není zadaný, výchozí hodnota je zápis výstupních protokolů do stderru.
--log-format formát
Typ formátu protokolu, text nebo json. Výchozí hodnota je text.
--log-level řetězec
Řetězec představující úroveň formátu protokolu. Pokud není zadána, je úroveň formátu protokolu zakázaná.
-o, --output typ
Typ výstupu příkazu, text nebo json. Výchozí hodnota je text.
-p, --profile řetězec
Název profilu v ~/.databrickscfg souboru, který se má použít ke spuštění příkazu. Pokud tento příznak není zadán, použije se profil s názvem DEFAULT, pokud existuje.
--progress-format formát
Formát pro zobrazení protokolů průběhu: default, append, inplacenebo json
-t, --target řetězec
Pokud je to relevantní, cílový balíček, který se má použít
--var strings
nastavte hodnoty proměnných definovaných v konfiguraci sady. Příklad: --var="foo=bar"