Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Note
Tyto informace platí pro Databricks CLI verze 0.205 a vyšší. Rozhraní příkazového řádku Databricks je ve veřejné ukázce.
Použití rozhraní příkazového řádku Databricks podléhá licenci Databricks a oznámení o ochraně osobních údajů Databricks, včetně všech ustanovení o využití.
Skupina pipelines příkazů v rozhraní příkazového řádku Databricks obsahuje dvě sady funkcí. První soubor umožňuje spravovat projekt pipeline a jeho pracovní postup. Druhá sada umožňuje vytvářet, upravovat, odstraňovat, spouštět a zobrazovat podrobnosti o objektech kanálu v Databricks.
Informace o kanálech najdete v tématu Deklarativní kanály Sparku pro Lakeflow.
Správa projektů kanálu
Následující příkazy umožňují spravovat kanály v projektech. Projekt kanálů je sada, která může obsahovat jeden nebo více objektů kanálu.
Nasazení kanálů Databricks
Kanály nasaďte tak, že nahrajete všechny soubory definované v projektu do cílového pracovního prostoru a vytvoříte nebo aktualizujete kanály definované v pracovním prostoru.
Důležité
Pokud chcete tento příkaz spustit, musí být soubor Sady prostředků Databricks databricks.yml v kořenovém adresáři projektu. Kurz, který vytvoří projekt kanálu a pak kanál nasadí a spustí, najdete v tématu Vývoj deklarativních kanálů Sparku Lakeflow se sadami prostředků Databricks.
databricks pipelines deploy [flags]
Arguments
None
Možnosti
--auto-approve
Přeskočení interaktivních schválení, která můžou být nutná pro nasazení
--fail-on-active-runs
Selhání, pokud jsou v nasazení spuštěné kanály
--force-lock
Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.
Zničit kanály Databricks
Zničí projekt kanálů.
databricks pipelines destroy [flags]
Arguments
None
Možnosti
--auto-approve
Vynechání interaktivních schválení pro odstraňování pipelin
--force-lock
Vynucení získání zámku nasazení Tato možnost zakáže mechanismus, který brání vzájemné interakci souběžných nasazení. Mělo by se použít pouze v případě, že došlo k chybovému ukončení předchozího nasazení nebo k přerušení a nechal zastaralý zámek souboru.
Databricks pipeline zkouška nanečisto
Ověří správnost grafu kanálu identifikovaného uživatelem KEY. Ne materializuje ani nepublikuje žádné datové sady.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
Jedinečný název kanálu pro suché spuštění, jak je definováno v souboru YAML. Pokud je v projektu jenom jeden kanál, KEY je volitelný a kanál je automaticky vybraný.
Možnosti
--no-wait
Nečekejte na dokončení běhu
--restart
Pokud už je spuštěný, restartujte ho.
Generování kanálů Databricks
Vygenerujte konfiguraci pro existující kanál Sparku.
Tento příkaz vyhledá spark-pipeline.yml soubor nebo *.spark-pipeline.yml soubor v zadaném adresáři a vygeneruje nový *.pipeline.yml konfigurační soubor ve resources složce projektu, který definuje kanál. Pokud existuje více spark-pipeline.yml souborů, zadejte úplnou cestu ke konkrétnímu *.spark-pipeline.yml souboru.
databricks pipelines generate [flags]
Note
Pokud chcete vygenerovat konfiguraci pro existující pipeline v pracovním prostoru Databricks, podívejte se na databricks bundle generate pipeline a Generování konfigurace pro existující úlohu nebo pipeline pomocí Databricks CLI.
Možnosti
--existing-pipeline-dir
Cesta k existujícímu adresáři kanálu v src (např. src/my_pipeline).
--force
Přepište existující konfigurační soubor pipeliny.
Examples
Následující příklad prohledá aktuální adresář a přečte src/my_pipeline/spark-pipeline.yml, a pak vytvoří konfigurační soubor resources/my_pipeline.pipeline.yml, který definuje zpracovatelský řetězec:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
Historie kanálů Databricks
Načtení minulých spuštění pro kanál identifikovaný nástrojem KEY.
databricks pipelines history [flags] [KEY]
Arguments
KEY
Jedinečný název kanálu definovaný v souboru YAML. Pokud je v projektu jenom jeden kanál, KEY je volitelný a kanál je automaticky vybraný.
Možnosti
--end-time string
Filtrovat aktualizace před tímto časem (formát: 2025-01-15T10:30:00Z)
--start-time string
Filtrovat aktualizace po této době (formát: 2025-01-15T10:30:00Z)
Inicializační kanály Databricks
Inicializace nového projektu kanálů
Kurz, který vás provede vytvořením, nasazením a spuštěním projektu kanálu pomocí rozhraní příkazového řádku Databricks, najdete v tématu Vývoj deklarativních kanálů Sparku Lakeflow se sadami prostředků Databricks.
databricks pipelines init [flags]
Arguments
None
Možnosti
--config-file string
Soubor JSON obsahující páry klíč-hodnota vstupních parametrů požadovaných pro inicializaci šablony
--output-dir string
Adresář pro zápis inicializované šablony do
Protokoly kanálů Databricks
Načtení událostí pro kanál identifikovaný nástrojem KEY. Ve výchozím nastavení tento příkaz zobrazuje události nejnovější aktualizace kanálu.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
Jedinečný název kanálu definovaný v souboru YAML. Pokud je v projektu jenom jeden kanál, KEY je volitelný a kanál je automaticky vybraný.
Možnosti
--end-time string
Filtrování událostí před tímto koncovým časem (formát: 2025-01-15T10:30:00Z)
--event-type strings
Filtrování událostí podle seznamu typů událostí
--level strings
Filtrování událostí podle seznamu úrovní protokolu (INFO, WARN, ERROR, METRICS)
-n, --number int
Počet událostí, které se mají vrátit
--start-time string
Filtrování událostí, které jsou po tomto počátečním čase (formát: 2025-01-15T10:30:00Z)
--update-id string
Události můžete filtrovat podle ID aktualizace. Pokud není k dispozici, použije se nejnovější ID aktualizace.
Examples
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
Otevřené potrubí Databricks
Otevřete datový proud v prohlížeči, identifikovaný podle KEY.
databricks pipelines open [flags] [KEY]
Arguments
KEY
Jedinečný název kanálu, který se má otevřít, jak je definováno v souboru YAML. Pokud je v projektu jenom jeden kanál, KEY je volitelný a kanál je automaticky vybraný.
Možnosti
--force-pull
Přeskočení místní mezipaměti a načtení stavu ze vzdáleného pracovního prostoru
Provozování kanálů Databricks
Spusťte kanál identifikovaný uživatelem KEY. Aktualizuje všechny tabulky v pipelinu, pokud není uvedeno jinak.
Důležité
Pokud chcete tento příkaz spustit, musí být soubor Sady prostředků Databricks databricks.yml v kořenovém adresáři projektu a kanál už musí být nasazený. Kurz, který vytvoří projekt kanálu a pak kanál nasadí a spustí, najdete v tématu Vývoj deklarativních kanálů Sparku Lakeflow se sadami prostředků Databricks.
databricks pipelines run [flags] [KEY]
Arguments
KEY
Jedinečný název pipeline, která se má spustit, jak je definováno v souboru YAML. Pokud je v projektu jenom jeden kanál, KEY je volitelný a kanál je automaticky vybraný.
Možnosti
--full-refresh strings
Seznam tabulek pro resetování a přepočítání
--full-refresh-all
Proveďte úplný reset a znovu vypočítejte graf
--no-wait
Nečekejte na dokončení běhu
--refresh strings
Seznam tabulek, které se mají spustit
--restart
Pokud už je spuštěný, restartujte ho.
Zastavení kanálů Databricks
Zastavte potrubí, pokud je spuštěné, identifikované uživatelem KEY nebo PIPELINE_ID. Pokud pro potrubí neexistuje žádná aktivní aktualizace, tato žádost je bez operace (no-op).
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
Jedinečný název kanálu, který se má zastavit, jak je definováno v souboru YAML. Pokud je v projektu jenom jeden kanál, KEY je volitelný a kanál je automaticky vybraný.
PIPELINE_ID
UUID kanálu, který se má zastavit.
Možnosti
--no-wait
Nečekejte na dosažení stavu nečinnosti
--timeout duration
maximální doba dosažení stavu nečinnosti (výchozí 20m0s)
Správa objektů pipeline
Následující příkazy umožňují spravovat objekty kanálu v Databricks. Objekt kanálu je jeden kanál v rámci projektu.
Vytvoření kanálů Databricks
Vytvořte nový kanál pro zpracování dat na základě požadované konfigurace. V případě úspěchu vrátí tento příkaz ID nového kanálu.
databricks pipelines create [flags]
Arguments
None
Možnosti
--json JSON
Vložený řetězec JSON nebo @path do souboru JSON s textem požadavku.
Odstranění kanálů Databricks
Odstranění kanálu
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Datový tok, který má být odstraněn.
Možnosti
Získejte datové kanály Databricks
Získejte kanál.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Potrubí k získání.
Možnosti
Aktualizace datových toků v Databricks
Získejte aktualizaci z aktivního kanálu.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
ID kanálu.
UPDATE_ID
ID aktualizace.
Možnosti
Seznam kanálů Databricks – události kanálu
Načtěte události pro potrubí.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Potrubí pro načtení událostí.
Možnosti
--filter string
Kritéria pro výběr podmnožinu výsledků vyjádřená pomocí syntaxe podobné jazyku SQL.
--max-results int
Maximální počet položek, které se mají vrátit na jedné stránce
--page-token string
Token stránky vrácený předchozím voláním
Seznam kanálů Databricks – kanály
Výpis kanálů definovaných v systému Delta Live Tables
databricks pipelines list-pipelines [flags]
Arguments
None
Možnosti
--filter string
Vyberte podmnožinu výsledků na základě zadaných kritérií.
--max-results int
Maximální počet položek, které se mají vrátit na jedné stránce.
--page-token string
Token stránky vrácený předchozím voláním
Seznam aktualizací kanálů Databricks
Zobrazí seznam aktualizací aktivního kanálu.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Kanál, pro který se mají vrátit aktualizace.
Možnosti
--max-results int
Maximální počet položek, které se mají vrátit na jedné stránce
--page-token string
Token stránky vrácený předchozím voláním
--until-update-id string
Pokud je k dispozici, vrátí aktualizace až včetně tohoto update_id.
Spuštění a aktualizace kanálů Databricks
Spusťte novou aktualizaci pro pipeline. Pokud už pro kanál existuje aktivní aktualizace, požadavek selže a aktivní aktualizace zůstane spuštěná.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Kanál, pro který se má spustit aktualizace.
Možnosti
--cause StartUpdateCause
Podporované hodnoty jsou: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
Pokud ano, tato aktualizace obnoví všechny tabulky před spuštěním.
--json JSON
Vložený řetězec JSON nebo @path do souboru JSON s textem požadavku.
--validate-only
Pokud je to pravda, tato aktualizace pouze ověří správnost zdrojového kódu potrubí, ale nevytváří ani nezveřejňuje žádné datové sady.
Aktualizace kanálů Databricks
Aktualizujte potrubí se zadanou konfigurací.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Jedinečný identifikátor pro tento kanál.
Možnosti
--allow-duplicate-names
Pokud je hodnota false, nasazení selže, pokud se název změnil a je v konfliktu s názvem jiné vývojové linky.
--budget-policy-id string
Rozpočtová zásada tohoto kanálu.
--catalog string
Katalog Unity pro publikování dat z této pipeline.
--channel string
Kanál vydání deklarativních pipeline pro Lakeflow Spark, který určuje, kterou verzi použít.
--continuous
Bez ohledu na to, jestli je kanál průběžný nebo aktivovaný.
--development
Určuje, jestli je potrubí ve vývojovém režimu.
--edition string
Edice produktu pipeline.
--expected-last-modified int
Pokud je k dispozici, čas poslední změny nastavení pipeline před úpravami.
--id string
Jedinečný identifikátor pro tento kanál.
--json JSON
Vložený řetězec JSON nebo @path do souboru JSON s textem požadavku.
--name string
Uživatelsky příjemný identifikátor pro toto potrubí
--photon
Určuje, jestli je pro tento kanál povolená funkce Photon.
--pipeline-id string
Jedinečný identifikátor pro tento kanál.
--schema string
Výchozí schéma (databáze), do kterého se tabulky čtou nebo publikují.
--serverless
Určuje, jestli je pro tento kanál povolený bezserverový výpočetní výkon.
--storage string
Kořenový adresář DBFS pro ukládání kontrolních bodů a tabulek
--target string
Cílové schéma (databáze) pro přidání tabulek v tomto kanálu.
Datapliny Databricks získat úrovně oprávnění
Získejte úrovně oprávnění pipeline.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Kanál, pro který chcete získat nebo spravovat oprávnění.
Možnosti
Získání oprávnění ke kanálům Databricks
Získejte oprávnění zpracovatelského řetězce. Potrubí mohou dědit oprávnění z kořenového objektu.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Kanál, pro který chcete získat nebo spravovat oprávnění.
Možnosti
Nastavení oprávnění kanálů Databricks
Nastavte oprávnění pipeline.
Nastaví oprávnění pro objekt a nahradí stávající oprávnění, pokud existují. Odstraní všechna přímá oprávnění, pokud nejsou zadána žádná. Objekty mohou dědit oprávnění z kořenového objektu.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Kanál, pro který chcete získat nebo spravovat oprávnění.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path do souboru JSON s textem požadavku.
Oprávnění k aktualizaci kanálů Databricks
Aktualizujte oprávnění na pipeline. Potrubí mohou dědit oprávnění z kořenového objektu.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Kanál, pro který chcete získat nebo spravovat oprávnění.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path do souboru JSON s textem požadavku.
Globální příznaky
--debug
Zda povolit protokolování ladění.
-h nebo --help
Zobrazení nápovědy k rozhraní příkazového řádku Databricks nebo související skupině příkazů nebo souvisejícímu příkazu
--log-file řetězec
Řetězec představující soubor, do kterého se zapisují výstupní protokoly. Pokud tento příznak není zadaný, výchozí hodnota je zápis výstupních protokolů do stderru.
--log-format formát
Typ formátu protokolu, text nebo json. Výchozí hodnota je text.
--log-level řetězec
Řetězec představující úroveň formátu protokolu. Pokud není zadána, je úroveň formátu protokolu zakázaná.
-o, --output typ
Typ výstupu příkazu, text nebo json. Výchozí hodnota je text.
-p, --profile řetězec
Název profilu v ~/.databrickscfg souboru, který se má použít ke spuštění příkazu. Pokud tento příznak není zadán, použije se profil s názvem DEFAULT, pokud existuje.
--progress-format formát
Formát pro zobrazení protokolů průběhu: default, append, inplacenebo json
-t, --target řetězec
Pokud je to relevantní, cílový balíček, který se má použít