Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Note
Tyto informace platí pro Databricks CLI verze 0.205 a vyšší. Rozhraní příkazového řádku Databricks je ve verzi Public Preview.
Použití rozhraní příkazového řádku Databricks podléhá licenci Databricks a oznámení o ochraně osobních údajů Databricks, včetně všech ustanovení o využití.
Skupina clusters příkazů v rozhraní příkazového řádku Databricks umožňuje vytvářet, spouštět, upravovat, vypisovat, ukončovat a odstraňovat clustery.
Cluster Databricks je sada výpočetních prostředků a konfigurací, na kterých spouštíte úlohy přípravy dat, datové vědy a analýzy dat, jako jsou produkční kanály ETL, analýzy streamování, ad hoc analýzy a strojové učení. Podívejte se na přehled klasických výpočetních prostředků.
Important
Databricks uchovává informace o konfiguraci clusteru pro ukončené clustery po dobu 30 dnů. Pokud chcete zachovat konfiguraci clusteru pro všechny účely i po jeho ukončení po dobu delší než 30 dnů, může správce připnout cluster na seznam clusterů.
Databricks Clustery – změna vlastníka
Změňte vlastníka clusteru. Abyste mohli tuto operaci provést, musíte být správce a cluster musí být ukončen. ID aplikace služby principal lze zadat jako argument pro owner_username.
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Arguments
CLUSTER_ID
ID clusteru.
OWNER_USERNAME
Nový vlastník cluster_id po tomto RPC.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
Vytvoření clusterů Databricks
Vytvořte nový cluster. Tento příkaz v případě potřeby získá nové instance od poskytovatele cloudu. Tento příkaz je asynchronní; vrácenou cluster_id lze použít k dotazování stavu clusteru. Při návratu tohoto příkazu bude cluster ve stavu ČEKÁ. Jakmile se cluster dostane do stavu SPUŠTĚNO, bude možné ho použít. Databricks nemusí být schopná získat některé požadované uzly kvůli omezením poskytovatele cloudu (limity účtů, spotová cena atd.) nebo přechodným problémům se sítí.
Pokud Databricks získá alespoň 85% požadovaných uzlů na vyžádání, vytvoření clusteru bude úspěšné. V opačném případě se cluster ukončí s informativní chybovou zprávou.
Místo vytváření definice JSON clusteru od začátku doporučuje Databricks vyplnit uživatelské rozhraní pro vytvoření výpočetního rozhraní a pak zkopírovat vygenerovanou definici JSON z uživatelského rozhraní.
databricks clusters create SPARK_VERSION [flags]
Arguments
SPARK_VERSION
Verze Sparku clusteru, například 13.3.x-scala2.12. Seznam dostupných verzí Sparku je možné načíst pomocí rozhraní API pro seznam dostupných verzí Sparku .
Možnosti
--apply-policy-default-values
Pokud je nastavena hodnota true, pevné a výchozí hodnoty ze zásady budou použity pro pole, která jsou vynechána.
--autotermination-minutes int
Automaticky ukončuje cluster po uplynutí stanovené doby nečinnosti v minutách.
--cluster-name string
Název clusteru požadovaný uživatelem
--data-security-mode DataSecurityMode
Režim zabezpečení dat rozhoduje, jaký model zásad správného řízení dat se má použít při přístupu k datům z clusteru. Podporované hodnoty: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
Volitelné ID fondu instancí pro ovladač clusteru patří.
--driver-node-type-id string
Typ uzlu ovladače Spark.
--enable-elastic-disk
Automatické škálování místního úložiště: Pokud je povoleno, tento cluster dynamicky získá další místo na disku, když pracovním procesům Sparku dochází místo na disku.
--enable-local-disk-encryption
Jestli chcete povolit LUKS na místních discích virtuálních počítačů clusteru.
--instance-pool-id string
Volitelné ID fondu instancí, do kterého cluster patří.
--is-single-node
Toto pole lze použít pouze v případě, že je typ = CLASSIC_PREVIEW.
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--kind Kind
Druh výpočtu popsaného v této specifikaci. Podporované hodnoty: CLASSIC_PREVIEW
--no-wait
Nečekejte na dosažení stavu SPUŠTĚNO
--node-type-id string
Toto pole kóduje prostředky dostupné pro každý z uzlů Sparku v tomto clusteru prostřednictvím jedné hodnoty.
--num-workers int
Počet pracovních jednotek, které by tento cluster měl mít.
--policy-id string
ID zásady clusteru použité k vytvoření clusteru, pokud je k dispozici.
--runtime-engine RuntimeEngine
Určuje modul runtime clusteru, buď standardní, nebo Photon. Podporované hodnoty: NULL, PHOTON, STANDARD
--single-user-name string
Jedno uživatelské jméno, pokud je data_security_mode SINGLE_USER.
--timeout duration
maximální doba dosažení stavu RUNNING (výchozí 20m0s)
--use-ml-runtime
Toto pole lze použít pouze v případě, že je typ = CLASSIC_PREVIEW.
Odstranění clusterů Databricks
Ukončete klastr se zadaným ID. Cluster se odebere asynchronně. Po dokončení ukončení bude cluster ve stavu TERMINATED. Pokud je cluster již ve stavu TERMINATING nebo stavu TERMINATED, nic se nestane.
databricks clusters delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster k ukončení.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--no-wait
Nečekejte, až dosáhnete stavu TERMINATED
--timeout duration
Maximální doba dosažení TERMINATED stavu (výchozí 20m0s)
Úpravy clusterů Databricks
Aktualizujte konfiguraci clusteru tak, aby odpovídala zadaným atributům a velikosti. Cluster je možné aktualizovat, pokud je ve stavu SPUŠTĚNO nebo UKONČENO.
Pokud je cluster v době spuštěného stavu aktualizovaný, restartuje se, aby se nové atributy mohly projevit.
Pokud je cluster aktualizován ve stavu TERMINATED, zůstane ve stavu TERMINATED. Při příštím spuštění pomocí rozhraní API pro spuštění clusterů se nové atributy projeví. Všechny pokusy o aktualizaci clusteru v jiném stavu budou odmítnuty s kódem chyby INVALID_STATE.
Clustery vytvořené službou Úlohy Databricks nelze upravit.
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Arguments
CLUSTER_ID
ID clusteru
SPARK_VERSION
Verze Sparku clusteru, například 13.3.x-scala2.12. Seznam dostupných verzí Sparku je možné načíst pomocí rozhraní API pro seznam dostupných verzí Sparku .
Možnosti
--apply-policy-default-values
Pro pole, která jsou vynechána, použijte pevné a výchozí hodnoty ze zásad.
--autotermination-minutes int
Cluster se automaticky ukončí po uplynutí této doby neaktivity, v minutách.
--cluster-name string
Název clusteru požadovaný uživatelem
--data-security-mode DataSecurityMode
Režim zabezpečení dat rozhoduje, jaký model zásad správného řízení dat se má použít při přístupu k datům z clusteru. Podporované hodnoty: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARDLEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
Volitelné ID fondu instancí pro ovladač clusteru patří.
--driver-node-type-id string
Typ uzlu ovladače Spark.
--enable-elastic-disk
Automatické škálování místního úložiště: Pokud je povoleno, tento cluster dynamicky získá další místo na disku, když pracovním procesům Sparku dochází místo na disku.
--enable-local-disk-encryption
Jestli chcete povolit LUKS na místních discích virtuálních počítačů clusteru.
--instance-pool-id string
Volitelné ID fondu instancí, do kterého cluster patří.
--is-single-node
Toto pole lze použít pouze v případě, že je typ = CLASSIC_PREVIEW.
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--kind Kind
Druh výpočtu popsaného v této specifikaci. Podporované hodnoty: CLASSIC_PREVIEW
--no-wait
nečekejte na dosažení stavu RUNNING
--node-type-id string
Toto pole kóduje prostředky dostupné pro každý z uzlů Sparku v tomto clusteru prostřednictvím jedné hodnoty.
--num-workers int
Počet pracovních jednotek, které by tento cluster měl mít.
--policy-id string
ID zásady clusteru použité k vytvoření clusteru, pokud je k dispozici.
--runtime-engine RuntimeEngine
Určuje modul runtime clusteru, buď standardní, nebo Photon. Podporované hodnoty: NULL, PHOTON, STANDARD
--single-user-name string
Jedno uživatelské jméno, pokud je data_security_mode SINGLE_USER.
--timeout duration
maximální doba dosažení stavu RUNNING (výchozí 20m0s)
--use-ml-runtime
Toto pole lze použít pouze v případě, že je typ = CLASSIC_PREVIEW.
Události clusterů Databricks
Zobrazí seznam událostí o aktivitě clusteru. Toto rozhraní API je paginované. Pokud se mají přečíst další události, odpověď obsahuje všechny parametry potřebné k vyžádání další stránky událostí.
databricks clusters events CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID clusteru, o kterém chcete načíst události.
Možnosti
--end-time int
Koncový čas v milisekundách.
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--limit int
Zastaralé: místo toho použijte page_token v kombinaci s page_size.
--offset int
Zastaralé: místo toho použijte page_token v kombinaci s page_size.
--order GetEventsOrder
Pořadí pro výpis událostí. Podporované hodnoty: ASC, DESC
--page-size int
Maximální počet událostí, které se mají zahrnout na stránku událostí.
--page-token string
Pomocí next_page_token nebo prev_page_token vrácených z předchozího požadavku uveďte další nebo předchozí stránku událostí.
--start-time int
Počáteční čas v epochových milisekundách.
Získání clusterů Databricks
Získá informace pro cluster s daným identifikátorem. Clustery je možné popsat, když jsou spuštěné, nebo až 60 dnů po jejich ukončení.
databricks clusters get CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, o kterém se mají načíst informace.
Možnosti
Seznam clusterů Databricks
Zobrazí seznam informací o všech připnutých a aktivních clusterech a všech clusterech ukončených během posledních 30 dnů. Clustery ukončené před tímto obdobím nejsou zahrnuty.
databricks clusters list [flags]
Arguments
None
Možnosti
--cluster-sources []string
Filtrování clusterů podle zdroje
--cluster-states []string
Filtrování clusterů podle stavů
--is-pinned
Filtruj clustery podle statusu připnutí
--page-size int
Toto pole použijte k určení maximálního počtu výsledků, které má server vrátit.
--page-token string
Pomocí next_page_token nebo prev_page_token vrácených z předchozího požadavku zobrazíte další nebo předchozí stránku clusterů.
--policy-id string
Filtrování clusterů podle ID politiky
Seznam typů uzlů clusterů Databricks
Seznam podporovaných typů uzlů Sparku Tyto typy uzlů je možné použít ke spuštění clusteru.
databricks clusters list-node-types [flags]
Arguments
None
Možnosti
Seznam zón clusterů Databricks
Uveďte zóny dostupnosti, ve kterých je možné clustery vytvořit (například usa–západ-2a). Tyto zóny lze použít ke spuštění clusteru.
databricks clusters list-zones [flags]
Arguments
None
Možnosti
Trvalé odstranění clusterů Databricks
Trvale odstraňte klastr. Tento cluster se ukončí a prostředky se asynchronně odeberou.
Uživatelé navíc neuvidí trvale odstraněné clustery v seznamu clusterů a uživatelé rozhraní API už nebudou moct provádět žádnou akci u trvale odstraněných clusterů.
databricks clusters permanent-delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, který se má odstranit.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
Pin kód clusterů Databricks
Připněte cluster, aby se zajistilo, že cluster bude vždy vrácen rozhraním API ListClusters. Připnutí clusteru, který už je připnutý, nevytvoří žádný efekt. Toto rozhraní API můžou volat jenom správci pracovního prostoru.
databricks clusters pin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID clusteru.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
Změna velikosti clusterů Databricks
Změňte velikost clusteru tak, aby měl požadovaný počet pracovních uzlů. To se nezdaří, pokud cluster není ve spuštěném stavu.
databricks clusters resize CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, který se má upravit velikostí.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--no-wait
Nečekejte na dosažení stavu SPUŠTĚNO
--num-workers int
Počet pracovních jednotek, které by tento cluster měl mít.
--timeout duration
Maximální doba dosažení stavu RUNNING (výchozí 20m0s)
Restartování clusterů Databricks
Restartujte cluster se zadaným ID. Pokud cluster není aktuálně ve stavu SPUŠTĚNO, nic se nestane.
databricks clusters restart CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, který se má spustit.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--no-wait
Nečekejte na dosažení stavu SPUŠTĚNO
--restart-user string
Uživatel, který cluster restartoval.
--timeout duration
Maximální doba dosažení stavu RUNNING (výchozí 20m0s)
Verze Clustery Databricks Spark
Uveďte dostupné verze Sparku. Tyto verze lze použít ke spuštění clusteru.
databricks clusters spark-versions [flags]
Arguments
None
Možnosti
Spuštění clusterů Databricks
Spusťte ukončený cluster se zadaným ID. Funguje to podobně jako createCluster s výjimkou: – předchozí ID clusteru a atributy se zachovají. – Cluster začíná poslední zadanou velikostí clusteru. – Pokud byl předchozí cluster automatickým škálováním, spustí se aktuální cluster s minimálním počtem uzlů. – Pokud cluster není aktuálně ve stavu TERMINATED, nic se nestane. – Clustery spuštěné pro spuštění úlohy nelze spustit.
databricks clusters start CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, který se má spustit.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--no-wait
Nečekejte na dosažení stavu SPUŠTĚNO
--timeout duration
Maximální doba dosažení stavu RUNNING (výchozí 20m0s)
Odepnutí clusterů Databricks
Odepnutím clusteru umožníte, aby se cluster nakonec odebral z rozhraní ListClusters API. Zrušení připnutí clusteru, který není připnutý, nebude mít žádný vliv. Toto rozhraní API můžou volat jenom správci pracovního prostoru.
databricks clusters unpin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID clusteru.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
Aktualizace clusterů Databricks
Aktualizujte konfiguraci clusteru tak, aby odpovídala částečné sadě atributů a velikosti. Označte pole, která se mají aktualizovat pomocí pole update_mask v textu požadavku. Cluster je možné aktualizovat, pokud je ve stavu SPUŠTĚNO nebo UKONČENO. Pokud je cluster v době spuštěného stavu aktualizovaný, restartuje se, aby se nové atributy mohly projevit. Pokud je cluster aktualizován ve stavu TERMINATED, zůstane ve stavu TERMINATED. Aktualizované atributy se projeví při příštím spuštění clusteru pomocí rozhraní API pro spuštění clusterů. Pokusy o aktualizaci clusteru v jakémkoli jiném stavu budou odmítnuty kódem chyby INVALID_STATE. Clustery vytvořené službou Úlohy Databricks nelze aktualizovat.
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Arguments
CLUSTER_ID
Identifikátor clusteru.
UPDATE_MASK
Slouží k určení atributů clusteru a velikost polí, která se mají aktualizovat. Další podrobnosti najdete v https://google.aip.dev/161. Maska pole musí být jeden řetězec, přičemž více polí oddělených čárkami (bez mezer). Cesta k poli je relativní vzhledem k objektu zdroje, přičemž tečka (.) slouží k navigaci mezi dílčími poli (například author.given_name). Specifikace prvků v sekvenčních nebo mapových polích není povolena, protože lze zadat pouze celé pole kolekce. Názvy polí musí přesně odpovídat názvům polí zdroje. Maska _ pole označuje úplnou náhradu. Doporučujeme vždy explicitně vypsat aktualizovaná pole a vyhnout se použití _ zástupných znaků, protože může vést k nezamýšleným výsledkům, pokud se rozhraní API v budoucnu změní.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
--no-wait
Nečekejte na dosažení stavu SPUŠTĚNO
--timeout duration
Maximální doba dosažení stavu RUNNING (výchozí 20m0s)
Úroveň oprávnění clusterů Databricks
Získejte úrovně oprávnění pro klastr.
databricks clusters get-permission-levels CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, pro který chcete získat nebo spravovat oprávnění.
Možnosti
Oprávnění pro clustery Databricks
Získejte oprávnění ke clusteru. Clustery můžou dědit oprávnění z kořenového objektu.
databricks clusters get-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, pro který chcete získat nebo spravovat oprávnění.
Možnosti
Nastavení oprávnění clusterů Databricks
Nastavte oprávnění clusteru a nahraďte stávající oprávnění, pokud existují. Odstraní všechna přímá oprávnění, pokud nejsou zadána žádná. Objekty mohou dědit oprávnění z kořenového objektu.
databricks clusters set-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, pro který chcete získat nebo spravovat oprávnění.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
Oprávnění k aktualizaci clusterů Databricks
Aktualizujte oprávnění v clusteru. Clustery můžou dědit oprávnění z kořenového objektu.
databricks clusters update-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster, pro který chcete získat nebo spravovat oprávnění.
Možnosti
--json JSON
Vložený řetězec JSON nebo @path soubor JSON s textem požadavku
Globální příznaky
--debug
Zda povolit protokolování ladění.
-h nebo --help
Zobrazení nápovědy k rozhraní příkazového řádku Databricks nebo související skupině příkazů nebo souvisejícímu příkazu
--log-file řetězec
Řetězec představující soubor pro zápis výstupních protokolů do. Pokud tento příznak není zadaný, výchozí hodnota je zápis výstupních protokolů do stderru.
--log-format formát
Typ formátu protokolu nebo textjson. Výchozí hodnota je text.
--log-level řetězec
Řetězec představující úroveň formátu protokolu. Pokud není zadána, je úroveň formátu protokolu zakázaná.
-o, --output typ
Typ výstupu příkazu nebo textjson. Výchozí hodnota je text.
-p, --profile řetězec
Název profilu v ~/.databrickscfg souboru, který se má použít ke spuštění příkazu. Pokud tento příznak není zadán, použije se název DEFAULT profilu, pokud existuje.
--progress-format formát
Formát pro zobrazení protokolů průběhu: default, append, inplacenebo json
-t, --target řetězec
Pokud je to možné, cíl sady prostředků, který se má použít