Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Note
Ezek az információk a Databricks CLI 0.205-ös és újabb verzióira vonatkoznak. A Databricks parancssori felülete nyilvános előzetes verzióban érhető el.
A Databricks CLI használatára a Databricks Licenc és a Databricks adatvédelmi nyilatkozata vonatkozik, beleértve a használati adatokra vonatkozó rendelkezéseket is.
A clustersDatabricks parancssori felületének parancscsoportja lehetővé teszi fürtök létrehozását, indítását, szerkesztését, listázását, leállítását és törlését.
A Databricks-fürt egy olyan számítási erőforrás és konfiguráció összessége, melyeken adatfeldolgozási, adatkutatási és adatelemzési munkaterheléseket futtat, mint például a produkciós ETL-folyamatokat, streamelemzéseket, alkalmi elemzéseket és a gépi tanulás feladatait. Tekintse meg a klasszikus számítás áttekintését.
Important
Databricks 30 napig megőrzi a leállított fürtök konfigurációs adatait. Ha az általános célú fürtkonfigurációt 30 napnál hosszabb ideig tartó megszakítás után is meg szeretné tartani, a rendszergazda rögzítheti azt a fürtlistán.
databricks-fürtök változástulajdonosa
Módosítsa a fürt tulajdonosát. Rendszergazdának kell lennie, és a fürtöt le kell állítani a művelet végrehajtásához. A szolgáltatásazonosító (=service principal) alkalmazásazonosító argumentumként adható meg az owner_username számára.
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Arguments
CLUSTER_ID
A fürt azonosítója.
OWNER_USERNAME
Az RPC után a cluster_id új tulajdonost kap.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
databricks-fürtök létrehozása
Új csoport létrehozása. Ez a parancs szükség esetén új példányokat szerez be a felhőszolgáltatótól. A fürt létrehozása általában 5–10 percet vesz igénybe. Ez a parancs aszinkron; a visszaadott cluster_id használható a fürt állapotának lekérdezéséhez. Amikor ez a parancs visszatér, a fürt FÜGGŐBEN állapotban van. A fürt akkor használható, ha futási állapotba lép. Előfordulhat, hogy a Databricks nem tudja beszerezni a kért csomópontok egy részét a felhőszolgáltató korlátozásai (fiókkorlátok, azonnali ár stb.) vagy átmeneti hálózati problémák miatt.
Ha a Databricks a kért igény szerinti csomópontok legalább 85%-át szerzi be, a fürt létrehozása sikeres lesz. Ellenkező esetben a klaszter informatív hibaüzenettel fejeződik be.
Ahelyett, hogy a fürt JSON-definícióját nulláról írná meg, a Databricks azt javasolja, töltse ki a számítás létrehozásának felhasználói felületét, majd másolja a generált JSON-definíciót a felhasználói felületről.
databricks clusters create SPARK_VERSION [flags]
Arguments
SPARK_VERSION
A fürt Spark verziója, például a 13.3.x-scala2.12. Az elérhető Spark-verziók listája az elérhető Spark-verziók listájának API-val kérhető le.
Beállítások
--apply-policy-default-values
Ha igaz értékre van állítva, a házirend rögzített és alapértelmezett értékeit használja a rendszer a kihagyott mezőkhöz.
--autotermination-minutes int
Automatikusan leállítja a fürtöt, miután az meghatározott percekig inaktív.
--cluster-name string
A felhasználó által kért fürtnév.
--data-security-mode DataSecurityMode
Az adatbiztonsági mód határozza meg, hogy milyen adatirányítási modellt használjunk, amikor elérjük egy fürt adatait. Támogatott értékek: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, , , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
A fürt illesztőprogramjához tartozó példánycsoport opcionális azonosítója.
--driver-node-type-id string
A Spark-illesztőprogram csomóponttípusa.
--enable-elastic-disk
Helyi tároló automatikus skálázása: ha engedélyezve van, ez a fürt dinamikusan további lemezterületet szerez be, ha a Spark-feldolgozók kevés lemezterületen futnak.
--enable-local-disk-encryption
Engedélyezi-e a LUKS-t a fürt virtuális gépeinek helyi lemezén.
--instance-pool-id string
Annak a példánykészletnek az opcionális azonosítója, amelyhez a fürt tartozik.
--is-single-node
Ez a mező csak akkor használható, ha kind = CLASSIC_PREVIEW.
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--kind Kind
Az ebben a számítási specifikációban leírt számítási típus. Támogatott értékek: CLASSIC_PREVIEW
--no-wait
Ne várja meg, hogy elérje a FUTÓ állapotot
--node-type-id string
Ez a mező egyetlen értéken keresztül kódolja a fürtben lévő Spark-csomópontok számára elérhető erőforrásokat.
--num-workers int
Azoknak a munkavégző csomópontoknak a száma, amellyel ennek a fürtnek rendelkeznie kell.
--policy-id string
A fürt létrehozásához használt fürtszabályzat azonosítója, ha van ilyen.
--runtime-engine RuntimeEngine
Meghatározza a fürt futtatókörnyezeti motorját, akár standard, akár Photon. Támogatott értékek: NULL, PHOTON, STANDARD
--single-user-name string
Egyetlen felhasználónév, ha a data_security_mode SINGLE_USER.
--timeout duration
a FUTÓ állapot elérésének maximális időtartama (alapértelmezett 20m0s)
--use-ml-runtime
Ez a mező csak akkor használható, ha kind = CLASSIC_PREVIEW.
A Databricks-fürtök törlése
Bontsa le a fürtöt a megadott azonosítóval. A fürt aszinkron módon van eltávolítva. Miután a megszakítás befejeződött, a fürt TERMINATED állapotba kerül. Ha a fürt már TERMINATING vagy TERMINATED állapotban van, semmi sem történik.
databricks clusters delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
A befejezendő fürt.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--no-wait
Ne várjon az TERMINATED állapot elérésére
--timeout duration
Az állapot elérésének TERMINATED maximális időtartama (alapértelmezett 20m0s)
databricks-fürtök szerkesztése
Frissítse a klaszter konfigurációját a megadott attribútumoknak és méretnek megfelelően. A fürt frissíthető, ha FUT vagy LEÁLLÍTVA állapotban van.
Ha egy fürt futó állapotban frissül, újraindul, hogy az új attribútumok érvénybe léphessenek.
Ha egy fürt a LEÁLLÍTOTT állapotban frissül, akkor LEÁLLÍTOTT marad. A fürtök/start API következő indításakor az új attribútumok érvénybe lépnek. Bármely más állapotban lévő fürt frissítésére tett kísérleteket a rendszer elutasítja egy INVALID_STATE hibakóddal.
A Databricks Jobs szolgáltatás által létrehozott fürtöket nem lehet szerkeszteni.
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Arguments
CLUSTER_ID
A fürt azonosítója
SPARK_VERSION
A fürt Spark verziója, például a 13.3.x-scala2.12. Az elérhető Spark-verziók listája az elérhető Spark-verziók listájának API-val kérhető le.
Beállítások
--apply-policy-default-values
Használjon rögzített és alapértelmezett értékeket a szabályzatból a kihagyott mezőkhöz.
--autotermination-minutes int
Automatikusan leállítja a fürtöt, miután percek alatt inaktív.
--cluster-name string
A felhasználó által kért fürtnév.
--data-security-mode DataSecurityMode
Az adatbiztonsági mód határozza meg, hogy milyen adatirányítási modellt használjunk, amikor elérjük egy fürt adatait. Támogatott értékek: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARDLEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
A fürt illesztőprogramjához tartozó példánycsoport opcionális azonosítója.
--driver-node-type-id string
A Spark-illesztőprogram csomóponttípusa.
--enable-elastic-disk
Helyi tároló automatikus skálázása: ha engedélyezve van, ez a fürt dinamikusan további lemezterületet szerez be, ha a Spark-feldolgozók kevés lemezterületen futnak.
--enable-local-disk-encryption
Engedélyezi-e a LUKS-t a fürt virtuális gépeinek helyi lemezén.
--instance-pool-id string
Annak a példánykészletnek az opcionális azonosítója, amelyhez a fürt tartozik.
--is-single-node
Ez a mező csak akkor használható, ha kind = CLASSIC_PREVIEW.
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--kind Kind
Az ebben a számítási specifikációban leírt számítási típus. Támogatott értékek: CLASSIC_PREVIEW
--no-wait
ne várja meg, amíg eléri a FUTÓ állapotot
--node-type-id string
Ez a mező egyetlen értéken keresztül kódolja a fürtben lévő Spark-csomópontok számára elérhető erőforrásokat.
--num-workers int
Azoknak a munkavégző csomópontoknak a száma, amellyel ennek a fürtnek rendelkeznie kell.
--policy-id string
A fürt létrehozásához használt fürtszabályzat azonosítója, ha van ilyen.
--runtime-engine RuntimeEngine
Meghatározza a fürt futtatókörnyezeti motorját, akár standard, akár Photon. Támogatott értékek: NULL, PHOTON, STANDARD
--single-user-name string
Az adatbiztonsági mód SINGLE_USER állapotában egyetlen felhasználónév megadása szükséges.
--timeout duration
a FUTÓ állapot elérésének maximális időtartama (alapértelmezett 20m0s)
--use-ml-runtime
Ez a mező csak akkor használható, ha kind = CLASSIC_PREVIEW.
Databricks klaszterek eseményei
A fürt tevékenységével kapcsolatos események listázása. Ez az API lapszámozott. Ha több eseményt kell elolvasni, a válasz tartalmazza az események következő oldalának lekéréséhez szükséges összes paramétert.
databricks clusters events CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az események lekéréséhez szükséges fürtazonosító.
Beállítások
--end-time int
A befejezési idő ezredmásodpercben.
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--limit int
Elavult: használja a page_token-t a page_size-szal kombinációban.
--offset int
Elavult: használja a page_token-t a page_size-szal kombinációban.
--order GetEventsOrder
Az események listázásának sorrendje. Támogatott értékek: ASC, DESC
--page-size int
Az események oldalára felvehető események maximális száma.
--page-token string
Az előző kérésből visszaadott next_page_token vagy prev_page_token használatával listázhatja az események következő vagy előző oldalát.
--start-time int
A kezdő időpont ezredmásodpercben.
A Databricks-fürtök lekérése
Lekéri egy fürt adatait a megadott azonosító alapján. A fürtök futás közben vagy a leállásuk után legfeljebb 60 nappal írhatók le.
databricks clusters get CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az a fürt, amelyről adatokat szeretne lekérni.
Beállítások
databricks-fürtök listája
Listázhatja az összes rögzített és aktív fürt adatait, valamint az elmúlt 30 napban leállt összes fürtöt. Az időszak előtt leállított fürtök nincsenek benne.
databricks clusters list [flags]
Arguments
None
Beállítások
--cluster-sources []string
Fürtök szűrése forrás alapján
--cluster-states []string
Fürtök szűrése állapotok szerint
--is-pinned
Fürtök szűrése a rögzített státusz szerint
--page-size int
Ezzel a mezővel adhatja meg a kiszolgáló által visszaadandó eredmények maximális számát.
--page-token string
Használja az előző kérésből visszaadott next_page_token vagy prev_page_token kulcsot a következő vagy előző klaszteroldal kilistázásához.
--policy-id string
Fürtök szűrése policy id alapján
databricks-fürtök list-node-types
A támogatott Spark-csomóponttípusok listája. Ezek a csomóponttípusok használhatók fürt elindítására.
databricks clusters list-node-types [flags]
Arguments
None
Beállítások
databricks-fürtök listazónái
Sorolja fel azokat a rendelkezésre állási zónákat, ahol fürtök hozhatók létre (például us-west-2a). Ezek a zónák klaszter indítására használhatók.
databricks clusters list-zones [flags]
Arguments
None
Beállítások
Databricks-klaszterek végleges törlése
Klaszter végleges törlése. A klaszter megszűnik, és az erőforrások aszinkron módon eltávolításra kerülnek.
Ezenkívül a felhasználók többé nem látják a véglegesen törölt fürtöket a fürtlistában, és az API-felhasználók már nem végezhetnek semmilyen műveletet a véglegesen törölt fürtökön.
databricks clusters permanent-delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
A törölni kívánt fürt.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
databricks-fürtök pin-kódja
Rögzítsen egy fürtöt, hogy a ListClusters API mindig visszaadja a fürtöt. Egy már rögzített fürt újra rögzítése semmilyen hatással nem lesz. Ezt az API-t csak a munkaterület rendszergazdái hívhatják meg.
databricks clusters pin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
A fürt azonosítója.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
adatfürtök átméretezése
Méretezze át a fürtöt úgy, hogy a kívánt számú feldolgozót használjon. Ez sikertelen lesz, kivéve, ha a fürt FUT állapotban van.
databricks clusters resize CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az átméretezni kívánt fürt.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--no-wait
Ne várja meg, hogy elérje a FUTÓ állapotot
--num-workers int
Azoknak a munkavégző csomópontoknak a száma, amellyel ennek a fürtnek rendelkeznie kell.
--timeout duration
A FUTÓ állapot elérésének maximális időtartama (alapértelmezett 20m0s)
A databricks-fürtök újraindulnak
Indítsa újra a cluster-t a megadott azonosítóval. Ha a fürt jelenleg nem FUT állapotban van, semmi sem történik.
databricks clusters restart CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az elindítandó klaszter.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--no-wait
Ne várja meg, hogy elérje a FUTÓ állapotot
--restart-user string
Az a felhasználó, aki újraindította a klasztert.
--timeout duration
A FUTÓ állapot elérésének maximális időtartama (alapértelmezett 20m0s)
Databricks-klaszterek Spark-verziói
Az elérhető Spark-verziók listája. Ezek a verziók fürtök indítására használhatók.
databricks clusters spark-versions [flags]
Arguments
None
Beállítások
Databricks-fürtök indítása
Indítsa el a leállított fürtöt a megadott azonosítóval. Ez a createClusterhez hasonlóan működik, kivéve: – Az előző fürtazonosító és -attribútumok megmaradnak. – A fürt a legutóbb meghatározott fürtmérettel kezdődik. – Ha az előző fürt automatikus skálázási fürt volt, az aktuális fürt a csomópontok minimális számával kezdődik. – Ha a fürt jelenleg nem leállított állapotban van, semmi sem történik. – A feladat futtatásához indított fürtök nem indíthatók el.
databricks clusters start CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az elindítandó klaszter.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--no-wait
Ne várja meg, hogy elérje a FUTÓ állapotot
--timeout duration
A FUTÓ állapot elérésének maximális időtartama (alapértelmezett 20m0s)
databricks-fürtök feloldása
Szüntesse meg a fürt rögzítését, hogy a fürt később eltávolítható legyen a ListClusters API-ból. A nem rögzített fürt rögzítésének feloldása nem lesz hatással. Ezt az API-t csak a munkaterület rendszergazdái hívhatják meg.
databricks clusters unpin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
A fürt azonosítója.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
Databricks-klaszterek frissítése
Frissítse a fürt konfigurációját úgy, hogy megfeleljen az attribútumok és a méret részleges halmazának. A kérelem törzsének update_mask mezőjével frissítendő mezők megjelölése. A fürt frissíthető, ha FUT vagy LEÁLLÍTVA állapotban van. Ha egy fürt fut állapotban frissül, újraindul, hogy az új attribútumok érvénybe léphessenek. Ha egy fürt leállított állapotban van frissítve, akkor leállítva marad. A frissített attribútumok a fürt következő indításakor lépnek érvénybe a fürtök indítási API-jának használatával. A fürt bármely más állapotban történő frissítésére tett kísérleteket a rendszer egy INVALID_STATE hibakóddal elutasítja. A Databricks Jobs szolgáltatás által létrehozott fürtök nem frissíthetők.
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Arguments
CLUSTER_ID
A klaszter azonosítója.
UPDATE_MASK
A frissítendő fürtattribútumok és méretmezők megadására szolgál. További részletekért lásd a https://google.aip.dev/161. A mezőmaszknak egyetlen sztringnek kell lennie, több mezőt vesszővel elválasztva (szóköz nélkül). A mező elérési útvonala az erőforrás-objektumhoz képest, pont (.) használatával az almezők közötti navigáláshoz (például author.given_name). A szekvencia- vagy térképmezők elemeinek megadása nem engedélyezett, mivel csak a teljes gyűjteménymező adható meg. A mezőneveknek pontosan meg kell egyeznie az erőforrásmezők nevével. A mezőmaszk _ a teljes cserét jelzi. Javasoljuk, hogy mindig explicit módon sorolja fel a frissített mezőket, és kerülje a helyettesítő karakterek használatát _ , mivel ez nem várt eredményekhez vezethet, ha az API a jövőben megváltozik.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
--no-wait
Ne várja meg, hogy elérje a FUTÓ állapotot
--timeout duration
A FUTÓ állapot elérésének maximális időtartama (alapértelmezett 20m0s)
databricks-fürtök engedélyszintek-lekérése
Fürt engedélyszintjeinek lekérése.
databricks clusters get-permission-levels CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az a fürt, amelyhez jogosultságokat szerez vagy kezel.
Beállítások
databricks-fürtök engedélyek lekérése
Fürtengedélyek lekérése. A klaszterek a gyökérobjektumukból örökölhetik az engedélyeket.
databricks clusters get-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az a fürt, amelyhez jogosultságokat szerez vagy kezel.
Beállítások
databricks-fürtök beállítási engedélyei
Fürtengedélyek beállítása, meglévő engedélyek lecserélése, ha léteznek. Törli az összes közvetlen engedélyt, ha egy sincs megadva. Az objektumok a gyökérobjektumtól örökölhetnek engedélyeket.
databricks clusters set-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az a fürt, amelyhez jogosultságokat szerez vagy kezel.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
databricks-fürtök frissítési engedélyei
Frissítse a klaszter jogosultságait. A klaszterek a gyökérobjektumukból örökölhetik az engedélyeket.
databricks clusters update-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Az a fürt, amelyhez jogosultságokat szerez vagy kezel.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével
Globális jelzők
--debug
Engedélyezze-e a hibakeresési naplózást.
-h vagy --help
Súgó megjelenítése a Databricks parancssori felületéhez, a kapcsolódó parancscsoporthoz vagy a kapcsolódó parancshoz.
--log-file húr
A kimeneti naplók írásához a fájlt jelképező sztring. Ha ez a jelző nincs megadva, akkor az alapértelmezett beállítás a kimeneti naplók stderrbe írása.
--log-format formátum
A naplóformátum típusa vagy textjson. Az alapértelmezett érték a text.
--log-level húr
A naplóformátum szintjét képviselő karakterlánc. Ha nincs megadva, a naplóformátum szintje le van tiltva.
-o, --output típus
A parancs kimenettípusa vagy textjson. Az alapértelmezett érték a text.
-p, --profile húr
A parancs futtatásához használni kívánt fájl profiljának ~/.databrickscfg neve. Ha ez a jelző nincs megadva, akkor ha létezik, a rendszer a névvel ellátott DEFAULT profilt használja.
--progress-format formátum
A folyamatnaplók megjelenítésének formátuma: default, append, inplacevagy json
-t, --target húr
Adott esetben a használni kívánt csomagcél