Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
Note
Ezek az információk a Databricks CLI 0.205-ös és újabb verzióira vonatkoznak. A Databricks parancssori felülete nyilvános előzetes verzióban érhető el.
A Databricks CLI használatára a Databricks Licenc és a Databricks adatvédelmi nyilatkozata vonatkozik, beleértve a használati adatokra vonatkozó rendelkezéseket is.
A pipelinesDatabricks parancssori felületének parancscsoportja két funkciókészletet tartalmaz. Az első készlet lehetővé teszi a folyamatprojektek és munkafolyamatok kezelését. A második készlet lehetővé teszi a Databricks folyamatobjektumainak részleteit, szerkesztését, törlését, elindítását és megtekintését.
A folyamatokról további információt a Lakeflow Spark Deklaratív folyamatok című témakörben talál.
Folyamatprojektek kezelése
Az alábbi parancsok lehetővé teszik a projektek folyamatainak kezelését. A folyamatprojektek olyan kötegek, amelyek egy vagy több folyamatobjektumot tartalmazhatnak.
Databricks-folyamatok üzembe helyezése
A folyamatok üzembe helyezéséhez töltse fel a projektben definiált összes fájlt a cél-munkaterületre, és hozza létre vagy frissítse a munkaterületen definiált folyamatokat.
Fontos
A parancs futtatásához egy Databricks Asset Bundles-fájlnak databricks.yml a projektkönyvtár gyökerében kell lennie. A folyamatprojektet létrehozó, majd a folyamatot üzembe helyező és futtató oktatóanyagért lásd: Lakeflow Spark Deklaratív folyamatok fejlesztése Databricks-eszközcsomagokkal.
databricks pipelines deploy [flags]
Arguments
None
Beállítások
--auto-approve
Az üzembe helyezéshez esetleg szükséges interaktív jóváhagyások kihagyása
--fail-on-active-runs
Sikertelen, ha futnak pipeline-ok a telepítés során
--force-lock
Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.
A databricks-folyamatok megsemmisülnek
Folyamatprojekt megsemmisítése.
databricks pipelines destroy [flags]
Arguments
None
Beállítások
--auto-approve
Csővezetések törléséhez szükséges interaktív jóváhagyások kihagyása
--force-lock
Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.
databricks-folyamatok szárazon futnak
Ellenőrzi a csővezeték által azonosított KEY gráf helyességét. Az adathalmazok nem jönnek létre és így nem tehetők közzé.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
A YAML-fájlban meghatározottak szerinti, száraz futtatásra szánt folyamat egyedi neve. Ha a projektben csak egy csővezeték található, a KEY nem kötelező, és a csővezeték automatikusan ki van jelölve.
Beállítások
--no-wait
Ne várd meg, amíg a futtatás befejeződik
--restart
Indítsa újra a futtatásokat, ha már fut
databricks-folyamatok jönnek létre
Létrehozza a konfigurációt egy meglévő Spark-pipeline számára.
Ez a parancs megkeres egy spark-pipeline.yml vagy *.spark-pipeline.yml fájlt a megadott könyvtárban, és létrehoz egy új *.pipeline.yml konfigurációs fájlt a projekten belüli resources mappában, amely a folyamatot definiálja. Ha több spark-pipeline.yml fájl is létezik, adja meg egy adott *.spark-pipeline.yml fájl teljes elérési útját.
databricks pipelines generate [flags]
Note
A Databricks-munkaterületen lévő meglévő folyamatok konfigurációjának létrehozásához tekintse meg a Databricks-csomag generáló folyamatát , és hozzon létre konfigurációt egy meglévő feladathoz vagy folyamathoz a Databricks parancssori felületével.
Beállítások
--existing-pipeline-dir
A meglévő pipeline könyvtár src elérési útja (pl. src/my_pipeline).
--force
Meglévő folyamatkonfigurációs fájl felülírása.
Példák
Az alábbi példa az aktuális könyvtárban jelenik meg, és beolvassa src/my_pipeline/spark-pipeline.yml, majd létrehoz egy konfigurációs fájlt resources/my_pipeline.pipeline.yml , amely meghatározza a folyamatot:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
Databricks-folyamatok előzményei
Korábbi futtatásokat kérhet le egy KEY által azonosított folyamathoz.
databricks pipelines history [flags] [KEY]
Arguments
KEY
A pipeline egyedi neve a YAML fájlban meghatározott. Ha a projektben csak egy csővezeték található, a KEY nem kötelező, és a csővezeték automatikusan ki van jelölve.
Beállítások
--end-time string
Az idő előtti frissítések szűrése (formátum: 2025-01-15T10:30:00Z)
--start-time string
Frissítések szűrése ennyi idő után (formátum: 2025-01-15T10:30:00Z)
databricks-folyamatok init
Inicializáljon egy új pipelines projektet.
Egy folyamatprojekt Databricks CLI-vel történő létrehozását, üzembe helyezését és futtatását bemutató oktatóanyagért tekintse meg a Lakeflow Spark Deklaratív folyamatok fejlesztése a Databricks-eszközcsomagokkal című témakört.
databricks pipelines init [flags]
Arguments
None
Beállítások
--config-file string
A sablon inicializálásához szükséges bemeneti paraméterek kulcsértékpárjait tartalmazó JSON-fájl
--output-dir string
Címtár az inicializált sablon írásához
databricks folyamat-naplók
"Az KEY azonosítja a csőhöz tartozó események lekérését." Ez a parancs alapértelmezés szerint a folyamat legutóbbi frissítésének eseményeit jeleníti meg.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
A pipeline egyedi neve a YAML fájlban meghatározott. Ha a projektben csak egy csővezeték található, a KEY nem kötelező, és a csővezeték automatikusan ki van jelölve.
Beállítások
--end-time string
Szűrés a befejezési idő előtti eseményekre (formátum: 2025-01-15T10:30:00Z)
--event-type strings
Események szűrése eseménytípusok szerint
--level strings
Események szűrése naplószintek szerint: (INFO, WARN, ERROR, METRICS)
-n, --number int
Visszaadandó események száma
--start-time string
Szűrés a kezdési időpontot követő eseményekre (formátum: 2025-01-15T10:30:00Z)
--update-id string
Események szűrése frissítésazonosító alapján. Ha nincs megadva, a legújabb frissítésazonosítót használja
Példák
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
A Databricks folyamatok megnyílnak
Nyisson meg egy csővezetéket a böngészőben, amelyet az KEY azonosít.
databricks pipelines open [flags] [KEY]
Arguments
KEY
A megnyitni kívánt csővezeték egyedi neve, ahogyan az a YAML-fájlban meg van határozva. Ha a projektben csak egy csővezeték található, a KEY nem kötelező, és a csővezeték automatikusan ki van jelölve.
Beállítások
--force-pull
A helyi gyorsítótár kihagyása és az állapot betöltése a távoli munkaterületről
Databricks-pipeline-ek futnak
Indítsa el a KEY által azonosított folyamatot. A folyamat összes táblájának frissítése, kivéve, ha másként van megadva.
Fontos
A parancs futtatásához egy Databricks Asset Bundles-fájlnak databricks.yml a projektkönyvtár gyökerében kell lennie, és a folyamatnak már telepítve kell lennie. A folyamatprojektet létrehozó, majd a folyamatot üzembe helyező és futtató oktatóanyagért lásd: Lakeflow Spark Deklaratív folyamatok fejlesztése Databricks-eszközcsomagokkal.
databricks pipelines run [flags] [KEY]
Arguments
KEY
A futtatandó folyamat egyedi neve a YAML-fájlban meghatározottak szerint. Ha a projektben csak egy csővezeték található, a KEY nem kötelező, és a csővezeték automatikusan ki van jelölve.
Beállítások
--full-refresh strings
Az alaphelyzetbe állítandó és újrafordítandó táblák listája
--full-refresh-all
Teljes gráf alaphelyzetbe állítása és újraszámítása
--no-wait
Ne várd meg, amíg a futtatás befejeződik
--refresh strings
Futtatandó táblák listája
--restart
Indítsa újra a futtatásokat, ha már fut
A databricks feladatfolyamatok leállítása
Állítsa le a csővezetéket, ha jelenleg fut, amelyet a KEY vagy a PIPELINE_ID azonosít. Ha nincs aktív frissítés a folyamathoz, ez a kérés egy no-op.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
A leállítandó folyamat egyedi neve a YAML-fájlban meghatározottak szerint. Ha a projektben csak egy csővezeték található, a KEY nem kötelező, és a csővezeték automatikusan ki van jelölve.
PIPELINE_ID
A leállítandó folyamat UUID azonosítója.
Beállítások
--no-wait
ne várja meg, hogy elérje az IDLE állapotot
--timeout duration
idLE állapot elérésének maximális időtartama (alapértelmezett 20m0s)
Folyamatobjektumok kezelése
Az alábbi parancsokkal kezelheti a Databricks folyamatobjektumait. A folyamatobjektumok egyetlen folyamat egy projekten belül.
databricks csővezetékek létrehozása
Hozzon létre egy új adatfeldolgozási folyamatot a kért konfiguráció alapján. Ha sikeres, ez a parancs visszaadja az új folyamat azonosítóját.
databricks pipelines create [flags]
Arguments
None
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével.
databricks pipeline-ek törlése
Folyamat törlése.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
A törölni kívánt csővezeték.
Beállítások
databricks-folyamatok lekérése
Folyamat lekérése.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
A beszerzendő adatfolyam.
Beállítások
databricks-folyamatok get-update
Frissítés lekérése egy aktív folyamatból.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
A folyamat azonosítója.
UPDATE_ID
A frissítés azonosítója.
Beállítások
databricks-folyamatok listáz-pipeline-események
Folyamat eseményeinek lekérése.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Az események lekérésére szolgáló adatfolyam.
Beállítások
--filter string
Az eredmények egy részhalmazának kiválasztására vonatkozó feltételek SQL-szerű szintaxissal kifejezve.
--max-results int
Egyetlen oldalon visszaadandó bejegyzések maximális száma.
--page-token string
Az előző hívás által visszaadott oldal token.
databricks folyamatok listázása
A Delta Live Tables rendszerben definiált adatfolyamok listázása.
databricks pipelines list-pipelines [flags]
Arguments
None
Beállítások
--filter string
Válasszon ki egy részhalmazt az eredményekből a megadott feltételek alapján.
--max-results int
Az egy oldalon visszaadandó bejegyzések maximális száma.
--page-token string
Az előző hívás által visszaadott oldal token.
databricks-folyamatok frissítéslistája
Egy aktív folyamat frissítéseinek listázása.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
A frissítések visszaadására szolgáló folyamat.
Beállítások
--max-results int
Egyetlen oldalon visszaadandó bejegyzések maximális száma.
--page-token string
Az előző hívás által visszaadott oldal token.
--until-update-id string
Ha jelen van, a frissítéseket ez az update_id-t is beleszámítva adja vissza.
databricks adatfolyamok indítás-frissítés
Indítsa el a csővezeték új frissítését. Ha már van aktív frissítés a folyamathoz, a kérés sikertelen lesz, és az aktív frissítés továbbra is fut.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
A frissítés indítására szolgáló folyamat.
Beállítások
--cause StartUpdateCause
Támogatott értékek: [API-hívás, Feladat végrehajtása, Újrapróbálkozás hiba esetén, Sémaváltozás, Szolgáltatás frissítése, Felhasználói művelet]
--full-refresh
Ha igaz, a frissítés a futtatás előtt alaphelyzetbe állítja az összes táblát.
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével.
--validate-only
Ha igaz, ez a frissítés csak a folyamat forráskódjának helyességét ellenőrzi, de nem valósít meg és nem tesz közzé adatkészleteket.
Databricks csővezetékek frissítése
Frissítsen egy csővezetéket a megadott konfigurációval.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Az adatfolyam egyedi azonosítója.
Beállítások
--allow-duplicate-names
Ha az érték hamis, az üzembe helyezés sikertelen lesz, ha a név megváltozik és ütközik egy másik folyamatlánc nevével.
--budget-policy-id string
A folyamat költségvetési szabályzata.
--catalog string
Egy katalógus a Unity Catalogon belül, amelybe ennek a folyamatnak az adatai lesznek közzétéve.
--channel string
A Lakeflow Spark Deklaratív folyamatok kiadási csatornája, amely meghatározza a használni kívánt verziót.
--continuous
A csővezeték folyamatos vagy aktivált állapotú-e.
--development
Azt jelzi, hogy a folyamat fejlesztési módban van-e.
--edition string
Folyamat termékkiadás.
--expected-last-modified int
Ha van ilyen, a folyamatbeállítások utolsó módosítási időpontja a szerkesztés előtt.
--id string
Az adatfolyam egyedi azonosítója.
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével.
--name string
A csővezeték barátságos azonosítója.
--photon
Azt jelzi, hogy a Photon engedélyezve van-e ehhez a folyamathoz.
--pipeline-id string
Az adatfolyam egyedi azonosítója.
--schema string
Az alapértelmezett séma (adatbázis), amelybe a táblák beolvashatók vagy közzétehetők.
--serverless
A kiszolgáló nélküli számítás engedélyezve van-e ehhez a folyamathoz.
--storage string
DBFS gyökérkönyvtár ellenőrzőpontok és táblák tárolására.
--target string
Célséma (adatbázis) a folyamat tábláinak hozzáadásához.
databricks-csatornák jogosultsági szintek lekérése
Folyamatengedély-szintek lekérése.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Az a folyamat, amelyhez engedélyeket kell beszerezni vagy kezelni.
Beállítások
databricks-folyamatok engedélyek lekérése
Folyamatcső engedélyeinek lekérdezése. A pipeline-ok a gyökérobjektumtól örökölhetik az engedélyeket.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Az a folyamat, amelyhez engedélyeket kell beszerezni vagy kezelni.
Beállítások
databricks-folyamatok beállítási engedélyei
Folyamatengedélyek beállítása.
Beállítja az engedélyeket egy objektumon, és lecseréli a meglévő engedélyeket, ha léteznek. Törli az összes közvetlen engedélyt, ha egy sincs megadva. Az objektumok a gyökérobjektumtól örökölhetnek engedélyeket.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Az a folyamat, amelyhez engedélyeket kell beszerezni vagy kezelni.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével.
databricks-folyamatok frissítési engedélyei
Módosítsa a csővezeték engedélyeit. A pipeline-ok a gyökérobjektumtól örökölhetik az engedélyeket.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Az a folyamat, amelyhez engedélyeket kell beszerezni vagy kezelni.
Beállítások
--json JSON
A beágyazott JSON-sztring vagy a @path JSON-fájl a kérelem törzsével.
Globális jelzők
--debug
Engedélyezze-e a hibakeresési naplózást.
-h vagy --help
Súgó megjelenítése a Databricks parancssori felületéhez, a kapcsolódó parancscsoporthoz vagy a kapcsolódó parancshoz.
--log-file karakterlánc
A karakterlánc, amely megadja, melyik fájlba írja az kimeneti naplókat. Ha ez a jelző nincs megadva, akkor az alapértelmezett beállítás a kimeneti naplók stderrbe írása.
--log-format formátum
A naplóformátum típusa, amely lehet text vagy json. Az alapértelmezett érték a text.
--log-level karakterlánc
A naplóformátum szintjét képviselő karakterlánc. Ha nincs megadva, a naplóformátum szintje le van tiltva.
-o, --output típus
A parancs kimenettípusa: text vagy json. Az alapértelmezett érték a text.
-p, --profile karakterlánc
A parancs futtatásához használni kívánt fájl profiljának ~/.databrickscfg neve. Ha ez a jelző nincs megadva, akkor ha létezik, a rendszer a névvel ellátott DEFAULT profilt használja.
--progress-format formátum
A folyamatnaplók megjelenítésének formátuma: default, append, inplacevagy json
-t, --target karakterlánc
Ha alkalmazható, a használni kívánt célcsomag