Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
Note
Ezek az információk a Databricks CLI 0.205-ös és újabb verzióira vonatkoznak. A Databricks parancssori felülete nyilvános előzetes verzióban érhető el.
A Databricks CLI használatára a Databricks Licenc és a Databricks adatvédelmi nyilatkozata vonatkozik, beleértve a használati adatokra vonatkozó rendelkezéseket is.
A bundleDatabricks parancssori felületének parancscsoportja a Databricks-eszközcsomagok kezelésére szolgáló parancsokat tartalmaz. A Databricks-eszközcsomagokkal kódként fejezheti ki a projekteket, és programozott módon érvényesítheti, üzembe helyezheti és futtathatja az Olyan Azure Databricks-munkafolyamatokat, mint az Azure Databricks-feladatok, a Lakeflow Spark Deklaratív folyamatok és az MLOps Stacks. Lásd : Mik azok a Databricks-eszközcsomagok?.
Note
A csomagmappában található parancsok a databricks.yml hitelesítési beállításait használják, amikor a csomagmappából futtatják őket. Ha a csomagmappán belülről eltérő hitelesítésű csomagparancsokat szeretne futtatni, adjon meg egy konfigurációs profilt a --profile (vagy -p) jelzővel, és ne adjon meg egy --target.
Másik lehetőségként futtassa azokat a parancsokat, amelyeknek nem kell ugyanazt a hitelesítést elvégeznie, mint a köteg mappán kívülről.
databricks-csomag üzembe helyezése
Helyezzen üzembe egy csomagot a távoli munkaterületen.
databricks bundle deploy [flags]
Csomag célja és identitása
Ha a csomagot egy adott célra szeretné telepíteni, állítsa be a -t (vagy --target) beállítást a cél nevével együtt a csomag konfigurációs fájljaiban deklarált módon. Ha nincsenek megadva parancsbeállítások, a csomagkonfigurációs fájlokban deklarált alapértelmezett cél lesz használva. Például a következő névvel devdeklarált célhoz:
databricks bundle deploy -t dev
Egy csomag több munkaterületen is üzembe helyezhető, például fejlesztési, előkészítési és termelési környezetekben. Alapvetően a root_path tulajdonság határozza meg a csomag egyedi identitását, amely alapértelmezés szerint a ~/.bundle/${bundle.name}/${bundle.target}. Ezért alapértelmezés szerint a csomag identitása a telepítő identitásából, a csomag nevéből és a csomag célnevéből áll. Ha ezek azonosak a különböző csomagokban, ezeknek a csomagoknak az üzembe helyezése zavarja egymást.
Emellett a csomagtelepítés nyomon követi a célmunkaterületen létrehozott erőforrásokat azonosítóik segítségével, és ezeket a munkaterület fájlrendszerében tárolt állapotként kezeli. Az erőforrásnevek nem használhatók a csomagtelepítés és az erőforráspéldány közötti korrelációhoz, így:
- Ha a csomagkonfiguráció egyik erőforrása nem létezik a cél-munkaterületen, létrejön.
- Ha a csomagkonfiguráció egyik erőforrása megtalálható a cél-munkaterületen, a rendszer frissíti a munkaterületen.
- Ha egy erőforrást eltávolít a csomagkonfigurációból, a rendszer eltávolítja azt a cél-munkaterületről, ha korábban üzembe helyezték.
- Egy erőforrás köteghez való társítása csak akkor felejthető el, ha módosítja a csomag nevét, a csomag célját vagy a munkaterületet. A
bundle validatefuttatásával kiadhat egy összefoglalót, amely tartalmazza ezeket az értékeket.
Beállítások
--auto-approve
Kihagyhatja az üzembe helyezéshez szükséges interaktív jóváhagyásokat.
-c, --cluster-id string
Bírálja felül az üzembe helyezésben lévő fürtöt a megadott fürtazonosítóval.
--fail-on-active-runs
Sikertelen, ha futnak feladatok vagy folyamatok az üzemelő példányban.
--force
A Git-ág kényszerítő felülbírálása.
--force-lock
Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.
--plan
A tervezés helyett alkalmazni kívánt JSON-tervfájl elérési útja (csak közvetlen motor esetén). A tervfájl a következővel databricks bundle plan -o jsonhozható létre: .
Példák
Az alábbi példa egy csomagot helyez üzembe egy adott fürtazonosító használatával:
databricks bundle deploy --cluster-id 0123-456789-abcdef
databricks-csomag üzembe helyezése
Üzembe helyezéssel kapcsolatos parancsok.
databricks bundle deployment [command]
Elérhető parancsok
-
bind– Kötegeljen egy csomagban definiált erőforrást egy meglévő erőforráshoz a távoli munkaterületen. -
migrate– Csomag áttelepítése a közvetlen üzembehelyezési motor használatához. -
unbind- Leválasztja a csomagban definiált erőforrást a távoli erőforrásról.
databricks-csomag üzembehelyezési kötése
Csatolja a csomagban definiált erőforrásokat az Azure Databricks-munkaterület meglévő erőforrásaihoz, hogy a Databricks-eszközcsomagok felügyelni tudják őket. Ha egy erőforrást köt össze, a munkaterületen lévő meglévő Azure Databricks-erőforrás a következő bundle deploy után, a csomagban meghatározott konfiguráció alapján, amelyhez kötve van, frissül.
databricks bundle deployment bind KEY RESOURCE_ID [flags]
A 'bind' nem hozza létre újra az adatokat. Ha például egy katalógusban lévő adatokat tartalmazó folyamat kötést alkalmazott, a meglévő adatok elvesztése nélkül telepítheti a folyamatot. Emellett nem kell újraszámítania a materializált nézetet, így például a folyamatvonalakat sem kell újrafuttatnia.
A kötési parancsot a --target jelölővel kell használni. Például kösse az éles üzembe helyezést az éles folyamathoz a databricks bundle deployment bind --target prod my_pipeline 7668611149d5709ac9-2906-1229-9956-586a9zed8929
Tip
Érdemes ellenőrizni az erőforrást a munkaterületen, mielőtt végrehajtja a kapcsolást.
A következő erőforrásoknál a hozzárendelés támogatott:
- app
- cluster
- dashboard
- job
- model_serving_endpoint
- pipeline
- quality_monitor
- registered_model
- schema
- volume
A bundle generate parancs által támogatott erőforrások esetében a --bind beállítással automatikusan kösse össze az erőforrást a létrehozás után.
Érvek
KEY
A kötéshez tartozó erőforrás kulcsa
RESOURCE_ID
Annak a meglévő erőforrásnak az azonosítója, amelyhez csatlakozni szeretne
Beállítások
--auto-approve
A kötés automatikus jóváhagyása kérés helyett
--force-lock
Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.
Példák
Az alábbi parancs az erőforrást hello_job a munkaterület távoli megfelelőjéhez köti. A parancs egy diffet ad ki, és lehetővé teszi az erőforrás-kötés elutasítását, de ha megerősítést kap, a csomagban lévő feladatdefiníció frissítéseit a rendszer a csomag következő üzembe helyezésekor alkalmazza a megfelelő távoli feladatra.
databricks bundle deployment bind hello_job 6565621249
databricks-csomag üzembe helyezésének migrálása
Migrálja a csomagot a Terraform üzembehelyezési motorról a közvetlen üzembehelyezési motor használatára. Lásd Migrálás a közvetlen telepítési motorra. A migrálás befejezéséhez telepítenie kell a csomagot.
Az áttelepítés sikerességét a futtatással databricks bundle planellenőrizheti. Lásd databricks bundle plan.
databricks bundle deployment migrate [flags]
Érvek
None
Beállítások
Példák
Az alábbi példa az aktuális csomagot migrálja a közvetlen üzembehelyezési motor használatára:
databricks bundle deployment migrate
a databricks-csomag üzembe helyezése nincs összekapcsolva
Távolítsa el a kötegben lévő erőforrás és a munkaterület távoli megfelelője közötti kapcsolatot.
databricks bundle deployment unbind KEY [flags]
Érvek
KEY
A leválasztandó erőforrás kulcsa
Beállítások
--force-lock
Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.
Példák
Az alábbi példa megszünteti az erőforrás kötését hello_job :
databricks bundle deployment unbind hello_job
databricks-csomag megsemmisítése
Warning
A csomagok megsemmisítése véglegesen törli a csomag korábban üzembe helyezett feladatait, folyamatait és összetevőit. Ez a művelet nem vonható vissza.
Törölje a korábban üzembe helyezett feladatokat, folyamatokat, egyéb erőforrásokat és összetevőket.
databricks bundle destroy [flags]
Note
A csomag identitása a csomag nevéből, a csomag céljából és a munkaterületből áll. Ha ezek közül bármelyiket módosította, majd megpróbál megsemmisíteni egy csomagot az üzembe helyezés előtt, hiba történik.
Alapértelmezés szerint a rendszer kérni fogja a korábban üzembe helyezett feladatok, folyamatok és összetevők végleges törlésének megerősítését. Ha ki szeretné hagyni ezeket a kéréseket, és automatikus végleges törlést szeretne végrehajtani, adja hozzá a --auto-approvebundle destroy parancsot.
Beállítások
--auto-approve
Erőforrások és fájlok törlésének interaktív jóváhagyásainak kihagyása
--force-lock
Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.
Példák
A következő parancs törli a csomagkonfigurációs fájlokban definiált összes korábban üzembe helyezett erőforrást és összetevőt:
databricks bundle destroy
databricks-csomag létrehozása
Hozzon létre csomagkonfigurációt egy olyan erőforráshoz, amely már létezik a Databricks-munkaterületen. A következő erőforrások támogatottak: alkalmazás, irányítópult, feladat, folyamat.
Ez a parancs alapértelmezés szerint létrehoz egy *.yml fájlt az erőforráshoz a resources kötegprojekt mappájában, és letölti a konfigurációban hivatkozott fájlokat, például jegyzetfüzeteket.
Important
A bundle generate parancs az erőforrás-konfiguráció automatikus létrehozásához szolgál. Ha azonban a csomag erőforráskonfigurációt tartalmaz, és üzembe helyezi azt, az Azure Databricks a meglévő frissítése helyett egy új erőforrást hoz létre. Ha ehelyett egy meglévő erőforrást szeretne frissíteni, akkor a következő lehetőségek állnak rendelkezésére: használja a --bind jelölőt bundle generate-vel együtt, vagy futtassa a bundle deployment bind-t az üzembe helyezés előtt. Lásd a databricks-csomag üzembehelyezési kötését.
databricks bundle generate [command]
Elérhető parancsok
-
app– Csomagkonfiguráció létrehozása Egy Databricks-alkalmazáshoz. -
dashboard– Konfigurálás létrehozása irányítópulthoz. -
job– Csomagkonfiguráció létrehozása egy feladathoz. -
pipeline– Folyamat csomagkonfigurációjának létrehozása.
Beállítások
--key string
A létrehozott konfigurációhoz használandó erőforráskulcs
databricks-csomag létrehozása alkalmazás
Csomagkonfiguráció létrehozása egy meglévő Databricks-alkalmazáshoz a munkaterületen.
databricks bundle generate app [flags]
Beállítások
--bind
A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.
-d, --config-dir string
Könyvtár elérési útja, ahol a kimeneti csomag konfigurációja tárolódik (alapértelmezett "erőforrások")
--existing-app-name string
Alkalmazásnév, amely konfigurálást hoz létre a következőhöz:
-f, --force
Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban
-s, --source-dir string
Az alkalmazásfájlokat tároló könyvtár elérési útja (alapértelmezett "src/app")
Példák
Az alábbi példa egy meglévő, névvel ellátott my-appalkalmazás konfigurációját hozza létre. Az alkalmazás nevét a munkaterület felhasználói felületének Compute>Apps lapján szerezheti be.
databricks bundle generate app --existing-app-name my-app
Az alábbi parancs létrehoz egy új hello_world.app.yml fájlt a resources csomag projektmappájában, és letölti az alkalmazás kódfájljait, például az alkalmazás parancskonfigurációs fájlját és a fő app.yamlfájltapp.py. Alapértelmezés szerint a program a kódfájlokat a csomag mappájába src másolja.
databricks bundle generate app --existing-app-name "hello_world"
# This is the contents of the resulting /resources/hello-world.app.yml file.
resources:
apps:
hello_world:
name: hello-world
description: A basic starter application.
source_code_path: ../src/app
databricks-csomag létrehozása irányítópult
Konfigurálás létrehozása egy meglévő irányítópulthoz a munkaterületen.
databricks bundle generate dashboard [flags]
Tip
Ha frissíteni szeretné a .lvdash.json fájlt, miután már üzembe helyezett egy irányítópultot, használja a --resource lehetőséget, amikor futtatja bundle generate dashboard a fájlt a meglévő irányítópult-erőforráshoz való létrehozásához. Az irányítópult frissítéseinek folyamatos lekérdezéséhez és lekéréséhez használja a --force és --watch lehetőségeket.
Beállítások
--bind
A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.
-s, --dashboard-dir string
Címtár az irányítópult-ábrázolás írásához (alapértelmezett "src")
--existing-id string
Az irányítópult azonosítója a konfiguráció létrehozásához
--existing-path string
Az irányítópult munkaterületi elérési útja a konfiguráció létrehozásához
-f, --force
Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban
--resource string
Az irányítópult erőforráskulcsa a változások figyeléséhez
-d, --resource-dir string
Címtár a konfiguráció írásához (alapértelmezett "erőforrások")
--watch
Tekintse meg az irányítópult módosításait, és frissítse a konfigurációt
Példák
Az alábbi példa egy meglévő irányítópult-azonosító alapján állítja elő a konfigurációt:
databricks bundle generate dashboard --existing-id abc123
Egy meglévő irányítópult konfigurációját munkaterületi útvonal alapján is létrehozhatja. Másolja ki az irányítópult munkaterületi elérési útját a munkaterület felhasználói felületéről.
Az alábbi parancs például létrehoz egy új baby_gender_by_county.dashboard.yml fájlt a resources csomag projektmappájában, amely tartalmazza az alábbi YAML-et, és letölti a baby_gender_by_county.lvdash.json fájlt a src projektmappába.
databricks bundle generate dashboard --existing-path "/Workspace/Users/someone@example.com/baby_gender_by_county.lvdash.json"
# This is the contents of the resulting baby_gender_by_county.dashboard.yml file.
resources:
dashboards:
baby_gender_by_county:
display_name: 'Baby gender by county'
warehouse_id: aae11o8e6fe9zz79
file_path: ../src/baby_gender_by_county.lvdash.json
databricks-csomag létrehozása feladat
Csomagkonfiguráció létrehozása egy feladathoz.
Note
Ez a parancs jelenleg csak a jegyzetfüzet-feladatokkal rendelkező feladatokat támogatja.
databricks bundle generate job [flags]
Beállítások
--bind
A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.
-d, --config-dir string
A kimeneti konfigurációt tároló dir elérési út (alapértelmezett "erőforrások")
--existing-job-id int
A konfiguráció létrehozásához használt feladat feladatazonosítója
-f, --force
Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban
-s, --source-dir string
A letöltött fájlok tárolási útvonala (alapértelmezett "src")
Példák
Az alábbi példa létrehoz egy új hello_job.yml fájlt a resources csomag projektmappájában, amely tartalmazza az alábbi YAML-et, és letölti a simple_notebook.pysrc projektmappába. Emellett a létrehozott erőforrást a munkaterület meglévő feladatához köti.
databricks bundle generate job --existing-job-id 6565621249 --bind
# This is the contents of the resulting hello_job.yml file.
resources:
jobs:
hello_job:
name: 'Hello Job'
tasks:
- task_key: run_notebook
email_notifications: {}
notebook_task:
notebook_path: ../src/simple_notebook.py
source: WORKSPACE
run_if: ALL_SUCCESS
max_concurrent_runs: 1
databricks-csomag létrehozása folyamat
Csomagkonfiguráció létrehozása meglévő folyamathoz.
databricks bundle generate pipeline [flags]
Tip
Ha már rendelkezik egy meglévő Spark Deklaratív Csővezetékek (SDP) projekttel, konfigurációt hozhat létre a használatával databricks pipelines generate. Tekintse meg a databricks-folyamatok generált adatait.
Beállítások
--bind
A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.
-d, --config-dir string
A kimeneti konfigurációt tároló dir elérési út (alapértelmezett "erőforrások")
--existing-pipeline-id string
A konfigurálás létrehozásához használt folyamat azonosítója
-f, --force
Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban
-s, --source-dir string
A letöltött fájlok tárolási útvonala (alapértelmezett "src")
Példák
Az alábbi példa egy meglévő folyamat konfigurációját hozza létre:
databricks bundle generate pipeline --existing-pipeline-id abc-123-def
databricks bundle init
Új csomag inicializálása csomagsablon használatával. A sablonok konfigurálhatók úgy, hogy értékeket kérjenek a felhasználótól. Lásd a Databricks Asset Bundle projektsablonjait.
databricks bundle init [TEMPLATE_PATH] [flags]
Érvek
TEMPLATE_PATH
Inicializáláshoz használandó sablon (nem kötelező)
Beállítások
--branch string
Sablon inicializálásához használandó Git-ág
--config-file string
A sablon inicializálásához szükséges bemeneti paraméterek kulcsértékpárjait tartalmazó JSON-fájl.
--output-dir string
Címtár az inicializált sablon írásához.
--tag string
Sablon inicializálásához használandó Git-címke
--template-dir string
Címtár elérési útja a sablont tartalmazó Git-adattárban.
Példák
Az alábbi példa az alapértelmezett csomagsablonok listáját kéri, amelyek közül választani szeretne:
databricks bundle init
Az alábbi példa inicializál egy csomagot az alapértelmezett Python-sablonnal:
databricks bundle init default-python
A Databricks-eszközcsomag egyéni Databricks-eszközcsomag-sablonnal való létrehozásához adja meg az egyéni sablon elérési útját:
databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"
Az alábbi példa inicializál egy csomagot egy Git-adattárból:
databricks bundle init https://github.com/my/repository
Az alábbi példa inicializál egy adott ágat:
databricks bundle init --branch main
a databricks-csomag meg van nyitva
Lépjen egy kötegerőforrásra a munkaterületen, és adja meg a megnyitni kívánt erőforrást. Ha nincs megadva erőforráskulcs, ez a parancs megjeleníti a csomag azon erőforrásainak listáját, amelyek közül választani szeretne.
databricks bundle open [flags]
Beállítások
--force-pull
A helyi gyorsítótár kihagyása és az állapot betöltése a távoli munkaterületről
Példák
Az alábbi példa elindít egy böngészőt, és a csomagban lévő irányítópultra baby_gender_by_county navigál a csomaghoz konfigurált Databricks-munkaterületen:
databricks bundle open baby_gender_by_county
databricks-csomag terv
Az aktuális csomagkonfiguráció üzembehelyezési tervének megjelenítése.
Ez a parancs létrehozza a csomagot, és módosítások nélkül jeleníti meg az üzembe helyezendő erőforrásokon végrehajtandó műveleteket. Ez lehetővé teszi a módosítások előzetes megtekintését a futtatás bundle deployelőtt.
databricks bundle plan [flags]
Beállítások
-c, --cluster-id string
Bírálja felül az üzembe helyezésben lévő fürtöt a megadott fürtazonosítóval.
--force
A Git-ág kényszerítő felülbírálása.
Példák
Az alábbi példa egy Python-kereket összeállító csomag üzembehelyezési tervét adja ki, és meghatároz egy feladatot és egy folyamatot:
databricks bundle plan
Building python_artifact...
create jobs.my_bundle_job
create pipelines.my_bundle_pipeline
databricks-csomag futtatása
Feladat, folyamat vagy szkript futtatása. Ha nem ad meg erőforrást, a parancs meghatározott feladatokat, folyamatokat és szkripteket ajánl fel, amelyek közül választhat. Másik lehetőségként adja meg a csomagkonfigurációs fájlokban deklarált feladat- vagy folyamatkulcsot vagy szkriptnevet.
databricks bundle run [flags] [KEY]
Folyamat ellenőrzése
Ha csővezeték-ellenőrző futtatást szeretne végezni, használja a --validate-only opciót, ahogy az a következő példában látható:
databricks bundle run --validate-only my_pipeline
Feladatparaméterek átadása
A feladatparaméterek átadásához használja a --params opciót, amit vesszővel elválasztott kulcs-érték párok követnek, ahol a kulcs a paraméter neve. A következő parancs például beállítja a message nevű paramétert a HelloWorld értékre a hello_job nevű feladat számára.
databricks bundle run --params message=HelloWorld hello_job
Note
Ahogy az alábbi példákban is látható, a feladatfeladat-beállítások használatával paramétereket adhat át a feladattevékenységeknek, de a --params feladatparaméterek átadásához ez a beállítás ajánlott módszer. Hiba akkor fordul elő, ha olyan feladathoz vannak megadva feladatparaméterek, amelyekhez nincs meghatározva feladatparaméter, vagy ha a feladatparaméterek definiálva vannak egy feladatparaméterrel rendelkező feladathoz.
Kulcsszó- vagy pozícióargumentumokat is megadhat. Ha a megadott feladat feladatparamétereket használ, vagy a feladathoz tartozik egy paraméterekkel rendelkező jegyzetfüzet-tevékenység, a rendszer a paraméternevekhez rendeli a jelölőneveket:
databricks bundle run hello_job -- --key1 value1 --key2 value2
Vagy ha a megadott feladat nem használ feladatparamétereket, és a feladat Python-fájlfeladattal vagy Python-kerekes feladattal rendelkezik:
databricks bundle run my_job -- value1 value2 value3
A paraméterekkel rendelkező feladatdefiníciók példáiért lásd: Feladat paraméterekkel.
Szkriptek végrehajtása
Szkriptek, például integrációs tesztek végrehajtásához a csomag konfigurált hitelesítési adataival, futtathat szkripteket beágyazottan, vagy egy, a csomagkonfigurációban meghatározott szkriptet. A szkriptek a csomagban konfigurált hitelesítési környezettel futnak.
Fűzze hozzá a kettős kötőjelet (
--) abundle runután, hogy a szkriptek beágyazva fussanak. A következő parancs például az aktuális felhasználó aktuális munkakönyvtárát adja ki:databricks bundle run -- python3 -c 'import os; print(os.getcwd())'Másik lehetőségként definiáljon egy szkriptet a csomagkonfigurációban a
scriptsleképezésen belül, majd futtassabundle runa szkriptet:scripts: my_script: content: python3 -c 'import os; print(os.getcwd())'databricks bundle run my_scriptA konfigurációval kapcsolatos
scriptstovábbi információkért tekintse meg a szkripteket és szkripteket.
A csomaghitelesítési információkat a rendszer környezeti változók használatával továbbítja a gyermekfolyamatoknak. Lásd: Databricks egyesített hitelesítés.
Érvek
KEY
A futtatni kívánt erőforrás egyedi azonosítója (nem kötelező)
Beállítások
--no-wait
Ne várjon, amíg a futtatás befejeződik.
--restart
Indítsa újra a futtatásokat, ha már fut.
Feladatjelzők
Az alábbi jelzők feladatszintű paraméterjelölők. Lásd: Feladatparaméterek konfigurálása.
--params stringToString
vesszővel elválasztott k=v párok a feladatparaméterekhez (alapértelmezett [])
Feladattevékenység-jelzők
Az alábbi jelzők tevékenységszintű paraméterjelölők. Lásd: Feladatparaméterek konfigurálása. A Databricks feladatszintű paraméterek (--params) használatát javasolja feladatszintű paraméterekkel.
--dbt-commands strings
A DBT-feladatokat tartalmazó feladatokhoz végrehajtandó parancsok listája.
--jar-params strings
A Spark JAR-feladatokkal rendelkező feladatok paramétereinek listája.
--notebook-params stringToString
Térkép a billentyűkről az értékekre a jegyzetfüzet-feladatokkal rendelkező feladatokhoz. (alapértelmezett [])
--pipeline-params stringToString
Térkép a kulcsoktól az értékekig a folyamattevékenységekkel rendelkező feladatokhoz. (alapértelmezett [])
--python-named-params stringToString
Térkép a kulcsoktól az értékekig a Python-kerekes feladatokkal rendelkező feladatokhoz. (alapértelmezett [])
--python-params strings
A Python-feladatokkal rendelkező feladatok paramétereinek listája.
--spark-submit-params strings
A Spark-feladatokat beküldő feladatok paramétereinek listája.
--sql-params stringToString
Az SQL-feladatokkal rendelkező feladatokhoz tartozó kulcsok és értékek térképe. (alapértelmezett [])
Folyamatjelzők
A következő jelzők a folyamatjelzők.
--full-refresh strings
A visszaállítandó és újrafordítandó táblák listája.
--full-refresh-all
Végezze el a teljes gráf alaphelyzetbe állítását és újrafordítását.
--refresh strings
A frissíteni kívánt táblák listája.
--refresh-all
Teljes gráffrissítés végrehajtása.
--validate-only
A gráf helyességének ellenőrzéséhez végezzen frissítést.
Példák
Az alábbi példa egy feladatot hello_job futtat az alapértelmezett célban:
databricks bundle run hello_job
Az alábbi példa egy feladatot hello_job futtat egy, a névvel devdeklarált cél kontextusában:
databricks bundle run -t dev hello_job
Az alábbi példa megszakítja és újraindítja a meglévő feladatfuttatást:
databricks bundle run --restart hello_job
Az alábbi példa egy teljes frissítést tartalmazó folyamatot futtat:
databricks bundle run my_pipeline --full-refresh-all
Az alábbi példa egy parancsot hajt végre a csomagkörnyezetben:
databricks bundle run -- echo "hello, world"
databricks-csomagséma
A csomagkonfiguráció JSON-sémájának megjelenítése.
databricks bundle schema [flags]
Beállítások
Példák
Az alábbi példa a csomagkonfiguráció JSON-sémáját adja ki:
databricks bundle schema
A csomagkonfigurációs séma JSON-fájlként való kimenetéhez futtassa a bundle schema parancsot, és irányítsa át a kimenetet egy JSON-fájlba. Létrehozhat például egy fájlt bundle_config_schema.json az aktuális könyvtárban:
databricks bundle schema > bundle_config_schema.json
databricks-csomag összefoglalása
Adja meg egy csomag identitásának és erőforrásainak összegzését, beleértve az erőforrásokra mutató mély hivatkozásokat, hogy könnyen navigáljon az erőforráshoz a Databricks-munkaterületen.
databricks bundle summary [flags]
Tip
A Databricks-munkaterületen található erőforráshoz bundle open is navigálhat. Nyissa meg a databricks-csomagot.
Beállítások
--force-pull
A helyi gyorsítótár kihagyása és az állapot betöltése a távoli munkaterületről
Példák
Az alábbi példa egy csomag üzembe helyezett erőforrásainak összegzését adja ki:
databricks bundle summary
A következő kimenet egy feladatokat és folyamatokat meghatározó csomag my_pipeline_bundle összegzése:
Name: my_pipeline_bundle
Target: dev
Workspace:
Host: https://myworkspace.cloud.databricks.com
User: someone@example.com
Path: /Users/someone@example.com/.bundle/my_pipeline/dev
Resources:
Jobs:
my_project_job:
Name: [dev someone] my_project_job
URL: https://myworkspace.cloud.databricks.com/jobs/206000809187888?o=6051000018419999
Pipelines:
my_project_pipeline:
Name: [dev someone] my_project_pipeline
URL: https://myworkspace.cloud.databricks.com/pipelines/7f559fd5-zztz-47fa-aa5c-c6bf034b4f58?o=6051000018419999
databricks-csomag szinkronizálása
Egy csomag fájlmódosításainak egyirányú szinkronizálása egy helyi fájlrendszerkönyvtárban, egy távoli Azure Databricks-munkaterület könyvtárába.
Note
bundle sync a parancsok nem tudják szinkronizálni a fájlmódosításokat egy távoli Azure Databricks-munkaterület könyvtárából egy helyi fájlrendszer könyvtárába.
databricks bundle sync [flags]
databricks bundle sync a parancsok ugyanúgy működnek, mint databricks sync a parancsok, és a hatékonyságnövelő kényelemként szolgálnak. A parancshasználattal kapcsolatos információkért tekintse meg sync a parancsot.
Beállítások
--dry-run
Szinkronizálási végrehajtás szimulálása tényleges módosítások nélkül
--full
Teljes szinkronizálás végrehajtása (az alapértelmezett érték növekményes)
--interval duration
Fájlrendszer lekérdezési időköze (a következőhöz --watch: ) (alapértelmezett 1)
--output type
A kimeneti formátum típusa
--watch
Változások megtekintése a helyi fájlrendszerben
Példák
Az alábbi példa száraz futtatási szinkronizálást hajt végre:
databricks bundle sync --dry-run
Az alábbi példa automatikusan figyeli a módosításokat és a szinkronizálásokat:
databricks bundle sync --watch
Az alábbi példa teljes szinkronizálást hajt végre:
databricks bundle sync --full
databricks-csomag ellenőrzése
Ellenőrizze, hogy a csomagkonfigurációs fájlok szintaktikailag helyesek-e.
databricks bundle validate [flags]
Ez a parancs alapértelmezés szerint a csomag identitásának összegzését adja vissza:
Name: MyBundle
Target: dev
Workspace:
Host: https://my-host.cloud.databricks.com
User: someone@example.com
Path: /Users/someone@example.com/.bundle/MyBundle/dev
Validation OK!
Note
A bundle validate parancs figyelmeztetéseket ad ki, ha az erőforrás-tulajdonságok olyan csomagkonfigurációs fájlokban vannak definiálva, amelyek nem találhatók a megfelelő objektum sémájában.
Ha csak a csomag identitásának és erőforrásainak összegzését szeretné megjeleníteni, használja a csomag összegzését.
Beállítások
Példák
Az alábbi példa ellenőrzi a csomagkonfigurációt:
databricks bundle validate
Globális jelzők
--debug
Engedélyezze-e a hibakeresési naplózást.
-h vagy --help
Súgó megjelenítése a Databricks parancssori felületéhez, a kapcsolódó parancscsoporthoz vagy a kapcsolódó parancshoz.
--log-file karakterlánc
A karakterlánc, amely megadja, melyik fájlba írja az kimeneti naplókat. Ha ez a jelző nincs megadva, akkor az alapértelmezett beállítás a kimeneti naplók stderrbe írása.
--log-format formátum
A naplóformátum típusa, text vagy json. Az alapértelmezett érték a text.
--log-level karakterlánc
A naplóformátum szintjét képviselő karakterlánc. Ha nincs megadva, a naplóformátum szintje le van tiltva.
-o, --output típus
A parancs kimenetének típusa: text vagy json. Az alapértelmezett érték a text.
-p, --profile karakterlánc
A parancs futtatásához használni kívánt fájl profiljának ~/.databrickscfg neve. Ha ez a jelző nincs megadva, akkor ha létezik, a rendszer a névvel ellátott DEFAULT profilt használja.
--progress-format formátum
A folyamatnaplók megjelenítésének formátuma: default, append, inplacevagy json
-t, --target karakterlánc
Ha alkalmazható, a használni kívánt célcsomag
--var strings
a csomagkonfigurációban definiált változók értékeinek beállítása. Példa: --var="foo=bar"