Megosztás:


bundle parancscsoport

Note

Ezek az információk a Databricks CLI 0.205-ös és újabb verzióira vonatkoznak. A Databricks parancssori felülete nyilvános előzetes verzióban érhető el.

A Databricks CLI használatára a Databricks Licenc és a Databricks adatvédelmi nyilatkozata vonatkozik, beleértve a használati adatokra vonatkozó rendelkezéseket is.

A bundleDatabricks parancssori felületének parancscsoportja a Databricks-eszközcsomagok kezelésére szolgáló parancsokat tartalmaz. A Databricks-eszközcsomagokkal kódként fejezheti ki a projekteket, és programozott módon érvényesítheti, üzembe helyezheti és futtathatja az Olyan Azure Databricks-munkafolyamatokat, mint az Azure Databricks-feladatok, a Lakeflow Spark Deklaratív folyamatok és az MLOps Stacks. Lásd : Mik azok a Databricks-eszközcsomagok?.

Note

A csomagmappában található parancsok a databricks.yml hitelesítési beállításait használják, amikor a csomagmappából futtatják őket. Ha a csomagmappán belülről eltérő hitelesítésű csomagparancsokat szeretne futtatni, adjon meg egy konfigurációs profilt a --profile (vagy -p) jelzővel, és ne adjon meg egy --target.

Másik lehetőségként futtassa azokat a parancsokat, amelyeknek nem kell ugyanazt a hitelesítést elvégeznie, mint a köteg mappán kívülről.

databricks-csomag üzembe helyezése

Helyezzen üzembe egy csomagot a távoli munkaterületen.

databricks bundle deploy [flags]

Csomag célja és identitása

Ha a csomagot egy adott célra szeretné telepíteni, állítsa be a -t (vagy --target) beállítást a cél nevével együtt a csomag konfigurációs fájljaiban deklarált módon. Ha nincsenek megadva parancsbeállítások, a csomagkonfigurációs fájlokban deklarált alapértelmezett cél lesz használva. Például a következő névvel devdeklarált célhoz:

databricks bundle deploy -t dev

Egy csomag több munkaterületen is üzembe helyezhető, például fejlesztési, előkészítési és termelési környezetekben. Alapvetően a root_path tulajdonság határozza meg a csomag egyedi identitását, amely alapértelmezés szerint a ~/.bundle/${bundle.name}/${bundle.target}. Ezért alapértelmezés szerint a csomag identitása a telepítő identitásából, a csomag nevéből és a csomag célnevéből áll. Ha ezek azonosak a különböző csomagokban, ezeknek a csomagoknak az üzembe helyezése zavarja egymást.

Emellett a csomagtelepítés nyomon követi a célmunkaterületen létrehozott erőforrásokat azonosítóik segítségével, és ezeket a munkaterület fájlrendszerében tárolt állapotként kezeli. Az erőforrásnevek nem használhatók a csomagtelepítés és az erőforráspéldány közötti korrelációhoz, így:

  • Ha a csomagkonfiguráció egyik erőforrása nem létezik a cél-munkaterületen, létrejön.
  • Ha a csomagkonfiguráció egyik erőforrása megtalálható a cél-munkaterületen, a rendszer frissíti a munkaterületen.
  • Ha egy erőforrást eltávolít a csomagkonfigurációból, a rendszer eltávolítja azt a cél-munkaterületről, ha korábban üzembe helyezték.
  • Egy erőforrás köteghez való társítása csak akkor felejthető el, ha módosítja a csomag nevét, a csomag célját vagy a munkaterületet. A bundle validate futtatásával kiadhat egy összefoglalót, amely tartalmazza ezeket az értékeket.

Beállítások

--auto-approve

    Kihagyhatja az üzembe helyezéshez szükséges interaktív jóváhagyásokat.

-c, --cluster-id string

    Bírálja felül az üzembe helyezésben lévő fürtöt a megadott fürtazonosítóval.

--fail-on-active-runs

    Sikertelen, ha futnak feladatok vagy folyamatok az üzemelő példányban.

--force

    A Git-ág kényszerítő felülbírálása.

--force-lock

    Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.

--plan

    A tervezés helyett alkalmazni kívánt JSON-tervfájl elérési útja (csak közvetlen motor esetén). A tervfájl a következővel databricks bundle plan -o jsonhozható létre: .

Globális jelzők

Példák

Az alábbi példa egy csomagot helyez üzembe egy adott fürtazonosító használatával:

databricks bundle deploy --cluster-id 0123-456789-abcdef

databricks-csomag üzembe helyezése

Üzembe helyezéssel kapcsolatos parancsok.

databricks bundle deployment [command]

Elérhető parancsok

  • bind – Kötegeljen egy csomagban definiált erőforrást egy meglévő erőforráshoz a távoli munkaterületen.
  • migrate – Csomag áttelepítése a közvetlen üzembehelyezési motor használatához.
  • unbind - Leválasztja a csomagban definiált erőforrást a távoli erőforrásról.

databricks-csomag üzembehelyezési kötése

Csatolja a csomagban definiált erőforrásokat az Azure Databricks-munkaterület meglévő erőforrásaihoz, hogy a Databricks-eszközcsomagok felügyelni tudják őket. Ha egy erőforrást köt össze, a munkaterületen lévő meglévő Azure Databricks-erőforrás a következő bundle deploy után, a csomagban meghatározott konfiguráció alapján, amelyhez kötve van, frissül.

databricks bundle deployment bind KEY RESOURCE_ID [flags]

A 'bind' nem hozza létre újra az adatokat. Ha például egy katalógusban lévő adatokat tartalmazó folyamat kötést alkalmazott, a meglévő adatok elvesztése nélkül telepítheti a folyamatot. Emellett nem kell újraszámítania a materializált nézetet, így például a folyamatvonalakat sem kell újrafuttatnia.

A kötési parancsot a --target jelölővel kell használni. Például kösse az éles üzembe helyezést az éles folyamathoz a databricks bundle deployment bind --target prod my_pipeline 7668611149d5709ac9-2906-1229-9956-586a9zed8929

Tip

Érdemes ellenőrizni az erőforrást a munkaterületen, mielőtt végrehajtja a kapcsolást.

A következő erőforrásoknál a hozzárendelés támogatott:

A bundle generate parancs által támogatott erőforrások esetében a --bind beállítással automatikusan kösse össze az erőforrást a létrehozás után.

Érvek

KEY

    A kötéshez tartozó erőforrás kulcsa

RESOURCE_ID

    Annak a meglévő erőforrásnak az azonosítója, amelyhez csatlakozni szeretne

Beállítások

--auto-approve

    A kötés automatikus jóváhagyása kérés helyett

--force-lock

    Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.

Globális jelzők

Példák

Az alábbi parancs az erőforrást hello_job a munkaterület távoli megfelelőjéhez köti. A parancs egy diffet ad ki, és lehetővé teszi az erőforrás-kötés elutasítását, de ha megerősítést kap, a csomagban lévő feladatdefiníció frissítéseit a rendszer a csomag következő üzembe helyezésekor alkalmazza a megfelelő távoli feladatra.

databricks bundle deployment bind hello_job 6565621249

databricks-csomag üzembe helyezésének migrálása

Important

Ez a funkció kísérleti.

Migrálja a csomagot a Terraform üzembehelyezési motorról a közvetlen üzembehelyezési motor használatára. Lásd Migrálás a közvetlen telepítési motorra. A migrálás befejezéséhez telepítenie kell a csomagot.

Az áttelepítés sikerességét a futtatással databricks bundle planellenőrizheti. Lásd databricks bundle plan.

databricks bundle deployment migrate [flags]

Érvek

None

Beállítások

Globális jelzők

Példák

Az alábbi példa az aktuális csomagot migrálja a közvetlen üzembehelyezési motor használatára:

databricks bundle deployment migrate

a databricks-csomag üzembe helyezése nincs összekapcsolva

Távolítsa el a kötegben lévő erőforrás és a munkaterület távoli megfelelője közötti kapcsolatot.

databricks bundle deployment unbind KEY [flags]

Érvek

KEY

    A leválasztandó erőforrás kulcsa

Beállítások

--force-lock

    Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.

Globális jelzők

Példák

Az alábbi példa megszünteti az erőforrás kötését hello_job :

databricks bundle deployment unbind hello_job

databricks-csomag megsemmisítése

Warning

A csomagok megsemmisítése véglegesen törli a csomag korábban üzembe helyezett feladatait, folyamatait és összetevőit. Ez a művelet nem vonható vissza.

Törölje a korábban üzembe helyezett feladatokat, folyamatokat, egyéb erőforrásokat és összetevőket.

databricks bundle destroy [flags]

Note

A csomag identitása a csomag nevéből, a csomag céljából és a munkaterületből áll. Ha ezek közül bármelyiket módosította, majd megpróbál megsemmisíteni egy csomagot az üzembe helyezés előtt, hiba történik.

Alapértelmezés szerint a rendszer kérni fogja a korábban üzembe helyezett feladatok, folyamatok és összetevők végleges törlésének megerősítését. Ha ki szeretné hagyni ezeket a kéréseket, és automatikus végleges törlést szeretne végrehajtani, adja hozzá a --auto-approvebundle destroy parancsot.

Beállítások

--auto-approve

    Erőforrások és fájlok törlésének interaktív jóváhagyásainak kihagyása

--force-lock

    Az üzembehelyezési zár kényszerítése. Ez a beállítás letiltja azt a mechanizmust, amely megakadályozza, hogy az egyidejű üzemelő példányok kommunikálnak egymással. Csak akkor használható, ha az előző üzembe helyezés összeomlott vagy megszakadt, és elavult zárolási fájlt hagyott.

Globális jelzők

Példák

A következő parancs törli a csomagkonfigurációs fájlokban definiált összes korábban üzembe helyezett erőforrást és összetevőt:

databricks bundle destroy

databricks-csomag létrehozása

Hozzon létre csomagkonfigurációt egy olyan erőforráshoz, amely már létezik a Databricks-munkaterületen. A következő erőforrások támogatottak: alkalmazás, irányítópult, feladat, folyamat.

Ez a parancs alapértelmezés szerint létrehoz egy *.yml fájlt az erőforráshoz a resources kötegprojekt mappájában, és letölti a konfigurációban hivatkozott fájlokat, például jegyzetfüzeteket.

Important

A bundle generate parancs az erőforrás-konfiguráció automatikus létrehozásához szolgál. Ha azonban a csomag erőforráskonfigurációt tartalmaz, és üzembe helyezi azt, az Azure Databricks a meglévő frissítése helyett egy új erőforrást hoz létre. Ha ehelyett egy meglévő erőforrást szeretne frissíteni, akkor a következő lehetőségek állnak rendelkezésére: használja a --bind jelölőt bundle generate-vel együtt, vagy futtassa a bundle deployment bind-t az üzembe helyezés előtt. Lásd a databricks-csomag üzembehelyezési kötését.

databricks bundle generate [command]

Elérhető parancsok

  • app – Csomagkonfiguráció létrehozása Egy Databricks-alkalmazáshoz.
  • dashboard – Konfigurálás létrehozása irányítópulthoz.
  • job – Csomagkonfiguráció létrehozása egy feladathoz.
  • pipeline – Folyamat csomagkonfigurációjának létrehozása.

Beállítások

--key string

    A létrehozott konfigurációhoz használandó erőforráskulcs

Globális jelzők

databricks-csomag létrehozása alkalmazás

Csomagkonfiguráció létrehozása egy meglévő Databricks-alkalmazáshoz a munkaterületen.

databricks bundle generate app [flags]

Beállítások

--bind

    A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.

-d, --config-dir string

    Könyvtár elérési útja, ahol a kimeneti csomag konfigurációja tárolódik (alapértelmezett "erőforrások")

--existing-app-name string

    Alkalmazásnév, amely konfigurálást hoz létre a következőhöz:

-f, --force

    Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban

-s, --source-dir string

    Az alkalmazásfájlokat tároló könyvtár elérési útja (alapértelmezett "src/app")

Globális jelzők

Példák

Az alábbi példa egy meglévő, névvel ellátott my-appalkalmazás konfigurációját hozza létre. Az alkalmazás nevét a munkaterület felhasználói felületének Compute>Apps lapján szerezheti be.

databricks bundle generate app --existing-app-name my-app

Az alábbi parancs létrehoz egy új hello_world.app.yml fájlt a resources csomag projektmappájában, és letölti az alkalmazás kódfájljait, például az alkalmazás parancskonfigurációs fájlját és a fő app.yamlfájltapp.py. Alapértelmezés szerint a program a kódfájlokat a csomag mappájába src másolja.

databricks bundle generate app --existing-app-name "hello_world"
# This is the contents of the resulting /resources/hello-world.app.yml file.
resources:
  apps:
    hello_world:
      name: hello-world
      description: A basic starter application.
      source_code_path: ../src/app

databricks-csomag létrehozása irányítópult

Konfigurálás létrehozása egy meglévő irányítópulthoz a munkaterületen.

databricks bundle generate dashboard [flags]

Tip

Ha frissíteni szeretné a .lvdash.json fájlt, miután már üzembe helyezett egy irányítópultot, használja a --resource lehetőséget, amikor futtatja bundle generate dashboard a fájlt a meglévő irányítópult-erőforráshoz való létrehozásához. Az irányítópult frissítéseinek folyamatos lekérdezéséhez és lekéréséhez használja a --force és --watch lehetőségeket.

Beállítások

--bind

    A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.

-s, --dashboard-dir string

    Címtár az irányítópult-ábrázolás írásához (alapértelmezett "src")

--existing-id string

    Az irányítópult azonosítója a konfiguráció létrehozásához

--existing-path string

    Az irányítópult munkaterületi elérési útja a konfiguráció létrehozásához

-f, --force

    Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban

--resource string

    Az irányítópult erőforráskulcsa a változások figyeléséhez

-d, --resource-dir string

    Címtár a konfiguráció írásához (alapértelmezett "erőforrások")

--watch

    Tekintse meg az irányítópult módosításait, és frissítse a konfigurációt

Globális jelzők

Példák

Az alábbi példa egy meglévő irányítópult-azonosító alapján állítja elő a konfigurációt:

databricks bundle generate dashboard --existing-id abc123

Egy meglévő irányítópult konfigurációját munkaterületi útvonal alapján is létrehozhatja. Másolja ki az irányítópult munkaterületi elérési útját a munkaterület felhasználói felületéről.

Az alábbi parancs például létrehoz egy új baby_gender_by_county.dashboard.yml fájlt a resources csomag projektmappájában, amely tartalmazza az alábbi YAML-et, és letölti a baby_gender_by_county.lvdash.json fájlt a src projektmappába.

databricks bundle generate dashboard --existing-path "/Workspace/Users/someone@example.com/baby_gender_by_county.lvdash.json"
# This is the contents of the resulting baby_gender_by_county.dashboard.yml file.
resources:
  dashboards:
    baby_gender_by_county:
      display_name: 'Baby gender by county'
      warehouse_id: aae11o8e6fe9zz79
      file_path: ../src/baby_gender_by_county.lvdash.json

databricks-csomag létrehozása feladat

Csomagkonfiguráció létrehozása egy feladathoz.

Note

Ez a parancs jelenleg csak a jegyzetfüzet-feladatokkal rendelkező feladatokat támogatja.

databricks bundle generate job [flags]

Beállítások

--bind

    A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.

-d, --config-dir string

    A kimeneti konfigurációt tároló dir elérési út (alapértelmezett "erőforrások")

--existing-job-id int

    A konfiguráció létrehozásához használt feladat feladatazonosítója

-f, --force

    Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban

-s, --source-dir string

    A letöltött fájlok tárolási útvonala (alapértelmezett "src")

Globális jelzők

Példák

Az alábbi példa létrehoz egy új hello_job.yml fájlt a resources csomag projektmappájában, amely tartalmazza az alábbi YAML-et, és letölti a simple_notebook.pysrc projektmappába. Emellett a létrehozott erőforrást a munkaterület meglévő feladatához köti.

databricks bundle generate job --existing-job-id 6565621249 --bind
# This is the contents of the resulting hello_job.yml file.
resources:
  jobs:
    hello_job:
      name: 'Hello Job'
      tasks:
        - task_key: run_notebook
          email_notifications: {}
          notebook_task:
            notebook_path: ../src/simple_notebook.py
            source: WORKSPACE
          run_if: ALL_SUCCESS
      max_concurrent_runs: 1

databricks-csomag létrehozása folyamat

Csomagkonfiguráció létrehozása meglévő folyamathoz.

databricks bundle generate pipeline [flags]

Tip

Ha már rendelkezik egy meglévő Spark Deklaratív Csővezetékek (SDP) projekttel, konfigurációt hozhat létre a használatával databricks pipelines generate. Tekintse meg a databricks-folyamatok generált adatait.

Beállítások

--bind

    A létrehozott erőforrás automatikus kötése a munkaterületen lévő meglévővel.

-d, --config-dir string

    A kimeneti konfigurációt tároló dir elérési út (alapértelmezett "erőforrások")

--existing-pipeline-id string

    A konfigurálás létrehozásához használt folyamat azonosítója

-f, --force

    Meglévő fájlok felülírása kényszerítése a kimeneti könyvtárban

-s, --source-dir string

    A letöltött fájlok tárolási útvonala (alapértelmezett "src")

Globális jelzők

Példák

Az alábbi példa egy meglévő folyamat konfigurációját hozza létre:

databricks bundle generate pipeline --existing-pipeline-id abc-123-def

databricks bundle init

Új csomag inicializálása csomagsablon használatával. A sablonok konfigurálhatók úgy, hogy értékeket kérjenek a felhasználótól. Lásd a Databricks Asset Bundle projektsablonjait.

databricks bundle init [TEMPLATE_PATH] [flags]

Érvek

TEMPLATE_PATH

    Inicializáláshoz használandó sablon (nem kötelező)

Beállítások

--branch string

    Sablon inicializálásához használandó Git-ág

--config-file string

    A sablon inicializálásához szükséges bemeneti paraméterek kulcsértékpárjait tartalmazó JSON-fájl.

--output-dir string

    Címtár az inicializált sablon írásához.

--tag string

    Sablon inicializálásához használandó Git-címke

--template-dir string

    Címtár elérési útja a sablont tartalmazó Git-adattárban.

Globális jelzők

Példák

Az alábbi példa az alapértelmezett csomagsablonok listáját kéri, amelyek közül választani szeretne:

databricks bundle init

Az alábbi példa inicializál egy csomagot az alapértelmezett Python-sablonnal:

databricks bundle init default-python

A Databricks-eszközcsomag egyéni Databricks-eszközcsomag-sablonnal való létrehozásához adja meg az egyéni sablon elérési útját:

databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"

Az alábbi példa inicializál egy csomagot egy Git-adattárból:

databricks bundle init https://github.com/my/repository

Az alábbi példa inicializál egy adott ágat:

databricks bundle init --branch main

a databricks-csomag meg van nyitva

Lépjen egy kötegerőforrásra a munkaterületen, és adja meg a megnyitni kívánt erőforrást. Ha nincs megadva erőforráskulcs, ez a parancs megjeleníti a csomag azon erőforrásainak listáját, amelyek közül választani szeretne.

databricks bundle open [flags]

Beállítások

--force-pull

    A helyi gyorsítótár kihagyása és az állapot betöltése a távoli munkaterületről

Globális jelzők

Példák

Az alábbi példa elindít egy böngészőt, és a csomagban lévő irányítópultra baby_gender_by_county navigál a csomaghoz konfigurált Databricks-munkaterületen:

databricks bundle open baby_gender_by_county

databricks-csomag terv

Az aktuális csomagkonfiguráció üzembehelyezési tervének megjelenítése.

Ez a parancs létrehozza a csomagot, és módosítások nélkül jeleníti meg az üzembe helyezendő erőforrásokon végrehajtandó műveleteket. Ez lehetővé teszi a módosítások előzetes megtekintését a futtatás bundle deployelőtt.

databricks bundle plan [flags]

Beállítások

-c, --cluster-id string

    Bírálja felül az üzembe helyezésben lévő fürtöt a megadott fürtazonosítóval.

--force

    A Git-ág kényszerítő felülbírálása.

Globális jelzők

Példák

Az alábbi példa egy Python-kereket összeállító csomag üzembehelyezési tervét adja ki, és meghatároz egy feladatot és egy folyamatot:

databricks bundle plan
Building python_artifact...
create jobs.my_bundle_job
create pipelines.my_bundle_pipeline

databricks-csomag futtatása

Feladat, folyamat vagy szkript futtatása. Ha nem ad meg erőforrást, a parancs meghatározott feladatokat, folyamatokat és szkripteket ajánl fel, amelyek közül választhat. Másik lehetőségként adja meg a csomagkonfigurációs fájlokban deklarált feladat- vagy folyamatkulcsot vagy szkriptnevet.

databricks bundle run [flags] [KEY]

Folyamat ellenőrzése

Ha csővezeték-ellenőrző futtatást szeretne végezni, használja a --validate-only opciót, ahogy az a következő példában látható:

databricks bundle run --validate-only my_pipeline

Feladatparaméterek átadása

A feladatparaméterek átadásához használja a --params opciót, amit vesszővel elválasztott kulcs-érték párok követnek, ahol a kulcs a paraméter neve. A következő parancs például beállítja a message nevű paramétert a HelloWorld értékre a hello_job nevű feladat számára.

databricks bundle run --params message=HelloWorld hello_job

Note

Ahogy az alábbi példákban is látható, a feladatfeladat-beállítások használatával paramétereket adhat át a feladattevékenységeknek, de a --params feladatparaméterek átadásához ez a beállítás ajánlott módszer. Hiba akkor fordul elő, ha olyan feladathoz vannak megadva feladatparaméterek, amelyekhez nincs meghatározva feladatparaméter, vagy ha a feladatparaméterek definiálva vannak egy feladatparaméterrel rendelkező feladathoz.

Kulcsszó- vagy pozícióargumentumokat is megadhat. Ha a megadott feladat feladatparamétereket használ, vagy a feladathoz tartozik egy paraméterekkel rendelkező jegyzetfüzet-tevékenység, a rendszer a paraméternevekhez rendeli a jelölőneveket:

databricks bundle run hello_job -- --key1 value1 --key2 value2

Vagy ha a megadott feladat nem használ feladatparamétereket, és a feladat Python-fájlfeladattal vagy Python-kerekes feladattal rendelkezik:

databricks bundle run my_job -- value1 value2 value3

A paraméterekkel rendelkező feladatdefiníciók példáiért lásd: Feladat paraméterekkel.

Szkriptek végrehajtása

Szkriptek, például integrációs tesztek végrehajtásához a csomag konfigurált hitelesítési adataival, futtathat szkripteket beágyazottan, vagy egy, a csomagkonfigurációban meghatározott szkriptet. A szkriptek a csomagban konfigurált hitelesítési környezettel futnak.

  • Fűzze hozzá a kettős kötőjelet (--) a bundle run után, hogy a szkriptek beágyazva fussanak. A következő parancs például az aktuális felhasználó aktuális munkakönyvtárát adja ki:

    databricks bundle run -- python3 -c 'import os; print(os.getcwd())'
    
  • Másik lehetőségként definiáljon egy szkriptet a csomagkonfigurációban a scripts leképezésen belül, majd futtassa bundle run a szkriptet:

    scripts:
      my_script:
        content: python3 -c 'import os; print(os.getcwd())'
    
    databricks bundle run my_script
    

    A konfigurációval kapcsolatos scripts további információkért tekintse meg a szkripteket és szkripteket.

A csomaghitelesítési információkat a rendszer környezeti változók használatával továbbítja a gyermekfolyamatoknak. Lásd: Databricks egyesített hitelesítés.

Érvek

KEY

    A futtatni kívánt erőforrás egyedi azonosítója (nem kötelező)

Beállítások

--no-wait

    Ne várjon, amíg a futtatás befejeződik.

--restart

    Indítsa újra a futtatásokat, ha már fut.

Globális jelzők

Feladatjelzők

Az alábbi jelzők feladatszintű paraméterjelölők. Lásd: Feladatparaméterek konfigurálása.

--params stringToString

    vesszővel elválasztott k=v párok a feladatparaméterekhez (alapértelmezett [])

Feladattevékenység-jelzők

Az alábbi jelzők tevékenységszintű paraméterjelölők. Lásd: Feladatparaméterek konfigurálása. A Databricks feladatszintű paraméterek (--params) használatát javasolja feladatszintű paraméterekkel.

--dbt-commands strings

    A DBT-feladatokat tartalmazó feladatokhoz végrehajtandó parancsok listája.

--jar-params strings

    A Spark JAR-feladatokkal rendelkező feladatok paramétereinek listája.

--notebook-params stringToString

    Térkép a billentyűkről az értékekre a jegyzetfüzet-feladatokkal rendelkező feladatokhoz. (alapértelmezett [])

--pipeline-params stringToString

    Térkép a kulcsoktól az értékekig a folyamattevékenységekkel rendelkező feladatokhoz. (alapértelmezett [])

--python-named-params stringToString

    Térkép a kulcsoktól az értékekig a Python-kerekes feladatokkal rendelkező feladatokhoz. (alapértelmezett [])

--python-params strings

    A Python-feladatokkal rendelkező feladatok paramétereinek listája.

--spark-submit-params strings

    A Spark-feladatokat beküldő feladatok paramétereinek listája.

--sql-params stringToString

    Az SQL-feladatokkal rendelkező feladatokhoz tartozó kulcsok és értékek térképe. (alapértelmezett [])

Folyamatjelzők

A következő jelzők a folyamatjelzők.

--full-refresh strings

    A visszaállítandó és újrafordítandó táblák listája.

--full-refresh-all

    Végezze el a teljes gráf alaphelyzetbe állítását és újrafordítását.

--refresh strings

    A frissíteni kívánt táblák listája.

--refresh-all

    Teljes gráffrissítés végrehajtása.

--validate-only

    A gráf helyességének ellenőrzéséhez végezzen frissítést.

Példák

Az alábbi példa egy feladatot hello_job futtat az alapértelmezett célban:

databricks bundle run hello_job

Az alábbi példa egy feladatot hello_job futtat egy, a névvel devdeklarált cél kontextusában:

databricks bundle run -t dev hello_job

Az alábbi példa megszakítja és újraindítja a meglévő feladatfuttatást:

databricks bundle run --restart hello_job

Az alábbi példa egy teljes frissítést tartalmazó folyamatot futtat:

databricks bundle run my_pipeline --full-refresh-all

Az alábbi példa egy parancsot hajt végre a csomagkörnyezetben:

databricks bundle run -- echo "hello, world"

databricks-csomagséma

A csomagkonfiguráció JSON-sémájának megjelenítése.

databricks bundle schema [flags]

Beállítások

Globális jelzők

Példák

Az alábbi példa a csomagkonfiguráció JSON-sémáját adja ki:

databricks bundle schema

A csomagkonfigurációs séma JSON-fájlként való kimenetéhez futtassa a bundle schema parancsot, és irányítsa át a kimenetet egy JSON-fájlba. Létrehozhat például egy fájlt bundle_config_schema.json az aktuális könyvtárban:

databricks bundle schema > bundle_config_schema.json

databricks-csomag összefoglalása

Adja meg egy csomag identitásának és erőforrásainak összegzését, beleértve az erőforrásokra mutató mély hivatkozásokat, hogy könnyen navigáljon az erőforráshoz a Databricks-munkaterületen.

databricks bundle summary [flags]

Tip

A Databricks-munkaterületen található erőforráshoz bundle open is navigálhat. Nyissa meg a databricks-csomagot.

Beállítások

--force-pull

    A helyi gyorsítótár kihagyása és az állapot betöltése a távoli munkaterületről

Globális jelzők

Példák

Az alábbi példa egy csomag üzembe helyezett erőforrásainak összegzését adja ki:

databricks bundle summary

A következő kimenet egy feladatokat és folyamatokat meghatározó csomag my_pipeline_bundle összegzése:

Name: my_pipeline_bundle
Target: dev
Workspace:
  Host: https://myworkspace.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/my_pipeline/dev
Resources:
  Jobs:
    my_project_job:
      Name: [dev someone] my_project_job
      URL:  https://myworkspace.cloud.databricks.com/jobs/206000809187888?o=6051000018419999
  Pipelines:
    my_project_pipeline:
      Name: [dev someone] my_project_pipeline
      URL:  https://myworkspace.cloud.databricks.com/pipelines/7f559fd5-zztz-47fa-aa5c-c6bf034b4f58?o=6051000018419999

databricks-csomag szinkronizálása

Egy csomag fájlmódosításainak egyirányú szinkronizálása egy helyi fájlrendszerkönyvtárban, egy távoli Azure Databricks-munkaterület könyvtárába.

Note

bundle sync a parancsok nem tudják szinkronizálni a fájlmódosításokat egy távoli Azure Databricks-munkaterület könyvtárából egy helyi fájlrendszer könyvtárába.

databricks bundle sync [flags]

databricks bundle sync a parancsok ugyanúgy működnek, mint databricks sync a parancsok, és a hatékonyságnövelő kényelemként szolgálnak. A parancshasználattal kapcsolatos információkért tekintse meg sync a parancsot.

Beállítások

--dry-run

    Szinkronizálási végrehajtás szimulálása tényleges módosítások nélkül

--full

    Teljes szinkronizálás végrehajtása (az alapértelmezett érték növekményes)

--interval duration

    Fájlrendszer lekérdezési időköze (a következőhöz --watch: ) (alapértelmezett 1)

--output type

    A kimeneti formátum típusa

--watch

    Változások megtekintése a helyi fájlrendszerben

Globális jelzők

Példák

Az alábbi példa száraz futtatási szinkronizálást hajt végre:

databricks bundle sync --dry-run

Az alábbi példa automatikusan figyeli a módosításokat és a szinkronizálásokat:

databricks bundle sync --watch

Az alábbi példa teljes szinkronizálást hajt végre:

databricks bundle sync --full

databricks-csomag ellenőrzése

Ellenőrizze, hogy a csomagkonfigurációs fájlok szintaktikailag helyesek-e.

databricks bundle validate [flags]

Ez a parancs alapértelmezés szerint a csomag identitásának összegzését adja vissza:

Name: MyBundle
Target: dev
Workspace:
  Host: https://my-host.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/MyBundle/dev

Validation OK!

Note

A bundle validate parancs figyelmeztetéseket ad ki, ha az erőforrás-tulajdonságok olyan csomagkonfigurációs fájlokban vannak definiálva, amelyek nem találhatók a megfelelő objektum sémájában.

Ha csak a csomag identitásának és erőforrásainak összegzését szeretné megjeleníteni, használja a csomag összegzését.

Beállítások

Globális jelzők

Példák

Az alábbi példa ellenőrzi a csomagkonfigurációt:

databricks bundle validate

Globális jelzők

--debug

  Engedélyezze-e a hibakeresési naplózást.

-h vagy --help

    Súgó megjelenítése a Databricks parancssori felületéhez, a kapcsolódó parancscsoporthoz vagy a kapcsolódó parancshoz.

--log-file karakterlánc

    A karakterlánc, amely megadja, melyik fájlba írja az kimeneti naplókat. Ha ez a jelző nincs megadva, akkor az alapértelmezett beállítás a kimeneti naplók stderrbe írása.

--log-format formátum

    A naplóformátum típusa, text vagy json. Az alapértelmezett érték a text.

--log-level karakterlánc

    A naplóformátum szintjét képviselő karakterlánc. Ha nincs megadva, a naplóformátum szintje le van tiltva.

-o, --output típus

    A parancs kimenetének típusa: text vagy json. Az alapértelmezett érték a text.

-p, --profile karakterlánc

    A parancs futtatásához használni kívánt fájl profiljának ~/.databrickscfg neve. Ha ez a jelző nincs megadva, akkor ha létezik, a rendszer a névvel ellátott DEFAULT profilt használja.

--progress-format formátum

    A folyamatnaplók megjelenítésének formátuma: default, append, inplacevagy json

-t, --target karakterlánc

    Ha alkalmazható, a használni kívánt célcsomag

--var strings

    a csomagkonfigurációban definiált változók értékeinek beállítása. Példa: --var="foo=bar"