Jobb CLI (äldre)

Artikel
03/01/2024

Viktigt!

Den här dokumentationen har dragits tillbaka och kanske inte uppdateras.

Den här informationen gäller för äldre Databricks CLI-versioner 0.18 och senare. Databricks rekommenderar att du använder nyare Databricks CLI version 0.205 eller senare i stället. Se Vad är Databricks CLI?. Kör för att hitta din version av Databricks CLI databricks -v.

Information om hur du migrerar från Databricks CLI version 0.18 eller senare till Databricks CLI version 0.205 eller senare finns i Databricks CLI-migrering.

Du kör Cli-underkommandon för Databricks-jobb genom att lägga till dem i databricks jobs och Databricks-jobbet kör CLI-underkommandon genom att lägga till dem i databricks runs. För Databricks-jobb som kör CLI-underkommandon , se Körningar CLI (äldre). Tillsammans anropar dessa underkommandon Jobb-API:et och Jobb-API 2.0.

Viktigt!

Databricks-jobben CLI stöder anrop till två versioner av Rest-API:et för Databricks-jobb: versionerna 2.1 och 2.0. Version 2.1 lägger till stöd för orkestrering av jobb med flera uppgifter. se Skapa och köra Azure Databricks-jobb och uppdatera från Jobb-API 2.0 till 2.1. Databricks rekommenderar att du anropar version 2.1, såvida du inte har äldre skript som förlitar sig på version 2.0 och som inte kan migreras.

Om inget annat anges gäller de programmatiska beteenden som beskrivs i den här artikeln lika för versionerna 2.1 och 2.0.

Krav för att anropa JOBB REST API 2.1

Om du vill konfigurera och använda Databricks-jobben CLI (och jobbet kör CLI) för att anropa Jobb REST API 2.1 gör du följande:

Uppdatera CLI till version 0.16.0 eller senare.
Gör något av följande:
- Kör kommandot databricks jobs configure --version=2.1. Detta lägger till inställningen jobs-api-version = 2.1 i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla cli-underkommandon för jobb (och jobbkörningar av CLI) anropar jobbens REST API 2.1 som standard.
- Lägg till inställningen jobs-api-version = 2.1 manuellt i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla cli-underkommandon för jobb (och jobbkörningar av CLI) anropar jobbens REST API 2.1 som standard.
- Lägg till alternativet --version=2.1 (till exempel databricks jobs list --version=2.1) för att instruera jobben CLI att anropa JOBB REST API 2.1 endast för det anropet.
Om du inte utför någon av föregående åtgärder anropar jobben CLI (och jobbet kör CLI) jobbens REST API 2.0 som standard.

Krav för att anropa JOBS REST API 2.0

Om du vill konfigurera och använda Databricks-jobben CLI (och jobbet kör CLI) för att anropa Jobb REST API 2.0 gör du något av följande:

Använd en version av Databricks CLI under 0.16.0 eller
Uppdatera CLI till version X.Y.Z eller senare och gör sedan något av följande:
- Kör kommandot databricks jobs configure --version=2.0. Detta lägger till inställningen jobs-api-version = 2.0 i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla cli-underkommandon för jobb (och jobbkörningar) anropar jobbens REST API 2.0 som standard.
- Lägg till inställningen jobs-api-version = 2.0 manuellt i filen ~/.databrickscfg på Unix, Linux eller macOS eller %USERPROFILE%\.databrickscfg i Windows. Alla cli-underkommandon för jobb (och jobbkörningar) anropar jobbens REST API 2.0 som standard.
- Lägg till alternativet --version=2.1 (till exempel databricks jobs list --version=2.0) för att instruera jobben CLI att anropa JOBB REST API 2.0 endast för det anropet.

Om du inte utför någon av föregående åtgärder anropar jobben CLI (och jobbet kör CLI) jobbens REST API 2.0 som standard.

Underkommandon och allmän användning

databricks jobs -h

Usage: databricks jobs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs.

  Job runs are handled by ``databricks runs``.

Options:
  -v, --version  [VERSION]
  -h, --help     Show this message and exit.

Commands:
  create   Creates a job.
    Options:
      --json-file PATH            File containing JSON request to POST to /api/2.0/jobs/create.
      --json JSON                 JSON string to POST to /api/2.0/jobs/create.
  delete   Deletes a job.
    Options:
      --job-id JOB_ID             Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#job/$JOB_ID. [required]
  get      Describes the metadata for a job.
    Options:
    --job-id JOB_ID               Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#job/$JOB_ID. [required]
  list     Lists the jobs in the Databricks Job Service.
  reset    Resets (edits) the definition of a job.
    Options:
      --job-id JOB_ID             Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#job/$JOB_ID. [required]
      --json-file PATH            File containing JSON request to POST to /api/2.0/jobs/create.
      --json JSON                 JSON string to POST to /api/2.0/jobs/create.
  run-now  Runs a job with optional per-run parameters.
    Options:
      --job-id JOB_ID             Can be found in the URL at https://<databricks-instance>/#job/$JOB_ID. [required]
      --jar-params JSON           JSON string specifying an array of parameters. i.e. '["param1", "param2"]'
      --notebook-params JSON      JSON string specifying a map of key-value pairs. i.e. '{"name": "john doe", "age": 35}'
      --python-params JSON        JSON string specifying an array of parameters. i.e. '["param1", "param2"]'
      --spark-submit-params JSON  JSON string specifying an array of parameters. i.e. '["--class", "org.apache.spark.examples.SparkPi"]'

Skapa ett jobb

Om du vill visa användningsdokumentationen kör du databricks jobs create --help.

Allmän användning

databricks jobs create --json-file create-job.json

Cli 2.1-användningsanteckningar för jobb och exempel på begäran

Se Skapa i Uppdatera från Jobb API 2.0 till 2.1.

Cli 2.0-jobbförfrågningsnyttolast och svarsexempel

create-job.json:

{
  "name": "my-job",
  "existing_cluster_id": "1234-567890-reef123",
  "notebook_task": {
    "notebook_path": "/Users/someone@example.com/My Notebook"
  },
  "email_notifications": {
    "on_success": [
      "someone@example.com"
    ],
    "on_failure": [
      "someone@example.com"
    ]
  }
}

{ "job_id": 246 }

Dricks

Om du vill kopiera ett jobb kör create du kommandot och skickar ett JSON-objekt med inställningarna för jobbet som ska kopieras. I det här exemplet kopieras inställningarna för jobbet med ID 246 :t för till ett nytt jobb. Det kräver jq-verktyget .

SETTINGS_JSON=$(databricks jobs get --job-id 246 | jq .settings)

databricks jobs create --json "$SETTINGS_JSON"

{ "job_id": 247 }

Ta bort ett jobb

Om du vill visa användningsdokumentationen kör du databricks jobs delete --help.

databricks job delete --job-id 246

Om det lyckas visas inga utdata.

Dricks

Om du vill ta bort flera jobb med samma inställning hämtar du listan över jobb-ID:t som matchar den delete inställningen och kör sedan kommandot för varje matchande jobb-ID. Det här exemplet tar bort alla jobb med jobbnamnet Untitled. Det kräver jq-verktyget .

databricks jobs list --output json | jq '.jobs[] | select(.settings.name == "Untitled") | .job_id' | xargs -n 1 databricks jobs delete --job-id

Visa information om ett jobb

Om du vill visa användningsdokumentationen kör du databricks jobs get --help.

Allmän användning

databricks jobs get --job-id 246

Cli 2.1-användningsanteckningar och svarsexempel för jobb

Se Hämta i Uppdatera från Jobb API 2.0 till 2.1.

Cli 2.0-svarsexempel för jobb

{
  "job_id": 246,
  "settings": {
    "name": "my-job",
    "existing_cluster_id": "1234-567890-reef123",
    "email_notifications": {
      "on_success": [
        "someone@example.com"
      ],
      "on_failure": [
        "someone@example.com"
      ]
    },
    "timeout_seconds": 0,
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/My Notebook"
    },
    "max_concurrent_runs": 1
  },
  "created_time": 1620163107742,
  "creator_user_name": "someone@example.com"
}

Visa information om tillgängliga jobb

Om du vill visa användningsdokumentationen kör du databricks jobs list --help.

Allmän användning

databricks jobs list

Cli 2.1-användningsanteckningar och svarsexempel för jobb

Se Lista i Uppdatera från Jobb-API 2.0 till 2.1.

Cli 2.0-svarsexempel för jobb

{
  "jobs": [
    {
      "job_id": 246,
      "settings": {
        "name": "my-job",
        "existing_cluster_id": "1234-567890-reef123",
        "email_notifications": {
          "on_success": [
            "someone@example.com"
          ],
          "on_failure": [
            "someone@example.com"
          ]
        },
        "timeout_seconds": 0,
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/My Notebook"
        },
        "max_concurrent_runs": 1
      },
      "created_time": 1620163107742,
      "creator_user_name": "someone@example.com"
    },
    ...
  ]
}

Visa en lista över alla jobb (endast API 2.1)

Om du vill instruera CLI att returnera alla jobb genom att göra sekventiella anrop till API:et använder du alternativet --all . Om du vill använda --all alternativet måste du ange API-versionen till 2.1.

databricks jobs list --all

Sidan jobblistan (endast API 2.1)

Om du vill returnera en lista över sidnumrerade jobb använder du argumenten --limit och --offset . Som standard returneras jobblistan som en tabell som innehåller jobb-ID och jobbnamn. Om du vill returnera ett JSON-dokument som innehåller jobbinformation använder du --output JSON argumentet .

Om du vill använda argumenten --limit och --offset måste du ange API-versionen till 2.1.

När du använder --output JSONreturneras listan i fallande ordning efter jobbskapandedatum. När du använder --output TABLEreturneras listan i fallande ordning efter jobbskapandedatum och sorteras sedan alfabetiskt efter jobbnamn.

Följande exempel går igenom jobblistan med 10 jobb i taget och returnerar resultatet i JSON-format:

databricks jobs list --output JSON --limit 10
databricks jobs list --output JSON --limit 10 --offset 10
databricks jobs list --output JSON --limit 10 --offset 20

Ändra inställningar för ett jobb

Om du vill visa användningsdokumentationen kör du databricks jobs reset --help.

Allmän användning

databricks jobs reset --job-id 246 --json-file reset-job.json

Cli 2.1-användningsanteckningar för jobb och exempel på begäran

Se Uppdatera och återställa i Uppdatera från Jobb-API 2.0 till 2.1.

Exempel på cli 2.0-begäran för jobb

reset-job.json:

{
  "job_id": 246,
  "existing_cluster_id": "2345-678901-batch234",
  "name": "my-changed-job",
  "notebook_task": {
    "notebook_path": "/Users/someone@example.com/My Other Notebook"
  },
  "email_notifications": {
    "on_success": [
      "someone-else@example.com"
    ],
    "on_failure": [
      "someone-else@example.com"
    ]
  }
}

Om det lyckas visas inga utdata.

Köra ett jobb

Om du vill visa användningsdokumentationen kör du databricks jobs run-now --help.

databricks jobs run-now --job-id 246

{
  "run_id": 122,
  "number_in_job": 1
}

Jobb CLI (äldre)

Krav för att anropa JOBB REST API 2.1

Krav för att anropa JOBS REST API 2.0

Underkommandon och allmän användning

Skapa ett jobb

Allmän användning

Cli 2.1-användningsanteckningar för jobb och exempel på begäran

Cli 2.0-jobbförfrågningsnyttolast och svarsexempel

Ta bort ett jobb

Visa information om ett jobb

Allmän användning

Cli 2.1-användningsanteckningar och svarsexempel för jobb

Cli 2.0-svarsexempel för jobb

Visa information om tillgängliga jobb

Allmän användning

Cli 2.1-användningsanteckningar och svarsexempel för jobb

Cli 2.0-svarsexempel för jobb

Visa en lista över alla jobb (endast API 2.1)

Sidan jobblistan (endast API 2.1)

Ändra inställningar för ett jobb

Allmän användning

Cli 2.1-användningsanteckningar för jobb och exempel på begäran

Exempel på cli 2.0-begäran för jobb

Köra ett jobb

Ytterligare resurser