Sdílet prostřednictvím

Spustí rozhraní příkazového řádku (starší verze)

Důležité

Tato dokumentace byla vyřazena a nemusí být aktualizována.

Tyto informace platí pro starší verze Rozhraní příkazového řádku Databricks 0.18 a nižší. Databricks doporučuje místo toho použít novější rozhraní příkazového řádku Databricks verze 0.205 nebo vyšší. Podívejte se na Co je Databricks CLI?. Pokud chcete zjistit svou verzi rozhraní příkazového řádku Databricks, spusťte databricks -vpříkaz .

Pokud chcete migrovat z Rozhraní příkazového řádku Databricks verze 0.18 nebo novější na Databricks CLI verze 0.205 nebo novější, přečtěte si téma Migrace rozhraní příkazového řádku Databricks.

Úlohu Databricks spustíte podpříkazy rozhraní příkazového řádku tak, že je připojíte k databricks runs dílčím příkazům CLI úloh Databricks tak, že je připojíte k databricks jobs. Pro podpříkazy CLI pro úlohy Databricks, viz Jobs CLI (starší verze). Společně tyto dílčí příkazy volají API úloh a API úloh 2.0.

Důležité

Rozhraní příkazového řádku pro spouštění úloh Databricks podporuje volání dvou verzí rozhraní REST API pro úlohy Databricks: verze 2.1 a 2.0. (Funkce spuštění úloh je součástí rozhraní REST API úloh.) Verze 2.1 přidává podporu orchestrace úloh s více úlohami; Viz Úlohy Lakeflow a aktualizace z rozhraní API úloh 2.0 na 2.1. Databricks doporučuje volat verzi 2.1, pokud nemáte starší skripty, které spoléhají na verzi 2.0 a nejdou migrovat.

Pokud není uvedeno jinak, programové chování popsané v tomto článku platí stejně pro verze 2.1 a 2.0.

Poznámka:

Pokud během spouštění úloh obdržíte chybu úrovně 500 při žádostech rozhraní příkazového řádku, doporučuje Databricks zkusit opakovat žádosti po dobu až 10 minut (s minimálním 30sekundovým intervalem mezi opakováními).

Požadavky na volání rozhraní REST API úloh 2.1

Chcete-li nastavit spuštění úloh Databricks prostřednictvím rozhraní příkazového řádku (a rozhraní příkazového řádku úloh) pro volání rozhraní Jobs REST API 2.1, postupujte takto:

  1. Aktualizujte rozhraní příkazového řádku na verzi 0.16.0 nebo vyšší.

  2. Proveďte některou z následujících akcí:

    • Spusťte příkaz databricks jobs configure --version=2.1. Tím se toto nastavení jobs-api-version = 2.1 přidá do souboru ~/.databrickscfg v systémech Unix, Linux nebo macOS nebo %USERPROFILE%\.databrickscfg ve Windows. Všechny dílčí příkazy "Provoz úloh CLI" a "Úlohy CLI" budou ve výchozím nastavení volat rozhraní Jobs REST API 2.1.
    • Ručně přidejte nastavení jobs-api-version = 2.1 do souboru ~/.databrickscfg v systémech Unix, Linux nebo macOS nebo %USERPROFILE%\.databrickscfg Windows. Všechny dílčí příkazy "Provoz úloh CLI" a "Úlohy CLI" budou ve výchozím nastavení volat rozhraní Jobs REST API 2.1.
    • Připojte možnost --version=2.1 (například databricks runs list --version=2.1) k pokynu pro spuštění rozhraní příkazového řádku úloh, aby při tomto konkrétním volání volalo pouze rozhraní Jobs REST API 2.1.

    Pokud neprovedete žádnou z předchozích akcí, úloha se ve výchozím nastavení spustí prostřednictvím rozhraní příkazového řádku a zavolá se rozhraní Jobs REST API 2.0.

Požadavky na volání Jobs REST API 2.0

Pro nastavení spouštění úloh Databricks přes rozhraní příkazového řádku (CLI) a CLI úloh pro volání Jobs REST API 2.0 proveďte jednu z následujících akcí:

  • Použijte verzi rozhraní příkazového řádku Databricks nižší než 0.16.0 nebo
  • Aktualizujte rozhraní příkazového řádku na verzi 0.16.0 nebo novější a proveďte jednu z následujících věcí:
    • Spusťte příkaz databricks jobs configure --version=2.0. Tím se toto nastavení jobs-api-version = 2.0 přidá do souboru ~/.databrickscfg v systémech Unix, Linux nebo macOS nebo %USERPROFILE%\.databrickscfg ve Windows. Všechny dílčí příkazy pro Job Runs CLI a Jobs CLI ve výchozím nastavení zavolají rozhraní REST API Jobs 2.0.
    • Ručně přidejte nastavení jobs-api-version = 2.0 do souboru ~/.databrickscfg v systémech Unix, Linux nebo macOS nebo %USERPROFILE%\.databrickscfg Windows. Všechny dílčí příkazy pro Job Runs CLI a Jobs CLI ve výchozím nastavení zavolají rozhraní REST API Jobs 2.0.
    • Připojte možnost --version=2.1 (například) k pokynu, databricks runs list --version=2.0aby úloha spustila rozhraní příkazového řádku pro volání rozhraní REST API úloh 2.0 pouze pro toto volání.

Pokud neprovedete žádnou z předchozích akcí, úloha se ve výchozím nastavení spustí prostřednictvím rozhraní příkazového řádku a zavolá se rozhraní Jobs REST API 2.0.

Dílčí příkazy a obecné použití

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Zrušit spuštění

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks runs cancel --helppříkaz .

databricks runs cancel --run-id 119

{}

Získejte informace o běhu

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks runs get --helppříkaz .

Obecné použití

databricks runs get --run-id 2785782

Poznámky k využití CLI 2.1 pro úlohy a příklad odpovědi

Viz Spuštění přiaktualizaci z rozhraní API úloh 2.0 na verzi 2.1.

Příklad odpovědi cli 2.0 pro úlohy

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Získejte výstup běhu

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks runs get-output --helppříkaz .

Poznámka:

Když notebook_task vrátí hodnotu z volání na dbutils.notebook.exit(), Databricks omezí tuto vrácenou hodnotu na prvních 5 MB dat. Pokud chcete vrátit větší výsledek, můžete výsledky úloh uložit do služby cloudového úložiště.

Obecné použití

databricks runs get-output --run-id 2785782

Poznámky k použití CLI verze 2.1 pro úlohy

Viz Výstupy spuštění v dokumentu Aktualizace z rozhraní API úloh 2.0 na verzi 2.1.

Příklad odpovědi cli 2.0 pro úlohy

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Získejte informace o všech spuštěních

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks runs list --helppříkaz .

Obecné použití

databricks runs list --output JSON

Poznámky k využití CLI 2.1 pro úlohy a příklad odpovědi

Viz seznam spuštění při aktualizaci z rozhraní API úloh 2.0 na 2.1.

Příklad odpovědi cli 2.0 pro úlohy

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Pokud se has_more vrátí true, jsou k dispozici informace o dalších spuštěních. Možnost --offset se používá k vrácení informací o spuštěních vzhledem k poslednímu spuštění. Například, pokud chcete získat informace počínaje desátým nejnovějším spuštěním, zadejte --offset 10.

Pomocí možnosti --limit můžete vrátit informace o pevném počtu spuštění. Pokud chcete například vrátit informace o dalších 5 spuštěních, zadejte --limit 5. Můžete zadat až 1 000 spuštění. Pokud není zadáno, výchozí hodnota je 20.

Odeslat jednorázové spuštění

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks runs submit --helppříkaz .

Obecné použití

databricks runs submit --json-file submit-run.json

Poznámky k použití a příklad žádosti Jobs API rozhraní REST 2.1

Viz Odeslání běhů v Aktualizace z API úloh 2.0 na 2.1.

Příklad požadavku a odpovědi Jobs REST API 2.0

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}
  • Last updated on