Parancssori felület futtatása (örökölt)

Cikk
03/01/2024

Fontos

Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül.

Ezek az információk az örökölt Databricks CLI 0.18-s és újabb verzióira vonatkoznak. A Databricks azt javasolja, hogy helyette a Databricks CLI 0.205-ös vagy újabb verzióját használja. Lásd: Mi a Databricks parancssori felület? A Databricks parancssori felület verziójának megkereséséhez futtassa a következőt databricks -v: .

Ha a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára szeretne migrálni, tekintse meg a Databricks parancssori felület migrálását.

A Databricks-feladat parancssori felületi alparancsokat futtat, ha hozzáfűzi őket databricks runs a Databricks-feladatok parancssori felületének alparancsaihoz databricks jobs. A Databricks-feladatok parancssori felületének alparancsaiért tekintse meg a Feladatok parancssori felületét (örökölt). Ezek az alparancsok együttesen hívják a Jobs API-t és a Jobs API 2.0-t.

Fontos

A Databricks-feladat parancssori felülete támogatja a Databricks Jobs REST API két verziójának hívását: a 2.1-es és a 2.0-s verziót. (A feladatfuttatási funkciók a Jobs REST API részét képezik.) A 2.1-es verzió támogatja a több feladattal rendelkező feladatok vezénylését; Lásd: Azure Databricks-feladatok létrehozása és futtatása és frissítése a Jobs API 2.0-ról 2.1-esre. A Databricks azt javasolja, hogy hívja meg a 2.1-es verziót, hacsak nem rendelkezik olyan régi szkriptekkel, amelyek a 2.0-s verzióra támaszkodnak, és nem migrálhatók.

Eltérő rendelkezés hiányában a cikkben ismertetett programozott viselkedések a 2.1 és a 2.0 verzióra egyaránt érvényesek.

Megjegyzés:

Ha 500-as szintű hibaüzenet jelenik meg a feladat parancssori felületi kérések futtatásakor, a Databricks azt javasolja, hogy a kérések újrapróbálkozása legfeljebb 10 percig tart (az újrapróbálkozások között legalább 30 másodperces időközzel).

A Jobs REST API 2.1 meghívásának követelményei

A Databricks-feladat parancssori felületének (és a feladatok parancssori felületének) beállításához hívja meg a Jobs REST API 2.1-et, tegye a következőket:

Frissítse a parancssori felületet a 0.16.0-s vagy újabb verzióra.
Válasszon a következő lehetőségek közül:
- Run the databricks jobs configure --version=2.1 command. Ezzel hozzáadja a beállítást jobs-api-version = 2.1 a fájlhoz ~/.databrickscfg Unix, Linux vagy macOS rendszeren vagy %USERPROFILE%\.databrickscfg Windows rendszeren. A parancssori felület (és a feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.1-et.
- Adja hozzá manuálisan a beállítást jobs-api-version = 2.1 a fájlhoz ~/.databrickscfg Unix, Linux vagy macOS rendszeren vagy %USERPROFILE%\.databrickscfg Windows rendszeren. A parancssori felület (és a feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.1-et.
- Fűzze hozzá a lehetőséget --version=2.1 (például databricks runs list --version=2.1) a feladat parancssori felületének meghívásához, hogy csak az adott híváshoz hívja meg a Jobs REST API 2.1-et.
Ha az előző műveletek egyikét sem hajtja végre, a feladat parancssori felülete (és a feladatok parancssori felülete) alapértelmezés szerint meghívja a Jobs REST API 2.0-t.

A Jobs REST API 2.0 meghívásának követelményei

Ha a Databricks-feladat parancssori felületét (és a feladatok parancssori felületét) szeretné beállítani a Jobs REST API 2.0 meghívásához, tegye az alábbiak egyikét:

Használja a Databricks PARANCSSOR 0.16.0 alatti verzióját, vagy
Frissítse a parancssori felületet a 0.16.0-s vagy újabb verzióra, majd tegye az alábbiak egyikét:
- Run the databricks jobs configure --version=2.0 command. Ezzel hozzáadja a beállítást jobs-api-version = 2.0 a fájlhoz ~/.databrickscfg Unix, Linux vagy macOS rendszeren vagy %USERPROFILE%\.databrickscfg Windows rendszeren. Minden feladat parancssori felület (és feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.0-t.
- Adja hozzá manuálisan a beállítást jobs-api-version = 2.0 a fájlhoz ~/.databrickscfg Unix, Linux vagy macOS rendszeren vagy %USERPROFILE%\.databrickscfg Windows rendszeren. Minden feladat parancssori felület (és feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.0-t.
- Fűzze hozzá a lehetőséget --version=2.1 (például databricks runs list --version=2.0) a feladat parancssori felületének meghívásához, hogy csak az adott híváshoz hívja meg a Jobs REST API 2.0-t.

Ha az előző műveletek egyikét sem hajtja végre, a feladat parancssori felülete (és a feladatok parancssori felülete) alapértelmezés szerint meghívja a Jobs REST API 2.0-t.

Alparancsok és általános használat

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Futtatás megszakítása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs cancel --help:

databricks runs cancel --run-id 119

{}

Információk lekérése futtatásról

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs get --help:

Általános használat

databricks runs get --run-id 2785782

Feladatok CLI 2.1 használati megjegyzések és válasz példa

Lásd: A futtatások frissítése a Jobs API 2.0-ról 2.1-esre.

Feladat cli 2.0 válasz példája

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Futtatás kimenetének lekérése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs get-output --help:

Megjegyzés:

Amikor egy notebook_task hívás dbutils.notebook.exit()egy értékét adja vissza, a Databricks a visszaadott értéket az első 5 MB-ra korlátozza. Ha nagyobb eredményt szeretne visszaadni, a feladateredményeket egy felhőalapú tárolási szolgáltatásban tárolhatja.

Általános használat

databricks runs get-output --run-id 2785782

Feladatok CLI 2.1 használati megjegyzései

Lásd: A Futtatások lekérése kimenet a Jobs API 2.0-ról 2.1-esre való frissítésében.

Feladat cli 2.0 válasz példája

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Információk lekérése az összes futtatásról

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs list --help:

Általános használat

databricks runs list --output JSON

Feladatok CLI 2.1 használati megjegyzések és válasz példa

Lásd: Futtatások listája a Jobs API 2.0-ról 2.1-esre való frissítésében.

Feladat cli 2.0 válasz példája

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Ha has_more visszaadja, truetovábbi futtatásokra vonatkozó információk érhetők el. --offset A beállítással a legutóbbi futtatáshoz képest adja vissza a futtatások adatait. Ha például a legutóbbi tizedik futtatástól kezdve szeretne adatokat visszaadni, adja meg a következőt --offset 10: .

--limit A beállítással rögzített számú futtatás adatait adja vissza. Ha például a következő 5 futtatáshoz szeretne adatokat visszaadni, adja meg a következő --limit 55 futtatás adatait. Legfeljebb 1000 futtatás adható meg. Ha nincs megadva, az alapértelmezett érték 20.

Egyszeri futtatás elküldése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs submit --help:

Általános használat

databricks runs submit --json-file submit-run.json

Jobs REST API 2.1 használati megjegyzések és kérési példa

Lásd: Futtatások küldése a Jobs API 2.0-ról 2.1-esre való frissítés során.

Jobs REST API 2.0 kérés és válasz példa

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}

Parancssori felület futtatása (örökölt)

A Jobs REST API 2.1 meghívásának követelményei

A Jobs REST API 2.0 meghívásának követelményei

Alparancsok és általános használat

Futtatás megszakítása

Információk lekérése futtatásról

Általános használat

Feladatok CLI 2.1 használati megjegyzések és válasz példa

Feladat cli 2.0 válasz példája

Futtatás kimenetének lekérése

Általános használat

Feladatok CLI 2.1 használati megjegyzései

Feladat cli 2.0 válasz példája

Információk lekérése az összes futtatásról

Általános használat

Feladatok CLI 2.1 használati megjegyzések és válasz példa

Feladat cli 2.0 válasz példája

Egyszeri futtatás elküldése

Általános használat

Jobs REST API 2.1 használati megjegyzések és kérési példa

Jobs REST API 2.0 kérés és válasz példa

További források