A parancssori felület fut (régi rendszer)

Fontos

Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül.

Ezek az információk az örökölt Databricks CLI 0.18-s és újabb verzióira vonatkoznak. A Databricks azt javasolja, hogy helyette a Databricks CLI 0.205-ös vagy újabb verzióját használja. Lásd a Databricks parancssori felületét. A Databricks parancssori felület verziójának megkereséséhez futtassa a következőt databricks -v: .

Ha a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára szeretne migrálni, tekintse meg a Databricks parancssori felület migrálását.

Ön a Databricks feladatfutási CLI alparancsait azzal hajtja végre, hogy hozzáfűzi őket a databricks runs, és a Databricks feladatok CLI alparancsait azzal hajtja végre, hogy hozzáfűzi őket a databricks jobs. A Databricks-feladatok parancssori felületének alparancsaiért tekintse meg a Feladatok parancssori felületét (örökölt). Ezek az alparancsok együttesen hívják a Jobs API-t és a Jobs API 2.0-t.

Fontos

A Databricks-feladat parancssori felülete támogatja a Databricks Jobs REST API két verziójának hívását: a 2.1-es és a 2.0-s verziót. (A feladatfuttatási funkciók a Jobs REST API részét képezik.) A 2.1-es verzió támogatja a több feladattal rendelkező feladatok vezénylését; lásd : Lakeflow-feladatok és frissítés a Jobs API 2.0-ról 2.1-esre. A Databricks azt javasolja, hogy hívja meg a 2.1-es verziót, hacsak nem rendelkezik olyan régi szkriptekkel, amelyek a 2.0-s verzióra támaszkodnak, és nem migrálhatók.

Eltérő rendelkezés hiányában a cikkben ismertetett programozott viselkedések a 2.1 és a 2.0 verzióra egyaránt érvényesek.

Feljegyzés

Ha 500-as szintű hibaüzenet jelenik meg a feladat parancssori felületi kérések futtatásakor, a Databricks azt javasolja, hogy a kérések újrapróbálkozása legfeljebb 10 percig tart (az újrapróbálkozások között legalább 30 másodperces időközzel).

A Jobs REST API 2.1 meghívásának követelményei

A Databricks-feladatok futtatási parancssori felületének (és a feladatok parancssori felületének) beállításához a Jobs REST API 2.1 hívására a következőket tegye:

  1. Frissítse a parancssori felületet a 0.16.0-s vagy újabb verzióra.

  2. Hajtsa végre a megfelelő műveletet:

    • Futtassa a következő parancsot: databricks jobs configure --version=2.1. Ezzel hozzáadja a jobs-api-version = 2.1 beállítást a Unix, Linux vagy macOS rendszer ~/.databrickscfg fájljához, vagy a Windows esetén a %USERPROFILE%\.databrickscfg fájlhoz. A parancssori felület (és a feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.1-et.
    • Adja hozzá manuálisan a jobs-api-version = 2.1 beállítást a ~/.databrickscfg fájlhoz Unix, Linux, vagy macOS esetén, illetve %USERPROFILE%\.databrickscfg esetén Windows alatt. A parancssori felület (és a feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.1-et.
    • Fűzze hozzá a lehetőséget --version=2.1 (például databricks runs list --version=2.1) a feladat parancssori felületének meghívásához, hogy csak az adott híváshoz hívja meg a Jobs REST API 2.1-et.

    Ha az előző műveletek egyikét sem hajtja végre, a feladat parancssori felülete (és a feladatok parancssori felülete) alapértelmezés szerint meghívja a Jobs REST API 2.0-t.

A Jobs REST API 2.0 meghívásának követelményei

Ha a Databricks-feladat parancssori felületét (és a feladatok parancssori felületét) szeretné beállítani a Jobs REST API 2.0 meghívásához, tegye az alábbiak egyikét:

  • Használja a Databricks CLI 0.16.0 alatti verzióját, vagy
  • Frissítse a parancssori felületet a 0.16.0-s vagy újabb verzióra, majd tegye az alábbiak egyikét:
    • Futtassa a következő parancsot: databricks jobs configure --version=2.0. Ezzel hozzáadja a jobs-api-version = 2.0 beállítást a Unix, Linux vagy macOS rendszer ~/.databrickscfg fájljához, vagy a Windows esetén a %USERPROFILE%\.databrickscfg fájlhoz. Minden feladat parancssori felület (és feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.0-t.
    • Adja hozzá manuálisan a jobs-api-version = 2.0 beállítást a ~/.databrickscfg fájlhoz Unix, Linux, vagy macOS esetén, illetve %USERPROFILE%\.databrickscfg esetén Windows alatt. Minden feladat parancssori felület (és feladatok parancssori felületének) alparancsai alapértelmezés szerint meghívják a Jobs REST API 2.0-t.
    • Fűzze hozzá a lehetőséget --version=2.1 (például databricks runs list --version=2.0) a feladat parancssori felületének meghívásához, hogy csak az adott híváshoz hívja meg a Jobs REST API 2.0-t.

Ha az előző műveletek egyikét sem hajtja végre, a feladat parancssori felülete (és a feladatok parancssori felülete) alapértelmezés szerint meghívja a Jobs REST API 2.0-t.

Alparancsok és általános használat

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Futtatás megszakítása

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs cancel --help:

databricks runs cancel --run-id 119

{}

Információk lekérése futásról

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs get --help:

Általános használat

databricks runs get --run-id 2785782

Feladatok CLI 2.1 használati megjegyzések és válasz példa

Lásd: Futtatások lekérése a Jobs API-t 2.0-ról 2.1-re frissítve.

Jobs CLI 2.0 válasz példája

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Futtatás kimenetének lekérése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs get-output --help:

Feljegyzés

Amikor egy notebook_task hívás dbutils.notebook.exit()egy értékét adja vissza, a Databricks a visszaadott értéket az első 5 MB-ra korlátozza. Ha nagyobb eredményt szeretne visszaadni, a feladateredményeket egy felhőalapú tárolási szolgáltatásban tárolhatja.

Általános használat

databricks runs get-output --run-id 2785782

Feladatok CLI 2.1 használati megjegyzései

Lásd: Futtatások kimenetének megtekintése az Átállás a Jobs API 2.0-ról 2.1-re.

Jobs CLI 2.0 válasz példája

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Az összes futásról szóló információk lekérése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs list --help:

Általános használat

databricks runs list --output JSON

Feladatok CLI 2.1 használati megjegyzések és válasz példa

Lásd: Futtatások listája a Jobs API 2.0-ról 2.1-esre frissítésekor.

Jobs CLI 2.0 válasz példája

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Ha has_more visszaadja a true, akkor további futtatásokra vonatkozó információk érhetők el. A --offset beállítással visszakérhetjük a futtatások adatait a legutóbbi futtatáshoz viszonyítva. Ha például a legutóbbi tizedik futtatástól kezdve szeretne adatokat visszaadni, adja meg a következőt --offset 10: .

A --limit beállítással meghatározott számú futtatás adatait adja vissza. Például, ha legfeljebb az elkövetkező 5 futtatásra szeretne információt kapni, adja meg a következőt: --limit 5. Legfeljebb 1000 futtatás adható meg. Ha nincs megadva, az alapértelmezett érték 20.

Egyszeri futtatás elküldése

A használati dokumentáció megjelenítéséhez futtassa a következőt databricks runs submit --help:

Általános használat

databricks runs submit --json-file submit-run.json

Jobs REST API 2.1 használati megjegyzések és kérési példa

Lásd a Futtatások küldése részt a Jobs API 2.0-ról 2.1-re való frissítés során.

Jobs REST API 2.0 kérés és válasz példa

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}
  • Last updated on