Mi a Databricks parancssori felület?

  • Cikk

Megjegyzés:

Ezek az információk a Databricks CLI 0.205-ös és újabb verzióira vonatkoznak, amelyek nyilvános előzetes verzióban érhetők el. A Databricks parancssori felület verziójának megkereséséhez futtassa a következőt databricks -v: .

A Databricks parancssori felülete (más néven a Databricks CLI) lehetővé teszi az Azure Databricks platform automatizálását a terminálról, parancssorból vagy automatizálási szkriptekből.

Korábbi Databricks CLI-felhasználók adatai

  • A Databricks nem tervez támogatást vagy új funkciót az örökölt Databricks parancssori felülethez.
  • Az örökölt Databricks PARANCSSOR-ról további információt a Databricks parancssori felület (örökölt) című témakörben talál.
  • Ha a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára szeretne migrálni, tekintse meg a Databricks parancssori felület migrálását.

Hogyan működik a Databricks parancssori felület?

A cli körbefuttatja a Databricks REST API-t, egy alkalmazásprogramozási felületet (API), amely REST-perspektívával automatizálja az Azure Databricks-fiókokat, valamint a munkaterület erőforrásait és adatait. Tekintse meg az Azure Databricks REST API-referenciát.

Ha például egy munkaterület egyes fürtjéről szeretne adatokat nyomtatni, futtassa a parancssori felületet az alábbiak szerint:

databricks clusters get 1234-567890-a12bcde3

Ezzel curlegyütt az egyenértékű művelet hosszadalmasabb a kifejezéshez, és hajlamosabb a hibák beírására, az alábbiak szerint:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Példa: Azure Databricks-feladat létrehozása

Az alábbi példa a parancssori felület használatával hoz létre egy Azure Databricks-feladatot. Ez a feladat egyetlen feladatfeladatot tartalmaz. Ez a feladat a megadott Azure Databricks-jegyzetfüzetet futtatja. Ez a jegyzetfüzet a PyPI-csomag wheelegy adott verziójától függ. A feladat futtatásához a feladat ideiglenesen létrehoz egy feladatfürtöt, amely exportál egy nevű környezeti változót PYSPARK_PYTHON. A feladat futtatása után a fürt leáll.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Következő lépések