Vad är Databricks CLI?

  • Artikel

Kommentar

Den här informationen gäller för Databricks CLI-versionerna 0.205 och senare, som finns i offentlig förhandsversion. Kör för att hitta din version av Databricks CLI databricks -v.

Databricks-kommandoradsgränssnittet (även kallat Databricks CLI) innehåller ett verktyg för att automatisera Azure Databricks-plattformen från terminalen, kommandotolken eller automationsskripten.

Information för äldre Databricks CLI-användare

  • Databricks planerar inget stöd eller nytt funktionsarbete för äldre Databricks CLI.
  • Mer information om äldre Databricks CLI finns i Databricks CLI (äldre).
  • Information om hur du migrerar från Databricks CLI version 0.18 eller senare till Databricks CLI version 0.205 eller senare finns i Databricks CLI-migrering.

Hur fungerar Databricks CLI?

CLI omsluter Databricks REST API, ett programprogramprogramgränssnitt (API) som använder ett REST-perspektiv för att automatisera Azure Databricks-konto- och arbetsyteresurser och data. Se referensen för REST API för Azure Databricks.

Om du till exempel vill skriva ut information om ett enskilt kluster på en arbetsyta kör du CLI på följande sätt:

databricks clusters get 1234-567890-a12bcde3

Med curlär motsvarande åtgärd längre att uttrycka och är mer benägen att skriva fel, enligt följande:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Exempel: skapa ett Azure Databricks-jobb

I följande exempel används CLI för att skapa ett Azure Databricks-jobb. Det här jobbet innehåller en enda jobbaktivitet. Den här uppgiften kör den angivna Azure Databricks-notebook-filen. Den här notebook-filen är beroende av en specifik version av PyPI-paketet med namnet wheel. För att köra den här uppgiften skapar jobbet tillfälligt ett jobbkluster som exporterar en miljövariabel med namnet PYSPARK_PYTHON. När jobbet har körts avslutas klustret.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Nästa steg