Delen via

Wat is de Databricks CLI?

Notitie

Deze informatie is van toepassing op Databricks CLI-versies 0.205 en hoger. De Databricks CLI bevindt zich in openbare preview.

Databricks CLI-gebruik is onderhevig aan de Databricks-licentie en de privacyverklaring van Databricks, met inbegrip van alle bepalingen voor gebruiksgegevens.

Met de Databricks CLI (opdrachtregelinterface) kunt u communiceren met het Azure Databricks-platform vanuit uw lokale terminal- of automatiseringsscripts. U kunt ook Databricks CLI-opdrachten uitvoeren vanuit een Databricks-werkruimte met behulp van een webterminal. Zie Shell-opdrachten uitvoeren in de Azure Databricks-webterminal.

Om verificatie voor de Databricks CLI te installeren en configureren, raadpleegt u Installeren of bijwerken van de Databricks CLI en Verificatie voor de Databricks CLI.

Aanbeveling

De Databricks CLI-bron is openbaar beschikbaar in de Databricks/cli GitHub-opslagplaats.

Informatie voor verouderde Databricks CLI-gebruikers

  • Databricks plant geen ondersteuning of het ontwikkelen van nieuwe functies voor de verouderde Databricks CLI.
  • Zie Legacy Databricks CLI voor meer informatie over de verouderde Databricks CLI.
  • Als u wilt migreren van Databricks CLI versie 0.18 of lager naar Databricks CLI versie 0.205 of hoger, raadpleegt u Databricks CLI migratie.

Hoe werkt de Databricks CLI?

De CLI verpakt de Databricks REST API, die eindpunten biedt voor het wijzigen of aanvragen van informatie over Azure Databricks-account- en werkruimteobjecten. Zie de naslaginformatie over de REST API van Azure Databricks.

Als u bijvoorbeeld informatie over een afzonderlijk cluster in een werkruimte wilt afdrukken, voert u de CLI als volgt uit:

databricks clusters get 1234-567890-a12bcde3

Met curlis de equivalente bewerking als volgt:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Voorbeeld: een Azure Databricks-taak maken

In het volgende voorbeeld wordt de CLI gebruikt om een Azure Databricks-taak te maken. Deze baan bevat één taak. Met deze taak wordt het opgegeven Azure Databricks-notebook uitgevoerd. Dit notebook heeft een afhankelijkheid van een specifieke versie van het PyPI-pakket met de naam wheel. Als u deze taak wilt uitvoeren, maakt de taak tijdelijk een taakcluster waarmee een omgevingsvariabele met de naam PYSPARK_PYTHONwordt geëxporteerd. Nadat de taak is uitgevoerd, wordt het cluster stopgezet.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Volgende stappen

  • Last updated on