Interface CLI de Databricks

Remarque

Ces informations s’appliquent à Databricks CLI versions 0.205 et ultérieures. L’interface CLI Databricks est en préversion publique.

L’utilisation de l’interface CLI Databricks est soumise à la licence Databricks et à la notification de confidentialité Databricks, y compris les dispositions relatives aux données d’utilisation.

L’interface cli Databricks (interface de ligne de commande) vous permet d’interagir avec la plateforme Azure Databricks à partir de votre terminal local ou de scripts d’automatisation. Vous pouvez également exécuter des commandes CLI Databricks à partir d’un espace de travail Databricks à l’aide d’un terminal web. Consultez les commandes Run shell dans Azure Databricks terminal web.

Pour installer et configurer l’authentification pour l’interface CLI Databricks, consultez Installer ou mettre à jour l’interface CLI Databricks et l’authentification pour l’interface CLI Databricks.

Conseil

La source de l’interface CLI Databricks est disponible publiquement dans le référentiel databricks/cli GitHub.

Informations destinées aux anciens utilisateurs de la CLI Databricks

  • Databricks ne prévoit aucune prise en charge ni aucune nouvelle fonctionnalité pour l’ancienne CLI Databricks.
  • Pour plus d’informations sur l’interface CLI Databricks héritée, consultez l’interface CLI Databricks héritée.
  • Pour migrer de l’interface CLI Databricks version 0.18 ou antérieure vers l’interface CLI Databricks version 0.205 ou ultérieure, consultez Migration de l’interface CLI Databricks.

Comment fonctionne la CLI Databricks ?

L’interface CLI encapsule l’API REST Databricks, qui fournit des points de terminaison pour modifier ou demander des informations sur les objets de compte et d’espace de travail Azure Databricks. Consultez la référence de l’API REST Azure Databricks.

Par exemple, pour imprimer des informations sur un cluster individuel dans un espace de travail, vous exécutez la CLI comme suit :

databricks clusters get 1234-567890-a12bcde3

Avec curl, l’opération équivalente est la suivante :

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Exemple : créer une tâche Azure Databricks

L’exemple suivant utilise l’interface CLI pour créer un travail Azure Databricks. Ce travail contient une seule tâche. Cette tâche exécute le bloc-notes Azure Databricks spécifié. Ce notebook dépend d'une version spécifique du package PyPI nommée wheel. Pour exécuter cette tâche, la tâche crée temporairement un cluster de tâches qui exporte une variable d'environnement nommée PYSPARK_PYTHON. Une fois le travail exécuté, le cluster est terminé.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Étapes suivantes

  • Last updated on