Compartir a través de

¿Qué es la CLI de Databricks?

  • Artículo

Nota:

Esta información se aplica a las versiones 0.205 y posteriores de la CLI de Databricks. La CLI de Databricks está en versión preliminar pública.

El uso de la CLI de Databricks está sujeto a la licencia de Databricks y al aviso de privacidad de Databricks, incluidas las disposiciones de datos de uso.

La interfaz de la línea de comandos de Databricks (también conocida como CLI de Databricks) ofrece una herramienta para automatizar la plataforma de Azure Databricks desde su terminal, símbolo del sistema o scripts de automatización. También puede ejecutar comandos de la CLI de Databricks desde un área de trabajo de Databricks mediante el terminal web. Consulte Ejecución de comandos de shell en el terminal web de Azure Databricks.

Para instalar y configurar la autenticación para la CLI de Databricks, consulte Instalación o actualización de la CLI de Databricks y autenticación para la CLI de Databricks.

Información para usuarios de la CLI de Databricks heredada

  • Databricks no planea ningún trabajo de soporte o nuevas características para la CLI de Databricks heredada.
  • Para más información sobre la CLI de Databricks heredada, consulte CLI de Databricks (heredada).
  • Para migrar de la versión 0.18 o inferior a la versión 0.205 o superior de la CLI de Databricks, vea Migración de la CLI de Databricks.

¿Cómo funciona la CLI de Databricks?

La CLI encapsula la API de REST de Databricks, que proporciona puntos de conexión para modificar o solicitar información sobre objetos de área de trabajo y cuenta de Azure Databricks. Consulte la Referencia de la API de REST de Azure Databricks.

Por ejemplo, para imprimir información sobre un clúster individual en un área de trabajo, ejecute la CLI de la siguiente manera:

databricks clusters get 1234-567890-a12bcde3

Con curl, la operación equivalente es la siguiente:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Ejemplo: crear un trabajo de Azure Databricks

En el ejemplo siguiente se usa la CLI para crear un trabajo de Azure Databricks. Este trabajo contiene una sola tarea de trabajo. Esta tarea ejecuta el cuaderno de Azure Databricks especificado. Este cuaderno tiene una dependencia de una versión específica del paquete PyPI denominado wheel. Para ejecutar esta tarea, el trabajo crea temporalmente un clúster de trabajos que exporta una variable de entorno denominada PYSPARK_PYTHON. Una vez que se ejecuta el trabajo, se finaliza el clúster.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Pasos siguientes