Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Grupo de comandos
Note
Esta información se aplica a las versiones 0.205 y posteriores de la CLI de Databricks. La CLI de Databricks está en versión preliminar pública.
El uso de la CLI de Databricks está sujeto a la licencia de Databricks y al aviso de privacidad de Databricks, incluidas las disposiciones de datos de uso.
El pipelines grupo de comandos de la CLI de Databricks contiene dos conjuntos de funcionalidades. El primer conjunto permite administrar un proyecto de canalización y su flujo de trabajo. El segundo conjunto permite crear, editar, eliminar, iniciar y ver detalles sobre los objetos de canalización en Databricks.
Para obtener información sobre las canalizaciones, consulte Canalizaciones declarativas de Spark de Lakeflow.
Administración de proyectos de canalización
Los siguientes comandos permiten administrar canalizaciones en proyectos.
Implementación de canalizaciones de Databricks
Implemente canalizaciones cargando todos los archivos definidos en el proyecto en el área de trabajo de destino y creando o actualizando las canalizaciones definidas en el área de trabajo.
databricks pipelines deploy [flags]
Arguments
None
Options
--auto-approve
Omitir aprobaciones interactivas que podrían ser necesarias para la implementación
--fail-on-active-runs
Error si hay canalizaciones en ejecución en la implementación
--force-lock
Forzar la adquisición del bloqueo de implementación
Destruir las canalizaciones de Databricks
Destruir un proyecto de canalizaciones.
databricks pipelines destroy [flags]
Arguments
None
Options
--auto-approve
Omitir aprobaciones interactivas para eliminar canalizaciones
--force-lock
Forzar la adquisición del bloqueo de implementación
canalizaciones de Databricks ejecución de prueba
Valida la corrección del gráfico de la canalización, identificado por KEY. No materializa ni publica ningún conjunto de datos.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
Nombre único de la canalización que se va a ejecutar en seco, tal como se define en su archivo YAML. Si solo hay una canalización en el proyecto, KEY es opcional y la canalización está seleccionada automáticamente.
Options
--no-wait
No espere a que se complete la ejecución
--restart
Reinicie la ejecución si ya está en ejecución.
Las pipelines de Databricks generan
Generar la configuración de un pipeline de Spark existente.
Este comando busca un spark-pipeline.yml archivo o *.spark-pipeline.yml en el directorio especificado y genera un nuevo *.pipeline.yml archivo de configuración en la resources carpeta del proyecto que define la canalización. Si existen varios spark-pipeline.yml archivos, especifique la ruta de acceso completa a un archivo específico *.spark-pipeline.yml .
databricks pipelines generate [flags]
Note
Para generar la configuración de una canalización existente en el área de trabajo de Databricks, consulte databricks bundle generate pipeline y Generar configuración para un trabajo o canalización existente usando la CLI de Databricks.
Options
--existing-pipeline-dir
Ruta de acceso al directorio de canalización existente en src (por ejemplo, src/my_pipeline).
--force
Sobrescriba el archivo de configuración de canalización existente.
Examples
En el ejemplo siguiente se examina el directorio actual y se lee src/my_pipeline/spark-pipeline.ymly, a continuación, se crea un archivo resources/my_pipeline.pipeline.yml de configuración que define la canalización:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
Historial de canalizaciones de Databricks
Recupere las ejecuciones anteriores de una canalización identificada por KEY.
databricks pipelines history [flags] [KEY]
Arguments
KEY
Nombre único de la canalización, tal como se define en su archivo YAML. Si solo hay una canalización en el proyecto, KEY es opcional y la canalización está seleccionada automáticamente.
Options
--end-time string
Filtrar las actualizaciones antes de esta hora (formato: 2025-01-15T10:30:00Z)
--start-time string
Filtrar las actualizaciones después de esta hora (formato: 2025-01-15T10:30:00Z)
databricks pipelines init
Inicialice un nuevo proyecto de canalizaciones.
Para ver un tutorial que le guía por la creación, implementación y ejecución de un proyecto de canalización mediante la CLI de Databricks, consulte Desarrollo de canalizaciones declarativas de Spark de Lakeflow con conjuntos de recursos de Databricks.
databricks pipelines init [flags]
Arguments
None
Options
--config-file string
Archivo JSON que contiene pares clave-valor de los parámetros de entrada necesarios para la inicialización de plantillas
--output-dir string
Directorio para escribir la plantilla inicializada en
registros de pipelines de Databricks
Recupere los eventos de la canalización identificada por KEY. De forma predeterminada, este comando muestra los eventos de la actualización más reciente de la canalización.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
Nombre único de la canalización, tal como se define en su archivo YAML. Si solo hay una canalización en el proyecto, KEY es opcional y la canalización está seleccionada automáticamente.
Options
--end-time string
Filtre los eventos que están antes de esta hora de finalización (formato: 2025-01-15T10:30:00Z)
--event-type strings
Filtrar eventos por lista de tipos de eventos
--level strings
Filtrar eventos por lista de niveles de registro (INFO, WARN, ERROR, METRICS)
-n, --number int
Número de eventos a devolver
--start-time string
Filtre los eventos que se encuentran después de esta hora de inicio (formato: 2025-01-15T10:30:00Z)
--update-id string
Filtre los eventos por identificador de actualización. Si no se proporciona, usa el identificador de actualización más reciente.
Examples
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
Canalizaciones abiertas de Databricks
Abra una canalización en el explorador, identificada por KEY.
databricks pipelines open [flags] [KEY]
Arguments
KEY
Nombre único de la canalización que se va a abrir, tal como se define en su archivo YAML. Si solo hay una canalización en el proyecto, KEY es opcional y la canalización está seleccionada automáticamente.
Options
--force-pull
Omitir la caché local y cargar el estado desde el área de trabajo remota
Ejecución de canalizaciones de Databricks
Ejecute la canalización identificada por KEY. Actualiza todas las tablas del flujo de trabajo a menos que se especifique lo contrario.
databricks pipelines run [flags] [KEY]
Arguments
KEY
Nombre único del pipeline que se va a ejecutar, tal como se define en su archivo YAML. Si solo hay una canalización en el proyecto, KEY es opcional y la canalización está seleccionada automáticamente.
Options
--full-refresh strings
Lista de tablas para restablecer y volver a calcular
--full-refresh-all
Realizar un restablecimiento de grafo completo y volver a calcular
--no-wait
No espere a que se complete la ejecución
--refresh strings
Lista de tablas que se van a ejecutar
--restart
Reinicie la ejecución si ya está en ejecución.
pipelines de Databricks detener
Detenga la tubería si está en ejecución, identificada por KEY o PIPELINE_ID. Si no hay ninguna actualización activa para la canalización, esta solicitud es una no-op.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
Nombre único de la canalización a detener, tal como se define en su archivo YAML. Si solo hay una canalización en el proyecto, KEY es opcional y la canalización está seleccionada automáticamente.
PIPELINE_ID
UUID de la canalización que se va a detener.
Options
--no-wait
no esperar a alcanzar el estado IDLE
--timeout duration
cantidad máxima de tiempo para alcanzar el estado IDLE (valor predeterminado de 20m0s)
Administración de objetos de canalización
Los siguientes comandos permiten administrar objetos de canalización en Databricks.
Creación de canalizaciones de Databricks
Cree una canalización de procesamiento de datos basada en la configuración solicitada. Si se ejecuta correctamente, este comando devuelve el identificador de la nueva canalización.
databricks pipelines create [flags]
Arguments
None
Options
--json JSON
La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.
Borrar canalizaciones de Databricks
Eliminar una canalización.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
La canalización que se eliminará.
Options
obtención de canalizaciones de databricks
Obtenga una canalización.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
El flujo de trabajo que se desea obtener.
Options
databricks pipelines obtener-actualización
Reciba una actualización de una canalización activa.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
Identificador de la tubería.
UPDATE_ID
Identificador de la actualización.
Options
databricks pipelines list-pipeline-events (lista los eventos de la tubería)
Recuperar eventos de una canalización.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Canalización para la que se van a recuperar eventos.
Options
--filter string
Criterios para seleccionar un subconjunto de resultados, expresado mediante una sintaxis similar a SQL.
--max-results int
Número máximo de entradas que se van a devolver en una sola página.
--page-token string
Token de página devuelto por la llamada anterior.
databricks pipelines list-pipelines
Enumera las canalizaciones definidas en el sistema Delta Live Tables.
databricks pipelines list-pipelines [flags]
Arguments
None
Options
--filter string
Seleccione un subconjunto de resultados en función de los criterios especificados.
--max-results int
Número máximo de entradas a devolver en una sola página.
--page-token string
Token de página devuelto por la llamada anterior.
actualizaciones de lista de pipelines en Databricks
Enumera las actualizaciones de una canalización activa.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
La canalización a la que se devolverán actualizaciones.
Options
--max-results int
Número máximo de entradas que se van a devolver en una sola página.
--page-token string
Token de página devuelto por la llamada anterior.
--until-update-id string
Si está presente, devuelve actualizaciones hasta, incluyendo, este update_id.
databricks canalizaciones iniciar-actualización
Inicie una nueva actualización para la canalización. Si ya hay una actualización activa para la canalización, se producirá un error en la solicitud y la actualización activa permanecerá en ejecución.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Canalización para la que se va a iniciar una actualización.
Options
--cause StartUpdateCause
Valores admitidos: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
Si es true, esta actualización restablecerá todas las tablas antes de ejecutarse.
--json JSON
La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.
--validate-only
Si es cierto, esta actualización solo valida la validez del código fuente del pipeline, pero no crea ni publica ningún conjunto de datos.
actualización de tuberías de Databricks
Actualice una canalización con la configuración proporcionada.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Identificador único de esta canalización.
Options
--allow-duplicate-names
Si es falso, la implementación fallará si el nombre ha cambiado y si entra en conflicto con el nombre de otra canalización.
--budget-policy-id string
Directiva de presupuesto de esta canalización.
--catalog string
Un catálogo en Unity Catalog donde publicar datos de esta canalización.
--channel string
Canal de versiones de las Canalizaciones Declarativas de Lakeflow Spark para especificar qué versión se debe usar.
--continuous
Indica si la canalización es continua o se desencadena.
--development
Si la canalización está o no en modo de desarrollo.
--edition string
Edición del producto de canalización.
--expected-last-modified int
Si está presente, la hora de la última modificación de la configuración de la canalización antes de la edición.
--id string
Identificador único de esta canalización.
--json JSON
La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.
--name string
Identificador amigable para esta tubería.
--photon
Si Photon está habilitado para esta canalización.
--pipeline-id string
Identificador único de esta canalización.
--schema string
Esquema predeterminado (base de datos) donde se leen o publican tablas.
--serverless
Si se habilita la computación sin servidor para esta canalización.
--storage string
Directorio raíz de DBFS para almacenar puntos de comprobación y tablas.
--target string
Esquema de destino (base de datos) para agregar tablas a esta canalización.
databricks pipelines obtener-niveles-de-permisos
Obtiene los niveles de permisos de canalización.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Canalización para el que se van a obtener o administrar permisos.
Options
databricks pipelines obtener-permisos
Obtenga los permisos de una canalización. Las canalizaciones pueden heredar permisos de su objeto raíz.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Canalización para el que se van a obtener o administrar permisos.
Options
databricks pipelines establecer permisos
Establecimiento de permisos de canalización.
Establece los permisos en un objeto, reemplazando los permisos existentes si existen. Elimina todos los permisos directos si no se especifica ninguno. Los objetos pueden heredar permisos de su objeto raíz.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Canalización para el que se van a obtener o administrar permisos.
Options
--json JSON
La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.
databricks actualizar permisos de canales
Actualice los permisos en una canalización. Las canalizaciones pueden heredar permisos de su objeto raíz.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Canalización para el que se van a obtener o administrar permisos.
Options
--json JSON
La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.
Marcas globales
--debug
Indica si se va a habilitar el registro de depuración.
-h o --help
Mostrar ayuda para la CLI de Databricks o el grupo de comandos relacionado o el comando relacionado.
--log-file cadena
Cadena que representa el archivo en el que se van a escribir registros de salida. Si no se especifica esta marca, el valor predeterminado es escribir registros de salida en stderr.
--log-format formato
Tipo de formato de registro: text o json. El valor predeterminado es text.
--log-level cadena
Cadena que representa el nivel de formato de registro. Si no se especifica, el nivel de formato de registro está deshabilitado.
-o, --output tipo
El tipo de salida del comando, ya sea text o json. El valor predeterminado es text.
-p, --profile cadena
Nombre del perfil en el archivo ~/.databrickscfg para usarlo al ejecutar el comando. Si no se especifica esta marca, si existe, se usa el perfil denominado DEFAULT .
--progress-format formato
Formato para mostrar los registros de progreso: default, append, inplaceo json
-t, --target cadena
Si es aplicable, el objetivo del paquete que se va a usar