Compartir a través de

Uso de ALTER instrucciones con conjuntos de datos de canalización

Importante

Esta característica está en versión preliminar pública.

Lakeflow Spark Declarative Pipelines (SDP) define canalizaciones en el código fuente específico de SDP. Puede editar el origen de la canalización en SQL o Python, por ejemplo, en el Editor de canalizaciones de Lakeflow.

Azure Databricks también proporciona un entorno SQL denominado Databricks SQL. Puede crear vistas materializadas y tablas de streaming con Databricks SQL mediante la funcionalidad de canalización fuera de SDP (consulte Uso de canalizaciones en Databricks SQL). Normalmente, Databricks SQL no se usa con canalizaciones declarativas de Spark de Lakeflow.

Sin embargo, puede usar ALTER instrucciones SQL en Databricks SQL para modificar las propiedades de un conjunto de datos creado con SDP o Databricks SQL. Use estas instrucciones SQL desde cualquier entorno de SQL de Databricks, independientemente de si va a modificar conjuntos de datos SDP o conjuntos de datos de canalización de SQL de Databricks.

Nota:

No se puede modificar la programación ni el desencadenador de un conjunto de datos definido en SDP con una ALTER instrucción .

Limitación: actualizaciones del pipeline y cambios realizados con ALTER

Hay casos en los que las instrucciones entran en conflicto con la definición de los conjuntos de datos creados por la canalización. El SQL que define una tabla o vista en la canalización se ejecuta nuevamente en cada actualización. Esto puede deshacer los cambios que realice con una ALTER declaración.

Por ejemplo, si tiene una instrucción SQL que define una vista materializada, como la siguiente:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

A continuación, intente quitar la máscara de la ssn columna mediante una ALTER instrucción , de la siguiente manera:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

La máscara se quita, pero la próxima vez que se actualice la vista materializada, la definición de SQL la agrega de nuevo.

Para quitar la máscara de forma segura, debe editar la definición de SQL para quitar la máscara y, a continuación, ejecutar el ALTER comando para DROP la máscara.

Nota:

Para editar la definición de una canalización definida en SDP, edite el origen de la canalización mediante el editor de canalizaciones. Para editar la definición de una canalización definida en Databricks SQL, ejecute la instrucción SQL modificada en cualquier entorno de SQL de Databricks.

Recursos adicionales

  • Last updated on