Partilhar via

Utilize ALTER instruções com conjuntos de dados de pipeline

Importante

Este recurso está no Public Preview.

Lakeflow Spark Declarative Pipelines (SDP) define pipelines em código-fonte específico para SDP. Pode editar o código fonte do pipeline em SQL ou Python, por exemplo, no Lakeflow Pipelines Editor.

O Azure Databricks também fornece um ambiente SQL chamado Databricks SQL. Pode criar vistas materializadas e tabelas de streaming com Databricks SQL usando funcionalidades de pipeline fora do SDP (ver Usar pipelines no Databricks SQL). Normalmente, o Databricks SQL não é utilizado com o Lakeflow Spark Declarative Pipelines.

No entanto, pode usar ALTER instruções SQL no Databricks SQL para modificar as propriedades de um conjunto de dados criado com SDP ou Databricks SQL. Use estas instruções SQL de qualquer ambiente SQL do Databricks, seja para modificar conjuntos de dados SDP ou conjuntos de dados de pipeline SQL do Databricks.

Observação

Não pode modificar o agendamento ou o acionador de um conjunto de dados definido no SDP com uma instrução ALTER.

Limitação: Atualizações e alterações no pipeline feitas com ALTER

Existem casos em que as declarações ALTER entram em conflito com a definição dos conjuntos de dados criados pelo pipeline. O SQL que define uma tabela ou vista num pipeline é reexecutado a cada atualização. Isto pode desfazer as alterações que faz com uma ALTER declaração.

Por exemplo, se tiver uma instrução SQL que define uma vista materializada, como a seguinte:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Depois tenta remover a máscara da ssn coluna usando uma ALTER instrução, como esta:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas da próxima vez que a visualização materializada é atualizada, a definição SQL adiciona-a novamente.

Para remover a máscara em segurança, deve editar a definição SQL para eliminá-la e, em seguida, executar o comando ALTER para DROP a máscara.

Observação

Para editar a definição de um pipeline definido em SDP, edite a sua fonte de pipeline usando o editor de pipeline. Para editar a definição de um pipeline definido no Databricks SQL, execute a instrução SQL modificada em qualquer ambiente SQL do Databricks.

Recursos adicionais

  • Last updated on