Referência da linguagem SQL do Pipeline

Esta seção tem detalhes para a interface de programação SQL do Lakeflow Spark Declarative Pipelines.

• Para obter informações conceituais e uma visão geral do uso do Lakeflow Spark Pipelines Declarativas SQL, consulte Desenvolver código de Pipelines Declarativos do Lakeflow Spark com SQL.
• Para obter informações sobre a API do Python, consulte a referência da linguagem Python do Lakeflow Spark Declarative Pipelines.
• Para obter mais informações sobre o SQL no Databricks, consulte a referência de linguagem SQL.

Você pode usar UDFs (funções definidas pelo usuário) do Python em suas consultas SQL, mas deve definir essas UDFs em arquivos Python antes de chamá-las em arquivos de origem SQL. Confira Funções escalares definidas pelo usuário – Python.

Instruções SQL

Use essas instruções para trabalhar com pipelines no SQL.

• AUTO CDC INTO
• CREATE FLOW
• CREATE MATERIALIZED VIEW
• CREATE STREAMING TABLE
• CRIAR VISUALIZAÇÃO TEMPORÁRIA
• CREATE VIEW

Você também pode usar as instruções a seguir para trabalhar com pipelines, mas elas devem ser executadas no Databricks SQL, não de dentro de um pipeline. Confira Inicie com data warehousing com o Databricks SQL e use instruções ALTER com conjuntos de dados de pipeline.

• ALTER STREAMING TABLE
• ALTER MATERIALIZED VIEW
• EXPLAIN CREATE MATERIALIZED VIEW