Справочник по языку конвейера SQL

В этом разделе содержатся сведения о интерфейсе программирования SQL для Декларативного конвейера Spark Lakeflow.

• Общие концепции и обзор использования Lakeflow Spark Declarative Pipelines с помощью SQL см. в статье "Разработка кода декларативных конвейеров Lakeflow Spark с помощью SQL".
• Сведения об API Python см. в справочнике по языку Python для декларативных конвейеров Spark Lakeflow.
• Дополнительные сведения о SQL в Databricks см. в справочнике по языку SQL.

В запросах SQL можно использовать определяемые пользователем функции Python, но перед их вызовом в исходных файлах SQL необходимо определить эти определяемые пользователем функции Python. См. раздел "Определяемые пользователем скалярные функции " Python".

Инструкции SQL

Используйте эти инструкции для работы с конвейерами в SQL.

• AUTO CDC INTO
• CREATE FLOW
• CREATE MATERIALIZED VIEW
• CREATE STREAMING TABLE
• СОЗДАТЬ ВРЕМЕННОЕ ПРЕДСТАВЛЕНИЕ
• CREATE VIEW

Для работы с конвейерами можно также использовать следующие инструкции, но их необходимо запускать из Databricks SQL, а не из конвейера. См. Начинайте работу с хранилищем данных с помощью Databricks SQL и используйте инструкции ALTER с наборами данных конвейера.

• ALTER STREAMING TABLE
• ALTER MATERIALIZED VIEW
• EXPLAIN CREATE MATERIALIZED VIEW