このセクションでは、Lakeflow Spark 宣言型パイプライン SQL プログラミング インターフェイスについて詳しく説明します。
- Lakeflow Spark 宣言型パイプライン SQL の使用に関する概念情報と概要については、「SQL を使用した Lakeflow Spark 宣言パイプライン コードの開発」を参照してください。
- Python API の詳細については、 Lakeflow Spark 宣言パイプラインの Python 言語リファレンスを参照してください。
- Databricks の SQL の詳細については、 SQL 言語リファレンスを参照してください。
SQL クエリでは Python ユーザー定義関数 (UDF) を使用できますが、SQL ソース ファイルで呼び出す前に、Python ファイルでこれらの UDF を定義する必要があります。 「ユーザー定義スカラー関数 - Python」を参照してください。
SQL ステートメント
SQL でパイプラインを操作するには、次のステートメントを使用します。
次のステートメントを使用してパイプラインを操作することもできますが、パイプライン内からではなく、Databricks SQL から実行する必要があります。
「Databricks SQL を使用したデータ ウェアハウスの概要」および「パイプライン データセットで ALTER ステートメントを使用する」を参照してください。