パイプライン開発時に知っておくべき以下の制限事項があります:
Azure Databricksのワークスペースは、同時1,000回のパイプライン更新に制限されています。 単一のパイプラインに収録できるデータセットの数は1,000に制限されていますが、パイプラインの更新処理で、その制限に達する前にメモリや他のリソースを使い果たすことがあります。 有用な限界はパイプライン構成とワークロードの複雑さによって決まります。 リソース制限については 「リソース制限」を参照してください。
パイプラインの構成には、ソース ファイルとフォルダーへの参照が含まれます。
構成が個々のノートブックまたはファイル のみを 参照する場合、パイプラインあたりの制限は 100 ソース ファイルです。
構成にフォルダーが含まれている場合は、ファイルまたはフォルダーで構成される最大 50 個のソース エントリを含めることができます。
フォルダーを参照すると、そのフォルダー内のファイルが間接的に参照されます。 この場合、(直接的または間接的に) 参照されるファイルの数の制限は 1000 です。
100 を超えるソース ファイルが必要な場合は、フォルダーに整理します。 フォルダーを使用してソース ファイルを格納する方法については、Lakeflow パイプライン エディターの パイプライン資産ブラウザー を参照してください。
パイプライン データセットは 1 回だけ定義できます。 このため、すべてのパイプラインを通じて、これらに対して実行できる操作は 1 つだけとなります。 例外は、追加フロー処理を含むストリーミング テーブルです。これにより、複数のストリーミング ソースからストリーミング テーブルに書き込むことができます。 既定のフローと追加フローを参照してください。
ID 列には、次の制限があります。 Delta テーブルの ID 列の詳細については、「 ID 列」を参照してください。
- ID 列は、 AUTO CDC 処理の対象となるテーブルではサポートされていません。
- 具体化されたビューの更新中に ID 列が再計算される場合があります。 このため、Databricks では、ストリーミング テーブルでのみパイプラインで ID 列を使用することをお勧めします。
既定では、具体化されたビューとストリーミング テーブルには、Azure Databricksクライアントとアプリケーションのみがアクセスできます。 外部システムからアクセスできるようにするには、「外部システムを 使用して具体化されたビューとストリーミング テーブルにアクセスする」を参照してください。
Unity カタログ パイプラインの実行とクエリに必要な Databricks コンピューティングには制限があります。 Unity カタログに発行するパイプラインの 要件 を参照してください。
Delta Lake タイム トラベル クエリはストリーミング テーブルでのみサポートされ、具体化されたビューではサポート されません 。 テーブル履歴の操作を参照してください。
pivot()関数はサポートされません。 Spark でのpivot操作では、出力スキーマを計算するために、入力データを積極的に読み込む必要があります。 この機能は、パイプラインではサポートされていません。パイプラインのランアス識別はアカウントグループでも構いませんが、そのグループはワークスペースに割り当てられたアカウントグループでなければなりません。 ワークスペース ローカル グループは run-as ID として使用できず、広範な組み込みグループ
admins、users、account usersも同様に使えません。 run-as ID をグループに設定するを参照してください。
Lakeflow パイプラインのリソース クォータについては、「リソースの 制限」を参照してください。