サーバーレス コンピューティングの制限事項

ノートブックやジョブをサーバーレス計算に移行する前に、サポートされている言語やAPI、データアクセス要件、ユーザー定義の関数制限、ネットワークルール、キャッシュ要件を確認してください。

言語と API のサポート

  • R はサポートされていません。
  • Spark Connect API のみがサポートされています。 Spark RDD API はサポートされていません。
  • Spark Connect は、サーバーレス コンピューティングで使用され、分析と名前解決を実行時間に延期します。これは、コードの動作を変更する可能性があります。 Spark Connect と Spark クラシックの比較を参照してください。
  • ANSIモードはデフォルトで有効です。 無効なキャスト、算術オーバーフロー、誤った入力は、 NULL や誤った結果を静かに返すのではなく、ランタイムエラーを引き起こします。 動作を変える操作の扱い方やオプトアウトの制限については、移行ガイドの SQL挙動の違いセクション をご覧ください。
  • デフォルトのセッションタイムゾーンは Etc/UTC (協調ユニバーサルタイム)です。 別のタイムゾーンを使う場合は、 spark.sql.session.timeZoneに設定してください。 サーバーレス ノートブックとジョブの Spark プロパティの構成を参照してください。
  • spark.createDataFrameを使用してローカル データから DataFrame を作成する場合、行サイズは 128 MB を超えることはできません。

データ アクセスとストレージ

  • Unity カタログを使用して外部データ ソースに接続する必要があります。 外部の場所を使用して、クラウド ストレージにアクセスします。
  • DBFS へのアクセスは制限されています。 代わりに、Unity カタログ ボリューム または ワークスペース ファイル を使用してください。
  • ノートブックやジョブタスクのワーキングディレクトリは保証されていないため、相対的なファイルパスや相対的なPythonインポートが失敗することがあります。 ファイルを参照するには絶対パスを使い、相対モジュールではなくワークスペースファイルとして共有Pythonコードをインポートしてください。 PythonとRモジュールの作業を参照してください。
  • Maven 座標はサポートされていません。
  • グローバル一時ビューはサポートされていません。 1 つのセッション内で使用する結果には、セッション一時ビューを使用します。 計算結果をセッション間で共有するには、それらを Unity Catalog テーブルに書き込んでください。

ユーザー定義関数 (UDF)

  • サーバーレスノートブックやジョブ上のUnity Catalog Python UDFは、ワークスペースのネットワークポリシーおよびUDFネットワーク制限の対象となる範囲でアウトバウンドネットワークアクセスをサポートします。 CREATE FUNCTION(外部)コマンドはサポートされていません。 Databricksは、サポートされているUDFを作成するにはCREATE FUNCTIONCREATE FUNCTION(SQLおよびPython)を使用することを推奨しています。
  • サーバーレス コンピュート上の PySpark UDF は、分離されたサンドボックス内で実行され、各サンドボックスのデフォルトのメモリ制限は 1 GiB(1024 MiB)です。 この制限は Databricks によって管理されます。 ユーザーはこれを設定できません。
  • Scala UDF は 、上位の関数内では使用できません。

UI とログ記録

  • Spark UI は使用できません。 代わりに、クエリ プロファイルを使用して、Spark クエリに関する情報を表示します。 「クエリ プロファイル」を参照してください。
  • Spark ログは使用できません。 ユーザーは、クライアント側のアプリケーション ログにのみアクセスできます。

ネットワークとワークスペースへのアクセス

  • クロスワークスペースアクセスは、ソースワークスペースの送信ルールと宛先ワークスペースの受信ルールに依存します。 クロスワークスペースアクセスベータ版は、許可されたワークスペースペアの設定をサポートしています。 互換性モードを使用しているワークスペースは、従来のネットワーク制限を維持します。 要件やサービス固有の制限については「 クロスワークスペースアクセス 」を参照してください。
  • Databricks Container Services はサポートされていません。
  • サーバーレスコンピュートはIPv6経由でしか到達できないリソースには接続できません。 リソースはIPv4経由でアクセス可能でなければなりません。

ストリーミングの制限

ノートブックやジョブ向けのサーバーレス計算は、以下の 構造化ストリーミングトリガーをサポートしています:

  • Trigger.AvailableNow()。 Databricks では、サーバーレス コンピューティングに対してこのトリガー モードをお勧めします。
  • Trigger.Once()。 この非推奨モードはサポートされていますが、推奨されません。

以下のトリガーはサーバーレスノートブックやジョブではサポートされていません:

  • Trigger.Continuous(interval)。
  • Trigger.ProcessingTime(interval)。
    • 既定では、トリガー モードを指定しない場合、Apache Spark によってトリガーが Trigger.ProcessingTime("0 seconds")に設定されます。 サーバーレス コンピューティングでサポートされるトリガーを設定する必要があります。

サポートされていないトリガーを使用しようとすると、クエリによってエラー INFINITE_STREAMING_TRIGGER_NOT_SUPPORTEDが発生します。

これらのトリガー制限は Lakeflow パイプラインの処理モードには適用されません。 連続ストリーミングワークロードの場合は、サーバーレスパイプラインを連続モードで使用するか、Trigger.AvailableNow()でを使用してください。 Lakeflow パイプラインのリアルタイムモードは 、特定の実行時間、ソース、シンク、オペレーターの要件を伴い、秒単位未満の運用ワークロードをサポートします。

ストリーミング ユース ケースを適切なサーバーレス製品にマップする決定ガイドについては、「 サーバーレス コンピューティングでのストリーミング」を参照してください。

標準アクセス モードでのストリーミングに関するすべての制限も適用されます。 「ストリーミングの制限事項」を参照してください。

ノートブックの制約事項

  • Scala と R はノートブックではサポートされていません。
  • JAR ライブラリはノートブックではサポートされていません。 対処方法については、「サーバーレス コンピューティングのベスト プラクティス」を参照してください。 ジョブ内の JAR タスクがサポートされています。 「ジョブの JAR タスク」を参照してください。
  • ノートブック セッションで %pip を使用してインストールしたライブラリは、新しいセッションでは再インストールする必要があります。 環境ペインで構成された依存関係はサーバーレス環境キャッシュを使用します。 「 ノートブックへの依存関係の追加」を参照してください。
  • ユーザー間でノートブックを共有するときの TEMP テーブルとビューの共有はサポートされていません。
  • ノートブックでは、データフレーム向けのオートコンプリートおよび変数エクスプローラーはサポートされていません。
  • 既定では、新しいノートブックは .ipynb 形式で保存されます。 ノートブックがソース形式で保存されている場合、サーバーレス メタデータが正しくキャプチャされず、一部の機能が期待どおりに機能しない可能性があります。
  • ノートブック タグはサポートされていません。 サーバーレス使用ポリシーを使用して、サーバーレスの使用状況にタグを付けます。

ジョブの制限事項

  • ジョブ実行ページに表示されるタスクログは、タスク実行ごとに分離されておらず、複数のタスクからの出力が含まれています。 タスク実行ごとに整理されたディレクトリ内のボリュームにアプリケーションログを届けるには、「 Unity Catalog volumesへのサーバーレスログの配信」を参照してください。
  • タスク ライブラリは、ノートブック タスクではサポートされていません。 代わりにノートブック スコープのライブラリを使用してください。 「Notebook スコープのPython ライブラリ」を参照。
  • 既定では、サーバーレス ジョブにはクエリ実行タイムアウトはありません。 spark.databricks.execution.timeout プロパティを使用して、ジョブ クエリの実行タイムアウトを設定できます。 詳細については、「 サーバーレス ノートブックとジョブの Spark プロパティを構成する」を参照してください。
  • サーバーレス コンピューティングの最大実行時間は 7 日です。 7 日を超える実行はプラットフォームによって終了され、再試行されません。 ワークロードを 7 日より長く実行するには、それらを小さな実行に分割するか、クラシック コンピューティングを使用します。

コンピューティング固有の制限事項

次のコンピューティング固有の機能はサポートされていません。

キャッシュの制限事項

  • メタデータは、サーバーレス コンピューティング セッションにキャッシュされます。 このため、カタログを切り替えるときにセッション コンテキストが完全にリセットされないことがあります。 セッション コンテキストをクリアするには、サーバーレス コンピューティング リソースをリセットするか、新しいセッションを開始します。
  • df.cache()、、および df.persist() は、df.unpersist() Public Preview が有効になっているサーバーレス環境バージョン 5 以降でサポートされます。 コンプライアンスセキュリティプロファイルが有効なワークスペースではプレビューが利用できません。 要件で、有効化の要件とクライアント要件を確認してください。
  • 以下のキャッシュAPIおよびSQLコマンドはサーバーレスコンピュートではサポートされていません。 これらの API または SQL コマンドのいずれかを使用すると、例外が発生します。
  • Spark MLモデルキャッシュはセッションあたり1GB(1073741824バイト)に制限され、1モデルは100MBに制限されています。 サーバーレス計算では両方の制限はクラシック計算よりも低く、どちらも変更できません。 セッション制限を超えると ML_CACHE_SIZE_OVERFLOW_EXCEPTIONが上がります。 モデルごとの上限を超えると MODEL_SIZE_OVERFLOW_EXCEPTIONが上がります。 キャッシュの空き容量を確保するには、もう使わないモデルのPython参照を削除してください。 15分間使われずに放置されたモデルはローカルディスクに移動し、セッション制限にカウントされます。

Hive の制限事項

  • Hive SerDeテーブル はサポートされていません。 また、Hive SerDe テーブルにデータを読み込む対応する LOAD DATA コマンドはサポートされていません。 このコマンドを使用すると、例外が発生します。

  • ${var}(たとえば 、${env:var}、${configName}、${system:var})または spark.sql.variable 構文を使用する構成変数参照はサポートされていません。 Hive 変数を使用すると、例外が発生します。

    代わりに、 DECLARE VARIABLE、 SET VARIABLE、 SQL セッション変数の参照 とパラメーター マーカー ('?'、または ':var') を使用して、セッションの状態を宣言、変更、および参照します。 IDENTIFIER 句 を使用して、多くの場合、オブジェクト名をパラメーター化することもできます。

サポートされるデータ ソース

データ操作言語(DML)操作において、サーバーレス計算は以下のデータソースプロバイダーをサポートしています。 各プロバイダーは、要求された操作もサポートしなければなりません。 このリストに含まれているからといって、すべての書き込み、更新、削除操作をサポートすることを意味するわけではありません。 例えば、 バイナリファイルのソース は読み取り専用です。

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

サーバーレス コンピューティングでは、読み取り操作用に次のデータ ソースがサポートされています。

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW(Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB