ノートブックやジョブをサーバーレス計算に移行する前に、サポートされている言語やAPI、データアクセス要件、ユーザー定義の関数制限、ネットワークルール、キャッシュ要件を確認してください。
言語と API のサポート
- R はサポートされていません。
- Spark Connect API のみがサポートされています。 Spark RDD API はサポートされていません。
- Spark Connect は、サーバーレス コンピューティングで使用され、分析と名前解決を実行時間に延期します。これは、コードの動作を変更する可能性があります。 Spark Connect と Spark クラシックの比較を参照してください。
- ANSIモードはデフォルトで有効です。 無効なキャスト、算術オーバーフロー、誤った入力は、
NULLや誤った結果を静かに返すのではなく、ランタイムエラーを引き起こします。 動作を変える操作の扱い方やオプトアウトの制限については、移行ガイドの SQL挙動の違いセクション をご覧ください。 - デフォルトのセッションタイムゾーンは
Etc/UTC(協調ユニバーサルタイム)です。 別のタイムゾーンを使う場合は、spark.sql.session.timeZoneに設定してください。 サーバーレス ノートブックとジョブの Spark プロパティの構成を参照してください。 -
spark.createDataFrameを使用してローカル データから DataFrame を作成する場合、行サイズは 128 MB を超えることはできません。
データ アクセスとストレージ
- Unity カタログを使用して外部データ ソースに接続する必要があります。 外部の場所を使用して、クラウド ストレージにアクセスします。
- DBFS へのアクセスは制限されています。 代わりに、Unity カタログ ボリューム または ワークスペース ファイル を使用してください。
- ノートブックやジョブタスクのワーキングディレクトリは保証されていないため、相対的なファイルパスや相対的なPythonインポートが失敗することがあります。 ファイルを参照するには絶対パスを使い、相対モジュールではなくワークスペースファイルとして共有Pythonコードをインポートしてください。 PythonとRモジュールの作業を参照してください。
- Maven 座標はサポートされていません。
- グローバル一時ビューはサポートされていません。 1 つのセッション内で使用する結果には、セッション一時ビューを使用します。 計算結果をセッション間で共有するには、それらを Unity Catalog テーブルに書き込んでください。
ユーザー定義関数 (UDF)
- サーバーレスノートブックやジョブ上のUnity Catalog Python UDFは、ワークスペースのネットワークポリシーおよびUDFネットワーク制限の対象となる範囲でアウトバウンドネットワークアクセスをサポートします。 CREATE FUNCTION(外部)コマンドはサポートされていません。 Databricksは、サポートされているUDFを作成するにはCREATE FUNCTIONCREATE FUNCTION(SQLおよびPython)を使用することを推奨しています。
- サーバーレス コンピュート上の PySpark UDF は、分離されたサンドボックス内で実行され、各サンドボックスのデフォルトのメモリ制限は 1 GiB(1024 MiB)です。 この制限は Databricks によって管理されます。 ユーザーはこれを設定できません。
- Scala UDF は 、上位の関数内では使用できません。
UI とログ記録
- Spark UI は使用できません。 代わりに、クエリ プロファイルを使用して、Spark クエリに関する情報を表示します。 「クエリ プロファイル」を参照してください。
- Spark ログは使用できません。 ユーザーは、クライアント側のアプリケーション ログにのみアクセスできます。
ネットワークとワークスペースへのアクセス
- クロスワークスペースアクセスは、ソースワークスペースの送信ルールと宛先ワークスペースの受信ルールに依存します。 クロスワークスペースアクセスベータ版は、許可されたワークスペースペアの設定をサポートしています。 互換性モードを使用しているワークスペースは、従来のネットワーク制限を維持します。 要件やサービス固有の制限については「 クロスワークスペースアクセス 」を参照してください。
- Databricks Container Services はサポートされていません。
- サーバーレスコンピュートはIPv6経由でしか到達できないリソースには接続できません。 リソースはIPv4経由でアクセス可能でなければなりません。
ストリーミングの制限
ノートブックやジョブ向けのサーバーレス計算は、以下の 構造化ストリーミングトリガーをサポートしています:
-
Trigger.AvailableNow()。 Databricks では、サーバーレス コンピューティングに対してこのトリガー モードをお勧めします。 -
Trigger.Once()。 この非推奨モードはサポートされていますが、推奨されません。
以下のトリガーはサーバーレスノートブックやジョブではサポートされていません:
-
Trigger.Continuous(interval)。 -
Trigger.ProcessingTime(interval)。- 既定では、トリガー モードを指定しない場合、Apache Spark によってトリガーが
Trigger.ProcessingTime("0 seconds")に設定されます。 サーバーレス コンピューティングでサポートされるトリガーを設定する必要があります。
- 既定では、トリガー モードを指定しない場合、Apache Spark によってトリガーが
サポートされていないトリガーを使用しようとすると、クエリによってエラー INFINITE_STREAMING_TRIGGER_NOT_SUPPORTEDが発生します。
これらのトリガー制限は Lakeflow パイプラインの処理モードには適用されません。 連続ストリーミングワークロードの場合は、サーバーレスパイプラインを連続モードで使用するか、Trigger.AvailableNow()でを使用してください。
Lakeflow パイプラインのリアルタイムモードは 、特定の実行時間、ソース、シンク、オペレーターの要件を伴い、秒単位未満の運用ワークロードをサポートします。
ストリーミング ユース ケースを適切なサーバーレス製品にマップする決定ガイドについては、「 サーバーレス コンピューティングでのストリーミング」を参照してください。
標準アクセス モードでのストリーミングに関するすべての制限も適用されます。 「ストリーミングの制限事項」を参照してください。
ノートブックの制約事項
- Scala と R はノートブックではサポートされていません。
- JAR ライブラリはノートブックではサポートされていません。 対処方法については、「サーバーレス コンピューティングのベスト プラクティス」を参照してください。 ジョブ内の JAR タスクがサポートされています。 「ジョブの JAR タスク」を参照してください。
- ノートブック セッションで
%pipを使用してインストールしたライブラリは、新しいセッションでは再インストールする必要があります。 環境ペインで構成された依存関係はサーバーレス環境キャッシュを使用します。 「 ノートブックへの依存関係の追加」を参照してください。 - ユーザー間でノートブックを共有するときの TEMP テーブルとビューの共有はサポートされていません。
- ノートブックでは、データフレーム向けのオートコンプリートおよび変数エクスプローラーはサポートされていません。
- 既定では、新しいノートブックは
.ipynb形式で保存されます。 ノートブックがソース形式で保存されている場合、サーバーレス メタデータが正しくキャプチャされず、一部の機能が期待どおりに機能しない可能性があります。 - ノートブック タグはサポートされていません。 サーバーレス使用ポリシーを使用して、サーバーレスの使用状況にタグを付けます。
ジョブの制限事項
- ジョブ実行ページに表示されるタスクログは、タスク実行ごとに分離されておらず、複数のタスクからの出力が含まれています。 タスク実行ごとに整理されたディレクトリ内のボリュームにアプリケーションログを届けるには、「 Unity Catalog volumesへのサーバーレスログの配信」を参照してください。
- タスク ライブラリは、ノートブック タスクではサポートされていません。 代わりにノートブック スコープのライブラリを使用してください。 「Notebook スコープのPython ライブラリ」を参照。
- 既定では、サーバーレス ジョブにはクエリ実行タイムアウトはありません。
spark.databricks.execution.timeoutプロパティを使用して、ジョブ クエリの実行タイムアウトを設定できます。 詳細については、「 サーバーレス ノートブックとジョブの Spark プロパティを構成する」を参照してください。 - サーバーレス コンピューティングの最大実行時間は 7 日です。 7 日を超える実行はプラットフォームによって終了され、再試行されません。 ワークロードを 7 日より長く実行するには、それらを小さな実行に分割するか、クラシック コンピューティングを使用します。
コンピューティング固有の制限事項
次のコンピューティング固有の機能はサポートされていません。
- コンピューティング ポリシー
- コンピューティング スコープの init スクリプト。 パッケージのインストールやPython環境の設定は、ベース環境やノートブック依存関係を使いましょう。 「サーバーレス環境を構成する」を参照してください。
- カスタム データ ソースや Spark 拡張機能を含む、コンピューティング スコープのライブラリ。 代わりにノートブック スコープのライブラリを使用してください。
- インスタンス プール
- コンピューティング イベント ログ
- ほとんどの Apache Spark コンピューティング構成。 サポートされている構成の一覧については、「 サーバーレス ノートブックとジョブの Spark プロパティの構成」を参照してください。
- 計算範囲付きの環境変数。 サーバーレスのLakeflow Jobsタスクで環境変数をアプリケーションコードに渡すには、ジョブレベルの環境変数機能(Beta)をご利用ください。 「 サーバーレスジョブのための環境変数の設定」を参照してください。 また、 ウィジェット を使って ジョブやタスクのパラメータを作成することもできます。
キャッシュの制限事項
- メタデータは、サーバーレス コンピューティング セッションにキャッシュされます。 このため、カタログを切り替えるときにセッション コンテキストが完全にリセットされないことがあります。 セッション コンテキストをクリアするには、サーバーレス コンピューティング リソースをリセットするか、新しいセッションを開始します。
-
df.cache()、、およびdf.persist()は、df.unpersist()Public Preview が有効になっているサーバーレス環境バージョン 5 以降でサポートされます。 コンプライアンスセキュリティプロファイルが有効なワークスペースではプレビューが利用できません。 要件で、有効化の要件とクライアント要件を確認してください。 - 以下のキャッシュAPIおよびSQLコマンドはサーバーレスコンピュートではサポートされていません。 これらの API または SQL コマンドのいずれかを使用すると、例外が発生します。
- Spark MLモデルキャッシュはセッションあたり1GB(1073741824バイト)に制限され、1モデルは100MBに制限されています。 サーバーレス計算では両方の制限はクラシック計算よりも低く、どちらも変更できません。 セッション制限を超えると ML_CACHE_SIZE_OVERFLOW_EXCEPTIONが上がります。 モデルごとの上限を超えると MODEL_SIZE_OVERFLOW_EXCEPTIONが上がります。 キャッシュの空き容量を確保するには、もう使わないモデルのPython参照を削除してください。 15分間使われずに放置されたモデルはローカルディスクに移動し、セッション制限にカウントされます。
Hive の制限事項
Hive SerDeテーブル はサポートされていません。 また、Hive SerDe テーブルにデータを読み込む対応する LOAD DATA コマンドはサポートされていません。 このコマンドを使用すると、例外が発生します。
${var}(たとえば 、${env:var}、${configName}、${system:var})またはspark.sql.variable構文を使用する構成変数参照はサポートされていません。 Hive 変数を使用すると、例外が発生します。代わりに、 DECLARE VARIABLE、 SET VARIABLE、 SQL セッション変数の参照 とパラメーター マーカー ('?'、または ':var') を使用して、セッションの状態を宣言、変更、および参照します。 IDENTIFIER 句 を使用して、多くの場合、オブジェクト名をパラメーター化することもできます。
サポートされるデータ ソース
データ操作言語(DML)操作において、サーバーレス計算は以下のデータソースプロバイダーをサポートしています。 各プロバイダーは、要求された操作もサポートしなければなりません。 このリストに含まれているからといって、すべての書き込み、更新、削除操作をサポートすることを意味するわけではありません。 例えば、 バイナリファイルのソース は読み取り専用です。
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
サーバーレス コンピューティングでは、読み取り操作用に次のデータ ソースがサポートされています。
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKE-
SQLDW(Azure Synapse) DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB