サーバーレス コンピューティングのリリース ノート

この記事では、ノートブックとジョブのサーバーレス コンピューティングで現在および今後使用できる機能と動作について説明します。

サーバーレス コンピューティングの詳細については、「 サーバーレス コンピューティングへの接続」を参照してください。

Azure Databricks は、サーバーレス コンピューティングの更新プログラムを定期的にリリースし、プラットフォームの機能強化とアップグレードをサポートするためにサーバーレス コンピューティング ランタイムを自動的にアップグレードします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。

サーバーレス環境バージョン

ノートブックとジョブのサーバーレス コンピューティングでは環境バージョンが使用されます。これにより、Spark Connect に基づく安定したクライアント API が提供され、アプリケーションの互換性が確保されます。 これにより、Databricks はサーバーを個別にアップグレードでき、ワークロードにコードを変更することなく、パフォーマンスの向上、セキュリティの強化、バグ修正を実現できます。

各環境バージョンには、特定の Python バージョンと、定義済みのバージョンを持つ一連の Python パッケージが含まれています。 Databricks では、サポートされているすべての環境バージョンにセキュリティ更新プログラムを適用しながら、最新の環境バージョンで新機能と修正プログラムが導入されています。

サーバーレス環境バージョンのリリース ノートについては、「 サーバーレス環境のバージョン」を参照してください。

リリース ノート

このセクションには、サーバーレス コンピューティングのリリース ノートが含まれています。 リリース ノートは、年および週ごとに整理されます。 サーバーレス コンピューティングは、常に、ここに記載されている最新リリースバージョンを使用して実行されます。

• バージョン 17.3
• バージョン 17.2
• バージョン 17.1
• サーバーレス環境バージョン 4
• バージョン 17.0
• サーバーレス パフォーマンスのターゲットが GA である
• バージョン 16.4
• サーバーレス ジョブでパフォーマンス モードを構成できるようになりました
• バージョン 16.3
• バージョン 16.2
• サーバーレス ノートブックで使用可能な高メモリ設定 (パブリック プレビュー)
• バージョン 16.1
• バージョン 15.4
• JDK は JDK 8 から JDK 17 にアップグレードされます
• バージョン 15.1
• バージョン 14.3

バージョン 17.3

2025 年 10 月 28 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.3 LTS にほぼ対応しています。

新機能

• LIMIT すべての再帰 CTE のサポート: LIMIT ALL 句と再帰共通テーブル式 (rCTES) を使用して、クエリ結果に行制限を適用しない指定を明示的に指定できるようになりました。 共通テーブル式 (CTE) を参照してください。

• Unity カタログ ボリューム内のファイルに追加すると、正しいエラーが返されます。Unity カタログ ボリューム内の既存のファイルに追加しようとすると、問題の理解と解決に役立つわかりやすいエラー メッセージが返されるようになりました。

• st_dump 関数のサポート: st_dump 関数を使用して、ジオメトリ オブジェクトをその構成要素に分解し、一連の単純なジオメトリを返すようになりました。 st_dump 関数を参照してください。

• 多角形内部リング関数がサポートされるようになりました。次の関数を使用して、多角形内部リングを操作できるようになりました。

  • st_numinteriorrings: 多角形の内部境界 (リング) の数を取得します。 st_numinteriorrings 関数を参照してください。
  • st_interiorringn: 多角形の n 番目の内側の境界を抽出し、それをライン文字列として返します。 st_interiorringn 関数を参照してください。

• 定数式の使用EXECUTE IMMEDIATE: EXECUTE IMMEDIATE ステートメントでは、クエリ文字列での定数式の使用がサポートされるようになりました。これにより、より柔軟な動的 SQL 実行が可能になります。 「EXECUTE IMMEDIATE」を参照してください。

• サーバーレス コンピューティングで spark.sql.files.maxPartitionBytes を許可する: spark.sql.files.maxPartitionBytes を構成できるようになりましたファイルを読み取るときに 1 つのパーティションにパックする最大バイト数を制御する、サーバーレス コンピューティングの Spark 構成パラメーター。 サーバーレス ノートブックとジョブの Spark プロパティの構成を参照してください。

動作の変更

• DESCRIBE EXTENDED AS JSON での MV/ST 更新情報のサポート: DESCRIBE EXTENDED AS JSON コマンドには、具体化されたビューとストリーミング テーブルの更新情報が含まれるようになり、最後の更新時刻と状態が表示されるようになりました。

• DESCRIBE QUERYとDESCRIBE TABLEにメタデータ列を追加する: DESCRIBE QUERYコマンドとDESCRIBE TABLE コマンドの出力にメタデータ列が含まれるようになり、各列のプロパティと特性に関する追加情報が提供されるようになりました。

• NullType 列を削除するときの null 構造体の正しい処理: Azure Databricks では、 NullTypeを含む列を削除するときに null 構造体の値が正しく処理されるようになりました。これにより、データの破損や予期しない動作を防ぐことができます。

• Parquet での null 構造体の処理の改善: このリリースでは、Parquet ファイルの読み取りと書き込み時に null 構造体の値を処理する方法が改善され、一貫性と正しい動作が保証されます。

• Kafka 用 aws-msk-iam-auth ライブラリのアップグレード: Amazon MSK IAM 認証に使用される aws-msk-iam-auth ライブラリが最新バージョンにアップグレードされ、セキュリティと互換性が向上しました。

バージョン 17.2

2025 年 9 月 25 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.2 とほぼ同じです。

新機能

• ST_ExteriorRing 関数がサポートされるようになりました。 ST_ExteriorRing 関数を使用して多角形の外側の境界を抽出し、それをライン文字列として返すようになりました。 st_exteriorring 関数を参照してください。

• メトリック ビュー作成 TEMPORARY キーワードのサポート: メトリック ビューの作成時に TEMPORARY キーワードを使用できるようになりました。 一時メトリック ビューは、それらを作成したセッションでのみ表示され、セッションの終了時に削除されます。 「CREATE VIEW」を参照してください。

• S3 のLokiFileSystem.getFileStatusにネイティブ I/O を使用する: LokiFileSystem.getFileStatus Amazon S3 トラフィックにネイティブ I/O スタックを使用し、org.apache.hadoop.fs.FileStatusではなくshaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatusオブジェクトを返すようになりました。

• 自動ローダーは、 singleVariantColumn モードでパーティション列を推論します。自動ローダーは、 singleVariantColumn オプションを使用して半構造化バリアント型としてデータを取り込むときに、ファイル パスからパーティション列を推論するようになりました。 以前は、パーティション列は自動的に検出されませんでした。 自動ローダーオプションを参照してください。

動作の変更

• DESCRIBE CONNECTION は、JDBC 接続の環境設定を示しています。Azure Databricks には、カスタム ドライバーをサポートし、分離して実行する JDBC 接続の DESCRIBE CONNECTION 出力にユーザー定義の環境設定が含まれるようになりました。 その他の接続の種類は変更されません。

• マネージド テーブルの移行中に均一履歴を切り捨てるオプション: ALTER TABLE...SET MANAGEDを使用して Uniform/Iceberg が有効になっているテーブルを移行するときに、均一履歴を切り捨てることができるようになりました。 これにより、Uniform を手動で無効にして再度有効にする場合と比較して、移行が簡略化され、ダウンタイムが短縮されます。

• 正規表現と正の制限が空の split の正しい結果: 空の正規表現と正の制限で split function を使用すると、Azure Databricks によって正しい結果が返されるようになりました。 以前は、関数は最後の要素に含めるのではなく、残りの文字列を誤って切り捨てていました。

• Photon のurl_decodeとtry_url_decodeエラー処理を修正しました。Photon では、try_url_decode()を使用してurl_decode()とfailOnError = falseは、クエリに失敗するのではなく、無効な URL エンコード文字列のNULLを返すようになりました。

• Unity カタログ Python UDF の共有実行環境: Azure Databricks は、同じ所有者と Spark セッションから Python ユーザー定義テーブル関数 (UDF) の 実行環境を共有するようになりました。 オプションの STRICT ISOLATION 句を使用して、環境変数の変更や任意のコードの実行など、副作用のある UDF の共有を無効にすることができます。

バージョン 17.1

2025 年 8 月 19 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.1 とほぼ同じです。

新機能

• Photon ライターでの広範なスキーマのメモリ使用量の削減: 以前にメモリ不足エラーが発生したシナリオに対処し、広範なスキーマのメモリ使用量を大幅に削減する機能が Photon エンジンに強化されました。

動作の変更

• 無効なCHECK制約に対してスローされたエラー: 制約の検証中にAnalysisException制約式を解決できない場合、Azure Databricks はCHECKをスローするようになりました。

• Pulsar コネクタでバウンス城が公開されなくなりました。クラスパスの競合を防ぐために、Pulsar コネクタでバウンス城ライブラリが網掛けされるようになりました。 その結果、Spark ジョブはコネクタから org.bouncycastle.* クラスにアクセスできなくなります。 コードがバウンス城に依存している場合は、サーバーレス環境にライブラリを手動でインストールします。

• 自動ローダーでは、使用可能な場合、既定でファイル イベントが使用されます。ロード パスがファイル イベントが有効になっている外部の場所である場合、自動ローダーはディレクトリの一覧ではなくファイル イベントを使用します。 useManagedFileEventsの既定値はif_availableになりました (falseされました)。 これにより、インジェストのパフォーマンスが向上し、ファイル イベントがまだ有効になっていない場合は警告がログに記録されます。

• Teradata コネクタでは、大文字と小文字が区別される文字列の比較が修正されました。Teradata コネクタは既定で TMODE=ANSI になり、大文字と小文字が区別され、文字列比較の動作が Azure Databricks と一致するようになりました。 この変更は構成可能であり、オプトインしない限り、既存のユーザーには影響しません。

サーバーレス環境バージョン 4

2025 年 8 月 13 日

環境バージョン 4 は、サーバーレス のノートブックとジョブで使用できるようになりました。 この環境バージョンには、ライブラリのアップグレードと API の更新が含まれています。 サーバーレス環境バージョン 4 を参照してください。

バージョン 17.0

2025 年 7 月 24 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.0 とほぼ同じです。

新機能

• SQL プロシージャのサポート: UNITY カタログの再利用可能な資産としてストアド プロシージャに SQL スクリプトをカプセル化できるようになりました。 CREATE PROCEDURE コマンドを使用してプロシージャを作成し、CALL コマンドを使用してプロシージャを呼び出すことができます。

• SQL Functions の既定の照合順序を設定する: DEFAULT COLLATION コマンドで新しいCREATE FUNCTION句を使用すると、関数本体でSTRINGパラメーター、戻り値の型、およびSTRINGリテラルに使用される既定の照合順序が定義されます。

• 再帰共通テーブル式 (rCTE) のサポート: Azure Databricks では、 再帰共通テーブル式 (rCTE) を使用した階層データのナビゲーションがサポートされるようになりました。 再帰リレーションシップに従うには、 UNION ALL で自己参照型 CTE を使用します。

• PySpark と Spark Connect で DataFrames df.mergeInto がサポートされるようになりましたAPI: PySpark と Spark Connect で df.mergeInto API がサポートされるようになりました。

• ALL CATALOGS SCHEMAS でのSHOWのサポート: SHOW SCHEMAS構文は、ALL CATALOGSを受け入れるように更新され、名前空間をサポートするすべてのアクティブなカタログを反復処理できます。 出力属性には、対応する名前空間のカタログを示す catalog 列が含まれるようになりました。

• 液体クラスタリングにより、削除ベクトルをより効率的に圧縮できるようになりました。液体クラスタリングを使用した差分テーブルでは、 OPTIMIZE 実行中に削除ベクトルからの物理的な変更をより効率的に適用できるようになりました。 詳細については、「 Parquet データ ファイルに変更を適用する」を参照してください。

• UPDATE / INSERTで非決定論的な式を許可するMERGE操作の列値: Azure Databricks では、MERGE操作の更新および挿入された列値で非決定論的な式を使用できるようになりました。 たとえば、 rand()などの式を使用して、列の動的またはランダムな値を生成できるようになりました。

• Delta MERGE Python API を Unit ではなく DataFrame を返すように変更します。Python MERGE API ( DeltaMergeBuilder など) も、SQL API と同じ結果で DataFrame を返すようになりました。

動作の変更

• 自動ローダー増分ディレクトリ一覧オプションの動作変更: 非推奨の自動ローダー cloudFiles.useIncrementalListing オプションの値が既定値の false に設定されるようになりました。 その結果、この変更により、自動ローダーが実行されるたびに完全なディレクトリ一覧が実行されます。 Databricks では、このオプションを使用しないことをお勧めします。 代わりに、 ファイル イベントでファイル通知モードを使用します。

• 列レベルの句CREATE VIEWは、具体化ビューにのみ適用される場合に今後エラーをスローするようになります。CREATE VIEWMATERIALIZED VIEWにのみ有効な列レベルの句を指定するコマンドは、エラーをスローするようになります。 影響を受ける句には、 NOT NULL、指定されたデータ型、 DEFAULT、および COLUMN MASKが含まれます。

サーバーレス パフォーマンスのターゲットが GA である

2025 年 6 月 10 日

ジョブとパイプラインのサーバーレス パフォーマンス設定の選択が一般公開されました。

パフォーマンス最適化設定が有効になっている場合、ワークロードは起動時間と実行時間を短縮するために最適化されます。 無効にすると、サーバーレス ワークロードは Standard パフォーマンス モードで実行されます。これはコストに合わせて最適化されており、起動待ち時間が若干長くなります。

詳細については、「パフォーマンス モードの選択」および「パフォーマンス モードの選択」を参照してください。

バージョン 16.4

2025 年 5 月 28 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.4 LTS にほぼ対応しています。

動作の変更

• データ ソースのキャッシュされたプランのオプションを考慮する修正: この更新プログラムでは、最初にキャッシュされたテーブルの読み取りだけでなく、キャッシュ時にすべてのデータ ソース プランに対して設定されたオプションがテーブル読み取りによって考慮されるようになります。 以前は、データ ソース テーブルは最初のプランを読み取りましたが、後続のクエリでさまざまなオプションを考慮できませんでした。

• MERGE 操作にソースマテリアライズを要求するフラグを有効にする: 以前は、 merge.materializeSource を none に設定することで、MERGE でソースマテリアライズをオフにできました。 新しいフラグを有効にすると、ソースの具体化が常に必要になり、無効にしようとするとエラーが発生します。 Databricks では、この構成を以前に変更していないお客様に対してのみこのフラグを有効にすることを計画しているため、ほとんどのユーザーは動作の変更を発生させるべきではありません。

新機能

• 自動ローダーでソース ディレクトリ内の処理済みファイルをクリーンアップできるようになりました。処理されたファイルを自動的に移動または削除するように自動ローダーに指示できるようになりました。 cloudFiles.cleanSource自動ローダー オプションを使用して、この機能にオプトインします。 の自動cloudFiles.cleanSourceを参照してください。

• デルタ テーブルからのストリーミングに対する型拡大のサポートが追加されました:このリリースでは、型拡大列データを持つ Delta テーブルからのストリーミングと、Databricks-to-Databricks Delta Sharing を使用して型拡大が有効になっている Delta テーブルの共有のサポートが追加されました。 タイプ拡大機能は、現在パブリック プレビュー段階です。 「タイプ拡張」を参照してください。

• IDENTIFIER DBSQL でカタログ操作のサポートを利用できるようになりました。次のカタログ操作を実行するときに、 IDENTIFIER 句を使用できるようになりました。

  • CREATE CATALOG
  • DROP CATALOG
  • COMMENT ON CATALOG
  • ALTER CATALOG

  この新しい構文を使用すると、これらの操作に定義されたパラメーターを使用してカタログ名を動的に指定できるため、より柔軟で再利用可能な SQL ワークフローが可能になります。 構文の例として、CREATE CATALOG IDENTIFIER(:param)がカタログ名を指定するために指定されたパラメーターであるparamを検討してください。 IDENTIFIER の条項を参照してください。

• 照合式で自動生成された一時的なエイリアスが提供されるようになりました。照合された式の自動生成されたエイリアスに、 COLLATE 情報が決定的に組み込まれるようになりました。 自動生成されたエイリアスは一時的な (不安定な) ので、依存しないでください。 代わりに、ベスト プラクティスとして、 expression AS alias 一貫して明示的に使用します。

• Python データ ソースにフィルター プッシュダウン API のサポートを追加する: サーバーレス コンピューティングでは、 SupportsPushDownFilters インターフェイスと同様に、API として読み取られた Python データ ソース バッチへのフィルター プッシュダウンがサポートされるようになりました。 16.4 LTS リリース ノートを参照してください。

• Python UDF トレースバックの改善: Python UDF トレースバックに、ドライバーと Executor の両方のフレームとクライアント フレームが含まれるようになり、より関連性の高い詳細 (UDF 内のフレームの行コンテンツなど) を示すエラー メッセージが改善されました。

• ビュー内の UNION/EXCEPT/INTERSECT および EXECUTE IMMEDIATE が正しい結果を返すようになりました: 以前は、最上位レベルの UNION/EXCEPT/INTERSECT およびエイリアスのない列を含む一時ビュー定義と永続ビュー定義のクエリは、UNION/EXCEPT/INTERSECT キーワードがエイリアスとみなされていたため、誤った結果を返していました。 これで、これらのクエリはセット操作全体を正しく実行します。

• データ ソースのキャッシュされたプラン conf と移行ガイド: ファイル ソース テーブルからの読み取りでは、クエリ オプション (区切り記号など) が正しく考慮されます。 以前は、最初のクエリ プランがキャッシュされ、以降のオプションの変更は無視されていました。 以前の動作を復元するには、spark.sql.legacy.readFileSourceTableCacheIgnoreOptions を true に設定します。

• 新しい listagg 関数と string_agg 関数: このリリース以降、 listagg 関数または string_agg 関数を使用して、グループ内の STRING 値と BINARY 値を集計できます。 string_aggを参照してください。

サーバーレス ジョブでパフォーマンス モードを構成できるようになりました

2025 年 4 月 14 日

ジョブの詳細ページの [パフォーマンス最適化] 設定を使用して、サーバーレス ジョブの パフォーマンス モードを選択できるようになりました。 以前は、すべてのサーバーレス ジョブのパフォーマンスが最適化されていました。 これで、 パフォーマンス最適化 設定を無効にして、標準パフォーマンス モードでワークロードを実行できるようになりました。 Standard パフォーマンス モードは、起動待ち時間が若干長くなるワークロードのコストを削減するように設計されています。

標準パフォーマンス モードは、継続的パイプライン、 runs/submit エンドポイントを使用して作成された 1 回限りの実行、または具体化されたビューを含む SQL ウェアハウス ジョブ タスクではサポートされていません。

パフォーマンス モードの詳細については、「 パフォーマンス モードの選択」を参照してください。

バージョン 16.3

2025 年 4 月 9 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.3 とほぼ同じです。

動作の変更

• * kafka.sasl.client.callback.handler.class に無効な値が割り当てられた場合のエラー メッセージの改善: このリリースには、 kafka.sasl.client.callback.handler.class に無効な値が割り当てられている場合に、よりわかりやすいエラー メッセージを返す変更が含まれています。

新機能

• 状態リーダーのサポートは GA です。構造化ストリーミング クエリの状態情報の読み取りのサポートが、サーバーレス コンピューティングで一般提供されるようになりました。 構造化ストリーミングの状態情報の読み取りを参照してください。

• デルタ テーブル プロトコルのダウングレードはチェックポイント保護付きの GA です。 DROP FEATURE は、Delta Lake テーブルの機能を削除し、テーブル プロトコルをダウングレードするために一般提供されています。 既定では、 DROP FEATURE は、待機時間や履歴の切り捨てを必要としない、より最適化された簡略化されたダウングレード エクスペリエンスのために、保護されたチェックポイントを作成するようになりました。 Delta Lake テーブル機能の削除とテーブル プロトコルのダウングレードに関する記事を参照してください。

• ANSI SQL/PSM (パブリック プレビュー) に基づく手続き型 SQL スクリプトの記述: ANSI SQL/PSM に基づくスクリプト機能を使用して、制御フロー ステートメント、ローカル変数、例外処理などの手順ロジックを SQL で記述できるようになりました。 SQL スクリプトを参照してください。

• テーブルとビュー レベルの既定の照合順序: テーブルとビューの既定の照合順序を指定できるようになりました。 これにより、すべての列またはほとんどの列が同じ照合順序を共有するテーブルとビューの作成が簡略化されます。 照合順序を参照してください。

• 新しい H3 関数: h3_try_coverash3、h3_try_coverash3string、h3_try_tessellateaswkbの 3 つの新しい H3 関数が追加されました。

• 1 つの ALTER TABLE ステートメントで複数のテーブル列を変更する: 1 つの ALTER TABLE ステートメントで複数の列を変更できるようになりました。 「ALTER TABLE ... COLUMN 句」を参照してください。

バージョン 16.2

2025 年 3 月 13 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.2 とほぼ同じです。

動作の変更

• Delta Sharing では、既定でテーブル履歴が有効化される: SQL コマンド ALTER SHARE <share> ADD TABLE <table> を使用して作成される共有では、既定で履歴共有 (WITH HISTORY) が有効になります。 「ALTER SHARE」を参照してください。

• 資格情報の種類が一致しない場合、資格情報 SQL ステートメントはエラーを返します。資格情報管理 SQL ステートメントで指定された資格情報の種類が資格情報の引数の型と一致しない場合は、エラーが返され、ステートメントは実行されません。

新機能

• 生成された列式で timestampdiff & timestampadd を使用します。Delta Lake で生成された列式で timestampdiff 関数と timestampadd 関数を使用できるようになりました。 Delta Lake で生成された列 を参照してください。

• DESCRIBE TABLEに更新すると、メタデータが構造化 JSON として返されます。DESCRIBE TABLE AS JSON コマンドを使用して、テーブル メタデータを JSON ドキュメントとして返すようになりました。 JSON 出力は、人間が判読できる既定のレポートよりも構造化されており、テーブルのスキーマをプログラムで解釈するために使用できます。 詳細については、AS JSON DESCRIBE TABLE を参照してください。

• 末尾の空白を区別しない照合順序: サーバーレスでは、末尾の空白を区別しない照合順序がサポートされるようになりました。 たとえば、これらの照合順序では、'Hello' と 'Hello ' が等しいとして扱います。 詳細については、RTRIM 照合順序 を参照してください。

バグの修正

• 増分クローン処理の改善: このリリースには、増分 CLONE がソース テーブルからターゲット テーブルに既にコピーされたファイルを再コピーする可能性があるエッジ ケースの修正が含まれています。 「Azure Databricks でテーブルを複製する」を参照してください。

サーバーレス ノートブックで使用可能な高メモリ設定 (パブリック プレビュー)

2025 年 2 月 7 日

これで、サーバーレス コンピューティング ノートブックのワークロードに対して、より大きなメモリ サイズを構成できるようになりました。 この設定は、対話型のノートブック ワークロードとスケジュールされたノートブック ワークロードの両方に適用できます。

メモリが多いサーバーレス使用量は、標準メモリよりも DBU の放射率が高くなります。

詳細については、「 高メモリ サーバーレス コンピューティングの使用」を参照してください。

バージョン 16.1

2025 年 2 月 5 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.0 と Databricks Runtime 16.1 にほぼ対応しています。

新機能

• 再帰スキーマの Avro サポート:recursiveFieldMaxDepth関数とfrom_avro データ ソースで avro オプションを使用できるようになりました。 このオプションは、Avro データ ソースのスキーマ再帰の最大深度を設定します。 ストリーミングAvroデータの読み取りと書き込みを参照してください。
• Avro の Confluent スキーマ レジストリのサポートが拡張されました。 サーバーレスでは、Confluent スキーマ レジストリを使用した Avro スキーマ参照がサポートされるようになりました。 外部 Confluent スキーマ レジストリに対する認証を参照してください。
• 液体クラスタリングを使用してテーブルに対して再クラスター化を強制する:OPTIMIZE FULL構文を使用して、液体クラスタリングが有効になっているテーブル内のすべてのレコードを強制的に再クラスター化できるようになりました。 すべてのレコードの再クラスター化を強制するを参照してください。
• Python 用 Delta API で ID 列がサポートされるようになりました。 Python 用の Delta API を使用して、ID 列を含むテーブルを作成できるようになりました。 Delta Lake での ID 列の使用を参照してください。
• ストリーミング書き込み中に液体クラスター化テーブルを作成します 。 clusterBy を使用して、構造化ストリーミング書き込みを使用して新しいテーブルを作成するときに、液体クラスタリングを有効にできるようになりました。 「液体クラスタリングを有効にする」を参照してください。
• OPTIMIZE サーバーレス コンピューティングで 句がサポートされるようになりました。 この句は、以前にクラスター化された可能性のあるデータを含め、リキッド クラスタリングを使用するテーブル内のすべてのレコードを最適化します。
• INSERTとテーブルリファレンスでの WITH オプション指定のサポート: サーバーレス コンピューティングでは、データ ソースの動作を制御するために使用できる ステートメントのテーブル参照とテーブル名のINSERTがサポートされるようになりました。
• 新しい SQL 関数: サーバーレス コンピューティングでは、次の SQL 関数を使用できるようになりました。
  • try_url_decode は、url_decode のエラー耐性バージョンです。
  • 関数の入力式が zeroifnull() である場合、NULL は 0 を返します。
  • nullifzero は、入力が 0 の場合は NULL を返し、0 でない場合は入力を返します。
  • dayname(expr) は、指定された日付の曜日の 3 文字の英語頭字語を返します。
  • uniform(expr1, expr2 [,seed]) は、 指定された数値範囲内の独立した同じ分散値を持つランダムな値を返します。
  • randstr(length) は、英数字のランダムな文字列 length 返します。
• Delta テーブルにデータをマージするときに、スキーマの自動進化を有効にします。withSchemaEvolution() クラスのDeltaMergeBuilder メンバーのサポートが追加されました。 withSchemaEvolution() を使用して、MERGE 操作中にスキーマの自動展開を有効にします。 たとえば、mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}} のようにします。
• Apache Spark での照合順序のサポートはパブリック プレビュー段階にあります。 言語対応、大文字と小文字の区別、アクセスを区別しない照合順序を、 STRING の列と式に割り当てることができるようになりました。 これらの照合順序は、文字列比較、並べ替え、グループ化操作、および多くの文字列関数で使用されます。 照合順序を参照してください。
• Delta Lake での照合順序のサポートはパブリック プレビュー段階にあります。 Delta テーブルを作成または変更するときに、列の照合順序を定義できるようになりました。 Delta Lake の照合サポートを参照してください。
• バキュームのLITEモードはパブリック プレビュー段階です。VACUUM table_name LITEを使用して、Delta トランザクション ログのメタデータを活用する軽量のバキューム操作を実行できるようになりました。 フルモードとライトモードとVACUUMを参照してください。
• USE CATALOG with IDENTIFIER句のパラメーター化のサポート:IDENTIFIER句は、USE CATALOG ステートメントでサポートされるようになりました。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。
• COMMENT ON COLUMN テーブルとビューのサポート:COMMENT ON ステートメントでは、ビュー列とテーブル列のコメントの変更がサポートされるようになりました。
• その他の関数の名前付きパラメーター呼び出し: 次の関数は 、名前付きパラメーターの呼び出しをサポートしています。
  • variant_explode
  • variant_explode_outer
  • inline
  • inline_outer
  • posexplode
  • posexplode_outer
• SYNC METADATA コマンドの REPAIR TABLE パラメーターは Hive メタストアでサポートされています。SYNC METADATA コマンドで REPAIR TABLE パラメーターを使用して、Hive メタストア マネージド テーブルのメタデータを更新できるようになりました。 「REPAIR TABLE」を参照してください。
• 圧縮された Apache Arrow バッチのデータ整合性の強化: データの破損からさらに保護するために、すべての LZ4 圧縮された方向バッチに、 LZ4 コンテンツとブロック チェックサムが含まれるようになりました。 「LZ4 フレームフォーマットの説明を参照してください。

• 組み込みの Oracle JDBC ドライバー: サーバーレス コンピューティングに Oracle JDBC Driver が組み込まれるようになりました。 DriverManager 経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。
• パスを使用してアクセスされた Delta テーブルの詳細なエラー: パスを使用してアクセスされた Delta テーブルの新しいエラー メッセージ エクスペリエンスが利用できるようになりました。 すべての例外がユーザーに転送されるようになりました。 基になるファイルを Delta テーブルとして読み取ることができない場合に、例外 DELTA_MISSING_DELTA_TABLE が予約されるようになりました。

動作の変更

• 破壊的変更: Hosted RStudio は有効期間が終了しました。このリリースでは、Databricks でホストされる RStudio Server は有効期間が終了し、サーバーレス コンピューティングで実行されている Azure Databricks ワークスペースでは使用できません。 RStudio の代替手段の詳細と一覧については、「 Databricks でホストされる RStudio Server への接続」を参照してください。

• 破壊的変更: byte、 short、 int 、および long の型をより広い型に変更するためのサポートの削除: Delta テーブルと Apache Iceberg テーブル間で一貫した動作を保証するために、次のデータ型の変更を、 型拡大 機能が有効になっているテーブルに適用できなくなりました。

  • byte、short、int、longをdecimalにします。
  • byte、short、およびintからdoubleまで。

• 入れ子になった文字グループの否定を使用した正規表現パターンの正しい解析: このリリースには、入れ子になった文字グループ化での否定を含む正規表現パターンの正しい解析をサポートするための変更が含まれています。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

  さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

• MERGEし、句で指定された条件を考慮するようになりました。 マージを使用して Delta Lake テーブルにアップサートするを参照してください。

• addArtifact()機能は、コンピューティングの種類間で一貫しています。addArtifact(archive = True)を使用してサーバーレス コンピューティングに依存関係を追加すると、アーカイブが自動的にアンパックされます。

バグの修正

• タイムゾーン オフセットに、CSV、JSON、XML にシリアル化されたときの秒数が含まれるようになりました。 秒 (1900 より前のタイムスタンプに共通) を含むタイムゾーン オフセットを持つタイムスタンプは、CSV、JSON、および XML にシリアル化されるときに秒を省略していました。 既定のタイムスタンプ フォーマッタが修正され、これらのタイムスタンプの正しいオフセット値が返されるようになりました。

その他の変更

• 構造化ストリーミング ソースcloudFilesのエラーコードの名前が変更されました: 次のエラーコードの名前が変更されました。
  • _LEGACY_ERROR_TEMP_DBR_0143 の名前は CF_INCORRECT_STREAM_USAGE に変更されました。
  • _LEGACY_ERROR_TEMP_DBR_0260 の名前は CF_INCORRECT_BATCH_USAGE に変更されました。

バージョン 15.4

2024 年 10 月 28 日

このサーバーレス コンピューティング リリースは、Databricks Runtime 15.4 にほぼ対応しています

新機能

• UTF-8 検証関数: このリリースでは、UTF-8 文字列を検証するための次の関数が導入されています。
  • is_valid_utf8 文字列が有効な UTF-8 文字列であるかどうかを確認しました。
  • make_valid_utf8 、無効な可能性がある UTF-8 文字列を、置換文字を使用して有効な UTF-8 文字列に変換します。
  • validate_utf8 は、入力が有効な UTF-8 文字列でない場合にエラーを発生させます。
  • 入力が 有効な UTF-8 文字列でない場合、try_validate_utf8は NULL を返します。
• ALTER TABLEを使用して UniForm Iceberg を有効にする: データ ファイルを書き換えることなく、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 既存のテーブルで Iceberg 読み取りを有効にする を参照してください。
• try_url_decode関数: このリリースでは、URL でエンコードされた文字列をデコードする try_url_decode 関数が導入されました。 文字列が正しい形式になっていない場合、関数はエラーを発生させるのではなく NULL を返します。
• 必要に応じて、オプティマイザーが強制されていない外部キー制約に依存できるようにします。クエリのパフォーマンスを向上させるために、テーブルをRELYまたは FOREIGN KEY するときに、制約に対して キーワードを指定できるようになりました。
• 選択的上書きの並列化されたジョブの実行:replaceWhereを使用して選択的上書きを行い、データを削除して新しいデータを並列に挿入するジョブを実行し、クエリのパフォーマンスとクラスターの使用率を向上させるようになりました。
• 選択的上書きによる変更データフィードのパフォーマンスが向上しました。 変更データフィードを含むテーブルで replaceWhere を使用して選択的上書きを行う場合、挿入されたデータに対して個別の変更データファイルは書き込まれなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使って、書き込みを増やすことなく変更が記録されます。
• COPY INTO コマンドのクエリ待機時間の向上: このリリースには、COPY INTO コマンドのクエリ待機時間を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、多くの状態を持つクエリ (たとえば、既に取り込まれたファイルの数が多いクエリ) で、開始時間が向上するはずです。
• CHECK 制約テーブル機能の削除のサポート:checkConstraintsを使用して、デルタ テーブルからALTER TABLE table_name DROP FEATURE checkConstraints テーブル機能を削除できるようになりました。 チェック制約の無効化を参照してください。

動作の変更

• ビューのスキーマ バインドの変更: ビューの基になるクエリのデータ型が、ビューの最初の作成時に使用されたものから変更されると、Databricks は、安全なキャストを実行できないときにビューへの参照に関するエラーをスローしなくなります。

  代わりに、可能な場合は通常のキャスト ルールを使用してビューが補正されます。 この変更により、Databricks はテーブル スキーマの変更を許容しやすくなります。

• ブールロジック外の!に対して文書化されていないNOT構文の容認を禁止する:Databricks では、ブールロジックの外部で!のシノニムとしてNOTを使用することは許容されなくなりました。 この変更により、混乱が軽減され、SQL 標準への準拠性が増し、SQL の移植性が高くなります。 例えば次が挙げられます。

  CREATE ... IF ! EXISTS、 IS!NULL、 ! NULL 列またはフィールド のプロパティ、 ! IN および !BETWEEN は次のように置き換える必要があります。

  CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列またはフィールド プロパティ、NOT IN および NOT BETWEEN。

  ブール型プレフィックス演算子! (!is_mgrや!(true AND false)など) は、この変更の影響を受けません。

• ビューで列定義構文の文書化されていない部分と未処理の部分を禁止する: Databricks では、名前付き列と列コメントを含む CREATE VIEW がサポートされています。

  列の型、NOT NULL 制約、DEFAULT の指定は、影響を生じない構文内では許容されてきました。 Databricks はこの構文を許容しなくなります。 これにより、混乱が軽減され、SQL 標準への準拠性が増し、将来の機能強化が可能になります。

• Spark と Photon での Base64 デコードの一貫したエラー処理: このリリースでは、Photon が Base64 デコード エラーを処理して、これらのエラーの Spark 処理と一致させる方法を変更しました。 この変更の前は、Photon と Spark のコード生成パスでは解析例外が生成されないことがあり、Spark では実行が正しく解釈されて IllegalArgumentException または ConversionInvalidInputError が生成されていました。 この更新で、Photon でも Base64 デコード エラーの発生時に Spark と同じ例外が常に生成されるようになり、したがってエラー処理の予測可能性と信頼性が向上します。

• 無効な列にCHECK制約を追加すると、UNRESOLVED_COLUMN.WITH_SUGGESTIONエラー クラスが返されるようになりました。 Databricks Runtime 15.3以降では、無効な列名を参照するALTER TABLE ADD CONSTRAINT制約を含むCHECKステートメントによって、UNRESOLVED_COLUMN.WITH_SUGGESTIONエラー クラスが返されます。 以前は、INTERNAL_ERROR が返されていました。

JDK は JDK 8 から JDK 17 にアップグレードされます

2024 年 8 月 15 日

ノートブックとワークフローのサーバーレス コンピューティングは、サーバー側で Java 開発キット (JDK) 8 から JDK 17 に移行されました。 このアップグレードには、次の動作変更が含まれます。

• 入れ子になった文字グループ化での否定を含む正規表現パターンの正しい解析: このアップグレードにより、Azure Databricks では、入れ子になった文字グループに否定を含む正規表現パターンの正しい解析がサポートされるようになりました。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

  さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

バージョン 15.1

2024 年 7 月 23 日

このサーバーレス コンピューティング リリースは、Databricks Runtime 15.1 にほぼ対応しています

新機能

*句でのスター (WHERE) 構文のサポート: *句のスター (WHERE) 構文を使用して、SELECTリストからすべての列を参照できるようになりました。

たとえば、SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) のようにします。

Changes

JSON 解析のエラー復旧の改善: from_json() と JSON パス式に使用される JSON パーサーが、形式が正しくない構文から高速に復旧され、結果としてデータ損失が少なくなりました。

構造体フィールド、配列値、マップ キー、またはマップ値で形式に誤りがある JSON 構文が検出された場合、JSON パーサーは読み取り不可能なフィールド、キー、または要素に対してのみ NULL を返すようになりました。 後続のフィールド、キー、要素は適切に解析されます。 この変更以前は、JSON パーサーは配列、構造体、またはマップの解析を中止し、残りのコンテンツに対して NULL を返しました。

バージョン 14.3

2024 年 4 月 15 日

これは、最初のサーバーレス コンピューティング バージョンです。 このバージョンは 、Databricks Runtime 14.3 とほぼ同じです。一部の変更により、一部の非サーバーレス機能とレガシ機能のサポートが削除されます。

サポートされている Spark 構成パラメーター

サーバーレス コンピューティングでの Spark の構成を自動化するために、Azure Databricks ではほとんどの Spark 構成を手動で設定するためのサポートが削除されました。 サポートされている Spark 構成パラメーターの一覧を表示するには、「 サーバーレス ノートブックとジョブの Spark プロパティを構成する」を参照してください。

サポートされていない Spark 構成を設定した場合、サーバーレス コンピューティングでのジョブの実行は失敗します。

input_file 関数は非推奨です

input_file_name()、input_file_block_length()、および input_file_block_start() 関数は非推奨となりました。 これらの関数の使用はお勧めできません。

代わりに、 ファイル メタデータ列 を使用してファイル メタデータ情報を取得します。

動作の変更

サーバーレス コンピューティング バージョン 2024.15 には、次の動作の変更が含まれています。

• unhex(hexStr) バグ修正:unhex(hexStr)関数を使用する場合、hexStr は常にバイト全体に埋め込まれます。 以前は、unhex 関数は最初の半バイトを無視しました。 たとえば、unhex('ABC') は、現在は x'0ABC' を x'BC' の代わりに生成します。
• 自動生成された列のエイリアスが安定するようになりました。 式の結果がユーザー指定の列エイリアスなしで参照される場合、この自動生成されたエイリアスは安定しています。 新しいアルゴリズムでは、具体化されたビューなどの機能で使用されていた、以前に自動生成された名前が変更される可能性があります。
• CHAR型フィールドのテーブルスキャンは常にパディングされるようになりました。デルタ テーブル、特定の JDBC テーブル、および外部データソースは、CHAR データをパディングされていない形式で格納します。 読み取り時に、Azure Databricks は、正しいセマンティクスを確保するために、宣言された長さにスペースを含むデータを埋め込みます。
• BIGINT/DECIMAL から TIMESTAMP へのキャストでは、オーバーフローした値に対して例外がスローされます。 Azure Databricks では、値を Unix エポックからの秒数として扱うことで、BIGINT と DECIMAL から TIMESTAMP にキャストできます。 現在では、Azure Databricks はオーバーフローした値を返すのではなく、オーバーフローが発生した場合には例外をスローします。 try_cast は、例外の代わりに NULL を返すために使用します。
• PySpark UDF の実行が、専用コンピューティングでの UDF 実行の正確な動作と一致するように改善されました 。次の変更が行われました。
  • 文字列戻り値の型を持つ UDF は、文字列以外の値を文字列に暗黙的には変換しなくなりました。 以前は、戻り値の型 str が指定された UDF では、戻り値の実際のデータ型に関係なく、str(..) ラッパーが結果に適用されました。
  • 戻り値の型 timestamp を持つ UDF は、タイムゾーン変換をタイムスタンプに暗黙的には適用しなくなりました。