サーバーレス コンピューティングのリリース ノート

この記事では、ノートブックとジョブのサーバーレス コンピューティングで現在および今後使用できる機能と動作について説明します。

サーバーレス コンピューティングの詳細については、「 サーバーレス コンピューティングへの接続」を参照してください。

Azure Databricks は、サーバーレス コンピューティングの更新プログラムを定期的にリリースし、プラットフォームの機能強化とアップグレードをサポートするためにサーバーレス コンピューティング ランタイムを自動的にアップグレードします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。

サーバーレス環境のバージョン

ノートブックとジョブのサーバーレス コンピューティングでは環境バージョンが使用されます。これにより、Spark Connect に基づく安定したクライアント API が提供され、アプリケーションの互換性が確保されます。 これにより、Databricks はサーバーを個別にアップグレードでき、ワークロードにコードを変更することなく、パフォーマンスの向上、セキュリティの強化、バグ修正を実現できます。

各環境バージョンには、特定の Python バージョンと、定義済みのバージョンを持つ一連の Python パッケージが含まれています。 Databricks では、サポートされているすべての環境バージョンにセキュリティ更新プログラムを適用しながら、最新の環境バージョンで新機能と修正プログラムが導入されています。

サーバーレス環境のバージョンリリースノートについては 、環境バージョンを参照してください。

リリース ノート

このセクションには、サーバーレス コンピューティングのリリース ノートが含まれています。 リリース ノートは、年および週ごとに整理されます。 サーバーレス コンピューティングは、常に、ここに記載されている最新リリースバージョンを使用して実行されます。

サーバーレスコンピュートでのDataFrameキャッシュは現在パブリックプレビュー中です

2026年10月23日

サーバーレスコンピュートでのDataFrameキャッシュは現在 パブリックプレビューで提供されています。 サーバーレスコンピュートで df.cache() や df.persist() でDataFrameをキャッシュし、セッションの残りの部分で高価な結果を再利用することができます。 キャッシュには、サーバーレス環境バージョン5以降、Databricks Connect for Python 18.1.8以降、またはDatabricks Connect for Scala 18.1.5以降が必要です。 プレビューはほとんどのワークスペースでデフォルトで有効です。 ワークスペース管理者は Previews ページから無効にできます。 サーバーレス コンピュートで DataFrame をキャッシュするを参照してください。

2026 年 10 月 19 日

2026年10月19日

このサーバーレス計算リリースには Databricks Runtime 19からのアップデートが含まれています。

動作の変更

  • Spark Connectの実行メトリクスは行フィルターやカラムマスクの詳細を隠す:DataFrameの実行メトリクスは、行フィルターやカラムマスクに関連する内部オペレータやメトリクスを隠すようになりました。 これにより、df.executionInfo.metrics を検査する際に表示されるポリシーの実行に関する情報 (そのテキスト表現を含む) が保護されます。 この計画の保護区域の境界線と、その独自の指標は引き続き表示されます。 クエリ結果は変更されていません。 保護されたサブプラン内の詳細な指標に依存するノートブックやツールは更新が必要かもしれません。

2026 年 9 月 21 日

2026 年 9 月 21 日

このサーバーレス計算リリースには Databricks Runtime 19からのアップデートが含まれています。

新機能

  • truncate 関数: truncate 関数は、丸めずに指定されたスケールに数を切り詰めます。

  • trim_array 関数: trim_array 関数は配列の末尾から指定された要素数を除去します。

2026 年 8 月 31 日

2026年8月31日

このサーバーレス計算リリースには Databricks Runtime 19からのアップデートが含まれています。

新機能

  • 自動変更データフィードの一般提供を開始: 自動変更データフィード (Auto CDF) は、クエリ時に行レベルの変更を計算します。 バッチクエリ、構造化ストリーミング、デルタシェアリングに対応し、行トラッキングが必要です。 自動変更データ フィードを参照してください。

  • parse_sql 関数: parse_sql 関数はSQL文を解析し、文のメタデータ、テーブル参照、選択リスト式、パーサエラー情報を含む構造化JSONを返します。

動作の変更

  • from_protobuf スキーマ剪定が有効化されると、未選択フィールドの歪みをスキップします:protobufスキーマ剪定が有効になると、クエリが選択しないフィールドを from_protobuf 復号や検証を行わなくなります。 不正な未選択フィールドが原因で、PERMISSIVE モードで行が null になったり、FAILFAST モードでクエリが失敗したりすることはなくなりました。

  • JDBCプッシュダウンはヌルリテラルを正しく処理します:Data Source v2のJDBCプッシュダウンは、文字列'null'の代わりにSQL NULLリテラルを出力します。 NULLIFのような式をグループ化するクエリは、別の 'null' 文字列群ではなくヌル群を生成するようになります。

  • HTTPおよびAI関数はリダイレクトを追わずなりました: http_request およびAI関数はHTTPの3xxリダイレクトを追いかけません。 リダイレクトを受けた通話は、リダイレクトの状態に関してリモートHTTP失敗を返します。 ファイルソースコネクタのダウンロードには影響がありません。

2026 年 8 月 24 日

2026年8月24日

このサーバーレス計算リリースには Databricks Runtime 19からのアップデートが含まれています。

新機能

  • collect_union 集計関数: collect_union 集計関数は、各グループ内の配列内の要素の異なる和集合を返します。

動作の変更

  • HAVING は生成元付きクエリでウィンドウ関数の前に評価されます: explodeのように生成元を含むクエリでは、ウィンドウ関数は HAVING フィルターの後に評価されます。 したがって、ウィンドウの結果には HAVINGが保持した行のみが含まれます。

  • ポリシーロジックはクエリプランではデフォルトで隠されています。ユーザーが INSPECT_POLICY_EXECUTION メタストア権限を持っていない限り、クエリプランは行フィルターやカラムマスクポリシーロジックを公開しません。

  • Delta API DMLはポリシー定義権限を使用しています。 DeltaTable.delete、 DeltaTable.update、 DeltaTable.merge は、行フィルターや列マスクポリシー関数をポリシー定義者の権限で解決し、SQL DMLに対応しています。 必要なテーブル権限がある場合、呼び出し元はそれらのポリシー関数で EXECUTE する必要はなくなりました。

2026 年 8 月 17 日

2026年8月17日

このサーバーレス計算リリースには Databricks Runtime 19からのアップデートが含まれています。

新機能

  • is_valid_variant関数 :is_valid_variant関数は、入力が適切な形式のtrue値であればVARIANTを返し、そうでなければfalseを返します。 下流処理の前にバリアントデータの検証に使うことができます。

  • Sparkのpandas APIにおけるDataFrameGroupBy.covとSeriesGroupBy.describe:Sparkのpandas APIは現在、各グループ内の列のペアワイズ共分散を計算するDataFrameGroupBy.covと、各グループの記述統計を生成するSeriesGroupBy.describeをサポートしています。

  • createDataFrameでのpa.ChunkedArrayサポート :createDataFrame()現在はPyArrowのChunkedArray列でpandasのDataFrameを扱い、Arrowでバックアップされたpandasデータを使用した場合の型の誤りを防ぎます。

サーバーレス計算上のJARタスクは現在、一般に利用可能となっています

2026年8月6日

ScalaやJavaコードをJARとしてパッケージ化し、サーバーレスコンピュートのLakeflowジョブのタスクとして実行します。 あなたのJARは、サーバーレス環境のScala、Java開発キット(JDK)、Databricks Connectのバージョンと一致しなければなりません。 サーバー レス計算でJARを作成・実行する機能をご覧ください。

サーバーレスのコンピュートアクセス制御が一般に利用可能になりました

2026年8月3日

サーバーレスのコンピュートアクセス制御は現在、一般に利用可能となっています。 ワークスペース管理者は、サーバーレスワークロードの実行を、2つの組み込みサーバーレス計算オブジェクト、すなわちDefault Interactive Compute(ノートブックやDatabricks Connectへのアクセスを管理)とDefault Automated Compute(Lakeflow上のジョブおよびSpark Declarative Pipelinesへのアクセスを管理)を通じて管理できます。 すべてのワークスペースユーザーはデフォルトで両方のオブジェクトで 「Can Use 」を持っているため、既存のワークロードは変更なしで動作を続けます。

「 サーバーレス計算管理」を参照してください。

2026 年 7 月 6 日

2026年7月6日

このサーバーレス コンピューティング リリースには、 Databricks Runtime 18 の更新プログラムが含まれています。

新機能

  • Lakeflow のストリーミングクエリ ID における Spark Declarative Pipelines: Lakeflow の Spark Declarative Pipelines で、ストリーミングクエリ ID をオンデマンドで設定できるようになりました。

  • IPアドレス関数(パブリックプレビュー):IPv4およびIPv6アドレスおよびCIDRブロックに対応するための新しいSQL関数が利用可能で、 ip_host、 ip_cidr、 ip_version、 ip_prefix_length、 ip_network、 ip_network_last、 ip_cidr_contains、 ip_as_binary、 ip_as_string、 try_* のバリエーションなどが含まれ、nullセーフな挙動に対応しています。 ip_hostおよび関連する関数を参照してください。

  • オンデマンド状態再分割(パブリックプレビュー):Structured Streamingは、チェックポイント状態を失わずにステートフルクエリのシャッフルパーティション数を変更することをサポートしています。 ステートフル ストリーミング クエリについては、オンデマンド状態の再パーティション分割に関する説明を参照してください。

動作の変更

  • CREATE OR REPLACE TABLE コメントを保持: CREATE OR REPLACE TABLE は既存の列およびテーブルのコメントをデフォルトで保持します。 以前は、テーブルを再作成するときにコメントが削除されていました。 マネージド テーブルとビューは、具体化されたビューとストリーミング テーブルの既存の動作と一致するようになりました。

  • DataFrameの名前ベースの書き込みでは互換性のある列がキャストされる: writeTo().append()、writeTo().overwrite()、writeTo().overwritePartitions()、および write.mode("append").saveAsTable() は、ターゲットのDeltaテーブルスキーマに合わせて、型互換性のある列(例: int から long)を自動的にキャストします。 以前は、列の種類に互換性があるが同じでない場合、これらの操作は DELTA_FAILED_TO_MERGE_FIELDS エラーで失敗していました。 動作が SQL INSERT INTO ... BY NAMEと一致するようになりました。

  • pipelines.pipelineId の ALTER TABLE SET TBLPROPERTIES: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') は、指定されたテーブルをパイプラインによる書き込みの対象にしようとします。 以前は、通常のテーブルにこのプロパティを設定しても効果はありませんでした。 テーブルがパイプライン書き込みの対象外の場合、このコマンドは SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED をスローします。

  • DESCRIBE EXTENDED AS JSON に予測最適化の結果が含まれる: DESCRIBE EXTENDED ... AS JSON は、その出力に予測最適化の評価結果を含むようになりました。 以前は、この情報は JSON 出力では返されませんでした。

  • メトリックビューウィンドウの測定は正しい結果を返します:メトリックビューウィンドウの測定は、ウィンドウの順序列で GROUP BY、 IN/BETWEEN フィルター、または混合述語を用いるクエリで正しい結果を返します。 以前は、これらのフィルター パターンによって正しくない結果が生成される可能性があります。

  • NaNキーを用いた構造化ストリーミング重複除去:構造化ストリーミング重複除去は、異なるビットパターンを持つNaN(非番号)の値を重複として扱います。doubleまたはfloat列が重複キーとして使われた場合です。 以前は、内部表現が異なる NaN 値は個別として扱われ、重複除去されませんでした。

  • NATURAL JOIN 大文字と小文字を区別しない列マッチング: NATURAL JOIN は共通列を大文字と小文字を区別せずに照合し、同等の USING 結合と整合します。 以前は、列の照合は大文字と小文字を区別していたため、大文字と小文字のみが異なる列 (たとえば、ID と id) は共通の列として認識されず、期待される等値結合ではなく、サイレント クロス結合が行われていました。

バージョン 18.2

2026年5月13日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 18.2 とほぼ同じです。

新機能

  • CREATE OR REPLACE一時テーブルをサポート: CREATE OR REPLACE TEMP TABLE構文がサポートされ、1つのステートメントで一時テーブルを作成または置換できるようになりました。 これにより、一時テーブルを明示的に削除して再作成する必要がなくなります。

  • measure() は agg() 関数の別名: agg() は現在、measure() 関数の別名として利用可能です。 この変更は完全に下位互換性を備えています。 measure()を使用する既存のクエリは変更せずに引き続き動作し、agg()は同じ引数で使用すると同じ結果を生成します。

  • Snowflake JDBCドライバーのアップグレード:Snowflake JDBCドライバーは3.22.0から3.28.0にアップグレードされました。

  • pyspark.pipelines.testing ネームスペースエイリアス: pyspark.pipelines.testing は現在、 dlt.testing APIの利便性エイリアスとして利用可能です。 いずれかの名前空間を使用して、Spark 宣言パイプラインを Lakeflow パイプライン テスト ユーティリティにインポートします。

  • デルタテーブル履歴には書き込みオプションフラグが含まれています:デルタテーブル履歴(DESCRIBE HISTORY)には、WRITEおよびREPLACE TABLE操作のための書き込みオプションフラグがoperationParameters列に含まれています。 次のオプションを明示的に有効にすると、履歴にブール型フラグとして表示されます ( trueの場合にのみ含まれます)。

    WRITE操作とREPLACE TABLE操作の場合:

    • isDynamicPartitionOverwrite: 動的パーティション上書きモードが使用された場合に存在します
    • canOverwriteSchema: スキーマの上書き (overwriteSchema) が有効な場合に存在します
    • canMergeSchema: スキーマのマージ (mergeSchema) が有効な場合に存在します

    REPLACE TABLE操作の場合:

    • predicate: replaceWhere が使用されたときの存在
    • isV1WriterSaveAsTableOverwrite: .saveAsTable 上書きによって置換がトリガーされたときに存在します
  • データを選択的にreplaceOnおよび replaceUsing DataFrame APIに置き換える:ScalaおよびPython DataFrame APIのreplaceOnおよびreplaceUsingオプションが現在一般に利用可能になりました。 これらのオプションを使用して、テーブルの一部を DataFrame の結果に置き換えます。 replaceOn ユーザー定義条件に合致する行を置き換えます。 replaceUsing 指定された列が等しい行を置き換えます。 これらの API は、 INSERT REPLACE ON および INSERT REPLACE USING SQL ステートメントを補完します。 Delta Lake を使用してデータを選択的に上書きするを参照してください。

動作の変更

  • INSERT、MERGE、およびスキーマ進化を伴うストリーミング書き込みにおけるNULL構造体の保持: 、INSERT、およびMERGEを使用するストリーミング書き込みでは、ソース内のNULL構造体はターゲットでNULLとして格納されるようになりました。 以前は、すべてのフィールドが NULL に設定された null 以外の構造体として、その値が誤って具体化されていましたが、スキーマの進化を伴わない同じ操作では NULL 構造体が正しく保持されていました。 フィールドがすべて NULL である null 以外の構造体を受け取るためにコードが依存している場合は、代わりに NULL 構造体を処理するようにコードを更新してください。

  • LEFT OUTER JOIN LATERAL によって行が欠落する問題の修正: LEFT OUTER JOIN LATERALクエリの行が誤って欠落していたバグが修正されました。 このコンストラクトを使用するクエリは、正しい結果を返すようになりました。 一時的に前の動作に戻すには、 spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic を true に設定します。

  • NATURAL JOINは大文字と小文字を区別しない列マッチングに対応しています。NATURAL JOINspark.sql.caseSensitiveがfalse(デフォルト)に設定されている場合、正しく大文字と小文字を区別しない列マッチングを使用するようになりました。 以前 NATURAL JOIN は大文字と小文字を区別する比較を使用して共通の列を識別しており、大文字と小文字が異なる列 (たとえば、ID 対 id) は一致しませんでした。 これにより、 NATURAL JOIN は自動的にクロス結合の結果を生成します。 この修正により、NATURAL JOIN の動作は、すでに大文字・小文字を区別せずに正しく処理していた USING 結合と同じ動作になります。 このバグの影響を受けるクエリは、正しく結合された列で正しい結果を返すようになりました。

  • Unity CatalogにおけるSQL UDF依存性検証:Unity Catalogはアクセス制御のバイパスを防ぐため、SQLユーザー定義関数(UDF)に対して依存関係検証を強制します。 以前は、REST API を使用して作成された SQL 関数は、ユーザーがアクセスできなかった依存関係を参照できました。 無効な依存関係構成を持つ SQL UDF の実行がブロックされるようになりました。

  • AWS SDK v1の依存関係はシェーディングされています:Azure DatabricksランタイムにバンドルされているAWS SDK v1の依存関係はシェーディングされており、クラスパス上で直接利用できなくなります。 コードが、Azure Databricks ランタイムによって以前に提供された AWS SDK v1 ライブラリに依存している場合は、プロジェクトに明示的な依存関係として追加します。 この変更により、AWS SDK v2 への移行の準備が整います。これは、SDK v1 の AWS サポートが終了した後です。

  • ESRI定義のSRID 102100に対する誤ったEPSG authorityを修正: SRID 102100の座標参照系(CRS)マッピングでは、誤ったESRI:102100ではなく、正しくEPSG:102100を使用するようになりました。 この修正により、他のシステムとの相互運用性を向上するために、地理空間データが適切な機関と共に格納されます。

バージョン 18.1

2026年4月20日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 18.1 とほぼ同じです。

新機能

  • Microsoft Azure SynapseのDATETIMEOFFSETデータ型サポート: Microsoft Azure Synapse接続ではDATETIMEOFFSET データ型はサポートされています。

  • Google BigQueryテーブルのコメント:Google BigQueryのテーブルの説明は解決され、テーブルコメントとして公開されます。

  • JDBC接続: JDBC接続を使用して、Spark Data Source APIまたはDatabricks Remote Query SQL APIでデータソースの読み取りと書き込みを行います。

  • INSERT文を用いたスキーマ進化:SQL INSERT文でWITH SCHEMA EVOLUTION節を用いて、挿入操作中にターゲットテーブルのスキーマを自動的に進化させます。 この句は、 INSERT INTO、 INSERT OVERWRITE、および INSERT INTO ... REPLACE フォームでサポートされています。 スキーマの進化を参照してください。

  • INSERT操作でNULL構造体値を保持する: スキーマ進化や暗黙的キャストを伴うINSERT操作では、ソーステーブルとターゲットテーブルの構造体フィールド順序が異なる場合、NULL NULL構造体値を保持します。

  • Delta Sharingのマルチステートメントトランザクションサポート:事前署名URLまたはクラウドトークン共有モードを使用するDelta Sharingテーブルは、マルチステートメントトランザクションをサポートします。 トランザクション内で最初にアクセスすると、テーブルのバージョンが固定され、そのトランザクション内の後続のすべての読み取りに再利用されます。 タイム トラベル、変更データ フィード、ストリーミングはサポートされていません。

  • parse_timestamp SQL関数: parse_timestamp SQL関数は複数のパターンを使ってタイムスタンプ文字列を解析します。 この関数は、パフォーマンスを向上させるために Photon エンジンで実行されます。

  • max_byおよびオプションの制限付きmin_by:集約関数max_byとmin_byはオプションで3つ目の引数limit(最大100,000)を受け入れ、ウィンドウ関数やCTEなしの上位または下位Kの値の配列を返します。

  • ベクトル集約関数およびスカラー関数: 新しい SQL 関数は、埋め込みおよび類似性のワークロード向けに ベクトルに対して動作し、vector_avg、vector_sum、vector_cosine_similarity、vector_inner_product、vector_l2_distance、vector_norm、ARRAY<FLOAT> が含まれます。 組み込み関数を参照してください。

  • 複合文におけるSQLカーソルサポート: SQLスクリプトの 複合文でカーソル処理がサポートされるようになりました。 DECLARE CURSOR を使用してカーソルを定義し、次に OPEN ステートメント、FETCH ステートメント、CLOSE ステートメントを使用してクエリを実行し、一度に 1 行ずつ使用します。

  • 近似トップKスケッチ関数: 新しい関数により、分散型トップK集約のための近似トップKスケッチ(approx_top_k_accumulate、approx_top_k_combine、approx_top_k_estimate)を構築・結合・推定できます。 集計関数approx_top_k参照してください。

  • タプルスケッチ関数: タプルスケッチ用の新しい集約関数およびスカラー関数は、キーとサマリーのペアに対する重複排除カウントと集計をサポートします。 組み込み関数を参照してください。

  • 新しい地理空間関数:以下の地理空間関数が利用可能になりました:

    • st_estimatesrid 関数: 入力ジオメトリに最適な投影空間参照識別子 (SRID) を推定します。
    • st_force2d 関数: 地理またはジオメトリを 2D 表現に変換します。
    • st_nrings 関数: 外部リングと内部リングの両方を含む、多角形またはマルチポリゴンのリングの合計数をカウントします。
    • st_numpoints 関数: 地理またはジオメトリ内の空でないポイントの数をカウントします。
  • フォトンによる地理空間関数のサポート: st_difference 関数、 st_intersection 関数、 st_union 関数 がフォトンエンジン上で動作し、より高速なパフォーマンスを実現しました。

動作の変更

  • 観測メトリクス エラーではクエリは失敗しなくなりました: 観測メトリクスの収集中に発生したエラーは、クエリ実行が失敗する原因にならなくなりました。 以前は、 OBSERVE 句のエラー (ゼロによる除算など) は、クエリ全体をブロックまたは失敗する可能性があります。 これでクエリが正常に完了し、 observation.getを呼び出すとエラーが発生します。

  • DESCRIBE FLOW reserved キーワード: DESCRIBE FLOW コマンドが利用可能になりました。 flowという名前のテーブルがある場合は、バックティックでDESCRIBE schema.flow、DESCRIBE TABLE flow、またはDESCRIBE `flow` を使用します。

  • SpatialSQLのブール集合演算: ST_Difference、 ST_Intersection、 ST_Union は、約2倍の性能を持つ新しい実装を使用しています。 有効な入力ジオメトリは常に結果を生成します。 結果は一貫した出力のために正規化され、数式や演算の順序が異なるため、行セグメントの交差の小数点以下 15 桁目以降は異なる場合があります。

  • SQLSTATE用の例外タイプ: 例外タイプ はSQLSTATEをサポートするように更新されています。 コードが文字列一致によって例外を解析する場合、または特定の例外の種類をキャッチする場合は、エラー処理ロジックを更新します。

バージョン 18.0

2026年2月27日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 18.0 とほぼ同じです。

新機能

  • SQLスクリプトが一般公開されました: SQLスクリプトが 一般公開されました。

  • Redshift JDBC ドライバーが 2.1.0.28 にアップグレードされました: Redshift JDBC ドライバーがバージョン 2.1.0.28 にアップグレードされました。

  • Unity Catalog Python UDFの共有分離実行環境:同じ所有者のUnity Catalog Python UDFはデフォルトで分離環境を共有でき、パフォーマンス向上とメモリ使用削減が可能です。 UDF が常に完全に分離された環境で実行されるようにするには、 STRICT ISOLATION 特性句を追加します。 「環境の分離」を参照してください。

  • メトリックビューでのSQLウィンドウ関数:現在はメトリックビューで SQLウィンドウ関数 を使って、ランニング合計、ランキング、その他のウィンドウベースの計算を計算できます。

  • ステートレスストリーミングクエリにおける動的シャッフルパーティション調整:ステ ートレスストリーミングクエリ のシャッフルパーティション数をクエリを再起動せずに変更できるようになりました。

  • ステートレスストリーミングクエリにおける適応型クエリ実行と自動最適化シャッフル: 適応型クエリ実行(AQE)と自動最適化シャッフル(AOS)がステートレスストリーミングクエリでサポートされています。

  • あらゆる場所での文字列リテラルの結合: 'Hello' ' World'のような連続した文字列リテラルを'Hello World'にまとめる機能は、文字列リテラルが使用できるあらゆる場所に拡張されました。 「 STRING 型」を参照してください。

  • パラメータマーカーはあらゆる場所にあります:名前付き(:param)および名前なし(?)パラメータマーカーを、適切な型のリテラル値を使用できるほぼどこでも使用可能になりました。DDL文や列型も含まれます。 「パラメーター マーカー」を参照してください。

  • IDENTIFIER 節はどこでも使える:SQLオブジェクト名に文字列をキャストする IDENTIFIER 節は、識別子が許可されるほぼすべての箇所に拡張されており、列のエイリアスや列定義も含まれます。 IDENTIFIER の条項を参照してください。

  • 新しい BITMAP_AND_AGG 関数:新しい bitmap_and_agg 集約関数 関数が利用可能になりました。

  • 新しいシータスケッチ関数:Datasketches Theta Sketchを用いて、異なる数と集合演算を近似する新しい関数ライブラリが利用可能になりました。これには theta_sketch_agg、 theta_union_agg、 theta_intersection_aggおよび関連関数が含まれます。

  • 新しいKLLスケッチ関数ライブラリ:近似分位数計算用のKLLスケッチを構築するための新しい関数ライブラリが利用可能で、 kll_sketch_agg_bigint関数、 kll_sketch_agg_double関数、関連関数が含まれます。

  • Apache Parquetライブラリを1.16.0にアップグレード: Apache Parquetライブラリはバージョン1.16.0にアップグレードされました。

  • 新しい地理空間関数:以下の新しい地理空間関数が現在サポートされています:

    • st_azimuth 機能: 最初の点から2番目の点への、北基準の方位角をラジアン単位で返します。
    • st_boundary 関数: 入力ジオメトリの境界を返します。
    • st_closestpoint 関数: 2番目のジオメトリに最も近い、1番目のジオメトリ上の点の2D投影を返します。
    • st_geogfromewkt 関数: 地理の拡張型 Well-Known テキスト (EWKT) の説明を解析します。
    • st_geomfromewkt 関数: 配列の拡張型 Well-Known テキスト (EWKT) の説明を解析します。
  • 空間結合性能の向上:空間結合性能はシャッフルされた空間結合サポートを導入することで改善されました。

  • 地理空間関数の性能向上:フォトン実装は st_isvalid 関数、 st_makeline 関数、 st_makepolygon 関数で利用可能になりました。

  • EWKT入力サポート: try_to_geography、 try_to_geometry、 to_geography、 to_geometry 関数は拡張 Well-Known Text (EWKT)を入力として受け入れています。

動作の変更

  • FSCK REPAIR TABLE デフォルトでメタデータ修復が含まれています: FSCK REPAIR TABLE コマンドには、データファイルの欠落を確認する前の初期メタデータ修復ステップが含まれています。 このコマンドは、破損したチェックポイントまたは無効なパーティション値を持つテーブルで動作する可能性があります。

  • 読み取りと自動最適化書き込みの間で整合された比例係数: 分割サイズの比例係数は、読み取り操作と自動最適化書き込み全体で一貫して小数値を使用するようになりました。 この変更により、読み取り操作のタスクの数が異なる場合があります。

  • Python UDF実行がPySparkとUnity Catalogで統一:Unity Catalog Python UDFは現在、Apache Arrowをデフォルトの交換形式として使用し、全体的な性能を向上させています。 この変更の一環として、Python UDF に渡されるTIMESTAMP値には、datetimeオブジェクトのtzinfo属性にタイムゾーン情報が含まれなくなりました。 UDF がタイムゾーン情報に依存している場合は、 date = date.replace(tzinfo=timezone.utc)を使用して復元します。 行単位の入力におけるタイムスタンプのタイムゾーンの動作を参照してください。

  • Kafkaコネクターのログインモジュール問題に対する改善されたエラーメッセージ:シェーディングされていないログインモジュールクラスでKafkaコネクタを使用する場合、Azure Databricksは正しいシェーデッドクラスプレフィックス(kafkashaded.org.apache.kafkaまたはkafkashaded.software.amazon.msk.auth.iam)の使用を推奨するエラーメッセージを表示します。

  • タイムトラベルの制限とVACUUM保持の挙動:Azure DatabricksはすべてのテーブルでdeletedFileRetentionDuration閾値を超えるタイムトラベルクエリをブロックします。 VACUUM コマンドは、値が 0 時間の場合を除き、保持期間の引数を無視します。 deletedFileRetentionDurationより大きいlogRetentionDurationまたはその逆を設定することはできません。

  • BinaryTypePySparkではデフォルトでbytesにマッピング されます:PySparkでは、BinaryTypeが一貫してPython bytesにマッピングされます。 以前は、PySpark はコンテキストに応じて BinaryType を bytes または bytearray にマップしました。 古い動作を復元するには、 spark.sql.execution.pyspark.binaryAsBytes を false に設定します。

  • Parquetファイルにパーティション列が実体化:パーティション化されたDeltaテーブルは、新たに書かれたParquetデータファイルにパーティション列を具現化します。 以前は、パーティション値は Delta トランザクション ログ メタデータに格納され、ディレクトリ パスに反映されていましたが、Parquet ファイル自体には列として書き込まれていませんでした。 この変更は、Delta によって書き込まれた Parquet ファイルを直接読み取るワークロードに影響する可能性があります。

  • DESCRIBE TABLE 出力にはメタデータ列が含まれます: DESCRIBE TABLE [EXTENDED] の出力には、すべてのテーブルタイプに対して新しい metadata 列が含まれ、テーブル上で定義された意味的メタデータ(表示名、フォーマット、同義語)をJSON文字列として表に含んでいます。

サーバーレス環境バージョン 5 が利用可能になりました

2026年2月25日

サーバーレスのノートブックとジョブでサーバーレス環境バージョン 5 を使用できるようになりました。 これには、CPU 環境と GPU 環境の両方のバージョンが含まれます。 環境 バージョン5を参照してください。

バージョン17.3

2025 年 10 月 28 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.3 LTS にほぼ対応しています。

新機能

  • LIMIT 再帰 CTE での ALL のサポート: 再帰共通テーブル式 (rCTE) で LIMIT ALL 句を使用して、クエリ結果に行制限を適用しないことを明示的に指定できるようになりました。 共通テーブル式 (CTE) を参照してください。

  • Unity Catalogボリュームのファイルに追加すると正しいエラーが返されます:Unity Catalogボリュームの既存ファイルに追加を試みると、問題の理解と解決に役立つより説明的なエラーメッセージが表示されます。

  • st_dump 関数のサポート:st_dump関数を使ってジオメトリオブジェクトを構成要素に分解でき、より単純なジオメトリの集合を返すことができます。 st_dump 関数を参照してください。

  • ポリゴン内部リング関数がサポートされました:ポリゴン内部リングの操作には以下の関数が使えます:

    • st_numinteriorrings: 多角形の内部境界 (リング) の数を取得します。 st_numinteriorrings 関数を参照してください。
    • st_interiorringn: 多角形の n 番目の内側の境界を抽出し、それをライン文字列として返します。 st_interiorringn 関数を参照してください。
  • 定数式の使用EXECUTE IMMEDIATE:EXECUTE IMMEDIATE文はクエリ文字列に定数式を使用することをサポートし、より柔軟な動的SQL実行を可能にします。 「EXECUTE IMMEDIATE」を参照してください。

  • サーバーレス コンピュートで spark.sql.files.maxPartitionBytes を許可: ファイルの読み取り時に 1 つのパーティションに詰め込む最大バイト数を制御するために、spark.sql.files.maxPartitionBytes Spark 構成パラメーターをサーバーレス コンピュートで設定できるようになりました。 サーバーレス ノートブックとジョブの Spark プロパティの構成を参照してください。

動作の変更

  • DESCRIBE EXTENDED AS JSON でのMV/ST更新情報のサポート: DESCRIBE EXTENDED AS JSON コマンドには、マテリアライズされたビューやストリーミングテーブルの更新情報が含まれ、直近の更新時間と状態を把握できます。

  • DESCRIBE QUERYおよびDESCRIBE TABLEにメタデータ列を追加する:DESCRIBE QUERYおよびDESCRIBE TABLEコマンドには、出力にメタデータ列が含まれ、各列のプロパティや特性に関する追加情報が提供されるようになりました。

  • NullType列をドロップする際のnull構造体の正しい取り扱い: Azure Databricks では、NullType を含む列をドロップする際に null 構造体の値を正しく処理し、データの破損や予期せぬ挙動を防ぎます。

  • Parquetにおけるnull構造体の取り扱いの改善:このリリースでは、Parquetファイルへの読み書き時のnull構造体の値の扱い方が改善され、より一貫性があり正しい動作が保証されています。

  • Kafka用aws-msk-iam-authライブラリをアップグレードしてください:Amazon MSK IAM認証に使用された aws-msk-iam-auth ライブラリは最新バージョンにアップグレードされ、セキュリティと互換性が向上しています。

バージョン 17.2

2025年9月25日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.2 とほぼ同じです。

新機能

  • ST_ExteriorRing 関数がサポートされました: ST_ExteriorRing 関数を使ってポリゴンの外縁を抽出し、それを線文字列として返すことができます。 st_exteriorring 関数を参照してください。
  • メトリックビュー作成のための TEMPORARY キーワードのサポート:メトリックビューを作成する際に TEMPORARY キーワードを使えるようになりました。 一時メトリック ビューは、それらを作成したセッションでのみ表示され、セッションの終了時に削除されます。 「CREATE VIEW」を参照してください。

  • S3のLokiFileSystem.getFileStatusにはネイティブI/Oを使う:LokiFileSystem.getFileStatus現在はAmazon S3トラフィックにネイティブI/Oスタックを使用し、shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatusの代わりにorg.apache.hadoop.fs.FileStatusオブジェクトを返します。

  • オートローダーは singleVariantColumn モードでパーティション列を推定します:オートローダーは、 singleVariantColumn オプションを使って半構造化バリアントタイプとしてデータを取り込む際に、ファイルパスからパーティション列を推定します。 以前は、パーティション列は自動的に検出されませんでした。 自動ローダーを参照してください。

動作の変更

  • DESCRIBE CONNECTIONJDBC接続の環境設定を示しています 。Azure Databricks現在、カスタムドライバーをサポートし孤立して動作するJDBC接続のユーザー定義環境設定をDESCRIBE CONNECTION出力に含んでいます。 その他の接続の種類は変更されません。

  • 管理テーブルの移行時にUniform履歴を切り落とすオプション: Uniform/Icebergが有効なテーブルを移行する際に、ALTER TABLE...SET MANAGEDを使ってUniform履歴を切り捨てることができるようになりました。 これにより、Uniform を手動で無効にして再度有効にする場合と比較して、移行が簡略化され、ダウンタイムが短縮されます。

  • 空の正則表現と正の制限を持つsplitの正しい結果:Azure Databricks空の正則表現と正の制限でsplit functionを用いると正しい結果を返します。 以前は、関数は最後の要素に含めるのではなく、残りの文字列を誤って切り捨てていました。

  • Photonのurl_decodeとtry_url_decodeのエラー処理を修正: Photonでは、try_url_decode()を使用したfailOnError = falseとNULLは、無効なURLエンコード文字列に対して、クエリを失敗させる代わりにurl_decode()を返すようになりました。

  • Unity Catalog Python UDTFsの共有実行環境:Azure Databricksは現在、同じ所有者とSparkセッションからPythonユーザー定義テーブル関数(UDTF)の実行環境を共有しています。 オプションの STRICT ISOLATION 句を使用して、環境変数の変更や任意のコードの実行など、副作用のある UDF の共有を無効にすることができます。

バージョン 17.1

2025年8月19日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.1 とほぼ同じです。

新機能

  • Photon writerにおけるワイドスキーマのメモリ使用削減:Photonエンジンには拡張スキーマのメモリ使用を大幅に削減する改良が施され、以前メモリ不足エラーが発生していた状況を解決しました。

動作の変更

  • 無効なCHECK制約でエラーがスローされる: Azure Databricks は、制約の検証中に AnalysisException 制約式を解決できない場合、CHECK をスローするようになりました。

  • Pulsar コネクタは Bouncy Castle を公開しなくなりました: クラスパスの競合を防ぐために、Bouncy Castle ライブラリは Pulsar コネクタ内でシェーディングされています。 その結果、Spark ジョブはコネクタから org.bouncycastle.* クラスにアクセスできなくなります。 コードがバウンス城に依存している場合は、サーバーレス環境にライブラリを手動でインストールします。

  • オートローダーは、可能であればデフォルトでファイルイベントを使用します: オートローダーは、ロードパスがファイルイベントが有効な外部ロケーションである場合、ディレクトリリストの代わりにファイルイベントを使用します。 useManagedFileEventsの既定値はif_availableになりました (falseされました)。 これにより、インジェストのパフォーマンスが向上し、ファイル イベントがまだ有効になっていない場合は警告がログに記録されます。

  • Teradata コネクタが大文字と小文字が区別される文字列の比較を修正する: Teradata コネクタは既定で TMODE=ANSI になり、大文字と小文字が区別され、文字列比較の動作が Azure Databricks と一致するようになりました。 この変更は構成可能であり、オプトインしない限り、既存のユーザーには影響しません。

サーバーレス環境バージョン 4

2025年8月13日

環境バージョン 4 は、サーバーレス のノートブックとジョブで使用できるようになりました。 この環境バージョンには、ライブラリのアップグレードと API の更新が含まれています。 環境 バージョン4を参照してください。

バージョン 17.0

2025 年 7 月 24 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 17.0 とほぼ同じです。

新機能

  • SQLプロシージャサポート:SQLスクリプトは、Unity Catalogの再利用可能な資産としてプロシージャにカプセル化できるようになりました。 CREATE PROCEDURE コマンドを使用してプロシージャを作成し、CALL コマンドを使用してプロシージャを呼び出すことができます。

  • SQL関数のデフォルトコレーションを設定する: DEFAULT COLLATIONコマンドの新しいCREATE FUNCTION節を使うことで、関数本体のSTRINGパラメータ、戻りタイプ、STRINGリテラルに使うデフォルトのコレーションを定義します。

  • 再帰的共通テーブル式(rCTE)サポート:Azure Databricksは再帰的共通テーブル式(rCTE)を用いた階層的データのナビゲーションをサポートしています。 再帰リレーションシップに従うには、 UNION ALL で自己参照型 CTE を使用します。

  • PySparkとSpark ConnectはDataFrames df.mergeInto APIをサポートしています: PySparkとSpark Connectはdf.mergeInto APIをサポートしています。

  • ALL CATALOGS SCHEMAS での SHOW のサポート: SHOW SCHEMAS構文がALL CATALOGSを受け入れるように更新され、名前空間をサポートするすべてのアクティブなカタログを順次操作できます。 出力属性には、対応する名前空間のカタログを示す catalog 列が含まれるようになりました。

  • Liquid クラスタリングにより、削除ベクトルの圧縮がより効率的になりました: Liquid クラスタリングを採用したDelta テーブルでは、OPTIMIZE の実行中に削除ベクトルからの物理的な変更をより効率的に適用できるようになりました。 詳細については、「 Parquet データ ファイルに変更を適用する」を参照してください。

  • MERGE 操作における UPDATE/INSERT 列値での非決定性式の許可: Azure Databricks で、MERGE 操作の更新および挿入される列値に非決定性式を使用できるようになりました。 たとえば、 rand()などの式を使用して、列の動的またはランダムな値を生成できるようになりました。

  • Delta MERGE Python APIをUnitではなくDataFrameを返すように変更:Python MERGEAPI(DeltaMergeBuilderなど)もSQL APIと同様にDataFrameを返しますが、結果は同じです。

動作の変更

  • Auto Loaderの増分ディレクトリリストオプションの動作変更:廃止されたAuto Loaderの cloudFiles.useIncrementalListing オプションの値は、デフォルト値として falseに設定されました。 その結果、この変更により、自動ローダーが実行されるたびに完全なディレクトリ一覧が実行されます。 Databricks では、このオプションを使用しないことをお勧めします。 代わりに、 ファイル イベントでファイル通知モードを使用します。

  • CREATE VIEW 列レベルの句は、マテリアライズドビュー にのみ適用可能な句が指定された場合は、エラーが返されるようになりました。具体的には、MATERIALIZED VIEW でのみ有効な列レベル句を指定したCREATE VIEW コマンドはエラーとなります。 影響を受ける句には、 NOT NULL、指定されたデータ型、 DEFAULT、および COLUMN MASKが含まれます。

サーバーレス パフォーマンスのターゲットが GA である

2025 年 6 月 10 日

ジョブとパイプラインのサーバーレス パフォーマンス設定の選択が一般公開されました。

パフォーマンス最適化設定が有効になっている場合、ワークロードは起動時間と実行時間を短縮するために最適化されます。 無効にすると、サーバーレス ワークロードは Standard パフォーマンス モードで実行されます。これはコストに合わせて最適化されており、起動待ち時間が若干長くなります。

詳細については、「パフォーマンス モードの選択」および「パフォーマンス モードの選択」を参照してください。

バージョン 16.4

2025 年 5 月 28 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.4 LTS にほぼ対応しています。

動作の変更

  • データソースのキャッシュ済みプランのオプションを尊重するための修正: このアップデートでは、テーブル読み取りで、キャッシュされたすべてのデータソースプランに設定されたオプションが、最初のキャッシュされたテーブル読み取りだけでなく尊重されるようになりました。 以前は、データ ソース テーブルは最初のプランを読み取りましたが、後続のクエリでさまざまなオプションを考慮できませんでした。

  • MERGE操作に対してソースマテリアライゼーションを義務付けるフラグを有効にする:以前は、 merge.materializeSource を noneに設定することでMERGEのソースマテリアル化をオフにできました。 新しいフラグを有効にすると、ソースの具体化が常に必要になり、無効にしようとするとエラーが発生します。 Databricks では、この構成を以前に変更していないお客様に対してのみこのフラグを有効にすることを計画しているため、ほとんどのユーザーは動作の変更を発生させるべきではありません。

新機能

  • オートローダーはソースディレクトリ内の処理済みファイルをクリーンアップできるようになりました:処理済みファイルを自動移動または削除するよう指示できるようになりました。 cloudFiles.cleanSource自動ローダー オプションを使用して、この機能にオプトインします。 の「cloudFiles.cleanSourceを参照してください。

  • Deltaテーブルからのストリーミングのためのタイプ拡幅サポートを追加:このリリースでは、タイプワイド化されたカラムデータを持つDeltaテーブルからのストリーミングと、Databricks-to-DatabricksのDelta Sharingを用いてタイプ拡幅を有効にしたDeltaテーブルの共有も追加されました。 タイプ拡大機能は、現在パブリック プレビュー段階です。 「タイプ拡張」を参照してください。

  • DBSQL で、カタログ操作向けの IDENTIFIER サポートが利用可能になりました: 以下のカタログ操作を実行する際に、IDENTIFIER 句を使用できるようになりました:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    この新しい構文を使用すると、これらの操作に定義されたパラメーターを使用してカタログ名を動的に指定できるため、より柔軟で再利用可能な SQL ワークフローが可能になります。 構文の例として、CREATE CATALOG IDENTIFIER(:param)がカタログ名を指定するために指定されたパラメーターであるparamを検討してください。 IDENTIFIER の条項を参照してください。

  • コレーテッド式は自動生成の過渡エイリアスを提供するようになりました: コレーテッド式の自動生成エイリアスは決定論的に COLLATE 情報を組み込むようになりました。 自動生成されたエイリアスは一時的な (不安定な) ので、依存しないでください。 代わりに、ベスト プラクティスとして、 expression AS alias 一貫して明示的に使用します。

  • Python データソースへのフィルター プッシュダウン API サポートを追加: サーバーレス コンピュートは、SupportsPushDownFilters インターフェースと同様に、API として、Python データソースのバッチ読み取りに対するフィルター プッシュダウンをサポートするようになりました。 16.4 LTS リリース ノートを参照してください。

  • Python UDFトレースバックの改善:Python UDFトレースバックはドライバーとエキューキュータの両方のフレームとクライアントフレームの両方を含むようになり、UDF内のフレームの行内容など、より詳細で関連性の高いエラーメッセージがより良く表示されます。

  • ビュー内のUNION/EXCEPT/INTERSECTとEXECUTE IMMEDIATEが正しい結果を返すようになりました: トップレベル UNION/EXCEPT/INTERSECT と、エイリアスのない列を含む一時ビューおよび永続ビュー定義のクエリは、UNION/EXCEPT/INTERSECT キーワードがエイリアスと見なされていたため、以前は誤った結果を返していました。 これで、これらのクエリはセット操作全体を正しく実行します。

  • データ ソースのキャッシュされたプラン設定および移行ガイド: ファイル ソース テーブルから読み取る際に、クエリ オプション(たとえば区切り文字)が正しく尊重されます。 以前は、最初のクエリ プランがキャッシュされ、以降のオプションの変更は無視されていました。 以前の動作を復元するには、spark.sql.legacy.readFileSourceTableCacheIgnoreOptions を true に設定します。

  • 新しい listagg および string_agg 関数:このリリースからは、 listagg 関数や string_agg 関数を使ってグループ内の STRING 値や BINARY 値を集約できるようになりました。 string_aggを参照してください。

サーバーレス ジョブでパフォーマンス モードを構成できるようになりました

2025年4月14日

ジョブの詳細ページの [パフォーマンス最適化] 設定を使用して、サーバーレス ジョブの パフォーマンス モードを選択できるようになりました。 以前は、すべてのサーバーレス ジョブのパフォーマンスが最適化されていました。 これで、 パフォーマンス最適化 設定を無効にして、標準パフォーマンス モードでワークロードを実行できるようになりました。 標準パフォーマンスモードは、やや高い起動遅延が許容されるワークロードでのコスト削減を目的として設計されています。

標準パフォーマンス モードは、継続的パイプライン、 runs/submit エンドポイントを使用して作成された 1 回限りの実行、または具体化されたビューを含む SQL ウェアハウス ジョブ タスクではサポートされていません。

パフォーマンス モードの詳細については、「 パフォーマンス モードの選択」を参照してください。

バージョン 16.3

2025 年 4 月 9 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.3 とほぼ同じです。

動作の変更

  • *kafka.sasl.client.callback.handler.class に無効な値が割り当てられた際の改善されたエラーメッセージ: このリリースには、kafka.sasl.client.callback.handler.class に無効な値が割り当てられた場合に、より詳細なエラーメッセージを返す変更が含まれています。

新機能

  • 状態リーダーのサポートはGAです。構造化ストリーミングクエリの状態情報読み取りは、サーバーレスコンピュートで一般に利用可能になりました。 構造化ストリーミングの状態情報の読み取りを参照してください。

  • デルタテーブルプロトコルのダウングレードはチェックポイント保護付きのGAです。 DROP FEATURE 一般的にDelta Lakeのテーブル機能を削除し、テーブルプロトコルをダウングレードすることができます。 既定では、 DROP FEATURE は、待機時間や履歴の切り捨てを必要としない、より最適化された簡略化されたダウングレード エクスペリエンスのために、保護されたチェックポイントを作成するようになりました。 Delta Lake テーブル機能の削除とテーブル プロトコルのダウングレードに関する記事を参照してください。

  • ANSI SQL/PSM(Public Preview)に基づく手続き型SQLスクリプトを書く:ANSI SQL/PSMに基づくスクリプト機能を使って、制御フロー文、ローカル変数、例外処理などの手続き型ロジックをSQLで書くことができます。 SQL スクリプトを参照してください。

  • テーブルとビューレベルのデフォルトコレーション:テーブルとビューのデフォルトコレーションを指定できるようになりました。 これにより、すべての列またはほとんどの列が同じ照合順序を共有するテーブルとビューの作成が簡略化されます。 照合順序を参照してください。

  • 新しいH3関数: h3_try_coverash3、 h3_try_coverash3string、 h3_try_tessellateaswkbの3つの新しいH3関数が追加されました。

  • 1つの ALTER TABLE 文で複数のテーブルカラムを変更する:1つの ALTER TABLE 文で複数のカラムを変更できるようになりました。 「ALTER TABLE ... COLUMN 句」を参照してください。

バージョン 16.2

2025 年 3 月 13 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.2 とほぼ同じです。

動作の変更

  • Delta Sharing では、テーブル履歴はデフォルトで有効です。SQLコマンドALTER SHARE <share> ADD TABLE <table>を使用して作成された共有(Share)は、履歴共有(WITH HISTORY)がデフォルトで有効になっています。 「ALTER SHARE」を参照してください。

  • 認証情報 SQL 文は、認証情報タイプの不一致があるとエラーを返します: 認証管理 SQL 文で指定された認証情報タイプが、その認証情報引数のタイプと一致しない場合、エラーが返され、そのステートメントは実行されません。

新機能

  • 生成されたカラム式で timestampdiff と timestampadd を活用してください。 Delta Lake生成のカラム式では timestampdiff や timestampadd の関数を使えます。 Delta Lake で生成された列 を参照してください。

  • Update to DESCRIBE TABLE は構造化JSONとしてメタデータを返します: DESCRIBE TABLE AS JSON コマンドを使ってテーブルのメタデータをJSONドキュメントとして返すことができます。 JSON 出力は、人間が判読できる既定のレポートよりも構造化されており、テーブルのスキーマをプログラムで解釈するために使用できます。 詳細については、AS JSON DESCRIBE TABLE を参照してください。

  • 後続空白を区別しない照合順序: Serverless は後続空白を区別しない照合順序をサポートするようになりました。 たとえば、これらの照合順序では、'Hello' と 'Hello ' が等しいとして扱います。 詳細については、RTRIM 照合順序 を参照してください。

バグの修正

  • インクリメンタルクローン処理の改善:このリリースには、インクリメンタル CLONE がソーステーブルからターゲットテーブルに既にコピーしたファイルを再コピーするエッジケースの修正が含まれています。 「Azure Databricks でテーブルを複製する」を参照してください。

サーバーレス ノートブックで使用可能な高メモリ設定 (パブリック プレビュー)

2025年2月7日

これで、サーバーレス コンピューティング ノートブックのワークロードに対して、より大きなメモリ サイズを構成できるようになりました。 この設定は、対話型のノートブック ワークロードとスケジュールされたノートブック ワークロードの両方に適用できます。

メモリが多いサーバーレス使用量は、標準メモリよりも DBU の放射率が高くなります。

詳細については、「 高メモリ サーバーレス コンピューティングの使用」を参照してください。

バージョン 16.1

2025 年 2 月 5 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.0 と Databricks Runtime 16.1 にほぼ対応しています。

新機能

  • Avroによる再帰スキーマのサポート:from_avro関数とavroデータソースでrecursiveFieldMaxDepthオプションを使えるようになりました。 このオプションは、Avro データ ソースのスキーマ再帰の最大深度を設定します。 ストリーミングAvroデータの読み取りと書き込みを参照してください。
  • Avro向けのConfluent Schema Registryのサポート拡大: Serverlessは現在、Confluent Schema RegistryでAvroスキーマ参照をサポートしています。 外部 Confluent スキーマ レジストリに対する認証を参照してください。
  • リキッドクラスタリングでテーブルに強制的な再クラスタリング : OPTIMIZE FULL の構文を使って、液体クラスタリングが有効なテーブル内のすべてのレコードの再クラスタリングを強制的に行えます。 「強制的に再クラスタリング」を参照してください。
  • Python向けのDelta APIで、識別列がサポートされるようになりました: Python向けのDelta APIを使って、識別列を持つテーブルを作成できます。 ID 列を参照してください。
  • ストリーミング書き込み時にリキッドクラスタリングテーブルを作成する: 構造化ストリーミング書き込みで新しいテーブルを作成する際に、 clusterBy を使えばリキッドクラスタリングを有効にすることができます。 「液体クラスタリングを有効にする」を参照してください。
  • OPTIMIZE FULL 句のサポート: サーバーレスコンピュートは OPTIMIZE FULL 句をサポートしています。 この句は、以前にクラスター化された可能性のあるデータを含め、リキッド クラスタリングを使用するテーブル内のすべてのレコードを最適化します。
  • INSERTおよびテーブル参照におけるWITHオプション仕様のサポート:サーバーレスコンピュートで、データソースの動作を制御するために使用できる、テーブル参照および文のテーブル名に対するINSERTがサポートされるようになりました。
  • 新しいSQL関数: 以下のSQL関数がサーバーレスコンピュートで利用可能になりました:
    • try_url_decode は url_decodeのエラートレランスバージョンです。
    • zeroifnull は、 zeroifnull() 関数の入力式が NULLであれば0を返します。
    • nullifzero は入力が0なら NULL 、0でなければその入力を返します。
    • dayname(expr)は 、指定された日付の曜日を表す3文字の英語頭字語を返します。
    • uniform(expr1, expr2 [,seed]) は、指定された数値の範囲内で独立かつ同一分布のランダムな値を返します。
    • randstr(length) は、length 文字のランダムな英数字の文字列を返します。
  • デルタテーブルにデータをマージする際の自動スキーマ進化を有効にする:DeltaMergeBuilderクラスのwithSchemaEvolution()メンバーのサポートが追加されました。 withSchemaEvolution() を使用して、MERGE 操作中にスキーマの自動展開を有効にします。 たとえば、mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}} のようにします。
  • Apache Spark における照合のサポートはパブリック プレビューです: 現在、STRING 列や式に、言語対応、大文字と小文字を区別しない、アクセントを区別しない照合を割り当てることができます。 これらの照合順序は、文字列比較、並べ替え、グループ化操作、および多くの文字列関数で使用されます。 照合順序を参照してください。
  • Delta Lake での照合順序のサポートはパブリック プレビューです: Delta テーブルの作成時または変更時に、列の照合順序を定義できるようになりました。 Delta Lake の照合サポートを参照してください。
  • VACUUM の LITE モードはパブリック プレビュー中です: Delta トランザクション ログのメタデータを活用した軽量な VACUUM 操作を、VACUUM table_name LITE を使用して実行できるようになりました。 フルモードとライトモードとVACUUMを参照してください。
  • USE CATALOG with IDENTIFIER節のパラメータ化のサポート:USE CATALOG文でIDENTIFIER節がサポートされるようになりました。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。
  • COMMENT ON COLUMN テーブルおよびビューのサポート:COMMENT ON ステートメントでは、ビュとテーブルの列に対するコメントの変更が可能になりました。
  • より多くの関数のための名前付きパラメータ呼び出し: 以下の関数は 名前付きパラメータ呼び出しをサポートしています:
  • REPAIR TABLEコマンドのSYNC METADATAパラメータはHiveメタストアでサポートされています。SYNC METADATAパラメータをREPAIR TABLEコマンドで使用して、Hiveメタストア管理テーブルのメタデータを更新できます。 「REPAIR TABLE」を参照してください。
  • 圧縮されたApache Arrowバッチのデータ整合性の向上: データ破損防止のため、すべての LZ4 圧縮Arrowバッチには LZ4 コンテンツとブロックチェックサムが含まれています。 「LZ4 フレームフォーマットの説明を参照してください。
  • 組み込みのOracle JDBCドライバー: サーバーレスコンピュートにはOracle JDBCドライバーが組み込まれています。 DriverManager 経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。
  • パスでアクセスされたデルタテーブルのより詳細なエラー: パス経由でアクセスされたデルタテーブルに対する新しいエラーメッセージ体験が利用可能になりました。 すべての例外がユーザーに転送されるようになりました。 基になるファイルを Delta テーブルとして読み取ることができない場合に、例外 DELTA_MISSING_DELTA_TABLE が予約されるようになりました。

動作の変更

  • 重大な変更: Databricks ホスト型 RStudio のサポート終了: このリリースにより、Databricks ホスト型 RStudio Server はサポート終了となり、サーバーレス コンピュートで実行される Azure Databricks ワークスペースでは利用できません。 RStudio の代替手段の詳細と一覧については、「 Databricks でホストされる RStudio Server への接続」を参照してください。
  • 変更の大きさ: byte、 short、 int 、 long 型をより広いタイプに変更するサポートの削除: DeltaおよびApache Icebergテーブル間で一貫した挙動を確保するため、タイプ 拡大 機能が有効なテーブルには以下のデータ型変更を適用できません。

    • byte、short、int、long から decimal へ変換。
    • byte、short、および int から double。
  • ネストされた文字グループにおける否定を伴う正則表現パターンの正しい解析: このリリースには、ネストされた文字グループにおける否定を伴う正則表現パターンの正しい解析をサポートする変更が含まれています。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

    さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

  • Delta Lake における重複マッチの検出機能を改善MERGE: MERGE では、WHEN MATCHED 句で指定された条件が考慮されるようになりました。 マージを使用して Delta Lake テーブルにアップサートするを参照してください。

  • addArtifact()機能はコンピュートタイプ間で一貫しています。addArtifact(archive = True)を使ってサーバーレスコンピュートに依存関係を追加すると、アーカイブは自動的にアンパックされます。

バグの修正

  • タイムゾーンオフセットは、CSV、JSON、XMLにシリアライズされる際に秒も含まれるようになりました: 1900年以前のタイムスタンプによく見られる、秒を含むタイムゾーンオフセットを持つタイムスタンプは、CSV、JSON、XMLにシリアライズした際に秒を省略していました。 既定のタイムスタンプ フォーマッタが修正され、これらのタイムスタンプの正しいオフセット値が返されるようになりました。

その他の変更

  • cloudFiles Structured Streaming ソースのエラーコード名を変更しました: 以下のエラーコード名を変更しました:
    • _LEGACY_ERROR_TEMP_DBR_0143 の名前が CF_INCORRECT_STREAM_USAGE に変更されます。
    • _LEGACY_ERROR_TEMP_DBR_0260 の名前が CF_INCORRECT_BATCH_USAGE に変更されます。

バージョン 15.4

2024年10月28日

このサーバーレス コンピューティング リリースは、Databricks Runtime 15.4 にほぼ対応しています

新機能

  • UTF-8検証関数:本リリースでは、UTF-8文字列の検証用以下の関数を導入します:
    • is_valid_utf8 文字列が有効なUTF-8文字列かどうかを検証する。
    • make_valid_utf8 、無効なUTF-8文字列を置換文字を用いて有効なUTF-8文字列に変換します。
    • 入力が有効なUTF-8文字列でない場合、validate_utf8はエラーを発生させます。
    • try_validate_utf8 入力が有効なUTF-8文字列でない場合、 NULL を返します。
  • ALTER TABLEを使ってUniForm Icebergを有効にする:既存のテーブルでUniForm Icebergを有効にすると、データファイルを書き換える必要がありません。 「既存のテーブルについて」を参照してください。
  • 関数try_url_decode: このリリースでは、URLでエンコードされた文字列を復号する try_url_decode 関数が導入されます。 文字列が正しい形式になっていない場合、関数はエラーを発生させるのではなく NULL を返します。
  • オプションとして、オプティマイザーが強制されていない外部キー制約に依存できるようにする: クエリ性能を向上させるために、テーブルをFOREIGN KEYまたはRELYするときに、制約にキーワードを指定できるようになりました。
  • 選択的上書きのための並列作業実行:replaceWhereを使った選択的上書きは、データを削除し新しいデータを並列に挿入するジョブを実行し、クエリ性能とクラスタ利用率を向上させます。
  • 選択的上書きによる変更データフィードの性能向上: 変更データフィードを持つテーブルで replaceWhere を使った選択的上書きは、挿入データごとに別々の変更データファイルを書き込むことはありません。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使って、書き込みを増やすことなく変更が記録されます。
  • COPY INTOコマンドのクエリ遅延の改善:このリリースにはCOPY INTOコマンドのクエリ遅延を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、多くの状態を持つクエリ (たとえば、既に取り込まれたファイルの数が多いクエリ) で、開始時間が向上するはずです。
  • チェック制約テーブル機能の削除サポート: Deltaテーブルから checkConstraints テーブル機能を ALTER TABLE table_name DROP FEATURE checkConstraintsで削除できるようになりました。 check 制約の削除を参照してください。

動作の変更

  • ビューのスキーマバインディングの変更: ビューの基礎となるクエリ型が、ビュー作成時に使用されたものと異なる場合、Databricksはセーフキャストが実行できない場合にビューへの参照に対してエラーを投げません。

    代わりに、可能な場合は通常のキャスト ルールを使用してビューが補正されます。 この変更により、Databricks はテーブル スキーマの変更を許容しやすくなります。

  • ブール論理以外のNOTに対する文書化されていない!構文許容を禁止する: Databricksは、ブール論理以外でNOTを!の同義語として使用することを今後許容しません。 この変更により、混乱が軽減され、SQL 標準への準拠性が増し、SQL の移植性が高くなります。 例えば次が挙げられます。

    CREATE ... IF ! EXISTS、IS ! NULL、! NULL列またはフィールドのプロパティ、! IN、! BETWEEN は以下に置き換えなければなりません:

    CREATE ... IF NOT EXISTS、 IS NOT NULL、 NOT NULL 列またはフィールドのプロパティ、 NOT IN 、 NOT BETWEEN。

    ブール型プレフィックス演算子! (!is_mgrや!(true AND false)など) は、この変更の影響を受けません。

  • ビューにおける列定義構文のうち、文書化されていない部分や未処理の部分を許可しない: Databricks は、名前付き列と列のコメントを含む CREATE VIEW をサポートしています。

    列の型、NOT NULL 制約、DEFAULT の指定は、影響を生じない構文内では許容されてきました。 Databricks はこの構文を許容しなくなります。 これにより、混乱が軽減され、SQL 標準への準拠性が増し、将来の機能強化が可能になります。

  • SparkおよびPhotonにおけるBase64デコードの一貫したエラー処理: このリリースでは、PhotonにおけるBase64デコードエラーの処理方法を変更し、Sparkでのこれらのエラーの処理に合わせます。 この変更の前は、Photon と Spark のコード生成パスでは解析例外が生成されないことがあり、Spark では実行が正しく解釈されて IllegalArgumentException または ConversionInvalidInputError が生成されていました。 この更新で、Photon でも Base64 デコード エラーの発生時に Spark と同じ例外が常に生成されるようになり、したがってエラー処理の予測可能性と信頼性が向上します。

  • 無効な列に CHECK 制約を追加すると、UNRESOLVED_COLUMN.WITH_SUGGESTION エラークラスが返されるようになりました: より有用なエラーメッセージを提供するため、Databricks Runtime 15.3 以降では、無効な列名を参照する ALTER TABLE ADD CONSTRAINT 制約を含む CHECK 文は UNRESOLVED_COLUMN.WITH_SUGGESTION エラークラスを返します。 以前は、INTERNAL_ERROR が返されていました。

JDK は JDK 8 から JDK 17 にアップグレードされます

2024年8月15日

ノートブックとワークフローのサーバーレス コンピューティングは、サーバー側で Java 開発キット (JDK) 8 から JDK 17 に移行されました。 このアップグレードには、次の動作変更が含まれます。

  • ネスト文字グループにおける否定付き正則表現パターンの正しい解析:このアップグレードにより、Azure Databricksはネスト文字グループにおける否定付き正則表現パターンの正しい解析をサポートしています。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

    さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

バージョン 15.1

2024 年 7 月 23 日

このサーバーレス コンピューティング リリースは、Databricks Runtime 15.1 にほぼ対応しています

新機能

WHERE 句における star (*) 構文のサポート: WHERE 句でstar (*) 構文を使用することで、SELECT リストに含まれるすべての列を参照できるようになりました。

たとえば、SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) のようにします。

Changes

JSON解析のエラーリカバリーの改善: from_json() およびJSONパス式に使われるJSONパーサーは、誤った構文からより速く回復でき、データ損失が減少しました。

構造体フィールド、配列値、マップ キー、またはマップ値で形式に誤りがある JSON 構文が検出された場合、JSON パーサーは読み取り不可能なフィールド、キー、または要素に対してのみ NULL を返すようになりました。 後続のフィールド、キー、要素は適切に解析されます。 この変更以前は、JSON パーサーは配列、構造体、またはマップの解析を中止し、残りのコンテンツに対して NULL を返しました。

バージョン 14.3

2024年4月15日

これは、最初のサーバーレス コンピューティング バージョンです。 このバージョンは 、Databricks Runtime 14.3 とほぼ同じです。一部の変更により、一部の非サーバーレス機能とレガシ機能のサポートが削除されます。

サポートされたSpark設定パラメータ

サーバーレス コンピューティングでの Spark の構成を自動化するために、Azure Databricks ではほとんどの Spark 構成を手動で設定するためのサポートが削除されました。 サポートされている Spark 構成パラメーターの一覧を表示するには、「 サーバーレス ノートブックとジョブの Spark プロパティを構成する」を参照してください。

サポートされていない Spark 構成を設定した場合、サーバーレス コンピューティングでのジョブの実行は失敗します。

input_file 関数は非推奨です

input_file_name()、input_file_block_length()、および input_file_block_start() 関数は非推奨となりました。 これらの関数の使用はお勧めできません。

代わりに、 ファイル メタデータ列 を使用してファイル メタデータ情報を取得します。

動作の変更

サーバーレス コンピューティング バージョン 2024.15 には、次の動作の変更が含まれています。

  • unhex(hexStr)バグ修正: unhex(hexStr)関数を使う際、hexStr は常に1バイト単位になるよう左側がパディングされます。 以前は、unhex 関数は最初の半バイトを無視しました。 たとえば、unhex('ABC') は、現在は x'0ABC' を x'BC' の代わりに生成します。
  • 自動生成された列エイリアスは安定します: ユーザー指定の列エイリアスなしで式の結果を参照する場合、この自動生成エイリアスは安定します。 新しいアルゴリズムでは、具体化されたビューなどの機能で使用されていた、以前に自動生成された名前が変更される可能性があります。
  • CHAR型フィールドを持つテーブルスキャンは常にパディングされています。デルタテーブル、特定のJDBCテーブル、外部データソースはCHARデータをパッドなしの形で保存します。 読み取り時に、Azure Databricks は、正しいセマンティクスを確保するために、宣言された長さにスペースを含むデータを埋め込みます。
  • BIGINT/DECIMALからTIMESTAMPへのキャストは、オーバーフロー値に対して例外を投げます:Azure Databricksは、値をUnixエポックの秒数として扱うことで、BIGINTとDECIMALからTIMESTAMPへのキャストを可能にします。 現在では、Azure Databricks はオーバーフローした値を返すのではなく、オーバーフローが発生した場合には例外をスローします。 try_cast は、例外の代わりに NULL を返すために使用します。
  • PySpark UDFの実行は、専用計算時のUDF実行の動作と正確に一致するように改善されました。 以下の変更点が加えられました:
    • 文字列戻り値の型を持つ UDF は、文字列以外の値を文字列に暗黙的には変換しなくなりました。 以前は、戻り値の型 str が指定された UDF では、戻り値の実際のデータ型に関係なく、str(..) ラッパーが結果に適用されました。
    • 戻り値の型 timestamp を持つ UDF は、タイムゾーン変換をタイムスタンプに暗黙的には適用しなくなりました。