2024 年 5 月

これらの機能と Azure Databricks プラットフォームの機能強化が 2024 年 5 月にリリースされました。

注

リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。

サーバーレス ファイアウォールの構成で、より多くのコンピューティングの種類がサポートされるようになりました

2024 年 5 月 31 日

Azure Databricks では、ネットワーク接続構成 (NCC) を使用した CPU エンドポイント アクセスを提供するサーバーレス ジョブ、ノートブック、DLT パイプライン、およびモデルのファイアウォールの構成がサポートされるようになりました。 アカウント管理者は、NCC を作成し、ワークスペースにそれらをアタッチすることで、安定したサブネットを介して安全で制御されたアクセスを確保できます。

「サーバーレス コンピューティング アクセス用のファイアウォールの構成」を参照してください。

Databricks Runtime 15.0 シリーズのサポート終了

2024 年 5 月 31 日

Databricks Runtime 15.0 と Databricks Runtime 15.0 for Machine Learning のサポートは、5 月 31 日に終了しました。 Databricks サポート ライフサイクルについての記事をご覧ください。

Databricks Runtime 15.3 (ベータ版)

2024 年 5 月 30 日

Databricks Runtime 15.3 と Databricks Runtime 15.3 ML をベータ版リリースとして使用できるようになりました。

「Databricks Runtime 15.3 (EoS)」および「Databricks Runtime 15.2 for Machine Learning (EoS)」を参照してください。

コンピューティング メトリック UI がすべての Databricks Runtime バージョンで利用できるようになりました

2024 年 5 月 30 日

コンピューティング メトリック UI がすべての Databricks Runtime バージョンにロールアウトされました。 以前は、これらのメトリックは、Databricks Runtime 13.3 以降で実行されているコンピューティング リソースでのみ利用できました。 「コンピューティング メトリックの表示」を参照してください。

ノートブックと SQL エディターの結果テーブルでの検索とフィルター処理の強化

2024 年 5 月 28 日

列を簡単に検索し、ノートブックと SQL エディター内の結果テーブルの既存値のドロップダウン リストからフィルター値を選択できるようになりました。

新しいダッシュボードは、Databricks Marketplace プロバイダーがリスティングの使用状況を監視するのに役立ちます

2024 年 5 月 28 日

新しいプロバイダー分析ダッシュボードを使用すると、Databricks Marketplace プロバイダーは一覧表示ビュー、要求、インストールを監視できます。 ダッシュボードは、Marketplace システム テーブルからデータをプルします。 「ダッシュボードを使用してリスティング使用状況メトリックを監視する」を参照してください。

Query Profile 内のシステム生成フェデレーション クエリを表示する

2024 年 5 月 24 日

Lakehouse フェデレーションでは、システム生成フェデレーション クエリとそのメトリックをクエリ プロファイルで表示できるようになりました。 グラフ ビューでフェデレーション スキャン ノードを選択すると、データ ソースにプッシュダウンされたクエリが表示されます。 「システム生成フェデレーション クエリを表示する」を参照してください。

コンピューティング プレーンの送信 IP アドレスをワークスペース IP 許可リストに追加する必要がある

2024 年 5 月 24 日

ワークスペースでセキュア クラスター接続と IP アクセス リストを使用する場合は、コンピューティング プレーンがコントロール プレーンへのアクセスに使用するすべてのパブリック IP を許可リストに追加するか、バックエンド プライベート リンクを構成する必要があります。 この変更は、2024 年 7 月 29 日にすべての新しいワークスペースに影響し、2024 年 8 月 26 日に既存のワークスペースに影響します。 詳細については、Databricks Community の投稿を参照してください。

たとえば、VNet インジェクションを使用するワークスペースでセキュリティで保護されたクラスター接続を有効にした場合、Databricks では、ワークスペースに安定したエグレス パブリック IP を設定することをお勧めします。 そのパブリック IP とその他のパブリック IP が、許可リストに存在する必要があります。 「セキュリティで保護されたクラスター接続を使用する場合のエグレス IP アドレス」を参照してください。 また、Azure Databricks マネージド VNet を使用し、パブリック IP にアクセスするようにマネージド NAT ゲートウェイを構成する場合は、それらの IP が許可リストに存在する必要があります。

「ワークスペース向けの IP アクセス リストを構成する」をご覧ください。

Snowflake のレイクハウス フェデレーションでの OAuth のサポート

2024 年 5 月 24 日

Unity Catalog では、OAuth を使用して Snowflake 接続を作成できるようになりました。 Snowflake (OAuth) でのフェデレーション クエリの実行を参照してください。

ワークスペース ブラウザーからワークスペース オブジェクトを一括移動および削除

2024 年 5 月 24 日

ワークスペース内の複数の項目を選択して移動または削除できるようになりました。 複数のオブジェクトを選択すると、アクション バーが表示され、アイテムを移動または削除するためのオプションが表示されます。 さらに、マウスを使用して複数の項目を選択し、新しい場所にドラッグすることができます。 一括での移動および削除操作中も、オブジェクトに対する既存のアクセス許可は引き続き適用されます。

Unity Catalog オブジェクトは、最近使用したものやお気に入りで使用できます

2024 年 5 月 23 日

カタログやスキーマなどの Unity Catalog オブジェクトを最近使用したものリストで見つけることができます。 また、カタログ エクスプローラーやスキーマ ブラウザーでお気に入りの Unity Catalog オブジェクトを使用して、ワークスペースのホーム ページでお気に入りのオブジェクトを見つけることもできます。

新しい dbt-databricks コネクタ 1.8.0 には、分離型 dbt アーキテクチャが採用されています

2024 年 5 月 23 日

DBT-Databricks コネクタ 1.8.0 は、新しい分離された dbt アーキテクチャを採用する最初のバージョンです。 顧客が両方のライブラリのバージョンを指定する必要がないように dbt-core に依存するのではなく、コネクタはアダプターと dbt-core 間の共有抽象化レイヤーに依存するようになりました。 その結果、コネクタでは Databricks 機能バージョンを dbt-core のそれに一致させる必要がなくなり、セマンティック バージョン管理を自由に採用できます。 つまり、コネクタ開発者は、モデルごとのコンピューティングのような重要な機能を修正プログラムとしてリリースする必要がなくなりました。

このリリースからは次ももたらされます。

• 自動更新をスケジュールする機能など、具体化されたビューとストリーミング テーブルの宣言と操作の改善。
• Unity Catalog のセキュリティ保護可能なオブジェクトのタグのサポート。 dbt 操作でモデルを選択するためにしばしば使用されるメタデータである dbt タグと区別するため、これらのタグにはdatabricks_tagsで という名前が付けられます。
• メタデータ処理のパフォーマンスがいくつかの点で改善されました。

新しいコンプライアンスとセキュリティ設定 API (パブリック プレビュー)

2024 年 5 月 23 日

Databricks では、コンプライアンス セキュリティ プロファイル、拡張セキュリティ監視、ワークスペース内の自動クラスター更新設定のための新しい API が導入されました。 参照トピック

• コンプライアンス セキュリティ プロファイル API
• 拡張セキュリティ監視 API
• 自動クラスター更新 API

Databricks Runtime 15.2 が一般提供

2024 年 5 月 22 日

Databricks Runtime 15.2 および Databricks Runtime 15.2 ML の一般提供が開始されました。

「Databricks Runtime 15.2 (EoS)」および「Databricks Runtime 15.2 for Machine Learning (EoS)」を参照してください。

Delta Sharing の新しい Tableau コネクタ

2024 年 5 月 22 日

新しい Tableau Delta Sharing コネクタにより、Delta Sharing オープン共有プロトコルを使用して共有されたデータへの Tableau Desktop アクセスが簡素化されます。 「Tableau: 共有データの読み取り」を参照してください。

新しいディープ ラーニング レコメンデーション モデルの例

2024 年 5 月 22 日

Databricks は、2 タワー モデルと Meta の DLRM を含む、最新のディープ ラーニングレコメンデーション モデルを示す 2 つの新しい例を公開しました。 ディープ ラーニング レコメンデーション モデルの詳細については、「レコメンダー モデルをトレーニングする」を参照してください。

ストレージ資格情報と外部の場所を特定のワークスペースにバインドする (パブリック プレビュー)

2024 年 5 月 22 日

ストレージ資格情報と外部の場所を特定のワークスペースにバインドできるようになりました。他のワークスペースからそれらのオブジェクトにアクセスできなくなります。 この機能は、ワークスペースを使用してユーザー データ アクセスを分離する場合に特に役立ちます。たとえば、運用ワークスペースと開発ワークスペースが別々にある場合や機密データを処理するための専用ワークスペースがある場合などです。

詳細については、「(省略可能) 特定のワークスペースに外部の場所を割り当てる」と「(省略可能) ストレージ資格情報を特定のワークスペースに割り当てる」を参照してください。

Git フォルダーが一般提供

2024 年 5 月 22 日

Git フォルダーの一般提供が開始されました。 「Git と Databricks Git フォルダーの統合」を参照してください。 以前の “Repos” 機能のユーザーである場合は、「 Databricks Repos の変更点」を参照してください。

Unity Catalog の事前トレーニング済みモデル (パブリック プレビュー)

2024 年 5 月 21 日

Databricks には、Unity カタログに高品質の事前トレーニング済みの生成 AI モデルの選択が含まれるようになりました。 これらの事前トレーニング済みモデルを使用すると、推論ワークフローで最先端の AI 機能にアクセスできるため、独自のカスタム モデルを構築する時間と費用を節約できます。 Unity カタログと Marketplace から生成 AI と LLM モデルを取得するを参照してください。

Mosaic AI ベクトル検索が GA に

2024 年 5 月 21 日

Mosaic AI ベクトル検索の一般提供が開始されました。 「Mosaic AI ベクトル検索」を参照してください。

Databricks アシスタント オートコンプリート (パブリック プレビュー)

2024 年 5 月 20 日

Databricks アシスタント オートコンプリートは、ノートブック、クエリ、ファイルに入力するときに、AI を利用した提案をリアルタイムで提供します。 これを有効にするには、[設定]> [開発者]> [試験的な機能] に移動し、[Databricks アシスタント オートコンプリート] を切り替えます。 詳細については、「AI ベースのオートコンプリート」を参照してください。

Foundation Model Training での Meta Llama 3 のサポート

2024 年 5 月 20 日

Foundation Model Training で Meta Llama 3 がサポートされるようになりました。 「 Foundation Model Fine-tuning」を参照してください。

Git フォルダー UI に対する新しい変更

2024 年 5 月 17 日

Git フォルダー操作のユーザー インターフェイスがいくつか変更されていることにお気づきかと思います。 次のものが追加されました。

• Git フォルダーを共有すると、新しいアラートがバナーに表示され、リンクをコピーして Git フォルダー を作成するように求められます。 ボタンを選択すると、URL がローカルのクリップボードにコピーされ、別のユーザーに送信できます。 これを受信したユーザーがブラウザーでその URL を読み込むと、そのユーザーはワークスペースに移動し、同じリモート Git リポジトリから複製された自分用の Git フォルダーを作成できます。 受信者が URL にアクセスすると、UI に [Git フォルダーの作成] ダイアログが表示され、それには、お使いの Git フォルダー から取得した値が事前に設定されています。

  

• 同様に、別のユーザーによって作成された Git フォルダーを表示すると、新しいアラート バナーに新しいボタン [Git フォルダーの作成] が表示されます。 [Git フォルダーの作成] ダイアログで事前設定されている値に基づいて、同じ Git リポジトリ用の独自の Git フォルダー を作成するには、このボタンを選択します。

  

Foundation Model Training (パブリック プレビュー)

2024 年 5 月 13 日

Databricks は Foundation Model Training をサポートするようになりました。 Foundation Model Training では、独自のデータを使用して基盤モデルをカスタマイズし、特定のアプリケーションのパフォーマンスを最適化します。 基盤モデルの微調整またはトレーニングを継続すると、モデルをゼロからトレーニングするよりもはるかに少ないデータ、時間、コンピューティング リソースを使用して、独自のモデルをトレーニングできます。 トレーニング データ、チェックポイント、微調整されたモデルはすべて Databricks プラットフォーム上にあり、ガバナンスと生産性のツールと統合されています。

詳細については、「 Foundation Model Fine-tuning」を参照してください。

ユーザーが結果テーブルからクリップボードにデータをコピーできるようにする

2024 年 5 月 9 日

管理者は、ユーザーが結果テーブルからクリップボードにデータをコピーする機能を有効または無効にできるようになりました。 これまで、この機能はノートブックに限定されていました。 現在は、この設定は次のインターフェイスに適用されます。

• Notebooks
• ダッシュボード
• Genie スペース
• カタログ エクスプローラー
• ファイル エディター
• SQL エディター

Unity Catalog オブジェクトの属性タグ値を 1000 文字にできるようになりました (パブリック プレビュー)

2024 年 5 月 8 日

Unity カタログの属性タグの値は、最大 1,000 文字に設定できるようになりました。 タグ キーの文字制限は 255 のままです。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」をご覧ください。

新しいプレビュー ページ

2024 年 5 月 8 日

新しいプレビュー ページで Databricks プレビューへのアクセスを有効にして管理します。 「Azure Databricks プレビューを管理する」を参照してください。

Mosaic AI ベクトル検索の新機能

2024 年 5 月 8 日

新機能には、次のものがあります。

• IP アクセス リストがサポートされるようになりました。
• カスタマー マネージド キー (CMK) は、2024 年 5 月 8 日以降に作成されたエンドポイントでサポートされるようになりました。 CMK のベクトル検索のサポートはパブリック プレビュー段階です。
• 監査ログとコスト属性の追跡が改善されました。 「診断ログ リファレンス」を参照してください。
• 生成された埋め込みを Delta テーブルとして保存できるようになりました。 「ベクトル検索インデックスを作成する」を参照してください。

「Mosaic AI ベクトル検索」を参照してください。

資格情報パススルーと Hive メタストア テーブルのアクセス制御は非推奨になりました

2024 年 5 月 7 日

Databricks Runtime 15.0 では、資格情報パススルーと Hive メタストア テーブルのアクセス制御が非推奨となり、今後の DBR バージョンでサポートが削除される予定です。

Unity Catalog のアップグレードでは、アカウントの複数のワークスペースにまたがってデータ アクセスを管理および監査するための中心的な場所を提供することで、データのセキュリティとガバナンスを簡素化します。 「Unity Catalog とは」を参照してください。

Databricks JDBC ドライバー 2.6.38

2024 年 5 月 6 日

Databricks JDBC ドライバーのバージョン 2.6.38 がリリースされました (ダウンロード)。 このリリースには、次の新機能と機能強化が追加されています。

• サーバーで SPARK_CLI_SERVICE_PROTOCOL_V8 が使用されている場合のパラメーター化クエリのネイティブ サポート。 ネイティブ クエリ モードでは、クエリ内のパラメータ数の制限は 256 です。
• Unity Catalog ボリュームのサポートを使用したデータ インジェスト。 Unity Catalog ボリュームの詳細については、「Unity Catalog を使用してクラウド オブジェクト ストレージに接続する」を参照してください。 これを使用するには、UseNativeQuery を 1 に設定します。
• QueryProfile IHadoopStatementに追加されたインターフェイスを使用すると、アプリケーションはクエリのquery idを取得できます。 query idを使用して、Databricks REST API を使用してクエリのメタデータをフェッチできます。
• サーバーが SPARK_CLI_SERVICE_PROTOCOL_V9 を使用している場合、メタデータ Thrift 呼び出しの非同期操作。 この機能を使用するには、EnableAsyncModeForMetadataOperation プロパティを 1 に設定します。
• JWT アサーションのサポート。 コネクタで、クライアント資格情報を使用した JWT アサーション OAuth がサポートされるようになりました。 これを行うには、UseJWTAssertion プロパティを 1 に設定します。

このリリースでは、次の問題も解決されます。

• Jackson ライブラリの更新。 コネクタで、Jackson JSON パーサー用に次のライブラリが使用されるようになりました。jackson-annotations 2.16.0 (以前は 2.15.2)、jackson-core 2.16.0 (以前は 2.15.2)、jackson-databind-2.16.0 (以前は 2.15.2)
• コネクタには、META-INF ディレクトリに非シェーディング クラス ファイルが含まれています。

ワークスペース ストレージ アカウントのファイアウォール サポートの GA

2024 年 5 月 6 日

新しい Azure Databricks ワークスペースを作成すると、ワークスペース ストレージ アカウントと呼ばれる Azure ストレージ アカウントがマネージド リソース グループに作成されます。 ファイアウォールを有効にして、承認されたリソースとネットワークからのみワークスペース ストレージ アカウントにアクセスするように制限できるようになりました。 「ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする」を参照してください。

Databricks Runtime 15.2 (ベータ版)

2024 年 5 月 2 日

Databricks Runtime 15.2 と Databricks Runtime 15.2 ML をベータ版リリースとして使用できるようになりました。

「Databricks Runtime 15.2 (EoS)」および「Databricks Runtime 15.2 for Machine Learning (EoS)」を参照してください。

ノートブックで Spark Connect DataFrames の列名の検出とオートコンプリートが行われるようになりました

2024 年 5 月 1 日

Databricks ノートブックは Spark Connect DataFrames で列名を自動的に検出して表示し、オートコンプリートを使用して列を選択できるようになりました。