次の機能と Azure Databricks プラットフォームの機能強化が 2024 年 6 月にリリースされました。
注記
リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。
ノートブック - 順序が正しくない構文の強調表示
2024 年 6 月 16 日
ノートブックで強調表示されている Python 構文エラーは、変数が宣言される前に使用されたときにユーザーに警告し、修正を提案するようになりました。
ノートブック Assistant はエラーを自動的に診断
2024 年 6 月 16 日
Databricks Assistant は、ノートブックのコード エラーを自動的に診断できるようになりました。 生成 AI を活用してコードやエラーメッセージを分析し、ノートブック内で直接修正案を提示します。 詳細については、「有効にして Databricks Assistant を試す」を参照してください。
カタログ エクスプローラーの向上
2024 年 6 月 28 日
カタログ エクスプローラーに対して次の機能強化が行われました。
最近使用した Unity カタログ オブジェクト、お気に入りの Unity カタログ オブジェクト、参照用のカタログとスキーマを表示するクイック アクセス セクションを追加しました。
上部バーとアコーディオン構造を削除し、スキーマ ブラウザーで以下のエントリ ポイントをサイドバーの歯車アイコン メニューに移動してナビゲーションをシンプルにしました。
- コンピューティングの選択
- デルタ共有
- ストレージの資格情報
- 外部の場所
- 接続
- DBFS を参照
クイック アクセス セクションの上にあるカタログ エクスプローラーの上部で、「Deltaの共有」と「外部データ」にアクセスすることもできます。
単一のモデルの提供エンドポイントから複数の外部モデルを提供する
2024 年 6 月 27 日
Mosaic AI Model Serving で、モデルの提供エンドポイントごとに複数の外部モデルの提供がサポートされるようになりました。 「エンドポイントに複数の外部モデルを提供する」を参照してください。
Databricks アシスタントの一般提供
2024 年 6 月 27 日
Databricks アシスタントが一般提供としてリリースされました。 アシスタント機能は次のとおりです。
- コードの生成、デバッグ、最適化、説明。
- データから視覚化を作成する。 Databricks アシスタントを使用した視覚化の作成についてを参照してください。
- デバッグ ジョブ (パブリック プレビュー機能)。
- SQL クエリのコードを作成して編集する。
- Azure Databricks のドキュメントとナレッジ ベースで関連するヘルプを参照してください。
詳しくは、「Databricks アシスタントとは?」を参照してください。
Databricks アシスタントがスレッドにタイトルを提供
2024 年 6 月 27 日
ヘルプ スレッドをより簡単に移動するために、Databricks アシスタントは、プロンプトのコンテキストに基づいてスレッドにタイトルを付けます。
を参照して、Databricks Assistantを有効にして試してみてください。
サーバーレス ノートブック環境マネージャー
2024 年 6 月 27 日
[環境] サイド パネルを使って、サーバーレス ノートブックの Python 依存関係をインストールできるようになりました。ここで提供される 1 つの場所を使って、ノートブックのライブラリ要件を編集、表示、エクスポートできます。 「サーバーレス環境を構成する」を参照してください。
ノートブックのデバッグ コンソール
2024 年 6 月 27 日
ノートブック デバッグ コンソールを使用すると、ノートブックのデバッグ セッション中にライブ変数の値を検査し、コード スニペットを実行できるようになりました。
Azure Databricks ワークフローに定期的なスケジュールをすばやく追加する
2024 年 6 月 28 日
間隔と時間の単位のみを指定することで、Azure Databricks ワークフローに単純なスケジュールを追加できるようになりました (たとえば、ワークフローを 4 時間ごとに実行するなど)。 この新しいスケジュールの種類は、数回クリックするだけでスケジュールを追加できるため、既存の高度なスケジュールの種類を補完します。 「スケジュールに基づいてジョブを実行する」を参照してください。
Databricks Runtime 15.3 が 一般提供になる
2024 年 6 月 24 日
Databricks Runtime 15.3 と Databricks Runtime 15.3 ML が一般提供されるようになりました。
「Databricks Runtime 15.3 (EoS)」および「Databricks Runtime 15.3 for Machine Learning (EoS)」を参照してください。
Azure Geographies の一般提供
2024 年 6 月 24 日
Azure Geographies は一般提供されました。 Azure Geographies は、一部の AI 機能用にカスタマー コンテンツを処理するときにデータ所在地を管理します。
詳しくは、「Databricks 指定サービス」を参照してください。
改善された新しいカタログ作成 UI
2024 年 6 月 18 日
新しいカタログ作成 UI は、カタログの作成と構成のプロセス全体の手順を示し、役に立つプロンプトを提供して、必須と省略可能のオプションを分離します。 同じユーザー インターフェイスを使って、標準、共有、外部の各カタログを作成できます。
「カタログの作成」を参照してください。
ネットワーク接続構成内のサブネットに対する更新
2024 年 6 月 18 日
Databricks は、すべてのリージョンのネットワーク接続構成 (NCC) 内のサブネットを更新しています。 Azure Databricks からのアクセスが中断されないようにするために、新しいサブネット ID は、既存のサブネット ID からのアクセスを許可する既存の Azure Storage ファイアウォール規則に自動的に追加されます。
Network Connectivity Configurations API を使用してサブネット ID を取得し、それらを新しい Azure Storage アカウントのストレージ ネットワーク規則に追加している場合、中断は一切発生しません。 しかし、既存のサブネット ID のセットをハード コーディングしている場合、中断が発生する可能性があります。 Databricks は、API を使用して最新の情報を取得することを推奨しています。 「Network Connectivity Configurations API」を参照してください。
この更新が行われる 2024 年 6 月 20 日の午後 8 時 00 分から午前 12 時 00 分 (PDT) の間は、Network Connectivity Configurations API のダウンタイムが発生する可能性があります。
課金システム テーブルが既定で有効に
2024 年 6 月 18 日
system.billing スキーマはすべての Unity Catalog ワークスペースで既定で有効になりました。 「課金対象の使用状況システム テーブル リファレンス」を参照してください。
レイクハウス監視が一般提供に
2024 年 6 月 13 日
Databricks レイクハウス監視が一般提供になりました。
Delta Sharing を使用するボリューム共有が一般提供に
2024 年 6 月 13 日
表形式以外のデータを "ボリューム" として共有するための Delta Sharing サポートが一般提供になりました。 異なる Unity Catalog メタストア上の Databricks ワークスペース間 (異なる Databricks アカウントと異なるクラウド上のワークスペースを含む) でボリュームを共有できます。
ボリュームは、クラウド オブジェクトの保存場所にあるストレージの論理ボリュームを表す Unity Catalog オブジェクトです。 これらは主に、表形式以外のデータ資産に対するガバナンスを提供することを目的としています。 Databricks の Delta Sharing は、Unity Catalog とのネイティブ統合を提供し、共有ボリューム データの使用状況を管理、ガバナンス、監査、追跡を行えるようにします。
「共有にボリュームを追加する」を参照してください。
Databricks Vector Search のカスタマー マネージド キー (CMK) が GA になりました
2024 年 6 月 12 日
ベクトル検索エンドポイントのカスタマー マネージド キー (CMK) が一般提供されるようになりました。
Mosaic AI エージェント フレームワーク (パブリック プレビュー)
2024 年 6 月 12 日
Mosaic AI エージェント フレームワークは、開発者が運用品質の取得拡張生成 (RAG) アプリケーションを構築、デプロイ、評価するのに役立つよう設計された Databricks 上の一連のツールです。 エージェント フレームワークを使用すると、独自のデータを使用して、1 つのプラットフォームで LLM アプリケーションを作成または最適化できます。
エージェント フレームワークには以下の機能が含まれています。
- エージェンとチェーンの作成とログを行う
- エージェントとチェーンをパラメーター化して、実験と反復処理をすばやく行う
- 関連するドキュメントの取得、応答の精度、コストと待機時間の実行を比較するための組み込みのメトリック
- 取得と応答の精度に関するカスタム LLM ジャッジ。
- 要求と応答の自動ログ記録を使用して AI アプリケーションをデプロイする
- ユーザー フィードバックを取得するための組み込みのレビュー アプリ
- 生成 AI アプリケーションの品質、待機時間、コストを評価するためのエージェント評価
- コード実行全体でトレースを分析および比較するための MLflow トレース
詳しくは、「Azure Databricks 上の取得拡張生成 (RAG)」を参照してください。
予測最適化が GA になりました
2024 年 6 月 11 日
Unity Catalog 管理テーブルの予測最適化が一般提供されるようになりました。 予測最適化は、クラスタリングを適用するために、液体クラスタリングが有効になっているテーブルで OPTIMIZE を実行するようになりました。 「Unity Catalog 管理テーブルの予測最適化」を参照してください。
ルート最適化が提供エンドポイントで利用可能に
2024 年 6 月 11 日
モデル提供または機能提供ワークフローに対してルート最適化提供エンドポイントを作成できるようになりました。 サービス エンドポイントでのルートの最適化に関する説明を参照してください。
ワークスペース ストレージ アカウント ファイアウォールを使用した Model Serving のサポート
2024 年 6 月 11 日
モデル サービスが、ワークスペース ストレージ アカウントのファイアウォール サポートでサポートされるようになりました。 「ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする」を参照してください。
列マッピングが GA になりました
2024 年 6 月 10 日
Delta Lake の列マッピングが一般公開されるようになりました。 DROP FEATURE を使用して、列マッピングを無効化し、テーブル プロトコルをダウングレードできるようになりました。 「Delta Lake の列マッピングを使用して列の名前変更と削除を行う」をご覧ください。
ワークフロー システム テーブルが使用可能 (パブリック プレビュー)
2024 年 6 月 10 日
system.lakeflow スキーマには、アカウント内のジョブを監視するために使用できる新しいテーブルが 4 つ含まれています。 「ジョブ システム テーブル リファレンス」を参照してください。
これらのシステム テーブルにアクセスできない場合は、アカウントで system.lakeflow スキーマを有効にしていることを確認してください。 システム テーブルへのアクセスを参照してください。
関数呼び出しはパブリック プレビューです
2024 年 6 月 10 日
関数呼び出しがパブリック プレビューで利用できるようになりました。 この機能は、Foundation Model API のトークン単位の支払いモデル (DBRX Instruct と Meta-Llama-3-70B-Instruct) を使用して利用できます。 「Azure Databricks での関数呼び出し」を参照してください。
vector_search() を使用してベクトル検索インデックスに対してクエリを実行する
2024 年 6 月 10 日
AI Functions でサポートされるようになった vector_search() を使うと、SQL を使って Mosaic AI ベクトル検索インデックスのクエリを実行できます。 vector_search 関数を参照してください。
Mosaic AI Vector Search でハイブリッド検索がサポートされるようになりました
2024 年 6 月 7 日
Mosaic AI Vector Search では、ベクトルベースの埋め込み検索と従来のキーワードベースの検索手法を組み合わせたハイブリッド キーワード類似性検索がサポートされるようになりました。 この手法は、クエリ内の正確な単語と一致させると同時に、ベクトルベースの類似性検索を使用して、クエリのセマンティック リレーションシップとコンテキストをキャプチャします。 ハイブリッド キーワード類似性検索では、これら 2 つの手法を統合することで、正確なキーワードだけでなく、概念的に似ているものも含まれるドキュメントを取得し、より包括的で関連性の高い検索結果を提供します。 詳細については、「Mosaic AI Vector Search」を参照してください。
GTE が Model Serving でサポートされるようになりました
2024 年 6 月 7 日
Mosaic AI Model Serving では、テキストを埋め込みベクトルにマップできるテキスト埋め込みモデルである General Text Embedding (GTE) がサポートされるようになりました。 GTE は Foundation Model API の一部としてサポートされており、トークン単位の支払いサービス エンドポイント リージョンで利用できます。 「Foundation Model API を使う」を参照してください。
Databricks Assistant: 既定で有効になっているスレッドとクエリ エクスペリエンス
2024 年 6 月 6 日
Databricks アシスタント (パブリック プレビュー) では、既定のセッション エクスペリエンス内のエディター コンテキスト全体でクエリ スレッドと履歴を追跡するようになりました。 アカウントのすべてのワークスペースまたは個々のワークスペースに対する有効化を管理できます。
詳しくは、「Databricks Assistant とは?」をご覧ください。
ノートブックの Markdown エディターの強化
2024 年 6 月 5 日
ノートブックで Markdown セルのライブ プレビューを表示し、ヘッダー、リスト、リンクなどの一般的な Markdown 要素のツール バーにアクセスできるようになりました。 アイデアの伝達に多くの時間を費やし、構文を覚える時間を減らします。
ノートブックから Catalog Explorer テーブルにすばやくアクセスする
2024 年 6 月 5 日
ノートブックから Catalog Explorer テーブルに直接簡単にアクセスできるようになりました。 ノートブック セル内のテーブル名にカーソルを合わせると、そのカタログ エクスプローラー ページへのリンクが表示され、列、アクセス許可などの詳細が表示されます。
Databricks ODBC ドライバー 2.8.2
2024 年 6 月 4 日
Databricks ODBC ドライバーのバージョン 2.8.2 (ダウンロード) が利用可能になりました。 このリリースには、次の新機能と機能強化が追加されています。
- お客様は拡張 SQL
PUT、GET、REMOVEコマンドを使用して、Unity カタログ ボリューム内の大規模なデータセットを取り込んで管理できるようになりました。 - 既定の OAuth 構成値が更新され、準拠するようになりました。 更新された構成オプションには、承認エンドポイント、OAuth クライアント ID、OAuth ユーザー対マシン スコープ、OAuth マシン同士スコープが含まれます。 詳細については、リリース ノートを参照してください。
- expat 2.6.2 (以前の 2.6.0) や libCURL 8.7.1 (以前の 8.6.0) など、サード パーティのライブラリが更新されました。
- ドライバーが Windows の信頼されたルート CA 証明書ストアに追加された場合、ドライバーはプライベート署名付き証明機関 (CA) を受け入れるようになりました。
このリリースでは、次の問題も修正されます。
- テーブル コメントの長さが
MaxCommentLenを超えた場合、クライアントは以前にエラーを返しました。 既定の動作では、テーブル コメントが切り捨てられ、MaxCommentLenで指定された制限に準拠するようになりました。 - クライアントは、特定の状況で
SQLCancelを発行するときに、以前はエラーを返しました。
新しい Databricks Notebook UI が一般公開されるようになりました
2024 年 6 月 4 日
新しい Databricks Notebooks UI を使用すると、開発者はデータに重点を置いた合理的な作成エクスペリエンスを実現できます。 主な特徴は次のとおりです。
- 最新の UX: Notebook の組織を強化するために、更新された UI やその他の機能を使用して、合理化されたコーディング エクスペリエンスをお楽しみください。
- 新しい結果テーブル: 結果の出力に対して、検索とフィルター処理の機能を使用してコードなしのデータ探索を直接実行します。