これらの特徴と Azure Databricks プラットフォームの機能強化が 2023 年 9 月にリリースされました。
注
リリースは段階的に行われます。 Azure Databricks ワークスペースの更新は、最初のリリース日から 1 週間以上行われないことがあります。
シングル ユーザー クラスターで利用できるレイクハウス フェデレーション
2023 年 9 月 29 日
Databricks Runtime 13.1 以降を使用するシングル ユーザー クラスターで、レイクハウス フェデレーションを使用できるようになりました。 フェデレーション カタログにクエリを実行できるのは接続所有者だけです。 「Lakehouse フェデレーションとは」をご覧ください。
Unity カタログにストレージ資格情報を作成する機能を委任する
2023 年 9 月 29 日
新しい CREATE STORAGE CREDENTIAL 特権を使用し、Unity カタログ メタストアにストレージ資格情報を作成するアクセス許可をユーザーに付与できるようになりました。 「ストレージ資格情報を作成する」を参照してください。
Databricks Runtime 14.1 (ベータ版)
2023 年 9 月 28 日
Databricks Runtime 14.1 と Databricks Runtime 14.1 ML がベータ版リリースとして使用できるようになりました。
Databricks Runtime 14.1 (EoS) と Databricks Runtime 14.1 for Machine Learning (EoS) を参照してください。
LLM 向けに最適化された GPU モデル サービングのパブリック プレビューを開始
2023 年 9 月 28 日
Azure Databricks でのモデル サービングは、GPU コンピューティング リソースを使用した PyTorch モデルと Tensorflow モデルのデプロイをサポートしています。 この機能は、一部のリージョンでパブリック プレビューが開始されており、mlflow.pyfunc、 mlflow.pytorch、 mlflow.tensorflow および mlflow.transformers のフレーバーでログ記録されたモデルの GPU デプロイにも適用されます。 「GPU ワークロードの種類」を参照してください。
このプレビューには、大規模言語モデルのサービングに最適化された GPU デプロイのサポートも含まれています。 「大規模言語モデル (LLM) 用に最適化されたモデル提供」を参照してください
同時実行の制限に達してもジョブの実行がスキップされないようにする
2023 年 9 月 27 日から 2023 年 10 月 2 日
同時実行の制限によって Azure Databricks ジョブの実行がスキップされないように、ジョブのキューイングを有効にできるようになりました。 キューイングが有効になっている場合、同時実行の制限に達すると、ジョブを実行できる容量が確保されるまで、ジョブはキューに置かれます。 「ジョブ実行のキューを有効にする」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.27.0 に更新されました
2023 年 9 月 27 日
Databricks Terraform プロバイダー バージョン 1.27.0 では owner と force_destroy が databricks_metastore_data_access に追加されます。追加の機能改善やバグの修正などが含まれます。 詳細については、バージョン 1.27.0 の変更ログをご覧ください。
Databricks CLI がバージョン 0.206.0 (パブリック プレビュー) に更新されました
2023 年 9 月 27 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.206.0 に更新されました。 このリリースにより、Databricks アセット バンドルでパイプライン クラスターのターゲット オーバーライドが有効になった、バンドル テンプレートの初期化が円滑に進むようになった、などの改善が現れます。 詳細については、バージョン 0.206.0 の変更ログをご覧ください。
Databricks SDK for Go がバージョン 0.21.0 (ベータ版) に更新されました
2023 年 9 月 27 日
Databricks SDK for Go バージョン 0.21.0 では、1 ダース以上の破壊的 API 変更が導入され、1 ダース以上の API が追加され、1 ダースのフィールドが追加されます。 詳細については、バージョン 0.21.0 の変更ログをご覧ください。
モデル サービング エンドポイント用の推論テーブルはパブリック プレビュー段階にあります
2023 年 9 月 26 日
モデル サービング エンドポイントで推論テーブルを有効にして、それらのエンドポイントへの受信要求と送信応答をキャプチャし、それらを Unity Catalog デルタ テーブルとしてログ記録します。 次に、このテーブルのデータを使用して、ML モデルを監視、デバッグ、改善することができます。 「モデルの監視とデバッグのための推論テーブル」を参照してください。
パブリック プレビューに登録するには、Azure Databricks アカウント チームにお問い合わせください。
Databricks ODBC ドライバー 2.7.5
2023 年 9 月 23 日
Databricks ODBC ドライバーのバージョン 2.7.5 がリリースされました (ダウンロード)。 このリリースには、次の新機能と機能強化が追加されています。
- OAuth 2.0 クライアント認証の強化と OIDC エンドポイント検出のサポート。
- カスタマー提供キーによるサーバーサイド暗号化。
- timedate 関数。
- Cloud Fetch のエラー メッセージの改善。
- セキュリティ更新プログラム。
このリリースでは、2.7.3 での次の回帰も解決されます。
- 呼び出し元が主テーブルまたは外部テーブルのカタログに
SQLForeignKeys値を渡した場合、NULL関数は空の結果を返します。
他のテーブルのカタログが NULL に設定されている場合、リリース 2.7.5 では、関連テーブルに関連付けられたすべての主キーまたは外部キーが返されるようになりました。
Visual Studio Code 用の Databricks 拡張機能がバージョン 1.1.3 に更新されました
2023 年 9 月 21 日
Visual Studio Code の Databricks 拡張機能バージョン 1.1.3 により小規模の修正がいくつか追加されます。 詳細については、バージョン 1.1.3 の変更ログをご覧ください。
サービス プリンシパルとしてのジョブの実行を一般提供開始
2023 年 9 月 21 日
サービス プリンシパルのロールと、サービス プリンシパルの ID を使用してジョブを実行するジョブの設定が GA になりました。
「サービス プリンシパルを管理するためのロール」および「ジョブ実行の ID を構成する」を参照してください。
Databricks CLI がバージョン 0.205.2 (パブリック プレビュー) に更新されました
2023 年 9 月 21 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.205.2 に更新されました。 このリリースには、いくらかの小規模の更新プログラムが含まれています。 詳細については、バージョン 0.205.2 の変更ログをご覧ください。
Databricks CLI がバージョン 0.205.1 (パブリック プレビュー) に更新されました
2023 年 9 月 20 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.205.1 に更新されました。 このリリースにより、Databricks アセット バンドルのジョブ タスクのターゲット オーバーライドが有効になるなどの改善が現れます。 詳細については、バージョン 0.205.1 の変更ログをご覧ください。
Databricks SDK for Go がバージョン 0.20.0 (ベータ版) に更新されました
2023 年 9 月 20 日
Databricks SDK for Go バージョン 0.20.0 により 1 ダース以上の API が追加され、半ダースのフィールドが追加され、いくらかのフィールドとメソッドが変更され、いくらかの API が削除されます。 詳細については、バージョン 0.20.0 の変更ログをご覧ください。
Databricks SDK for Python がバージョン 0.9.0 (ベータ版) に更新されました
2023 年 9 月 20 日
Databricks SDK for Python バージョン 0.9.0 では、いくつかのメソッドとフィールドが変更され、約 10 個のフィールドが追加され、約 20 個のデータクラスが追加され、追加の変更と削除が導入されています。 詳細については、バージョン 0.9.0 の変更ログをご覧ください。
Databricks SDK for Python がバージョン 0.7.1 (ベータ版) に更新されました
2023 年 9 月 20 日
Databricks SDK for Python バージョン 0.7.1 には、ファイル ダウンロードのパフォーマンスを向上させるための軽微な修正が含まれています。 詳細については、バージョン 0.7.1 の変更ログをご覧ください。
Databricks Terraform プロバイダーがバージョン 1.26.0 に更新されました
2023 年 9 月 20 日
Databricks Terraform プロバイダー バージョン 1.26.0 により、Unity Catalog ボリュームからの init スクリプトのサポートが追加される、さらにいくつかの機能が改善される、いくつかのバグが修正される、などが行われます。 詳細については、バージョン 1.26.0 の変更ログをご覧ください。
Databricks Runtime 14.0 用の Databricks Connect
2023 年 9 月 20 日
Databricks Connect for Databricks Runtime 14.0 では、Structured Streaming の全機能 (foreachBatch を含む) と、中断後にクエリに再接続する長期クエリがサポートされます。
Lakeview ダッシュボードのパブリック プレビューを開始
2023 年 9 月 20 日
Lakeview ダッシュボードを使用すると、簡略化および統一化されたデータ ガバナンス モデルを使用して、視覚化とデータセットを共有できます。 「ダッシュボード」を参照してください。
Scala 用 Databricks Connect V2 のパブリック プレビューを開始
2023 年 9 月 19 日
Databricks Connect for Databricks Runtime 13.3 LTS では、パブリック プレビューで、DataFrames、Delta、Structured Streaming などを含む Scala がサポートされるようになりました。
Python では、クエリの取り消しがサポートされ、DatabricksSession クラスを Azure Databricks のノートブックとジョブで使用できるようになりました。
GPU モデル サービングのパブリック プレビューを開始
2023 年 9 月 19 日
Azure Databricks でのモデル サービングは、GPU コンピューティング リソースを使用した PyTorch モデルと Tensorflow モデルのデプロイをサポートしています。 この機能は、一部のリージョンで [パブリック プレビュー] が開始されており、mlflow.pyfunc、 mlflow.pytorch、 mlflow.tensorflow および mlflow.transformers のフレーバーでログ記録されたモデルの GPU デプロイにも適用されます。 「GPU ワークロードの種類」を参照してください。
オンデマンド特徴量の計算が Unity Catalog で利用可能 (パブリック プレビュー)
2023 年 9 月 14 日
機械学習機能は、推論時にオンデマンドで計算できるようになりました。 特徴量計算ロジック、モデル、データはすべて Unity Catalog によって管理されます。 これにより、モデルでは、ユーザーの現在の場所など、推論時にのみ使用できる入力を使用して特徴を計算できます。 詳細については、「Python ユーザー定義関数を使用したオンデマンドでの特徴量の計算」を参照してください。
Databricks Runtime 14.0 が 一般提供開始
2023 年 9 月 14 日
Databricks Runtime 14.0 および Databricks Runtime 14.0 ML が一般公開されました。
「Databricks Runtime 14.0 (サポート期間終了)」および「Databricks Runtime 14.0 for Machine Learning (サポート期間終了)」を参照してください。
アカウント メール通知をアップグレード
2023 年 9 月 14 日
Databricks は、ユーザーが Azure Databricks アカウントに追加された際に、メール通知を送信しなくなりました。 ユーザーは、ワークスペースへのアクセスが許可された際に、引き続きメール通知を受け取ります。
Databricks Terraform プロバイダーがバージョン 1.25.1 に更新されました
2023 年 9 月 13 日
Databricks Terraform プロバイダー バージョン 1.25.1 がリリースされています。これには小規模の機能改善とバグ修正が含まれています。 詳細については、バージョン 1.25.1 の変更ログをご覧ください。
Databricks SDK for Go がバージョン 0.19.2 (ベータ版) に更新されました
2023 年 9 月 13 日
Databricks SDK for Go バージョン 0.19.2 には、小規模の修正が 1 つ含まれています。 詳細については、バージョン 0.19.2 の変更ログをご覧ください。
Databricks CLI がバージョン 0.205.0 (パブリック プレビュー) に更新
2023 年 9 月 13 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.205.0 に更新されました。 これにより、Databricks CLI で パブリック プレビューでの Databricks アセット バンドルが初めてサポートされました。 詳細については、バージョン 0.205.0 の変更ログを参照してください。
/Workspaceの予約済みの場所
2023 年 9 月 13 日
場所 /Workspace が予約されました。 Azure Databricks のルート パスに関連する、/Workspace という名前のディレクトリを定義できなくなりました。
Databricks アセット バンドル (パブリック プレビュー)
2023 年 9 月 12 日
Databricks アセット バンドルは、パブリックビューで、エンドツーエンドのデータ、分析、および ML プロジェクトをソース ファイルのコレクションとして表現できるようになりました。 これにより、ソース管理、コード レビュー、テスト、CI/CD など、Data Engineering のベスト プラクティスを簡単に適用できます。
Databricks Terraform プロバイダーがバージョン 1.25.0 に更新
2023 年 9 月 12 日
Databricks Terraform プロバイダー バージョン 1.25.0 には、Databricks SQL ウェアハウスの IS_OWNER アクセス許可の追加、軽微な修正、ドキュメントの更新などが含まれています。 詳細については、バージョン 1.25.0 の変更ログを参照してください。
Visual Studio Code 用の Databricks 拡張機能がバージョン 1.1.2 に更新
2023 年 9 月 12 日
Visual Studio Code バージョン 1.1.2 用の Databricks 拡張機能では、Azure Databricks ノートブックでの %run と # MAGIC の試験的なサポートが追加され、Databricks CLI の複数のローカル インストールでのパスの問題が修正されています。 詳細については、バージョン 1.1.2 の変更ログを参照してください。
Partner Connect で Snowplow をサポート
2023 年 9 月 12 日
Azure Databricks ワークスペースを Snowplow に接続できる Partner Connect を使用できるようになりました。 詳細については、「Snowplow に接続する」を参照してください。
Databricks CLI がバージョン 0.204.1 (パブリック プレビュー) に更新
2023 年 9 月 11 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.204.1 に更新されました。 詳細については、バージョン 0.204.1 の変更ログを参照してください。
行フィルターと列マスクによる機密データのフィルター処理 (パブリック プレビュー)
2023 年 9 月 11 日
特定のユーザーによる機密データへのアクセスを防ぐために、行フィルターと列マスクをテーブルに適用できるようになりました。 これらのフィルターとマスクは、SQL ユーザー定義関数 (UDF) として実装されます。 「行フィルターと列マスクを使用して機密性の高いテーブル データをフィルター処理する」を参照してください。
システム テーブルに Marketplace スキーマが含まれるようになりました (パブリック プレビュー)
2023 年 9 月 8 日
システム テーブル に、Marketplace プロバイダー データを格納する marketplace スキーマが含まれるようになりました。
marketplace.listing_access_events テーブルに対してクエリを実行して、一覧に対して実行されたアクションのコンシューマー情報を取得できます。 詳細については、「Marketplace システム テーブル参照」を参照してください。
価格システム テーブルが使用可能 (パブリック プレビュー)
2023 年 9 月 8 日
システム テーブルに価格テーブル (system.billing.list_prices) が含まれるようになり、SKU のコストを経時的に監視できるようになりました。 これらのログは、コスト分析を実行し、価格の変更を監視するのに役立ちます。 「価格設定システム テーブル リファレンス」を参照してください。
Databricks SDK for Go がバージョン 0.19.1 (ベータ版) に更新されました
2023 年 9 月 7 日
Databricks SDK for Go バージョン 0.19.1 では、小規模の更新と修正をいくつか続けます。 詳細については、バージョン 0.19.1 の変更ログをご覧ください。
Databricks ODBC ドライバー 2.7.3
2023 年 9 月 7 日
Databricks ODBC ドライバーのバージョン 2.7.3 がリリースされました (ダウンロード)。 このリリースには、次の機能と修正が含まれています。
- サード パーティの依存関係をアップグレードすることで脆弱性を修正しました。
-
SQL_ATTR_MAX_ROWSのサポートにより、クライアントがクエリでフェッチする行数を制限し、(プレビューなどの) 高速読み込みが迅速化できるようになりました。 - MacOS のサポートが更新されました。 ドライバーで Apple Silicon/M1 がサポートされるようになりました。
- OAuth2 ブラウザーベースの認証がサポートされ、シングル サインオン (SSO) が容易になりました。
重要
主キーと外部キーの API を使用する場合、呼び出し元が主テーブルまたは外部テーブルのカタログの SQLForeignKeys 値を渡すと、NULL 関数により空の結果が返されます。 開発者は、この問題を把握しています。
Databricks CLI がバージョン 0.204.0 (パブリック プレビュー) に更新
2023 年 9 月 6 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.204.0 に更新されました。 このリリースには、アクセス許可に関連するコマンドのグループ化、複数のコマンドへの追加と変更などが含まれます。 詳細については、バージョン 0.204.0 の変更ログを参照してください。
Data Explorer が Catalog Explorer に名前変更
2023 年 9 月 6 日
Data Explorer は、データ オブジェクトだけでなく、Unity Catalog 内のすべてのセキュリティ保護可能なオブジェクトを操作するために使用できるという事実を認識するために、Catalog Explorer という名前に変更されました。 「カタログ エクスプローラーとは」を参照してください。
Databricks SDK for Go がバージョン 0.19.0 (ベータ版) に更新されました
2023 年 9 月 4 日
Databricks SDK for Go バージョン 0.19.0 によりアクセス許可 API の名前が変更され、8 つの API が追加され、5 つのフィールドが追加され、いくつかのフィールドが変更され、削除され、いくつかのメソッドが変更されます。 詳細については、バージョン 0.19.0 の変更ログをご覧ください。
Databricks SDK for Python がバージョン 0.8.0 (ベータ版) に更新されました
2023 年 9 月 4 日
Databricks SDK for Python バージョン 0.8.0 では、アクセス許可 API の名前が変更され、6 個のフィールドが追加され、6 個のデータクラスが追加され、いくつかの変更と削除が導入されています。 詳細については、バージョン 0.8.0 の変更ログを参照してください。
Unity Catalog の許可リストの特権を委任
2023 年 9 月 1 日
Unity Catalog の許可リスト内の項目を管理するための特権を委任できるようになりました。 標準アクセス モード (以前の共有アクセス モード) を使用したコンピューティングでの許可リスト ライブラリと init スクリプトを参照してください。
Repos での GitHub アプリの統合が一般提供
2023 年 9 月 1 日
Repos での GitHub アプリの統合は GA です。 この機能を使用すると、Repos 内で GitHub と統合して、Git 資格情報の管理をより簡素化できます。
重要
GitHub アプリは、GitHub Enterprise Server ではサポートされていません。