次の機能と Azure Databricks プラットフォームの機能強化が 2023 年 7 月にリリースされました。
注
リリースは段階的に行われます。 Azure Databricks ワークスペースの更新は、最初のリリース日から 1 週間以上行われないことがあります。
ワークスペース管理者がアカウント グループを作成できるようになりました
2023 年 7 月 31 日
ワークスペース管理者は、 ID フェデレーション ワークスペースからアカウント グループを作成できるようになりました。 以前は、ワークスペース管理者は ワークスペース ローカル グループのみを作成できました。 アカウント グループには、 Unity カタログ メタストア内のデータへのアクセスと、ID フェデレーション ワークスペースへのアクセスを許可できます。 Databricks では、ID を管理する一元的な場所を利用するために、ワークスペース ローカル グループの代わりにアカウント グループを使用することをお勧めしています。
「グループの管理」を参照してください。
グループ マネージャー ロールがパブリック プレビュー段階です
2023 年 7 月 31 日
Databricks のユーザー、サービス プリンシパル、およびグループに、グループを管理するためのアクセス許可を付与できるようになりました。 グループ マネージャーは、グループ メンバーシップを管理できます。 また、他のユーザーにグループ マネージャー ロールを割り当てることもできます。 アカウント管理者は、アカウント内のすべてのグループに対するグループ マネージャー ロールを持っています。 ワークスペース管理者は、自分が作成するアカウント グループに対するグループ マネージャー ロールを持っています。
「 グループを管理できるユーザー」を参照してください。
Databricks CLI がバージョン 0.202.0 (パブリック プレビュー) に更新されました
2023 年 7 月 27 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.202.0 に更新されました。 詳細については、バージョン 0.202.0 の変更ログを参照してください。
Databricks SDK for Python がバージョン 0.3.0 (ベータ版) に更新されました
2023 年 7 月 27 日
Databricks SDK for Python バージョン 0.3.0 では、アカウント ネットワーク ポリシー サービスのサポートが導入されています。は入れ子になったクエリ パラメーターを処理します。さまざまなメソッド、フィールド、データクラス、およびサービスを追加、削除、作成します。その他。 詳細については、バージョン 0.3.0 の変更ログを参照してください。
Databricks SDK for Go がバージョン 0.14.1 (ベータ版) に更新されました
2023 年 7 月 27 日
Databricks SDK for Go バージョン 0.14.1 では、入れ子になったクエリ パラメーターが適切に処理され、QueryHistory の一覧でのフィルター処理が修正されました。 詳細については、バージョン 0.14.1 の変更ログを参照してください。
Databricks SDK for Go がバージョン 0.14.0 (ベータ版) に更新されました
2023 年 7 月 26 日
Databricks SDK for Go バージョン 0.14.0 では、アカウント ネットワーク ポリシー サービスのサポートが追加され、いくつかのメソッド、フィールド、および型が追加、削除、および変更されます。 詳細については、バージョン 0.14.0 の変更ログを参照してください。
Azure Databricks ジョブで別のジョブをタスクとして実行
2023 年 7 月 25 日
新しい Run Job タスクを使用して、Azure Databricks ジョブのタスクとして別のジョブを追加できます。これを使用すると、大規模な処理ワークフローを複数のコンポーネント ジョブに分解したり、複数のジョブで使用する再利用可能なコンポーネントを作成したりできます。 ジョブ UI でタスクを使用する方法については、「 Lakeflow ジョブ」を参照してください。 タスクをジョブ REST API で使用する方法については、REST API 2.1 リファレンスのジョブまたはJobs API 2.0 リファレンスを参照してください。
ワークスペース ネットワーク更新に UI サポートが追加される (GA)
2023 年 7 月 24 日
以前は、コマンド ラインまたは Azure portal で ARM テンプレートを使用して、 セキュリティで保護されたクラスター接続を有効 にしたり 、Azure Private Link を有効にしたりできました。
Azure portal UI (テンプレートなし) も、Azure Databricks ワークスペース インスタンスに対する直接ネットワーク更新に使用できるようになりました。 どちらの種類のネットワーク更新も一般公開されています。
すべてのユーザーが既定で Databricks Marketplace のデータ製品にアクセス可能
2023 年 7 月 24 日
7 月 24 日以降、対象となるすべてのワークスペースに段階的にロールアウトされ、すべてのユーザーが Databricks Marketplace を使用して無料または前に購入したデータセットをインストールできるようになります。 これは、すべての Unity Catalog メタストア内のすべてのユーザーに USE MARKETPLACE ASSETS 特権を付与することで可能になりました。 すべての Marketplace トランザクションは Databricks 外で行われるため、この新しい特権はコストに影響しません。 アクセスを無効にする場合は、「 Marketplace のアクセスを無効にする」を参照してください。
クラシック キーボード ショートカット モード
2023 年 7 月 21 日
新しい設定では、前のエディターと同じ使い慣れたキーボード ショートカットを維持しながら、新しいエディターの機能 (入力時のオートコンプリート、構文の強調表示、コードの書式設定など) を使用できます。 この設定にアクセスするには、エディター構成を開き、ノートブック エディターのショートカット モードをクラシック (コード ミラー) に切り替えます。
Lakehouse Federation を使用すると、外部データベース プロバイダーに対してクエリを実行可能 (パブリック プレビュー)
2023 年 7 月 21 日
Lakehouse フェデレーションは Azure Databricks のクエリ フェデレーション プラットフォームであり、Unity Catalog を利用して、すべてのデータを統合システムに移行しなくても、ユーザーとシステムが複数の外部データ ソースに対してクエリを実行できるようにします。
Lakehouse フェデレーションは、次のようなユース ケースを対象としています。
- カスタム レポート。
- 概念実証作業。
- 新しい ETL パイプラインまたはレポートの探索フェーズ。
- 増分移行中のワークロードのサポート。
これらの各シナリオでは、クエリ フェデレーションを使用すると、適切な場所でデータをクエリでき、複雑で時間のかかる ETL 処理を回避できるため、より迅速に分析情報を得ることができます。 さらに、Unity Catalog インターフェイスと、きめ細かいアクセス制御、データ系列、検索を含むデータ ガバナンスというメリットが得られます。
「Lakehouse Federation とは」を参照してください。
リポジトリに対する [ゴミ箱に移動] を有効化
2023 年 7 月 19 日
リポジトリの削除は、他のワークスペース資産の削除と同じように機能するようになりました。 リポジトリの一覧で、リポジトリ名を右クリックし、[ ごみ箱に移動] を選択します。 30 日後、ごみ箱フォルダーは自動的に完全に削除されます。
オブジェクトの削除を参照してください。
実行速度が遅いか、スタックしたジョブのアラートを作成
2023 年 7 月 18 日
Azure Databricks ジョブまたはジョブ タスクの予想期間を構成し、ジョブまたはタスクが予想期間を超えた場合の通知を追加できるようになりました。 この機能を使用すると、実行が取り消されることなく、実行が遅いジョブのアラートを取得できます。 Azure Databricks ジョブ UI で予想される期間を構成するには、「 ジョブの実行期間またはストリーミング バックログ メトリックのしきい値を構成する」を参照してください。 Jobs 2.1 API で予想される期間を構成するには、REST API リファレンスの 「ジョブ 」を参照してください。
Databricks SDK for Go がバージョン 0.13.0 (ベータ版) に更新されました
2023 年 7 月 18 日
Databricks SDK for Go バージョン 0.13.0 では、アカウント レベルの操作、追加、変更、およびいくつかのメソッドとフィールドの削除などの Azure マネージド ID 認証のサポートが追加されています。 詳細については、バージョン 0.13.0 の変更ログを参照してください。
Databricks SDK for Python がバージョン 0.2.0 (ベータ版) に更新されました
2023 年 7 月 18 日
Databricks SDK for Python バージョン 0.2.0 では、dbutils.widgetsのローカル実装が追加され、いくつかのメソッド、フィールド、データクラスなどが追加、変更、削除されます。 詳細については、バージョン 0.2.0 の変更ログを参照してください。
Databricks CLI がバージョン 0.201.0 (パブリック プレビュー) に更新されました
2023 年 7 月 18 日
Databricks コマンド ライン インターフェイス (Databricks CLI) バージョン 0.201.0 では、auth loginエクスペリエンスが向上し、Azure Databricks 認証構成プロファイルを参照するためのタブ補完がサポートされ、複数のコマンド グループとコマンドの追加、変更、削除などが行われます。 詳細については、バージョン 0.201.0 の変更ログを参照してください。
Databricks SDK for Python がバージョン 0.2.1 (ベータ版) に更新されました
2023 年 7 月 18 日
Databricks SDK for Python バージョン 0.2.1 では、以前のバージョンの urllibがサポートされています。 詳細については、バージョン 0.2.1 の変更ログを参照してください。
Databricks Assistant がパブリック プレビュー段階です
2023 年 7 月 18 日
Databricks Assistant は、ノートブック、クエリ、ファイルを作成するときの効率を高めるための、AI ベースのコンパニオン ペア プログラマとして機能します。 これは、コードとクエリを生成、最適化、完了、説明、修正することで、質問に迅速に答えるのに役立ちます。 詳細とアシスタントを有効にする方法については、 Databricks Assistant の FAQ を参照してください。
アカウントからユーザーとサービス プリンシパルを非アクティブ化
2023 年 7 月 13 日
Azure Databricks アカウントからユーザーとサービス プリンシパルを非アクティブ化できるようになりました。 非アクティブ化されたユーザーは、Azure Databricks アカウントや ID フェデレーション ワークスペースにログインできません。 ただし、ユーザーのすべてのアクセス許可とワークスペース オブジェクトは変更されません。 詳細については、「 ユーザーの非アクティブ化 」および 「サービス プリンシパルの非アクティブ化」を参照してください。
ID プロバイダーで非アクティブ化されたユーザーをアカウント レベルの SCIM プロビジョニングが非アクティブ化
2023 年 7 月 13 日
ID プロバイダーでユーザーが非アクティブ化されると、アカウント レベルの SCIM プロビジョニングがそれらを非アクティブ化するようになりました。 これまでは、ユーザーが ID プロバイダーで非アクティブ化されると、アカウント レベルの SCIM プロビジョニングが Azure Databricks アカウントから削除していました。 詳細については、「 SCIM を使用して Microsoft Entra ID のユーザーとグループを同期 する」および 「ユーザーを非アクティブ化する」を参照してください。
ごみ箱ディレクトリへの管理者のアクセス
2023 年 7 月 13 日
ワークスペース管理者は、他のユーザーのごみ箱ディレクトリにアクセスできるようになりました。
MIME の種類のスニッフィングと XSS 攻撃ページ レンダリングの防止が常に有効になりました
2023 年 7 月 12 日
Azure Databricks は、適切な HTTP ヘッダーを追加することで、MIME の種類のスニッフィングと XSS 攻撃ページ レンダリングのリスクを軽減します。 これらの機能は既定で有効になっていて、これまでは無効にできました。 セキュリティを強化するために、Azure Databricks では常に両方の機能が有効になり、それらを無効にするワークスペース管理者設定はなくなりました。 これまでにこれらの機能の一方または両方を無効にしたワークスペースについては、両方の機能が有効になりました。
Unity Catalog ボリュームがパブリック プレビュー段階です
2023 年 7 月 12 日
Unity Catalog のボリュームを使用して、Databricks Runtime 13.2 以上のクラウド オブジェクトの保存場所へのアクセスを管理できるようになりました。 ボリュームは、ファイルのアクセス、格納、管理、整理を行うための機能を提供します。 「Unity カタログ ボリュームとは」を参照してください。
ワークスペースから製品フィードバックを送信するためのシンプル エクスペリエンス
2023 年 7 月 11 日
ワークスペースから製品に関するフィードバックを簡単に送信できるようになりました。 ワークスペース UI から離れることなく、より少ない手順で、フィードバックを送信し、スクリーンショットを添付できます。 詳細については、「 製品フィードバックの送信」を参照してください。
Visual Studio Code 用の Databricks 拡張機能がバージョン 1.1.0 に更新されました
2023 年 7 月 10 日
Visual Studio Code バージョン 1.1.0 用の Databricks 拡張機能 では、Databricks Connect の統合が既定で有効になり、Jupyter Notebook 用の試験的な機能が追加されます。 詳細については、バージョン 1.1.0 の変更ログを参照してください。
関数が Catalog Explorer に表示されるようになりました (パブリック プレビュー)
2023 年 7 月 10 日
SQL と Python のユーザー定義関数が Catalog Explorer に表示されるようになりました。 この新しい UI を使用して、関数の詳細を表示し、アクセス許可を管理できます。
Databricks Terraform プロバイダーがバージョン 1.21.0 に更新されました
2023 年 7 月 7 日
Databricks Terraform プロバイダー バージョン 1.21.0 では、ダッシュボードのサブスクリプションのサポートが追加され、 databricks_jobの SQL タスクに対するアラートが追加され、ワークスペースとアカウント レベルのデータ ソースを定義するための汎用 Azure Databricks データ ユーティリティが定義されます。 詳細については、バージョン 1.21.0 の変更ログを参照してください。
List all jobs と List job runs API 要求の最大オフセットが制限されるようになりました
2023 年 7 月 6 日
Jobs API の List all jobs と List job runs 要求に指定できる最大オフセットが制限されるようになりました。 これらの要求を使用するときにこの制限を回避するには、この制限のないトークンベースの改ページを使用してください。 REST API リファレンスGET /api/2.1/jobs/listGETを参照してください。
Databricks Runtime 13.2 が 一般提供
2023 年 7 月 6 日
Databricks Runtime 13.2 および Databricks Runtime 13.2 ML が一般公開されました。
Databricks Runtime 13.2 (EoS) と Databricks Runtime 13.2 for Machine Learning (EoS) を参照してください。
Delta Sharing と Databricks Marketplace がビューの共有をサポート (パブリック プレビュー)
2023 年 7 月 6 日
Delta Sharing と Databricks Marketplace でビューを共有できるようになりました。 「 共有にビューを追加する」を参照してください。
DBFS の Init スクリプトが 2023 年 9 月 1 日に終了
2023 年 7 月 5 日
2023 年 9 月 1 日に、DBFS での init スクリプトのサポートが終了し、この機能が機能しなくなります。 init スクリプトをワークスペース ファイルに格納 して、2023 年 9 月 1 日以降も機能し続けられるようにします。