2022 年 2 月

2025-06-11

次の機能と Azure Databricks プラットフォームの機能強化が 2022 年 2 月にリリースされました。

注

リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。

DLT パイプラインのスケジュール設定の容易化 (パブリックプレビュー)

2022 年 2 月 28 日から 3 月 2 日

これで、DLT UI からトリガーされたパイプラインのスケジュールされた Azure Databricks ジョブを直接作成できるようになりました。以前は、ジョブ UI からジョブを実行するためのジョブとスケジュールを作成する必要がありました。

DLT パイプラインの更新の履歴を簡単に参照する (パブリックプレビュー)

2022 年 2 月 28 日から 3 月 2 日

DLT UI の [更新履歴] ドロップダウンで、更新の状態、詳細、イベントなど、パイプライン 更新の履歴 を表示できるようになりました。

ジョブ API 今すぐ実行要求のジョブべき等を保証する

2022 年 2 月 22 日から 28 日: バージョン 3.66

ジョブ API の idempotency_token 操作で省略可能なパラメーターを使用して、ジョブの 1 回の実行が確実に開始できるようになりました。以前は、同じジョブに対して複数の Run now 要求を送信すると、複数の実行が開始されることがありました。

ジョブのべき等の詳細については、「ジョブのべき等性を保証する方法」を参照してください。

ジョブサービスの安定性とスケーラビリティの向上

2022 年 2 月 22 日から 28 日: バージョン 3.66

次の変更により、ジョブサービスの安定性とスケーラビリティが向上します。

それぞれの新規ジョブには、長い、数値の、シーケンシャルでない一意の識別子が割り当てられます。ジョブ API を使用しており、固定長の識別子、またはシーケンシャルや単調に増加する識別子に依存しているクライアントは、より長い、シーケンシャルでない、順序が不定の識別子を受け入れるように変更する必要があります。 int64 の識別子の型は変更されず、IEEE 754 64 ビットの浮動小数点数を使用するクライアント (たとえば JavaScript クライアント) の互換性は維持されます。
一部のジョブ API 要求への応答に含まれる number_in_job フィールドの値は run_id と同じ値に設定されるようになります。

異なる実験からの MLflow の実行を比較する

2022 年 2 月 22 日から 28 日: バージョン 3.66

複数の実験の実行を表示して比較できるようになりました。「複数の実験の実行を比較する」を参照してください。

MLflow 比較実行の表示の機能強化

2022 年 2 月 22 日から 28 日: バージョン 3.66

比較実行の表示が改善されました。ページの上部に [視覚化] が表示されるようになりました。これで、実行情報、パラメーター、メトリックを表示するテーブルをスクロールしたり、折りたたむことができるようになりました。また、実行間で変化しないパラメーターとメトリックを非表示にすることで、表示を簡略化できるようになりました。

実行の比較ページの詳細については、「実行を比較する」を参照してください。実行を比較する方法については、「実行を比較する」を参照してください。

クラスター UI でのジョブ実行所有者の可視性の向上

2022 年 2 月 22 日から 28 日: バージョン 3.66

[コンピューティング] UI の [ジョブクラスター] タブが更新され、[ジョブの所有者] ではなく、[Job run as](ジョブを実行するアカウント名) のユーザーが表示されるようになりました。この更新プログラムは、ジョブのアクセス許可モデルの変更に基づいており、ジョブ実行の所有者の可視性が向上します。「コンピューティングを表示」を参照してください。

AutoML でデータセット列をドロップする

2022 年 2 月 22 日から 28 日: バージョン 3.66

Databricks Runtime 10.3 ML 以降では、分類と回帰の問題に対して、AutoML がトレーニングに使用しないデータセット内の列を指定できるようになりました。 AutoML Python API リファレンス参照してください。

実験ページは GA

2022 年 2 月 22 日から 28 日: バージョン 3.66

実験ページが一般公開されました。

DLT Python インターフェイスでの一時テーブルのサポート

2022 年 2 月 22 日から 28 日: バージョン 3.66

DLT Python インターフェイスでテーブルを宣言するときに、 temporary プロパティを使用できるようになりました。一時テーブルを定義すると、DLT はテーブルのメタデータを保持しないように指示し、 target 設定が構成されているときにテーブルをパブリッシュしないようにします。 Python テーブルの定義については、Python の仕様を参照してください。

DLT のユーザーインターフェイスの機能強化 (パブリックプレビュー)

2022 年 2 月 22 日から 28 日: バージョン 3.66

このリリースには、DLT UI に対する次の機能強化が含まれています。

DLT UI の [設定] ダイアログでパイプラインの設定を編集できるようになり、より使いやすいインターフェイスが提供されます。以前は、JSON 仕様を編集して設定を変更することに制限がありました。パイプライン設定を編集する UI または JSON ビューを選択するには、[設定] ダイアログの [UI] または [JSON] ボタンをクリックします。
[パイプラインの詳細] ページのイベントログでエラーレコードが強調表示され、パイプライン内のエラーの識別と対処が容易になりました。
実行中のパイプラインの進行状況の表示が改善されました。パイプラインのグラフを表示すると、RUNNING 状態のノードに、アニメーション化された受信エッジとアニメーション化された上部の境界線が表示されるようになりました。

Databricks Runtime 9.0 シリーズのサポート終了

2022 年 2 月 17 日

Databricks Runtime 9.0 と Databricks Runtime 9.0 for Machine Learning のサポートは、2 月 17 日に終了しました。 Databricks サポートライフサイクルについての記事をご覧ください。

Data Science と Data Engineering のランディングページの更新

2022 年 2 月 10 日

Data Science と Data Engineering のランディングページの外観を更新しました。一部のリンクは変更されましたが、他に注目すべき機能の変更はありません。

Git 統合のための AWS CodeCommit のサポートを Databricks Repos に追加

2022 年 2 月 7 日から 14 日: バージョン 3.65

Databricks Repos で AWS CodeCommit リポジトリを使用できるようになりました。

DLT パイプラインの視覚化の改善 (パブリックプレビュー)

2022 年 2 月 7 日から 14 日: バージョン 3.65

パイプライン DAG の視覚化が再設計され、使いやすさとナビゲーションが向上しています。改良点の例としては、グラフが上から下ではなく左から右に表示されるように変更され、パイプラインの実行をより直感的に把握できるようになりました。

更新された Markdown パーサー

2022 年 2 月 7 日から 14 日: バージョン 3.65

Azure Databricks ノートブックで使用される Markdown パーサーが更新されました。以前の更新で告知されていた問題の一部が修正されました。具体的には、ハッシュタグと見出しのテキストの間にスペースを入れる必要がなくなり、スペースを含むリンクが正しくレンダリングされるようになりました。

DLT で変更データキャプチャ処理がサポートされるようになりました (パブリックプレビュー)

2022 年 2 月 7 日から 14 日: バージョン 3.65

DLT パイプラインに変更データキャプチャ (CDC) 処理を実装できるようになりました。 CDC 処理は、SQL および Python インターフェイスでサポートされています。「AUTO CDC API: Lakeflow 宣言パイプラインを使用して変更データキャプチャを簡略化する」を参照してください。

複数のリージョンで追加のメタストアを使用できるようになりました

2022 年 2 月 8 日

次のメタストアは、次のリージョンで使用できるようになりました。

brazilsouth:

consolidated-brazilsouth-prod-metastore.mysql.database.azure.com

centralus:

consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.com
consolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com

eastus:

consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.com
consolidated-eastus-prod-metastore-addl-3.mysql.database.azure.com
consolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com

eastus2

consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.com
consolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com

francecentral

consolidated-francecentral-prod-metastore.mysql.database.azure.com

northeurope

consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.com
consolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com

southeastasia

consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com

switzerlandnorth

consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com

switzerlandwest

consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com

uksouth

consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com

westeurope

consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.com
consolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com

ユーザー定義ルート (UDR) で使用するリージョンごとに、関連するすべてのホスト名を常に含める必要があります。「Azure Databricks のためのユーザー定義のルート設定」を参照してください。

AutoML で使用するアルゴリズムフレームワークの選択

2022 年 2 月 7 日から 14 日: バージョン 3.65

Databricks Runtime 10.3 ML 以降では、モデルの開発時に AutoML で考慮すべきではない、scikit-learn などのアルゴリズムフレームワークを指定できます。既定では、AutoML は、分類と回帰の問題については scikit-learn、XGBoost、LightGBM のモデルを考慮し、予測の問題については Prophet と Auto-ARIMA のモデルを考慮します。 AutoML Python API リファレンス参照してください。

Databricks でホストされる MLflow モデルでオンラインストアから特徴を検索できるようになりました

2022 年 2 月 3 日

Feature Store メタデータを含めてパッケージ化されたモデルでは、提供時にオンラインストアから特徴値を自動的に検索できます。

Databricks Runtime 10.3 と 10.3 ML は GA、10.3 Photon はパブリックプレビュー

2022 年 2 月 2 日

Databricks Runtime 10.3 および Databricks Runtime 10.3 ML が一般公開されました。 Databricks Runtime 10.3 Photon はパブリックプレビューの段階です。