次の機能と Azure Databricks プラットフォームの機能強化が 2022 年 1 月にリリースされました。
注
リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。
Azure Databricks での MLflow モデル レジストリ Webhook (パブリック プレビュー)
2022 年 1 月 31 日
Webhook を使用して MLflow モデル レジストリ イベントをリッスンし、そのイベントに基づいてアクションをトリガーできます。 たとえば、Webhook を使用して、機械学習パイプラインを自動化して既存の CI/CD ツールやワークフローと統合したり、新しいモデル バージョンの作成時に CI ビルドをトリガーしたり、モデルを運用環境に移行する要求がある場合に Slack を通じてチーム メンバーに通知したりすることができます。
破壊的変更: クラスターの終了時にクラスターのべき等トークンがクリアされる
2022 年 1 月 26 日
2022 年 2 月 14 日から、Azure Databricks クラスターの管理が変更され、クラスターが終了するとべき等トークンがクリアされます。 この変更は、クラスター管理のアップタイム保証を改善するために必要です。
クラスターを終了した後も永続化するには、べき等トークンに依存するクライアントまたはスクリプトを更新する必要があります。 ワークスペース内の終了しないクラスターに割り当てられていないべき等トークンを使用してクラスターの作成要求を送信すると、新しいクラスターが作成されます。
この変更前の動作を次に示します。
createCluster(idempotencyToken = tokenA) // launches new cluster A
terminateCluster(cluster A) // idempotency token tokenA is still associated with the terminated cluster A
startCluster(cluster = A)
createCluster(idempotencyToken = tokenA) // returns the currently running cluster A
新しい動作を次に示します。
createCluster(idempotencyToken = tokenA) // launches new cluster A
terminateCluster(cluster A) // idempotencyToken token tokenA is cleared from the cluster A configuration
startCluster(cluster A)
createCluster(idempotencyToken = tokenA) // launches new cluster B
Databricks Runtime 10.3 (ベータ版)
2022 年 1 月 26 日
Databricks Runtime 10.3、10.3 Photon、10.3 ML をベータ リリースとして使用できるようになりました。
「Databricks Runtime 10.3 (サポート期間終了)」および「Databricks Runtime 10.3 for ML (サポート期間終了)」で完全なリリース ノートを参照してください。
最近のジョブの実行に関する情報を表示する
2022 年 1 月 25 日
現在実行中のジョブと最近完了したジョブの実行を、Azure Databricks ジョブ ユーザー インターフェイスの [ジョブの実行] ページに表示できます。 「すべてのジョブでの最近のジョブの実行を表示する」をご覧ください。
Databricks Repos ファイル エディターで Markdown を使用する
2022 年 1 月 25 - 31 日: バージョン 3.64
Databricks Repos ファイル エディターで Markdown をレンダリングできるようになりました。 詳細については、「Git と Databricks Git フォルダーの統合」をご覧ください。
複数のタスクを調整するジョブに関する改善されたクラスター管理
2022 年 1 月 24 日
複数のタスクを調整するジョブでジョブ クラスターを再利用できるようになりました。 クラスターの再利用を使用すると、1 つのクラスターを使用して 1 回のジョブの実行で複数のタスクを実行することになり、クラスター リソースの使用量を削減できます。 Lakeflow ジョブを参照してください。
Databricks Runtime 8.3 と Databricks Runtime 8.4 シリーズのサポート終了
2022 年 1 月 20 日
Databricks Runtime 8.3、Databricks Runtime 8.3 for Machine Learning、Databricks Runtime 8.4、Databricks Runtime 8.4 for Machine Learning のサポートは 1 月 20 日に終了しました。 Databricks サポート ライフサイクルについての記事をご覧ください。
Databricks JDBC ドライバー 2.6.22
2022 年 1 月 18 日
Databricks JDBC ドライバーのバージョン 2.6.22 がリリースされました (ダウンロード)。 このリリースでは、log4j ライブラリをバージョン 2.17.1 にアップグレードし、slf4j-log4j12 依存関係を削除します。
複数のリージョンで追加のメタストアを使用できるようになりました
2022 年 1 月 12 日
次のメタストアは、次のリージョンで使用できるようになりました。
centralusc2
=
consolidated-centralusc2-prod-metastore-1.mysql.database.azure.com
consolidated-centralusc2-prod-metastore-2.mysql.database.azure.com
consolidated-centralusc2-prod-metastore-3.mysql.database.azure.com
eastus2c2
=
consolidated-eastus2c2-prod-metastore-1.mysql.database.azure.com
consolidated-eastus2c2-prod-metastore-2.mysql.database.azure.com
consolidated-eastus2c2-prod-metastore-3.mysql.database.azure.com
eastusc3
=
consolidated-eastusc3-prod-metastore-1.mysql.database.azure.com
consolidated-eastusc3-prod-metastore-2.mysql.database.azure.com
consolidated-eastusc3-prod-metastore-3.mysql.database.azure.com
ユーザー定義ルート (UDR) で使用するリージョンごとに、関連するすべてのホスト名を常に含める必要があります。 「Azure Databricks のためのユーザー定義のルート設定」を参照してください。
[新しい共有] ボタンがノートブックの [アクセス許可] アイコンに置き換わる
2022 年 1 月 10 - 18 日: バージョン 3.63
ノートブックのアクセス許可を変更するには、ノートブック UI の新しい [共有] ボタン を使用するか、ドロップダウン メニューから [アクセス許可] を選択します。 ノートブック ツール バーの [アクセス許可] アイコン
が削除されました。 ノートブックのアクセス許可の設定の詳細については、「Databricks ノートブックを使用したコラボレーション」を参照してください。
新しいワークスペース言語オプション
2022 年 1 月 10 日
ワークスペースは、次の言語で使用できるようになりました。
- ドイツ
- イタリアーノ
- Japanese
- 한국어
複数のリージョンで追加のメタストアを使用できるようになりました
2022 年 1 月 4 日
次のメタストアは、次のリージョンで使用できるようになりました。
northeuropec2
=
consolidated-northeuropec2-prod-metastore-1.mysql.database.azure.com
consolidated-northeuropec2-prod-metastore-2.mysql.database.azure.com
consolidated-northeuropec2-prod-metastore-3.mysql.database.azure.com
westeuropec2
=
consolidated-westeuropec2-prod-metastore-1.mysql.database.azure.com
consolidated-westeuropec2-prod-metastore-2.mysql.database.azure.com
consolidated-westeuropec2-prod-metastore-3.mysql.database.azure.com
ユーザー定義ルート (UDR) で使用するリージョンごとに、関連するすべてのホスト名を常に含める必要があります。 「Azure Databricks のためのユーザー定義のルート設定」を参照してください。