Azure Databricksのイノベーションへの取り組みの一環として、プラットフォームとランタイムの機能が廃止され、新機能に置き換えられる可能性があります。 Databricks Runtime リリースも廃止され、通常のスケジュールで置き換えられます。 このページでは、提供終了フェーズと、プラットフォーム機能と Databricks Runtime リリースの対応するサポートの詳細を示します。 また、従来の Databricks ランタイム バージョンを使用してクラスターとジョブを検出する SQL クエリも含まれています。
プレビューとリリースの種類については、「Azure Databricks プレビュー リリースを参照してください。
プラットフォーム機能のライフサイクル
Azure Databricks プラットフォーム機能の提供終了フェーズは、次の表で説明されています。
| フェーズ | 説明 | サポート | 移行のメモ |
|---|---|---|---|
| レガシー | この機能は引き続き使用できますが、この機能によって提供されるタスクを実行するための新しい、より優れた機能または方法があります。 このラベルは、将来の提供終了日を示しています。 | フル。 サポートとドキュメントを入手できます。 | 新しい置換機能またはタスクを実行する新しい方法への移行は推奨されますが、すぐには必要ありません。 |
| 非推奨 | この機能は、アクティブな開発の対象ではなくなりました。 更新プログラムはリリースされなくなりました。 この機能は間もなく廃止されるため、機能の使用を停止し、別の機能に移行する計画を立てる必要があります。 | フル。 この機能は更新されなくなりましたが、サポートとドキュメントは引き続き利用できます。 | 重要な更新プログラムが適用されなくなったため、新しい置換機能またはタスクを実行する新しい方法への移行が強く推奨されます。 |
| サポート終了 (EoS) | この機能は現在アクティブな開発段階ではなく、サポートは正式に利用できません。 | なし。 ドキュメントは引き続き存在する可能性がありますが、アーカイブされ、維持されなくなりました。 | 重要な更新プログラムが適用されなくなり、発生する可能性のある問題のサポートが利用できなくなるため、新しい置換機能またはタスクを実行する新しい方法への移行は急務です。 |
| 有効期限切れ (EoL) | この機能は Databricks 製品から完全に削除されました。 | なし | この機能は使用できなくなったため、新しい置換機能またはタスクを実行する新しい方法への移行は必要です。 この時点では、移行が非常に困難な場合があります。 |
Databricks Runtime のサポート ライフサイクル
各 Databricks Runtime バージョンには早期評価用の初期ベータ リリースがあり、一般公開 (GA) として起動されます。 GA 機能開発フェーズ (約 6 か月) の間に、Azure Databricksは同じバージョン番号で新しい機能と修正プログラムをリリースします。 クラスターは再起動時に更新プログラムを受け取ります。 機能開発フェーズの後、バージョンは 3 年間、長期サポート (LTS) に移行します。 サポートされているバージョンについては、 Databricks Runtime リリース ノートのバージョンと互換性に関する説明を参照してください。
サポートされていない Databricks Runtime バージョンのワークロードは引き続き実行される可能性がありますが、Azure Databricksではサポートも修正も提供されません。
注
Databricks Runtime 19 より前では、Azure Databricksランタイムはマイナー機能バージョン (18.0、18.1、18.2 など) としてリリースされ、それぞれに独自のベータおよび GA リリースが含まれています。
| フェーズ | 説明 |
|---|---|
| ベータ | GA 起動前の早期評価に使用できます。 運用環境での使用はお勧めしません。 サポート SLA はありません。 |
| GA (機能開発) | 主な安定性とセキュリティの修正プログラムが提供されています。 Azure Databricksは、約 6 か月間続く機能開発フェーズ全体で、同じバージョン番号で新しい機能と修正プログラムをリリースします。 サポートされているリリースは、 サポートされている Databricks Runtime バージョンで公開されています。 |
| LTS | 機能開発フェーズが終了すると、バージョンは長期サポート (LTS) に移行します。 主要な安定性とセキュリティの修正プログラムは、3 年間バックポートされます。 サポートされている LTS リリースは、 サポートされている Databricks Runtime バージョンで公開されています。 |
| サポート終了 (EoS) | バージョンがサポートされていない場合:
サポート終了日は、GA リリース日から 3 年後です。 サポートされていないリリースは、「サポート終了 Databricks Runtime リリース ノート」で公開されています。 |
| 有効期限切れ (EoL) | バージョンが終了すると、Azure Databricks環境から削除され、使用できなくなります。 新しいワークロードを起動することはできません。これらのバージョンで実行されている既存のワークロードは失敗します。 ワークロードをサポートされているランタイム バージョンに移行する必要があります。 Azure Databricksは、サポート終了日から 6 か月後に有効期限を設定するためのベスト エフォートを行います。 ただし、Databricks は、事前の通知なしに、サポート終了後いつでもリリース バージョンを完全に削除する権利を留保します。 |
レガシー Databricks Runtime クラスターを検出する
この一時ビューでは、Databricks Runtime バージョン 10.4 以前を実行しているクラスターに対する Databricks Runtime クラスターの使用状況の概要が表示されます。 過去 90 日間の使用状況が集計され、ワークスペース情報、クラスター識別子、Databricks Runtime のバージョン、使用状況ユニット、Databricks ユニット (DBU) の合計使用量が含まれます。
legacy_dbrs ビューを作成する
CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
SELECT
account_id,
workspace_id,
cluster_id,
cluster_name,
owned_by,
dbr_version,
TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
FROM
system.compute.clusters
QUALIFY rnk=1
),
usage AS (
SELECT
account_id,
workspace_id,
usage_metadata.cluster_id AS cluster_id,
usage_unit,
ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
MAX(usage_date) as last_seen_date
FROM
system.billing.usage
WHERE
usage_metadata.cluster_id IS NOT NULL AND
usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
GROUP BY ALL
),
workspace_info AS (
SELECT
account_id,
workspace_id,
workspace_name,
workspace_url
FROM
system.access.workspaces_latest
)
SELECT
cdv.workspace_id,
wi.workspace_name,
wi.workspace_url,
cdv.cluster_name,
cdv.cluster_id,
cdv.owned_by,
cdv.dbr_version,
total_usage_dbu,
usage_unit,
last_seen_date
FROM
clusters_dbr_versions cdv
INNER JOIN usage u USING (workspace_id, cluster_id)
LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
workspace_id, total_usage_dbu DESC;
クラスターごとの従来の Databricks ランタイムの使用状況を確認するには、先ほど作成したビューに対してクエリを実行します。
SELECT * FROM legacy_dbrs;
ワークスペースと Databricks Runtime のバージョン間で集計されたクラスターの使用状況を確認するには、次のクエリを使用します。 これにより、どの Databricks Runtime バージョンがまだ使用されているか、各バージョンを実行しているクラスターの数、DBU の合計使用量を特定するのに役立ちます。
SELECT
dbr_version,
workspace_id,
COUNT(DISTINCT cluster_id) total_clusters,
SUM(total_usage_dbu) AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id
従来の Databricks ランタイム ジョブを検出する
このクエリを使用して、最新の実行で 10.4 より前のバージョンの Databricks Runtime が使用された過去 90 日間に実行されたすべてのジョブを取得します。 これは、アップグレードが必要なワークロードを特定するのに役立ちます。
従来の DBR バージョンを使用してジョブにクエリを実行する
%sql
with latest_jobs AS (
SELECT
*,
ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM system.lakeflow.jobs
QUALIFY rn=1
),
latest_clusters AS (
SELECT
*,
ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
FROM system.compute.clusters
QUALIFY rn=1
),
job_tasks_exploded AS (
SELECT
workspace_id,
job_id,
EXPLODE(compute_ids) as cluster_id
FROM system.lakeflow.job_task_run_timeline
WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
GROUP BY ALL
),
workspace_info AS (
SELECT
account_id,
workspace_id,
workspace_name,
workspace_url
FROM
system.access.workspaces_latest
),
clusters_with_dbr AS (
SELECT
t1.*,
t2.cluster_name,
t2.owned_by,
t2.dbr_version
FROM job_tasks_exploded t1
INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
wi.account_id,
wi.workspace_id,
wi.workspace_name,
wi.workspace_url,
latest_jobs.name,
cwd.job_id,
cwd.cluster_id,
cwd.cluster_name,
cwd.dbr_version
FROM clusters_with_dbr cwd
JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
LEFT JOIN latest_jobs USING (workspace_id, job_id)
WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'